LMSYS 于 11 月 12 日宣布成立 SGLang 联盟,创始成员包括 NVIDIA、AMD、英特尔、谷歌、Meta、Cloudflare、Modal 与 RadixArk。联盟的目标是共同推进开源推理软件 SGLang,让它在不同硬件平台上都能高效运行。
SGLang 是近年来在 LLM 推理部署领域快速崛起的开源项目,以高吞吐、低延迟著称。此次几家平时在芯片与云服务上激烈竞争的巨头罕见地坐到同一张桌子前,说明高效推理已成为全行业的共同瓶颈:模型越来越大、调用越来越频繁,谁掌握了更便宜更快的推理,谁就掌握了 AI 落地的成本主动权。
联盟的成立也可能加速推理软件的标准化:开发者有望用同一套工具链,在英伟达、AMD 与英特尔等不同硬件上部署模型,减少被单一硬件生态锁定的风险。

评论(0)
暂无评论