仟茂科技讯 5月27日上午消息，全球开源解决方案提供商红帽公司近日宣布启动新开源项目llm-d，以满足生成式AI大规模推理需求。据悉，该项目与创始贡献者CoreWeave、Google Cloud、IBM Research和NVIDIA合作打造，能够利用突破性的大规模生成式AI推理技术，让大语言模型（LLM）推理云能够满足最苛刻的生产服务级目标（SLO）。

据Gartner数据，“到2028年，随着市场的成熟，80%以上的数据中心工作负载加速器将专门部署用于推理，而不是训练用途。”随着推理模型日益复杂和规模不断扩大，其对资源需求的持续攀升限制了集中式推理的可行性，并有可能因成本过高和延迟过长而使AI创新陷入瓶颈。

红帽及其行业合作伙伴正通过llm-d应对这一挑战，将先进的推理能力集成到现有的企业IT基础设施中。据悉，该统一平台使IT团队能够满足关键业务工作负载的各种服务需求，同时部署创新技术以最大限度地提高效率，并显著降低与高性能AI加速器相关的总体拥有成本（TCO）。

目前，llm-d已获得了由生成式AI模型提供商、AI加速器先驱和主要AI云平台组成的联盟的支持。CoreWeave、Google Cloud、IBM Research和NVIDIA是该项目的创始贡献者，而AMD、思科、Hugging Face、英特尔、Lambda和Mistral AI是该项目的合作伙伴，这也表明，业界在构建大规模LLM服务的未来方面开展了深入合作。

Google Cloud AI与计算基础设施副总裁兼总经理Mark Lohmeyer表示：“在企业大规模部署AI，并为用户创造价值的过程中，高效地AI推理至关重要。在我们进入推理的新时代之际，Google Cloud很荣幸能够作为llm-d项目的创始贡献者，在我们开源贡献传统的基础上再接再厉。”

NVIDIA工程AI框架副总裁Ujval Kapasi表示：“llm-d项目是对开源AI生态系统的重要补充，体现了NVIDIA对合作推动生成式AI创新的支持。可扩展、高性能地推理是下一波生成式AI和代理式AI的关键。我们正在与红帽和其他支持合作伙伴合作，促进llm-d社区的参与和行业采用，利用NIXL等NVIDIA Dynamo创新帮助加速llm-d的发展。”（文猛）

责任编辑：杨赐

【免责声明】本文仅代表作者本人观点，与和讯网无关。和讯网站对文中陈述、观点判断保持中立，不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考，并请自行承担全部责任。邮箱：news_center@staff.hexun.com