Red Hat标志

Red Hat于3月10日宣布，已与SoftBank Corp.合作，将开源框架llm-d集成到SoftBank AI-RAN编排器AITRAS中。

据介绍，llm-d由包括Red Hat在内的多家企业联合发起，面向无线接入网（RAN）环境，支持对大语言模型（LLM）推理进行动态、智能的分布式处理，以提升性能和效率。

Red Hat表示，随着AI-RAN技术加快落地，电信运营商关注的重点已不再只是将AI与RAN部署在同一硬件平台上，而是进一步转向如何实现高效管理和规模化扩展。

该公司指出，要推动AI-RAN走向商用，运营商需要以运行云原生网络功能（CNF）及相关应用的同等灵活性来承载AI工作负载。

基于这一需求，Red Hat正与SoftBank推进基于llm-d和vLLM的AI-RAN合作。

其中，vLLM支持在单个GPU节点上部署高性能模型，已成为AI推理领域的重要开源项目。但在复杂的多节点环境下，其部署和管理能力仍有一定局限。llm-d正是为解决这一问题而开发，可通过Kubernetes在多节点之间编排vLLM，将其能力扩展至分布式环境，并支持生产环境中的AI推理运行。

关键词

#Red Hat #SoftBank Corp. #AI-RAN #AITRAS #llm-d #vLLM #RAN #大语言模型推理 #Kubernetes #CNF
版权所有 © DigitalToday。未经授权禁止转载或传播。