搜索关键词 vLLM
AI & Enterprise
Motif自建工具链,保留CUDA但淡出NVIDIA软件栈
AI大模型开发商Motif Technologies在首尔一场活动上表示,公司在使用NVIDIA GPU和CUDA的同时,并未采用NeMo、TensorRT-LLM等NVIDIA上层软件栈,而是转向自研平台,以提升开发自主性和成本效率。公司称,其差异化主要体现在自研注意力结构GDA、Muon训练算法并行化,以及推理侧对关键注意力模块的自研替换。
AI & Enterprise
Red Hat举办“Red Hat Tech Day 2026”,聚焦AI就绪混合云平台战略
Red Hat在首尔良才EL Tower举行“Red Hat Tech Day 2026”,以“AI就绪混合云平台构建战略”为主题,系统介绍企业级AI落地路径。会上重点讨论平台运营能力、安全架构和可扩展架构,并展示Red Hat OpenShift、AI推理方案及客户实践,强调推理架构设计对GPU利用率优化的重要性。
AI & Enterprise
Red Hat将llm-d接入SoftBank AI-RAN编排器AITRAS
Red Hat与SoftBank Corp.展开合作,将开源框架llm-d集成至SoftBank AI-RAN编排器AITRAS。该框架面向无线接入网环境,可实现大语言模型推理的动态、智能分布式处理,并通过Kubernetes编排vLLM,提升vLLM多节点部署与运行能力。