搜索关键词 推理优化
AI & Enterprise
Motif自建工具链,保留CUDA但淡出NVIDIA软件栈
AI大模型开发商Motif Technologies在首尔一场活动上表示,公司在使用NVIDIA GPU和CUDA的同时,并未采用NeMo、TensorRT-LLM等NVIDIA上层软件栈,而是转向自研平台,以提升开发自主性和成本效率。公司称,其差异化主要体现在自研注意力结构GDA、Muon训练算法并行化,以及推理侧对关键注意力模块的自研替换。
AI & Enterprise
Google据称正与Marvell商讨开发两款AI芯片
据媒体报道,Google正与Marvell商讨联合开发两款新芯片,其中一款为可与TPU协同工作的内存处理器,另一款为面向AI推理的新型TPU。此举反映出AI推理芯片需求持续升温,Google也希望借此进一步降低对Broadcom的依赖。
AI & Enterprise
SKT联手Arm与Rebellions开发AI推理服务器方案
SKT宣布,已与Arm、Rebellions签署战略合作备忘录,将联合开发面向AI推理的服务器方案。该方案将把Arm的“Arm AGI CPU”与Rebellions计划于今年第三季度推出的Rebel Card整合进同一服务器,并在SKT AI数据中心进行性能和稳定性验证。