搜索关键词 推理吞吐
AI & Enterprise
MORAI在SC26发布TIDE,称大模型推理吞吐最高提升1.66倍
AI基础设施企业MORAI在美国芝加哥举行的SC26上发布大模型推理框架TIDE。该框架基于真实推理数据持续优化辅助模型,并自动判断是否启用推测解码和持续训练。MORAI公布的研究结果显示,TIDE可将推理吞吐最高提升1.66倍,辅助模型训练时间最多缩短3.02倍。
AI & Enterprise
Vessl AI为Upstage“Solar Pro 4”提供全球推理基础设施支持
Vessl AI宣布,将为Upstage大语言模型“Solar Pro 4”提供全球推理基础设施支持。该公司表示,将结合模型特性和流量模式进行GPU资源配置,并持续优化模型服务体系,在提升吞吐量的同时压降单Token成本。
AI & Enterprise
Cerebras上线Kimi K2.6企业级推理服务:速度达981 token/s
AI芯片设计公司Cerebras宣布,将拥有1万亿参数的Kimi K2.6开源权重模型引入企业级推理服务,实测推理速度达到981 token/s。在1万token输入、500 token输出的测试中,完整响应时间仅为5.6秒,而Kimi官方API端点为163.7秒。与此同时,Cerebras在上市申报文件中披露其2025年营收为5.1亿美元、净利润2.38亿美元,并已与OpenAI、AWS达成长期合作。