搜索关键词 推测解码
AI & Enterprise
LG U+推进AI推理降本:模型路由与Chip-Mix齐头并进,明年拓展B2B
LG U+正围绕AI Token效率推进多项技术研发,通过模型路由、量化与知识蒸馏、推测解码以及GPU/NPU组合部署等方式降低推理成本。公司表示,部分场景下Token成本可下降约25%至30%,相关能力也将于明年进一步拓展至B2B业务。
AI & Enterprise
OpenAI:AI模型活跃用户突破10亿,企业客户超200万家
OpenAI披露,其AI模型活跃用户已突破10亿,企业客户超过200万家。公司表示,近期下调GPT-5.6系列模型价格,主要基于系统优化和运营效率提升:模型服务端到端成本下降20%,推测解码方案改进使token生成效率提升逾15%。OpenAI还强调,随着成本持续下降,应用场景、需求规模以及后续研发和基础设施投入有望形成正向循环。
AI & Enterprise
Cerebras上线Kimi K2.6企业级推理服务:速度达981 token/s
AI芯片设计公司Cerebras宣布,将拥有1万亿参数的Kimi K2.6开源权重模型引入企业级推理服务,实测推理速度达到981 token/s。在1万token输入、500 token输出的测试中,完整响应时间仅为5.6秒,而Kimi官方API端点为163.7秒。与此同时,Cerebras在上市申报文件中披露其2025年营收为5.1亿美元、净利润2.38亿美元,并已与OpenAI、AWS达成长期合作。