AI & Enterprise
Stanford University与Meta发布混合推理技术:提升LLM速度并降低推理成本
Stanford University、Together AI、University of Illinois Urbana-Champaign与Meta联合发布Hybrid Reasoning Agents,使模型在中间推理阶段转向潜在空间计算,在工具调用和生成最终答案时再切回文本模式。测试显示,该方案可将文本Token生成量降低35.5%至54.7%,推理速度提升1.8至2.6倍,基准测试成绩平均提升10.4%。