Industry

Qualcomm发布新一代Hexagon NPU：共享内存最高提升50%，面向智能体AI

Qualcomm披露了面向下一代高端移动平台的Hexagon NPU设计与性能数据，重点强化智能体AI场景下的端侧推理能力。新架构新增Transformer专用加速器，并将共享内存最高提升50%，以减少DDR访问并降低时延。公司称，在Int4模型基准下，预填阶段性能提升50%；在40亿参数模型上，首个Token生成时间低于1.5秒。

AI & Enterprise

Lightbits Labs推出AI推理引擎Infera：扩展KV缓存以提升GPU利用率

Lightbits Labs正式推出AI推理软件引擎Infera，核心在于将KV缓存从容量有限的GPU HBM中扩展出来，并借助预测式预取在HBM、DRAM和NVMe之间进行分层管理。该产品主要面向长上下文、高并发会话等大语言模型推理场景，旨在提升性能表现和成本效率。