Qualcomm披露将在Snapdragon Summit 2026上发布的下一代Snapdragon移动平台NPU性能信息。图片来源:Qualcomm

Qualcomm针对智能手机上的智能体AI(Agentic AI)重新设计了AI处理器架构。9月11日,公司披露了面向下一代高端移动平台的专用AI计算处理器——Hexagon NPU的设计细节和性能数据。

Qualcomm判断,智能体AI更适合采用按任务、场景和用户需求拆分的专用模型组合,而不是单一大模型。基于这一思路,公司在新一代Hexagon NPU中引入了新的计算加速单元,并将共享内存最高提升50%。

其中,新增的“Element Accelerator”主要用于加速Transformer计算。面向大模型推理,Qualcomm还强化了向量和标量扩展能力:前者侧重大规模AI数学运算,后者则用于支持智能体在判断、任务分配和协同方面的处理逻辑。公司表示,在保持能效的同时,这一设计可提升AI智能体的响应和推理速度。

在生成式AI和智能体AI场景中,模型在生成答案时需要频繁读取用于保存对话上下文和历史计算结果的KV缓存。若片上空间不足,数据就需要在NPU与设备主内存DDR之间频繁搬移,从而推高时延。共享内存最高提升50%后,更多数据可留存在NPU内部,进而减少DDR访问并缩短时延;同时,释放出的内存带宽也可分配给其他任务。

Qualcomm称,随着可用内存空间增加,NPU可将更多资源投入推理处理,端侧模型也能支持更长上下文、更多工具调用以及并发任务运行。作为模型同时读取问题和上下文的首个环节,预填(Prefill)阶段在4位量化的Int4模型基准下性能提升50%。在40亿参数模型上,首个Token生成时间低于1.5秒。

在模型部署层面,开发者可在性能、内存占用、模型效果和功耗之间按需权衡。该方案支持Int2、Int4、Int8、FP8、FP16等精度格式,也支持混合专家(MoE)模型,即根据输入内容,仅激活多套专家网络中的必要部分运行。与每次都调用完整网络的传统模型相比,MoE可降低计算量和内存负担。

Qualcomm还正与内存和模型相关厂商合作,探索从闪存中按需加载部分专家模块的方案。在保持整个专家集合可调用的同时,每次任务仅激活约30亿参数。公司表示,结合专用缓存技术的“Intelligent Flash-to-Memory Expert Management”,可在更低功耗和更小内存条件下,提供接近更大规模模型的AI体验。

随着Hexagon NPU细节公布,Qualcomm围绕面向智能体AI的下一代Snapdragon,已完成对CPU、GPU和NPU三大模块的预热披露。其中,“Orion”CPU负责分阶段的规划、推理和协调,并将需要调用云端API的任务交由外部处理;每个Prime核心可运行在5GHz,并采用名为“Flex Cache”的新缓存结构。“Adreno”GPU则与NPU协同,负责多模型在端侧同时运行时的混合环境AI推理。更具体的功能细节将于“Snapdragon Summit 2026”公布。

关键词

#Qualcomm #Hexagon NPU #智能体AI #端侧AI #Transformer #KV缓存 #DDR #MoE模型 #Int4 #Snapdragon Summit 2026
版权所有 © DigitalToday。未经授权禁止转载或传播。