Chips&Media于10月7日宣布,推出面向NPU(神经网络处理器)的“数据压缩(Data Compression,DC)IP”,以缓解AI专用芯片在推理过程中的内存带宽瓶颈,并将业务重点拓展至边缘侧和服务器端AI市场。该产品也是公司首款面向非视频应用的多媒体IP,可对AI计算过程中产生的中间数据Feature Map进行无损压缩。
随着边缘设备和服务器端AI推理计算量快速增长,内存带宽正成为影响系统性能的关键因素。Feature Map在外部内存(如DRAM)中频繁读写,会带来大量数据传输开销;一旦带宽受限,即使NPU算力充足,也可能因数据无法及时送达而出现计算单元等待。与此同时,频繁访问内存还会推高功耗,在移动和嵌入式场景中的负担尤为明显。
据介绍,该数据压缩IP部署在NPU与外部内存之间,可对Feature Map进行实时压缩和解压。由于采用无损压缩方式,在恢复原始数据的同时,可确保AI模型推理精度不受影响。
在针对主要视觉网络进行的测试中,该IP对内存带宽需求的降幅分别为:FP16 35.2%、BF16 45.7%、INT8 53.5%。公司表示,这也意味着在相同内存环境下,NPU可用的有效带宽将相应提升。
为便于集成至现有系统,该IP采用内联AXI桥结构,该IP位于AXI总线与NPU之间。该方案无需额外内部SRAM,并可复用现有AXI时钟,属于轻量化设计,有助于将新增硬件面积控制在较低水平。同时,产品支持INT8、FP16、BF16等多种数据格式,并可满足高速数据流处理需求。
Chips&Media计划于2027年第一季度完成硬件实现。此后,公司还将把压缩对象从Feature Map扩展至静态权重,并进一步覆盖大语言模型(LLM)和视觉语言模型(VLM)中占用大量内存的KV Cache压缩,以扩充产品线。公司同时表示,将根据客户需求和AI工作负载特性,持续扩大该IP的适用范围。
Chips&Media相关人士表示,公司将依托20多年积累的硬件IP设计能力,以及在功耗、面积和性能优化方面的技术经验,在保持现有视频编解码市场竞争力的同时,进一步拓展至增长迅速的AI和高性能多媒体IP市场。公司也将以数据压缩IP为起点,持续完善视频相关IP产品布局,构建多元化的多媒体IP产品组合。