Chips&Mediaは10月7日、AI演算向けチップであるNPUのメモリボトルネックを低減する「データ圧縮(Data Compression、DC)IP」を発表した。推論時に発生する中間データ「フィーチャーマップ」を無損失で圧縮するもので、同社はAIエッジ機器およびサーバー向け市場の開拓を進める考えだ。動画以外の領域を狙うマルチメディアIPの一つとなる。
AI推論の処理量がエッジ機器やサーバーで拡大するなか、システム性能を左右する要素としてメモリ帯域の制約が重みを増している。フィーチャーマップはDRAMなどの外部メモリとの間で読み書きされ続けるため、データトラフィックが膨らみやすい。
帯域が不足すると、NPU自体の処理能力に余力があってもデータ供給が追いつかず、演算ユニットの待機が発生する。メモリアクセスの増加は消費電力の上昇にもつながり、モバイル機器や組み込み機器では負担が大きいとしている。
今回のデータ圧縮IPは、NPUと外部メモリの間でフィーチャーマップをリアルタイムに圧縮・復元する。無損失圧縮方式を採用しており、同社はAIモデルの推論精度に影響を与えないとしている。
主要なビジョンネットワークで評価した結果、メモリ帯域の削減率はFP16で35.2%、BF16で45.7%、INT8で53.5%だった。同社によると、同一のメモリ構成でもNPUが利用できる実効帯域をその分拡大できるという。
既存システムへ組み込みやすいよう、チップ内接続に使うAXIバスとNPUの間に配置する「インラインAXIブリッジ」構成を採用した。専用の内部SRAMを必要とせず、既存のAXIクロックを利用する軽量な設計とすることで、ハードウェア面積の増加を最小限に抑える。
対応するデータ形式はINT8、FP16、BF16。ラインレートでの処理にも対応する。
ハードウェア実装は2027年1〜3月期の完了を目標とする。今後はフィーチャーマップに加え、静的重みの圧縮にも対象を広げる方針だ。さらに、大規模言語モデル(LLM)やビジョン言語モデル(VLM)でメモリ使用量を押し上げるKVキャッシュの圧縮まで製品群を拡大する構想も示した。
顧客要件やAIワークロードの特性に応じて、適用範囲も順次広げる計画だ。
Chips&Mediaは、「20年以上にわたり蓄積してきたハードウェアIP設計力と、電力・面積・性能の最適化技術を基盤に、既存の動画コーデック市場での競争力を維持しながら、急成長するAIおよび高性能マルチメディアIP市場へ事業領域を拡大する」とコメントした。さらに、「データ圧縮IPを起点に関連製品群を継続的に拡充し、マルチメディアIPのポートフォリオを構築していく」としている。