Lightbits Labsは、AI推論向けソフトウェアエンジン「Infera」の提供を開始した。KVキャッシュをGPUの高帯域幅メモリの外側まで拡張し、推論性能とコスト効率の向上を図る。SiliconANGLEが（現地時間）9日に報じた。
主な対象は、長いコンテキストや多数の同時セッションを伴う大規模言語モデル（LLM）の運用環境だ。
Inferaは、必要なデータを先回りしてGPU近傍に配置する予測型プリフェッチ機能を備える。これにより、KVキャッシュをGPUの高帯域幅メモリ、DRAM、NVMeにまたがって管理できるようにした。
LLMは文章を生成する際、単語を1つずつ順番に出力する。次の単語を予測するには、それまでの計算結果を参照する必要があるが、毎回すべてを再計算すると処理負荷が大きい。このため、過去の計算結果を保持して次の生成に活用する仕組みがKVキャッシュだ。
Inferaは、コンテキスト全体をGPUメモリに一括で保持するのではなく、小さなブロックに分割し、必要なタイミングで供給する方式を採る。導入効果が見込まれる用途として、検索拡張生成、AIエージェント、長文プロンプト、複数ユーザーで共有するGPUサービスを挙げた。
一方で同社は、自社GPUクラスタに十分な余力があり、利用者が少なく、コンテキストが利用可能なメモリに収まる環境では、効果が限定的になる可能性があると説明している。
著者について
Chi-gyu Hwang
delight@d-today.co.kr