Notaは8月6日、MoonshotAIのオープンウェイトAIモデル「Kimi K3」を軽量化し、稼働に必要なGPU数を最大で半減したと発表した。独自のプルーニング技術を適用し、NVIDIA B300の必要台数を従来の8枚から4枚まで減らしたとしている。
Kimi K3は、2兆8000億パラメータを持つMixture of Experts（MoE）型のAIモデルだ。入力内容に応じて必要なエキスパートだけを選択的に有効化し、計算効率を高める仕組みを採る一方、稼働にはNVIDIA B300を8枚必要とされる。
Notaによると、Kimi K3は学習段階から重みを4ビット、アクティベーションを8ビットに抑えた設計となっており、一般的な量子化手法による追加圧縮には限界があるという。
そこで同社は、自社開発の「非均一エキスパートプルーニング（Non-uniform Expert Pruning）」を適用してモデルを軽量化した。各層の特性とモジュールの重要度を分析し、中核となるエキスパートは維持しつつ、寄与度の低いモジュールを選別して除去する手法だ。
同社は、エキスパートを25％、50％削減した軽量化モデル2種を公開した。これにより、必要なNVIDIA B300は従来の8枚から、それぞれ6枚と4枚に減ったとしている。
自社評価では、各層のエキスパートを一律の比率で削減する「REAP（Router-weighted Expert Activation Pruning）」方式と比べ、50％削減モデルの方が複数のベンチマークで高い性能維持率を示したという。
NotaのCTO、キム・テホ氏は「限られた計算資源でも、さまざまな先端AIモデルを効率的に活用できるよう、技術の適用範囲を広げていく」とコメントした。
Seulgi Son
sageson@d-today.co.kr