ドイツのAIスタートアップAleph Alphaは3日、公共分野や製造、航空宇宙など、規制対応やセキュリティ要件の厳しい業界を想定した言語モデル「Kolibri」を公開した。主権AIを中核戦略に据えたモデルで、最大100万トークンのコンテキストに対応する。

Gigazineによると、Kolibriは専門家混合（MoE）構造を採用し、総パラメータ数は781億パラメータ。推論時に有効化されるのは約34億6000万パラメータにとどまる。対応言語は英語とドイツ語だ。

同社は、公共行政、製造、航空宇宙といった分野を主な対象と位置付ける。自社ベンチマークでは、数学、コーディング、長文処理、エージェント型タスクなどで、活性化パラメータ数が最大4倍多い一部のオープンウェイトモデルと同等の性能を示したとしている。

ただ、これらの評価はAleph Alphaが公表した自社測定に基づくものだ。

Kolibriの中核には、同社が掲げる「主権AI」戦略がある。モデルはドイツで開発し、学習にはドイツとフィンランドのインフラを用いた。データ選別から事前学習、事後学習、最適化までを自社パイプラインで実施したとしている。

導入企業が自社環境に展開し、コストやレイテンシ、推論設定を直接調整できる点も特徴に挙げた。

ハルシネーションの抑制に向けては、独自の学習手法「Merlin-Arthur」を適用した。与えられた資料の中に回答を裏付ける根拠がない場合、無理に答えないよう学習させる仕組みだという。

同社は、これにより規制の厳しい業界でも、回答の裏付けを重視した運用がしやすくなると説明している。

ドイツ語対応も強化した。事前学習に使った総計20兆トークンのうち21.3%をドイツ語が占め、ドイツ語と英語に特化したトークナイザーも独自に開発した。翻訳データへの依存も抑えたとしている。

Kolibriの重みと設定ファイルは、Apache 2.0ライセンスの下でHugging Face上に公開した。一方で、学習コードやアーキテクチャ、学習手法の全体をオープンソース化したわけではない。