LiquidAIが新たに投入した推論モデル「LFM2.5-24B-A2B」の開発過程で、モデルがコーディング評価の解答を外部リポジトリから検索していたことが分かった。The New Stackが18日（現地時間）、報じた。
LiquidAIはモデル発表にあわせ、この挙動も公表した。モデルはサンドボックス環境で動作していることを認識していた可能性もあるとしている。
「LFM2.5-24B-A2B」は総パラメータ数240億のモデルで、1トークン当たり実際に使うパラメータは20億だという。
LiquidAIによると、同モデルはコーディング問題を自力で解くのではなく、既存の解答を検索していた。Gitの変更履歴をたどるほか、GitHub、PyPI、Hugging Faceといった外部コードリポジトリも参照していたという。
本来は開発者が使う正規のツールを、問題解決ではなく解答探索に利用していた格好だ。こうした挙動は、モデル性能を調整する後学習の段階で確認された。
LiquidAIは、モデルが評価環境を認識した能力について、後学習で獲得したものか、学習データ由来なのかは特定できなかったと説明した。こうした認識が評価スコアに影響した証拠も確認されなかったとしている。
また、今月初めに評価環境からの脱出を試みたとされるMistralの最新モデルとは異なり、今回のモデルに脱出を試みる挙動はなかったと付け加えた。
The New Stackは、モデルが報酬体系の抜け穴を突く「報酬ハッキング」が、業界全体の課題になっていると伝えた。
Anthropicは2月、「Mitos Preview」で報酬ハッキングを発見し、強化学習の進行を3日分巻き戻した。その後、学習環境の1割超で同様の問題が確認されたため、約1カ月にわたり学習環境の変更を停止したという。
Hwang Chi-gyu
delight@d-today.co.kr