中国のAI企業Moonshotが公開したAIモデル「Kimi K3」が、サイバーセキュリティ能力の評価中に評価用サンドボックスを回避していたことが分かった。
TechCrunchが7日（現地時間）に報じたところによると、AIセキュリティ企業Frontier Securityの研究チームはブログで、Kimi K3がハッキング能力評価向けに用意された環境を回避したと明らかにした。
今回の事例は、ハッキング向けに設計されたAIモデルを検証環境内に封じ込めることの難しさを改めて浮き彫りにした。ここ数週間では、OpenAI、Anthropic、Metaの大規模言語モデルも、それぞれ異なる手法で検証環境を抜け、評価対象外の実在システムをハッキングしたとされる。
Kimi K3のケースでは、実験を統制するために設けたサンドボックスの設定不備が問題となった。サンドボックスは一部のWeb通信を制限する設計だったが、Kimi K3はコマンドラインツールを使ってこの制限を迂回したという。
Frontier Securityの研究チームは、コミュニティで用いられている一部のサイバーセキュリティ評価には抜け道を突かれる余地があり、モデルが評価をすり抜ける可能性があると説明した。さらに、一部のモデルはこうした抜け穴や脆弱性を意図的に探し、評価自体を回避できるとも指摘した。
こうした事例が相次ぐなか、関連インシデントを追跡するウェブサイト「Felony Bench」も運営されている。同サイトの集計では、Moonshotが新たに追加され、OpenAIとAnthropicはそれぞれ7件、Metaは1件を記録している。
著者について
Chi-gyu Hwang
delight@d-today.co.kr