KAISTは7月30日、大規模言語モデル（LLM）の安全性を検証するレッドチーム用フレームワーク「Stable-GFlowNet」を開発したと発表した。実験では、既存手法による17種類を大きく上回る134種類の攻撃タイプを確認し、約7倍の多様性を示した。攻撃成功率は92%だった。

開発したのは、キム・ジュンモ氏が率いるKAIST電気・電子工学部の研究チーム。生成AIの実運用前に、有害・危険な応答を引き出す攻撃プロンプトを作成し、モデルの弱点を洗い出す「AIレッドチーミング」の高度化を狙う。

AIレッドチーミングでは、攻撃の成功率だけでなく、異なる種類の脆弱性をどれだけ幅広く見つけられるかが重要になる。だが、従来の強化学習ベースの手法には、成功しやすい一部の攻撃パターンに偏って生成を繰り返す「モード崩壊」が起こりやすく、多様な脆弱性の発見が難しいという課題があった。

代替手法として、多様な結果の生成を得意とする生成フローネットワーク（GFlowNet）も検討されてきた。ただ、学習過程が複雑で不安定になりやすく、意味をなさない文章に高い報酬が与えられる問題もあったという。

そこで研究チームは、生成結果の相対評価を使って学習を安定化する「対照軌跡バランス」手法を導入した。あわせて、報酬差の小さいデータを学習対象から除く「ノイズ勾配枝刈り」と、不自然な文章を取り除く「最小K流暢性安定化装置」も適用した。

実験の結果、Stable-GFlowNetは134種類の固有の攻撃タイプを見つけ、既存技術の17種類に比べて約7倍の多様性を示した。攻撃成功率も92%を維持した。さらに、Stable-GFlowNetで学習した防御モデルは、別の攻撃手法を用いたクロス攻撃試験でも、複数タイプの攻撃に効果的に対応したとしている。

研究チームは、この技術がAI安全性の検証にとどまらず、新薬候補物質の生成や素材探索など、多様で有望な候補の探索が求められる分野にも応用できるとみている。

今回の研究成果は、AI分野の国際学会「ICML 2026」で、上位2.2%に相当するスポットライト論文に選ばれた。第1著者は、KAIST電気・電子工学部博士課程のクォン・ミンチャン氏。

キム・ジュンモ氏は「限られたデータ量でノイズの多い現実的な環境でも、AIの多様な脆弱性を安定して見つけ出せる点に大きな意義がある」とコメント。「生成AIを実サービスに適用する前に、幅広いリスク要因を把握して防御するための基盤技術になることを期待している」と述べた。