OpenAIは15日（現地時間）、AIモデルへの攻撃を通じてプロンプトインジェクションの脆弱性を洗い出す社内向けAIシステム「GPT-Red」を発表した。米SiliconANGLEによると、ユーザーに影響が及ぶ前に脆弱性を見つける狙いだ。
GPT-Redは、人手で担ってきたレッドチーム業務を自動化するための内部用モデルだ。対象モデルにプロンプトを入力し、その応答を確認しながら、狙った悪性の結果が得られるまで攻撃手法を反復的に調整する。失敗した手法は切り捨て、成功した手法をさらに発展させる仕組みという。
OpenAIによれば、GPT-Redは自己対戦型の強化学習によって訓練された。GPT-Redが攻撃側を担い、防御モデルは攻撃を遮断しながら本来のタスクを完了するよう学習する。攻撃が成功すれば攻撃側に、防御が成功すれば防御モデルに報酬を与える。防御性能が高まるほど、攻撃の難度も上がる構造だとしている。
GPT-Redは84％のシナリオで攻撃に成功し、人間のレッドチームの成功率13％を大きく上回った。OpenAIは、4カ月前時点の主力運用モデルと比べ、直接的なプロンプトインジェクションに対する失敗率を6分の1に低減したと説明している。
GPT-Redは製品としては提供せず、社内でのみ運用する方針だ。攻撃能力の拡散を防ぐため、配布モデルとは切り離して扱い、見つかった脆弱性は学習に反映しているという。
著者について
Chi-gyu Hwang
delight@d-today.co.kr