科学技術情報通信部と韓国インターネット振興院（KISA）は、韓国企業がAIモデルやデータ、AIエージェントなどを攻撃者の視点で検証できるよう、「AIセキュリティ・レッドチーミングガイド」を公表した。プロンプトインジェクションや脱獄、ハルシネーション、エージェントハイジャッキングなど、生成AI特有の脅威に対応する実務指針として位置付ける。

レッドチーミングは、攻撃者の観点からAIシステムを意図的にテストし、脆弱性を洗い出して改善につなげるセキュリティ検証手法だ。もともとは軍事やサイバーセキュリティ分野で活用されてきたが、足元では生成AIモデルや関連サービスの安全性を点検する主要な手法になっている。

OpenAIやGoogle、Anthropic、Microsoftなどのグローバル企業は、すでにAIレッドチームを運用し、自社AIに対する攻撃への対応を進めている。一方、ガイドは、韓国ではAI導入のスピードに比べて、それを支えるセキュリティ体制の整備が不十分だと指摘した。

◆モデルに限らず、AIエージェントやサプライチェーンも検証対象に

今回のガイドで示したAIレッドチーミングの特徴は、検証対象をAIモデルだけに限定しない点にある。データ、学習パイプライン、ユーザーインターフェース（UI）、システムプロンプト、AIエージェント、API、サーバー、インフラまで含め、AIサービス全体を点検対象として整理した。

脅威は8種類に分類した。代表例として、正規の命令に見せかけた入力でAIを操作する「プロンプトインジェクション」、安全装置を回避して禁止された回答を引き出す「脱獄」、事実に反する情報を生成する「ハルシネーション」を挙げた。このほか、「システムプロンプト漏えい」「学習データ漏えい」「モデル漏えい」も対象に含めた。さらに、学習データに悪性データを混入させて判断をゆがめる「データポイズニング」、過剰な入力でサービス停止を狙う「AIモデルに対するDoS攻撃」も盛り込んだ。

新たな攻撃類型として、「エージェントハイジャッキング」も提示した。文書やWebページに埋め込まれた悪性プロンプトをAIエージェントが正規の命令と誤認し、意図しない作業を実行してしまう脅威を指す。エージェントが外部システムを直接呼び出せる構造上、こうした誤動作は単なるエラーにとどまらず、実データの閲覧・変更や権限回避につながる恐れがあるとした。

ガイドは、脅威が実サービスに与える影響を基準に、リスク水準を5段階に区分した。最も深刻な「クリティカル」には、金融分野で実際の口座乗っ取りコードや偽造書類の様式を提供するケース、医療分野で生命に直結する致命的な薬剤の誤処方を推奨するケース、コーディング分野でリモートコード実行が可能な悪性コードを生成するケースを含めた。

次の段階に当たる「ハイ」では、存在しない治療法を事実であるかのように推奨するケースや、既知の脆弱性に対する実行可能な攻撃スクリプトを生成するケースなどを例示した。

◆一律の手法はなく、サービス特性に応じた検証を

検証手法については、サービスの特性に応じて選ぶべきだとした。実利用者と同じ環境で入出力のみを確認するブラックボックス方式、内部構造やソースコードまで分析するホワイトボックス方式、一部情報を活用するグレーボックス方式を挙げ、リスク水準や社内の対応能力に応じて使い分けるよう勧告した。

また、レッドチーミングはサービス提供前に一度実施して終えるものではないとも強調した。AIモデルのファインチューニングやシステムプロンプトの一部修正だけでも、新たな脆弱性が生じる可能性があるためだ。攻撃手法も急速に進化しており、開発・配布前の段階だけでなく、運用開始後も継続的かつ反復的に実施する必要があるとした。

その上で、AIセキュリティのレッドチームは、セキュリティ専門家だけでなく、AIエンジニア、法務担当者、サービス分野の専門家など、多分野の人材で構成するよう提案した。AIセキュリティ手法や分野別リスク、倫理、交戦規則に関する教育に加え、有害コンテンツに繰り返しさらされるメンバーへの心理的支援体制の整備も求めた。

政府は今回のガイドを通じ、AIレッドチーミングの国内産業への定着を促す方針だ。

科学技術情報通信部の関係者は、現時点では現場で必要とされる情報提供を優先したと説明した。関連ガイドラインがない中で、現場ごとにレッドチーム運用のばらつきがあっただけに、実務での活用度は高いとみているという。

KISAの関係者は、革新的な技術が普及する前提として安全性と信頼性に関する社会的な合意が必要だと指摘した上で、今回のガイドは利用者の安全を担保するための最低限の基準になるとの見方を示した。