SelectstarでAIセーフティチームを率いるキム・ミヌ氏は、生成AIの安全性は従来のサイバーセキュリティの延長線上では捉えられず、別の評価体系で検証すべきだとの考えを示した。幻覚や事実誤認、偏向、有害な応答といった生成AI特有のリスクが広がる中、AIレッドチーミングや韓国の実情に合った安全性ベンチマークの整備が重要になるという。

キム氏は、「AIの安全性は、従来のサイバーセキュリティとは別の評価軸でアプローチすべきだ。生成AIは確率的に答えを出すため、幻覚や偏向、有害性など、既存のセキュリティとは異なるリスクを評価する必要がある」と述べた。

同氏は、幻覚や事実性の欠如、偏向的な回答などは「セキュリティではなくセーフティの領域だ」と説明した。

こうしたリスクを検証する代表的な手法がAIレッドチーミングだ。さまざまな攻撃手法を用いて、モデルから想定外または有害な応答を引き出せるかを事前に検証し、脆弱性を洗い出す。キム氏はこれを、「AIをだまして意図しない回答を誘導する一連のプロセス、あるいはテクニック」と表現した。

AI安全性評価の重要性は、生成AIが単純な質疑応答を超え、外部ツールを活用するエージェント型へと進化するにつれて高まっている。OpenAIやAnthropicなどの大手AI企業は、モデル公開前の社内レッドチーミングやリスク評価を強化している。韓国でも韓国インターネット振興院（KISA）が先月、「AIセキュリティ・レッドチーミングガイド」を公表した。

Selectstarは、安全性評価用データセット、自動攻撃モデル、AIの応答の安全性を判定する技術などを開発している。問題のある回答を遮断するガードレールなど、ブルーチーミング技術の研究も進めている。

AIレッドチーミングは、禁止質問をそのまま入力するだけではない。自動攻撃モデルが回避可能なプロンプトへ変換して入力し、AIが最終的に有害な回答を返すかどうかを確認する。

キム氏は「単に多くの方法で攻撃するだけでは、初歩的なレッドチーミングにとどまる」とした上で、「AIが自動的に見つけられる領域と、人が実際に試みる攻撃領域は別にあり、その両方が重要だ」と話した。Selectstarは現在、人の攻撃手法を自動化したモデルと、AIに特化した攻撃モデルを併用しているという。

何をリスクとみなすかは業界によって異なる。汎用AIでは化学・生物・放射線・核（CBRN）関連の情報が主要リスクになり得る一方、企業向けAIでは社内機密や個人情報の流出がより重要な論点になる場合がある。このため、評価プロセスには当該業界のリスク特性を理解するドメイン専門家も加わる。

キム氏は、海外のAI安全性ベンチマークを韓国にそのまま適用するのは難しいとの見方も示した。「海外ベンチマークを単純に翻訳しただけでは、文化や評価目的が韓国の状況と合わない可能性がある」とし、「国内事情に合ったセーフティ・ベンチマークを継続的に作る必要がある」と述べた。

AIエージェントの普及は、安全性評価をさらに複雑にしている。AIが社内データベース（DB）や検索拡張生成（RAG）、外部API、プラグインなどを連携して利用するため、モデル自体が安全でも、外部の構成要素や権限設計に起因する問題が生じ得るためだ。

キム氏は「最終的な回答はAIが行うため、構成要素で発生したリスクもAIサービス全体のリスクとして見なす」とした上で、「単純なプロンプトベースのレッドチーミングだけでは、どこで問題が起きたのか把握しにくい。DBやプラグイン、権限などを一つひとつ確認しなければならない場合もある」と語った。

こうした特性を踏まえ、キム氏は韓国のAI企業にも安全性分野で商機があるとみる。モデル性能の競争ではグローバルのビッグテックが先行している一方、各国の言語や文化、法制度に合わせた安全性対応では、現地に根差した専門性が重要になるためだ。

同氏は「AIセーフティにはグローバル共通の安全性がある一方で、各国に合わせたローカライズド・セーフティも明確に存在する」とし、「リスク基準や国内法は変化し続けるため、こうした領域をグローバルのビッグテックがすべて追い続けるのは難しい」と述べた。

その上で、「これを国内環境や産業に反映する固有技術を開発できるという点で、AIセーフティはブルーオーシャンだと考えている」と話した。