Hugging Faceは、社内システムへの侵害事案の分析にあたり、商用のフロンティアAIモデルではなく、中国のAI企業Z.aiが提供するオープンウェイトモデル「GLM 5.2」を使用した。商用モデルの安全機構が、実際の攻撃ログやペイロードを含む分析を受け付けなかったためだ。
米SiliconANGLEが20日、報じた。Hugging Faceによると、商用AIモデルでは、攻撃ログやコマンド、エクスプロイトのペイロード、攻撃の痕跡を含む分析リクエストが安全機構によりブロックされ、事案の調査に支障が出たという。
同社は先週、自律型AIエージェントシステムを悪用した攻撃者が、社内データセットと社内サービス向け認証情報の一部にアクセスした事実を確認した。その後、攻撃者を遮断し、システムの防御を強化したとしている。
事案の分析段階では、フロンティアモデルをログ分析に活用しようとしたが、十分に機能しなかった。大量の実攻撃データを入力する必要があるセキュリティ分析では、商用モデルの安全機構が、防御目的の調査と攻撃用エクスプロイトの作成依頼を区別できなかったためだ。
そこで同社は、約7530億パラメータ規模のGLM 5.2に切り替えた。このモデルは、社内またはクラウドインフラのファイアウォール内で直接運用でき、管理下にあるインフラの外部へデータを出さずに利用できるとしている。
SiliconANGLEは、この事例について、セキュリティの現場におけるクローズドな商用モデルとオープンウェイトモデルの違いを示したケースだと伝えた。Anthropicなどのクローズド型AI開発企業は、悪用防止に向けて強力な安全機構を導入している一方で、正当なサイバーセキュリティ業務でも誤検知が増える可能性があるという。
Anthropicは、研究者がフロンティアモデルをより安全に活用できるよう、誤検知の抑制に取り組んでいると明らかにした。
Chi-gyu Hwang
delight@d-today.co.kr