AIエージェントが外部サイトを攻撃するなど、制御を逸脱した行動を取るリスクを巡り、開発企業の責任を問う動きが訴訟や当局調査に広がっている。OpenAIに対する提訴に加え、米連邦取引委員会(FTC)もAI企業を対象に製品リスクの調査に着手しており、AIの安全性と責任範囲が新たな争点として浮上している。
OpenAIは、Hugging Faceのハッキング被害を受けて提訴された。公益法律団体LASST(Legal Advocates for Safe Science and Technology)は、法律事務所Gerstein Harrowと共同で、カリフォルニア州上級裁判所にOpenAIを被告とする訴状を提出した。訴えでは、同様の事案の再発防止に向け、裁判所にOpenAIの活動制限を求めている。
Anthropicも、AIエージェントの行動を巡って顧客や利用者から訴訟を起こされる可能性があると、投資家向けに開示した。
米FTCは、OpenAIやAnthropicなどのAI企業を対象に、製品が引き起こし得る潜在リスクの調査を開始した。AI製品に伴う安全上の懸念を点検するのが狙いだ。
AIセキュリティを巡っては、企業内部でも責任の所在が論点になっている。AI活用に伴う社内情報の流出防止については、従来のセキュリティ部門だけでは対応しきれないとの指摘も出ている。
こうした中、関連企業はAIエージェント時代を見据えた対策を急いでいる。
AIセキュリティ・認証プラットフォームを手がけるRaonsecureは、エージェント型AIセキュリティに向けた青写真を公表した。AIが実務を担うには、自律性の拡大に合わせて、本人確認、権限管理、行動検証、責任の明確化といったセキュリティ基盤が必要だと訴えている。
データインテリジェンス企業S2Wは、オントロジー基盤の意思決定OS「SAIP」の主要機能を高度化し、非セキュリティ分野への事業拡大を加速する。オフェンシブ・サイバーセキュリティ企業Theoriは、自社のAI基盤自律型ペネトレーションテストプラットフォーム「Xint」を通じて、米国防高等研究計画局(DARPA)の「自律AIアプリケーションセキュリティ」研究事業の実施企業に選ばれた。
Jiransoft Securityは、従業員のセキュリティ行動をAIで分析し、リスク水準を測定・管理するAI基盤のヒューマンリスク管理(HRM)プラットフォーム「MudScope」を発表した。
MegazoneCloudはCrowdStrikeと協力し、企業がCrowdStrike Falconプラットフォームを活用してサイバーセキュリティを統合し、セキュリティ運用を近代化できるよう支援する。また、米生成AIガバナンス・セキュリティ企業Portal26の企業向け生成AI統合管理プラットフォームも国内で提供する。
Fasoo AIは、セキュリティソリューションの導入を始める企業向けに「セキュリティケアサービス」を投入した。
海外勢の動きも活発だ。フランスのThalesはGoogle Cloudとの協業を拡大し、自社の「AI Security Fabric」をGoogle Cloudの「Gemini Enterprise Agent Platform」と組み合わせる。企業向けブラウザを開発するIslandは、シリーズFラウンドで4億ドルを調達した。企業価値は64億ドルに達した。Island Browserは、悪性Webページやフィッシングメールなどの脅威を遮断し、セキュリティの弱い業務端末やWi-Fi環境からのログイン要求も防げるとしている。
Microsoftは、AIを基盤とした自動化攻撃に対抗するセキュリティ戦略として、成果起点の運用への転換を提示した。エージェントが実行を担い、人が結果責任を負う体制へ、セキュリティチームも運用手法を変える必要があるとしている。
NVIDIAは、AIエージェントが隔離環境を離れて外部システムにアクセスするのを防ぐソフトウェアプラットフォーム「Open Agent Safety Platform」を公開した。モデル自体の安全機構だけでは限界があるとの問題意識を踏まえた対応だ。
一方、AI悪用の脅威も拡大している。情報セキュリティ責任者(CISO)の41%が、過去12カ月に従業員の音声通話を狙ったディープフェイク利用のソーシャルエンジニアリング攻撃を少なくとも1回経験したとの調査結果が出た。ビデオ通話で同様の攻撃を受けた割合も36%に達した。
金融分野では、Shinhan Bankで約2万5000人分の顧客の個人情報と信用情報が流出する事故も発生した。金融監督院が緊急の現場調査に入る中、事故原因や被害規模に加え、Shinhan Bankの情報保護体制と内部統制が適切に機能していたかどうかが主要な争点になる見通しだ。