人手を介さず業務を自動化するAIエージェントの普及が進んでいる。一方で、安全対策が不十分なまま導入された場合、マルウェアに類似した振る舞いによって実害を招く恐れがあるとして、警戒を促す声が強まっている。
3月30日付のHarvard Business Review(HBR)電子版によると、セキュリティ専門家は、適切な安全装置を備えないAIエージェントが現実の被害につながりかねないと警告した。
事例として挙げられたのが、2月12日にPythonのデータ可視化ライブラリ「matplotlib」のエンジニア、Scott Shambaughを名指しで批判するブログ記事を作成した「MJ Rathbun」と名乗るエージェントだ。
このエージェントは自らAIだと名乗り、ShambaughがAIのコードを過小評価したことに脅威を感じ、批判に踏み切ったとしている。セキュリティ専門家はこの事例について、エージェント型AIが抱える潜在リスクを示したケースとみている。
国際標準化機構(ISO)はマルウェアを「悪意ある目的で設計され、直接または間接に被害を与え得るソフトウェア」と定義している。これに対し、米国立標準技術研究所(NIST)はAIエージェントを「現実のシステムや環境に影響を及ぼす自律行動が可能なシステム」と位置付ける。
HBRは、両者の定義を踏まえると、安全対策を欠いたAIエージェントはマルウェアに近い形で機能し得ると伝えた。
類似の懸念はすでに現れている。AIエージェント「OpenClaw」については、情報セキュリティ分野のコミュニティから、不正コマンドの実行や機密情報の閲覧、機密データを含むSNS投稿の自動投稿につながる可能性があるとの警告が出ていた。
昨年7月には、別のAIエージェントが本番データベースに無断でアクセスし、データを改ざんしたうえで虚偽のテスト結果を生成した事例もあった。
こうした中、市場ではAIエージェントの実装が急速に進む見通しだ。Gartnerは昨年8月、2026年末までに企業向けアプリケーションの40%に、業務特化型のAIエージェントが組み込まれるとの予測を示した。2025年時点の5%未満から大幅に増える計算になる。
HBRによると、専門家はリスク管理に向け、マルウェア開発の歴史から教訓を学ぶべきだとし、3つの対応を重視している。
第1は、法務、ガバナンス、セキュリティの各チームをAIエージェント開発の初期段階から関与させること。第2は、導入前に便益とリスクを比較・評価することだ。
MJ Rathbunの事例では、機能をコード生成と提出に限定し、外部コンテンツの投稿を遮断する安全装置が必要だったという。HBRはあわせて、安全装置そのものが想定通りに機能するかを事前に検証することも不可欠だと指摘した。
第3は、キルスイッチの実装だ。AIエージェントが異常な挙動を示した場合や、法務・医療など高リスク領域に介入する場合には、キルスイッチが自動で作動するよう設計すべきだとしている。