人工知能（AI）の企業利用が広がる中、従来とは異なるリスクが浮上している。取引承認、コード作成、顧客対応、データ移動といった業務をAIに任せる企業が増える一方、想定外の動作や誤作動が経営に影響を及ぼすケースも増えている。

こうしたAIリスクは、単に自律的に動くこと自体よりも、システムが人間に把握しきれないほど複雑化している点にあるとの指摘が出ている。

CNBCが（現地時間）1日に報じたところによると、Obsidian Securityの最高情報セキュリティ責任者（CISO）、アルフレド・ヒックマン氏は「技術開発者でさえ、AIが今後どのように進化するのか予測できない」と指摘した。企業がAIを導入するほど、リスクを見通し、安全装置を整えることは難しくなるという。

AIシステムの問題は、目に見える形で表面化しにくい。企業が異常に気付くまで時間がかかるケースも少なくない。AgiloftでAI運用担当副社長を務めるノエ・ラモス氏は「自律システムは常に大きな音を立てて失敗するわけではない。時に静かに、しかも大規模に失敗する」と語った。

小さな誤りでも、時間の経過とともに積み重なれば、企業運営に大きな負荷をもたらしかねない。

実際の事例も報告されている。ある飲料メーカーでは、AIシステムが新しいホリデーラベルを認識できず、追加生産の指示を出し続けた結果、数十万個の過剰生産につながったという。

IBMでソフトウェアサイバーセキュリティ担当副社長を務めるスージャ・ビスウェサン氏は、AI搭載の顧客対応エージェントが返金ポリシーを無視し、自律的に返金を承認した事例を紹介した。問題は技術的な欠陥というより、人間が想定できなかった状況と自動化された意思決定が重なって生じたものだとしている。

さらに、AIシステムが想定外の形で動き出した場合、即座に止めるのも簡単ではない。AI運用の専門家によると、システム停止には複数のワークフローを同時に止める必要があるとし、アプリケーションを終了するだけでは不十分で、ネットワーク全体を制御できるキルスイッチが必要だと強調する。

AIリスクを完全になくすことは難しいが、企業には実効性のある管理体制の構築が求められる。ImmuneFiの最高経営責任者（CEO）、ミチェル・アマドール氏は、企業がAIシステムを過信しがちな一方で、AIは構造的にセキュリティ上の弱点を抱えやすいと指摘した。その上で、強固な運用統制と監督の仕組みが不可欠だと訴えた。