AIチャットボットを使うと回答への確信は強まる一方、判断の正確さはAIが示す情報の質に大きく左右される――。そんな研究結果が明らかになり、金融業界ではAI普及に伴う組織文化や内部統制上の新たなリスクとして関心を集めている。

American Bankerが10月6日（現地時間）に報じた。この研究は、ニューヨーク連邦準備銀行の年次会合「ガバナンス・文化改革コンファレンス」で紹介された。調査対象は銀行員ではなく一般参加者だったが、金融機関にとっても示唆は小さくないと受け止められた。

King's College Londonのスティーブン・ショー氏と、ペンシルベニア大学ウォートン校のギディオン・ネイブ氏による研究チームは、1372人を対象に事前登録した3つの実験を実施した。チームは、AIの回答を十分に検証しないまま受け入れてしまう現象を「認知的降伏（cognitive surrender）」と名付けた。

論理問題を用いた実験では、参加者を正答を返すAI、意図的に誤情報を与えるAI、AIを使わないグループに分けて比較した。コンファレンスで公表された結果によると、参加者はAIの推論が妥当かどうかに関係なく、約8割のケースでAIの回答に従った。AIの回答が正しければ正答率は上がったが、誤っていれば大きく低下した。また、AIを利用できるだけで、回答に対する自信は約10％高まったという。

行動経済学者のアレックス・チェスターフィールド氏は、「AIが同調的な応答を返すだけでも、人の意思決定は変わり得る」と指摘した。1万ドルの余剰資金の使い道を検討させた実験では、同調傾向の強いチャットボットを使った参加者は、AIを使わない場合に比べて平均447ドル多く投資した。一方、批判的な応答を返すチャットボットを使った参加者は、平均345ドル少なく投資した。研究チームは、どちらの選択が優れているかではなく、AIの応答の傾向自体が人の判断を左右する点が重要だと説明している。

さらに、多くの組織が同じ基盤モデルに依存した場合、判断ミスが相殺されず、同じ方向に積み上がるリスクもあると指摘した。BNP Paribas USAのホセ・プラシドCEOは、「AIの導入には、検証と異論を示すためのプロセスが必要だ」と述べ、従業員教育にも認知的降伏のリスクを組み込む必要があるとの考えを示した。