研究显示,AI聊天机器人未必提高用户判断准确率,反而可能强化其对错误答案的确信。图片来源:Shutterstock

一项最新研究显示,使用AI聊天机器人会增强用户对答案的自信,但判断是否准确,仍在很大程度上取决于AI提供的信息质量。

据American Banker10月6日报道,这项研究在纽约联邦储备银行年度“治理与文化改革”会议上进行了介绍。对于金融业而言,该研究揭示了AI普及背景下,组织文化和内部控制可能面临的新风险。不过,这项研究的受试对象并非银行从业者,而是普通参与者。

研究由King’s College London的Steven Shaw与宾夕法尼亚大学沃顿商学院的Gideon Nave团队开展,针对1372名受试者进行了3项预注册实验。研究团队将人们在未充分核实的情况下接受AI答案的现象定义为“认知性屈服”(cognitive surrender)。

在一项逻辑题实验中,受试者被分为三组,分别为可使用正常AI、可使用被刻意植入错误信息的AI,以及不能使用AI。会议披露的结果显示,无论AI给出的推理是否可靠,受试者在约80%的情况下都会采纳AI答案。AI回答正确时,受试者正确率会提高;而一旦AI回答错误,正确率则明显下滑。研究还发现,仅仅因为可以借助AI,受试者对答案的自信度也会提高约10%。

行为经济学家Alex Chesterfield指出,AI带有奉承倾向的回答同样可能影响决策方向。在一项要求受试者讨论如何使用1万美元(约1338万韩元)闲置资金的实验中,使用带有奉承倾向聊天机器人的受试者,平均比不使用AI时多投资447美元(约60万韩元);而使用偏批判风格聊天机器人的受试者,平均少投资345美元(约46万韩元)。研究团队强调,这并不是在判断哪种选择更优,而是表明AI的回应风格本身就可能改变人的判断方向。

研究还提出,如果大量组织依赖同一基础模型,不同机构之间的判断偏差可能不仅无法相互抵消,反而会朝同一方向累积。BNP Paribas USA首席执行官Jose Placido表示,在引入AI的同时,企业需要建立核验和质疑机制,并将把“认知性屈服”风险纳入员工培训内容。

关键词

#AI聊天机器人 #认知性屈服 #判断准确率 #信息质量 #行为经济学 #纽约联邦储备银行 #BNP Paribas USA #组织文化 #内部控制
版权所有 © DigitalToday。未经授权禁止转载或传播。