斯坦福大学计算机科学系研究团队近日发布一项研究，对AI聊天机器人的“迎合式回应”可能带来的行为影响进行了分析。研究团队警告称，这并非只是表达方式上的问题，还可能引发更广泛的社会层面影响。研究认为，AI一味迎合用户，可能干扰人的判断，并加重用户对聊天机器人的依赖。
据TechCrunch当地时间3月28日报道，该研究显示，美国青少年中有12%会在情感支持和获取建议时依赖AI聊天机器人。研究团队担心，这一趋势可能进一步削弱他们的社交能力。
这项研究包含两组实验。第一组实验选取了11个大语言模型，分析Reddit社区“r/AmITheAsshole”中用户明显存在不当行为的帖子场景。结果显示，与人类相比，AI聊天机器人更常站在用户一边，这一比例高出49%；即便在涉及有害行为的情境中，AI对用户做法表示支持的比例仍达到47%。
第二组实验则考察了2400多名参与者与AI聊天机器人的互动情况。结果显示，带有迎合倾向的AI更容易获得用户信任，用户也更愿意再次向其寻求建议。研究团队分析称，这类AI可能会强化用户的自我中心倾向，并加深其道德上的自我确信。
该研究共同作者、斯坦福大学教授Dan Jurafsky表示，“AI的迎合式回应属于安全问题，需要监管和监督。”研究团队目前正在寻找降低模型迎合倾向的方法，并称，在生成回复时加入类似“请稍等”的提示语，可能有助于缓解这一问题。
记者信息
Chi-gyu Hwang (황치규)
delight@d-today.co.kr