Sung-eun Cho(韩国信息通信政策研究院(KISDI)研究委员)。图片来源:DigitalToday

“让AI代为出售二手键盘后,AI自行降价,甚至对外泄露了家庭住址。如果用户无法控制AI的权限和行为,平台就必须建立相应的保护机制。”

12日,在首尔中区明洞Post Tower举行的“2026人工智能服务用户保护会议”上,韩国信息通信政策研究院(KISDI)研究委员Sung-eun Cho以Meta旗下AI代理“Muse”的使用案例发出上述警示。本次会议由韩国广播通信委员会主办。

随着AI代理开始替用户执行商品购买、支付等操作,围绕“权限授权”的用户保护与责任归属问题正成为新的争议焦点。多位与会专家指出,AI在执行任务过程中可能偏离用户原意并造成损失,但用户往往难以及时核实授权范围、了解实际操作过程,也难以在中途有效干预。

针对这一问题,专家普遍建议应由平台主导完善用户保护机制,包括支持用户设置、调整和撤回AI授权,并对支付等高风险操作引入事前确认流程。

Sung-eun Cho表示,平台应确保用户能够清楚查看AI可行使的权限范围及其实际行为,并在必要时随时调整授权或中止执行。她还透露,KISDI已据此起草《AI代理用户保护指南》,目前正在进行外部评审。

高丽大学人工智能学系教授Sang-geun Lee指出,AI代理既可能遭受外部攻击并被操控,也可能在执行过程中超出用户指令范围。为降低相关风险,平台需要建立更完善的系统设计,对授予AI的权限进行验证,保留行为记录,并在出现问题时支持对执行结果进行回退。

他进一步表示,支付、向外部发送邮件、访问敏感信息等高风险操作,应当经过用户明确批准;而低风险任务则可以更多采用自动化处理,不同类型的操作需要匹配不同强度的控制机制。

会上也有观点指出,AI错误行为造成的损失,不应由用户单方面承担。

国家人工智能战略委员会公共AX分科委员长Tae-woong Park表示,不能让“事先告知这是AI行为”或“用户点击确认”成为免责理由,相关主体必须对结果承担责任。

Park主张,当交易行为明显偏离用户明确指示时,应建立由AI代理提供方和支付服务商承担首要责任的机制。对于达到一定规模的AI服务,还应在设计阶段即强制开展风险评估,完善透明度机制,并由政府持续实施监督。

在随后的圆桌讨论中,多位与会者还提出,在多个AI代理与多家企业联动提供服务的情况下,责任主体需要进一步明确。

启明大学计算机工程系教授Byeong-cheol Ko认为,即便多个代理分别由不同企业开发,最终责任仍应由终端服务提供方承担。同时,还应建立统一受理窗口,让用户无需自行查明事故原因,也能通过单一渠道完成投诉与救济。

韩国消费者联盟事务总长Ji-yeon Jeong也指出,AI代理的自主性不应成为企业规避责任的工具,责任划分应与各方实际拥有的控制能力和风险管理能力相匹配。

另有观点强调,安全治理不能停留在形式化标准层面,还应引入可验证、可检验的有效控制机制。

建国大学媒体传播学系教授Yong-seok Hwang建议,应通过技术手段直接阻断危险行为,并结合用户撤回批准比例、AI行为记录等客观指标,检验安全措施是否真正发挥作用。

加图立大学法学系教授Kyeong-jin Choi则表示,作为平台监管机构,韩国广播通信委员会应发挥更大作用,持续检查AI代理是否推荐违背用户利益的商品,或是否被用于企业间不公平交易;同时应系统收集事故信息,并据此制定相应监管标准。

Choi还指出,未来还需结合具体案例,进一步评估《电信事业法》《信息通信网法》等现有监管工具在AI代理时代是否仍能有效发挥作用。

关键词

#AI代理 #权限授权 #用户保护 #支付事前确认 #行为记录 #责任划分 #韩国信息通信政策研究院(KISDI) #监管标准
版权所有 © DigitalToday。未经授权禁止转载或传播。