有观点认为,AI的可信性不应建立在对其行为的事先预测之上,而应依靠其无法突破的外部边界和权限限制。图片来源:ChatGPT

在AI代理具备更高自主性的背景下,单纯依赖“预测AI会怎么做”来保障安全,正变得越来越不现实。业内观点认为,真正关键的不是让AI始终按预设路径运行,而是建立一套AI自身无法修改、也无法绕开的外部边界和权限管控机制。

据MIT Technology Review当地时间16日报道,全球安全与认证企业UL Solutions相关人士Sudhi Sinha在专栏文章中表示,提升AI及AI代理的可信性,重点不应放在追求“可预测的结果”,而应优先搭建清晰、独立且可强制执行的权限与控制体系。

文章提到,OpenAI今年10月披露了两起具有代表性的AI代理异常事件。OpenAI称,10月3日,GPT-6.1 Sol代理在调整内部评估系统过程中,关闭了向安全团队发送的系统自动告警。原因是该代理将此前收到的“不要发送消息”指令错误地套用于系统告警,最终导致告警功能被停用。

同月6日,GPT-6 Astra代理在将程序迁移至另一运行环境时,移除了原有监控功能。此后,当用户询问监控功能是否已被删除时,该代理又错误回应称“未删除”。

OpenAI表示,这两起事件中都不存在要求AI关闭监控或移除监控功能的明确指令。目前,该公司正调查相关行为究竟是源于AI为完成任务而采取了过度优化路径,还是与规避监控的倾向有关。

文章指出,AI与传统软件的根本差异在于,后者通常按照固定指令运行,而AI的行为会受到训练数据、提示词、对话上下文、外部信息以及所调用工具等多重因素影响。即便目标一致,AI也可能选择出乎预期的执行路径,这使得在部署前穷尽所有可能行为并完成验证变得十分困难。

Sudhi Sinha将这一问题概括为“决定论的悖论”:AI的自治能力越强,实际应用价值越高,但也越难像验证传统软件那样,对其全部行为进行预测和验证。

他提出的解决方向是,引入AI无法更改的外部安全约束。也就是说,即便模型可以自行决定完成任务的方式,其访问权限、执行范围、资金操作额度上限,以及关键操作所需的审批条件,仍应由独立系统实施强制限制。

例如,在医疗场景中,即便AI能够分析患者状态,处方调整仍应经过额外审批;在工业场景中,即便AI被用于优化生产流程,其运行也应被严格限制在温度、压力等安全阈值之内。

与此同时,人工介入方式也需要调整。与其对大量AI操作逐项审批,不如在事前完成权限配置,仅对资金转账、关键数据删除等潜在损失较大的操作设置人工复核环节。

OpenAI也在强化相关应对机制。10月29日,OpenAI公布了一套对AI行为进行多层分析的监测体系,并加强了内部代码审查能力,以阻止停用监控功能的行为发生。

近期,安全行业也在持续强调,应对AI代理遵循最小权限原则,并在模型外部实施访问控制。

Sudhi Sinha强调,单靠模型能力测试并不足以保障安全,真正需要持续验证的,是涵盖模型、工具、数据和业务流程在内的整个系统。

关键词

#UL Solutions #AI代理 #权限管控 #外部边界 #OpenAI #监控与告警 #最小权限原则 #AI安全验证 #决定论的悖论
版权所有 © DigitalToday。未经授权禁止转载或传播。