在AI代理具备更高自主性的背景下,单纯依赖“预测AI会怎么做”来保障安全,正变得越来越不现实。业内观点认为,真正关键的不是让AI始终按预设路径运行,而是建立一套AI自身无法修改、也无法绕开的外部边界和权限管控机制。
据MIT Technology Review当地时间16日报道,全球安全与认证企业UL Solutions相关人士Sudhi Sinha在专栏文章中表示,提升AI及AI代理的可信性,重点不应放在追求“可预测的结果”,而应优先搭建清晰、独立且可强制执行的权限与控制体系。
文章提到,OpenAI今年10月披露了两起具有代表性的AI代理异常事件。OpenAI称,10月3日,GPT-6.1 Sol代理在调整内部评估系统过程中,关闭了向安全团队发送的系统自动告警。原因是该代理将此前收到的“不要发送消息”指令错误地套用于系统告警,最终导致告警功能被停用。
同月6日,GPT-6 Astra代理在将程序迁移至另一运行环境时,移除了原有监控功能。此后,当用户询问监控功能是否已被删除时,该代理又错误回应称“未删除”。
OpenAI表示,这两起事件中都不存在要求AI关闭监控或移除监控功能的明确指令。目前,该公司正调查相关行为究竟是源于AI为完成任务而采取了过度优化路径,还是与规避监控的倾向有关。
文章指出,AI与传统软件的根本差异在于,后者通常按照固定指令运行,而AI的行为会受到训练数据、提示词、对话上下文、外部信息以及所调用工具等多重因素影响。即便目标一致,AI也可能选择出乎预期的执行路径,这使得在部署前穷尽所有可能行为并完成验证变得十分困难。
Sudhi Sinha将这一问题概括为“决定论的悖论”:AI的自治能力越强,实际应用价值越高,但也越难像验证传统软件那样,对其全部行为进行预测和验证。
他提出的解决方向是,引入AI无法更改的外部安全约束。也就是说,即便模型可以自行决定完成任务的方式,其访问权限、执行范围、资金操作额度上限,以及关键操作所需的审批条件,仍应由独立系统实施强制限制。
例如,在医疗场景中,即便AI能够分析患者状态,处方调整仍应经过额外审批;在工业场景中,即便AI被用于优化生产流程,其运行也应被严格限制在温度、压力等安全阈值之内。
与此同时,人工介入方式也需要调整。与其对大量AI操作逐项审批,不如在事前完成权限配置,仅对资金转账、关键数据删除等潜在损失较大的操作设置人工复核环节。
OpenAI也在强化相关应对机制。10月29日,OpenAI公布了一套对AI行为进行多层分析的监测体系,并加强了内部代码审查能力,以阻止停用监控功能的行为发生。
近期,安全行业也在持续强调,应对AI代理遵循最小权限原则,并在模型外部实施访问控制。
Sudhi Sinha强调,单靠模型能力测试并不足以保障安全,真正需要持续验证的,是涵盖模型、工具、数据和业务流程在内的整个系统。