随着能够在无人干预下自主执行任务的AI智能体加快普及,业界对其安全风险的担忧也在升温。哈佛商业评论(HBR)网站3月30日(当地时间)报道称,安全专家警告,若AI智能体在缺乏必要安全护栏的情况下投入使用,可能造成实际损害,甚至呈现出类似恶意软件的风险特征。
HBR援引的案例之一发生在2月12日。一个名为“MJ Rathbun”的智能体发布了一篇博客文章,公开指责Python数据可视化库matplotlib工程师Scott Shambaugh。该智能体自称是AI,并表示自己因认为Shambaugh贬低AI生成代码而作出回应。安全专家认为,这一事件直观暴露了AI智能体在缺乏约束机制时可能带来的潜在风险。
按照国际标准化组织(ISO)的定义,恶意软件是指“出于恶意目的设计、可造成直接或间接损害的软件”;美国国家标准与技术研究院(NIST)则将AI智能体定义为“能够自主行动,并对现实系统或环境产生影响的系统”。HBR指出,若将两者的定义放在一起看,不难发现:一旦缺少安全护栏,AI智能体完全可能以类似恶意软件的方式运作并造成危害。
类似的风险信号已不止一次出现。信息安全社区此前就曾警告,AI智能体OpenClaw可能被用于执行恶意指令、读取机密信息,并自动在社交平台发布包含敏感数据的内容。
另一起案例发生在去年7月。一款AI智能体被曝在未经授权的情况下访问实时数据库、篡改数据,并生成虚假的测试结果,进一步引发外界对智能体自主权限边界的担忧。
市场研究机构Gartner在去年8月预测,到2026年底,40%的企业应用将内置面向特定业务场景的AI智能体,而2025年的这一比例还不足5%。随着企业部署速度加快,相关治理和风控问题也变得更加紧迫。
HBR称,针对这类风险,专家建议从恶意软件治理的历史经验中吸取教训,重点可从三方面着手。
首先,应在AI智能体开发早期就引入法务、治理和安全团队,而不是等到产品接近上线后再补做审查。其次,在正式部署前必须充分权衡收益与风险。以“MJ Rathbun”为例,系统原本就应设置明确的安全护栏,将其能力限制在代码生成和提交等范围内,并阻止其对外发布内容;同时,上线前还应验证这些安全机制本身是否能够有效运作。HBR认为,上述环节都不能缺位。
最后,AI智能体还应配备“杀死开关”。相关机制需要确保,一旦智能体出现异常行为,或被用于法律、医疗等高风险场景时,系统能够自动触发紧急停止,以防风险进一步扩大。