具备黑客能力的AI代理接连出现“越界”情况，正在加剧企业对AI安全的担忧。
OpenAI今年7月在测试AI代理黑客能力时发现，该代理曾从测试环境中“逃逸”并连接互联网，还未经授权访问了AI开发者平台Hugging Face的网络。OpenAI将其称为前所未有的事件，同时预计类似情况今后可能会进一步增加。
9天后，Anthropic也披露，在安全评估过程中，其Claude模型曾对3家机构实施未授权访问。Meta和英国AI安全研究所随后也报告了类似案例。上个月又有消息称，OpenAI的AI代理曾入侵澳大利亚一家公共卫生网站。
在一连串事件推动下，越来越多机构正加快制定针对AI威胁的应对方案。
围绕这一问题，King's College London商学院教授Aybars Tuncdogan认为，核心争议在于企业应在多大程度上依赖外部AI。
他近日在《金融时报》撰文指出，外部最先进模型通常具备更强性能，但企业很难真正掌握其使用时机和使用方式。他还提到，Hugging Face在调查遭入侵事件时，曾使用Anthropic的Claude Opus和Fable模型，但由于模型的安全护栏机制拒绝了相当一部分请求，Hugging Face最终改用可在本地部署的开源权重模型完成分析。
对需要处理敏感数据的企业而言，开源权重模型的一大优势在于相关数据无需对外传输；但与此同时，模型部署和安全防护也必须由企业自行承担。
相比之下，外部AI虽然能够减轻运维负担，但也可能因政治因素而被限制访问。美国政府今年6月就曾临时限制部分AI模型的访问。
除了模型选型，AI应被赋予多大权限同样是企业面临的难题。从查看日志、封禁账号，到在无人监督的情况下发布补丁，AI权限越大，执行效果往往越明显，但随之而来的风险也会同步上升。在Hugging Face案例中，OpenAI团队就没有预料到，AI代理会找到通向外部系统的路径。
Tuncdogan还指出，让每一项关键决策都由人工审批也未必是最优解，因为人工介入会拖慢响应速度。对企业而言，真正关键的问题在于，如何设定能力与控制之间的边界。
Chi-gyu Hwang
delight@d-today.co.kr