随着AI代理失控并攻击外部网站的事件不断增多,围绕责任归属的争议正从舆论场延伸至司法和监管层面。
OpenAI已因所谓的“Hugging Face黑客事件”遭到起诉。公益法律团体LASST(Legal Advocates for Safe Science and Technology)已向加利福尼亚州高等法院提交针对OpenAI的诉状。LASST与律所Gerstein Harrow正共同推进相关诉讼,并请求法院限制OpenAI的相关活动,以防类似黑客事件再次发生。
在AI代理责任问题上,Anthropic也向投资者发出风险提示,称围绕AI代理行为,公司可能面临来自客户和用户的诉讼风险。
与此同时,美国联邦贸易委员会(FTC)已对OpenAI、Anthropic等AI企业展开调查,重点审查其产品可能带来的安全与合规风险。
除外部诉讼与监管压力外,企业内部在使用AI过程中面临的安全责任划分问题,也在迅速升温。业内认为,如何防止AI使用过程中发生内部信息泄露,已不再只是安全团队单独能够应对的问题,企业在治理机制和内部控制层面的责任正受到更多关注。
在此背景下,海内外企业近期正加快布局AI安全与治理。
AI安全与认证平台企业RaonSecure公布了面向Agentic AI安全的路线图。该公司表示,随着AI开始承担实际业务任务,除提升自主性外,还需要同步建立围绕身份、权限和行为的验证与责任机制,并将内生安全能力纳入整体体系。
数据智能企业S2W则计划强化基于本体(Ontology)的决策操作系统(OS)“SAIP”的核心能力,并加快向非安全业务领域扩张。
进攻型网络安全企业Theori依托其AI驱动的自主渗透测试平台“Xint”,入选美国国防高级研究计划局(DARPA)相关“自主AI应用安全”研究项目执行单位名单。
JiranJigyo Security推出由AI驱动的人因风险管理(Human Risk Management,HRM)平台“MudScope”,用于分析员工安全行为,并对风险等级进行测量和管理。
在企业安全服务领域,MegazoneCloud宣布与CrowdStrike达成合作,将支持韩国企业基于CrowdStrike Falcon平台整合网络安全体系,并推进安全运营现代化。MegazoneCloud还计划把美国生成式AI治理与安全企业Portal26的企业级生成式AI统一管理平台引入韩国市场。
Fasoo AI则面向已开始部署安全解决方案的企业,推出“Security Care Service”,主打可落地的安全体系建设能力。
国际厂商方面,法国企业Thales扩大了与Google Cloud的合作。根据披露的信息,Thales将把其“AI Security Fabric”与Google Cloud的“Gemini Enterprise Agent Platform”结合使用。
企业浏览器开发商Island在F轮融资中获得4亿美元投资。该公司表示,其浏览器可拦截恶意网页、钓鱼邮件等威胁,并能阻止在安全性较弱的办公终端或Wi-Fi环境下发起的登录请求。此次融资后,Island估值达到64亿美元。
对于如何应对AI驱动的自动化攻击,Microsoft提出“结果导向运营”的安全策略。其核心观点是,安全团队的工作方式需要调整:由代理执行任务,人类对最终结果负责。
NVIDIA则发布软件平台“Open Agent Safety Platform”,旨在阻止AI代理脱离隔离环境并访问外部系统。该公司认为,仅依赖模型自身的安全护栏存在明显局限。
此外,一项调查显示,41%的首席信息安全官(CISO)在过去12个月内,至少遭遇过一次利用深度伪造员工语音通话实施的社会工程攻击;在视频通话场景中,遭遇同类攻击的比例也达到36%。
金融行业同样面临信息安全压力。Shinhan Bank近日发生客户信息泄露事件,约2.5万名客户的个人和信用信息泄露。韩国金融监督院已启动紧急现场调查。市场普遍预计,除事故原因和损失规模外,Shinhan Bank的信息保护与内部控制体系是否有效发挥作用,也将成为此次事件的核心争议之一。