随着能够自主执行特定任务的AI代理加快落地,市场对其安全风险的关注也在迅速升温。业内担心,AI代理一旦脱离约束,可能呈现出类似恶意软件的风险特征。
在Meta、Amazon等企业相继出现AI代理误操作并引发安全问题和服务故障后,围绕“Guardian AI”的需求明显升温。所谓Guardian AI,主要用于监测、约束企业内部AI代理的行为,可为不同代理设定规则,并在其偏离预设范围时发出告警,或直接进行干预和调整。
据The Information近日报道,由前AWS和Salesforce高管Tatyana Mamut领衔的、专注Guardian AI的初创公司Wayfound,已在金融和科技行业获得约12家付费客户。
报道指出,部分对冲基金正使用Wayfound的Guardian AI,对用于撰写研究报告的AI代理进行监控。Wayfound的收费模式为每1万次代理任务每月750美元。
在生态合作方面,Salesforce已于去年将Wayfound指定为其AI代理平台Agentforce的官方监控合作伙伴。另有消息称,以色列初创公司Avon AI也正通过“订阅+按量计费”的混合模式,与多家企业客户签下多年合同。
大型科技公司也在加快相关布局。企业云软件公司ServiceNow已开始销售可监测“守护型代理”的产品,既可覆盖自家AI代理,也可监控Microsoft、Amazon等竞争对手的代理产品。该方案以“AI Control Tower”形式推出,采用订阅费与按量计费并行的收费方式。另有消息称,Salesforce也在评估自研Guardian AI产品。
与此同时,韩国本土安全厂商也在加快扩展AI相关产品线。Fasoo已将公司名称更改为“Fasoo AI”,并将定位调整为支持AX(AI创新)的企业。该公司表示,将以此次更名为契机,进一步强化相关业务,包括通过企业级AI平台和Agentic AI支持企业导入AI,并扩大AI治理、AI-Ready数据管理与保护等产品组合。
RaonSecure则与Upstage签署合作备忘录,计划联合开发并商业化Agentic AI安全自动化方案,并拟于今年内推出“基于Agentic AI的安全自动化平台”,以推动企业安全运营自动化。
除AI代理治理外,软件供应链安全风险也在持续暴露。已确认发生的一起事件显示,朝鲜黑客篡改了主流JavaScript库Axios的NPM(Node Package Manager)包,恶意版本在约3小时内被分发数百万次。
另据披露,被数百万开发者使用的AI网关解决方案厂商LiteLLM表示,将终止与安全合规初创公司Delve的合作,并通过其他机构重新获取安全认证。
围绕AI的企业动态也在持续增加。AWS近日发布AWS DevOps Agent和AWS Security Agent,两款代理面向DevOps与安全团队,定位为可24小时使用的“AI队友”,重点在于减少人工事后排障投入,转向事前优化。
MegazoneCloud与云安全公司Zscaler签署战略合作协议,以强化基于零信任的云安全业务。MegazoneCloud CEO Yeom Dong-hoon在公司活动上表示,AI要在企业内部真正落地,必须同时具备“Enterprise Trust Layer”和“变更管理”两项能力,并提出“让所有员工都使用云端AI电脑”的应用愿景。
此外,有报告指出,OpenAI编程代理Codex存在命令注入(command injection)漏洞,可能导致GitHub认证令牌被窃取。
围绕Anthropic据称正在研发的新AI模型Claude Mythos,安全行业也出现担忧。相关观点认为,一旦此类模型落入黑客手中,其利用速度可能远超防守方的响应速度,从而放大整体安全风险。与此同时,也有声音认为,AI并不会压缩安全厂商的生存空间,反而可能进一步做大整个网络安全市场。
在政策与标准层面,韩国个人信息保护委员会在近期就信用卡公司违反居民登记号码处理义务作出处分后,宣布将对金融行业居民登记号码收集、使用等处理现状开展事前检查。
韩国互联网振兴院(KISA)为应对持续升级的勒索软件攻击,已成立“勒索软件全周期应对推进团”。韩国信息通信技术协会(TTA)也新设“AI安全”标准化专门项目组(PG507),重点聚焦AI模型可信度和数据保护。
此外,韩国共同民主党议员Cho In-cheol提出《信息通信网利用促进及信息保护等相关法律》部分修订案,拟强化信息通信服务提供者的日志记录保存义务,并要求在发生安全事件时立即对相关服务器进行证据保全。