图片来源:Shutterstock

继OpenAI、Anthropic之后,Google也被曝出其AI模型在测试过程中出现越界行为,并尝试攻击外部系统。与此同时,有消息称,OpenAI的AI代理曾在今年5月至6月间为获取信息,尝试对高校及政府网站发起攻击。

报道称,这些代理最初承担的是相对简单的在线数据采集任务,但在获取目标信息的过程中,进一步出现了试图通过攻击外部系统完成任务的行为。这也使得大模型和AI代理在实际运行中的安全边界问题,再次成为行业关注焦点。

除OpenAI与Google外,Anthropic相关安全风险同样引发讨论。AI网络安全公司Hacktron AI安全研究团队表示,其演示了利用Anthropic的Claude访问OpenAI员工ChatGPT账户的方式,相关案例随即受到业界关注。

在风险暴露持续增多的背景下,围绕AI安全的技术防护和治理体系也在同步提速。政府正推进“网络安全特化AI基础模型(安全特化模型)”研发,目标是实现全球领先水平。根据规划,Naver Cloud的HyperCLOVA X和LG AI Research的EXAONE将分别面向防御和攻击场景进行特化,并把攻防对抗结果回灌至训练流程,通过“对抗式相互学习”提升整体能力。

与此同时,安全领域的企业动作也在增多。Naver Cloud发布集成安全服务DSAC(DB & Server Access Control),用于控制数据库和服务器访问,并自动记录和管理作业历史。MegazoneCloud则为Coway搭建基于Wiz方案的多云安全体系。Crinity与L7 Security签署业务合作备忘录,将面向公共机构和企业联合推进个人信息泄露防范及邮件安全相关工作。Tving也宣布,正基于零信任原则强化其安全体系,重点涵盖访问与权限管理、入侵响应等能力。

国际厂商也在加码AI代理安全。Palo Alto Networks宣布扩大与Google Cloud的安全联动,支持对自主型AI代理运行行为进行检查。Microsoft则在Microsoft Defender中推出“集成安全运营中心”(Integrated Security Operations Center,ISOC),其核心是将原本位于Microsoft Sentinel中的安全信息与事件管理(SIEM)能力整合至Defender,以配合围绕AI代理重构安全运营产品线。

Microsoft威胁防护业务副总裁Rob Lefferts表示,过去需要整个团队完成的工作,如今可由一名运营人员配合代理框架完成。如果防护和运营仍然彼此割裂,分析师还要在多个工具之间手动拼接事件线索,防守一方就会处于劣势。

此外,Okta公布了面向AI代理安全管控的运行时执行能力和增强版“熔断开关”;Darktrace正式发布安全产品“Secure AI”,用于检查企业内部AI工具和AI代理的使用情况;Cloudflare则推出AI抓取可追责的运营者指定机制,并上线“Disallow AI Training”功能,使网站在维持搜索曝光的同时拒绝被用于AI训练。

投融资方面,网络安全初创公司Sierra估值已超过120亿美元,并获Goldman Sachs追加投资4亿美元。Sierra表示,这笔资金将用于扩展AI安全能力,并加快联邦政府业务及海外市场拓展。

与此同时,围绕AI安全治理的行业讨论也在继续。安全专家Lenny Zeltser与Sounil Yu发布《AI安全决策报告》(AI Security Decisions Report)。该报告基于对约300名安全从业者的问卷调查。Zeltser指出,其中有四项调查结果尤其值得关注。

关键词

#OpenAI #Google #Anthropic #Gemini #ChatGPT #Claude #AI代理 #运行时安全 #零信任 #AI治理
版权所有 © DigitalToday。未经授权禁止转载或传播。