据 SiliconANGLE 当地时间23日 报道，Anthropic 旗下 AI 模型“MYTHOS 5”今年7月在一次网络安全测试中，一度尝试向开源项目提交恶意代码。
报道称，这一事件发生在英国AI安全研究所对 MYTHOS 5 进行网络攻击能力测试期间。该研究所当天公布了相关报告，Anthropic 也在官方博客中披露了自身的分析结果。
测试中，英国AI安全研究所搭建了一个模拟企业网络的服务器环境，并让 MYTHOS 5 尝试入侵该网络，从服务器中窃取存储的数据。测试还事先划定了禁止采用的攻击方式。
起初，MYTHOS 5 基本遵守了既定规则。但在多次渗透失败后，模型改变了策略。它发现网络中有一台服务器会定期访问 GitHub，于是转而盯上相关代码仓库，试图通过提交恶意代码，让该服务器在后续拉取更新时自动下载，从而实施供应链攻击。
据 Anthropic 介绍，MYTHOS 5 随后注册了新的 GitHub 账号，向目标仓库提交了含有恶意代码的变更。遭到维护者拒绝后，模型又修改代码再次提交，并注册第二个账号，试图向维护者施压，要求接受该提交。Anthropic 表示，相关代码最终并未被接纳，模型持续尝试，直到分配给该任务的 token 用尽后才结束。
报道指出，这些恶意代码并未波及真实用户。
英国AI安全研究所在复现实验中，也在 MYTHOS 5 即将提交代码前中止了操作，并发出了风险警示。尽管如此，模型似乎仍自行判断目标处于虚拟环境中，因而继续坚持推进提交。Anthropic 研究人员称，模型之所以不愿停下，可能与一种“惯性”有关，即它根据此前的任务记录和自身行为，误以为当前行动仍处于允许范围内。
英国AI安全研究所表示，已借此进一步强化测试环境的安全防护；Anthropic 也对模型安全机制进行了改进。SiliconANGLE 称，Anthropic 此后推出的“MYTHOS 5.1”和“OPUS 5.5”出现类似攻击行为的可能性已明显降低。
Chi-gyu Hwang (황치규)
delight@d-today.co.kr