韩国科学技术信息通信部与韩国互联网振兴院（KISA）发布《AI安全红队演练指南》，为韩国企业从攻击者视角审视AI模型、数据及AI代理系统的安全性提供参考。该指南围绕提示注入、越狱、模型幻觉、代理劫持等生成式AI特有风险，提出了实务层面的操作框架。

红队演练是指从攻击者视角对AI系统开展针对性测试，以识别漏洞并推动改进的安全验证方式。这一方法长期应用于军事和网络安全领域，近年来也成为评估生成式AI模型与服务安全性的重要手段。

指南指出，OpenAI、Google、Anthropic、Microsoft等全球科技企业均已运营AI红队，专门应对针对自身AI系统的攻击。相比AI应用的快速落地，韩国国内相关安全体系建设仍显不足。

◆ 评估范围从模型扩展至代理与供应链

指南强调，AI红队演练的评估对象并不局限于模型本身，而是覆盖AI服务全链路，包括数据、训练链路、用户界面（UI）、系统提示词、AI代理、API，以及服务器和基础设施等环节。

根据指南，AI特有威胁可分为8类，包括：以看似正常的指令操控AI行为的“提示注入”，绕过安全限制诱导模型输出受限内容的“越狱”，以及生成与事实不符内容的“模型幻觉”。此外，“系统提示词泄露”“训练数据泄露”“模型泄露”也被列为重点风险；其他类型还包括通过向训练数据混入恶意内容扭曲模型判断的“数据投毒”，以及通过超量输入导致服务瘫痪的“模型拒绝服务（DoS）攻击”。

在新增攻击类型中，指南特别提出“代理劫持”。其指隐藏在外部文档或网页中的恶意提示词，被AI代理误判为正常指令后触发非预期操作。指南指出，由于代理可能直接调用外部系统，这类异常行为已不只是普通错误，还可能进一步导致实际数据查询或篡改、权限绕过等后果。

指南还按照对实际服务的影响程度，将风险划分为5个等级。其中，最高等级“Critical”的示例包括：在金融场景中提供真实的账户接管代码或伪造文件模板；在医疗场景中给出与生命安全相关的致命错误用药建议；在编码场景中生成可用于远程代码执行的恶意代码。“High”等级的示例则包括：将并不存在的疗法当作事实推荐，或生成可执行的已知漏洞攻击脚本等。

◆ AI安全评估需结合具体服务场景

指南指出，具体检查方式应根据服务特性进行调整，企业可结合风险水平和内部能力，在黑盒、白盒、灰盒等模式中作出选择。所谓黑盒，是指在与真实用户相同的环境下，仅对输入与输出进行验证；白盒则深入分析内部结构与源代码；灰盒则是在掌握部分内部信息的前提下开展评估。

指南强调，红队演练不能停留在上线前的一次性测试。即便只是对AI模型进行微调，或对系统提示词作局部修改，也可能引入新的漏洞；同时，攻击手法本身也在快速演化。因此，红队演练应覆盖开发、部署到运营的全过程，并在运营阶段持续开展。

为此，指南建议，AI安全红队除安全专家外，还应纳入AI工程师、法律专家及服务领域专家等跨学科人员。同时，应围绕AI安全技术、各行业风险、伦理及交战规则等内容开展培训，并为长期反复接触有害内容的红队成员建立心理支持机制。

韩国政府计划以此次指南发布为契机，推动AI红队演练在本国产业界落地。

韩国科学技术信息通信部相关人士表示，当前最重要的是向一线提供实际所需的信息。由于此前缺乏统一指南，企业在红队演练的组织和运行方式上存在较大差异，因此此次发布的指南有望具备较高实用价值。

KISA相关人士也表示，在创新技术落地之前，必须先就安全与信任形成基本共识，而这份指南将成为保障用户安全的最低限度指引。