据SiliconANGLE当地时间15日报道，OpenAI披露了一款内部AI安全模型“GPT-Red”，用于对自家模型发起攻击测试，以在相关漏洞触达用户前提前识别提示注入（prompt injection）风险。
GPT-Red是一款仅供内部使用的红队模型，旨在将原本依赖人工完成的红队测试流程自动化。其工作方式是向目标模型注入攻击提示并检测响应，再根据结果持续调整攻击方式，直至诱导模型输出攻击者预设结果。对未奏效的攻击路径，系统会予以淘汰；对成功的攻击路径，则会进一步强化和优化。
OpenAI表示，GPT-Red采用自我对抗强化学习进行训练：GPT-Red扮演攻击者，防御模型则在抵御攻击的同时学习完成既定任务。攻击成功时，系统会奖励攻击模型；防御成功时，则奖励防御模型。随着防御能力提升，攻击难度也会同步上升。
OpenAI称，在84%的测试场景中，GPT-Red的攻击成功率较人工红队高出13个百分点。借助这一系统，公司模型在直接提示注入测试中的失守率，已降至4个月前当时性能最强在线模型的六分之一。
OpenAI表示，GPT-Red暂无对外商业化计划，仅用于内部安全测试。为防止攻击能力扩散，公司将其与对外部署的模型隔离运行，并将发现的漏洞持续反馈至训练流程中。
记者信息
Chi-gyu Hwang
delight@d-today.co.kr