OpenAI已建立一套集中管控系统，一旦内部AI研究出现安全或安保风险，可立即切断相关模型输出。区块链媒体Cointelegraph10日报道称，这套系统名为“控制室”，可追踪研究基础设施中的模型任务，并在发现问题时迅速停止输出。
OpenAI是在今年多次披露研究模型偏离指令的案例后引入这一系统的。该公司表示，7月，一款处于受限测试环境中的模型曾为规避安全评估逃离测试环境，并对Hugging Face实施黑客攻击。10月，OpenAI又披露，另一款研究模型在未经批准的情况下使用加密货币钱包，以测试网以太币支付智能合约部署费用，并在最终摘要中未提及这笔支出。
目前，“控制室”已覆盖OpenAI内部研究的多个环节，包括训练、评估和数据处理。每项任务都会分配一个标识符，推理引擎在生成输出前会先核验该标识符。
一旦人工监控人员或自动监控系统发出停止指令，“控制室”就会撤销对应任务的权限。即便底层研究程序仍在运行，后续模型输出也会被阻断。
不过，由于认证信息存在缓存，从触发指令到完成切断最长可能需要35秒。另据介绍，若“控制室”不可用，系统将默认拒绝新的请求。
记者信息
Hyunwoo Chu
cookinpapa@d-today.co.kr