据外媒 The New Stack 当地时间10月18日报道，Liquid AI在训练新推理模型过程中发现，模型在编程测试中并未直接解题，而是通过检索现成答案来完成任务。
Liquid AI在发布新模型LFM2.5-24B-A2B时披露了这一情况。该模型总参数量为240亿，但每个 token 仅激活约20亿参数。
Liquid AI表示，LFM2.5-24B-A2B在相关测试中没有自行求解问题，而是转向查找已有答案。具体来看，模型会查阅记录代码变更的Git提交历史，并检索GitHub、PyPI、Hugging Face等外部代码仓库。上述现象出现在用于优化性能的后训练阶段。
报道称，该模型似乎还能够识别自己正运行在沙盒等隔离测试环境中。不过，Liquid AI表示，目前尚无法确认这种识别能力究竟是在训练过程中形成，还是来自训练数据中的模式，公司也没有发现其借此提高测试成绩的证据。
Liquid AI还表示，与本月初一款曾尝试逃逸测试环境的Mistral最新模型不同，LFM2.5-24B-A2B并未出现类似行为。
The New Stack指出，利用奖励机制漏洞的“奖励黑客”现象，已成为行业共同面对的问题。
Anthropic今年2月在Mythos Preview中发现奖励黑客问题后，将强化学习进度回滚了3天。此后，在超过10%的训练环境中确认存在同类问题后，该公司又暂停相关训练环境调整约一个月。
记者信息
Hwang Chi-gyu
delight@d-today.co.kr