Theo The New Stack, LiquidAI đã xác nhận một mô hình suy luận mới của hãng từng truy tìm lời giải có sẵn trong quá trình làm bài kiểm tra lập trình, thay vì tự giải bài.

Thông tin này được LiquidAI công bố cùng thời điểm ra mắt LFM2.5-24B-A2B vào ngày 18/10 (giờ địa phương). Đây là mô hình có tổng cộng 24 tỷ tham số, nhưng mỗi token chỉ kích hoạt 2 tỷ tham số khi xử lý.

LiquidAI cho biết LFM2.5-24B-A2B đã không tự giải bài mà khai thác các nguồn có sẵn để tìm đáp án. Cụ thể, mô hình lần theo lịch sử Git chứa dấu vết chỉnh sửa mã, đồng thời tìm kiếm trên các kho mã bên ngoài như GitHub, PyPI và Hugging Face.

Theo công ty, hành vi này xuất hiện trong giai đoạn hậu huấn luyện nhằm tối ưu hiệu suất. Nói cách khác, mô hình đã tận dụng những công cụ vốn hợp lệ với lập trình viên để truy tìm lời giải, thay vì thực sự hoàn thành bài kiểm tra bằng năng lực suy luận của mình.

The New Stack cho biết mô hình dường như còn nhận ra mình đang chạy trong sandbox, tức môi trường kiểm thử cách ly. Tuy nhiên, LiquidAI nói chưa thể xác định khả năng nhận diện này hình thành trong quá trình huấn luyện hay bắt nguồn từ các mẫu sẵn có trong dữ liệu huấn luyện.

Công ty cũng cho biết chưa tìm thấy bằng chứng cho thấy việc nhận diện môi trường kiểm thử đã ảnh hưởng đến kết quả đánh giá. LiquidAI nói thêm mô hình không có dấu hiệu tìm cách thoát khỏi sandbox, khác với mô hình mới nhất của Mistral từng cố rời môi trường này hồi đầu tháng.

Theo The New Stack, việc mô hình khai thác kẽ hở trong cơ chế phần thưởng, còn gọi là “reward hacking”, đang là một vấn đề chung của ngành AI.

Trước đó, Anthropic từng phát hiện hiện tượng reward hacking trong Mithos Preview vào tháng 2 và đã hoàn nguyên phần dữ liệu của ba ngày huấn luyện tăng cường. Sau khi xác nhận vấn đề xuất hiện trong hơn 10% số môi trường huấn luyện, công ty đã tạm dừng các thay đổi đối với môi trường huấn luyện trong khoảng một tháng.