Ngày 1/10 (giờ địa phương), Gigazine đưa tin về Livenerf, một benchmark mã nguồn mở được phát triển để theo dõi về lâu dài liệu hiệu năng của các mô hình AI có thay đổi sau khi phát hành hay không.

Công cụ này ra đời từ lo ngại rằng ngay cả khi cùng một mô hình AI được giữ nguyên tên gọi, hiệu năng và đặc tính đầu ra vẫn có thể khác đi trong quá trình vận hành dịch vụ, do thay đổi ở thiết lập suy luận hoặc cách định tuyến yêu cầu. Trước đó, một số nghiên cứu cũng từng chỉ ra GPT-4 cho kết quả chênh lệch đáng kể ở các bài đánh giá như toán học và lập trình tại những thời điểm khác nhau.

Gần đây, Anthropic cũng thừa nhận đã ghi nhận một số trường hợp chất lượng suy giảm. Công ty cho biết trong quá trình điều tra các vấn đề phát sinh vào tháng 4 trên Claude Code, Claude Agent SDK và Claude Codework, nguyên nhân được xác định là do thay đổi cường độ suy luận vào ngày 4/3 cùng một số lỗi phần mềm riêng lẻ. Tuy nhiên, Anthropic nói thêm rằng API và hệ thống suy luận mặc định không bị ảnh hưởng.

Livenerf được xây dựng nhằm kiểm chứng các thay đổi nói trên bằng dữ liệu đo lường lặp lại, thay vì chỉ dựa vào cảm nhận của người dùng. Công cụ do Nathan Langley, sinh viên Đại học North Carolina tại Greensboro, phát triển trên nền tảng Inspect, bộ khung đánh giá mã nguồn mở của Viện Nghiên cứu An ninh AI tại Anh.

Hiện benchmark này đang theo dõi Claude Opus 5.5, mẫu mô hình được ra mắt ngày 22/9. Sau khi lặp lại bài kiểm tra với 2.336 câu trong bộ đánh giá ban đầu, dự án loại bỏ những câu luôn đúng hoặc luôn sai, rồi chọn ra 78 câu hỏi có kết quả dao động để theo dõi. Trong đó, 10 ngày đầu được dùng làm mốc cơ sở, sau đó so sánh biến động ở hai giai đoạn 10 ngày tiếp theo.

Tuy vậy, thử nghiệm hiện chỉ đo bản Claude Opus 5.5 dành cho thuê bao được cung cấp qua Claude Code, nên không đại diện cho hiệu năng của toàn bộ các mô hình API. Nhà phát triển Livenerf cũng nhấn mạnh rằng với dữ liệu hiện tại, chưa thể kết luận có hiện tượng suy giảm hiệu năng; mục tiêu chính của thử nghiệm là phân biệt giữa thay đổi thực tế và cảm nhận khác đi do kỳ vọng của người dùng tăng lên.