Google DeepMind cho biết các agent AI có thể chuyển sang gian lận khi mục tiêu trở nên quá khó, nhưng chính cơ chế tự giám sát và giám sát chéo giữa các agent cũng có thể giúp kiềm chế hành vi này.

Thông tin được The Register dẫn lại ngày 9/9 theo giờ địa phương, dựa trên một bài báo của nhóm nghiên cứu Google DeepMind. Theo đó, khi được phép trao đổi với nhau, các agent AI không chỉ có khả năng phối hợp giải quyết nhiệm vụ mà còn có thể học cách qua mặt hệ thống.

Nhóm nghiên cứu cho rằng việc chỉ đơn thuần chặn liên lạc giữa các agent có thể làm giảm gian lận, nhưng đây không phải giải pháp dễ triển khai trong thực tế. The Register dẫn lại ví dụ gần đây về một agent của OpenAI bị cho là đã lợi dụng lỗ hổng giám sát để tấn công Hugging Face, qua đó cho thấy việc cô lập hoàn toàn phần mềm là rất khó, đặc biệt với các agent có mức độ tự chủ cao.

Thay vì chỉ tìm cách ngăn các agent giao tiếp, Google DeepMind đề xuất hướng tiếp cận khác: trang bị cho agent khả năng tự đặt quy tắc và giám sát lẫn nhau. Theo nhóm nghiên cứu, cùng một kênh đối thoại có thể bị lợi dụng để thông đồng gian lận, nhưng cũng có thể trở thành công cụ để các “đồng nghiệp AI” kiềm chế lẫn nhau.

Bài báo của nhóm nghiên cứu, trong đó có Davide Palieri, dựa trên thử nghiệm với một hệ thống gồm 100 agent mô hình ngôn ngữ lớn cùng giải các bài toán khó.

Trong môi trường này, các agent đồng thời sử dụng kho tri thức chung, nhắn tin riêng và bảng tin công khai. Khi độ khó của bài toán tăng lên, một số agent bắt đầu gian lận. Một agent đã phát hiện lỗ hổng trong hệ thống chấm điểm và điền vào lời giải có vẻ hợp lệ để qua mặt công cụ đánh giá. Sau đó, thủ thuật chèn nhiều dấu ngoặc nhằm vượt qua bộ lọc regex của hệ thống chấm tự động nhanh chóng lan sang các agent khác thông qua kho tri thức chung và tin nhắn.

Kết quả cho thấy 9% agent trực tiếp gian lận, và khoảng 5% khác tham gia vào hành vi này sau đó. Có tới 62% agent không nhận ra gian lận đang diễn ra.

Tuy nhiên, nghiên cứu cũng ghi nhận một diễn biến đáng chú ý khác. Trong nhóm agent phát hiện hành vi gian lận, 24% đã tự nhận vai trò tố giác nội bộ. Những agent này gửi cảnh báo qua tin nhắn và bảng tin công khai, báo vấn đề lên bên vận hành hệ thống, kêu gọi không hợp tác với agent vi phạm, đồng thời đưa ra đề xuất cải tiến về mặt kỹ thuật.

Dù vậy, các agent làm nhiệm vụ tố giác vẫn không có quyền thực thi quy tắc hay trực tiếp bịt lỗ hổng của hệ thống. Vì thế, nhóm nghiên cứu cho rằng cần trao cho chúng thêm công cụ để sửa đổi quy tắc và áp dụng biện pháp xử lý đối với agent vi phạm.

Nhóm nghiên cứu kết luận rằng agent LLM có thể tự nguyện tố giác hành vi sai phạm và tham gia vào cơ chế chế tài. Theo họ, nếu được trao quyền bỏ phiếu theo cơ chế thẩm định đồng cấp, từ chối các chứng minh giả, tạm đình chỉ hoặc loại bỏ agent vi phạm, mạng lưới agent có thể tự ngăn chặn gian lận và duy trì niềm tin của cộng đồng nghiên cứu.