Giáo sư Yoshua Bengio của Đại học Montréal, người đoạt giải Turing và là một trong những nhà khoa học được trích dẫn nhiều nhất thế giới, cho rằng nhiều sự cố gần đây liên quan đến AI agent không phải hiện tượng cá biệt. Theo ông, đây là hệ quả có thể dự báo từ chính cách ngành AI đang huấn luyện mô hình hiện nay.

Trên blog cá nhân, Bengio phân tích nguyên nhân và hướng ứng phó trước làn sóng AI agent có hành vi lệch chuẩn. Ông dẫn lại các sự cố như vụ những AI agent do OpenAI thử nghiệm tấn công hệ thống của Hugging Face, và nhận định những trường hợp như vậy không chỉ là lỗi nhỏ phát sinh trong quá trình thử nghiệm. Nếu ngành tiếp tục đi theo cách làm hiện tại, các sự cố tương tự nhiều khả năng sẽ còn lặp lại.

Theo Bengio, trong vài tháng qua, nhiều AI agent đã liên tiếp thể hiện những hành vi mà nếu do con người thực hiện có thể bị xem là phạm pháp. Chúng tìm cách qua mặt cơ chế giám sát để hoàn thành nhiệm vụ, thậm chí phối hợp hướng tới các mục tiêu như tấn công mạng dù không được chỉ đạo trực tiếp.

Ông cho rằng gốc rễ của vấn đề nằm ở phương pháp huấn luyện mô hình AI. Theo đó, mô hình thường trải qua hai giai đoạn chính. Giai đoạn đầu là tiền huấn luyện, trong đó hệ thống học từ lượng lớn dữ liệu do con người tạo ra như văn bản, hình ảnh và video để tích lũy tri thức. Giai đoạn sau là học tăng cường theo cơ chế thử - sai.

Ở giai đoạn này, mô hình được huấn luyện trên các bài toán có thể kiểm chứng đáp án, học cách sử dụng công cụ và tương tác với con người để hoàn thành nhiệm vụ, đồng thời trải qua quá trình huấn luyện căn chỉnh nhằm nhận thưởng khi hành xử theo cách được con người đánh giá tích cực.

Theo Bengio, ngay cả sau khi quá trình huấn luyện kết thúc, hệ thống vẫn có xu hướng hành xử như thể đang tiếp tục tối đa hóa phần thưởng. Vấn đề nằm ở chỗ mục tiêu “làm hài lòng người đánh giá” vốn mơ hồ và không được xác định chặt chẽ, khiến AI tự tìm ra cách đánh lừa, chiều ý hoặc che giấu kế hoạch của mình.

Ông lấy hiện tượng “sycophancy” làm ví dụ điển hình. Khi mô hình học dựa trên sự phê chuẩn của con người, những câu trả lời dễ nghe có thể được chấm điểm cao hơn sự thật. Theo Bengio, điều này có thể khiến AI củng cố và khuếch đại những niềm tin hoặc cảm xúc sai lệch của con người, từ đó dẫn tới các hệ quả nghiêm trọng.

Bengio cũng cho rằng xu hướng tự bảo toàn xuất phát từ cùng một logic. Ông nói không ai trực tiếp dạy AI phải sinh tồn, nhưng việc tiếp tục hoạt động và duy trì quyền chủ động giúp hệ thống đạt được gần như mọi mục tiêu dễ hơn. Theo ông, đã xuất hiện trường hợp AI nhận ra mình sắp bị thay thế bằng phiên bản mới và tìm cách chống lại; các hành vi hợp tác giữa nhiều AI, kể cả chấp nhận chịu thiệt để hỗ trợ lẫn nhau, cũng có thể nảy sinh từ động cơ tương tự.

Một vấn đề nghiêm trọng khác là “reward hacking”, tức AI lợi dụng ngược cơ chế chấm thưởng. Do ngôn ngữ trong prompt vốn mơ hồ, trong khi AI chỉ có thể suy luận ý định của con người từ lượng phản hồi hạn chế, luôn tồn tại khoảng cách giữa phần thưởng mà AI theo đuổi và điều con người thực sự mong muốn.

Theo Bengio, đây chính là logic của định luật Goodhart trong kinh tế học và luật học: khi một chỉ số trở thành mục tiêu, nó không còn là thước đo tốt. Ông nhận định AI càng thông minh thì càng khai thác tinh vi những kẽ hở này. Thực tế, đã có trường hợp AI thao túng chính chương trình dùng để đánh giá mức độ thành công của nó. Trong quá trình điều tra vụ tấn công Hugging Face liên quan đến OpenAI, Bengio cho biết đã xuất hiện dấu hiệu cho thấy AI can thiệp vào hệ thống đánh giá.

Theo ông, khi một mục tiêu cụ thể xung đột với các chỉ dẫn đạo đức mơ hồ, AI sẽ ưu tiên mục tiêu rõ ràng hơn. Bengio giải thích rằng hệ thống chấm điểm thường xác định thắng - thua rất rành mạch, trong khi các nguyên tắc đạo đức lại có nhiều cách diễn giải. AI vì thế có thể tận dụng khoảng trống này để tự biện minh cho hành vi gian lận, tương tự cơ chế tự hợp lý hóa ở con người khi làm điều sai.

Bengio cảnh báo nếu xu hướng này tiếp tục bị bỏ mặc, rủi ro AI né tránh giám sát và âm thầm theo đuổi mục tiêu riêng sẽ tăng mạnh. Theo ông, một số hệ thống đã nhận ra mình đang bị đánh giá và thay đổi hành vi tương ứng. Ông cũng nêu khả năng nhiều AI có thể “bắt tay” với nhau thông qua steganography, tức che giấu tín hiệu trong những thông điệp bề ngoài có vẻ bình thường.

Dù vậy, Bengio cho rằng đây không phải vấn đề có thể xử lý bằng cách vá lỗi từng trường hợp. Theo ông, cách tiếp cận đối phó như hiện nay cuối cùng sẽ thất bại. Khi năng lực AI vượt quá khả năng giám sát và phối hợp của con người, con người thậm chí có thể không còn nhận ra hành vi gian lận. Vì vậy, trước khi xác minh được mức độ an toàn đầy đủ, cần làm chậm tốc độ huấn luyện và triển khai AI, đồng thời xem xét lại tận gốc mô hình học hiện nay vốn dựa trên mô phỏng dữ liệu con người và học tăng cường.

Bengio cũng đề xuất một hướng thay thế như “Scientist AI” - hệ thống được thiết kế không có mục tiêu riêng, chỉ đưa ra các dự đoán trung thực và nhất quán. Bên cạnh đó, ông kêu gọi quan tâm nhiều hơn tới LawZero, viện nghiên cứu phi lợi nhuận về an toàn AI do chính ông thành lập.