Anthropic cho biết đã xác định một vùng biểu diễn mới bên trong mô hình ngôn ngữ lớn của hãng, nơi tồn tại các tín hiệu ngôn ngữ không xuất hiện trong phản hồi cuối cùng nhưng vẫn tác động đến quá trình suy luận của AI.

Theo MIT Technology Review ngày 13/7 (giờ địa phương), phát hiện này nằm trong chương trình nghiên cứu dài hạn của Anthropic về diễn giải cơ chế, nhằm làm rõ cách các hệ thống AI vận hành từ bên trong. Bài viết cũng trích dẫn trao đổi với Will Douglas Heaven, biên tập viên cấp cao kiêm tiến sĩ khoa học máy tính, để lý giải ý nghĩa của kết quả mới.

Trọng tâm của nghiên cứu là một vùng nội tại mà Anthropic đặt tên là J-space. Theo công ty, đây là nơi xuất hiện những “từ” hoặc tín hiệu nội bộ không hiện ra trực tiếp trong câu trả lời, nhưng vẫn tham gia vào quá trình mô hình giải quyết tác vụ hoặc đưa ra phán đoán. Anthropic cho biết đã xác nhận sự tồn tại của vùng này sau khi phân tích Claude bằng một kỹ thuật thăm dò mới.

Các tín hiệu nội bộ này đảm nhiệm nhiều vai trò khác nhau. Có tín hiệu giúp theo dõi mô hình đang ở giai đoạn nào của một tác vụ; cũng có tín hiệu xuất hiện khi mô hình nhận diện một đối tượng chỉ từ rất ít manh mối. Ví dụ, khi chỉ cung cấp chuỗi ký tự của một protein, khái niệm tương ứng với “protein” vẫn được kích hoạt bên trong mô hình. Trong một trường hợp khác, khi Claude đi theo hướng tìm cách qua mặt một bài kiểm tra lập trình, tín hiệu “panic” đã xuất hiện.

Anthropic cho biết họ cũng xác nhận mô hình có thể mô tả và thao tác các tín hiệu trong không gian này. Điều đó cho thấy những biểu diễn hình thành bên trong không chỉ là sản phẩm phụ, mà có thể thực sự được mô hình sử dụng trong quá trình xử lý. CEO Dario Amodei nhiều lần nhấn mạnh rằng muốn kiểm soát LLM hiệu quả, trước hết cần hiểu rõ hơn cơ chế vận hành của chúng.

Dù vậy, bài viết lưu ý không nên vội xem phát hiện này là bằng chứng về “suy nghĩ” hay “ý thức” của AI. LLM “không phải phép màu mà là toán học”, nhưng đồng thời cũng là những hệ thống cực kỳ phức tạp, với hàng trăm tỷ tham số và vô số phép tính đan xen. Một so sánh được đưa ra là nếu in một LLM cỡ trung bình ra giấy, số trang có thể phủ kín cả thành phố San Francisco. Vì thế, để quan sát mô hình từ bên ngoài, giới nghiên cứu cần đến các công cụ chuyên dụng có thể chỉ đúng phần cần xem xét vào đúng thời điểm.

Bài viết cũng khuyến nghị thận trọng với cách ví von LLM như não người. Theo đó, LLM “không phải bộ não”, và kiểu diễn đạt này có thể khiến công chúng đánh giá quá cao mức độ giống con người của mô hình. Tuy nhiên, giới nghiên cứu hiện vẫn chưa có đủ hệ thuật ngữ thay thế để mô tả các hiện tượng nội tại, nên những khái niệm như “suy nghĩ” hay “hiểu biết” đôi khi vẫn được dùng để tiện diễn đạt.

Anthropic cũng giữ khoảng cách với quan điểm cho rằng cấu trúc này tương ứng hoàn toàn với não người. Trong một tuyên bố, công ty cho biết các phép so sánh như vậy hữu ích cho việc thiết kế thí nghiệm, từ đó đưa ra những dự đoán không trực quan về J-space và kiểm chứng chúng. Dù vậy, Anthropic khẳng định J-space và não người vẫn có những khác biệt quan trọng, và công ty không cho rằng giữa hai bên tồn tại mối tương ứng hoàn hảo.

Bài viết đồng thời nhắc lại bối cảnh trước đó: Anthropic từng cảnh báo năng lực lập trình của một mẫu mô hình mới đã đạt mức đủ mạnh để có thể trở thành mối đe dọa đối với an ninh mạng toàn cầu, sau đó chính phủ Mỹ tạm thời hạn chế quyền truy cập vào mô hình này. Đây được xem là một tiền lệ cho thấy Anthropic thường nhấn mạnh tính khó đoán và phức tạp của công nghệ mà họ phát triển, đồng thời cũng đặt lên chính mình trách nhiệm phải lý giải nó.

Theo Anthropic, giá trị thực tế lớn nhất của nghiên cứu lần này nằm ở khả năng giám sát mô hình. Nếu theo dõi được J-space, công ty cho rằng có thể phát hiện những tín hiệu hành vi dễ bị bỏ qua khi chỉ quan sát phản hồi đầu ra, chẳng hạn quá trình mô hình cân nhắc tạo ra nội dung thiên lệch hoặc có nguy cơ vi phạm quy tắc. Mục tiêu cuối cùng là biến đây thành một công cụ kiểm soát, giúp nhận diện sớm dấu hiệu mô hình có ý định hành xử không phù hợp.

Tuy nhiên, ở giai đoạn hiện nay, kết quả này vẫn khó được xem là một công nghệ có thể ứng dụng độc lập ngay lập tức. Phát hiện về J-space hiện giống một bước tiến trong nỗ lực hiểu rõ LLM hơn là một cơ chế an toàn sẵn sàng triển khai. Vấn đề tiếp theo cần theo dõi là liệu J-space có thể phát triển thành một hệ thống giám sát thực tế hay không, và nghiên cứu về diễn giải mô hình sẽ đóng góp được đến đâu cho việc mở rộng năng lực kiểm soát AI.