Satya Nadella, CEO Microsoft, cho rằng trong kỷ nguyên siêu trí tuệ, doanh nghiệp không thể giao phó trách nhiệm cho nhà cung cấp mô hình AI. Theo ông, lớp kiểm soát đối với AI agent phải được đặt bên ngoài mô hình để bảo đảm khả năng giám sát, cô lập và kiểm toán độc lập.

Quan điểm này được Nadella nêu trong bài viết đăng gần đây trên mạng xã hội X với tiêu đề “Models as Insider Risks in the Super Intelligence Era”, đang thu hút sự chú ý trong giới công nghệ.

Thông điệp cốt lõi của bài viết là doanh nghiệp cần thiết kế lại “cấu trúc niềm tin” khi triển khai các hệ thống siêu trí tuệ. Nếu trước đây, với phần mềm truyền thống, sự cố có thể được lần theo đến từng đoạn mã cụ thể, thì điều đó gần như không còn khả thi với các mô hình AI hiện đại.

Theo Nadella, các mô hình tiên tiến có thể vận hành những hệ thống vượt xa phần mềm truyền thống, nhưng rất khó truy ngược một đầu ra cụ thể về dữ liệu huấn luyện hay trọng số nào đã tạo ra kết quả đó. Dù vậy, doanh nghiệp vẫn đang trao cho các agent và mô hình phức tạp quyền truy cập vào dữ liệu nhạy cảm nhất để xử lý những nghiệp vụ cốt lõi.

“Không thể đẩy trách nhiệm về những việc AI làm thay chúng ta ra bên ngoài. Những cam kết của nhà cung cấp mô hình cũng không làm giảm trách nhiệm đó”, ông nhấn mạnh.

Theo Nadella, doanh nghiệp không thể xem siêu trí tuệ như một “hộp đen”, rồi chỉ quyết định có chấp nhận khuyến nghị, câu trả lời hay hành động mà nó đưa ra hay không. Thay vào đó, hệ thống phải được thiết kế sao cho con người có thể quan sát hành vi, kiểm tra giới hạn và chặn hành động khi cần thiết. Về bản chất, ông muốn tách bạch giữa việc “cung cấp trí tuệ” và “nắm quyền kiểm soát trí tuệ”.

CEO Microsoft cũng đề xuất tạm gác những bài toán khó như alignment, tức bảo đảm AI vận hành đúng với ý định của con người, để ưu tiên cách tiếp cận mang tính kỹ thuật hơn, dựa trên cô lập và quản trị hệ thống.

Ông cho rằng tính không ổn định giữa các lần chạy của mô hình cần được bù đắp bằng một kiến trúc hệ thống có tính xác định cao hơn, đi kèm cơ chế kiểm soát của con người và quy trình vận hành đáng tin cậy. Nếu các tiêu chuẩn hiện tại chưa đáp ứng được yêu cầu này, ngành công nghệ cần xây dựng lại chuẩn mới.

Một trong những đề xuất đáng chú ý của Nadella là xem cả mô hình đóng lẫn mô hình open-weight như một dạng “insider risk”, tức rủi ro nội bộ tương tự các mối đe dọa xuất phát từ bên trong tổ chức.

Ông giải thích rằng không phải vì mô hình có chủ đích xấu, mà bởi bất kỳ tác nhân nào đủ năng lực tiếp cận hệ thống quan trọng đều có thể mắc lỗi hoặc trở thành mục tiêu tấn công. Vì vậy, kiến trúc cô lập và kiểm soát phải được thiết kế trên giả định đó.

“Chúng ta đã có rất nhiều kinh nghiệm trong việc xử lý các tác nhân mạnh bên trong doanh nghiệp. Đây không phải vấn đề hoàn toàn mới”, Nadella nói. Theo ông, các biện pháp như xác thực danh tính, giới hạn quyền truy cập, ghi nhật ký hoạt động và thiết lập ranh giới cô lập đã được hoàn thiện qua nhiều thập niên, và giờ cần được áp dụng cho AI trong môi trường doanh nghiệp.

Một điểm xuất phát được Nadella nhấn mạnh là phải công khai chuỗi suy luận của mô hình, tức Chain of Thought. Ông xem đây là điều kiện không thể thỏa hiệp, đồng thời khẳng định rằng “Neuralese” - ngôn ngữ nội bộ của mô hình mà con người không thể đọc trực tiếp - không thể là lý do để giữ quá trình suy luận trong vùng mờ.

Tuy nhiên, theo ông, chỉ công khai Chain of Thought vẫn là chưa đủ. Vấn đề nằm ở chỗ con người hiện vẫn chưa có cách bảo đảm đầu ra của mô hình luôn đúng sự thật và minh bạch.

Một hướng tiếp cận khác là để các mô hình đối chiếu và xác minh lẫn nhau. Nadella cho rằng phương pháp này nên được sử dụng, nhưng cũng cảnh báo về giới hạn của nó: hệ thống có thể trở thành một cấu trúc mà trong đó một lớp điều phối mờ đục chứa các mô hình mờ đục, rồi lại được giám sát bởi một mô hình mờ đục khác - tức “hộp đen trong hộp đen”.

Vì vậy, ông cho rằng bộ phận ra quyết định về việc mô hình được truy cập gì và được phép hành động ra sao phải nằm ngoài mô hình. Cách tiếp cận này dựa trên một nguyên tắc an toàn thông tin đã có từ thập niên 1970: một chương trình không được phép né tránh hoặc tự chỉnh sửa cơ chế đang dùng để giới hạn quyền của chính nó.

Áp dụng vào AI, điều đó đồng nghĩa với việc phải tách mô hình khỏi lớp điều phối công việc, tách khỏi không gian hành động quy định mô hình được phép làm gì, đồng thời đặt cơ chế kiểm soát và an toàn ở bên ngoài.

Từ đó, Nadella đưa ra 7 nguyên tắc thiết kế, đều xoay quanh yêu cầu về khả năng quan sát hệ thống.

Nguyên tắc đầu tiên là đa dạng mô hình. Theo ông, không mô hình nào nên một mình chịu trách nhiệm cho một kết quả quan trọng, cũng không nên tự xác minh đầu ra của chính nó.

Nguyên tắc thứ hai là phải quan sát được mọi thứ. Mọi hành vi quan trọng của mô hình cần để lại bằng chứng mà con người có thể đọc được và không thể bị chỉnh sửa. Nếu không thể quan sát, thì không thể đặt niềm tin. Hệ thống cũng phải có khả năng tái hiện cách tạo ra kết quả mà không cần dựa vào chính “lời giải thích” của mô hình.

Nguyên tắc thứ ba là khả năng kiểm chứng liên tục. Nadella cho rằng cần thử nghiệm toàn bộ hệ thống không chỉ trong các kịch bản thành công, mà cả ở tình huống thất bại, bị tấn công, phát sinh ngoại lệ hoặc khi hệ thống thay đổi.

Nguyên tắc thứ tư là kiểm soát độc lập. Tổ chức phải có quyền tự quyết đối với phạm vi truy cập và hành vi của mô hình, thay vì phụ thuộc hoàn toàn vào nhà cung cấp.

Nguyên tắc thứ năm là kiểm toán độc lập. Theo đó, lớp xác minh phải tách khỏi chính trí tuệ đang bị kiểm tra; không mô hình nào được đồng thời nắm cả hành vi hệ thống lẫn bằng chứng dùng để đánh giá hành vi đó có phù hợp với ý định ban đầu hay không.

Nguyên tắc thứ sáu là cô lập. Nadella cho rằng cần mặc định mô hình có thể đã bị xâm nhập và phải được “nhốt” trong giới hạn ngay từ đầu. Ông lấy ví dụ về cơ chế phanh khẩn cấp, theo đó người có thẩm quyền phải có thể dừng hoặc tắt mô hình đang chạy vào bất kỳ thời điểm nào. Mô hình càng mạnh thì kỹ thuật cô lập càng phải tiên tiến và được chuẩn hóa.

Nguyên tắc cuối cùng là công khai sự cố. Khi hệ thống thất bại hoặc bị xâm nhập, doanh nghiệp cần thông báo kịp thời cho các bên bị ảnh hưởng, đồng thời chia sẻ với toàn ngành điều gì đã xảy ra, cơ chế kiểm soát nào đã thất bại và cách ngăn tái diễn, bao gồm cả những chi tiết triển khai có thể làm thay đổi hành vi của các AI agent đang vận hành.