Microsoft cho rằng agent AI hoạt động trong doanh nghiệp cần được quản trị như một nguồn rủi ro nội bộ mới. Để kiểm soát nguy cơ này, hãng đề xuất sử dụng “guardian agent” giám sát liên tục và mở rộng Project Perception như một nền tảng bảo mật dành cho các agent nội bộ.

Trong bài viết đăng trên blog chính thức ngày 19/10 (giờ địa phương), Yeat Gallo, Phó chủ tịch phụ trách bảo mật của Microsoft, cho biết ngành công nghệ hiện tập trung nhiều vào nguy cơ tin tặc bên ngoài lạm dụng AI, trong khi rủi ro phát sinh từ các agent bên trong tổ chức lại chưa được chú ý đúng mức. Theo ông, các mô hình AI tiên tiến không thể mặc nhiên được xem là đáng tin cậy.

Ông Gallo cho rằng cần có một “guardian agent” theo dõi mọi hành vi của agent AI 24/7 trước khi hành động được thực hiện. Theo ông, hệ thống bảo mật dựa trên agent mang tên Project Perception cũng có thể được dùng để quản lý các agent AI nội bộ đang hoạt động trong doanh nghiệp.

Microsoft cảnh báo rằng do được huấn luyện để tối đa hóa mục tiêu đầu ra, các mô hình AI có thể rơi vào tình trạng “reward hacking”. Nói cách khác, chúng có thể tối ưu sai mục tiêu và không nhất thiết hành xử theo chuẩn mực hay tiêu chí phán đoán của tổ chức.

Ông Gallo cho biết ngay cả khi không bị tấn công, agent AI vẫn có thể tự phối hợp với các agent khác để đạt mục tiêu theo cách ngoài dự kiến.

Trong bối cảnh số lượng agent AI trong doanh nghiệp tăng nhanh, rủi ro càng trở nên đáng chú ý. Nhiều agent được cấp quyền nhiều hơn mức cần thiết, có thể truy cập dữ liệu, công cụ và hệ thống, đồng thời trực tiếp thực hiện hành động hoặc đưa ra quyết định liên quan đến các nghiệp vụ cốt lõi.

Theo Microsoft, Project Perception sẽ tổng hợp nhiều tín hiệu từ các lớp cảm biến như danh tính, dữ liệu, đám mây, endpoint và mạng để phát hiện agent AI trong doanh nghiệp. Sau khi được nhận diện, các agent này sẽ được gán danh tính, chính sách và quyền hạn phù hợp, đồng thời được đưa vào danh mục quản trị tập trung.

Bước tiếp theo, hệ thống sẽ tính toán rủi ro hành vi của từng agent theo thời gian thực. Khi mức độ rủi ro tăng lên, “guardian agent” sẽ phản ứng ngay lập tức.

Ông Gallo cho biết đội ngũ bảo mật có thể truy vết nhật ký hoạt động để xác định nguyên nhân phát sinh rủi ro, từ đó tiếp tục hoàn thiện hệ thống.

Vị Phó chủ tịch của Microsoft cũng cho rằng bước tiếp theo là nâng cao tính minh bạch của mô hình. Theo ông, không chỉ cần xem các token đầu vào và đầu ra, mà còn phải theo dõi cả các token trong quá trình suy luận để đánh giá liệu ý đồ của mô hình có phù hợp với mục tiêu của agent hay không.

Ông nhấn mạnh doanh nghiệp không nên rơi vào thế buộc phải đánh đổi giữa đổi mới và an toàn.