Capsule Security đã tinh chỉnh hai mô hình Nvidia Nemotron để xây dựng một hệ thống giám sát có khả năng kiểm tra hành vi của AI agent ngay trước khi hành động, qua đó cho phép, cảnh báo hoặc chặn theo thời gian thực, theo SiliconANGLE ngày 3/9.

Giải pháp này được thiết kế như một lớp kiểm soát bên ngoài, có nhiệm vụ đối chiếu xem hành động mà agent sắp thực hiện có phù hợp với nhiệm vụ được giao hay không. Hệ thống hướng tới bối cảnh ngày càng nhiều agent được cấp quyền truy cập vào dữ liệu nhạy cảm, mã nguồn và hạ tầng vận hành.

Theo Capsule Security, các cơ chế quản lý quyền và quy trình phê duyệt hiện nay chủ yếu chỉ giới hạn phạm vi truy cập của agent, nhưng không thể đánh giá từng hành động cụ thể có đúng với nhiệm vụ được chỉ định hay không. Trong khi đó, các biện pháp giám sát sau đó thường chỉ phát hiện vấn đề khi thiệt hại đã xảy ra.

Công ty cho biết hệ thống của họ đạt độ chính xác 98% trên benchmark StepShield, đồng thời phát hiện vi phạm ngay từ giai đoạn hình thành hành động. StepShield là bộ tiêu chuẩn đánh giá khả năng phát hiện hành vi lệch hướng theo từng bước, dựa trên 9.429 lộ trình thực thi của các code agent được rút ra từ những sự cố thực tế.

Trong quá trình huấn luyện, Capsule Security sử dụng Nemotron 3 Ultra, phiên bản lớn nhất trong dòng mô hình mã nguồn mở Nemotron 3 của Nvidia. Dữ liệu huấn luyện gồm nhật ký thực thi thực tế của agent cùng các mẫu đối kháng được gắn nhãn để phân định ranh giới giữa hành vi được phép và không được phép, sau đó được con người rà soát lại.

Với hai mô hình mới, công ty cho biết một phiên bản có thể cắt giảm gần một nửa dung lượng bộ nhớ cần thiết mà không làm giảm hiệu năng, nhờ đó có thể vận hành chỉ trên một GPU Nvidia L40S.

Naor Paz, đồng sáng lập kiêm CEO của Capsule Security, cho rằng rủi ro cốt lõi trong an ninh AI không còn nằm ở việc con người có thể làm gì với agent, mà là ở việc các agent tự trị sẽ tự quyết định hành động ra sao. Theo ông, khi phần mềm đã có thể suy luận và sử dụng công cụ để hành động, chỉ một quyết định sai cũng có thể nhanh chóng biến thành sự cố ngoài thực tế trong vài giây.