Bộ Khoa học và CNTT-TT Hàn Quốc phối hợp với Cơ quan An ninh Internet Hàn Quốc (KISA) đã công bố “Cẩm nang red teaming cho bảo mật AI”, nhằm hỗ trợ doanh nghiệp Hàn Quốc rà soát dữ liệu, mô hình và AI agent dưới góc nhìn của kẻ tấn công. Tài liệu này được xây dựng như bộ hướng dẫn thực hành đầu tiên để ứng phó các rủi ro đặc thù của AI tạo sinh, gồm prompt injection, jailbreak, hallucination và chiếm quyền điều khiển agent.

Red teaming là phương pháp kiểm thử bảo mật bằng cách chủ động mô phỏng hành vi tấn công để phát hiện điểm yếu và nâng cao khả năng phòng vệ của hệ thống AI. Cách tiếp cận này vốn phổ biến trong lĩnh vực quân sự và an ninh mạng, nhưng gần đây đã trở thành một phương pháp quan trọng trong đánh giá mức độ an toàn của mô hình và dịch vụ AI tạo sinh.

Theo cẩm nang, nhiều tập đoàn công nghệ toàn cầu như OpenAI, Google, Anthropic và Microsoft đã vận hành đội ngũ red team cho AI để ứng phó với các cuộc tấn công nhắm vào sản phẩm của họ. Trong khi đó, tài liệu cho rằng năng lực bảo mật tại Hàn Quốc hiện chưa bắt kịp tốc độ triển khai AI trên thực tế.

Một điểm được nhấn mạnh là red teaming cho AI không chỉ dừng ở mô hình. Phạm vi kiểm thử cần được mở rộng ra toàn bộ dịch vụ AI, bao gồm dữ liệu và quy trình huấn luyện, giao diện người dùng, system prompt, AI agent, API, máy chủ và hạ tầng vận hành.

Cẩm nang phân loại 8 nhóm mối đe dọa chuyên biệt đối với AI. Trong đó có prompt injection, tức thao túng AI bằng đầu vào ngụy trang như lệnh hợp lệ; jailbreak, tức tìm cách vượt qua rào chắn an toàn để buộc hệ thống tạo ra nội dung bị cấm; và hallucination, tức AI bịa ra thông tin sai sự thật. Các rủi ro còn lại gồm rò rỉ system prompt, rò rỉ dữ liệu huấn luyện khiến dữ liệu gốc có thể bị khôi phục hoặc lộ lọt, rò rỉ mô hình dẫn tới lộ hoặc sao chép tệp mô hình và trọng số, data poisoning làm sai lệch phán đoán của hệ thống, cùng với tấn công từ chối dịch vụ (DoS) thông qua đầu vào quá mức nhắm vào dịch vụ mô hình.

Tài liệu cũng đề cập một hình thức tấn công mới là agent hijacking. Trong kịch bản này, AI agent có thể hiểu nhầm prompt độc hại được cài trong tài liệu hoặc trang web là lệnh hợp lệ và thực thi tác vụ ngoài ý muốn. Do agent có thể gọi trực tiếp các hệ thống bên ngoài, sự cố không chỉ dừng ở phản hồi sai mà còn có thể dẫn tới truy vấn trái phép, thay đổi dữ liệu thực tế hoặc leo thang quyền truy cập.

Cẩm nang chia mức độ rủi ro thành 5 cấp dựa trên tác động đối với dịch vụ. Ở mức nghiêm trọng nhất, “critical”, tài liệu nêu các ví dụ như AI trong lĩnh vực tài chính cung cấp mã phục vụ hành vi chiếm đoạt tài khoản hoặc tạo biểu mẫu giấy tờ giả; AI trong y tế đưa ra khuyến nghị kê đơn sai nghiêm trọng, ảnh hưởng trực tiếp đến tính mạng; hoặc AI hỗ trợ lập trình tạo mã độc có khả năng thực thi mã từ xa. Ở mức “high”, ví dụ gồm việc AI đưa ra phương pháp điều trị không có thật như thể đó là thông tin chính xác, hoặc tạo script tấn công có thể khai thác các lỗ hổng đã biết.

Theo cẩm nang, phương pháp kiểm thử cần được lựa chọn theo đặc thù của từng dịch vụ. Các doanh nghiệp có thể áp dụng kiểm thử black box khi chỉ quan sát đầu vào và đầu ra như người dùng thông thường, white box khi phân tích cả cấu trúc nội bộ và mã nguồn, hoặc gray box khi chỉ nắm một phần thông tin về hệ thống. Việc lựa chọn nên dựa trên mức độ rủi ro và năng lực nội bộ của từng đơn vị.

Tài liệu nhấn mạnh red teaming không nên chỉ thực hiện một lần trước khi dịch vụ được đưa vào vận hành. Ngay cả việc fine-tune mô hình hoặc chỉnh sửa một phần system prompt cũng có thể làm phát sinh lỗ hổng mới, trong khi kỹ thuật tấn công thay đổi rất nhanh. Vì vậy, hoạt động này cần được lặp lại liên tục từ giai đoạn phát triển, triển khai cho đến sau khi hệ thống đi vào vận hành.

Về triển khai thực tế, cẩm nang đề xuất doanh nghiệp xây dựng đội red team AI theo hướng liên ngành, không chỉ gồm chuyên gia bảo mật mà còn có kỹ sư AI, chuyên gia pháp lý và chuyên gia am hiểu lĩnh vực dịch vụ liên quan. Tài liệu cũng khuyến nghị tăng cường đào tạo về kỹ thuật bảo mật AI, rủi ro theo từng ngành, chuẩn mực đạo đức và quy tắc tác chiến, đồng thời thiết lập cơ chế hỗ trợ tâm lý cho thành viên red team do thường xuyên phải tiếp xúc với nội dung độc hại.

Chính phủ Hàn Quốc cho biết sẽ sử dụng cẩm nang này để thúc đẩy red teaming AI trở thành thông lệ phổ biến trong ngành công nghiệp trong nước.

Đại diện Bộ Khoa học và CNTT-TT Hàn Quốc cho biết ưu tiên hiện nay là cung cấp hướng dẫn mang tính thực tiễn cho doanh nghiệp và hiện trường triển khai. Theo cơ quan này, do thiếu một bộ chỉ dẫn thống nhất, các đội red team thời gian qua vận hành chưa đồng đều, vì vậy tài liệu mới được kỳ vọng sẽ có tính ứng dụng cao.

Về phía KISA, cơ quan này cho rằng trước khi một công nghệ đột phá được phổ cập rộng rãi, cần hình thành sự đồng thuận về an toàn và niềm tin. Cẩm nang lần này vì thế được xem là bộ hướng dẫn tối thiểu nhằm bảo đảm an toàn cho người dùng.