OpenAI ngày 15/7 (giờ địa phương) giới thiệu GPT-Red, một hệ thống trí tuệ nhân tạo nội bộ được thiết kế để tấn công thử các mô hình của chính công ty nhằm phát hiện lỗ hổng prompt injection trước khi chúng gây rủi ro cho người dùng. Thông tin được SiliconANGLE đăng tải.

Theo OpenAI, GPT-Red chỉ dùng trong nội bộ và được xây dựng để tự động hóa quy trình red teaming vốn trước đây do con người thực hiện. Hệ thống gửi prompt vào mô hình mục tiêu, đánh giá phản hồi, sau đó liên tục điều chỉnh chiến thuật cho tới khi buộc mô hình tạo ra đầu ra có hại. Những cách tấn công không hiệu quả sẽ bị loại bỏ, còn các phương án thành công tiếp tục được tăng cường.

OpenAI cho biết GPT-Red được huấn luyện bằng phương pháp học tăng cường đối kháng. Trong đó, GPT-Red đóng vai trò mô hình tấn công, còn mô hình phòng thủ được huấn luyện đồng thời để vừa chặn tấn công, vừa hoàn thành nhiệm vụ ban đầu. Nếu tấn công thành công, mô hình tấn công nhận phần thưởng; ngược lại, khi phòng thủ hiệu quả, mô hình phòng thủ nhận phần thưởng. Khi năng lực phòng thủ tăng lên, việc khai thác lỗ hổng cũng trở nên khó hơn.

Trong các kịch bản thử nghiệm, GPT-Red đạt tỷ lệ tấn công thành công 84%, cao hơn 13 điểm phần trăm so với nhóm red team là con người. OpenAI cho biết nhờ đó, so với mô hình sản xuất tốt nhất mà công ty vận hành cách đây 4 tháng, tỷ lệ thất bại trước các cuộc tấn công prompt injection trực tiếp đã giảm còn 1/6.

OpenAI khẳng định sẽ không thương mại hóa GPT-Red mà chỉ sử dụng trong nội bộ. Công ty cũng vận hành hệ thống này tách biệt với các mô hình đang được triển khai, nhằm tránh phổ biến rộng rãi năng lực tấn công ra công chúng, đồng thời đưa các lỗ hổng được phát hiện trở lại quy trình huấn luyện.