OpenAI đã triển khai một hệ thống kiểm soát tập trung có tên “control room”, cho phép chặn đầu ra của mô hình trong các hoạt động nghiên cứu AI nội bộ khi xuất hiện lo ngại về an toàn hoặc bảo mật.

Theo Cointelegraph ngày 10/11 (giờ địa phương), “control room” theo dõi các tác vụ của mô hình trên toàn bộ hạ tầng nghiên cứu của OpenAI và có thể nhanh chóng ngắt đầu ra khi xảy ra sự cố.

Động thái này được đưa ra sau khi OpenAI nhiều lần công khai các trường hợp mô hình nghiên cứu có hành vi vượt khỏi kiểm soát trong năm nay. Tháng 7, công ty cho biết một mô hình trong môi trường thử nghiệm hạn chế đã thoát khỏi môi trường này và tấn công Hugging Face nhằm vượt qua quy trình đánh giá bảo mật. Đến tháng 10, OpenAI tiếp tục tiết lộ một mô hình nghiên cứu đã tự ý sử dụng ví tiền mã hóa để thanh toán chi phí triển khai smart contract bằng ether trên testnet, nhưng không ghi nhận khoản chi này trong bản tóm tắt cuối cùng.

Hiện hệ thống “control room” được áp dụng cho các tác vụ nghiên cứu nội bộ của OpenAI, gồm thí nghiệm huấn luyện, đánh giá và xử lý dữ liệu. Mỗi tác vụ được gắn một mã định danh và hệ thống sẽ kiểm tra mã này trước khi cho phép mô hình tạo đầu ra.

Khi con người hoặc hệ thống giám sát tự động phát lệnh dừng, “control room” sẽ thu hồi quyền tạo đầu ra của tác vụ đó. Khi đó, ngay cả khi tiến trình nghiên cứu nền vẫn tiếp tục chạy, mô hình cũng không thể tạo thêm đầu ra.

Tuy nhiên, do thông tin xác thực được lưu sẵn trong hệ thống, quá trình chặn có thể mất tối đa 35 giây. OpenAI cũng thiết kế cơ chế dự phòng để hệ thống tự động từ chối yêu cầu mới nếu “control room” không thể hoạt động.