Hugging Face đã sử dụng GLM 5.2, mô hình open-weight của công ty AI Trung Quốc Z.ai, thay cho các mô hình AI thương mại tiên tiến để phân tích một vụ xâm nhập hệ thống nội bộ, sau khi các cơ chế an toàn của mô hình thương mại chặn những yêu cầu xử lý dữ liệu tấn công thực tế.

Theo SiliconANGLE ngày 20/7 (giờ địa phương), nguyên nhân khiến Hugging Face chọn GLM 5.2 là các mô hình thương mại không cho xử lý những yêu cầu phân tích có chứa log tấn công, mã khai thác và dấu vết xâm nhập thực tế.

Hugging Face cho biết vào tuần trước, công ty đã xác nhận một tác nhân sử dụng agent AI tự trị đã truy cập được một phần bộ dữ liệu nội bộ, cùng một phần thông tin nhận dạng phục vụ các dịch vụ nội bộ. Sau đó, công ty đã chặn tác nhân này và tăng cường hệ thống phòng vệ.

Trong giai đoạn điều tra và phân tích, Hugging Face từng thử đưa các mô hình AI tiên tiến vào xử lý log nhưng không thành công. Theo công ty, nghiệp vụ phân tích bảo mật đòi hỏi phải đưa khối lượng lớn dữ liệu tấn công thực vào hệ thống. Tuy nhiên, các cơ chế an toàn của mô hình thương mại không phân biệt được giữa nhu cầu phân tích phục vụ phòng thủ và yêu cầu tạo công cụ khai thác để tấn công.

Sau đó, Hugging Face chuyển sang GLM 5.2, mô hình có khoảng 753 tỷ tham số. Mô hình này có thể được triển khai trực tiếp trong hệ thống nội bộ doanh nghiệp hoặc trên hạ tầng đám mây đặt sau tường lửa, qua đó giúp dữ liệu không rời khỏi môi trường do doanh nghiệp kiểm soát.

SiliconANGLE nhận định vụ việc cho thấy khác biệt giữa mô hình thương mại đóng và mô hình open-weight trong triển khai an ninh mạng thực tế. Các nhà phát triển mô hình đóng như Anthropic áp dụng cơ chế an toàn nghiêm ngặt để ngăn lạm dụng, nhưng điều này cũng có thể làm tăng tỷ lệ cảnh báo nhầm ngay cả với những tác vụ an ninh mạng hợp lệ.

Anthropic cho biết hãng đang điều chỉnh tỷ lệ cảnh báo nhầm để các nhà nghiên cứu có thể sử dụng các mô hình AI tiên tiến một cách an toàn hơn.