Cisco cho biết thử nghiệm sử dụng trí tuệ nhân tạo để soạn báo cáo cho các cuộc diễn tập ứng phó sự cố an ninh mạng đã giúp rút ngắn đáng kể thời gian xử lý, nhưng rủi ro về sai lệch nội dung và ảo giác vẫn ở mức cao.

Theo The Register, Nate Forth, Senior Incident Commander của nhóm ứng phó sự cố Cisco Talos, cho biết trên blog rằng khi được dùng để tạo các tài liệu kỹ thuật dài, mô hình ngôn ngữ lớn (LLM) thường bộc lộ “sai lệch đáng kể, kết luận bất thường và văn phong thiếu nhất quán”.

Cisco cho biết các lỗi của LLM thường xuất hiện theo bốn hướng chính.

Thứ nhất, với cùng một câu hỏi, mô hình có thể sử dụng các dữ liệu khác nhau ở mỗi lần chạy, khiến kết quả khó lặp lại một cách ổn định. Thứ hai, ngay cả khi dựa trên cùng một bộ dữ liệu, LLM vẫn có thể đưa ra các kết luận khác nhau. Chẳng hạn, trong một sự cố rò rỉ dữ liệu, có lúc mô hình khuyến nghị đặt lại mật khẩu trên toàn công ty, nhưng ở lần khác chỉ đề xuất áp dụng trong phạm vi một nhóm đối tượng.

Thứ ba, cấu trúc và định dạng tài liệu có thể thay đổi giữa các lần chạy. Thứ tư, mô hình có thể bỏ sót dữ liệu, làm thiếu những thông tin cốt lõi trong báo cáo.

Để giảm các vấn đề này, nhóm Talos đã xây dựng một số biện pháp kiểm soát. Theo Cisco, khi chỉ giao cho LLM một yêu cầu đơn lẻ và giới hạn trong một phần nhỏ, cụ thể của báo cáo, tỷ lệ ảo giác và sai lệch nội dung giảm đáng kể. Việc giới hạn trước nguồn dữ liệu được phép sử dụng, đồng thời xác định sẵn văn phong và quy chuẩn định dạng, cũng cho thấy hiệu quả.

Nhờ cách làm này, Cisco cho biết đã rút ngắn 50% thời gian soạn bản nháp báo cáo sự cố dựa trên các bài diễn tập an ninh mạng. Ở các khâu phản biện đồng cấp, biên tập chuyên môn và phê duyệt quản lý, báo cáo cũng nhận được đánh giá tích cực dù người đọc không biết văn bản do AI hỗ trợ soạn thảo. Một số ý kiến còn cho rằng số lỗi chính tả và ngữ pháp ít hơn đáng kể so với báo cáo thông thường.

Tuy nhiên, Cisco cũng ghi nhận một số hạn chế trong quá trình sử dụng. Khi chỉnh sửa nhiều báo cáo trong cùng một phiên làm việc, nội dung từ báo cáo trước có thể lẫn sang báo cáo tiếp theo. Vì vậy, nhóm Talos khuyến nghị nên mở một phiên mới cho từng báo cáo và nhập lại prompt từ đầu.

Cisco cho biết họ cũng xây dựng prompt để kiểm tra chính tả và ngữ pháp, nhưng LLM thường “bịa” ra những lỗi ngữ pháp không tồn tại, trong khi lại bỏ sót lỗi thực tế. Với tỷ lệ thành công dưới 50%, Cisco đánh giá cách làm này “không phù hợp để áp dụng trong thực tế”.

Forth cho rằng cách tiếp cận này có thể được mở rộng sang các loại báo cáo an ninh mạng khác. Dù vậy, ông nhấn mạnh người viết vẫn phải chịu trách nhiệm với toàn bộ nội dung trong bản cuối cùng. Nếu sử dụng mà không qua bước rà soát thủ công, báo cáo có thể chứa các khuyến nghị trùng lặp, không liên quan hoặc không khả thi.