KAIST ngày 15/7 cho biết nhóm nghiên cứu do giáo sư Kim Chang-ik, Khoa Kỹ thuật Điện và Điện tử, dẫn dắt đã phát triển khung học Buffer-and-Reinforce nhằm nâng mức an toàn của AI trong quá trình tinh chỉnh mà vẫn giữ được hiệu năng của mô hình sau khi tùy biến.

Theo KAIST, công nghệ này được thiết kế để giải quyết bài toán thường gặp khi tinh chỉnh mô hình ngôn ngữ lớn (LLM) bằng dữ liệu cá nhân hoặc dữ liệu doanh nghiệp. Trong nhiều trường hợp, AI có thể học tốt hơn các nhiệm vụ mới, nhưng các cơ chế an toàn vốn dùng để từ chối yêu cầu nguy hiểm lại bị suy yếu.

Tinh chỉnh là quá trình bổ sung tri thức hoặc nhiệm vụ mới cho một mô hình AI sẵn có. Với cách làm này, doanh nghiệp có thể sử dụng tài liệu nội bộ và dữ liệu nghiệp vụ để xây dựng trợ lý AI phục vụ nhu cầu riêng.

Nhóm nghiên cứu cho biết họ xuất phát từ kết quả trước đó cho thấy khi tinh chỉnh một mô hình ở trạng thái “jailbreak” – tức trạng thái có thể phản hồi cả những yêu cầu nguy hiểm – mức độ suy giảm an toàn lại ít hơn. Tuy nhiên, thay vì đưa trực tiếp trạng thái này vào ứng dụng thực tế, nhóm chỉ sử dụng tạm thời một mô-đun đệm có tên BufferLoRA trong giai đoạn học dữ liệu tùy chỉnh rồi loại bỏ sau khi hoàn tất.

Phân tích của nhóm cho thấy ở trạng thái này, mô hình ít bị ảnh hưởng bởi thông tin nguy hiểm hơn, trong khi vẫn tiếp thu hiệu quả các năng lực mới theo nhu cầu người dùng.

Từ đó, nhóm phát triển kỹ thuật học hai giai đoạn gồm Buffer và Reinforce. Ở giai đoạn đầu, BufferLoRA được gắn tạm thời để chặn tác động trực tiếp của dữ liệu độc hại lên lõi mô hình trong lúc tinh chỉnh. Sau khi kết thúc giai đoạn này, mô-đun sẽ được gỡ bỏ.

Ở giai đoạn tiếp theo, nhóm áp dụng ReinforceLoRA để tăng cường an toàn cho mô hình. Quá trình này sử dụng kỹ thuật phân rã QR nhằm tách các loại thông tin khác nhau và chỉ phản ánh có chọn lọc phần cần thiết, qua đó vừa giữ lại chức năng mới đã học vừa củng cố an toàn một cách chọn lọc.

Kết quả thử nghiệm cho thấy ngay cả trong kịch bản cực đoan, khi toàn bộ dữ liệu người dùng đều là các câu hỏi và câu trả lời nguy hiểm, mô hình vẫn duy trì mức an toàn cao. Sau quá trình huấn luyện lại, tỷ lệ tạo ra câu trả lời nguy hiểm ở mức khoảng 8%, thấp hơn mức khoảng 18% của mô hình gốc.

Nhóm nghiên cứu đánh giá phương pháp này cho phép đồng thời đảm bảo hiệu năng của AI tùy biến và mức an toàn mà không cần thêm một quy trình huấn luyện an toàn riêng, cũng không làm phát sinh chi phí tính toán bổ sung.

Giáo sư Kim Chang-ik cho biết đây là công nghệ nền tảng quan trọng, có thể giúp người dùng tự xây dựng AI tùy biến bằng chính dữ liệu của mình và vận hành an toàn hơn. Ông kỳ vọng kết quả nghiên cứu sẽ góp phần tạo dựng môi trường dịch vụ AI đáng tin cậy trong kỷ nguyên cá nhân hóa AI và AI agent.

Nghiên cứu có sự tham gia của nghiên cứu sinh tiến sĩ Ham Seok-il, Khoa Kỹ thuật Điện và Điện tử, KAIST, với vai trò tác giả thứ nhất. Bài báo đã được chọn vào hạng mục Spotlight tại ICML 2026, thuộc nhóm khoảng 2,2% bài có xếp hạng cao nhất.