Ảnh: Toàn cảnh khuôn viên KAIST.

KAIST ngày 28/7 cho biết trường đã được Microsoft chọn tham gia chương trình nghiên cứu an toàn AI toàn cầu EXTRA, đồng thời nhận 25.000 USD tài trợ để phục vụ các nghiên cứu về an toàn, bảo mật và AI có trách nhiệm. Đây là trường đại học duy nhất của Hàn Quốc góp mặt trong chương trình này.

Theo KAIST, giáo sư Son Samuel của Khoa Khoa học Máy tính là người được chọn nhận tài trợ nghiên cứu trong khuôn khổ “External Red Teaming Alliance” (EXTRA), chương trình do Microsoft AI Red Team triển khai.

EXTRA là chương trình hỗ trợ nghiên cứu được ra mắt trong năm nay, kết nối các trường đại học và viện nghiên cứu trên thế giới nhằm đánh giá lỗ hổng bảo mật, nguy cơ bị lạm dụng và các vấn đề liên quan đến căn chỉnh của các hệ thống AI. Chương trình hiện có hơn 10 trường đại học từ 6 châu lục tham gia, trong đó có KAIST.

KAIST sẽ nhận khoản tài trợ 25.000 USD để triển khai các nghiên cứu về an toàn AI, bảo mật AI và AI có trách nhiệm.

Nhóm nghiên cứu của giáo sư Son Samuel hiện tập trung vào các kỹ thuật tấn công và phòng vệ đối với AI tạo sinh và mô hình ngôn ngữ lớn (LLM). Các chủ đề nghiên cứu bao gồm đánh cắp mô hình, trích xuất dữ liệu cá nhân và prompt injection.

Bên cạnh đó, nhóm cũng phát triển các công nghệ nhằm nâng cao mức độ an toàn và độ tin cậy của các tác nhân AI trong môi trường dịch vụ thực tế, như web agent và agentic browser.

Giáo sư Son Samuel cho biết nhóm sẽ phân tích một cách có hệ thống các mối đe dọa bảo mật có thể phát sinh trong môi trường dịch vụ AI thực tế, qua đó đóng góp vào việc phát triển các công nghệ AI giúp người dùng yên tâm hơn khi sử dụng.

Từ khóa

#KAIST #Microsoft #EXTRA #AI Red Team #LLM #an toàn AI #bảo mật AI #prompt injection
Copyright © DigitalToday. All rights reserved. Unauthorized reproduction and redistribution are prohibited.