KAIST ngày 29/5 cho biết đã phát triển một trình mô phỏng cho phép đánh giá trước hiệu năng hạ tầng phục vụ mô hình ngôn ngữ lớn (LLM) và các chip AI thế hệ mới mà không cần đầu tư hệ thống máy chủ thực tế với chi phí lớn.

Theo KAIST, công trình về trình mô phỏng hạ tầng phục vụ LLM mang tên LLMServingSim 2.0, do nhóm của giáo sư Park Jong-se thuộc Khoa Khoa học Máy tính phát triển, đã giành giải Bài báo xuất sắc nhất tại ISPASS 2026, hội nghị chuyên về phân tích hiệu năng hệ thống máy tính.

LLMServingSim 2.0 là một nền tảng mô phỏng cho phép phân tích nhiều cấu hình phần cứng và phần mềm khác nhau trong môi trường ảo. Nhờ đó, các nhà nghiên cứu và nhà phát triển có thể thử nghiệm phương án thiết kế, đồng thời kiểm tra hiệu năng trước khi xây dựng hạ tầng máy chủ quy mô lớn.

Công nghệ này không chỉ hỗ trợ kiến trúc sử dụng GPU mà còn tương thích với nhiều phần cứng mới như NPU, công nghệ xử lý trong bộ nhớ (PIM) và thiết bị mở rộng bộ nhớ dựa trên CXL.

Nhóm nghiên cứu cho biết ngay cả các chip AI chưa được thương mại hóa cũng có thể được thử nghiệm trước trong môi trường trung tâm dữ liệu ảo. Hệ thống cho phép phân tích trước hiệu năng xử lý dịch vụ, mức tiêu thụ điện năng và độ ổn định khi một loại bán dẫn cụ thể được đưa vào vận hành ở quy mô lớn.

LLMServingSim 2.0 mô phỏng ở cấp độ hệ thống các yếu tố phát sinh trong quá trình vận hành dịch vụ AI thực tế, như xử lý yêu cầu, cấu hình batch, sử dụng bộ nhớ, di chuyển dữ liệu và điện năng tiêu thụ. Qua đó, nền tảng có thể xác định các điểm nghẽn cũng như vấn đề hiệu suất phát sinh từ sự tương tác giữa nhiều thành phần.

Công cụ này cũng có thể phân tích hạ tầng phân tán, nơi tài nguyên máy chủ được tách rời và kết nối linh hoạt. KAIST đánh giá đây là nền tảng có thể được ứng dụng trong nghiên cứu trung tâm dữ liệu AI thế hệ mới.

KAIST cho rằng LLMServingSim 2.0 có thể trở thành công cụ hữu ích cho các doanh nghiệp cung cấp dịch vụ LLM và các startup phát triển chip AI trong quá trình thiết kế, tối ưu hạ tầng AI thế hệ tiếp theo. Nhóm nghiên cứu đã phát hành nền tảng này dưới dạng mã nguồn mở.

Giáo sư Park Jong-se cho biết năng lực cạnh tranh của dịch vụ AI không chỉ nằm ở mô hình, mà còn ở công nghệ hạ tầng bảo đảm vận hành ổn định và hiệu quả. Ông kỳ vọng trình mô phỏng này sẽ trở thành nền tảng quan trọng, giúp giới nghiên cứu và doanh nghiệp rút ngắn thời gian phát triển hạ tầng AI thế hệ mới và nâng cao hiệu quả triển khai.

Nghiên cứu có sự tham gia của hai học viên cao học Cho Jae-hong và Choi Hyun-min với tư cách đồng tác giả thứ nhất. Dự án được thực hiện với sự hỗ trợ của Bộ Khoa học và ICT Hàn Quốc, Viện Lập kế hoạch và Đánh giá Công nghệ Thông tin Hàn Quốc, Viện Nghiên cứu Điện tử và Viễn thông Hàn Quốc cùng SK hynix.