Rebellions ngày 23/7 cho biết đã kết hợp chip AI nội địa với mô hình ngôn ngữ lớn để kiểm chứng năng lực hạ tầng AI có hiệu năng tương đương máy chủ GPU cao cấp toàn cầu chỉ trên một máy chủ. Công ty đã vận hành mô hình AI nền tảng độc lập A.X K1 của SK Telecom trên máy chủ AI tự phát triển mang tên Ribelserver, đồng thời trình diễn một dịch vụ AI agent có thể xử lý nhiều yêu cầu cùng lúc từ nhiều người dùng.

Theo Rebellions, đợt kiểm chứng này nhằm đánh giá hiệu quả hạ tầng phục vụ vận hành AI quy mô lớn. Công ty cho biết đã chạy ổn định mô hình ngôn ngữ lớn nhất Hàn Quốc, với hơn 500 tỷ tham số, trên duy nhất một Ribelserver. Cách tiếp cận này cho phép xử lý khối lượng tính toán lớn trong một máy chủ mà không gây lãng phí tài nguyên, qua đó giảm gánh nặng đầu tư và vận hành trung tâm dữ liệu.

Rebellions cho biết cấu hình này đã cho thấy năng lực hạ tầng tương đương với các máy chủ GPU hiệu năng cao đang được sử dụng trên thị trường toàn cầu.

A.X K1 sử dụng kiến trúc MoE (Mixture of Experts), một cấu trúc đang được áp dụng rộng rãi trên toàn cầu, giúp duy trì hiệu quả tính toán ngay cả với các mô hình có quy mô rất lớn. Để phù hợp với kiến trúc này, Rebellions đã phát triển phần mềm chuyên dụng nhằm tối ưu việc phân bổ và xử lý nhiều loại tác vụ theo đặc tính của chip. Nhờ đó, hệ thống vẫn có thể xử lý theo thời gian thực mà không bị nghẽn ngay cả khi nhiều yêu cầu được gửi đến cùng lúc.

Công ty cũng trình diễn khả năng ứng dụng thực tế thông qua demo một dịch vụ AI agent tích hợp bản đồ. Khi nhiều người dùng đồng thời truy cập và đặt câu hỏi như “nhà thuốc mở cửa cuối tuần”, A.X K1 xử lý với độ trễ thấp và hiển thị kết quả ngay trên bản đồ. Theo Rebellions, đây là ví dụ cho thấy công nghệ AI nội địa vẫn có thể đáp ứng các dịch vụ AI agent công cộng phục vụ đồng thời nhiều người dùng.

Hiện Rebellions đang tham gia dự án mô hình AI nền tảng độc lập do Bộ Khoa học và ICT Hàn Quốc triển khai, với vai trò là thành viên trong liên danh do SK Telecom dẫn dắt. Dựa trên kinh nghiệm gần một năm vận hành các dịch vụ AI thời gian thực quy mô lớn như “A.Dot tóm tắt cuộc gọi”, công ty cho biết sẽ đóng góp cho dự án “AI cho mọi người” của chính phủ với tư cách đối tác hạ tầng NPU nội địa.

Ông Park Seong-hyun, CEO Rebellions, nhận định đợt kiểm chứng lần này là một minh chứng cụ thể cho “sovereign AI”, cho thấy có thể vận hành dịch vụ AI quy mô lớn bằng cách kết hợp mô hình ngôn ngữ lớn nội địa với NPU nội địa, đồng thời chứng minh cả hiệu quả hạ tầng lẫn khả năng ứng dụng thực tế.

Ông cho biết Rebellions sẽ tiếp tục hợp tác với SK Telecom để xây dựng hạ tầng AI phù hợp với Hàn Quốc, qua đó đưa AI vào sử dụng rộng rãi trong đời sống hằng ngày.