NPU nội địa của Hàn Quốc lần đầu tiên được đưa vào hạ tầng an toàn công cộng. Ngày 3/8, Rebellions cho biết công ty đã trúng thầu cung cấp hạ tầng máy chủ cho hai trung tâm điều hành CCTV của Gyeongsangnam-do và thành phố Ulsan, trong khuôn khổ chương trình chuyển đổi AI CCTV công cộng dựa trên NPU nội địa do Bộ Khoa học và ICT Hàn Quốc cùng Cơ quan Xã hội Thông tin Thông minh Quốc gia Hàn Quốc (NIA) thúc đẩy. Doanh nghiệp dự kiến bắt đầu bàn giao máy chủ NPU ATOM-Max từ tháng 8.

Theo Rebellions, hệ thống điều hành AI CCTV trong dự án được xây dựng theo hai tầng xử lý. Ở tầng đầu tiên, camera hoặc thiết bị biên đảm nhiệm việc nhận diện đối tượng ban đầu. Sau đó, máy chủ ở tầng thứ hai sẽ phân tích sâu hình ảnh để đánh giá các tình huống như cháy nổ hoặc tội phạm. Hệ thống cũng tự động tính điểm tin cậy và tạo mô tả tình huống bằng tiếng Hàn. Trong kiến trúc này, ATOM-Max phụ trách hạ tầng máy chủ của tầng xử lý thứ hai.

ATOM-Max được thiết kế để vận hành các mô hình ngôn ngữ - thị giác xử lý video với quy mô từ 30B tham số trở lên tại trung tâm điều hành, phục vụ nhu cầu phân tích chi tiết hình ảnh CCTV. Những mô hình VLM cỡ lớn như vậy đòi hỏi dung lượng bộ nhớ lớn và năng lực tính toán cao. Rebellions cho rằng nếu chỉ dùng chip biên cỡ nhỏ, hệ thống sẽ khó duy trì độ ổn định và độ chính xác khi phải xử lý đồng thời quy mô lớn, đồng thời khó giảm lỗi cảnh báo sai hoặc bỏ sót sự cố. Vì vậy, việc đưa NPU dạng máy chủ vào hệ thống là cần thiết.

Công ty cho biết máy chủ NPU có thể xử lý đồng thời khối lượng lớn tác vụ khi số lượng sự cố tăng đột biến, đồng thời vẫn vận hành độc lập trong mạng khép kín tách biệt với Internet. Một điểm đáng chú ý là hệ thống hỗ trợ chính thức vLLM, framework suy luận AI được nhiều nhà phát triển sử dụng. Nhờ đó, các cơ quan công quyền có thể triển khai hệ thống mà không phải thay đổi môi trường phát triển hiện có, qua đó giảm chi phí tái cấu trúc và hạn chế rủi ro phụ thuộc vào một công nghệ cụ thể.

Trước đó, Rebellions cũng cho biết đã vận hành thành công mô hình AI siêu lớn A.X K1 của SKT, với quy mô hơn 500 tỷ tham số, trên một máy chủ duy nhất bằng AI server Rebel Server. Doanh nghiệp đã tối ưu phần mềm chuyên dụng theo kiến trúc MoE, đồng thời phân tán tác vụ tính toán lên NPU để xử lý song song. Theo công ty, cách tiếp cận này giúp đạt hiệu năng tương đương các máy chủ GPU hiệu năng cao hàng đầu thế giới chỉ với một máy chủ NPU nội địa.

Ông Park Seong-hyun, CEO của Rebellions, cho biết việc công ty sớm tham gia xu hướng mở rộng NPU nội địa trong khu vực công mang ý nghĩa biểu tượng lớn. Theo ông, sau khi chứng minh hiệu năng của NPU nội địa thông qua thử nghiệm với mô hình AI siêu lớn, dự án lần này có thể trở thành bước ngoặt để AI chủ quyền vượt qua giai đoạn kiểm chứng và tiến tới vai trò hạ tầng triển khai thực tế, góp phần bảo đảm an toàn cho người dân.