Bộ Khoa học và CNTT Hàn Quốc ngày 2/10 cho biết chỉ số đánh giá hiệu năng chip AI nội địa K-Perf đã lần đầu tiên được sử dụng làm tiêu chí đánh giá việc triển khai NPU tại một đơn vị có nhu cầu thực tế, cụ thể là KEPCO.

Thông tin được đưa ra tại lễ ký kết thỏa thuận hợp tác kỹ thuật giữa Tập đoàn Điện lực Hàn Quốc (KEPCO), Rebellions và Hiệp hội Công nghệ Thông tin - Truyền thông Hàn Quốc (TTA), diễn ra tại trụ sở Rebellions. Dự án mang tên “Phân tích video AI trong lĩnh vực điện lực dựa trên NPU nội địa ứng dụng K-Perf”.

Theo thỏa thuận, các bên sẽ đưa NPU nội địa vào môi trường vận hành thực tế của ngành điện để kiểm chứng hiệu năng và độ tin cậy. KEPCO phụ trách vận hành thí điểm tại hiện trường và phát triển mô hình ứng dụng. Rebellions đảm nhiệm tối ưu hiệu năng NPU và hỗ trợ kỹ thuật, trong khi TTA phụ trách đánh giá hiệu năng và độ tin cậy theo các điều kiện vận hành thực tế của ngành điện.

KEPCO dự kiến chuyển hạ tầng phân tích video AI hiện đang vận hành phân tán tại từng trạm biến áp sang hệ thống vận hành tích hợp dựa trên NPU để thử nghiệm thực tế. Điểm đáng chú ý là trong dự án này, K-Perf sẽ được dùng làm tiêu chí đánh giá triển khai. Đây là lần đầu chỉ số này được áp dụng trong quy trình triển khai chip AI tại một doanh nghiệp có nhu cầu sử dụng thực tế.

K-Perf là bộ chỉ số được xây dựng nhằm nâng cao độ tin cậy đối với hiệu năng của NPU nội địa, đồng thời cung cấp tiêu chí khách quan để doanh nghiệp cân nhắc triển khai. Ngày 15/12 năm ngoái, 15 tổ chức phía cung và phía cầu đã cùng xác định phương pháp đo, điều kiện thử nghiệm và các chỉ số chi tiết tập trung vào môi trường sử dụng thực tế, như thời gian tạo token đầu tiên (TTFT), thời gian tạo cho mỗi token (TPOT) và thông lượng xử lý đơn người dùng (TPS/1user).

Bộ Khoa học và CNTT Hàn Quốc, TTA và Viện Đánh giá - Quy hoạch Thông tin Truyền thông (IITP) cho biết vào tháng 6 năm nay, các bên đã tiến hành thử nghiệm kiểm chứng đối với hai loại chip AI nội địa trong một số dịch vụ AI tạo sinh như chatbot AI và tìm kiếm tài liệu. Kết quả cho thấy các chip này đáp ứng tiêu chuẩn hiệu năng theo từng dịch vụ (SLO) do doanh nghiệp sử dụng đề ra.

Qua dự án tại KEPCO, phạm vi áp dụng của K-Perf cũng được mở rộng từ AI tạo sinh sang phân tích video AI trong lĩnh vực điện lực. Bộ này cho biết sẽ tiếp tục mở rộng các trường hợp triển khai NPU AI nội địa, trước mắt tại khu vực công.

Ông Lee Do-gyu, Vụ trưởng Chính sách Thông tin - Truyền thông thuộc Bộ Khoa học và CNTT Hàn Quốc, nhấn mạnh: “Chúng tôi sẽ tập trung nguồn lực chính sách để xây dựng một hệ sinh thái trong đó việc phát triển công nghệ và kiểm chứng hiệu năng chip AI nội địa được kết nối với nhu cầu ứng dụng thực tế của thị trường”.

Theo ông, cơ quan này cũng sẽ tiếp tục nâng cấp K-Perf và hỗ trợ để kết quả hợp tác lần này được mở rộng ra toàn bộ khu vực công.