KT ngày 19/8 công bố KT NPU LLM Station, thiết bị AI chủ quyền dành cho doanh nghiệp, tích hợp chip AI nội địa và mô hình ngôn ngữ lớn do hãng phát triển trong một hệ thống máy chủ đồng bộ.

Theo KT, KT NPU LLM Station là một thiết bị all-in-one, được trang bị bộ xử lý thần kinh NPU ATOM-MAX của công ty chip AI Hàn Quốc Rebellions, đi kèm mô hình ngôn ngữ lớn Mi:deum K 2.5 Pro do KT phát triển và nền tảng API vận hành.

ATOM-MAX là dòng NPU nội địa được tối ưu cho suy luận AI. Trong khi đó, Mi:deum K 2.5 Pro là mô hình của KT tập trung vào năng lực suy luận nâng cao và các ứng dụng AI agent. KT cho biết các công nghệ cốt lõi của sản phẩm, từ chip AI, mô hình đến nền tảng vận hành, đều dựa trên công nghệ trong nước, qua đó hỗ trợ doanh nghiệp xây dựng môi trường AI chủ quyền.

Sản phẩm được triển khai theo mô hình on-premise, lắp đặt trực tiếp trong hệ thống nội bộ của khách hàng. Toàn bộ dữ liệu và khối lượng tính toán AI được xử lý bên trong doanh nghiệp thay vì đưa ra hệ thống bên ngoài. KT cho rằng thiết bị này phù hợp với các lĩnh vực có yêu cầu cao về phân tách mạng, tuân thủ quy định và bảo mật khi triển khai AI tạo sinh, như khu vực công, quốc phòng, dược phẩm, sản xuất và tài chính.

KT cũng nhấn mạnh quy trình triển khai đã được đơn giản hóa. Nhờ tích hợp sẵn máy chủ, mô hình AI và nền tảng vận hành, doanh nghiệp có thể nhanh chóng đưa vào sử dụng các tính năng như hỏi đáp trên tài liệu nội bộ bằng RAG mà không cần tự xây dựng hạ tầng riêng.

Theo hãng, việc sử dụng NPU tối ưu cho suy luận giúp cải thiện hiệu quả điện năng so với các máy chủ GPU cùng phân khúc, đồng thời hỗ trợ API theo chuẩn ngành. Với các doanh nghiệp đang vận hành dịch vụ AI hiện có, hệ thống có thể kết nối chỉ bằng cách thay đổi thông tin kết nối mà không cần chỉnh sửa mã nguồn.

Trong thời gian tới, KT dự kiến bổ sung dần các AI agent do hãng phát triển, gồm công cụ hỗ trợ soạn biên bản cuộc họp, hỗ trợ lập trình và agent tự động hóa công việc K-Claw, hiện vẫn là tên tạm thời. Công ty cũng có kế hoạch hợp tác với các nhà phát triển chuyên về agent để mở rộng sang các dự án triển khai theo yêu cầu khách hàng.

KT cho biết sẽ mở rộng phạm vi ứng dụng của KT NPU LLM Station sang các trung tâm dữ liệu biên phục vụ physical AI, đồng thời sử dụng nền tảng này để xây dựng hạ tầng AI công suất thấp, độ trễ thấp.

Ông Lee Jin-hyeong, Giám đốc Khối kinh doanh AX của KT, cho biết: “KT NPU LLM Station sẽ là một lựa chọn thực tế cho các doanh nghiệp và tổ chức muốn bắt đầu chuyển đổi AI, đồng thời bảo vệ chủ quyền dữ liệu.”

KT cũng cho biết trong khuôn khổ dự án “AI cho mọi người” của Bộ Khoa học và ICT Hàn Quốc, công ty sẽ sử dụng NPU nội địa để triển khai AI chủ quyền và nâng cao năng lực cạnh tranh của hệ sinh thái AI trong nước.