KMSLAB đang triển khai dự án Next EP, cổng thông tin thế hệ mới của POSCO, trên nền tảng tri thức ứng dụng AI do công ty tự phát triển mang tên K-Portal BrainWeave. Doanh nghiệp này cho rằng trong môi trường doanh nghiệp, LLM triển khai on-premise chỉ có thể được người dùng chấp nhận nếu hiệu năng đủ gần với các dịch vụ AI trên cloud.
Theo KMSLAB, dự án không chỉ có ý nghĩa với riêng doanh nghiệp mà còn là trường hợp đáng chú ý của thị trường. Sau hơn 7 tháng PoC cạnh tranh với nhiều công ty AI lớn trong và ngoài nước, một doanh nghiệp quy mô vừa và nhỏ đã giành được hợp đồng thay thế toàn bộ cổng thông tin nội bộ cho hàng chục nghìn người dùng bằng một nền tảng AI.
Tại buổi gặp gỡ báo chí gần đây, CEO Bae Hee-jung cho biết thị trường hiện có nhiều sản phẩm AI đơn lẻ như viết biên bản cuộc họp hay tóm tắt email. Tuy nhiên, theo bà, rất hiếm trường hợp một doanh nghiệp vừa và nhỏ triển khai giải pháp AI full-stack cho hệ thống toàn công ty của một tập đoàn lớn. Bà nói KMSLAB đã cung cấp toàn bộ các lớp phần mềm bằng công nghệ tự phát triển, từ vận hành mô hình, xử lý dữ liệu huấn luyện đến ứng dụng nghiệp vụ.
K-Portal BrainWeave được triển khai tại POSCO là giải pháp quản trị tri thức dựa trên AI, nhằm chuyển kinh nghiệm làm việc và chuyên môn tích lũy của từng cá nhân thành tài sản chung của tổ chức. Nền tảng này giúp doanh nghiệp tích lũy và chia sẻ có hệ thống nguồn tri thức đang phân tán trong nội bộ, qua đó tăng tính liên tục trong công việc và nâng năng suất.
Next EP của POSCO được triển khai theo mô hình on-premise, tức vận hành LLM trên GPU nội bộ thay vì đưa dữ liệu lên cloud bên ngoài. Dự án sử dụng cách kết hợp nhiều mô hình open-weight theo từng mục đích sử dụng.
Theo KMSLAB, đây là xu hướng phản ánh lựa chọn phổ biến của các tập đoàn lớn: vẫn sử dụng các dịch vụ như ChatGPT hay Gemini, nhưng với email và tài liệu cốt lõi không được phép rò rỉ, dữ liệu vẫn phải được xử lý trong nội bộ.
Tuy nhiên, việc đưa LLM on-premise vào vận hành ổn định trong môi trường doanh nghiệp khó hơn nhiều so với kỳ vọng. Rào cản lớn nhất là hiệu năng. Khi nhân sự đã quen với tốc độ và chất lượng phản hồi của các dịch vụ AI cloud hàng đầu thế giới, một LLM on-premise có hiệu năng thấp sẽ khó thuyết phục người dùng chỉ bằng yêu cầu bảo mật.
KMSLAB cho biết khi tham gia dự án của POSCO, công ty tập trung giải quyết đúng điểm nghẽn này. CEO Bae Hee-jung nói việc một doanh nghiệp quy mô vừa và nhỏ có thể thuyết phục được POSCO cũng xuất phát từ khả năng xử lý đúng các vấn đề mà doanh nghiệp quan tâm nhất khi triển khai LLM on-premise.
Theo bà, dù chưa thể sánh với OpenAI hay Claude, LLM on-premise vẫn phải đạt mức đủ gần thì nhân viên doanh nghiệp mới sẵn sàng sử dụng. Bà cho biết khả năng cung cấp các mô hình open-weight theo cách triển khai on-premise nhưng vẫn đạt hiệu năng tiệm cận LLM trên cloud là một trong những yếu tố được đánh giá cao.
CEO KMSLAB cũng nhấn mạnh rằng điều này nghe có vẻ đơn giản nhưng trên thực tế không dễ thực hiện. Để xây dựng được môi trường vận hành LLM on-premise ở cấp độ gần với AI hàng đầu, doanh nghiệp cần năng lực tích lũy sâu; chỉ đưa vào một mô hình mã nguồn mở có hiệu năng tốt là chưa đủ.
Trong môi trường doanh nghiệp, giá trị của LLM không nằm ở riêng mô hình. Hiệu quả triển khai còn phụ thuộc vào khả năng kết nối với dữ liệu nội bộ và tích hợp với các hệ thống sẵn có. Theo bà Bae Hee-jung, cách tổng hợp và liên kết nhiều LLM cũng có thể tác động đáng kể đến hiệu năng theo những phương diện không dễ nhìn thấy ngay.
Liên quan đến điểm này, bà nhấn mạnh năng lực xử lý dữ liệu là thế mạnh của KMSLAB. Theo bà, những công nghệ tích lũy trong các khâu gán nhãn, làm sạch, phân loại và loại bỏ trùng lặp dữ liệu đang trở thành lợi thế cạnh tranh rõ rệt khi triển khai LLM on-premise vào môi trường doanh nghiệp.
Bà cho biết công ty không phát triển riêng để đón làn sóng AI tạo sinh, nhưng 26 năm kinh nghiệm đã trở thành thế mạnh ở khâu tinh lọc dữ liệu huấn luyện, từ đó cải thiện độ chính xác của phản hồi từ LLM. Bà cũng dẫn ví dụ Meta chi số tiền lớn để gần như thâu tóm Scale AI, cho thấy năng lực xử lý dữ liệu đang được đánh giá rất cao.
Một trong những sản phẩm cốt lõi mà bà nhiều lần nhắc tới là giải pháp lưu trữ tài liệu và email theo thời gian thực. Do hệ thống vẫn giữ lại cả những email người dùng đã xóa, khối lượng dữ liệu tích lũy rất lớn; nếu lưu nguyên trạng, hạ tầng mạng và lưu trữ sẽ khó đáp ứng. Vì vậy, KMSLAB phát triển giải pháp archiving tập trung vào khử trùng lặp, nén và phân loại dữ liệu.
CEO Bae Hee-jung cho biết trong một thử nghiệm do tổ chức bên ngoài thực hiện năm 2016, công ty đã cắt giảm 73,5% dung lượng trên tập dữ liệu 1 terabyte, bao gồm cả hình ảnh. Hiện mức giảm này đã được nâng lên khoảng 80%.
KMSLAB cũng tập trung vào khả năng kết nối với các hệ thống sẵn có trong quá trình triển khai dự án tại POSCO. Theo bà, việc liên kết và tối ưu hệ thống cùng dữ liệu là dạng công việc không thể đồng thời triển khai cho 10 hay 100 khách hàng cùng lúc, nhưng kinh nghiệm tích lũy từ các dự án trước sẽ tạo ra khác biệt rõ rệt.
Bà cho biết với các doanh nghiệp vừa và nhỏ chưa đủ khả năng đầu tư GPU, KMSLAB có thể cung cấp software stack do công ty tự phát triển theo phương thức cloud. Công ty hiện duy trì R&D bằng nguồn lực tự tạo ra từ hoạt động kinh doanh, đồng thời tiếp tục hoàn thiện công nghệ thông qua kinh nghiệm triển khai thực tế. Trong năm tới, KMSLAB dự kiến mở rộng ra thị trường nước ngoài, đồng thời mở rộng sang agentic AI và physical AI—những lĩnh vực đang được Đại học Toronto nghiên cứu.