Ngày 9/11, các doanh nghiệp đang phát triển mô hình nền tảng AI tại Hàn Quốc đã chia sẻ cách ứng dụng nền tảng và phần mềm của Nvidia, từ xử lý dữ liệu, huấn luyện đến tối ưu suy luận. Nvidia cũng công bố các công nghệ tối ưu hóa dành cho những mô hình AI nội địa, qua đó mở rộng hợp tác trong hệ sinh thái AI của Hàn Quốc.

Trong khuôn khổ Nvidia AI Day Seoul 2026 diễn ra tại COEX, Seoul, phiên thảo luận mang tên “K-AI Frontier Builders” có sự tham gia của LG AI Research, SK Telecom và Upstage. Đây là ba đơn vị góp mặt trong đợt tuyển chọn thứ ba của chương trình phát triển mô hình AI nền tảng.

Một trong những công nghệ được nhắc đến nhiều tại sự kiện là Dynamo, phần mềm tối ưu suy luận AI của Nvidia. Theo giới thiệu, Dynamo giúp phân bổ khối lượng suy luận trên nhiều máy chủ GPU và tái sử dụng các kết quả tính toán trước đó để tăng tốc xử lý cũng như nâng hiệu suất sử dụng tài nguyên.

Upstage cho biết đã triển khai Dynamo để nâng hiệu quả vận hành dịch vụ AI. Doanh nghiệp này nói công nghệ trên đặc biệt phát huy tác dụng trong quản lý “KV cache”, cơ chế lưu tạm dữ liệu đã được tính toán để giảm các phép tính lặp lại.

Song In-seo, Trưởng bộ phận kỹ thuật LLM tại Upstage, cho biết việc áp dụng Dynamo mang lại nhiều lợi thế, trong đó có khả năng quản lý KV cache hiệu quả hơn. Theo ông, doanh nghiệp có thể cải thiện đáng kể thông lượng với lượng tài nguyên thấp hơn.

LG AI Research cũng chia sẻ kinh nghiệm hợp tác với Nvidia trong tối ưu suy luận. Đơn vị này nhấn mạnh rằng với các dịch vụ AI quy mô lớn, năng lực phân phối yêu cầu của người dùng tới đúng máy chủ phù hợp là yếu tố đặc biệt quan trọng.

Cho Hyun-jik, Trưởng nhóm tại Exaone Lab thuộc LG AI Research, đánh giá vấn đề cốt lõi không nằm ở một máy chủ đơn lẻ, mà ở việc định tuyến truy vấn hiện tại tới máy chủ nào. Ông cho rằng khi quy mô dịch vụ tiếp tục mở rộng, vai trò của công nghệ định tuyến sẽ càng trở nên quan trọng.

Ông cũng dự báo các kỹ thuật điều phối nhiều mô hình, vừa giữ được chất lượng đầu ra tương đương vừa rút ngắn thời gian phản hồi, sẽ có nhiều tiềm năng trong thời gian tới.

Không chỉ ở khâu suy luận, các doanh nghiệp phát triển mô hình AI nền tảng cho biết họ còn ứng dụng công nghệ Nvidia trong xử lý dữ liệu huấn luyện và huấn luyện mô hình.

SK Telecom cho biết đã rút ngắn đáng kể thời gian xử lý dữ liệu khi sử dụng NeMo Curator của Nvidia để loại bỏ tài liệu trùng lặp trong bộ dữ liệu huấn luyện AI.

Yang Hyun-ho, nghiên cứu viên của SK Telecom, cho biết trước đây công việc xử lý tài liệu trùng lặp thường mất từ 2 đến 3 tuần, nhưng sau khi áp dụng khả năng tăng tốc GPU của NeMo Curator, thời gian này giảm xuống còn khoảng 3 ngày.

Ông Yang cũng nhấn mạnh hiệu suất huấn luyện có tác động trực tiếp đến chi phí phát triển các mô hình AI quy mô lớn. Theo ông, nếu tốc độ huấn luyện được cải thiện 10%, thời gian sử dụng GPU có thể rút ngắn khoảng 6 ngày, tương đương 600 triệu won.

LG AI Research cũng giới thiệu trường hợp sử dụng Megatron Bridge của Nvidia, công cụ hỗ trợ huấn luyện và chuyển đổi các mô hình AI lớn.

Theo ông Cho, việc sử dụng Megatron Bridge giúp các công ty thành viên nhanh chóng thử nghiệm huấn luyện các mô hình Exaone thuận tiện hơn, qua đó nâng hiệu quả tổng thể.

Upstage cũng đang áp dụng công nghệ lượng tử hóa NVFP4 của Nvidia nhằm giảm độ chính xác tính toán để tăng hiệu quả xử lý. Song In-seo cho biết lượng tử hóa có thể làm suy giảm hiệu năng mô hình, vì vậy những phần nhạy cảm với độ chính xác vẫn được giữ ở mức chính xác cao.

Tại sự kiện, Nvidia cũng công bố công nghệ tối ưu Dynamo dành riêng cho bốn mô hình AI nội địa, gồm A.X K2 của SK Telecom, K-Exaone 2.0 của LG AI Research, Solar Open 2 của Upstage và Motif-3 của Motif Technologies.

Theo kết quả thử nghiệm nội bộ do Nvidia công bố, trong môi trường GPU B200 sau khi áp dụng tối ưu hóa, thông lượng đầu ra trên mỗi GPU tăng 1,72 lần với A.X K2, 1,58 lần với K-Exaone 2.0 và 1,43 lần với Solar Open 2. Riêng Motif-3 cải thiện 3,67 lần trong môi trường suy luận phân tán riêng.

Cũng trong khuôn khổ Nvidia AI Day Seoul 2026, Nvidia, SK Telecom và Rebellions đã ký biên bản ghi nhớ hợp tác ba bên liên quan đến “NVLink Fusion”.

Bộ Khoa học và ICT đã chúc mừng việc ký kết này, đồng thời phối hợp cùng Nvidia tổ chức “Diễn đàn đối tác startup AI”. Theo bộ, thỏa thuận là một phần trong các cuộc trao đổi trước đó giữa hai bên về hợp tác liên quan đến NPU nội địa, còn diễn đàn được tổ chức nhằm hỗ trợ các startup AI Hàn Quốc mở rộng ra thị trường quốc tế.