Ngày 7/10, CEO AMD Lisa Su đã gặp các công ty bán dẫn AI của Hàn Quốc để bàn về việc mở rộng hợp tác dựa trên hệ sinh thái AI mở. Động thái này được kỳ vọng sẽ giúp đa dạng hóa hạ tầng AI, vốn lâu nay tập trung vào GPU của Nvidia, theo hướng kết hợp thêm GPU của AMD và NPU nội địa, qua đó tạo nền tảng cho sovereign AI full-stack từ mô hình, bán dẫn đến phần mềm và hạ tầng.

Cùng ngày, Bộ Khoa học và ICT Hàn Quốc và AMD tổ chức tọa đàm “AI bán dẫn - startup” tại khách sạn Four Seasons ở quận Jongno, Seoul, nhằm thảo luận phương án hợp tác xây dựng hệ sinh thái điện toán dị thể với các doanh nghiệp AI trong nước.

Sự kiện có sự tham gia của 13 doanh nghiệp Hàn Quốc hoạt động trong các mảng NPU, phần mềm, điện toán đám mây và mô hình AI, gồm FuriosaAI, HyperAccel, DeepX, Mobilint, Mangoboost, Panmnesia, Dinoticia, Moreh, Nota AI, Rableup, FADU, Elice Group và Upstage.

Phát biểu khai mạc, Thứ trưởng thứ hai Bộ Khoa học và ICT Hàn Quốc Ryu Je-myeong cho rằng khi trọng tâm của AI dịch chuyển sang suy luận, vai trò của điện toán dị thể ngày càng lớn. Theo ông, thay vì phụ thuộc vào một loại chip duy nhất, hạ tầng AI cần có khả năng phân bổ linh hoạt nhiều loại tài nguyên tùy theo dịch vụ và mục tiêu sử dụng.

Ông cũng nhận định việc AMD mở rộng hệ sinh thái điện toán mở dựa trên mã nguồn mở và các tiêu chuẩn chung có thể mở thêm cơ hội hợp tác cho doanh nghiệp Hàn Quốc.

Bộ Khoa học và ICT Hàn Quốc và AMD đồng thời trao đổi về phương án xây dựng hạ tầng điện toán dị thể kết hợp CPU, GPU của AMD với chip AI nội địa, sau đó phát triển thành mô hình tham chiếu có thể ứng dụng trên thị trường toàn cầu.

Lisa Su nhấn mạnh hệ sinh thái mở và hợp tác luôn là nguyên tắc cốt lõi của AMD.

Bà cho biết chỉ trong 6 tháng qua, lĩnh vực AI đã có rất nhiều bước tiến. Theo CEO AMD, một số doanh nghiệp tham dự sự kiện hiện đã hợp tác với hãng, và cuộc gặp lần này được kỳ vọng sẽ mở đường cho những hợp tác sâu hơn.

Bà cũng bày tỏ tin tưởng rằng để mở rộng giới hạn của AI và thúc đẩy ứng dụng trên phạm vi toàn cầu, điều kiện tiên quyết là một hệ sinh thái mở. AMD sẽ xem xét công nghệ của các startup Hàn Quốc cũng như những mảng mà hãng có thể hỗ trợ để thúc đẩy hợp tác.

Từ phụ thuộc Nvidia đến điện toán dị thể

Trong ngành, nhiều ý kiến cho rằng việc AMD mở rộng hợp tác tại Hàn Quốc không chỉ đơn thuần là thay GPU của Nvidia bằng GPU của AMD.

Khi dịch vụ AI chuyển nhanh từ huấn luyện sang suy luận quy mô lớn, việc kết hợp nhiều loại bộ tăng tốc như GPU và NPU theo từng khối lượng công việc trở nên quan trọng hơn, thay vì dồn toàn bộ tác vụ tính toán lên một GPU hiệu năng cao.

Điều này cũng có thể mở ra thị trường mới cho các doanh nghiệp NPU nội địa. Hiện phần lớn công ty bán dẫn AI của Hàn Quốc tập trung vào mảng suy luận hơn là pre-training cho các mô hình siêu lớn. Tuy nhiên, khi agent AI mở rộng và nhu cầu suy luận tăng mạnh, quy mô của hạ tầng suy luận cũng sẽ phình to, kéo theo phạm vi ứng dụng rộng hơn.

Trước thềm tọa đàm, CEO Rableup Shin Jeong-gyu nói với phóng viên rằng tốc độ mở rộng của thị trường AI hiện nhanh hơn nhiều so với khả năng bao phủ của những công ty như Nvidia hay AMD. Vì vậy, khi mỗi doanh nghiệp buộc phải lựa chọn lĩnh vực ưu tiên, thị trường sẽ xuất hiện những khoảng trống mới.

Theo ông, khi GPU hiệu năng cao được dồn cho phân khúc siêu lớn và giá trị cao, nhu cầu thay thế các GPU đang vận hành trong trung tâm dữ liệu, hoặc phục vụ những thị trường suy luận đặt nặng hiệu quả điện năng, có thể trở thành cơ hội cho NPU nội địa.

Shin Jeong-gyu dự báo từ năm sau, nhu cầu thay thế tại các nơi đang sử dụng GPU như H100 có thể bắt đầu xuất hiện. Đây là cơ hội rõ ràng cho những công ty NPU đủ khả năng đáp ứng mức hiệu năng tương ứng. Ông cũng cho rằng nhu cầu với NPU nội địa có thể tăng thêm khi các kịch bản như lập trình, agent AI và điều phối mô hình cỡ trung trở nên đa dạng hơn, trong khi ngày càng nhiều doanh nghiệp muốn xây dựng hạ tầng biên vì lý do bảo mật dữ liệu.

Mục tiêu xa hơn: từ suy luận sang huấn luyện

Vấn đề then chốt là vai trò của bán dẫn AI nội địa có thể mở rộng đến đâu.

Hiện các NPU đã thương mại hóa tại Hàn Quốc chủ yếu phục vụ suy luận. Trong khi đó, pre-training cho các mô hình AI siêu lớn gần như vẫn phụ thuộc vào hệ sinh thái GPU do Nvidia dẫn dắt. Vì vậy, để hiện thực hóa sovereign AI full-stack bao trùm từ mô hình đến hạ tầng tính toán, khoảng trống lớn nhất vẫn là chip phục vụ huấn luyện.

Pre-training là giai đoạn hình thành năng lực nền tảng ban đầu cho mô hình AI bằng dữ liệu quy mô lớn, đòi hỏi lượng tài nguyên tính toán rất lớn. Ngược lại, các bước huấn luyện tiếp theo như fine-tuning hay học tăng cường (RL) chủ yếu nhằm tối ưu mô hình đã được pre-training cho mục tiêu cụ thể, nên quy mô tính toán tương đối nhỏ hơn. Đây được xem là điểm khởi đầu thực tế để NPU nội địa mở rộng từ suy luận sang huấn luyện.

Trong ngành, một phương án đang được nhắc đến là trước tiên mở rộng việc sử dụng NPU nội địa trong suy luận và các giai đoạn huấn luyện tiếp theo, rồi từng bước tiến sang pre-training.

CEO FuriosaAI Baek Jun-ho nhận định Hàn Quốc là một trong số ít quốc gia trên thế giới có năng lực phát triển bán dẫn theo hướng full-stack, và về bản chất mục tiêu này hoàn toàn khả thi. Theo ông, do thị trường suy luận hiện chiếm tỷ trọng lớn trong các trung tâm dữ liệu nên doanh nghiệp đang ưu tiên mảng này, nhưng về mặt công nghệ vẫn có thể mở rộng sang pre-training trong tương lai.

Baek Jun-ho cho biết khi suy luận trên các cụm quy mô lớn tăng lên, công nghệ và hạ tầng tích lũy từ NPU cho suy luận có thể trở thành nền tảng để mở rộng sang huấn luyện.

Ông cũng đề xuất sử dụng dự án phát triển mô hình AI frontier mà chính phủ dự kiến triển khai từ năm tới với ngân sách 4.700 tỷ won như một testbed cho NPU nội địa. Mục tiêu là giảm rủi ro thử nghiệm trong giai đoạn đầu, đồng thời tạo cơ hội xây dựng các mô hình tham chiếu đã được kiểm chứng trong quá trình phát triển mô hình AI thực tế.

Baek Jun-ho nhấn mạnh rằng những lần đầu thử huấn luyện bằng NPU nội địa có thể phát sinh nhiều chi phí và điều chỉnh kỹ thuật, vì vậy chính phủ cần đóng vai trò testbed. Theo phương án này, quá trình phát triển mô hình ban đầu vẫn chủ yếu dựa vào GPU, sau đó từng bước đưa NPU nội địa vào các giai đoạn huấn luyện tiếp theo và mở rộng dần sang pre-training tùy theo kết quả.

Chính phủ chuẩn bị xây tham chiếu quy mô lớn cho NPU nội địa

Chính phủ Hàn Quốc cũng dự kiến triển khai từ năm tới một dự án xây dựng mô hình tham chiếu quy mô lớn để NPU nội địa có thể được sử dụng trong hạ tầng AI thực tế. Thay vì kiểm chứng rời rạc theo từng con chip, dự án sẽ đánh giá cả một hệ thống tích hợp CPU, GPU, NPU, Compute Express Link (CXL) và phần mềm nhằm đo hiệu năng cũng như khả năng tương tác.

Tại buổi họp báo bên lề sự kiện, ông Lee Do-gyu, Vụ trưởng Chính sách Thông tin - Truyền thông thuộc Bộ Khoa học và ICT Hàn Quốc, cho biết trước đây NPU nội địa chủ yếu được cung cấp theo dạng chip đơn lẻ, nên gặp hạn chế khi mở rộng ra thị trường toàn cầu. Theo ông, bộ này đang lên kế hoạch cho một dự án tham chiếu quy mô lớn trong năm tới, theo hướng đánh giá full-stack với đầy đủ CPU, GPU, CXL và phần mềm.

Dự án sẽ không triển khai theo một đề tài đơn lẻ mà mở nhiều gói thầu khác nhau, để doanh nghiệp tham gia theo mô hình liên danh phù hợp với từng công nghệ và dịch vụ.

Trong dự án phát triển mô hình AI frontier, chính phủ cũng để ngỏ khả năng sử dụng NPU nội địa. Trả lời câu hỏi về việc dùng NPU nội địa cho các giai đoạn huấn luyện tiếp theo hoặc suy luận nhằm tạo tham chiếu, Lee Do-gyu cho biết bộ này “đương nhiên cũng đang xem xét và thúc đẩy” theo hướng đó, dù cách làm và tỷ trọng cụ thể vẫn chưa được quyết định.

Hợp tác với AMD cũng nằm trong định hướng nói trên. Chính phủ đặt mục tiêu kết hợp CPU, GPU của AMD với NPU nội địa để nâng hiệu quả chi phí và điện năng, đồng thời xây dựng hệ sinh thái phần mềm tương thích.

Lee Do-gyu nhấn mạnh điều quan trọng là phải tối ưu CPU, GPU và NPU để đạt hiệu năng cao với chi phí thấp nhất, đi cùng một môi trường phần mềm phù hợp. Theo ông, định hướng của chính phủ là hỗ trợ doanh nghiệp trong nước tham gia hệ sinh thái mở của AMD để từng bước phát triển thành các đối tác toàn cầu.