OpenAI đang chuẩn bị triển khai “inference residency” tại Hàn Quốc, qua đó cho phép xử lý tác vụ suy luận AI của người dùng trong nước ngay tại các trung tâm dữ liệu nội địa. Tuy nhiên, kế hoạch này vẫn phụ thuộc vào khả năng bảo đảm nguồn GPU và hạ tầng điện toán đám mây phù hợp.

Ngày 9/9, tại buổi họp báo nhân dịp tròn một năm OpenAI Korea đi vào hoạt động, tổ chức ở khách sạn Josun Palace Seoul Gangnam, quận Gangnam, Seoul, ông Kim Kyung-hoon, Tổng giám đốc OpenAI Korea, cho biết công ty đang chuẩn bị để phần dữ liệu phục vụ suy luận được xử lý ngay tại Hàn Quốc.

Theo ông Kim, hiện vẫn cần thêm nhiều bước chuẩn bị trước khi dịch vụ có thể vận hành. Dù vậy, OpenAI kỳ vọng trong thời gian tới sẽ cung cấp inference residency thông qua các trung tâm dữ liệu đặt tại Hàn Quốc.

Trước đó, OpenAI đã hỗ trợ “data residency” tại Hàn Quốc, cho phép dữ liệu do khách hàng ChatGPT Enterprise, ChatGPT Edu và API nhập vào được lưu trữ trong nước. Tuy nhiên, ở bước mô hình tạo phản hồi, một phần dữ liệu vẫn có thể được chuyển sang hạ tầng tính toán ở nước ngoài. Nếu triển khai inference residency, ngay cả khâu suy luận này cũng sẽ được xử lý trên hạ tầng nội địa.

Theo OpenAI, điều kiện then chốt để triển khai là nguồn GPU trong nước và hạ tầng đám mây đủ khả năng hỗ trợ các tài nguyên này.

Trong phần hỏi đáp, ông Kim cho biết để vận hành tác vụ suy luận cần GPU hiệu năng cao hơn, đồng thời phải có hệ thống đám mây làm nền tảng cho việc khai thác GPU. OpenAI hiện vẫn tiếp tục trao đổi với một số đối tác tại Hàn Quốc có khả năng cung cấp hạ tầng phù hợp.

Ông nói thêm, nếu một trong các đối tác này bổ sung thêm GPU mới, OpenAI có thể được phân bổ một phần tài nguyên cho mảng suy luận. Khi các điều kiện cụ thể hơn, công ty mới có thể công bố mốc thời gian triển khai.

Tuy vậy, nguồn GPU hạn chế và chi phí đi kèm được cho là sẽ ảnh hưởng đến quyết định sử dụng suy luận nội địa của doanh nghiệp. Theo ông Kim, do nguồn GPU có giới hạn, các công ty sẽ phải cân nhắc mức chi phí và đánh giá liệu việc xử lý suy luận trong nước có thực sự cần thiết hay không. OpenAI cho biết công ty không giới hạn theo ngành hay nhóm khách hàng, mà sẽ cung cấp dịch vụ cho các đơn vị có nhu cầu xử lý suy luận tại Hàn Quốc.

OpenAI Korea cũng cho biết kể từ khi thành lập vào ngày 10/9 năm ngoái, mức độ ứng dụng AI trong khối doanh nghiệp Hàn Quốc đã tăng nhanh. Số người dùng ChatGPT Enterprise tại nước này tăng gấp 28 lần sau một năm, trong khi tổng số người dùng ChatGPT tăng 35% so với cùng kỳ. Lượng người dùng ChatGPT Work và Codex cũng tăng gấp 14 lần trong 6 tháng tính từ mốc 1/3.

Ông Kim cho rằng trước đây doanh nghiệp chủ yếu dừng ở việc cung cấp thông tin nội bộ dưới dạng chatbot. Hiện nay, ngày càng xuất hiện nhiều trường hợp doanh nghiệp xây dựng các “đội ngũ” làm việc cùng AI để tạo ra sản phẩm và dịch vụ mới. Việc sử dụng Codex cũng đang mở rộng từ nhóm kỹ sư sang các bộ phận ngoài khối phát triển như pháp chế, tài chính, nhân sự, kế toán, marketing và bán hàng.

Trong ngày 9/9, OpenAI cũng công bố hàng loạt trường hợp triển khai AI tại Hàn Quốc, gồm Samsung Electronics, SamsungSDS, LG Electronics, LG Uplus, LG CNS, SK, Krafton, Kakao, Tving, Musinsa, Nexen Tire, Toss, Korea Zinc, HanaTour, Yanolja, GS E&C và hãng luật Bae, Kim & Lee (BKL). Theo công ty, AI hiện đã được ứng dụng rộng hơn ở nhiều lĩnh vực như sản xuất, tài chính, công nghệ, viễn thông, nội dung, thương mại, dịch vụ chuyên môn và xây dựng.

Trong số này, Samsung Electronics được nêu là ví dụ tiêu biểu khi sử dụng sản phẩm của OpenAI ở nhiều mảng như R&D, marketing, bán hàng quốc tế và quản lý sản xuất. OpenAI đánh giá đây là một trong những trường hợp triển khai ở quy mô lớn nhất trên toàn cầu. Tại Đại học Quốc gia Seoul, khoảng 50.000 cán bộ, giảng viên và sinh viên cũng đang sử dụng ChatGPT và Codex cho hoạt động R&D và công việc hằng ngày.

Hệ sinh thái đối tác trong nước của OpenAI cũng đang được mở rộng. Công ty hợp tác với SamsungSDS, LG CNS và SK AX trong mảng tích hợp hệ thống quy mô lớn; đồng thời làm việc với MegazoneCloud, BespinGlobal và CluCkers trong mảng vận hành và quản trị đám mây. Ở nhóm startup AI, OpenAI giới thiệu Koka và Aim Intelligence. Công ty cũng đang triển khai kết nối nền tảng thông qua Amazon Bedrock.

Ông Kim cho biết văn phòng OpenAI tại Hàn Quốc hiện vẫn còn quy mô nhỏ, nên khả năng hỗ trợ trực tiếp đồng thời cho nhiều doanh nghiệp, bao gồm cả doanh nghiệp vừa và nhỏ, vẫn có hạn. Trong thời gian tới, OpenAI sẽ phối hợp với các đối tác đã dẫn dắt quá trình chuyển đổi AI tại Hàn Quốc để cải thiện tốc độ và chiều sâu ứng dụng AI.