LG Uplus ngày 2/10 cho biết đã hợp tác với OptAI, doanh nghiệp chuyên tối ưu mô hình AI, để phát triển công nghệ tối ưu token phục vụ vận hành các dịch vụ trí tuệ nhân tạo. Theo công ty, kết quả nghiên cứu ban đầu cho thấy lượng token xử lý trên cùng một GPU có thể tăng tối đa 4 lần.

Hai bên sẽ cùng nghiên cứu các công nghệ nâng hiệu quả tính toán của mô hình AI, qua đó giúp hệ thống xử lý được nhiều yêu cầu hơn mà không cần tăng thêm tài nguyên.

Theo LG Uplus, token là đơn vị dữ liệu cơ bản mà AI sử dụng để hiểu câu hỏi của người dùng và tạo câu trả lời. Công nghệ tối ưu token tập trung vào việc tăng số lượng token có thể xử lý trên cùng hạ tầng GPU thông qua rút gọn mô hình và cải tiến quy trình tính toán.

Trong hợp tác này, LG Uplus phụ trách kiểm chứng và triển khai công nghệ trong môi trường dịch vụ thực tế, còn OptAI đảm nhiệm mảng nghiên cứu và phát triển các công nghệ giúp mô hình AI vận hành gọn nhẹ và nhanh hơn.

Hai công ty cho biết đã ghi nhận kết quả ban đầu trong quá trình nghiên cứu tối ưu mô hình AI trên nền tảng GPU. Cụ thể, sau khi cải tiến quy trình tính toán trong giai đoạn tạo câu trả lời theo điều kiện vận hành dịch vụ thực tế, lượng token xử lý trên cùng một GPU đã tăng tối đa 4 lần so với trước.

Trước đó, hai bên cũng từng hợp tác trong lĩnh vực AI on-device. LG Uplus đã áp dụng công nghệ rút gọn cho mô hình ngôn ngữ nhỏ (sLM) dựa trên EXAONE để mô hình có thể chạy trên NPU, dòng chip AI chuyên dụng tích hợp trên smartphone. Theo công ty, giải pháp này vẫn duy trì hiệu năng tương đương khi chạy bằng CPU, đồng thời giảm 78% điện năng tiêu thụ và thu gọn 82% kích thước mô hình.

Với thỏa thuận mới, hai bên mở rộng phạm vi hợp tác từ AI on-device sang môi trường GPU máy chủ. Trọng tâm nghiên cứu là nâng hiệu quả tính toán để xử lý nhiều yêu cầu AI hơn trên cùng một hạ tầng GPU.

LG Uplus cho biết sẽ từng bước đưa các công nghệ phát triển từ dự án này vào dịch vụ AI của hãng cũng như môi trường vận hành hạ tầng AI quy mô lớn.

Ông Lee Sang-yeop, CTO của LG Uplus, cho biết công ty sẽ tiếp tục mở rộng nghiên cứu công nghệ tối ưu token cùng nhiều đối tác, trong đó có OptAI, nhằm tạo ra các kết quả có thể sớm ứng dụng vào dịch vụ thực tế.

Trong khi đó, ông Lee Jae-ho, CEO của OptAI, nói công ty sẽ tiếp tục nâng cấp các công nghệ tối ưu AI đã được kiểm chứng trong môi trường dịch vụ thực tế thông qua hợp tác với LG Uplus.