Vessl AI ngày 12/10 cho biết sẽ cung cấp hạ tầng suy luận toàn cầu cho Solar Pro 4 của Upstage, mô hình ngôn ngữ lớn (LLM) do Upstage phát triển. Doanh nghiệp đồng thời tối ưu tài nguyên GPU và hạ tầng serving nhằm tăng thông lượng xử lý, đồng thời giảm chi phí trên mỗi token.

Theo Vessl AI, đây là một trường hợp tiêu biểu cho việc hạ tầng của một doanh nghiệp neo-cloud Hàn Quốc hỗ trợ một mô hình AI phát triển trong nước mở rộng ra thị trường toàn cầu.

Trong dự án này, Vessl AI cấu hình tài nguyên GPU theo đặc tính của mô hình và lưu lượng thực tế, đồng thời tối ưu hạ tầng serving để cải thiện hiệu suất vận hành.

Công ty cho biết đã áp dụng nhiều kỹ thuật như nâng tỷ lệ cache hit nội bộ, lượng tử hóa mô hình và tăng tốc suy luận. Nhờ đó, sau khi triển khai endpoint, tốc độ xử lý tăng trung bình gấp 2 lần, mức cao nhất đạt 3 lần. Chi phí trên mỗi token cũng giảm, trong đó mức tiết kiệm tối đa lên tới gấp đôi nhờ cải thiện cache hit.

Vessl AI cho biết sẽ tiếp tục hỗ trợ hạ tầng suy luận cần thiết để mở rộng việc sử dụng các mô hình Solar.

Ông Ahn Jae-man, CEO của Vessl AI, cho biết hợp tác lần này có ý nghĩa lớn khi thành quả toàn cầu của một mô hình phát triển tại Hàn Quốc được hậu thuẫn bởi hạ tầng neo-cloud trong nước. Theo ông, công ty sẽ tiếp tục tăng cường năng lực với vai trò nhà cung cấp hạ tầng suy luận, dựa trên kinh nghiệm vận hành đã tích lũy để tạo môi trường giúp các nhà phát triển mô hình tập trung vào nghiên cứu và phát triển sản phẩm, đồng thời hỗ trợ doanh nghiệp triển khai ổn định các mô hình nguồn mở.