MangoBoost ngày 12/10 công bố Mango Inference, nền tảng suy luận AI theo mô hình serverless, tại buổi họp báo tổ chức ở khách sạn Grand InterContinental Seoul Parnas, Seoul. Công ty cho biết dịch vụ mới được phát triển nhằm rút ngắn thời gian triển khai xuống còn vài giây, giảm độ trễ, tăng thông lượng và tối ưu tổng chi phí sở hữu.

Theo MangoBoost, Mango Inference được xây dựng trên hạ tầng AI full-stack do hãng tự phát triển. Với nền tảng này, người dùng có thể sử dụng các mô hình AI mà không cần tự xây dựng hay cấu hình hạ tầng phức tạp.

Công ty cho biết người dùng chỉ cần một API key để bắt đầu tác vụ suy luận AI. Hiện Mango Inference được cung cấp theo mô hình serverless, và MangoBoost cũng có kế hoạch bổ sung dịch vụ suy luận theo hình thức dedicated trong thời gian tới.

MangoBoost cho biết các đối tác SI, lập trình viên và startup có thể lựa chọn mô hình có sẵn để sử dụng ngay hoặc triển khai thông qua endpoint chuyên dụng. Nền tảng cũng tích hợp các công cụ phục vụ vận hành như quản lý API key bảo mật, theo dõi mức sử dụng và trạng thái suy luận, phân tích yêu cầu, lưu lượng, độ trễ và token, cùng tính năng tra cứu lịch sử thanh toán.

Doanh nghiệp này đồng thời nhấn mạnh lợi thế cạnh tranh đến từ hạ tầng AI full-stack tự phát triển. Theo MangoBoost, phần mềm tối ưu AI LLMBoost không chỉ xử lý tác vụ trên GPU như các phần mềm suy luận truyền thống, mà còn tối ưu toàn bộ chuỗi xử lý dữ liệu, từ khâu lưu trữ đến GPU. Cách tiếp cận này nhằm loại bỏ các điểm nghẽn, qua đó nâng hiệu năng suy luận và hiệu quả sử dụng token.

Phát biểu tại sự kiện, CEO Kim Jang-woo cho biết điểm khác biệt của Mango Inference nằm ở năng lực full-stack do công ty tự thiết kế từ phần cứng đến phần mềm. Ông khẳng định MangoBoost đặt mục tiêu thiết lập chuẩn mới cho các dịch vụ suy luận AI nhanh hơn, hiệu quả hơn và đáng tin cậy hơn.