AI基础设施公司MangoBoost 12日在首尔Grand InterContinental Seoul Parnas举行媒体沟通会，正式发布无服务器AI推理平台“Mango Inference”。
MangoBoost表示，Mango Inference基于公司自研的全栈AI基础设施，可为用户提供AI推理服务。用户无需进行复杂的基础设施搭建和配置，即可调用AI模型；平台重点突出秒级部署、低时延、高吞吐以及更优的总拥有成本（TCO）表现。
在接入方式上，用户仅凭一个API密钥即可启用AI推理服务。当前，Mango Inference以无服务器形式提供，后续还将推出Dedicated版本。
公司称，SI合作伙伴、开发者和初创企业用户无需额外配置，即可直接选择可用模型或使用专属端点。与此同时，平台还提供运营所需的多项管理功能，包括API密钥安全管理、推理用量和运行状态查看，以及对请求、流量、时延和令牌（Token）的分析，并支持查询支付记录。
MangoBoost还将自研全栈AI基础设施视为核心竞争力之一。
据介绍，MangoBoost自研的AI优化软件“LLMBoost”不同于仅运行在GPU上的传统推理软件，而是围绕数据从存储到GPU执行推理的全链路进行优化，以减少瓶颈、提升推理性能和Token效率。
MangoBoost CEO Kim Jang-woo表示，从硬件到软件均由公司自主设计的全栈技术能力，是Mango Inference的差异化所在。MangoBoost希望为“快速、高效、可信”的推理服务树立新标准。
记者信息
Hwang Chi-gyu
delight@d-today.co.kr