MangoBoostは10月12日、ソウル市のグランド・インターコンチネンタル・ソウル・パルナスで記者懇談会を開き、サーバレスAI推論基盤「Mango Inference」を発表した。
Mango Inferenceは、同社のフルスタックAIインフラを基盤とする推論サービスだ。複雑なインフラ構築や設定なしでAIモデルを利用できるのが特徴で、短時間でのデプロイ、低遅延、高スループット、総所有コスト（TCO）の最適化を打ち出す。
利用者はAPIキー1つでAI推論を開始できる。まずはサーバレスで提供し、今後は専用型の推論サービスにも対応する予定だ。
SIパートナー企業や開発者、スタートアップは、追加設定なしで利用できるモデルを選択できるほか、専用エンドポイントも利用できる。セキュアなAPIキー管理、推論の利用量や稼働状況の確認、リクエスト数・トラフィック・遅延・トークン使用量の分析、決済履歴の照会など、運用に必要な機能を一元的に提供する。
MangoBoostは、自社開発のフルスタックAIインフラも競争力として前面に出した。
同社によると、AI最適化ソフトウェア「LLMブースト」は、従来の推論ソフトウェアのようにGPU処理だけを対象とするのではなく、データがストレージからGPUへ流れる推論サービング全体を最適化する。これにより、ボトルネックを解消し、推論性能とトークン効率を高めるという。
キム・ジャンウ代表は「ハードウェアからソフトウェアまで自社で設計したフルスタックの技術力が、Mango Inferenceの差別化要因だ」とした上で、「高速で効率的かつ信頼性の高い推論の新たな基準を示したい」と述べた。
著者について
Hwang Chi-gyu
delight@d-today.co.kr