Cafe24发布一项面向多模型统一接入与管理的新服务“LLM Router”。该公司23日表示，用户可通过单一API接入并调用ChatGPT、Claude、Gemini等120余款AI模型，系统会根据请求内容自动完成模型匹配与切换。
韩国科学技术信息通信部本月3日发布的《2025年增值电信业务实态调查》显示，在生成式AI用户中，53.2%同时使用两个及以上AI平台。随着编程、翻译、摘要、内容创作等不同场景对模型能力的需求持续细分，针对具体任务选择不同AI工具正逐渐常态化，这也提高了账号、成本和配置管理的复杂度。
据Cafe24介绍，LLM Router可识别用户请求对应的任务类型，并自动匹配适合编程、推理、翻译、创作等场景的模型。用户还可预先限定可用模型范围，系统仅在设定范围内进行自动路由。在多个供应商同时提供同一模型的情况下，平台会综合成本、响应速度和吞吐量，自动选择更合适的服务提供方；同时支持通过白名单和黑名单功能，指定或排除特定供应商。
针对主模型无响应等情况，LLM Router还提供自动切换功能“Auto Fallback”。当主模型调用失败时，预先设定的备用模型将自动接替处理请求。服务还配备实时仪表盘，用户可在统一界面查看各模型的成本占比，以及请求成功率、失败率等数据。
此外，LLM Router支持“BYOK（Bring Your Own Key）”模式，用户可直接接入并使用自有的GPT、Claude、Gemini API Key。
Cafe24 CEO Lee Jae-seok表示，随着AI模型种类快速增加，如何高效完成模型接入与运营管理，正成为新的课题。公司将持续完善相关基础设施能力，帮助用户更便捷地使用多种AI模型。
LLM Router采用按量计费模式，用户注册后即可获得免费额度。
Seok Dae-geon
d2dg@d-today.co.kr