KT自研AI模型路由技术AutoModelRouter在全球公开基准测试中综合排名第二。图片来源:KT

KT于27日表示,公司自研AI模型路由技术AutoModelRouter在一项全球公开基准测试中综合排名第二。

据了解,AutoModelRouter在美国Rice University研究团队开发的大语言模型(LLM)路由评测平台Router Arena中位列第二。该平台基于约8400条查询,对模型路由器的回答准确性、成本效率以及面对输入变化时的鲁棒性进行综合评估。目前,学术界开发的路由器以及Microsoft的商用技术“Azure Model Router”等,均被纳入同一榜单评测。

AutoModelRouter的核心能力在于,可在多个AI模型之间自动选择最适合用户请求的模型。系统会结合任务类型、难度和知识领域,并综合各模型的回答质量与调用成本,完成请求分发。比如,在翻译或简单信息核验等场景下,系统会优先调用成本更优的模型;在专业分析或高强度推理任务中,则会调用性能更强的模型。

KT还将AutoModelRouter应用于“Token Factory”的模型路由能力。在整合多种AI模型和Token使用环境的过程中,系统可自动匹配最合适的模型,以同时提升服务质量并优化成本。

KT表示,未来将持续升级AutoModelRouter,并推进建设可灵活新增AI模型的多模型运营环境。

KT Agentic AI Lab负责人Kim Junseok表示,在AI时代,关键在于能否针对不同场景更智能地调用最优模型。AutoModelRouter将成为支撑包括Token Factory在内KT Agentic AI服务竞争力的核心技术。

关键词

#KT #AutoModelRouter #AI模型路由技术 #LLM #Router Arena #Rice University #Azure Model Router #Token Factory #成本效率 #鲁棒性
版权所有 © DigitalToday。未经授权禁止转载或传播。