Snowflake于8月19日宣布，为旗下Cortex AI Gateway新增动态模型路由功能。
据介绍，企业客户启用“自动”选项后，无需预先固定使用单一模型，系统会根据具体任务在效果与成本之间进行权衡，自动选择更合适的模型。
Snowflake表示，在不少场景中，简单提问同样调用高性能模型，往往会带来不必要的成本支出和响应时延。公司内部测试显示，动态模型路由可使部分工作负载的Token成本最高降至原来的三分之一。
目前，Databricks、AWS、Google Cloud和NVIDIA也已推出相关模型路由方案。Snowflake认为，模型路由不仅关系到成本和性能，也与治理能力和上下文能力直接相关。
Snowflake AI业务副总裁Varis Gultekin表示，构建高质量的企业级智能体，需要完善的上下文能力和治理能力；上下文、可信度与模型选择彼此紧密相关。
Snowflake介绍称，动态模型路由主要有两种运行方式。其一为“顾问模式”：先由小模型尝试处理任务，若无法完成，再像调用工具一样切换至大模型接手处理。
另一种方式则是通过独立分类器学习历史查询数据，将简单问题自动分配给小模型。客户还可以将路由范围限定在指定模型或特定模型集合内。
在收费方面，Snowflake表示，动态模型路由功能本身不额外收费，仅按Token实际用量计费。
记者信息
Chi-gyu Hwang
delight@d-today.co.kr