Snowflake推出AI模型自动路由功能降低成本

大型企业在扩展AI代理使用规模时面临一个关键低效问题：单一模型无法优化处理所有任务。强大的模型在简单查询上过于奢侈，而弱小的模型则难以应对复杂工作负载。Snowflake的解决方案是模型自动路由，它能动态为每个请求选择最佳模型。该功能已集成到Cortex AI Gateway中，允许客户从固定模型切换至自动优化性能和成本的'auto'模式。

这项技术采用两个核心机制：轻量级模型先尝试处理任务，如无法完成则升级至更强大的模型。同时，基于历史请求数据训练的分类器将简单任务引导至资源消耗较少的模型。客户可手动限制模型选择范围，且路由功能无额外费用——成本仅取决于token使用量。

安全性和访问控制也是重点。路由系统与现有访问管理工具集成，确保符合数据存储和保护策略。例如，开放模型可在客户区域运行，而近期收购的Natoma平台则增强了代理访问权限管理功能。

Databricks、AWS、Google Cloud和Nvidia等竞争对手也在开发类似的路由技术。但Snowflake强调与现有数据管理系统的无缝集成以及企业级安全合规性。专家指出，路由器的选择很大程度上取决于公司现有的数据治理框架。