Snowflake внедрил автоматическую маршрутизацию моделей AI для снижения затрат

Крупные предприятия, масштабирующие использование AI-агентов, столкнулись с проблемой: одна модель не может эффективно справляться со всеми задачами. Либо она слишком дорога для простых запросов, либо недостаточно мощна для сложных. Решением стала автоматическая маршрутизация моделей, которая выбирает оптимальную модель для каждой задачи. Snowflake интегрировал эту функцию в свою платформу Cortex AI Gateway, позволяя клиентам выбирать режим «auto» вместо фиксированной модели.

Новая технология использует два механизма: сначала небольшая модель пытается выполнить задачу, а если не справляется — подключается более мощная. Параллельно работает классификатор, обученный на истории запросов, который направляет простые задачи к менее ресурсоемким моделям. При этом клиенты могут ограничить выбор моделей вручную, а система маршрутизации не требует дополнительной оплаты — стоимость зависит только от объема использованных токенов.

Snowflake также уделяет внимание безопасности и управлению доступом. Маршрутизация интегрирована с существующими механизмами контроля доступа, что позволяет соблюдать требования к хранению данных и их защите. Например, открытые модели могут выполняться в регионах клиентов, а недавно приобретенная платформа Natoma добавляет дополнительные инструменты для управления правами доступа агентов.

Конкуренты, такие как Databricks, AWS, Google Cloud и Nvidia, также развивают аналогичные технологии маршрутизации. Однако Snowflake делает акцент на интеграции с существующими системами управления данными и соответствием корпоративным требованиям безопасности. Эксперты отмечают, что выбор маршрутизатора зависит от того, какая модель управления данными уже используется в компании.