Cohere выпустила открытую модель для разработки North Mini Code на одной GPU H100

Компания Cohere представила открытую модель North Mini Code, предназначенную для автоматизации процессов разработки ПО. Модель оптимизирована для работы на одной видеокарте NVIDIA H100 и поддерживает контекст до 256 000 токенов, что позволяет анализировать крупные проекты в одном проходе. Решение доступно под лицензией Apache 2.0 и уже размещено на платформе Hugging Face.

North Mini Code — это модель с архитектурой mixture-of-experts (MoE) на 30 миллиардов параметров, из которых активно используются лишь 3 миллиарда на токен. Это снижает требования к вычислительным ресурсам при инференсе. Модель обучена на более чем 70 000 верифицируемых задачах из 5 000 репозиториев, что обеспечивает высокую точность в агентных сценариях разработки, таких как ревью кода, анализ архитектуры и взаимодействие с терминалом.

В независимых тестах North Mini Code продемонстрировала высокую скорость генерации — до 210 токенов в секунду, что ставит её в топ-10 среди открытых моделей. Однако эксперты отмечают, что модель генерирует в три раза больше токенов, чем аналоги, что может увеличить затраты на инференс в высоконагруженных пайплайнах. Это делает её более подходящей для локального развёртывания, чем для облачных решений с оплатой за токен, таких как Claude Fable 5* или GitHub Copilot*.

Основатель Cohere Ник Фрост подчеркнул, что North Mini Code — это альтернатива проприетарным моделям, предлагающая прозрачность и контроль над данными. Модель уже поддерживает работу на локальных устройствах, включая Mac Studio, что делает её привлекательной для команд, заинтересованных в суверенитете данных и снижении зависимости от облачных сервисов.