Cohere发布开源模型North Mini Code，可在单个H100 GPU上运行

Cohere发布了开源模型North Mini Code，旨在自动化软件开发流程。该模型针对单个NVIDIA H100 GPU进行了优化，支持高达256,000个token的上下文，能够在单次运行中分析大型项目。该解决方案采用Apache 2.0许可证，并已在Hugging Face平台上发布。

North Mini Code是一个拥有300亿参数的混合专家（MoE）架构模型，但每个token仅激活30亿参数，从而降低了推理阶段的计算资源需求。该模型基于来自5,000个代码库的70,000多个可验证任务训练，确保在代理开发场景（如代码审查、架构分析和终端交互）中具有高准确性。

在独立测试中，North Mini Code展现了高达每秒210个token的生成速度，跻身开源模型前十。然而，专家指出，该模型生成的token数量是同类产品的三倍，可能增加高负载流程中的推理成本。因此，它更适合本地部署，而非按token计费的云端解决方案，如Claude Fable 5*或GitHub Copilot*。

Cohere创始人Nick Frost强调，North Mini Code是专有模型的替代方案，提供数据透明度和控制权。该模型已支持在本地设备（如Mac Studio）上运行，对注重数据主权和减少对云服务依赖的团队具有吸引力。