Colibrì：在普通硬件上运行巨型AI模型的创新方案

意大利工程师Vincenzo（网名JustVugg）推出了名为Colibrì的概念验证项目，使1.5TB的GLM-5.2语言模型能在标准PC上运行。该系统仅需25GB RAM、一颗CPU和一块1GB/秒的虚拟NVMe驱动器。这一解决方案为渴望使用强大AI模型但无力投资昂贵服务器硬件（如Nvidia NVL72）的爱好者和开发者开辟了新的可能性。

GLM-5.2是一款专家混合（MoE）架构的模型，拥有7440亿参数，其响应质量可与OpenAI和Anthropic等领先公司的解决方案媲美。然而，受限于硬件资源，Colibrì的令牌生成速度仅为每秒0.05–0.1个令牌，无法用于实时应用。相比之下，专业系统可实现每秒20–30个令牌的输出。

Colibrì的工作原理是动态将模型的必要部分加载到RAM中。在MoE架构中，每个查询片段由独立的“专家”（即专业化的子模型）处理。Colibrì并非加载整个模型，而是仅加载处理当前令牌所需的专家。这降低了内存需求，但给系统I/O和CPU性能带来了显著压力。

目前，该项目仍处于实验阶段，尚不支持GPU，但即使使用GPU加速，数据传输速度仍将是主要瓶颈。开发者正积极收集数据以优化性能，并邀请社区参与测试。未来，Colibrì有望成为在高性能消费级硬件上运行先进AI模型的基础。