Colibrì: инновационный подход к запуску гигантских AI-моделей на обычном железе

Итальянский инженер Винченцо (известный как JustVugg) представил proof-of-concept под названием Colibrì, который позволяет запускать передовую языковую модель GLM-5.2 с объёмом 1,5 терабайта на обычном компьютере. Для работы системы достаточно 25 ГБ оперативной памяти, процессора и виртуального NVMe-накопителя со скоростью 1 ГБ/с. Это решение открывает новые возможности для энтузиастов и разработчиков, стремящихся использовать мощные AI-модели без инвестиций в дорогостоящее серверное оборудование, такое как Nvidia NVL72.

GLM-5.2 — это модель с архитектурой Mixture-of-Experts (MoE), включающая 744 миллиарда параметров. Она способна конкурировать по качеству ответов с решениями от ведущих компаний, таких как OpenAI и Anthropic. Однако из-за ограниченных аппаратных ресурсов скорость генерации токенов в Colibrì составляет всего 0,05–0,1 в секунду, что делает её непригодной для реального времени. Для сравнения: профессиональные системы обеспечивают 20–30 токенов в секунду.

Принцип работы Colibrì основан на динамической загрузке только необходимых частей модели в оперативную память. В архитектуре MoE каждая часть запроса обрабатывается отдельными «экспертами» — специализированными подмоделями. Вместо загрузки всей модели Colibrì подгружает только те эксперты, которые нужны для обработки текущего токена. Это снижает требования к памяти, но создаёт значительную нагрузку на систему ввода-вывода и процессор.

На данный момент проект находится на стадии эксперимента и не поддерживает GPU, хотя даже с их использованием основным ограничением останется скорость передачи данных. Разработчик активно собирает данные для оптимизации и приглашает сообщество к участию в тестировании. В будущем Colibrì может стать основой для запуска передовых AI-моделей на высокопроизводительном потребительском оборудовании.