Стартапы ищут замену трансформерам в больших языковых моделях
Фото: MIT Technology Review
Краткий ответ
Стартапы разрабатывают альтернативы трансформерам для LLM, чтобы решить проблемы высоких энергозатрат и ограниченной обработки контекста.
Трансформеры, ставшие основой современных больших языковых моделей (LLM), уже не справляются с растущими требованиями индустрии. Их ключевой механизм — плотное внимание (dense attention) — обеспечивает высокую точность, но требует колоссальных вычислительных ресурсов. Например, обработка документа из 10 000 слов может потребовать до 50 миллионов операций умножения, что делает модели энергоемкими и дорогостоящими.
По данным президента OpenAI Грега Брокмана, компания планирует потратить 4,1 трлн ₽ на вычисления в этом году. Международное энергетическое агентство прогнозирует удвоение потребления электроэнергии дата-центрами к 2030 году. Эти цифры подчеркивают необходимость поиска альтернативных решений.
Проблема усугубляется ограничениями контекстного окна трансформеров. Модели плохо справляются с одновременной обработкой больших объемов данных, что критично для задач, требующих анализа целых библиотек документов или кодовых баз. Стартапы, такие как Subquadratic, видят в этом возможность для инноваций и готовы предложить новые архитектуры, способные преодолеть эти ограничения.
Рынок LLM открыт для перемен, и компании, не связанные обязательствами перед существующими технологиями, могут стать лидерами нового поколения моделей. Их успех зависит от способности предложить решения, которые будут не только эффективнее, но и экономичнее современных трансформеров.
* Facebook, Instagram, WhatsApp и другие сервисы Meta — принадлежат компании Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Частые вопросы
- Почему трансформеры устаревают?
- Трансформеры требуют огромных вычислительных мощностей для обработки длинных текстов, что ведет к высоким затратам энергии и ограничивает размер контекстного окна. Это затрудняет выполнение сложных задач, требующих анализа больших объемов данных.
- Какие стартапы работают над альтернативами трансформерам?
- Компании вроде Subquadratic и другие стартапы исследуют новые архитектуры моделей, которые могут преодолеть ограничения трансформеров. Их цель — создать более эффективные и масштабируемые решения для ИИ.
- Какие преимущества дадут новые технологии для LLM?
- Альтернативные подходы могут снизить энергопотребление, увеличить скорость обработки данных и расширить контекстное окно моделей. Это позволит ИИ справляться с более сложными задачами, такими как анализ целых библиотек документов или кодовых баз.
Лента для Дзен: /feed/dzen.xml · RSS: /feed.xml