Искусственный интеллектНовый метод сжатия контекста для LLM сокращает входные данные в 16 раз без потери точности
Команда учёных из ведущих университетов США и национальной лаборатории Лоуренса Ливермора разработала прорывной метод сжатия контекста для больших языковых моделей (LLM). Технология Latent Context Language Models (LCLM) позволяет сократить объём входных данных в 16 раз, сохраняя при этом высокую точность работы моделей. Это решает ключевую проблему современных LLM — рост вычислительных затрат при увеличении длины контекста, который становится критическим «бутылочным горлышком» для производительности.
Читать далее
