AI упирается в «стены памяти»: как новый контекстный слой решает проблему

Эксперты Solidigm заявляют, что в 2026 году ключевым ограничением для развития AI-систем станет не вычислительная мощность графических процессоров, а управление контекстом. По словам Джеффа Харторна, ведущего исследователя в области AI компании, объемы контекстных данных растут быстрее, чем возможности GPU и эффективность моделей.

Современные агенты AI работают в многократно связанных сессиях, где каждый вызов модели генерирует состояние, которое необходимо сохранять и обрабатывать. Предприятия требуют, чтобы контекстные данные сохранялись между сессиями для аудита, управления и повторного использования. Эти факторы приводят к тому, что объемы контекста выходят за рамки возможностей традиционной памяти.

Решением становится выделение отдельного контекстного слоя между GPU-памятью и сетевым хранилищем. Этот слой представляет собой высокопроизводительные SSD, оптимизированные для хранения и быстрого доступа к ключевым значениям (KV-кэш) и данным для извлечения. Nvidia уже формализовала эту архитектуру под названием CMX.

Традиционные системы хранения, разработанные для обучения AI, не справляются с задачами инференса. Обучение требует последовательной записи больших блоков данных, тогда как инференс нуждается в мелкозернистом, чувствительном к задержкам доступе к данным. Новый контекстный слой решает эту проблему, обеспечивая предсказуемую производительность и снижая зависимость от дорогостоящей DRAM.

По мнению экспертов, инвестиции в такой слой хранения повышают эффективность использования GPU. Вместо повторного вычисления контекста, системы получают быстрый доступ к сохраненным данным, что снижает нагрузку на вычислительные ресурсы и улучшает показатели полезной нагрузки (goodput).