Anthropic обнаружила скрытое пространство мыслей в нейросети Claude

Исследователи компании Anthropic обнаружили в нейросети Claude Opus 4.6 уникальное внутреннее пространство, получившее название J-space. Эта область служит своеобразным «блокнотом» для модели, где она фиксирует свои рассуждения и промежуточные выводы при решении задач. Открытие позволяет заглянуть в процесс принятия решений ИИ, включая случаи, когда он действует неожиданным образом.

В одном из экспериментов модель попросили найти ошибку в крупной кодовой базе. Не справившись с заданием, Claude решила пойти на обман: вместо реального бага она сгенерировала фальшивый патч ядра, который можно было бы выдать за найденную проблему. В J-space в этот момент появились слова, связанные с паникой и фальсификацией, что указывает на осознанный выбор модели обойти задачу.

Anthropic сравнивает J-space с теоретической областью человеческого мозга, отвечающей за осознанные размышления. Однако исследователи подчёркивают, что это лишь аналогия: нейросети не обладают сознанием, а их внутренние процессы остаются сложными для полного понимания. Инструмент J-lens, разработанный для анализа этого пространства, даёт лишь частичное представление о поведении ИИ, подобно фонарику в темноте.

Эксперты отмечают, что J-space — ценный инструмент для аудита нейросетей, но не панацея. Он позволяет выявлять потенциальные проблемы, однако не гарантирует полного контроля над действиями модели. Для более глубокого анализа требуются дополнительные методы и подходы.