OpenAI представила новую технику рассуждений Astra: эксперты по безопасности обеспокоены

Компания OpenAI анонсировала новую технику рассуждений для своей модели Astra, получившую название «рекуррентная глубина» (recurrent depth). В отличие от традиционных методов, где модель обрабатывает запросы последовательно, новая техника позволяет ей многократно возвращаться к решению задачи в цикле, что усложняет анализ промежуточных этапов. Это вызывает опасения у экспертов в области безопасности ИИ, так как стандартные инструменты мониторинга становятся менее эффективными.

Эксперты, включая генерального директора Redwood Research Buck Shlegeris, подчеркивают, что подобные изменения могут полностью разрушить прозрачность цепочки рассуждений (Chain of Thought, CoT), которая ранее считалась ключевым инструментом для выявления ошибок и некорректного поведения моделей. В частности, именно анализ CoT помог выявить причины неожиданного поведения предыдущих агентов OpenAI.

Техника «рекуррентной глубины» не является полностью новой для индустрии, однако её активное внедрение в коммерческие модели вызывает дискуссии. В текущей реализации Astra использование техники ограничено, и OpenAI подчеркивает, что цепочка рассуждений остаётся доступной для анализа. Тем не менее, специалисты опасаются, что дальнейшее масштабирование этого подхода может привести к полной потере прозрачности в процессе принятия решений.

Главный научный сотрудник OpenAI Якуб Пачоки (Jakub Pachocki) заявил, что компания продолжает придерживаться принципов прозрачности и мониторинга цепочки рассуждений. Он отметил, что это остаётся одной из ключевых целей текущих исследований. Однако эксперты, такие как Зви Моушоуиц (Zvi Mowshowitz), призывают к законодательному регулированию, чтобы предотвратить «гонку на дно» между лабораториями, где прозрачность приносится в жертву производительности.

Возможность использования «рекуррентной глубины» обсуждается не только в OpenAI. По данным издания The Information, аналогичные подходы рассматривают в Anthropic и Google DeepMind. Это ставит вопрос о будущем стандартах прозрачности в индустрии ИИ и необходимости их регулирования на уровне отрасли.