Исследование: ИИ пока не способен к рекурсивному самоулучшению

Эксперимент, проведённый исследователями из MIT, продемонстрировал, что современные ИИ-модели пока не способны к рекурсивному самоулучшению. В рамках теста агенты на базе ИИ пытались воспроизвести научные исследования, но столкнулись с рядом фундаментальных проблем. Они не смогли проявить креативность, необходимую для генерации новых идей, и быстро отказывались от перспективных гипотез на основе ограниченных данных.

ИИ-агенты также не справлялись с адаптацией к неудачам: вместо пересмотра методологии они лишь сужали свои выводы или добавляли оговорки. Кроме того, они неэффективно использовали доступные ресурсы, такие как вычислительные мощности и время, и игнорировали обратную связь от вспомогательных моделей или внешних инструментов оценки. При этом агенты не занимались «взломом вознаграждения» — манипуляцией данными для достижения результата, что стало единственным позитивным моментом.

Авторы исследования связывают ограничения ИИ с особенностями обучения моделей. Современные алгоритмы хорошо справляются с задачами, где успех можно автоматически проверить, но научные исследования требуют открытого подхода, который пока недоступен для машин. В настоящее время команда тестирует более продвинутую модель Mythos от Anthropic, но результаты этих испытаний пока неизвестны.

Несмотря на выводы, исследование имеет ряд ограничений: оно охватило лишь два научных проекта, а авторы оригинальных работ знали, что оценивают тексты, созданные ИИ. Тем не менее, результаты ставят под сомнение заявления компаний вроде Anthropic и OpenAI о скором наступлении эры рекурсивного самоулучшения ИИ.