GPT-5.5 обошел Claude Fable 5 в новом бенчмарке Agents’ Last Exam

Исследователи из Центра ответственного децентрализованного интеллекта Калифорнийского университета в Беркли (RDI) представили новый бенчмарк Agents’ Last Exam (ALE), предназначенный для оценки способности ИИ-агентов выполнять экономически значимые профессиональные задачи. В отличие от традиционных тестов, ALE фокусируется на реальных рабочих процессах, таких как создание 3D-моделей в Siemens NX, настройка сцен в Unreal Engine и работа с нейроизображениями в FSLeyes.

В рамках ALE модели оцениваются по пяти ключевым параметрам: логическое мышление, визуальное восприятие, оркестровка задач, использование инструментов и работа с runtime-средой. Бенчмарк охватывает 55 отраслей и включает 1490 задач, основанных на реальных профессиональных сценариях. Особое внимание уделяется детерминированной оценке результатов: вместо использования LLM в качестве судьи, ALE применяет кодовые проверки для сравнения артефактов, созданных ИИ, с эталонными решениями.

Результаты тестирования оказались неожиданными: GPT-5.5 от OpenAI, работающий через фреймворк Codex, занял первое место с 24% успешных решений, опередив недавно выпущенный Claude Fable 5 от Anthropic, который набрал 22%. Однако даже лидеры показали крайне низкие результаты на самых сложных задачах — большинство моделей, включая Claude Opus 4.8 и Gemini CLI, не справились с ними вовсе. Это подчеркивает существующий разрыв между академическими бенчмарками и реальной производительностью ИИ в профессиональной среде.

Для предотвращения утечек данных и обеспечения объективности оценок ALE использует уникальную систему ротации задач: лишь 10% датасета доступно публично, остальные задачи хранятся в закрытом доступе и постепенно обновляются. Это позволяет избежать «загрязнения» бенчмарка и обеспечивает достоверность результатов для корпоративных заказчиков.