AI и нечеткие задачи: как меняются подходы к оценке возможностей искусственного интеллекта

Фото: MIT Technology Review
Краткий ответ
MIT Technology Review представил обновленный набор задач для оценки AI, добавив в него сложные, субъективные и требующие суждения задания.
Исследователи MIT Technology Review внесли существенные изменения в методику оценки производительности AI. Ранее стандартные графики временных горизонтов не учитывали задачи, где успех был трудно определить или требовал длительного времени для верификации — например, выбор нового направления в научном поиске. Однако именно такие сложные, требующие суждения задачи являются ключевыми для потенциальной автоматизации научно-исследовательских и опытно-конструкторских работ (R&D).
В обновленном наборе задач METR были включены более «размытые» и субъективные задания. В одном из тестов модели должны были разработать новые методы оценки для исследований METR, а затем результаты оценивались сотрудниками. Несмотря на то что современные модели превосходят людей во многих областях, в этой задаче они не смогли создать критерии, которые были бы признаны полезными экспертами.
Другой тест требовал от моделей оценки философских аргументов, что призвано проверить способность AI к качественному суждению. В этом случае модели также не достигли уровня человеческой производительности. Эксперты отмечают, что расширение спектра оценок является необходимым шагом, поскольку, как отмечает Sayash Kapoor, «мы достигли точки, когда оценки AI должны стать более креативными».
Эти выводы согласуются с другими наблюдениями в индустрии. В августе один из препринтов показал, что AI-модели пока не способны самостоятельно воспроизводить исследования в области компьютерных наук. Кроме того, OpenAI ранее сообщала, что ее модели работают хуже на реальных, практических задачах, которые ставят перед ними сотрудники, по сравнению с более простыми и верифицируемыми тестами.
Частые вопросы
- Что такое 'нечеткие задачи' в контексте AI?
- Это задачи, где критерии успеха не определены четко, или результат требует высокого уровня человеческого суждения, например, разработка новой исследовательской гипотезы или оценка философского аргумента.
- Почему важно оценивать AI на субъективных задачах?
- Поскольку автоматизация исследований и разработок (R&D) требует не только технической компетентности, но и способности к креативному мышлению и суждению, эти задачи отражают реальные потребности науки.
Лента для Дзен: /feed/dzen.xml · RSS: /feed.xml