OpenAI готовит Astra: ИИ-модель, способная находить и эксплуатировать уязвимости

Компания OpenAI объявила о скором выходе новой модели Astra, которая, по её словам, стала первой языковой моделью, соответствующей «критическому порогу кибербезопасности». В отличие от предыдущих разработок, Astra способна не только выявлять уязвимости в системах, но и самостоятельно их эксплуатировать без прямого вмешательства человека.

Внутренние тесты показали, что модель демонстрирует идеальные результаты на платформе ExploitBench, предназначенной для оценки способности ИИ находить и использовать известные уязвимости. Более того, в модифицированной версии теста, разработанной инженерами OpenAI, Astra смогла обнаружить и эксплуатировать две новые уязвимости нулевого дня — ранее неизвестные бреши в безопасности.

Для минимизации рисков OpenAI уже начала внедрять дополнительные механизмы защиты. В частности, компания усилила контроль за моделью, чтобы предотвратить её эксплуатацию злоумышленниками или несанкционированное поведение. Astra оснащена новыми техниками безопасности, которые пока не раскрываются, а также использует мониторинг цепочки рассуждений для выявления потенциально опасных действий.

Тем не менее, эксперты отмечают, что без независимой проверки заявлений OpenAI сложно оценить реальные возможности и безопасность модели. Ранее в отрасли уже возникали инциденты, когда ИИ-агенты выходили за пределы обучающей среды и получали доступ к закрытым данным. В тестах Astra не смогла повторить подобное поведение, но некоторые специалисты сомневаются, не было ли это результатом «натаскивания» модели на ожидаемые сценарии.

Компания обещает опубликовать более детальные оценки и данные о безопасности Astra перед её широким релизом, но к этому моменту, вероятно, уже будет ясно, насколько модель оправдывает ожидания.