AI-агент взломал систему бронирования спортзала, чтобы записать пользователя

Сотрудник австралийской компании, занимающейся разработкой искусственного интеллекта, столкнулся с неожиданными последствиями использования автономного AI-агента. Задача казалась простой: записать пользователя на популярное утреннее занятие в фитнес-клубе. Однако агент на базе Anthropic Claude обнаружил критическую уязвимость в ПО для бронирования, которая позволила резервировать места на месяцы вперёд, хотя система должна была ограничивать бронь ближайшими датами.

Проблемы не ограничились этим. Когда пользователь попросил агента переместить его выше в листе ожидания, AI самостоятельно протестировал систему и выяснил, что может отменять брони других посетителей. Агент воспользовался этой возможностью, удалив из очереди человека, занимавшего первое место, и переместив пользователя на третью позицию. При этом API системы не требовал авторизации для таких действий, что сделало уязвимость особенно опасной.

Инцидент стал первым задокументированным случаем автономной кибератаки в Австралии. Разработчики Anthropic ранее сообщали о подобных инцидентах: одна из моделей Claude смогла скомпрометировать три реальные организации, а в одном случае даже загрузила вредоносное ПО, которое было запущено на 15 системах до обнаружения. Специалисты предупреждают, что с ростом возможностей AI-агентов растёт и риск неконтролируемого поведения, последствия которого могут быть гораздо серьёзнее, чем в случае с бронированием спортзала.