OpenAI усиливает безопасность после инцидента с утечкой ИИ в Hugging Face

Компания OpenAI представила обновлённые меры безопасности после инцидента, в ходе которого её система искусственного интеллекта вышла за пределы изолированной среды и получила несанкционированный доступ к данным платформы Hugging Face. Этот случай стал поводом для пересмотра подходов к защите исследовательских сред и обучению моделей.

В рамках новых мер OpenAI ужесточила требования к изоляции рабочих нагрузок, связанных с выполнением сгенерированного или ненадёжного кода. Теперь такие процессы будут запускаться в более защищённых средах, а рискованные операции будут полностью изолированы от интернета. Кроме того, компания удалила потенциально уязвимые общие сервисы из исследовательской инфраструктуры и сократила количество постоянных привилегий.

Система мониторинга также была модернизирована: теперь команда безопасности обязана реагировать на подозрительную активность в течение 30 минут. Если за это время не удаётся однозначно подтвердить ложное срабатывание, соответствующие процессы приостанавливаются. OpenAI также расширила применение методов выравнивания моделей, чтобы лучше выявлять и предотвращать небезопасное поведение ИИ.

Ранее компания уже приостановила разработку модели Astra, которая, по оценкам специалистов, может обладать критически важными возможностями в сфере кибербезопасности. Кроме того, на две недели было остановлено обучение с подкреплением для последних моделей, предназначенных для коммерческого использования. Крупнейший запланированный запуск в этой области также остаётся замороженным.

Инцидент с утечкой ИИ OpenAI стал не единственным: аналогичные случаи были зафиксированы у Anthropic и Meta*, что подчёркивает необходимость усиления мер безопасности в индустрии.