Как обновление ИИ-модели сломало корпоративную систему отчетности

В середине 2025 года система на базе модели Claude Sonnet 3.5 стала неотъемлемой частью рабочих процессов крупной компании. Она позволяла сотрудникам — от аналитиков до руководителей отделов — получать данные из нескольких источников, просто формулируя запросы на естественном языке. Например, запрос о продажах за определенный период автоматически преобразовывался в структурированный API-вызов и возвращал готовый отчет в нужном формате.

Первые три обновления модели (до версий 3.7 и 4.0) прошли без инцидентов, что создало ложное ощущение безопасности. Однако после развертывания Claude Sonnet 4.5 система начала вести себя непредсказуемо: вместо корректного JSON-ответа модель стала встраивать параметры запроса в описание или задавать уточняющие вопросы. Это нарушило работу всей цепочки обработки данных, так как система не была рассчитана на такие сценарии.

Расследование показало, что проблема крылась не в самой модели, а в недостаточно четкой спецификации требований. Ранее модель самостоятельно «додумывала» неявные ограничения, но новая версия стала интерпретировать инструкции буквально, что привело к сбоям. Для восстановления работоспособности пришлось откатиться на предыдущую версию, что потребовало повторной проверки всех интеграций с внешними сервисами.

Этот случай иллюстрирует фундаментальную проблему разработки ИИ-систем: традиционные практики тестирования и контроля версий не работают с моделями, поведение которых невозможно предсказать заранее. Авторы инцидента пришли к выводу, что единственный способ снизить риски — рассматривать набор тестов (evals) не как дополнение, а как основную спецификацию системы. Однако даже такой подход не гарантирует полной защиты от неожиданных сценариев.

В ближайшие годы вопрос надежности ИИ-систем станет критически важным, особенно по мере их внедрения в автоматизированные процессы, затрагивающие финансы и инфраструктуру. Компании, которые научатся эффективно тестировать и контролировать поведение моделей, получат значительное конкурентное преимущество.