85% компаний после ошибок ИИ ускоряют отказ от человеческого контроля

Исследование VentureBeat Pulse среди 108 предприятий показало, что компании, столкнувшиеся с ошибками ИИ-систем после успешного прохождения тестов, не снижают темпы автоматизации, а ускоряют их. 85% таких организаций активно внедряют модели развёртывания без участия человека в принятии решений, тогда как среди компаний без подобных инцидентов этот показатель составляет 61%. При этом доверие к автоматизированным проверкам выросло: в июле 13% респондентов полностью доверяли таким системам, против 5% месяцем ранее.

Однако данные вызывают вопросы. Почти половина опрошенных (49%) сталкивались с ситуациями, когда ИИ-агент или функция на базе LLM проходили внутренние тесты, но затем создавали проблемы, заметные клиентам. 24% респондентов отметили, что подобные инциденты происходили неоднократно. При этом компании, уже столкнувшиеся с ошибками, в шесть раз реже полностью доверяют автоматизированным проверкам (4% против 24% среди тех, кто не сталкивался с проблемами).

Рынок инструментов для оценки ИИ-агентов активно развивается. Лидерами по использованию стали встроенные решения OpenAI (18%), DeepEval от Confident AI (17%) и Braintrust (15%). Последний показал наибольший рост — с 8% в июне до 15% в июле. При этом 39% респондентов назвали лёгкость интеграции ключевым фактором при выборе инструмента, опередив стоимость (23%) и точность оценки (28%). Однако мониторинг качества в продакшене остаётся слабым местом: только 26% компаний используют автоматизированные проверки корректности ответов ИИ в реальном времени.

Эксперты отмечают, что компании всё чаще полагаются на обнаружение аномалий и мониторинг проблем после развёртывания, а не на предварительные тесты. Это связано с ростом сложности систем, где перечисление всех возможных сценариев сбоев становится невозможным. При этом инвестиции в ручные проверки остаются важным элементом стратегии: 38% предприятий, столкнувшихся с ошибками, планируют увеличить расходы на процессы с участием человека, несмотря на курс на автоматизацию.