Корпоративный ИИ сталкивается с кризисом доверия к автономным агентам

Корпоративные команды всё чаще внедряют ИИ-агенты с высокой степенью автономии, но доверие к автоматизированным системам их оценки стремительно падает. Согласно опросу VentureBeat, половина предприятий сталкивалась со сбоями в работе агентов, которые успешно прошли внутренние тесты. При этом 25% компаний допускали такие ошибки неоднократно, что приводило к проблемам в работе с клиентами.

Основная проблема заключается в том, что традиционные методы тестирования не учитывают особенности работы ИИ-агентов. В отличие от классического ПО, агенты могут самостоятельно выбирать последовательность действий, использовать инструменты и изменять данные. Это приводит к ситуациям, когда агент выполняет несколько корректных шагов, но в итоге достигает неверного результата — например, обновляет не ту запись в базе данных или отправляет запрос без необходимого подтверждения.

Эксперты отмечают, что компании продолжают наращивать автономию агентов, несмотря на низкий уровень доверия к автоматизированным системам оценки. Только 5% респондентов полностью доверяют таким решениям. При этом 66% уже разрешают или планируют внедрять ИИ-агенты без предварительной проверки человеком. Это создаёт так называемый «разрыв в оценке»: технологии развиваются быстрее, чем системы контроля за их работой.

Для снижения рисков специалисты рекомендуют внедрять многоуровневое тестирование, включая повторяющиеся сценарии с вариациями контекста и проверку устойчивости к сбоям инструментов. Также важно ограничивать автономию агентов в зависимости от уровня риска: например, для финансовых операций или изменений в доступе к данным требуются более строгие проверки и механизмы отката.

Крупные предприятия, где работает более 2500 сотрудников, чаще других внедряют автономные агенты без контроля, но при этом сталкиваются с большим количеством сбоев. Это подчёркивает необходимость сбалансированного подхода: экономическая выгода от автоматизации не должна перевешивать риски для стабильности бизнес-процессов.