Почему традиционные метрики оценки ИИ-агентов недостаточны?

Традиционные метрики, такие как EVAL, дают статичную оценку производительности, но не учитывают предсказуемость в разных сценариях и средах. Это ограничивает их применимость для оценки реальной надёжности ИИ-агентов в бизнес-задачах.

Какие основные опасения у бизнеса по поводу ИИ-агентов?

Согласно исследованию VentureBeat, 40% руководителей IT опасаются несанкционированного доступа к данным, а 27% — манипуляций с промптами или инъекций. Только 4% готовы полагаться исключительно на встроенные защитные механизмы моделей.

← Все новости

Искусственный интеллект

Amazon представит фреймворк для создания надёжных ИИ-агентов на VB Transform 2026

24 июня 2026 г.

Фото: images.ctfassets.net

Краткий ответ

Amazon разработал фреймворк для оценки надёжности ИИ-агентов, фокусируясь на предсказуемости, безопасности и устойчивости.

На конференции VB Transform 2026, которая пройдёт 14–15 июля в Менло-Парке, Amazon представит свой фреймворк для разработки надёжных ИИ-агентов. Компания предлагает новый подход к оценке их эффективности, выходящий за рамки традиционных метрик, таких как EVAL. По словам Брайана Силверторна, директора исследовательской лаборатории AGI Autonomy в Amazon, существующие стандарты не всегда отражают реальную надёжность ИИ в динамичных бизнес-сценариях.

Фреймворк Amazon фокусируется на четырёх ключевых аспектах: стабильности, устойчивости, предсказуемости и безопасности. Вместо того чтобы полагаться на встроенные защитные механизмы моделей, компания использует изолированные среды (sandbox), где ИИ-агенты предлагают изменения, которые проверяются человеком перед внедрением. Такой подход особенно важен для чувствительных областей, таких как финансы, где ошибки могут иметь серьёзные последствия.

Исследование VentureBeat среди более чем 100 руководителей IT показало, что только 4% из них готовы полностью доверять встроенным защитным механизмам ИИ-моделей. Основные опасения связаны с несанкционированным доступом к данным (40%) и манипуляциями с промптами (27%). На конференции также выступит представитель Waymo с докладом о применении ИИ в физическом мире, что подчёркивает растущий интерес к безопасным и масштабируемым решениям на базе искусственного интеллекта.

Частые вопросы

Почему традиционные метрики оценки ИИ-агентов недостаточны?: Традиционные метрики, такие как EVAL, дают статичную оценку производительности, но не учитывают предсказуемость в разных сценариях и средах. Это ограничивает их применимость для оценки реальной надёжности ИИ-агентов в бизнес-задачах.
Как Amazon предлагает повысить доверие к ИИ-агентам?: Amazon использует подход с изолированными средами (sandbox), где ИИ-агенты предлагают изменения, которые проверяются человеком перед внедрением. Это снижает риски несанкционированного доступа и манипуляций с данными.
Какие основные опасения у бизнеса по поводу ИИ-агентов?: Согласно исследованию VentureBeat, 40% руководителей IT опасаются несанкционированного доступа к данным, а 27% — манипуляций с промптами или инъекций. Только 4% готовы полагаться исключительно на встроенные защитные механизмы моделей.

Лента для Дзен: /feed/dzen.xml · RSS: /feed.xml