85%企业在AI错误后加速放弃人工控制

简要回答
遭遇生产环境AI错误的企业正在加速自动化部署,同时减少人工参与。
VentureBeat Pulse对108家企业的调研显示,在成功测试后仍遇到AI系统错误的企业正在加速自动化,而非减缓。85%的此类企业积极采用无人工参与的决策部署模式,相比之下,未遇到此类事件的企业这一比例为61%。对自动化检查的信任度上升:7月有13%的受访者完全信任此类系统,高于前一个月的5%。
然而,数据引发质疑。近半受访者(49%)报告了AI代理或基于LLM的功能通过内部测试后仍对客户造成可见问题的情况。24%的受访者指出此类事件反复发生。遭遇错误的企业完全信任自动化检查的比例仅为4%,远低于未遇到问题企业的24%。
AI评估工具市场正快速发展。使用率领先的工具包括OpenAI内置解决方案(18%)、Confident AI的DeepEval(17%)和Braintrust(15%),后者增长最快,从6月的8%增至7月的15%。39%的受访者认为集成便捷性是首要选择因素,超越成本(23%)和准确性(28%)。然而,生产环境监控仍是短板:仅26%的企业使用自动化工具实时检查AI响应准确性。
专家指出,企业越来越依赖异常检测和部署后问题监控,而非部署前测试。这一转变源于系统复杂性提升,枚举所有可能故障场景已不现实。同时,人工检查投资依然重要:38%的遭遇错误的企业计划增加人工流程支出,尽管整体推进自动化。
常见问题
- 为何企业在AI错误后仍加速自动化部署?
- 已将AI集成至关键流程的企业面临更多错误,但也具备自动化基础设施。他们将此视为成熟度提升阶段,而非放缓的理由。
- 企业用哪些工具评估AI代理?
- 主流工具包括OpenAI内置解决方案(18%)、Confident AI的DeepEval(17%)和Braintrust(15%)。39%的受访者认为集成便捷性是首要选择因素,超越成本(23%)和准确性(28%)。
- 放弃AI部署中的人工控制有何风险?
- 缺乏人工审核和实时生产监控将导致未被察觉的错误影响客户。仅26%采用自动化部署的企业会实时验证AI响应准确性。
分享:
Dzen 订阅: /feed/dzen.xml · RSS: /feed.xml