Anthropic 发现浏览器代理在 31.5% 的情况下存在漏洞

图片: VentureBeat
简要回答
Компания Anthropic опубликовала данные о безопасности своих моделей искусственного интеллекта, выявив уязвимость браузерных агентов к атакам prompt injection. В ходе тестирования профессиональные «красные команды» смогли обойти защитные механизмы в 31,5% случаев, прежде чем сработали встроенные меры безопасности. Этот показатель значительно превышает данные конкурентов, таких как OpenAI, Google и Meta*, которые не раскрывают сопоставимые метрики или используют другие подходы к оценке уязвимостей.
Anthropic 公布了其模型对提示注入攻击的抵御能力测试结果。提示注入攻击是一种通过在 AI 代理处理的数据中植入恶意指令的方法。研究发现,浏览器代理(如 Chrome 中的 Claude 和 Claude Cowork)在防护机制激活前存在 31.5% 的漏洞率,这一比例在主要 AI 开发商中居于最高水平。
与竞争对手不同,Anthropic 在四个不同的场景中进行了全面测试:浏览器、代码、工具和计算机使用。例如,在编程环境中,漏洞率为 7.03%,但在启用防护措施后降至 2.09%。OpenAI、谷歌和 Meta 要么未公开此类数据,要么采用不同的评估方法,导致直接比较变得困难。
专家指出,缺乏统一的漏洞评估标准增加了企业部署 AI 解决方案的复杂性。Reputation 公司 AI 副总裁 Carter Rees 强调,提示注入颠覆了传统的安全认知:即使是“无害”的短语如“忽略之前的指令”,也可能造成严重损害,且不留下常规的检测痕迹。
为降低风险,专家建议企业在部署 AI 代理前进行自主测试,因为供应商的测试结果可能无法涵盖特定工作环境的特殊性。此外,企业应要求供应商提供每个使用场景的透明漏洞数据。
* Facebook、Instagram、WhatsApp 及其他 Meta 服务隶属于 Meta Platforms Inc.,其活动在俄罗斯联邦被认定为极端主义并被禁止。
常见问题
- 常见问题
- Компания Anthropic опубликовала данные о безопасности своих моделей искусственного интеллекта, выявив уязвимость браузерных агентов к атакам prompt injection. В ходе тестирования профессиональные «красные команды» смогли обойти защитные механизмы в 31,5% случаев, прежде чем сработали встроенные меры безопасности. Этот показатель значительно превышает данные конкурентов, таких как OpenAI, Google и Meta*, которые не раскрывают сопоставимые метрики или используют другие подходы к оценке уязвимостей.
Dzen 订阅: /feed/dzen.xml · RSS: /feed.xml