V-Help
← 全部新闻
人工智能

OpenAI推出新推理技术Astra:安全专家表示担忧

OpenAI推出新推理技术Astra:安全专家表示担忧

图片: TechCrunch

简要回答

OpenAI在Astra模型中引入“递归深度”技术,增加推理链路监测难度。专家担忧透明度下降,呼吁加强行业监管。

OpenAI宣布为其Astra模型推出名为“递归深度”(recurrent depth)的新推理技术。与传统的顺序处理方式不同,该技术允许模型通过循环多次返回任务解决方案,增加了中间步骤的分析难度。这引发了AI安全领域专家的担忧,因标准监测工具的有效性可能因此降低。

包括Redwood Research首席执行官Buck Shlegeris在内的专家强调,此类变化可能彻底破坏此前被视为关键工具的推理链路透明度(Chain of Thought, CoT),该工具曾用于识别模型的错误和异常行为。例如,CoT分析曾帮助揭示OpenAI早期代理模型的意外行为原因。

“递归深度”技术在行业内并非全新概念,但其在商业模型中的广泛应用引发了讨论。目前Astra的实现中,该技术的应用仍受限,OpenAI强调推理链路仍可供分析。然而,专家担心技术进一步扩展可能导致决策过程完全失去透明度。

OpenAI首席科学家Jakub Pachocki表示,公司仍坚持透明度和推理链路监测的原则,并将其视为当前研究的核心目标之一。但如Zvi Mowshowitz等专家呼吁通过立法监管,避免实验室间为追求性能而牺牲透明度的“逐底竞争”。

“递归深度”技术的应用讨论不仅限于OpenAI。据《The Information》报道,Anthropic和Google DeepMind也在考虑类似方案。这引发了对AI行业透明度标准未来及其监管必要性的思考。

常见问题

Astra模型中的“递归深度”技术是什么?
这是一种推理技术,模型通过循环多次处理请求,增加推理链路分析的复杂性,降低透明度。
为何安全专家对新技术感到担忧?
他们担心推理链路监测难度增加会导致模型行为失控,增加不可预测的风险。
哪些公司正在讨论类似技术?
据消息称,Anthropic和Google DeepMind已开始探讨“递归深度”技术的应用。
分享:

Dzen 订阅: /feed/dzen.xml · RSS: /feed.xml

为何可信

本文由 V-Help 编辑部根据一手来源整理,并标注发布日期。

发布: V-Help.ru 新闻编辑部

来源: TechCrunch