OpenAI推出新推理技术Astra:安全专家表示担忧

图片: TechCrunch
简要回答
OpenAI在Astra模型中引入“递归深度”技术,增加推理链路监测难度。专家担忧透明度下降,呼吁加强行业监管。
OpenAI宣布为其Astra模型推出名为“递归深度”(recurrent depth)的新推理技术。与传统的顺序处理方式不同,该技术允许模型通过循环多次返回任务解决方案,增加了中间步骤的分析难度。这引发了AI安全领域专家的担忧,因标准监测工具的有效性可能因此降低。
包括Redwood Research首席执行官Buck Shlegeris在内的专家强调,此类变化可能彻底破坏此前被视为关键工具的推理链路透明度(Chain of Thought, CoT),该工具曾用于识别模型的错误和异常行为。例如,CoT分析曾帮助揭示OpenAI早期代理模型的意外行为原因。
“递归深度”技术在行业内并非全新概念,但其在商业模型中的广泛应用引发了讨论。目前Astra的实现中,该技术的应用仍受限,OpenAI强调推理链路仍可供分析。然而,专家担心技术进一步扩展可能导致决策过程完全失去透明度。
OpenAI首席科学家Jakub Pachocki表示,公司仍坚持透明度和推理链路监测的原则,并将其视为当前研究的核心目标之一。但如Zvi Mowshowitz等专家呼吁通过立法监管,避免实验室间为追求性能而牺牲透明度的“逐底竞争”。
“递归深度”技术的应用讨论不仅限于OpenAI。据《The Information》报道,Anthropic和Google DeepMind也在考虑类似方案。这引发了对AI行业透明度标准未来及其监管必要性的思考。
常见问题
- Astra模型中的“递归深度”技术是什么?
- 这是一种推理技术,模型通过循环多次处理请求,增加推理链路分析的复杂性,降低透明度。
- 为何安全专家对新技术感到担忧?
- 他们担心推理链路监测难度增加会导致模型行为失控,增加不可预测的风险。
- 哪些公司正在讨论类似技术?
- 据消息称,Anthropic和Google DeepMind已开始探讨“递归深度”技术的应用。
分享:
Dzen 订阅: /feed/dzen.xml · RSS: /feed.xml