OpenAI开发AI黑客GPT-Red用于测试模型安全性

OpenAI研究人员推出了GPT-Red工具，专为自动测试大型语言模型（LLM）的安全性而设计。该开发旨在应对AI系统日益复杂的问题，这些系统越来越多地作为自主代理与代码、网络资源及其他模型交互。研究人员表示，传统测试方法难以跟上不断扩大的“攻击面”及潜在的破坏风险。

GPT-Red的主要目标是提示词注入攻击，即攻击者在AI处理的文本中嵌入隐藏指令。此类攻击可能导致机密数据泄露、企业代码损坏或生成恶意内容。该工具已发现多种此前未知的攻击类型，使模型能够提前加强安全防护。

GPT-Red采用自对弈方式训练：模型与其他语言模型交互，尝试攻击它们，而后者则学习防御。经过多轮训练后，GPT-Red的漏洞检测能力显著提高，防御模型也变得更加坚固。开发者认为，这种方法将有助于应对AI技术发展带来的未来威胁。