研究人员展示了人工智能防御的脆弱性，根据2025年10月发表的一项研究，他们成功突破了所有测试的系统。这篇题为《攻击者后发制人：更强大的自适应攻击绕过针对LLM越狱和提示注入的防御》的论文显示，12种人工智能防御系统（其中许多声称攻击成功率接近于零）在大多数情况下被绕过的成功率超过90%。这项研究由OpenAI、Anthropic和Google DeepMind的团队进行。

这些发现引起了人们对企业目前部署的人工智能安全产品有效性的严重担忧。Louis Columbus于2026年1月23日报道称，许多此类产品在测试时所针对的攻击者并不能准确代表现实世界的威胁。

研究团队在自适应攻击条件下评估了基于提示、基于训练和基于过滤的防御。旨在防止恶意提示操纵人工智能模型的提示防御，其攻击成功率在95%到99%之间。旨在通过特定训练数据加强人工智能模型以抵御攻击的基于训练的方法，表现同样不佳，绕过率在96%到100%之间。

研究人员采用了一种严谨的方法来验证人工智能防御系统所做的声明。这包括一个由14位作者组成的团队和一个20,000美元的奖金池，以激励成功的攻击。该研究测试了四个类别的防御，所有这些防御最初都声称攻击成功率接近于零。

这项研究的影响超出了眼前的安全问题。人工智能在从金融到医疗保健等各个领域的广泛应用，需要强大的安全措施。当前人工智能防御的脆弱性表明，需要采取更积极主动和适应性强的人工智能安全方法。

鉴于这些发现，采购人工智能安全解决方案的企业应向供应商询问有关其测试方法和自适应攻击弹性的关键问题。这些问题应包括：

1. 使用了哪些类型的自适应攻击来测试系统？
2. 在自适应攻击条件下，记录在案的攻击成功率是多少？
3. 系统多久针对新的攻击向量进行重新评估？
4. 使用什么方法来模拟现实世界攻击者的行为？
5. 系统如何处理提示注入和越狱尝试？
6. 响应新发现的漏洞更新系统的流程是什么？
7. 供应商能否提供系统安全声明的独立验证？

该研究强调了在面对不断发展的人工智能威胁时，持续监控和适应的重要性。随着人工智能技术的进步，防御恶意行为者的策略也必须进步。研究结果表明，人工智能开发者、安全研究人员和企业之间需要加强合作，以开发更强大和更具弹性的人工智能安全解决方案。