2025年10月に発表された研究によると、研究者たちは人工知能防御の脆弱性を実証し、テストしたすべてのシステムを突破することに成功しました。論文「攻撃者は二番目に動く：より強力な適応攻撃がLLMの脱獄とプロンプトインジェクションに対する防御をバイパスする」では、攻撃成功率がほぼゼロであると主張していた12のAI防御の多くが、ほとんどの場合90％を超える成功率でバイパスされたことが明らかにされました。この研究は、OpenAI、Anthropic、Google DeepMindのチームによって実施されました。

この調査結果は、企業が現在導入しているAIセキュリティ製品の有効性について深刻な懸念を引き起こしています。Louis Columbusは2026年1月23日に、これらの製品の多くが、現実世界の脅威を正確に表していない攻撃者に対してテストされていると報告しました。

研究チームは、プロンプトベース、トレーニングベース、およびフィルタリングベースの防御を、適応攻撃条件下で評価しました。悪意のあるプロンプトがAIモデルを操作するのを防ぐように設計されたプロンプト防御は、95％から99％の間の攻撃成功率を経験しました。特定のトレーニングデータを通じてAIモデルを攻撃から強化することを目的としたトレーニングベースの方法も同様に不調で、バイパス率は96％から100％の範囲でした。

研究者たちは、AI防御システムによってなされた主張を検証するために厳格な方法論を採用しました。これには、14人の著者からなるチームと、攻撃の成功を奨励する20,000ドルの賞金プールが含まれていました。この研究では、当初は攻撃成功率がほぼゼロであると主張していた4つのカテゴリーにわたって防御をテストしました。

この研究の意義は、差し迫ったセキュリティ上の懸念を超えて広がっています。金融から医療まで、さまざまな分野でのAIの広範な採用には、堅牢なセキュリティ対策が必要です。現在のAI防御の脆弱性が実証されたことは、AIセキュリティに対するより積極的かつ適応的なアプローチの必要性を強調しています。

これらの調査結果を踏まえ、AIセキュリティソリューションを調達する企業は、ベンダーにテスト方法論と適応攻撃に対する耐性について重要な質問をする必要があります。これらの質問には、以下が含まれる必要があります。

1. システムのテストには、どのような種類の適応攻撃が使用されていますか？
2. 適応攻撃条件下での文書化された攻撃成功率はどのくらいですか？
3. システムは、新しい攻撃ベクトルに対してどのくらいの頻度で再評価されますか？
4. 現実世界の攻撃者の行動をシミュレートするために、どのような方法が使用されていますか？
5. システムは、プロンプトインジェクションと脱獄の試みをどのように処理しますか？
6. 新たに発見された脆弱性に対応してシステムを更新するプロセスは何ですか？
7. ベンダーは、システムのセキュリティに関する主張の独立した検証を提供できますか？

この研究は、進化するAIの脅威に直面して、継続的な監視と適応の重要性を強調しています。AI技術が進歩するにつれて、悪意のある行為者から防御するための戦略も進歩する必要があります。この調査結果は、より堅牢で回復力のあるAIセキュリティソリューションを開発するために、AI開発者、セキュリティ研究者、および企業間のより大きな連携の必要性を示唆しています。