2025년 10월, 연구진은 대부분의 AI 보안 방어 체계가 쉽게 우회될 수 있음을 입증하여 현재 AI 보안 제품의 효과에 대한 심각한 우려를 불러일으켰습니다. OpenAI, Anthropic, Google DeepMind의 연구팀은 "공격자는 두 번째로 움직인다: 더욱 강력한 적응형 공격이 LLM 탈옥 및 프롬프트 주입 방어를 우회한다"라는 제목의 논문을 발표하여, 거의 제로에 가까운 공격 성공률을 주장했던 12개의 AI 방어 체계를 성공적으로 우회한 방법을 상세히 설명했습니다. 이 연구는 배포되고 있는 보안 조치와 잠재적 공격의 정교함 사이의 중요한 격차를 강조합니다.

연구 결과에 따르면 연구팀은 테스트한 대부분의 방어 체계에서 90%가 넘는 우회율을 달성했습니다. 이는 많은 AI 보안 제품이 현실적인 공격자 행동에 대해 적절하게 테스트되지 않고 있음을 시사합니다. 연구팀은 적응형 공격 조건에서 프롬프트 기반, 훈련 기반, 필터링 기반 방어를 평가했으며, 그 결과 모든 방어가 취약하다는 것을 발견했습니다. 예를 들어, 프롬프트 방어는 적응형 공격 하에서 95%에서 99%에 이르는 공격 성공률을 보였습니다. 훈련 기반 방법도 유사하게 저조한 결과를 보였으며, 우회율은 96%에서 100%에 달했습니다.

방어 체계를 엄격하게 테스트하기 위해 연구진은 14명의 저자와 성공적인 공격에 대한 2만 달러의 상금 풀을 포함하는 포괄적인 방법론을 설계했습니다. 이 접근 방식은 실제 적대적 조건을 시뮬레이션하고 효과적인 우회 기술 개발을 장려하는 것을 목표로 했습니다. 연구진이 거의 제로에 가까운 공격 성공률을 주장했음에도 불구하고 일관되게 방어 체계를 극복할 수 있었다는 사실은 문제의 심각성을 강조합니다.

Louis Columbus는 2026년 1월에 기업에 미치는 영향에 대해 강조하면서 많은 AI 보안 제품이 실제 공격자처럼 행동하지 않는 공격자를 상대로 테스트되고 있다고 언급했습니다. 이는 보안 팀의 실사 프로세스와 공급업체 주장의 정확성에 대한 의문을 제기합니다.

이러한 결과는 AI 보안 테스트에 대한 보다 강력하고 적대적인 접근 방식을 요구하는 목소리를 높였습니다. 전문가들은 조직이 공급업체에 적응형 공격 및 레드 팀 훈련을 받았는지 여부를 포함하여 테스트 방법론에 대한 중요한 질문을 할 것을 권장합니다. 또한 이 연구는 공격자가 지속적으로 기술을 발전시키므로 AI 방어 체계에 대한 지속적인 모니터링 및 적응의 필요성을 강조합니다. AI 기술의 빠른 발전은 쉽게 우회될 수 있는 정적 방어에 의존하기보다는 보안에 대한 사전 예방적이고 역동적인 접근 방식을 필요로 합니다.