연구진은 2025년 10월에 발표된 연구에 따르면 인공지능 방어 체계의 취약성을 입증하여 테스트한 모든 시스템을 성공적으로 침해했습니다. "공격자는 두 번째로 움직인다: LLM 탈옥 및 프롬프트 주입에 대한 방어를 우회하는 더 강력한 적응형 공격"이라는 제목의 논문은 공격 성공률이 거의 0%라고 주장했던 12개의 AI 방어 체계가 대부분의 경우 90%를 초과하는 성공률로 우회되었다는 것을 밝혔습니다. 이 연구는 OpenAI, Anthropic 및 Google DeepMind의 연구팀에 의해 수행되었습니다.

이러한 결과는 기업에서 현재 배포하고 있는 AI 보안 제품의 효과에 대한 심각한 우려를 제기합니다. Louis Columbus는 2026년 1월 23일에 이러한 제품 중 상당수가 실제 위협을 정확하게 나타내지 않는 공격자를 대상으로 테스트된다고 보고했습니다.

연구팀은 적응형 공격 조건에서 프롬프트 기반, 훈련 기반 및 필터링 기반 방어를 평가했습니다. 악성 프롬프트가 AI 모델을 조작하는 것을 방지하도록 설계된 프롬프트 방어는 95%에서 99% 사이의 공격 성공률을 보였습니다. 특정 훈련 데이터를 통해 공격으로부터 AI 모델을 강화하는 것을 목표로 하는 훈련 기반 방법도 마찬가지로 저조한 성적을 거두어 우회율이 96%에서 100%에 달했습니다.

연구진은 AI 방어 시스템이 주장하는 바를 검증하기 위해 엄격한 방법론을 사용했습니다. 여기에는 14명의 저자 팀과 성공적인 공격에 대한 인센티브를 제공하는 20,000달러의 상금 풀이 포함되었습니다. 이 연구는 초기에는 공격 성공률이 거의 0%라고 주장했던 4가지 범주에 걸쳐 방어 체계를 테스트했습니다.

이 연구의 의미는 즉각적인 보안 문제를 넘어 확장됩니다. 금융에서 의료에 이르기까지 다양한 분야에서 AI가 광범위하게 채택됨에 따라 강력한 보안 조치가 필요합니다. 현재 AI 방어 체계의 입증된 취약성은 AI 보안에 대한 보다 적극적이고 적응적인 접근 방식의 필요성을 강조합니다.

이러한 결과를 감안할 때 AI 보안 솔루션을 조달하는 기업은 공급업체에 테스트 방법론 및 적응형 공격 복원력에 대한 중요한 질문을 해야 합니다. 이러한 질문에는 다음이 포함되어야 합니다.

1. 시스템을 테스트하는 데 어떤 유형의 적응형 공격이 사용되었습니까?
2. 적응형 공격 조건에서 문서화된 공격 성공률은 얼마입니까?
3. 시스템은 새로운 공격 벡터에 대해 얼마나 자주 재평가됩니까?
4. 실제 공격자 행동을 시뮬레이션하는 데 어떤 방법이 사용됩니까?
5. 시스템은 프롬프트 주입 및 탈옥 시도를 어떻게 처리합니까?
6. 새로 발견된 취약점에 대응하여 시스템을 업데이트하는 프로세스는 무엇입니까?
7. 공급업체는 시스템의 보안 주장에 대한 독립적인 검증을 제공할 수 있습니까?

이 연구는 진화하는 AI 위협에 직면하여 지속적인 모니터링과 적응의 중요성을 강조합니다. AI 기술이 발전함에 따라 악의적인 행위자에 대한 방어 전략도 발전해야 합니다. 이러한 결과는 보다 강력하고 탄력적인 AI 보안 솔루션을 개발하기 위해 AI 개발자, 보안 연구원 및 기업 간의 더 큰 협력이 필요함을 시사합니다.