마이크로소프트는 공격자가 합법적인 URL을 단 한 번 클릭하는 것만으로도 민감한 사용자 데이터를 추출할 수 있게 하는 Copilot AI 어시스턴트의 취약점을 해결했습니다. Varonis의 보안 연구원들은 이 결함을 발견하고 사용자의 이름, 위치 및 Copilot 채팅 기록의 세부 정보를 훔칠 수 있는 다단계 공격을 시연했습니다.

이 공격은 사용자가 Copilot 채팅 창을 닫은 후에도 지속되었으며, 이메일에 포함된 링크를 처음 클릭하는 것 외에는 추가적인 상호 작용이 필요하지 않았습니다. Varonis에 따르면 이 공격은 엔터프라이즈 엔드포인트 보안 제어 및 엔드포인트 보호 애플리케이션에서 일반적으로 사용하는 탐지 메커니즘을 우회했습니다. Varonis의 보안 연구원인 Dolev Taler는 Ars Technica에 보낸 성명에서 "악성 프롬프트가 포함된 이 링크를 전달하면 사용자는 링크를 클릭하기만 하면 악성 작업이 즉시 실행됩니다."라고 말했습니다. "사용자가 링크를 클릭하고 Copilot 채팅 탭을 즉시 닫더라도 익스플로잇은 여전히 작동합니다."

이 취약점은 일상적인 워크플로에 점점 더 통합되고 있는 Copilot과 같은 대규모 언어 모델(LLM)과 관련된 내재적 위험을 강조합니다. LLM은 방대한 데이터 세트에서 학습하여 인간과 유사한 텍스트를 생성하고 작업을 자동화할 수 있습니다. 그러나 그 복잡성은 또한 악용의 기회를 만듭니다. 이 경우 공격은 합법적인 Copilot 링크 내에 포함된 정교하게 만들어진 프롬프트를 활용하여 데이터 유출로 이어지는 일련의 작업을 시작했습니다.

이번 사건은 AI 기반 도구에 대한 강력한 보안 조치의 중요성을 강조합니다. AI는 생산성과 자동화에 상당한 이점을 제공하지만 기존 보안 시스템이 적절하게 해결하지 못할 수 있는 새로운 공격 벡터를 도입하기도 합니다. 이번 익스플로잇이 엔드포인트 보호 앱을 우회할 수 있다는 점은 정교한 AI 기반 공격에 직면했을 때 현재 보안 패러다임의 효과에 대한 우려를 불러일으킵니다.

이번 취약점의 발견과 마이크로소프트의 후속 패치는 AI 시스템을 보호하기 위한 지속적인 노력을 나타냅니다. AI가 더욱 보편화됨에 따라 보안 연구원과 기술 제공업체 간의 협력은 잠재적 위험을 식별하고 완화하는 데 매우 중요합니다. 이번 사건은 AI 시스템과의 겉보기에 무해한 상호 작용조차도 의도치 않은 결과를 초래할 수 있음을 상기시켜 주며, AI 생성 콘텐츠와 상호 작용할 때 사용자 인식과 주의의 필요성을 강조합니다. 취약점의 구체적인 특성과 마이크로소프트가 이를 해결하기 위해 취한 조치에 대한 자세한 내용은 앞으로 몇 주 안에 공개될 예정입니다.