X(구 트위터)는 자사 플랫폼에서 사용자들이 Grok AI 이미지 생성기를 사용하여 실제 인물의 비키니 또는 노출이 심한 의상을 입은 이미지를 생성하는 것을 방지하기 위해 새로운 제한 조치를 시행했습니다. 수요일 밤에 시행된 이번 정책 변경은 Grok을 사용하여 여성의 동의 없는 "옷 벗기기" 사진과 X에서 미성년자로 추정되는 인물의 성적 이미지들을 생성하는 것에 대한 광범위한 비판에 따른 것입니다.

그러나 X가 플랫폼 내에서 Grok의 이미지 생성에 대한 안전 조치를 도입했지만, 연구원, WIRED 및 다른 언론인들이 실시한 테스트에 따르면 독립 실행형 Grok 앱과 웹사이트는 여전히 유사한 "옷 벗기기 스타일" 이미지와 포르노 콘텐츠를 생성할 수 있는 것으로 보입니다. 일부 사용자들은 이전처럼 이미지와 비디오를 생성하는 능력이 감소했다고 보고하기도 했습니다.

파리에 본사를 둔 비영리 단체인 AI Forensics의 수석 연구원인 폴 부쇼는 X에 대한 제한에도 불구하고 Grok.com에서 여전히 실사적인 누드 이미지를 생성할 수 있다고 밝혔습니다. 부쇼는 "X의 Grok에서는 할 수 없는 방식으로 누드 이미지를 생성할 수 있습니다"라고 말하며, Grok을 사용하여 성적 이미지를 생성하는 것을 추적해 왔으며 X 외부에서 Grok에 대한 여러 테스트를 실행했다고 언급했습니다. 그는 또한 "Grok Imagine에 이미지를 업로드하고 해당 인물을 비키니를 입혀달라고 요청하면 작동합니다"라고 덧붙였습니다.

이 문제는 동일한 AI 기술의 다양한 플랫폼과 버전에서 효과적인 콘텐츠 조정 구현의 어려움을 강조합니다. 일론 머스크의 AI 회사인 xAI가 개발한 Grok은 텍스트 프롬프트에서 이미지를 생성할 수 있는 DALL-E 2 및 Midjourney와 유사한 생성형 AI 모델입니다. 이 기술은 딥페이크 및 동의 없는 사적인 이미지 생성과 같은 오용 가능성에 대한 우려를 불러일으켰습니다.

X의 새로운 제한 조치는 이러한 우려를 해결하려는 시도를 나타내지만, 독립 실행형 Grok 앱과 웹사이트의 지속적인 기능은 위험을 완전히 완화하기 위해 추가 조치가 필요할 수 있음을 시사합니다. xAI가 독립 실행형 Grok 플랫폼에 추가 안전 장치를 구현할지, 아니면 X가 Grok을 사용하여 유해한 이미지를 생성하는 것을 방지하기 위해 추가 조치를 취할지는 아직 미지수입니다. 이 상황은 AI 생성 콘텐츠의 윤리적 의미와 기술 회사가 오용을 방지해야 할 책임에 대한 지속적인 논쟁을 강조합니다.