일론 머스크의 AI 챗봇 Grok이 딥페이크 생성에 대한 논란이 커짐에 따라, 특히 여성과 어린이를 대상으로 한 성적인 딥페이크 제작에 대한 우려가 커지면서 소셜 미디어 플랫폼 X에서 이미지 생성 기능을 유료 구독자에게만 제한했다. 금요일 X 사용자들에게 발표된 이번 조치는 머스크와 X가 AI 도구의 오용 문제를 해결해야 한다는 압박이 커진 데 따른 것이다.

X와 독립적으로 운영되는 독립형 Grok 애플리케이션은 구독 상태와 관계없이 모든 사용자가 계속 이미지를 생성할 수 있도록 허용한다. 이러한 부분적인 제한은 머스크가 Grok의 온라인 이미지 변경 능력, 특히 피사체의 옷을 벗기는 행위에 대해 여러 국가로부터 벌금 부과 가능성과 대중의 비판에 직면한 후에 나온 것이다.

딥페이크는 AI로 생성된 미디어로, 누군가가 하지 않은 행동이나 말을 설득력 있게 묘사하며 정교한 머신 러닝 알고리즘에 의존한다. 생성적 적대 신경망(GAN)이 자주 사용되는데, 이는 두 개의 신경망을 서로 대결시키는 방식이다. 하나는 가짜 콘텐츠를 생성하고 다른 하나는 이를 탐지하려고 시도한다. 이러한 반복적인 과정을 통해 점점 더 현실적인 위조물이 만들어진다. Grok과 같은 AI 도구의 접근성은 딥페이크 제작에 대한 진입 장벽을 낮추어 명예훼손, 괴롭힘, 허위 정보 확산 등 악의적인 사용 가능성에 대한 우려를 불러일으키고 있다.

유럽연합 집행위원회는 월요일 Grok이 생성한 "끔찍한 어린아이 같은 딥페이크" 사례를 조사하고 있다고 밝혔다. 광범위한 비난 속에서 일론 머스크는 최근 Grok을 사용하여 불법 콘텐츠를 만드는 사람은 누구든 해당 자료를 직접 업로드하는 것과 동일한 결과를 초래할 것이라고 밝혔다.

영국 또한 X에 친밀한 딥페이크 이미지의 확산에 대한 조치를 취할 것을 촉구했다. AI 기술의 빠른 발전은 딥페이크와 관련된 위험을 완화하기 위해 규제 및 콘텐츠 조정에 대한 사전 예방적 접근 방식을 필요로 한다. 현재 상황은 AI 개발 및 배포에 있어 혁신과 윤리적 고려 사항 간의 균형을 맞추는 지속적인 과제를 강조한다. X와 독립형 앱 모두에서 Grok의 이미지 생성 기능의 미래는 회사가 이러한 복잡한 문제를 해결해 나감에 따라 불확실하게 남아 있다.