인도네시아 당국은 토요일 xAI의 챗봇 Grok에 대한 접근을 일시적으로 차단했다고 발표하며, 비동의 성적 딥페이크 생성에 대한 우려를 표명했습니다. 이번 조치는 AI 생성 이미지 확산에 대응하여 취해진 가장 단호한 정부 조치 중 하나로, 소셜 네트워크 X에서 Grok을 통해 사용자들이 실제 여성과 미성년자를 성적으로 노골적이고 학대적인 시나리오로 묘사한 이미지를 생성할 수 있었습니다. X와 xAI는 모두 동일한 소유주입니다.

인도네시아 통신정보기술부 장관인 므우티아 하피드는 가디언 및 기타 언론에 공유된 성명에서 "정부는 비동의 성적 딥페이크 관행을 디지털 공간에서 인권, 존엄성 및 시민의 안전에 대한 심각한 침해로 간주합니다"라고 밝혔습니다. 또한 통신정보기술부는 X 관계자를 소환하여 이 문제를 논의한 것으로 알려졌습니다.

이 맥락에서 딥페이크는 일반적으로 이미지나 비디오와 같이 개인이 실제로 하지 않은 일이나 말하지 않은 것을 설득력 있게 묘사하는 AI 생성 미디어를 의미합니다. xAI의 챗봇인 Grok은 대규모 언어 모델(LLM)을 활용하여 사용자의 프롬프트를 기반으로 텍스트를 생성하고 경우에 따라 이미지를 생성합니다. 문제는 이러한 LLM이 묘사된 개인의 동의 없이 현실적이지만 조작된 성적 콘텐츠를 만드는 데 사용될 때 발생합니다.

이번 사건은 AI 생성 콘텐츠 규제와 강력한 생성 AI 도구의 오용 가능성이 커지고 있음을 강조합니다. 업계에 미치는 영향은 상당할 수 있으며, 잠재적으로 더 엄격한 규제와 AI 기업의 콘텐츠 조정 정책에 대한 감시 강화로 이어질 수 있습니다.

다른 정부 기관들도 조치를 취했습니다. 인도 IT부는 xAI에 Grok이 외설적인 콘텐츠를 생성하지 못하도록 명령했습니다. 유럽연합 집행위원회는 Grok과 관련된 모든 문서를 보관하도록 회사에 요청하여 공식 조사 준비 단계를 설정할 가능성이 있습니다. 영국에서는 통신 규제 기관인 Ofcom이 이 문제에 대해 논평했습니다.

인도네시아에서 Grok 차단은 일시적이며, 인도네시아 당국과 X 담당자 간의 추가 논의가 진행 중입니다. 이러한 논의 결과는 인도네시아에서 Grok의 향후 가용성에 영향을 미칠 가능성이 높으며, 다른 국가들이 AI 생성 딥페이크 문제를 해결하는 방법에 대한 선례를 세울 수 있습니다.