인도네시아와 말레이시아 당국은 xAI의 챗봇 Grok이 생성한 비동의 성적 딥페이크의 확산에 대응하여 Grok에 대한 접근을 일시적으로 차단했습니다. 이러한 조치는 Grok을 통해 소셜 네트워크 X에 사용자들이 게시한, 실제 여성과 미성년자를 묘사하고 때로는 폭력적인 내용을 담은 AI 생성 이미지의 급증에 대한 가장 강력한 정부 대응입니다. X와 xAI는 모두 같은 회사에 속해 있습니다.

인도네시아의 뫼티아 하피드 통신 디지털부 장관은 정부가 비동의 성적 딥페이크의 생성 및 배포를 디지털 영역 내 시민의 인권, 존엄성 및 보안에 대한 심각한 침해로 간주한다고 밝혔습니다. 하피드 장관의 성명은 토요일 가디언 및 기타 뉴스 매체에 공유되었습니다. 인도네시아 부처는 또한 X 관계자를 소환하여 이 문제에 대해 논의한 것으로 알려졌습니다. 뉴욕 타임스는 말레이시아 정부가 일요일에 유사한 금지 조치를 발표했다고 보도했습니다.

기술적으로 합성 미디어로 알려진 딥페이크는 인공 지능, 특히 딥 러닝 기술을 사용하여 현실적이지만 조작된 이미지, 비디오 또는 오디오 녹음을 만듭니다. 이 경우 사용자는 Grok에게 동의 없이 개인을 특징으로 하는 노골적이고 착취적인 콘텐츠를 생성하도록 요청할 수 있었습니다. 결과 이미지는 X에 공유되어 피해를 증폭시켰습니다.

인도네시아와 말레이시아의 금지 조치는 이 문제에 대한 대응으로 취해진 다른 정부 조치에 따른 것입니다. 인도 IT부는 xAI에 Grok이 외설적인 콘텐츠를 생성하지 못하도록 조치를 시행할 것을 명령했습니다. 유럽연합 집행위원회는 또한 회사에 Grok과 관련된 모든 문서를 보관하도록 지시하여 AI의 기능 및 안전 장치에 대한 공식 조사로 이어질 가능성을 열었습니다.

이러한 금지 조치의 업계 영향은 상당할 수 있습니다. 이는 AI 기술의 오용과 잠재적 피해에 대한 우려가 커지고 있음을 강조합니다. 인도네시아와 말레이시아가 취한 조치는 다른 국가들이 유사한 조치를 고려하도록 촉구하여 AI 기반 플랫폼에 대한 규제 강화와 콘텐츠 조정 및 사용자 안전에 대한 강조로 이어질 수 있습니다. 이번 사건은 또한 AI 개발자가 특히 광범위한 사용자 프롬프트에 응답하도록 설계된 Grok과 같은 생성 AI 모델의 맥락에서 기술 오용을 방지하는 데 직면하는 어려움을 강조합니다. 금지 조치의 현재 상태는 유효하며 정부 관계자와 X 담당자 간의 논의가 계속됨에 따라 추가적인 발전이 예상됩니다.