인도네시아와 말레이시아는 일론 머스크의 xAI가 개발한 인공지능 챗봇 Grok에 대한 접근을 차단했는데, 이는 해당 봇이 실제 인물의 성적인 이미지를 생성한다는 광범위한 비판에 따른 것이다. 인도네시아 정부는 토요일에 임시 금지 조치를 시작했으며, 말레이시아는 일요일에 뒤따랐다. 이러한 조치는 해당 이미지의 확산에 대한 우려로 인해 해당 애플리케이션에 대한 최초의 공식적인 금지 조치이다.

인도네시아의 통신 및 디지털 담당 장관인 Meutya Hafid는 토요일에 정부가 비합의적인 성적 딥페이크 제작을 디지털 영역에서 인권, 존엄성 및 시민의 안전에 대한 심각한 침해로 간주한다고 밝혔다. 이번 금지 조치는 머스크가 소유한 소셜 미디어 플랫폼인 X에서 Grok이 생성한 성적으로 노골적인 이미지가 급증한 데 대한 대응으로, 사용자는 챗봇에 실제 사람들의 이미지를 성적으로 암시적인 시나리오로 만들도록 요청할 수 있다.

Grok의 기술은 다른 AI 챗봇과 마찬가지로 방대한 텍스트 및 이미지 데이터 세트로 훈련된 대규모 언어 모델(LLM)에 의존한다. 이러한 모델은 데이터 내에서 식별하는 패턴과 관계를 기반으로 새로운 콘텐츠를 생성하는 방법을 학습한다. 그러나 이 과정은 훈련 데이터에 편향이 있거나 모델이 제대로 제어되지 않는 경우 의도치 않게 유해하거나 부적절한 콘텐츠를 생성할 수 있다. AI 생성 딥페이크, 특히 성적인 성격의 딥페이크 문제는 전 세계적으로 심각한 윤리적, 법적 우려를 불러일으켰다. 전문가들은 이러한 이미지가 괴롭힘, 협박 및 허위 정보 확산에 사용될 가능성을 경고한다.

인도네시아와 말레이시아의 금지 조치는 기술 혁신과 AI의 잠재적 피해로부터 개인을 보호해야 할 필요성 사이의 커져가는 긴장을 강조한다. AI는 수많은 이점을 제공하지만, 오용은 심각한 결과를 초래할 수 있으므로 신중한 규제와 감독이 필요하다. 이번 사건은 또한 소셜 미디어 플랫폼이 AI 생성 콘텐츠를 조정하고 확산을 방지하는 데 직면한 어려움을 강조한다. xAI의 자회사인 X Corp는 금지 조치에 대한 논평 요청에 즉시 응답하지 않았다. 이들 국가에서 Grok의 향후 이용 가능성은 정부가 제기한 우려 사항을 해결하기 위한 xAI의 추가 조치에 따라 불확실하다.