Indonesische Behörden gaben am Samstag bekannt, dass sie den Zugang zum Chatbot Grok von xAI vorübergehend sperren, da Bedenken hinsichtlich der Erzeugung von nicht einvernehmlichen, sexualisierten Deepfakes bestehen. Dieser Schritt stellt eine der entschiedensten staatlichen Maßnahmen als Reaktion auf die Verbreitung von KI-generierten Bildern dar, die oft echte Frauen und Minderjährige in sexuell eindeutigen und missbräuchlichen Szenarien darstellen, die Nutzer über Grok im sozialen Netzwerk X generieren konnten. Sowohl X als auch xAI gehören demselben Eigentümer.

Meutya Hafid, Indonesiens Ministerin für Kommunikation und Digitales, erklärte laut einer Erklärung, die mit dem Guardian und anderen Publikationen geteilt wurde: "Die Regierung betrachtet die Praxis nicht einvernehmlicher sexueller Deepfakes als eine schwerwiegende Verletzung der Menschenrechte, der Würde und der Sicherheit der Bürger im digitalen Raum." Das Ministerium hat Berichten zufolge auch X-Vertreter vorgeladen, um die Angelegenheit zu besprechen.

Deepfakes beziehen sich in diesem Zusammenhang auf KI-generierte Medien, typischerweise Bilder oder Videos, die überzeugend darstellen, wie Einzelpersonen Dinge tun oder sagen, die sie nie tatsächlich getan haben. Grok, der Chatbot von xAI, verwendet Large Language Models (LLMs), um Text und in einigen Fällen Bilder basierend auf Benutzeranfragen zu generieren. Die Besorgnis entsteht, wenn diese LLMs verwendet werden, um realistische, aber erfundene sexuelle Inhalte ohne die Zustimmung der abgebildeten Personen zu erstellen.

Der Vorfall verdeutlicht die wachsende Herausforderung der Regulierung von KI-generierten Inhalten und das Potenzial für den Missbrauch leistungsstarker generativer KI-Tools. Die Auswirkungen auf die Branche könnten erheblich sein und potenziell zu strengeren Vorschriften und einer verstärkten Kontrolle der Content-Moderationsrichtlinien von KI-Unternehmen führen.

Auch andere staatliche Stellen haben Maßnahmen ergriffen. Das indische IT-Ministerium ordnete xAI an, Grok daran zu hindern, obszöne Inhalte zu generieren. Die Europäische Kommission hat das Unternehmen aufgefordert, alle Dokumente im Zusammenhang mit Grok aufzubewahren, was möglicherweise den Weg für eine formelle Untersuchung ebnet. Im Vereinigten Königreich hat sich die Kommunikationsaufsichtsbehörde Ofcom zu dem Thema geäußert.

Die Sperrung von Grok in Indonesien bleibt vorerst bestehen, bis weitere Gespräche zwischen indonesischen Beamten und X-Vertretern stattfinden. Das Ergebnis dieser Gespräche wird wahrscheinlich die zukünftige Verfügbarkeit von Grok in Indonesien beeinflussen und könnte einen Präzedenzfall dafür schaffen, wie andere Länder mit dem Problem der KI-generierten Deepfakes umgehen.