Behörden in Indonesien und Malaysia haben den Zugang zum Chatbot Grok von xAI vorübergehend gesperrt, als Reaktion auf die Verbreitung von nicht einvernehmlichen, sexualisierten Deepfakes, die von der KI generiert werden. Diese Maßnahmen stellen die bisher entschiedensten staatlichen Reaktionen auf die Zunahme von KI-generierten Bildern dar, die oft echte Frauen und Minderjährige zeigen und manchmal Gewalt beinhalten, die Nutzer über Grok im sozialen Netzwerk X gepostet haben. Sowohl X als auch xAI gehören zum selben Unternehmen.

Die indonesische Ministerin für Kommunikation und Digitales, Meutya Hafid, erklärte, dass die Regierung die Erstellung und Verbreitung von nicht einvernehmlichen sexuellen Deepfakes als eine schwere Verletzung der Menschenrechte, der Würde und der Sicherheit der Bürger im digitalen Raum betrachtet. Hafids Erklärung wurde am Samstag mit dem Guardian und anderen Nachrichtenagenturen geteilt. Das indonesische Ministerium hat Berichten zufolge auch X-Vertreter vorgeladen, um die Angelegenheit zu besprechen. Die New York Times berichtete, dass die malaysische Regierung am Sonntag ein ähnliches Verbot angekündigt hat.

Deepfakes, technisch bekannt als synthetische Medien, nutzen künstliche Intelligenz, insbesondere Deep-Learning-Techniken, um realistische, aber gefälschte Bilder, Videos oder Audioaufnahmen zu erstellen. In diesem Fall konnten Nutzer Grok dazu auffordern, explizite und ausbeuterische Inhalte mit Personen ohne deren Zustimmung zu erstellen. Die resultierenden Bilder wurden dann auf X geteilt, was den Schaden noch verstärkte.

Die Verbote in Indonesien und Malaysia folgen auf andere staatliche Maßnahmen, die als Reaktion auf das Problem ergriffen wurden. Das indische IT-Ministerium ordnete xAI an, Maßnahmen zu ergreifen, um zu verhindern, dass Grok obszöne Inhalte generiert. Die Europäische Kommission wies das Unternehmen außerdem an, alle Dokumente im Zusammenhang mit Grok aufzubewahren, was möglicherweise den Weg für eine formelle Untersuchung der Fähigkeiten und Schutzmaßnahmen der KI ebnet.

Die Auswirkungen dieser Verbote auf die Branche könnten erheblich sein. Sie unterstreichen die wachsenden Bedenken hinsichtlich des Missbrauchs von KI-Technologien und des potenziellen Schadens. Die Maßnahmen von Indonesien und Malaysia könnten andere Nationen dazu veranlassen, ähnliche Maßnahmen in Erwägung zu ziehen, was möglicherweise zu einer stärkeren Regulierung von KI-gestützten Plattformen und einer stärkeren Betonung der Inhaltsmoderation und der Nutzersicherheit führen könnte. Der Vorfall unterstreicht auch die Herausforderungen, vor denen KI-Entwickler bei der Verhinderung des Missbrauchs ihrer Technologien stehen, insbesondere im Kontext von generativen KI-Modellen wie Grok, die darauf ausgelegt sind, auf eine breite Palette von Nutzeranfragen zu reagieren. Der aktuelle Status der Verbote bleibt in Kraft, und weitere Entwicklungen werden erwartet, da die Gespräche zwischen Regierungsbeamten und X-Vertretern fortgesetzt werden.