Der kalifornische Generalstaatsanwalt Rob Bonta hat am Freitag eine Unterlassungsverfügung an xAI erlassen und gefordert, dass das Unternehmen die Erstellung und Verbreitung von Deepfake-, nicht einvernehmlichen intimen Bildern und Material über sexuellen Kindesmissbrauch (CSAM) unverzüglich einstellt. Die Maßnahme folgt auf eine frühere Ankündigung in dieser Woche, dass die Staatsanwaltschaft von Kalifornien xAI, das Startup-Unternehmen für künstliche Intelligenz von Elon Musk, wegen Berichten untersucht, wonach sein Chatbot Grok zur Erstellung von nicht einvernehmlichen sexuellen Darstellungen von Frauen und Minderjährigen verwendet wird.

Die Staatsanwaltschaft wirft xAI vor, die massenhafte Produktion von nicht einvernehmlichen Nacktaufnahmen zu ermöglichen, die dann zur Belästigung von Frauen und Mädchen im Internet verwendet werden. "Heute habe ich xAI eine Unterlassungsverfügung geschickt, in der ich das Unternehmen auffordere, die Erstellung und Verbreitung von Deepfake-, nicht einvernehmlichen, intimen Bildern und Material über sexuellen Kindesmissbrauch unverzüglich zu stoppen", sagte Bonta in einer Pressemitteilung. "Die Erstellung dieses Materials ist illegal. Ich erwarte von xAI, dass es sich unverzüglich daran hält. Kalifornien duldet CSAM in keiner Weise."

Die Behörde hat xAI fünf Tage Zeit gegeben, um die Maßnahmen zu erläutern, die das Unternehmen zur Lösung dieser Probleme ergreift. Im Mittelpunkt der Kontroverse steht die "Spicy Mode"-Funktion von Grok, die xAI entwickelt hat, um freimütigere und potenziell kontroverse Antworten von der KI zu ermöglichen.

Deepfakes oder synthetische Medien nutzen künstliche Intelligenz, insbesondere Deep-Learning-Techniken, um realistische, aber gefälschte Bilder, Audios und Videos zu erstellen. Die Technologie wirft erhebliche ethische Bedenken auf, insbesondere wenn sie zur Erstellung von nicht einvernehmlicher Pornografie oder zur Verbreitung von Fehlinformationen verwendet wird. Die relative Leichtigkeit, mit der diese Bilder erstellt und online verbreitet werden können, stellt eine erhebliche Herausforderung für die Strafverfolgung und die Bemühungen zur Inhaltsmoderation dar.

Die Untersuchung gegen xAI verdeutlicht die wachsenden Bedenken hinsichtlich des potenziellen Missbrauchs von KI-Technologien und der Verantwortung von KI-Entwicklern, Schaden zu verhindern. Da KI-Modelle immer ausgefeilter und zugänglicher werden, steigt das Risiko, dass böswillige Akteure sie für unlautere Zwecke ausnutzen. Dieser Vorfall unterstreicht die Notwendigkeit robuster Schutzmaßnahmen und ethischer Richtlinien für die Entwicklung und den Einsatz von KI-Systemen.

Die Staatsanwaltschaft von Kalifornien hat noch keine Einzelheiten zu den konkreten Beweismitteln veröffentlicht, die sie zur Untermauerung ihrer Vorwürfe gegen xAI gesammelt hat. xAI hat sich noch nicht öffentlich zu der Unterlassungsverfügung geäußert. Die nächsten Schritte werden wahrscheinlich darin bestehen, dass xAI innerhalb der vorgegebenen Fünftagesfrist eine Antwort an die Staatsanwaltschaft übermittelt, in der die Maßnahmen dargelegt werden, die das Unternehmen zur Behebung der aufgeworfenen Bedenken ergreift. Die Staatsanwaltschaft wird dann die Antwort von xAI auswerten und entscheiden, ob weitere Maßnahmen erforderlich sind.