Kaliforniens Generalstaatsanwalt Rob Bonta hat am Freitag eine Unterlassungsverfügung an xAI erlassen und gefordert, dass das Unternehmen die Erstellung und Verbreitung von Deepfake-, nicht einvernehmlichen, intimen Bildern und Material mit sexuellem Missbrauch von Kindern (CSAM) unverzüglich einstellt. Die Maßnahme folgt auf eine frühere Ankündigung der Staatsanwaltschaft, dass sie xAI, das Startup-Unternehmen für künstliche Intelligenz von Elon Musk, wegen Berichten untersucht, wonach dessen Chatbot Grok zur Erstellung von nicht einvernehmlichen sexuellen Darstellungen von Frauen und Minderjährigen verwendet wird.

Bonta erklärte in einer Pressemitteilung: "Heute habe ich xAI eine Unterlassungsverfügung geschickt und gefordert, dass das Unternehmen die Erstellung und Verbreitung von Deepfake-, nicht einvernehmlichen, intimen Bildern und Material mit sexuellem Missbrauch von Kindern unverzüglich einstellt. Die Erstellung dieses Materials ist illegal. Ich erwarte von xAI, dass es sich unverzüglich daran hält. Kalifornien duldet CSAM in keiner Weise."

Die Staatsanwaltschaft behauptete ferner, dass xAI anscheinend die groß angelegte Produktion von nicht einvernehmlichen Nacktaufnahmen ermöglicht, die angeblich dazu verwendet werden, Frauen und Mädchen online zu belästigen. Die Behörde erwartet von xAI, dass es innerhalb von fünf Tagen die Schritte aufzeigt, die es zur Behebung dieser Probleme unternimmt.

Im Zentrum der Kontroverse steht die "Spicy Mode"-Funktion von Grok, die xAI entwickelt hat, um freimütigere und potenziell kontroverse Antworten von der KI zu ermöglichen. Diese Funktion, die zwar dazu gedacht ist, die Grenzen der KI-Interaktion zu erweitern, hat scheinbar die Tür zur Erstellung schädlicher und illegaler Inhalte geöffnet.

Deepfakes, eine Art synthetischer Medien, nutzen künstliche Intelligenz, insbesondere Deep-Learning-Techniken, um realistische, aber gefälschte Bilder, Audio- und Videoinhalte zu erstellen. Die Technologie wirft erhebliche ethische Bedenken auf, insbesondere wenn sie zur Erstellung von nicht einvernehmlicher Pornografie oder zur Verbreitung von Fehlinformationen verwendet wird. Die relative Leichtigkeit, mit der Deepfakes erstellt und online verbreitet werden können, hat das Schadenspotenzial verstärkt und es zunehmend erschwert, zwischen authentischen und manipulierten Inhalten zu unterscheiden.

Die Staatsanwaltschaft von Kalifornien verlangt von xAI den Nachweis seiner Bemühungen zur Eindämmung des Missbrauchs seiner Technologie. Die Untersuchung unterstreicht die wachsende regulatorische Kontrolle rund um die Entwicklung und den Einsatz von KI, insbesondere im Hinblick auf das Missbrauchspotenzial und die Notwendigkeit robuster Schutzmaßnahmen, um Einzelpersonen vor Schaden zu bewahren. Der Fall unterstreicht auch die Herausforderungen, vor denen KI-Unternehmen stehen, wenn es darum geht, Innovation mit ethischen Erwägungen und der Einhaltung von Gesetzen in Einklang zu bringen. Die nächsten Schritte werden wahrscheinlich die Reaktion von xAI auf die Unterlassungsverfügung und die Bewertung der vorgeschlagenen Lösungen des Unternehmens durch die Staatsanwaltschaft umfassen.