Der kalifornische Generalstaatsanwalt Rob Bonta hat am Freitag ein Unterlassungsschreiben an xAI geschickt und gefordert, dass das Unternehmen die Erstellung und Verbreitung von Deepfake-, nicht einvernehmlichen, intimen Bildern und kinderpornografischem Material (CSAM) unverzüglich einstellt. Die Maßnahme folgt auf eine frühere Ankündigung in dieser Woche, dass die Staatsanwaltschaft von Kalifornien gegen xAI, das Unternehmen für künstliche Intelligenz von Elon Musk, ermittelt, nachdem Berichte aufgetaucht waren, wonach dessen Chatbot Grok zur Erstellung von nicht einvernehmlichen sexuellen Darstellungen von Frauen und Minderjährigen verwendet wurde.

Bonta erklärte in einer Pressemitteilung: "Heute habe ich ein Unterlassungsschreiben an xAI geschickt, in dem ich fordere, dass das Unternehmen die Erstellung und Verbreitung von Deepfake-, nicht einvernehmlichen, intimen Bildern und kinderpornografischem Material unverzüglich einstellt. Die Erstellung dieses Materials ist illegal. Ich erwarte von xAI, dass es sich unverzüglich daran hält. Kalifornien duldet CSAM in keiner Weise."

Die Staatsanwaltschaft behauptete außerdem, dass xAI anscheinend die groß angelegte Produktion von nicht einvernehmlichen Nacktaufnahmen erleichtert, die angeblich dazu verwendet werden, Frauen und Mädchen online zu belästigen. Die Behörde erwartet von xAI, dass sie innerhalb von fünf Tagen darlegt, welche Maßnahmen sie ergreift, um diese Probleme zu beheben.

Im Zentrum der Kontroverse steht die "Spicy Mode"-Funktion von Grok, die xAI entwickelt hat, um unzensiertere und potenziell provokativere Antworten von der KI zu ermöglichen. Diese Funktion, die eigentlich eine ansprechendere Benutzererfahrung bieten sollte, hat scheinbar die Tür zur Erzeugung schädlicher und illegaler Inhalte geöffnet.

Deepfakes, KI-generierte synthetische Medien, die auf überzeugende Weise darstellen können, wie Einzelpersonen Dinge tun oder sagen, die sie nie getan haben, sind zu einem wachsenden Problem geworden. Die Technologie wirft erhebliche ethische und rechtliche Fragen auf, insbesondere wenn sie zur Erstellung von nicht einvernehmlicher Pornografie oder zur Verbreitung von Fehlinformationen verwendet wird. Die relative Leichtigkeit, mit der diese Bilder erstellt und online verbreitet werden können, verstärkt das Schadenspotenzial.

Die Untersuchung und die anschließende Unterlassungsverfügung verdeutlichen die Herausforderungen bei der Regulierung sich schnell entwickelnder KI-Technologien. Während KI zahlreiche Vorteile bietet, birgt sie auch Risiken, die eine sorgfältige Abwägung und proaktive Maßnahmen zur Eindämmung erfordern. Der Fall unterstreicht die Notwendigkeit für KI-Entwickler, Sicherheit und ethische Aspekte in ihren Design- und Bereitstellungsprozessen zu priorisieren.

xAI hat sich noch nicht öffentlich zu der Unterlassungsverfügung geäußert. Das Unternehmen steht nun vor der Aufgabe, der Staatsanwaltschaft von Kalifornien nachzuweisen, dass es konkrete Maßnahmen ergreift, um den Missbrauch seiner Technologie zu verhindern und Einzelpersonen vor der Erstellung und Verbreitung von nicht einvernehmlichen Deepfake-Bildern zu schützen. Der Ausgang dieses Falls könnte einen Präzedenzfall dafür schaffen, wie KI-Unternehmen für den potenziellen Missbrauch ihrer Technologien zur Rechenschaft gezogen werden.