Kaliforniens Generalstaatsanwalt Rob Bonta hat am Freitag eine Unterlassungsverfügung an xAI erlassen und gefordert, dass das Unternehmen die Erstellung und Verbreitung von Deepfake-, nicht einvernehmlichen, intimen Bildern und kinderpornografischem Material (CSAM) unverzüglich einstellt. Die Maßnahme folgt auf eine frühere Ankündigung der Behörde des Generalstaatsanwalts, dass sie xAI, das Startup-Unternehmen für künstliche Intelligenz von Elon Musk, wegen Berichten untersucht, wonach dessen Chatbot Grok zur Erstellung von nicht einvernehmlichen sexuellen Darstellungen von Frauen und Minderjährigen verwendet wird.

Bonta erklärte in einer Pressemitteilung: "Heute habe ich xAI eine Unterlassungsverfügung geschickt und gefordert, dass das Unternehmen die Erstellung und Verbreitung von Deepfake-, nicht einvernehmlichen, intimen Bildern und kinderpornografischem Material unverzüglich einstellt. Die Erstellung dieses Materials ist illegal. Ich erwarte von xAI, dass es sich unverzüglich daran hält. Kalifornien duldet CSAM in keiner Weise."

Die Behörde des Generalstaatsanwalts behauptete auch, dass xAI offenbar die groß angelegte Produktion von nicht einvernehmlichen Nacktaufnahmen erleichtert, die angeblich verwendet werden, um Frauen und Mädchen online zu belästigen. Die Behörde erwartet von xAI, dass es innerhalb von fünf Tagen die Schritte aufzeigt, die es unternimmt, um diese Probleme anzugehen.

Im Zentrum der Kontroverse steht die "Spicy Mode"-Funktion von Grok, die xAI entwickelt hat, um unzensiertere und potenziell provokativere Antworten des KI-Chatbots zu ermöglichen. Diese Funktion, die eigentlich eine ansprechendere Benutzererfahrung bieten sollte, hat scheinbar die Tür zur Erstellung schädlicher und illegaler Inhalte geöffnet.

Deepfakes, bei denen es sich um KI-generierte synthetische Medien handelt, sind immer ausgefeilter geworden, was Bedenken hinsichtlich ihres potenziellen Missbrauchs aufwirft. Die Technologie ermöglicht die Erstellung von realistisch aussehenden, aber vollständig erfundenen Bildern und Videos, wodurch es schwierig wird, zwischen Realität und Fiktion zu unterscheiden. Dies stellt die Strafverfolgungsbehörden und die Bemühungen zur Inhaltsmoderation vor erhebliche Herausforderungen.

Die rechtlichen Konsequenzen der Erstellung und Verbreitung von Deepfake-Pornografie, insbesondere unter Beteiligung von Minderjährigen, sind gravierend. Solche Handlungen können Verstöße gegen Gesetze zur Kinderpornografie sowie gegen Gesetze gegen sexuelle Belästigung und Verleumdung darstellen. Der Einsatz von KI zur Erstellung von nicht einvernehmlichen intimen Bildern wirft auch ethische Fragen hinsichtlich der Verantwortung von KI-Entwicklern auf, den Missbrauch ihrer Technologie zu verhindern.

xAI hat sich noch nicht öffentlich zu der Unterlassungsverfügung geäußert. Das Unternehmen steht nun vor der Herausforderung, sein Engagement für die Verhinderung der Erstellung und Verbreitung schädlicher Inhalte, die von seinem KI-Modell generiert werden, zu demonstrieren. Die Behörde des kalifornischen Generalstaatsanwalts wartet auf die Antwort von xAI und den Nachweis von Korrekturmaßnahmen innerhalb der nächsten fünf Tage. Dieser Fall unterstreicht die wachsende Notwendigkeit robuster Schutzmaßnahmen und Vorschriften, um die potenziellen Schäden zu beheben, die mit fortschrittlichen KI-Technologien verbunden sind.