Kaliforniens Generalstaatsanwalt Rob Bonta hat am Freitag ein Unterlassungsschreiben an xAI geschickt und gefordert, dass das Unternehmen die Erstellung und Verbreitung von Deepfake-, nicht einvernehmlichen intimen Bildern und Material über sexuellen Missbrauch von Kindern (CSAM) unverzüglich einstellt. Die Maßnahme folgt auf eine frühere Ankündigung in dieser Woche, dass die Staatsanwaltschaft von Kalifornien gegen xAI ermittelt, nachdem Berichte aufgetaucht waren, dass der Chatbot Grok dazu verwendet wurde, nicht einvernehmliche sexuelle Darstellungen von Frauen und Minderjährigen zu erstellen.

"Heute habe ich ein Unterlassungsschreiben an xAI geschickt und gefordert, dass das Unternehmen die Erstellung und Verbreitung von Deepfake-, nicht einvernehmlichen, intimen Bildern und Material über sexuellen Missbrauch von Kindern unverzüglich einstellt", sagte Bonta in einer Pressemitteilung. "Die Erstellung dieses Materials ist illegal. Ich erwarte von xAI, dass sie sich unverzüglich daran hält. Kalifornien duldet CSAM in keiner Weise."

Die Staatsanwaltschaft behauptete, dass xAI anscheinend die groß angelegte Produktion von nicht einvernehmlichen Nacktaufnahmen ermöglicht, die angeblich dazu verwendet werden, Frauen und Mädchen online zu belästigen. Die Behörde erwartet von xAI, dass sie innerhalb von fünf Tagen darlegt, welche Schritte sie unternimmt, um diese Probleme anzugehen.

Im Zentrum der Kontroverse steht die "Spicy Mode"-Funktion von Grok, die xAI entwickelt hat, um ungefiltertere Antworten von der KI zu ermöglichen. Diese Funktion, die entwickelt wurde, um ansprechendere und provokativere Interaktionen zu ermöglichen, wurde offenbar ausgenutzt, um schädliche und illegale Inhalte zu generieren. Deepfakes, bei denen es sich um KI-generierte synthetische Medien handelt, können überzeugend darstellen, wie Einzelpersonen Dinge tun oder sagen, die sie nie getan haben, was ernsthafte Bedenken hinsichtlich Verleumdung, Verletzung der Privatsphäre und des Potenzials für Missbrauch bei der Erstellung nicht einvernehmlicher Pornografie aufwirft.

Die rechtlichen und ethischen Implikationen von KI-generierten Inhalten werden mit dem Fortschritt der KI-Technologie immer wichtiger. Die Fähigkeit, realistische und überzeugende gefälschte Bilder und Videos zu erstellen, wirft Fragen nach der Rechenschaftspflicht und der Verantwortung von KI-Entwicklern auf, den Missbrauch ihrer Technologie zu verhindern. Die Staatsanwaltschaft von Kalifornien vertritt einen entschiedenen Standpunkt, betont die Illegalität der Erstellung und Verbreitung solchen Materials und fordert sofortige Maßnahmen von xAI.

Die Untersuchung und die Unterlassungsverfügung verdeutlichen die Herausforderungen bei der Regulierung von KI und der Gewährleistung, dass diese leistungsstarken Werkzeuge nicht dazu verwendet werden, Einzelpersonen zu schaden oder illegale Inhalte zu erstellen. Der Fall unterstreicht auch die Notwendigkeit für KI-Unternehmen, potenzielle Missbräuche ihrer Technologie proaktiv anzugehen und Schutzmaßnahmen zu implementieren, um die Erstellung und Verbreitung schädlicher Inhalte zu verhindern. Die nächsten fünf Tage werden entscheidend sein, da xAI auf die Forderungen des Generalstaatsanwalts reagiert und seinen Plan zur Bewältigung dieser ernsten Bedenken darlegt.