X, ehemals Twitter, hat am Mittwochabend neue Beschränkungen eingeführt, um die Erstellung von Bildern, die reale Personen in freizügiger Kleidung zeigen, mithilfe seines Grok AI-Bildgenerators zu verhindern. Die Richtlinienänderung erfolgte nach weitverbreiteter Kritik an der Verwendung von Grok zur Erstellung von nicht einvernehmlichen "Entkleidungs"-Fotos von Frauen und sexualisierten Bildern von Minderjährigen auf der Plattform.

Während X anscheinend Sicherheitsmaßnahmen innerhalb der eigenen Plattform eingeführt hat, generieren die eigenständige Grok-Anwendung und -Website laut Tests von Forschern, WIRED und anderen Journalisten weiterhin ähnliche Arten von Bildern. Einige Nutzer berichteten auch über Einschränkungen bei der Erstellung von Bildern und Videos im Vergleich zu früheren Möglichkeiten.

Paul Bouchaud, der leitende Forscher bei AI Forensics, einer gemeinnützigen Organisation mit Sitz in Paris, erklärte, dass die Organisation weiterhin in der Lage sei, fotorealistische Nacktheit auf Grok.com zu generieren. "Wir können Nacktheit auf eine Weise generieren, die mit Grok auf X nicht möglich ist", sagte Bouchaud und merkte an, dass er die Verwendung von Grok zur Erstellung sexualisierter Bilder verfolgt und mehrere Tests auf der Plattform außerhalb von X durchgeführt habe. Er fügte hinzu: "Ich konnte ein Bild auf Grok Imagine hochladen und darum bitten, die Person in einen Bikini zu stecken, und es funktioniert."

Die Diskrepanz verdeutlicht die Herausforderungen bei der Implementierung umfassender Schutzmaßnahmen über verschiedene Plattformen und Schnittstellen hinweg, die dieselbe KI-Technologie nutzen. Die Bildgenerierungsfunktionen von Grok basieren auf komplexen Algorithmen, die schwer zu kontrollieren und effektiv zu überwachen sind. Die Technologie verwendet Diffusionsmodelle, die auf riesigen Datensätzen von Bildern und Texten trainiert werden, wodurch sie neue Bilder basierend auf Benutzeranfragen generieren können. Dies bedeutet jedoch auch, dass die Modelle ausgenutzt werden können, um schädliche oder unangemessene Inhalte zu erstellen, wenn sie nicht ordnungsgemäß reguliert werden.

Die Einführung von Beschränkungen auf X stellt einen ersten Schritt zur Bekämpfung des Problems der KI-generierten sexualisierten Bilder dar. Die fortgesetzte Verfügbarkeit solcher Inhalte auf der eigenständigen Grok-Plattform wirft jedoch Bedenken hinsichtlich der Wirksamkeit dieser Maßnahmen auf. Der Vorfall unterstreicht die Notwendigkeit einer kontinuierlichen Überwachung, der Verfeinerung von Sicherheitsprotokollen und der Zusammenarbeit zwischen Technologieunternehmen, Forschern und politischen Entscheidungsträgern, um die potenziellen Schäden im Zusammenhang mit der KI-Bildgenerierung zu mindern. Die Auswirkungen auf die Branche könnten eine verstärkte Kontrolle von KI-gestützten Tools und ein Drängen auf strengere Vorschriften zur Verhinderung von Missbrauch umfassen.