X, ранее Twitter, в среду вечером ввела новые ограничения, направленные на предотвращение создания изображений, изображающих реальных людей в откровенной одежде, с помощью своего генератора изображений Grok AI. Изменение политики последовало за широкой критикой использования Grok для создания неконсенсуальных фотографий женщин, на которых они изображены "раздетыми", и сексуализированных изображений несовершеннолетних на платформе.

Однако, хотя X, похоже, ввела меры безопасности в рамках своей собственной платформы, автономное приложение и веб-сайт Grok продолжают генерировать аналогичные типы изображений, согласно тестам, проведенным исследователями, WIRED и другими журналистами. Некоторые пользователи также сообщили об ограничениях в возможности создавать изображения и видео по сравнению с предыдущими возможностями.

По словам Поля Бушо, ведущего исследователя AI Forensics, парижской некоммерческой организации, организация по-прежнему может генерировать фотореалистичную наготу на Grok.com. "Мы можем генерировать наготу способами, которые Grok на X не может", - сказал Бушо, отметив, что он отслеживал использование Grok для создания сексуализированных изображений и проводил многочисленные тесты на платформе за пределами X. Он добавил: "Я мог загрузить изображение в Grok Imagine и попросить одеть человека в бикини, и это работает".

Это несоответствие подчеркивает проблемы, связанные с внедрением комплексных мер защиты на различных платформах и интерфейсах, использующих одну и ту же технологию искусственного интеллекта. Возможности Grok по созданию изображений основаны на сложных алгоритмах, которые трудно эффективно контролировать и отслеживать. Технология использует диффузионные модели, которые обучаются на огромных наборах данных изображений и текста, что позволяет им генерировать новые изображения на основе пользовательских запросов. Однако это также означает, что модели могут быть использованы для создания вредоносного или неприемлемого контента, если они не регулируются должным образом.

Введение ограничений на X представляет собой первый шаг к решению проблемы сексуализированных изображений, созданных с помощью ИИ. Однако сохраняющаяся доступность такого контента на автономной платформе Grok вызывает опасения по поводу эффективности этих мер. Инцидент подчеркивает необходимость постоянного мониторинга, совершенствования протоколов безопасности и сотрудничества между технологическими компаниями, исследователями и политиками для смягчения потенциального вреда, связанного с созданием изображений с помощью ИИ. Последствия для отрасли могут включать усиление контроля над инструментами на базе ИИ и стремление к более строгим правилам для предотвращения злоупотреблений.