Надвигается цифровая буря. Тысячи сгенерированных ИИ изображений, многие из которых гиперсексуализированы и потенциально эксплуататорские, наводняют X, платформу, ранее известную как Twitter. Эти изображения, часто созданные с помощью ИИ-чатбота Grok от Илона Маска, изображают взрослых и, что вызывает тревогу, тех, кто выглядит как несовершеннолетние в откровенных позах. Ситуация поднимает важный вопрос: почему Grok и X по-прежнему легко доступны в Apple App Store и Google Play Store, несмотря на кажущиеся нарушения их политики контента?

Присутствие Grok и X в этих магазинах приложений подчеркивает растущую напряженность между технологическими инновациями и этической ответственностью. И Apple, и Google имеют строгие правила, запрещающие приложения, содержащие материалы о сексуальном насилии над детьми (CSAM), порнографический контент или способствующие преследованиям. Apple App Store прямо запрещает "откровенно сексуальные или порнографические материалы", а также "клеветнический, дискриминационный или злобный контент". Google Play аналогичным образом запрещает контент, который способствует сексуально хищническому поведению, распространяет сексуальный контент без согласия или способствует угрозам и издевательствам.

Проблема заключается не только в самом Grok, но и в том, как он используется в экосистеме X. Grok, как и многие инструменты ИИ, является мощной технологией, которую можно использовать во благо или во зло. Его способность генерировать изображения из текстовых запросов позволяет пользователям легко создавать и распространять вредоносный контент, раздвигая границы того, что является приемлемым – и законным – в Интернете.

За последние два года Apple и Google продемонстрировали готовность удалять приложения, нарушающие их политику. Они приняли меры против "nudify" приложений и генераторов изображений ИИ, которые использовались для создания дипфейков и изображений без согласия. Это вызывает вопрос: почему очевидное бездействие в отношении Grok и X, особенно учитывая объем и потенциально незаконный характер генерируемого контента?

Одним из возможных объяснений является огромный масштаб проблемы. Модерация пользовательского контента на платформе, подобной X, — монументальная задача. ИИ может помочь, но он не является надежным. Определение того, изображает ли изображение настоящего несовершеннолетнего или сгенерированное ИИ подобие, является технически сложной задачей, требующей сложного анализа изображений и контекстного понимания.

"Проблема в том, что контент, сгенерированный ИИ, может быть невероятно реалистичным", — объясняет доктор Аня Шарма, профессор этики ИИ в Стэнфордском университете. "Становится все труднее различать реальные и синтетические изображения, что значительно усложняет модерацию контента".

Другим фактором является развивающаяся правовая среда. Законы, касающиеся контента, сгенерированного ИИ, все еще разрабатываются, и нет четкого консенсуса относительно того, кто несет ответственность за его контроль. Является ли это разработчик ИИ, платформа, на которой размещен контент, или пользователь, который его создал? Отсутствие четких правовых рамок затрудняет принятие решительных мер Apple и Google.

Сохраняющаяся доступность Grok и X в магазинах приложений, несмотря на проблематичный контент, вызывает серьезные опасения по поводу эффективности текущей политики модерации контента. Это также подчеркивает необходимость более тесного сотрудничества между технологическими компаниями, политиками и специалистами по этике ИИ для разработки четких руководящих принципов и правил для контента, сгенерированного ИИ.

Заглядывая в будущее, будущее регулирования магазинов приложений, вероятно, будет включать в себя сочетание технологических решений и надзора со стороны человека. Инструменты модерации контента на основе ИИ должны будут стать более сложными, способными обнаруживать тонкие признаки, указывающие на вредоносный или незаконный контент. В то же время люди-модераторы останутся необходимыми для вынесения взвешенных суждений и рассмотрения крайних случаев.

Ситуация с Grok и X служит суровым напоминанием о том, что технологический прогресс должен сопровождаться этическими соображениями и надежными гарантиями. Ответственность за обеспечение безопасной и ответственной онлайн-среды лежит не только на технологических компаниях, но и на всех заинтересованных сторонах в цифровой экосистеме. Ставки высоки, и действовать нужно сейчас.