Ofcom, британский регулятор в сфере коммуникаций, официально запросил у X (ранее Twitter) информацию в связи с сообщениями о том, что его AI-модель Grok генерирует изображения детей сексуального характера. Запрос последовал за растущей обеспокоенностью по поводу потенциального злоупотребления генеративными AI-технологиями и их способности создавать вредоносный контент.

Расследование сосредоточено на утверждениях о том, что пользователи побуждали Grok создавать изображения, изображающие несовершеннолетних в сексуально откровенных ситуациях. Эти сообщения поднимают серьезные вопросы о мерах защиты, которые X принимает для предотвращения использования AI в таких целях. Цель запроса Ofcom - определить масштаб проблемы и то, принимает ли X адекватные меры для ее решения.

Генеративные AI-модели, такие как Grok, обучаются на огромных наборах текстовых и графических данных, что позволяет им создавать новый контент на основе запросов пользователей. Однако эта технология также сопряжена с рисками, поскольку модели можно использовать для создания дипфейков, распространения дезинформации или, как утверждается в данном случае, для создания материалов о сексуальном насилии над детьми (CSAM). Способность AI быстро создавать реалистичные изображения особенно затрудняет обнаружение и удаление такого контента.

"Мы глубоко обеспокоены возможностью использования AI для создания вредоносного контента, особенно с участием детей", - заявил представитель Ofcom. "Мы попросили X предоставить нам информацию о сообщениях, касающихся Grok, и о мерах, которые они принимают для предотвращения создания и распространения таких изображений".

X подтвердила запрос Ofcom и заявила, что сотрудничает со следствием. Компания утверждает, что у нее действуют строгие правила, запрещающие создание вредоносного контента, и активно работает над улучшением мер безопасности AI.

"Мы очень серьезно относимся к этим обвинениям и стремимся к тому, чтобы наши AI-модели не использовались для создания или продвижения вредоносного контента", - заявил представитель X. "Мы постоянно совершенствуем наши протоколы безопасности и работаем с экспертами для выявления и смягчения потенциальных рисков".

Этот инцидент подчеркивает более широкую проблему регулирования AI-технологий и обеспечения их ответственного использования. По мере того как AI-модели становятся все более сложными, становится все более важным разрабатывать эффективные механизмы для обнаружения и предотвращения их злоупотребления. Это включает в себя не только технические решения, такие как контентные фильтры и алгоритмы обнаружения, но и нормативно-правовые рамки, которые возлагают на компании ответственность за безопасность их AI-систем.

Расследование продолжается, и Ofcom имеет право наложить значительные штрафы на X, если обнаружит, что компания не смогла адекватно защитить пользователей от вредоносного контента. Исход расследования может иметь серьезные последствия для регулирования AI-технологий в Великобритании и за ее пределами. Ожидается, что регулятор опубликует свои выводы в ближайшие месяцы.