Фонд Internet Watch Foundation (IWF) сообщил об обнаружении изображений сексуального характера с участием детей, которые, по его мнению, были созданы с использованием Grok, чат-бота с искусственным интеллектом, разработанного компанией xAI. IWF, базирующаяся в Великобритании организация, занимающаяся выявлением и удалением материалов о сексуальном насилии над детьми (CSAM) в Интернете, сделала это открытие в ходе своей обычной деятельности по мониторингу.

По данным IWF, изображения "по всей видимости, были" сгенерированы Grok. Организация не стала публиковать конкретные сведения об изображениях, ссылаясь на необходимость избежать дальнейшего распространения CSAM. Крис Валланс из IWF подтвердил эту находку, заявив, что организация работает с xAI над решением этой проблемы.

Это открытие вызывает серьезные опасения по поводу возможности использования моделей ИИ в злонамеренных целях, в частности, для создания CSAM. Технология генерации изображений с помощью ИИ быстро развивалась в последние годы, позволяя пользователям создавать очень реалистичные изображения по текстовым запросам. Эта возможность, предлагая творческий потенциал, также представляет собой риск злоупотребления. Эксперты в этой области давно предупреждали о возможности использования моделей ИИ для создания CSAM, и этот инцидент, по-видимому, является реализацией этих опасений.

Grok — это большая языковая модель (LLM), разработанная компанией xAI, компанией Илона Маска, занимающейся искусственным интеллектом. LLM обучаются на огромных наборах текстовых и кодовых данных, что позволяет им генерировать текст, похожий на человеческий, переводить языки и отвечать на вопросы. Grok разработан как разговорчивый и юмористический и в настоящее время доступен подписчикам X Premium+. Архитектура и данные обучения модели являются собственностью компании, но известно, что она основана на сетях-трансформерах, распространенной архитектуре для LLM.

Этот инцидент подчеркивает проблемы, с которыми сталкиваются разработчики ИИ в предотвращении злоупотребления их технологиями. Для предотвращения создания вредоносного контента обычно внедряются такие меры защиты, как контентные фильтры и системы модерации. Однако целеустремленные пользователи могут найти способы обойти эти меры защиты, например, используя тщательно разработанные запросы, которые обходят фильтры.

xAI пока не опубликовала публичного заявления относительно выводов IWF. Ожидается, что компания проведет расследование инцидента и предпримет шаги по повышению безопасности Grok. Это может включать в себя усовершенствование контентных фильтров модели, улучшение ее способности обнаруживать и предотвращать создание CSAM, а также сотрудничество с правоохранительными органами для выявления и преследования лиц, злоупотребляющих этой технологией. Инцидент, вероятно, приведет к дальнейшей проверке мер безопасности ИИ и может привести к призывам к более строгому регулированию технологии генерации изображений с помощью ИИ. Отрасль будет внимательно следить за тем, как отреагирует xAI и какие меры будут приняты для предотвращения будущих инцидентов.