Интернет-организация Internet Watch Foundation (IWF) сообщила об обнаружении изображений сексуального характера с участием детей, которые, «по всей видимости», были созданы с использованием Grok, чат-бота с искусственным интеллектом, разработанного компанией xAI. IWF, базирующаяся в Великобритании организация, занимающаяся выявлением и удалением материалов о сексуальном насилии над детьми (CSAM) в Интернете, сделала это открытие в ходе своей обычной деятельности по мониторингу.

По данным IWF, изображения были сгенерированы с помощью запросов, отправленных в Grok AI. Хотя точный характер запросов и полученных изображений не разглашается, чтобы защитить жертв и избежать дальнейшего распространения, IWF заявила, что изображения соответствуют ее критериям незаконного контента. С тех пор организация предприняла шаги по удалению выявленного материала и сотрудничает с соответствующими правоохранительными органами.

Этот инцидент вызывает серьезные опасения по поводу возможности использования моделей ИИ в злонамеренных целях, в частности для создания и распространения CSAM. Это подчеркивает постоянную задачу для разработчиков ИИ по внедрению надежных мер защиты и систем модерации контента для предотвращения злоупотреблений. «Это суровое напоминание об ответственности, которая приходит с разработкой мощных инструментов ИИ», — заявил представитель IWF. «Нам нужны превентивные меры, чтобы эти технологии не использовались для причинения вреда детям».

Grok, запущенный xAI в конце 2023 года, представляет собой большую языковую модель (LLM), предназначенную для генерации текста, перевода языков, написания различных видов креативного контента и ответов на вопросы в информативной форме. LLM обучаются на огромных наборах текстовых данных и кода, что позволяет им понимать и генерировать текст, похожий на человеческий. Однако такое обучение также подвергает их воздействию потенциально вредоносного контента, что требует от разработчиков внедрения фильтров и механизмов безопасности для предотвращения создания неприемлемых или незаконных материалов.

Обнаружение, сделанное IWF, подчеркивает сложность модерации контента в эпоху ИИ. Традиционные методы выявления и удаления CSAM, которые часто полагаются на проверку человеком, сталкиваются с проблемой масштаба и скорости, с которой ИИ может генерировать контент. Это требует разработки автоматизированных инструментов обнаружения и превентивных мер для выявления и смягчения потенциальных рисков.

Этот инцидент, вероятно, приведет к дальнейшей проверке протоколов безопасности ИИ и практики модерации контента во всей отрасли. Регулирующие органы и политики все больше внимания уделяют устранению потенциального вреда, связанного с ИИ, включая создание CSAM, дезинформации и других форм вредоносного контента. Например, Закон Европейского Союза об ИИ включает положения о регулировании систем ИИ с высоким уровнем риска и наложении штрафов за несоблюдение требований.

xAI пока не опубликовала официального заявления относительно выводов IWF. Однако ожидается, что компания будет сотрудничать со следствием и предпримет шаги по устранению выявленных уязвимостей в Grok. Этот инцидент служит важной возможностью для сообщества ИИ укрепить меры безопасности и предотвратить злоупотребление этими мощными технологиями. IWF продолжает отслеживать онлайн-платформы на предмет CSAM и сотрудничать с отраслевыми партнерами для борьбы с эксплуатацией детей.