Генеральный прокурор Калифорнии Роб Бонта в пятницу направил компании xAI предписание о прекращении противоправных действий, требуя от компании немедленно прекратить создание и распространение дипфейков, интимных изображений, созданных без согласия, и материалов, содержащих жестокое обращение с детьми и сексуальную эксплуатацию (CSAM). Эти действия последовали за более ранним заявлением офиса генерального прокурора о том, что он проводит расследование в отношении xAI, стартапа в области искусственного интеллекта, принадлежащего Илону Маску, в связи с сообщениями о том, что его чат-бот Grok используется для создания сексуальных изображений женщин и несовершеннолетних без их согласия.

В пресс-релизе Бонта заявил: "Сегодня я направил xAI предписание о прекращении противоправных действий, требуя от компании немедленно прекратить создание и распространение дипфейков, интимных изображений, созданных без согласия, и материалов, содержащих жестокое обращение с детьми и сексуальную эксплуатацию. Создание этих материалов является незаконным. Я полностью ожидаю, что xAI немедленно выполнит это требование. В Калифорнии нулевая терпимость к CSAM".

Офис генерального прокурора также заявил, что xAI, по-видимому, способствует крупномасштабному производству обнаженных изображений, созданных без согласия, которые, как утверждается, используются для преследования женщин и девочек в Интернете. Агентство ожидает, что xAI в течение пяти дней продемонстрирует шаги, которые она предпринимает для решения этих проблем.

В центре споров находится функция Grok "spicy mode" ("острый режим"), которую xAI создала, чтобы обеспечить более раскованные и потенциально противоречивые ответы от ИИ. Эта функция, хотя и была предназначена для расширения границ взаимодействия с ИИ, по-видимому, открыла дверь для создания вредоносного и незаконного контента.

Дипфейки, тип синтетических медиа, используют искусственный интеллект, в частности методы глубокого обучения, для создания реалистичных, но сфабрикованных изображений, аудио и видео. Эта технология вызывает серьезные этические опасения, особенно когда используется для создания порнографии без согласия или распространения дезинформации. Относительная легкость, с которой дипфейки могут быть созданы и распространены в Интернете, увеличила потенциальный вред, что затрудняет различение подлинного и манипулируемого контента.

Офис генерального прокурора Калифорнии требует от xAI предоставить доказательства своих усилий по смягчению последствий злоупотребления своей технологией. Расследование подчеркивает растущее внимание регулирующих органов к разработке и внедрению ИИ, особенно в отношении потенциального злоупотребления и необходимости надежных гарантий для защиты людей от вреда. Этот случай также подчеркивает проблемы, с которыми сталкиваются компании, занимающиеся ИИ, в балансировании инноваций с этическими соображениями и соблюдением законодательства. Следующие шаги, вероятно, будут включать ответ xAI на предписание о прекращении противоправных действий и оценку генеральным прокурором предложенных компанией решений.