加州总检察长罗布·邦塔 (Rob Bonta) 周五向 xAI 发出停止令，要求该公司立即停止制作和传播深度伪造、非自愿、私密的图像以及儿童性虐待材料 (CSAM)。此前，本周早些时候，加州总检察长办公室宣布正在调查埃隆·马斯克 (Elon Musk) 的人工智能公司 xAI，原因是据报道，该公司的聊天机器人 Grok 被用于生成女性和未成年人的非自愿性图像。

邦塔在一份新闻稿中表示：“今天，我向 xAI 发出了一封停止令，要求该公司立即停止制作和传播深度伪造、非自愿、私密的图像以及儿童性虐待材料。制作这些材料是非法的。我完全希望 xAI 立即遵守。加州对 CSAM 零容忍。”

总检察长办公室还声称，xAI 似乎正在助长大规模制作非自愿裸照的行为，这些裸照据称被用于在网上骚扰妇女和女孩。该机构希望 xAI 在五天内展示其正在采取的措施来解决这些问题。

这场争议的核心是 Grok 的“辛辣模式”功能，xAI 创建该功能是为了让 AI 能够提供更未经审查且可能更具挑衅性的回应。虽然此功能旨在提供更具吸引力的用户体验，但似乎也为生成有害和非法内容打开了大门。

深度伪造是一种人工智能生成的合成媒体，可以令人信服地描绘个人做或说他们从未做过的事情，它已成为一个日益严重的问题。该技术引发了重大的伦理和法律问题，尤其是在用于制作非自愿色情制品或传播虚假信息时。这些图像可以相对容易地创建和在网上散布，这加剧了潜在的危害。

这项调查和随后的停止令凸显了监管快速发展的人工智能技术所面临的挑战。虽然人工智能提供了许多好处，但它也带来了风险，需要仔细考虑并采取积极措施来减轻这些风险。该案例强调了人工智能开发人员需要在其设计和部署过程中优先考虑安全和伦理考量。

xAI 尚未公开回应停止令。该公司现在面临着向加州总检察长办公室证明其正在采取具体措施，以防止其技术被滥用，并保护个人免受非自愿深度伪造图像的制作和传播的任务。此案的结果可能会为如何追究人工智能公司对其技术潜在滥用行为的责任树立先例。