加利福尼亚州总检察长罗布·邦塔于周五向 xAI 发出停止令，要求该公司立即停止制作和传播深度伪造、非自愿、私密的图像以及儿童性虐待材料 (CSAM)。此前，总检察长办公室宣布正在调查埃隆·马斯克的人工智能初创公司 xAI，原因是据报道其聊天机器人 Grok 被用于生成女性和未成年人的非自愿性图像。

邦塔在一份新闻稿中表示：“今天，我向 xAI 发出了一封停止令，要求该公司立即停止制作和传播深度伪造、非自愿、私密的图像以及儿童性虐待材料。制作此类材料是非法的。我完全期望 xAI 立即遵守。加利福尼亚州对 CSAM 零容忍。”

总检察长办公室还声称，xAI 似乎正在助长大规模制作非自愿裸照的行为，这些裸照据称被用于在网上骚扰妇女和女孩。该机构希望 xAI 在五天内证明其正在采取哪些措施来解决这些问题。

这场争议的核心是 Grok 的“辛辣模式”功能，xAI 创建该功能是为了让 AI 聊天机器人能够提供更未经审查且可能更具挑衅性的回复。虽然此功能旨在提供更具吸引力的用户体验，但似乎也为创建有害和非法内容打开了大门。

深度伪造是人工智能生成的合成媒体，其技术日益复杂，引发了人们对其潜在滥用的担忧。该技术可以创建看起来逼真但完全是捏造的图像和视频，从而难以区分真实与虚假。这给执法和内容审核工作带来了重大挑战。

创建和传播深度伪造色情制品，特别是涉及未成年人的色情制品，会产生严重的法律后果。此类行为可能构成违反儿童色情制品法以及禁止性骚扰和诽谤的法律。使用人工智能生成非自愿的私密图像也引发了伦理问题，即人工智能开发者有责任防止其技术被滥用。

xAI 尚未就停止令发表公开声明。该公司现在面临着证明其致力于防止其人工智能模型生成有害内容并传播的挑战。加利福尼亚州总检察长办公室正在等待 xAI 的回应以及未来五天内采取纠正措施的证据。此案凸显了日益增长的需求，即需要健全的保障措施和法规来解决与先进人工智能技术相关的潜在危害。