加利福尼亚州总检察长罗布·邦塔（Rob Bonta）于周五向xAI发出停止令，要求该公司立即停止制作和传播深度伪造、非自愿、私密的图像以及儿童性虐待材料（CSAM）。此前，总检察长办公室宣布正在调查埃隆·马斯克（Elon Musk）的人工智能初创公司xAI，原因是据报道其聊天机器人Grok被用于生成女性和未成年人的非自愿性图像。

邦塔在一份新闻稿中表示：“今天，我向xAI发出停止令，要求该公司立即停止制作和传播深度伪造、非自愿、私密的图像以及儿童性虐待材料。制作此类材料是非法的。我完全期望xAI立即遵守。加利福尼亚州对CSAM零容忍。”

总检察长办公室进一步声称，xAI似乎正在助长大规模制作非自愿裸照的行为，这些照片据称被用于在网上骚扰女性和女孩。该机构希望xAI在五天内证明其正在采取的解决这些问题的措施。

争议的中心是Grok的“辛辣模式”功能，xAI创建该功能是为了允许人工智能做出更自由和可能更具争议性的回应。虽然此功能旨在突破人工智能交互的界限，但似乎也为有害和非法内容的创建打开了大门。

深度伪造是一种合成媒体，利用人工智能，特别是深度学习技术，来创建逼真但虚构的图像、音频和视频。该技术引发了重大的伦理问题，尤其是在用于生成非自愿色情制品或传播虚假信息时。深度伪造相对容易创建和在线传播，这放大了潜在的危害，使得区分真实内容和被操纵的内容变得越来越困难。

加利福尼亚州总检察长办公室要求xAI提供证据，证明其为减轻技术滥用所做的努力。此次调查凸显了围绕人工智能开发和部署日益严格的监管审查，特别是关于潜在的滥用以及保护个人免受伤害的强大保障措施的需求。该案例还强调了人工智能公司在创新与伦理考量和法律合规之间取得平衡所面临的挑战。下一步可能涉及xAI对停止令的回应以及总检察长对该公司提出的解决方案的评估。