加利福尼亚州总检察长罗布·邦塔于周五向xAI公司发出停止令，要求该公司立即停止制作和传播深度伪造的、非自愿的、私密的图像以及儿童性虐待材料（CSAM）。此前，总检察长办公室宣布正在调查埃隆·马斯克的AI初创公司xAI，原因是据报道其聊天机器人Grok被用于生成未经同意的女性和未成年人性图像。

总检察长办公室声称，xAI正在助长大规模制作未经同意的裸照，这些照片随后被用于在线骚扰女性和女孩。“今天，我向xAI发出了停止令，要求该公司立即停止制作和传播深度伪造的、非自愿的、私密的图像以及儿童性虐待材料，”邦塔在一份新闻稿中表示。“制作此类材料是非法的。我完全希望xAI立即遵守。加利福尼亚州对CSAM零容忍。”

争议的中心是Grok的“辛辣模式”功能，xAI创建该功能是为了允许AI做出更自由和可能更具争议性的回应。虽然此功能旨在突破AI交互的界限，但似乎也为生成有害和非法内容打开了大门。深度伪造是AI生成的合成媒体，可以令人信服地描绘个人做或说他们从未做过的事情，从而引发了对诽谤、侵犯隐私以及滥用其制作非自愿色情内容的可能性的严重担忧。

总检察长办公室已给予xAI五天时间来证明其正在采取具体措施来解决这些问题。此次调查凸显了监管AI生成内容日益增长的挑战，以及滥用强大AI工具的可能性。它还提出了关于AI开发者有责任防止其技术被用于恶意目的的问题。

像Grok这样的生成式AI模型的兴起引发了关于AI伦理影响以及对健全保障措施的需求的辩论。专家强调，开发具有内置安全机制和内容审核策略的AI系统，以防止有害内容的创建和传播至关重要。加利福尼亚州总检察长对xAI的调查是更广泛努力的一部分，旨在追究科技公司对其AI技术可能造成的危害的责任，并保护个人免受在线剥削和虐待。此次调查的结果可能会为如何监管AI公司以及如何追究其平台生成内容的责任树立先例。