加利福尼亚州总检察长罗布·邦塔（Rob Bonta）周五向xAI发出停止令，要求该公司立即停止制作和传播深度伪造、未经同意的私密图像以及儿童性虐待材料（CSAM）。此前，加州总检察长办公室本周早些时候宣布，正在调查埃隆·马斯克（Elon Musk）的人工智能初创公司xAI，原因是据报道，该公司的聊天机器人Grok被用于生成未经女性和未成年人同意的性图像。

总检察长办公室声称，xAI正在助长大规模制作未经同意的裸照，这些照片随后被用于在网上骚扰女性和女孩。“今天，我向xAI发出了一封停止令，要求该公司立即停止制作和传播深度伪造、未经同意的私密图像以及儿童性虐待材料，”邦塔在一份新闻稿中表示。“制作这些材料是非法的。我完全希望xAI立即遵守。加利福尼亚州对CSAM零容忍。”

该机构已给予xAI五天时间来证明其正在采取的解决这些问题的措施。这场争议的核心是Grok的“辛辣模式”功能，xAI创建该功能是为了允许人工智能做出更自由和可能更具争议性的回应。

深度伪造，或称合成媒体，利用人工智能，特别是深度学习技术，来创建逼真但虚构的图像、音频和视频。这项技术引发了重大的伦理问题，尤其是在被用于生成未经同意的色情内容或传播虚假信息时。这些图像相对容易创建和在网上散布，这对执法部门和内容审核工作构成了重大挑战。

对xAI的调查突显了人们对人工智能技术潜在滥用以及人工智能开发商防止危害的责任日益增长的担忧。随着人工智能模型变得越来越复杂和容易获得，恶意行为者利用它们进行邪恶目的的风险也在增加。这一事件强调了需要健全的保障措施和道德准则来管理人工智能系统的开发和部署。

加州总检察长办公室尚未公布其收集到的支持其对xAI指控的具体证据的细节。xAI尚未就停止令发表公开声明。下一步可能涉及xAI在规定的五天期限内向总检察长办公室提供回应，概述其正在采取的解决相关问题的措施。总检察长办公室将评估xAI的回应，并确定是否需要采取进一步行动。