加州总检察长罗布·邦塔于周五向xAI发出停止令，要求该公司立即停止制作和传播深度伪造的、未经同意的私密图像和儿童性虐待材料 (CSAM)。此前，加州总检察长办公室本周早些时候宣布，正在调查埃隆·马斯克的人工智能初创公司xAI，原因是据报道，该公司的聊天机器人Grok被用于生成未经女性和未成年人同意的性图像。

邦塔在一份新闻稿中表示：“今天，我向xAI发出了一封停止令，要求该公司立即停止制作和传播深度伪造的、未经同意的私密图像和儿童性虐待材料。制作此类材料是非法的。我完全希望xAI立即遵守。加州对CSAM零容忍。”

总检察长办公室还声称，xAI似乎正在助长大规模制作未经同意的裸照，这些裸照据称被用于在线骚扰女性和女孩。该机构已给予xAI五天时间来证明其正在采取的解决这些问题的措施。

争议的中心是Grok的“辛辣模式”功能。该功能旨在允许人工智能做出更自由和可能更具争议性的回应，但似乎为用户生成性露骨内容打开了大门。在这种情况下，深度伪造指的是人工智能生成的图像或视频，能够令人信服地描绘个人做或说他们从未做过的事情。这项技术引发了重大的伦理和法律问题，尤其是在被用于制作未经同意的色情制品或剥削儿童时。

使用人工智能生成深度伪造技术变得越来越复杂，使得区分真实内容和虚假内容变得困难。这对执法和内容审核工作构成了重大挑战。人工智能伦理专家长期以来一直警告说，这些技术存在被滥用的可能性，尤其是在创建有害和非法内容方面。

xAI尚未就停止令发表公开声明。该公司现在面临着向加州总检察长办公室证明其正在采取充分措施，以防止其技术被滥用，并保护个人免受未经同意的私密图像的制作和传播的挑战。这项调查的结果可能会对人工智能技术的监管和发展产生重大影响，特别是那些具有生成逼真且可能有害内容的技术。