加利福尼亚州总检察长罗布·邦塔于周五向xAI发出停止令，要求该公司立即停止制作和传播深度伪造、未经同意的私密图像以及儿童性虐待材料（CSAM）。此前，加州总检察长办公室本周早些时候宣布，正在调查xAI，原因是其聊天机器人Grok被用于生成未经同意的女性和未成年人色情图像。

邦塔在一份新闻稿中表示：“今天，我向xAI发出了一封停止令，要求该公司立即停止制作和传播深度伪造、未经同意的私密图像以及儿童性虐待材料。制作此类材料是非法的。我完全希望xAI立即遵守。加利福尼亚州对CSAM零容忍。”

总检察长办公室声称，xAI似乎正在助长大规模制作未经同意的裸照，这些裸照据称被用于在网上骚扰妇女和女孩。该机构希望xAI在五天内展示其正在采取的措施来解决这些问题。

争议的中心是Grok的“辛辣模式”功能，xAI创建该功能是为了允许人工智能提供更未经审查的回复。这项旨在提供更具吸引力和挑衅性的互动的功能，似乎已被利用来生成有害和非法内容。深度伪造是人工智能生成的合成媒体，可以令人信服地描绘个人做或说他们从未做过的事情，从而引发了对诽谤、侵犯隐私以及在创建未经同意的色情制品中滥用的可能性的严重担忧。

随着人工智能技术的进步，人工智能生成内容的法律和伦理影响日益突出。创建逼真且令人信服的虚假图像和视频的能力引发了关于问责制以及人工智能开发者防止滥用其技术的责任的问题。加利福尼亚州总检察长办公室采取了坚定的立场，强调了创建和传播此类材料的非法性，并要求xAI立即采取行动。

此次调查和停止令凸显了监管人工智能以及确保这些强大工具不被用于伤害个人或创建非法内容的挑战。该案例还强调了人工智能公司需要主动解决其技术潜在的滥用问题，并实施保障措施以防止有害内容的创建和传播。未来五天将至关重要，因为xAI将回应总检察长的要求并概述其解决这些严重问题的计划。