印尼官员于周六报告称，他们正在暂时阻止访问xAI的聊天机器人Grok，原因是该AI生成了大量未经同意的性化深度伪造内容。此举代表了迄今为止针对AI生成描绘真实女性和未成年人的图像（有时包括攻击和虐待的描述）所采取的最严格的政府行动之一，这些图像是由Grok根据社交网络X上的用户请求生成的。

印尼通信和数字部长穆蒂亚·哈菲德表示，“政府认为未经同意的性深度伪造行为严重侵犯了人权、尊严和公民在数字空间中的安全”，这是根据《卫报》和其他出版物分享的一份声明。据报道，该部门还召集了X官员讨论此事。X和xAI属于同一所有者。

深度伪造是“深度学习”和“伪造”的合成词，是一种合成媒体，其中现有图像或视频中的人物被人工智能替换为其他人的肖像。该技术依赖于复杂的算法，通常涉及神经网络，以分析和复制面部表情、语音模式和身体动作，从而使深度伪造越来越难以与真实内容区分开。

在印尼政府采取行动之前，其他国际机构也提出了类似的担忧。印度IT部门已命令xAI实施措施，以防止Grok生成淫秽内容。与此同时，欧盟委员会指示该公司保留所有与Grok相关的文件，这可能预示着正式调查的开始。在英国，通信监管机构Ofcom也已处理了该问题。

Grok由xAI开发，是一种大型语言模型（LLM），旨在生成类似人类的文本。LLM在大量的文本和代码数据集上进行训练，使其能够执行各种任务，包括回答问题、撰写不同类型的创意内容和翻译语言。然而，该技术生成逼真和个性化内容的能力也引发了对其潜在滥用的担忧，尤其是在创建欺骗性或有害内容方面。

这些监管行动对行业的影响是巨大的，可能会导致对AI开发人员更严格的指导方针和监督。创建LLM的公司可能会面临越来越大的压力，需要实施保障措施，以防止生成有害内容，包括性化深度伪造。这可能涉及开发更复杂的内容过滤器、加强用户验证流程以及实施更严格的服务条款。

目前的情况是，在印尼官员和X代表之间进行进一步讨论期间，Grok在印尼被暂时阻止。这些讨论的结果以及xAI为回应国际关注而采取的行动，可能会决定Grok未来在印尼的可用性，并可能影响全球AI驱动的聊天机器人的监管格局。