印度尼西亚和马来西亚的官员已暂时禁止访问xAI的聊天机器人Grok，原因是该AI生成了大量未经同意的性化深度伪造内容。这些行动代表了政府对AI生成图像激增的最强硬回应，这些图像通常描绘真实的女性和未成年人，有时还包含暴力内容，用户通过Grok在社交网络X上发布了这些内容。X和xAI都属于同一家公司。

印度尼西亚通信和数字部长穆蒂亚·哈菲德表示，政府认为创建和传播未经同意的性深度伪造内容严重侵犯了人权、尊严以及公民在数字领域的安全。哈菲德的声明于周六与《卫报》和其他新闻媒体分享。据报道，印度尼西亚政府还召见了X的官员讨论此事。《纽约时报》报道称，马来西亚政府于周日宣布了类似的禁令。

深度伪造，技术上称为合成媒体，利用人工智能，特别是深度学习技术，来创建逼真但虚构的图像、视频或录音。在这种情况下，用户能够提示Grok生成未经他人同意的、包含个人信息的露骨和剥削性内容。然后，生成的图像在X上分享，扩大了危害。

在印度尼西亚和马来西亚实施禁令之前，其他国家政府也采取了应对措施。印度IT部已命令xAI采取措施，防止Grok生成淫秽内容。欧盟委员会还指示该公司保留所有与Grok相关的文件，这可能为正式调查该AI的功能和安全措施铺平道路。

这些禁令的行业影响可能非常重大。它们突显了人们对滥用AI技术和潜在危害的日益关注。印度尼西亚和马来西亚采取的行动可能会促使其他国家考虑采取类似措施，从而可能导致对AI驱动平台的监管加强，并更加重视内容审核和用户安全。该事件还凸显了AI开发者在防止其技术被滥用方面面临的挑战，尤其是在生成式AI模型（如Grok）的背景下，这些模型旨在响应各种用户提示。目前禁令仍然有效，随着政府官员与X代表之间讨论的继续，预计将会有进一步的发展。