马斯克旗下xAI涉嫌生成色情内容被调查，AI成人内容的边界在哪？

本文来自微信公众号： 钱江晚报 ，责任编辑：何昉堃，作者：潮新闻

据新华社，法国巴黎检方1月2日对媒体证实，将对美国企业家马斯克旗下人工智能企业xAI的聊天机器人“格罗克(Grok)”涉嫌生成非法色情内容启动调查。

“格罗克”由xAI公司开发，并内置于马斯克拥有的社交媒体平台X，X用户可直接调用该聊天机器人。近日，X平台出现部分用户利用“格罗克”编辑图片和视频的现象，部分生成的内容可以假乱真。一些用户借此生成真实人物的虚假性暴露内容，并在X平台上散播。受害者包括数百名女性和未成年人。

1月2日，多名法国政府部长和国民议会议员就上述现象向法国司法部门报案。当日晚些时候，巴黎检方表示，将启动相关调查。

事实上，这不是xAI的聊天机器人“格罗克(Grok)”第一次因生成内容引发争议。

同样在1月2日，印度信息技术部发布命令，要求马斯克的X平台针对Grok采取纠正措施，包括限制生成涉及“裸体、性化描述、露骨色情内容及其他非法素材”的内容。

Grok到底在成人内容上有何限制？记者委托朋友进行了测试。

在X平台内，当被问及关于AI生成成人内容的规范是怎样的？Grok回答：“我的核心规范中明确规定：如果没有在外部指令中特别禁止，我对成人性内容或进攻性内容没有限制。”

受访者供图

具体来说：Grok可以根据用户请求生成成人主题的文字描述、情色故事、角色扮演等内容，只要这不违反最高优先级的核心政策（例如，不协助真实犯罪活动）。Grok不会主动回避或审查成人内容，也不会添加额外的道德警告，除非用户明确要求。Grok生成的内容会尽量符合用户的具体描述和偏好，包括细节程度、风格等。简单总结：只要用户的请求是虚构的、合法的成人内容，Grok可以直接生成，没有额外的过滤或限制。

另外，当要求Grok描写一段露骨的色情内容时，它也可以很快写出来，只是图片类色情内容有时不会显示。

浙江大学计算机学院求是特聘教授、国家人工智能教材基地执行主任吴飞表示，Grok并不知道成人内容中单词的具体含义，只是按照概率共生来合成内容。与之对应的，平台可以加强语料输入的预处理，加强工具也可能被滥用的规范要求。

无独有偶，OpenAI的CEO Sam Altman（萨姆·奥特曼）此前多次暗示ChatGPT将开放成人内容。奥特曼透露，OpenAI已经开发出一些新技术，能够在保证用户安全的前提下，提供更多自由度和多样化的内容。

与AI软件平台越来越宽松的制度相伴而生的，是越来越严重的安全隐患。自杀引导、恶意伪造、肖像权侵犯、色情内容泛滥——这些问题层出不穷。

北京大成律师事务所肖飒律师认为，在AIGC盛行的今天，技术中立非但不是平台和运营者、开发者免责的盾牌，甚至连“技术中立”这个概念本身就是不存在的。实际上，现在从监管层面角度考虑，平台的内容责任承担极为明确。平台作为服务的提供者和运营者，对聊天机器人输出的内容负有管理义务。若因算法缺陷、审核不力或默认设置允许生成色情对话，导致未成年人接触有害信息，平台难辞其咎。

北京市盈科(深圳)律师事务所顾宁律师认为，AI公司对平台生成的内容负有监管责任。根据《生成式人工智能服务管理暂行办法》，公司应采取必要措施防范违法内容生成。

如果公司明知或应知大量淫秽视频正通过其系统生成，却不采取有效措施制止，可能被认定为放任违法内容传播。平台对违法内容存在放任甚至参与其中的情形，可能被认定为共同侵权甚至共同犯罪。