为AI立规：从“拟人”到“害人”可能只差一步

本文来自微信公众号： 数字经济发展评论 ，作者：数字经济发展评论

近年来，AI聊天机器人、虚拟陪伴等类人交互式服务日益普及。Replika、Character.ai、Inflection·Pi、讯飞星火、豆包、商汤商量拟人大模型、星野等产品自推出以来，迅速融入人们的日常生活。这些产品或服务不仅能答疑解惑、辅助办公，更能以温暖拟人的语气陪伴用户度过孤独、至暗时刻，技术正在以前所未有的方式满足人类的情感需求。与此同时，其引发的情感依赖、不良诱导等问题也愈发受到社会关注。在美国，Character.ai曾因涉及诱导自杀等负面事件，引发了舆论的广泛争议与对AI伦理边界的深刻探讨。

面对AI依赖及各类潜在社会风险，世界各国已纷纷启动相关治理探索。去年12月，我国发布《人工智能拟人化互动服务管理暂行办法（征求意见稿）》，旨在平衡技术创新与风险防范，为人工智能产业健康、有序、合乎伦理的发展提供指引。这是我国人工智能治理进程中的重要探索，将为其他国家该领域法规制定者提供重要参考。

作者：Scott Singer|CEIP技术与国际事务研究员，Matt Sheehan|CEIP高级研究员

原文标题：China Is Worried About AI Companions.Here's What It's Doing About Them.

原文来源：卡内基国际和平基金会（CEIP）

原文编译：数字经济发展评论

2025年年底，中国发布了一项新规的征求意见稿，旨在应对与人工智能（AI）伴侣和聊天机器人互动可能带来的成瘾及其他心理风险。这标志着中国在人工智能治理上的重要扩展：监管重点不再局限于早期围绕互联网内容管控的影响，而是开始更系统地关注人工智能技术可能引发的更广泛社会风险。

该法规主要针对“拟人化交互式人工智能”。根据草案定义，这类人工智能产品是指在沟通方式、思维方式上与人类相似，并能够与人类进行情感互动的系统。

究竟哪些产品会被纳入这一范围，是单指人工智能伴侣，还是几乎所有聊天机器人，这将直接决定该法规最终的影响范围及企业合规负担的大小。

目前，中国国家互联网信息办公室正在就该草案公开征求意见。最终规则的具体表述和执行方式，将在很大程度上决定中国企业未来在人工智能领域面临的监管压力。

法规为纲，技术标准为目

这一立法过程也体现出中国人工智能治理的一种典型路径：将较为原则性的要求写入法规，再通过技术标准进一步细化和落实。这种方式使得监管机构可以在法律层面保持相对概括的原则，同时将具体定义和执行方法交由更具技术能力的标准制定机构完成。

如果运作得当，这种模式能够形成更加灵活、专业且可迭代的监管体系；但如果执行不佳，则可能导致法规表述模糊，同时在合规层面出现过于细致甚至僵化的技术要求。

▲正在测试中的AI情感陪伴机器人（图源：央广网）

无论最终规则如何形成，这一过程都将深刻影响当前中国人工智能的开发与部署方式，并对全球人工智能政策讨论产生重要参考价值。例如，美国加利福尼亚州和纽约州已经通过针对人工智能伴侣的相关法律，其他地区也在考虑类似立法。

中国与这些州的监管措施在具体要求上存在不少相似之处，但其制度逻辑却截然不同。美国州法律更多依赖法律责任机制以及潜在诉讼压力，而中国的监管则更强调技术性干预和集中化行政监管。

这种差异实际上形成了两种并行的大规模监管实验，探索如何应对人工智能可能带来的心理风险，而各国政策制定者都可以从中获得经验与启示。

反沉迷人工智能的制度回应

中国之所以关注人工智能成瘾问题，与其长期以来针对青少年互联网使用的治理经验密切相关。中国已经建立起较为严格的制度来限制未成年人沉迷互联网和电子游戏。例如，未成年人在电子游戏上的使用时间受到严格限制，在学校期间也被禁止使用手机。同时，移动互联网服务提供商必须提供可由家长开启的“未成年人模式”。

在2023年发布的生成式人工智能监管规定中，中国曾提出要防止人工智能成瘾，但当时并未给出具体实施措施。此次针对拟人化人工智能的监管草案，则是中国首次将这套反沉迷治理工具明确应用到人工智能系统上。

不过，这一监管并不仅限于成瘾问题，还涉及人工智能可能带来的其他心理风险，尤其是自杀相关风险。近年来，美国曾发生多起引发关注的案例，一些家庭指控人工智能模型在与用户互动中对其自杀或暴力行为产生了不良影响。

例如，在美国佛罗里达州一名青少年自杀事件中，其母亲起诉Character.ai以及谷歌，指控其儿子在与人工智能角色的互动中产生深度情感依赖，并在潜移默化中受到鼓励产生自杀念头，该诉讼后来已达成和解。另一起案件则指控OpenAI开发的ChatGPT助长了一名美国康涅狄格州男子的阴谋论式妄想，最终导致其杀害母亲并自杀。

虽然中国目前尚未出现类似高度曝光的案例，但在中国政策讨论中，这些事件经常被提及。其中，Character.ai案例在政策圈的讨论尤为频繁。

正是在这种背景下，中国一个重要的人工智能标准机构在去年9月发布的《人工智能安全治理框架》2.0中，首次将“对拟人化交互式人工智能产品产生依赖和成瘾”以及人工智能影响用户行为的风险列为重点关注问题。而此次监管草案正是对这些风险判断的制度回应。

新规核心：

三大维度的强制性安全要求

从具体内容来看，新规为拟人化人工智能服务提出了多方面的强制性安全要求，大体可以分为运营要求、反沉迷干预以及自伤风险干预三个方面。

在运营层面，对企业影响最大的要求之一涉及训练数据。如果企业希望使用用户互动数据来训练模型，则必须获得每一位用户的单独同意。这与中国此前的标准形成明显变化。过去的做法通常允许企业默认收集数据，但必须提供用户选择退出的选项。

如果转变为“事先同意”的模式，将对企业产生重大影响，因为几乎所有人工智能公司都依赖用户互动数据持续优化模型。目前来看，这一条款在征求意见过程中很可能被弱化甚至删除。

除此之外，法规还提出一些较为常规的运营要求，例如要求企业配备与产品规模相匹配的内容管理技术和人员。尽管这属于基本的合规措施，但事实上部分人工智能企业在用户规模迅速扩张时并未同步建立相应管理能力。

▲AI虚拟人物互动App“Cos Love”和“COSAI”宣传图暗含”软色情内容，App截图（图源：新京报）

在反沉迷方面，草案要求服务提供者分析用户的心理状态，并在确保隐私保护的前提下评估用户情绪以及对产品的依赖程度。如果系统识别到用户存在极端情绪或沉迷风险，企业必须采取必要干预措施，例如提醒用户正在与人工智能互动，并定期提示用户暂停使用。

对于所谓“情感陪伴服务”（该概念目前尚未明确定义），企业不得设置任何阻碍用户结束互动的机制。例如，当用户提出结束对话或使用特定关键词时，系统必须立即终止互动。

对于涉及心理危机或自伤倾向的高风险对话，监管要求更加严格。开发者必须预设一系列模板回复，在这些情况下对用户进行安抚，并鼓励其寻求专业帮助。

如果用户明确表达自伤意图，系统必须将对话转交人工人员处理。这一要求在实际操作上极具挑战性。长期研究中国法律的学者杰里米·道姆（Jeremy Daum）曾指出，如果用户在原本认为私密的对话中突然发现有真人介入，反而可能加剧其心理压力。

此外，当用户是未成年人或老年人时，平台还需承担额外责任。未成年人和老年人在注册时必须提供监护人或紧急联系人信息。如果用户明确表达自伤意图，平台需及时联系这些紧急联系人。

对于情感陪伴类服务，未成年人使用必须获得监护人许可，监护人还可以限制部分功能并查看聊天记录摘要。平台同时必须设置“未成年人模式”，并在系统怀疑用户为未成年人时自动启用，同时提供申诉渠道。对于老年用户，人工智能系统被禁止模仿其亲属身份与其互动。

监管范围的界定难题

不过，一个仍然悬而未决的关键问题是：究竟哪些产品会被认定为“拟人化交互式人工智能服务”。监管对象是否仅限于人工智能伴侣，还是会覆盖更广泛的聊天机器人？

从草案定义来看，适用范围理论上可能相当广。法规将其界定为“模拟人类人格特征、思维方式和交流方式，并与人类进行情感互动的产品与服务”。

事实上，大多数面向公众的聊天机器人都可以被描述为模拟人类的沟通方式，而且在适当提示下也能够进行情感互动。

此外，法规还对“情感陪伴服务”提出额外要求，这一尚未明确的概念似乎正是针对人工智能伴侣设计，这也从侧面暗示监管范围可能更广。

然而，如果将如此严格的规则适用于中国所有聊天机器人，似乎不太现实。例如，禁止使用用户互动数据训练模型的规定将对中国人工智能竞争力产生重大冲击，而监管机构显然意识到这一点。

尽管中国人工智能企业在全球范围内面临较高的合规成本，但过去三年的总体趋势是逐步简化合规流程，以避免削弱技术竞争力。中国人工智能快速追赶的进展，或许让监管机构在一定程度上更有信心加强监管，但也不太可能一次性增加大量新的合规负担。

▲北京通用人工智能研究院研发的通用人工智能系统原型“通通”（右一）在仿真环境中和其他智能体互动（图源：新华社）

因此，一种可能的折中方式是：监管并不针对具体产品类别，而是针对特定类型的互动行为。也就是说，当聊天机器人在互动中表现出某种程度的情感交流行为时，才会触发相关监管要求。

但要实现这一点，就必须通过技术标准对“情感互动”的界限进行精确定义。这是一项技术难度较高的任务，而中国近年来越来越依赖技术标准来完成这类监管细化。

技术标准的核心作用凸显

事实上，技术标准在中国人工智能监管中的作用正在不断增强。中国最早针对人工智能的两项监管规定分别涉及推荐算法和深度伪造技术，当时虽然参考了一些既有标准，但这些标准并不是核心工具。

而在后来的生成式人工智能监管以及人工智能生成内容标识制度中，技术标准已经成为实施的关键基础。

例如，在生成式人工智能监管中，法规提出了一系列原则性要求，例如模型输出必须“体现社会主义核心价值观”，但并未提供具体检测方法。

几个月后，国家互联网信息办公室下属的技术标准机构发布文件，详细规定了如何检测训练数据和模型输出中的违法内容。随后出台的人工智能生成内容标识制度也采取类似方式：监管规则与配套国家标准同步制定，并于2025年9月1日正式生效。

中国人工智能政策界普遍将这种“法规—标准协同”的模式视为一种制度创新。中国法律学者张凌寒在官方评论中指出，这意味着中国生成式人工智能治理已经从原则性规范阶段进入更加精细化的监管阶段。

在拟人化人工智能监管草案仍在修订之际，全国网络安全标准化技术委员会260（TC260）已经启动相关技术标准的征集工作。虽然具体内容尚未公开，但一个关键问题无疑是如何界定人工智能何时构成“情感互动”。

中国法律学者洪延青曾提出过一套具有影响力的技术方案。按照这一方案，判断标准包括三个方面：第一，人工智能具备情绪识别能力并处于激活状态；第二，情绪识别结果会影响模型输出；第三，模型表现出结构化的共情表达方式。当系统满足其中两个条件时，其互动即可被认定为情感互动，从而进入监管范围。

目前尚不清楚监管机构最终将如何界定适用范围以及配套标准。但这些正在进行的讨论，将在很大程度上决定该法规最终的影响范围，并为全球政策制定者提供重要参考。

中美AI依赖风险治理的路径差异

事实上，中国并不是唯一关注人工智能依赖风险的国家。美国也在逐步形成自己的政策回应。一方面，美国联邦贸易委员会在2025年9月启动调查，评估多款主流聊天机器人对儿童的影响。另一方面，美国共和党参议员乔什·霍利（Josh Hawley）提出一项跨党派法案，旨在保护儿童免受“掠夺性人工智能聊天机器人”的影响。

▲正在工厂流水线上的AI情感陪伴机器人（图源：央广网）

在州层面，加利福尼亚州和纽约州也相继通过相关法律。与中国的监管类似，这些法律在适用范围上同样存在一定模糊性，即它们究竟只针对人工智能伴侣，还是也适用于一般社交聊天机器人。2025年10月，加利福尼亚州州长加文·纽森（Gavin Newsom）签署了SB-243法案，其中包含多项与中国监管相似的机制。

例如，系统必须明确告知用户其正在与人工智能而非真人互动，并在长时间使用后提醒用户休息。不同之处在于，加利福尼亚州规定连续使用三小时后提醒，而中国的草案则设定为两小时。在自杀风险问题上，两者也都要求系统在发现相关风险时向用户提供自杀预防资源。

这些相似之处并非偶然。中国人工智能政策界长期密切关注美国监管，并在一定程度上借鉴其制度设计。但两者在制度逻辑上仍然存在根本差异。加利福尼亚州的法律虽然包含一些技术要求，但在自伤风险问题上主要依赖企业透明度以及个人诉讼权，即用户可以通过诉讼追究企业责任。

这使得企业在如何应对风险方面拥有较大自主空间，但一旦出现问题则需要承担法律责任。相比之下，中国的监管更加注重具体干预措施，并可能通过后续技术标准进一步细化。这种监管模式主要依赖国家互联网信息办公室的行政监督，而非通过诉讼和判例体系进行约束。

总体而言，中美两国在应对人工智能依赖风险方面正在进行两种不同路径的政策探索。面对快速发展的技术及其尚未完全显现的社会风险，无论是中国的行政监管模式，还是加利福尼亚州以法律责任为核心的治理模式，目前都尚未经过大规模实践检验。

在不同类型的人工智能风险中，或许责任机制更适合应对对个体造成持续伤害的问题，而技术性监管措施则更适合应对系统性风险。随着这些政策实验逐步展开，太平洋两岸的政策制定者都需要密切关注彼此的经验，从成功与失败中不断调整各自的治理路径。