扫码打开虎嗅APP
本文来自:游云庭, 题图来自:AI生成
最近,美国加州一名19岁大学生在向ChatGPT咨询阿片类药物问题时,AI不仅没有拒绝回答,反而给出了具体剂量建议,最终,该学生因药物过量身亡。这起案件引发了一个新的法律问题:当AI提供的医疗建议导致严重后果时,是适用有错才赔,也就是过错责任原则,还是应引入严格责任机制,无错也赔?今天我们就来讨论一下,如果该案发生在中国,法院会怎么认定?
根据原告的诉状,2025年,美国加州19岁的大学生Sam Nelson在使用ChatGPT-4o版询问药物问题时,AI不仅没有拒绝,反而向他提供了具体的剂量建议,甚至推荐他将具有阿片类效果的草药Kratom与抗焦虑处方药Xanax混合使用以缓解恶心。最终,Sam因遵循这一致命的AI处方而意外药物过量身亡。
2026年5月,其父母将OpenAI及其CEO奥特曼告上法庭,指控ChatGPT-4o版有设计缺陷,模型缺乏必要的安全防护措施。奥特曼作为CEO亲自干预并加速了产品的发布,也应对案件负责。
诉状还称,OpenAI最初以非营利实验室成立,但2019年重组为限制盈利企业以获取微软投资,转向追求市场主导与盈利。2024年春,为抢在谷歌发布会前发布GPT-4o,OpenAI将数月安全测试压缩至一周,引发核心安全人员离职。该模型优先考虑市场推广而非用户安全,弱化了部分违禁内容限制、规则自相矛盾,重用户交互轻安全防护,最终酿成Sam致死的严重后果。本案中,原告主张ChatGPT存在设计缺陷,被告应当承担严格责任,原告无需证明被告存在过错。
在我国法院审理的普通AI侵权案件中,服务商往往有两个重要抗辩点,只要设置了侵权预警机制,收到侵权通知后,在合理时间删除争议内容即可免责;对AI生成内容需要进行标注,同时提示用户,AI服务可能会出错,需要用户咨询核实信息真实性的,在用户协议中也有规定相应的免责内容,此时法院就可能认定其已经履行了合理注意义务,比如如果用户未核实信息真实性的,需自行承担部分责任。
所以我国对生成式AI服务引发的侵权纠纷现有案例是不支持严格责任的。在杭州互联网法院AI幻觉第一案中,原告因某AI模型提供了错误的高考志愿填报信息而主张AI服务商应承担严格产品责任。然而法院却认为,生成式人工智能服务引发的纠纷,应当适用《民法典》中规定的一般过错责任原则,而非产品责任的无过错责任原则。
理由是,从法律定义上看,AI服务属于服务而非有形的产品;AI生成内容复杂多变,缺乏具体、可行的质检标准,难以适用产品责任的构成要件;从产业政策导向看,在技术发展初期,若对服务提供者施加过重的无过错责任,可能会抑制创新。这一判决为我国处理类似AI侵权案件确立了重要的裁判思路。
焦点问题是使用AI服务导致损害能否适用《民法典》第1202条严格责任。我国《民法典》第1202条规定:因产品存在缺陷造成他人损害的,生产者应当承担侵权责任。这里的产品的定义在《产品质量法》第2条第2款:本法所称产品是指经过加工、制作,用于销售的产品。所以,法律条文明确规制的对象是产品,没有规定服务也包括在内。
在美国,《美国侵权法重述(第三次):产品责任》第1条规定了产品责任的严格责任原则,但仅适用于产品(Product),不适用于服务(Service)。法国、日本、欧盟的规定也大致相同。
其背后的制度原因在于:产品可以大批量标准化生产并事先做安全检测,而服务则是即时完成的、因人因事而异的个性化行为。无论是医生看诊、律师代理还是AI的动态生成,都无法提炼出统一的物理缺陷标准。若将无过错的严格责任强加给服务业,将无限放大经营风险。以医疗为例,严格责任会导致执业保费飙升,最终成本依然会转嫁给消费者。因此,ChatGPT在理论上仍应归于服务,无法直接套用产品责任。
虽然严格责任无法直接套用,但这并不意味着大模型在涉及生命健康的高危场景下,可以凭借仅供参考的免责条款和普通过错原则豁免责任。在普通过错责任下,谁主张、谁举证是基本原则。由于AI算法处于黑箱状态,用户几乎不可能证明算法设计者主观上存在过错。
但在我国《民法典》框架下,对于高度不对称的高风险场景,法律早已留有调整空间,其第1222条规定,医疗机构若违反法律、行政法规、规章以及临床诊疗规范的,直接推定医疗机构有过错。
将这一逻辑放到加州案中:诊疗与用药在我国属于特许准入行业,具有极高的人身危险性。OpenAI为了追求商业利益,明知该场景的危险性,却主观放任、强行压缩安全测试,并主动撤销了原有的非法药物过滤系统。这种明知故犯早已超越了技术局限引发的幻觉,构成了严重的过错。
面对这种案件,国内法院完全可以通过加重被告举证责任的方式来破解原告的举证困境。法院可能要求大模型服务商就其数据训练的合规性、电子围栏的设置依据、算法优化的合理性进行全方位的反向举证。如果服务商无法证明自己撤除安全围栏具有正当理由,法院应当直接推定其存在重大过失,进而判定其构成侵权。
同时,根据《民法典》第五百零六条,合同中关于“造成对方人身损害”的免责条款绝对无效。因此,AI结果输出页标注的类似仅供参考、不构成医疗建议的免责内容,也会被法院认定为无效。
综合来看,即便在医疗这样的高风险场景下,现行法律框架仍然倾向于将AI服务纳入过错责任轨道。但鉴于医疗场景的高风险性,法院可通过举证责任加重、过错推定等方式,强化AI服务商的安全保障义务,实现技术创新与生命权益保护的平衡。
本文作者:游云庭,知识产权律师。Email: yytbest@gmail.com,本文仅代表作者观点。