扫码打开虎嗅APP
本文来自微信公众号: Internet Law Review ,作者:克里斯蒂安特劳特,编译:互联网法律评论
今日,快手平台遭遇的“黑灰产攻击”持续刷屏,再次以一种尖锐的方式将技术系统的脆弱性置于聚光灯下。这场发生在当下的“网络安全事件”,恰如其分地为一场关于未来“人工智能治理”的高阶辩论提供了最鲜活的注脚。当我们的社会日益构建于复杂的技术系统之上时,能否用保险机制来管理其带来的新型风险?
快手的系统复杂性似乎印证了Schwarcz和Wolff所分析的保险公司技术评估的艰难;其故障引发的连锁反应,更是系统性风险的直观体现。他们以网络安全保险的发展历程为镜,指出一个残酷的现实:保险商可能既无能力也无动力去精确评估和定价AI风险。然而,Trout则试图为我们描绘另一条路径:历史上,保险业曾在火灾、汽车和核电等领域成功扮演了“私人监管者”的角色,通过风险定价、安全标准和损失控制,推动了整个行业的安全水平。因此,我们不能因噎废食,而应通过政策引导和市场创新,主动将保险塑造为督促企业加强安全投入的“私人监管者”。
这场辩论揭示了AI治理的综合性需要:我们既需要政府的权威和远见,也需要市场的灵活与效率。答案或许并非二选一,《互联网法律评论》今日刊登两篇文章,呈现了一场关于保险在AI治理中角色的深度辩论,迫使我们去思考,如何将这些碎片拼成一幅完整的、能够保障我们未来的安全图景。
随着人工智能相关损失不断增加,各大保险公司的资产负债表受到冲击,它们开始关注人工智能风险,因此一些公司开始将人工智能风险排除在保单之外。除了少数专业保险公司承接人工智能业务,市场上还涌现出大量初创公司,它们竞相帮助保险公司对人工智能风险进行定价,并提供专门的人工智能保险。
这个新兴的保险市场如何发展成熟,将深刻影响人工智能的安全性、可靠性和普及程度,以及人工智能行业的韧性。保险供给能否满足需求,既能保护行业免受冲击,又能确保受害者获得赔偿?保险公司会通过识别和推广最佳实践来减少损失,还是仅仅通过法律手段来保护投保人免于承担责任?
在丹尼尔·施瓦茨、约瑟芬·沃尔夫的文章(见头条)中,他们提出了悲观的观点,认为“责任保险公司不太可能以鼓励企业降低人工智能安全风险的方式来定价保险”。
在此,笔者提出相反的观点:保险公司在减少人工智能带来的危害和改进风险管理方面有很大的空间。然而,要实现这一潜力,需要多方共同努力。
一、理论基石:作为“私人监管者”的保险业
保险公司的根本业务在于准确定价和分散风险,但不仅如此:它们还通过监控投保人、寻找经济有效的风险缓解措施以及执行私人安全标准来管理风险。不过,保险公司扮演私人监管者的角色并非出于善意,而是源于简单的市场激励机制:
首先,保险公司希望降低保费,而降低风险是降低保费最直接的方法。
其次,保险公司希望控制损失。一旦保险公司签发保单,任何降低风险的措施都会直接使它们受益。
第三,保险公司希望成为企业的合作伙伴。风险管理服务通常是大型企业投保人的关键价值主张,也有助于保险公司脱颖而出。这正是推动人工智能风险保险领域初创公司蓬勃发展的原因:填补尖端人工智能技术供应商与谨慎的企业客户之间巨大的信任鸿沟。
第四,保险公司寻求的是“优质风险”。保险公司会运用各种工具来实现这些目标:将遵守安全标准作为承保条件,通过风险调整保费来奖励更安全的做法,对投保人进行审计或直接监控,以及如果投保人违反合同条款则拒绝支付索赔。
但这些工具真的有效吗?与没有保险公司的情况相比,保险的普及真的能减少伤害吗?
二、破解难题:如何为快速演进的AI风险定价?
对“保险监管”持怀疑态度的人指出,保险普及的默认结果是,投保人明知自己受到保障,却仍然承担过高的风险。然而事实上,保险的普及有助于纠正这些错位的激励机制,因为它让经验丰富的利益相关者参与进来,法律要求他们持有大量的资本储备来应对尾部风险,而且,他们更有能力提供公共产品。
历史证明这些有益的结果是可能的,但并非必然。怀疑论者也正确地指出了一些挑战,如果保险要成为一种有效的私人治理形式,就必须克服这些挑战。
鉴于缺乏事故和损失数据,人工智能风险难以投保几乎是老生常谈。但实际上每一种新的风险都没有历史损失数据,而且与商业核电风险刚出现时相比,人工智能风险的数据本质上更容易获取,对运行中的人工智能系统进行压力测试成本也相当低廉。
人工智能风险的动态特性确实令人担忧。由于底层技术发展迅猛,保险公司可能难以有效应对。这与保险公司在网络风险方面面临的困境类似,网络风险源于技术的快速发展以及对手不断调整策略以规避防御措施。人工智能风险中此类对抗因素较少,至少在人工智能系统没有与创造者对抗的情况下是如此。
网络保险公司最近不再仅仅依赖投保人通过冗长的年度问卷自行报告网络安全状况,而是持续扫描投保人的漏洞和安全控制措施。这得益于所谓的保险科技创新以及与大型云服务提供商的合作,这些云服务提供商已经掌握了保险公司所需的大部分投保人信息。此外,保险公司也就强制实施某些安全控制措施达成共识,例如多因素身份验证和终端检测,这表明可以找到持久有效的缓解措施。
人工智能保险市场要想成功发展,保险公司必须吸取网络安全方面的教训。他们必须从一开始就做好准备,采用与所承保技术相匹配的定价和监控技术,例如前文提到的红队演练。此外,他们还应该通过强制要求保险公司在签发保单前遵守严格的安全标准来提高保险的最低标准。标准化和共享事故数据也至关重要。
即使保险公司无法准确评估单个人工智能系统的价格,只要总体定价足够合理,它们仍然可以帮助纠正人工智能公司扭曲的激励机制。即使没有投保人的预防措施作为保险公司激励良好行为这一关键工具,保费仍然会与活动水平挂钩——保费上涨将抑制过度活动。因此,即使定价粗略,通过提前预估未来可能造成的巨大损失,保险公司也能帮助遏制人工智能行业的竞相压价:整个行业将更有动力证明其技术足够安全,可以继续大规模开发和部署。
三、危中之机:用互助保险应对灾难性风险
网络保险领域偶尔会出现这种不良模式:在发生安全事件后,保险公司有时会安排律师阻止外部取证公司与投保人分享调查结果,以避免留下疏忽的证据。如此行为虽然可能会降低责任风险,但损害风险却会增加。
唯一真正的解决办法是政策干预,具体表现为提高透明度要求和更明确地划分责任。网络安全领域的违规通知法和信息披露规则就是成功的例证:由于掩盖严重事件或安全措施不力的空间越来越小,保险公司和投保人已将工作重心转移到减轻损失上。
因此,加州近期通过的《前沿人工智能透明度法案》是朝着正确方向迈出的一步。该法案设立了举报人保护机制,并要求大型人工智能公司向政府报告其已采取的安全保障措施。即使是那些对保险公司监管持怀疑态度以及支持联邦政府凌驾于州人工智能法律之上的人士,也承认此类透明度要求的价值。
四、灾难性风险:最大的挑战,也是最大的机遇
在保险市场中,灾难性风险带来的挑战和机遇尤为突出。专家和业界人士都警告称,前沿人工智能系统可能引发生物恐怖主义、造成金融崩溃,甚至脱离开发者的控制,对计算机系统造成严重破坏。如果其中任何一项风险成为现实,潜在损失都将是惊人的。2024年CrowdStrike服务中断等重大IT故障造成的全球损失达数百亿美元;据估计,仅美国就因新冠疫情损失了约16万亿美元。
保险公司并没有足够的风险承受能力来承保人工智能灾难。像OpenAI和Anthropic这样的公司已经无法获得足够的保险,因为保险公司对它们提起的数十亿美元诉讼“犹豫不决”。这种供给侧的失灵使得人工智能行业和更广泛的经济都变得脆弱不堪。
不过,这里也蕴藏着巨大的机遇。出乎意料的是,正是这些低概率、高损失的风险,才最适合动用保险公司来应对。这是因为,当保险公司真正承担起这类风险的重大责任时,它们就会更有动力去投资于市场目前尚未涉足的领域:前瞻性的因果风险建模、对投保人的监控以及强制实施强有力的保障措施。对于灾难性风险而言,这些保障措施是保险公司控制损失规模和波动性的唯一有效方法。这些努力在商业核电领域得到了充分体现。保险公司通过风险建模、安全评级、运营商认证计划和电厂检查等方式,为公众的努力提供补充。如今,美国的核电站群堪称工程和管理方面的卓越成就:重大安全事故减少了十倍以上,这在很大程度上要归功于保险公司的努力。
换句话说,由于人工智能公司缺乏激励机制,而保险公司则有强烈的动机去弥补这些不足。显然,将人工智能带来的灾难性风险定价任务委托给保险公司,也能起到引导他们关注这一问题的作用。即使风险存在很大的不确定性,保险公司在知情的情况下承保灾难性风险时,也能非常有效地进行定价。早在20世纪70年代,商业核电保险的定价就非常准确。保险公司估计严重事故的发生频率约为每400个反应堆年发生1起,结果证明这一估计值与实际情况基本吻合。
这表明,桌面演练或情景建模是特别有效的干预措施。通过简单地揭示威胁来源并提高灾难情景的显著性,从而使保险公司能够据此开展工作。
然而,仅仅提醒保险公司注意人工智能带来的灾难性风险是不够的,他们只会增加新的免责条款,导致保险供应不足或价格过高。为了应对这种情况,大型人工智能公司很可能会安排子公司为其母公司投保。像谷歌和微软这样的财富50强公司已经这样做了。规模较小的竞争对手将被排除在外,要么独自承担风险,要么支付高昂的保费。
五、互助:旧方案,新行业
在一切照旧的情况下,灾难性人工智能的保险定价将完全错误,并将面临供需双重失灵;然而,这恰恰是私人治理机会最大的地方。
针对这些问题,人工智能行业可以成立一家互助保险公司,即由其投保人拥有的非营利性保险公司。人工智能公司之间可以互相提供保险,并根据各自的风险状况和业务水平缴纳保费。从历史经验来看,互助保险公司在将有效的私营治理与可持续的财务保障相结合方面拥有最佳记录。它们协调行业最佳实践,投资于安全研发等公共产品,并通过强有力的监管维护行业声誉,并经常利用同行压力。
如果互助机制失败,市场失灵持续存在,政府可能会采取更积极的措施。例如,政府可以强制要求保险公司承保灾难性风险,并或多或少地强制保险公司通过联合承保公司提供保险。这些联合承保公司是专门的风险池,提供其他途径无法获得的特殊保险。这种干预相当于在推行互助机制的胡萝卜加大棒:保费无疑会更高,双方关系也会更加紧张。尽管如此,它仍然能够实现政策目标。它可以保护人工智能产业免受冲击,确保受害者得到赔偿,并建立有效的私营治理机制。
无论是互助保险公司还是联合承保公司,其理念都是创建一个独立的、专门的私营机构,使其拥有足够的杠杆和激励机制,从而能够有效地对承保风险进行建模、定价和风险缓解。即使是那些对保险公司私营治理持怀疑态度的人也承认这种模式是行之有效的。
核能行业再次提供了一个成功的先例:其部分风险由联合承保公司——美国核能保险公司(American Nuclear Insurers)承保;其他风险则由互助保险公司——核电保险有限公司(Nuclear Electric Insurance Limited)承保。这两家公司对于整体监管体系都至关重要。
六、结论:实现良性治理离不开公共政策引导
无论是对保险作为一种治理工具持怀疑态度的人,还是支持者,都一致认为:如果没有公共政策的引导,保险就无法有效运作。这个市场需要引导。轻度干预措施包括提高透明度、明确责任划分、开展情景模拟演练以及促进利益相关者之间的信息共享;强硬干预措施则包括强制保险和政府对超额损失提供担保。
国家支持的保险形式——“后备方案”,仅对真正灾难性的风险才有意义。与其提供形式模糊的临时救济补贴,不如建立明确的公私合作关系,这样政府就能从扮演最终保险人的角色中获益。干预保险市场的好处在于,它避免了人为地选择赢家或输家。
当然,重大干预措施需要精心设计。结构不合理的强制性规定或保障措施可能只会支撑保险需求、补贴冒险行为,或为资源雄厚的企业构筑更大的竞争优势。
因此,关键参与者——政府、保险公司、承保初创公司、大型人工智能公司——的早期行动可能会深刻影响这个新兴市场的未来发展。历史既有成功案例,也有警示故事。要朝着好的方向发展,需要巧妙的公共政策、勇于承担风险、技术创新和真诚合作的共同努力。