本文来自微信公众号：刘润 （ID：runliu-pub），作者：刘润，题图来自：视觉中国

2023年，每天都是大新闻。而其中的一大半，都和AI有关。

今年年初，ChatGPT突然爆火。紧接着，就是AI领域一颗又一颗的重磅炸弹。GPT-4、Microsoft 365 Copilot、Midjourney V5、Google PaLM API，扎堆引爆。铺天盖地的新消息，席卷了每一个人的视觉神经。

就在上个月末（5月31日），AI界又发生了一件大事儿。

包括OpenAI CEO 山姆·奥特曼（Sam Altman）等人在内的一众全球范围内AI领域的重要人物，共同联署了一封公开信，呼吁全球共同努力，降低人工智能导致的灭绝风险。

这封公开信很短，短到总共就只有22个词。

Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.

应将缓解人工智能导致的灭绝风险，与其他社会规模风险（如大流行病和核战争）等视作等同，作为全球优先事项。

图/AI安全中心

字越少，事儿越大。

这到底是发生了什么？我记得前一阵子好像也有这么一封信。人工智能的高速发展不是提升效率的好事吗？怎么就和大流行病、核战争扯上关系了？他们到底是在担忧些什么？这和我有什么关系？

这些问题，太重要了。

于是，我试着梳理了一下，想知道这封公开信到底是怎么来的，人们对AI的担忧到底是怎么一步一步走到今天的，我们又该怎么办？

然后，我越梳理越有一种感觉，越梳理这种感觉就越强烈：山姆·奥特曼的格局，可能远比我们想象的，还要大得多。

什么意思？

这件事，可能还要从两个多月之前开始说起。

灭绝风险

还记得上一封著名的“AI公开信”吗？

3月30日，著名企业家埃隆·马斯克等一千多名业界、学界人士联署发表公开信，呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统，暂停至少6个月。

3月30日，距离年初那一波爆火的GPT-3.5，才刚刚过去119天。距离更强大的GPT-4的推出，才刚刚过去了2周。

图/生命未来研究所（Future of Life Institute）

这是要干什么？为什么众多大咖要一起呼吁，他们到底在担忧什么？

我想，最主要的原因，还是因为AI的发展，实在是太快了。

如果相关的监管和法律没有跟上，甚至连发明者也缺乏有效的控制手段。在这种条件下，无限制地使用AI，如果出现问题，很可能就会对社会和人类构成深远的风险。

比如，如果人工智能系统设计不当或被恶意使用，可能会导致数据泄露、隐私侵犯、社会不公等等问题。

比如，随着人工智能的进一步发展，未来可能会出现“超级人工智能”的存在。这种智能可能会远超人类的智力水平，对人类产生灭绝风险。

哪有这么夸张啊？AI，不是来帮助我们提升效率的好东西吗？况且，AI又不是这两年才有的东西。要是真有这么夸张，早干什么去了？

这是因为，就连从业者也没有想到，连接主义，竟然能强大到这个地步。

连接主义

什么是连接主义？

在很长的一段时间里，AI的发展，走的其实是一条名叫“逻辑主义（Logicism）”的道路。

逻辑主义，说白了就是主张用公理和逻辑体系，来搭建一套人工智能系统。

比如你想学习一门语言，你要知道语法规则。“主语+谓语+宾语”，就是一种句子规则。“我（主语）想要（谓语）吃饭（宾语）”，就符合这种规则。通过列举各种各样的规则和逻辑，来让AI学习语言。

但你想想，语言是多么微妙、复杂、富有情感。女朋友一个“嗯”字，背后就有八万四千种情绪。规则怎么可能穷举，逻辑怎么可能没有漏洞。

而且，人根本就不是这样学习的。你从小学习语言，是先学习语法吗？不。我们是在一个环境里，跟着妈妈咿呀学语，跟着爸爸哼哼唧唧，看着看着，听着听着，自然就会了。

这个“自然就会了”，其实是因为人脑的神经元不断连接。人脑的神经元数量，据说可以达到1000亿个，这些神经元，一旦接触外界的刺激，就会产生连接。刺激越多，连接就越多，直到人脑突然涌现出知识和智慧。很多事情，自然就会了。

这种人脑产生智能的方式，也被用在了AI上。给AI很多数据，让它自己看，自己学，自己感受。这个路线，又叫“连接主义（Connectionism）”。连接主义，也成为现在AI发展的主流。

换句话说，今天的AI越来越厉害，是因为真的越来越像个“人”了。而且，是一个拥有上万亿“神经元”的“人”。

那么，明天呢？明天的AI，又会变成什么样？谁知道上万亿个神经元在接触了大量的外界刺激之后，会涌现出怎样可怕的知识和智慧来？

这种来自未知的恐惧，用埃隆·马斯克的话说就是：人工智能，远比核武器更加危险。

所以，必须要有人呼吁，必须要有人干预，必须要有人大声疾呼。

那么，收到3月30日那封公开信的从业者们，真的会乖乖地暂停AI训练吗？大概率不会的。

为什么？因为这是一个“坏的纳什均衡”。

纳什均衡

什么是“坏的纳什均衡”？

你在剧场看戏剧。这出戏演得特别好，特别妙。可是，第一排的那帮人，真的太可恶了。为了能看得更清楚一些，他们竟然忍不住站了起来。

这下可好。他们一旦站起来，第二排的观众就被挡住了。于是，第二排观众也站起来了。接着，就是第三排，第四排，第五排。

就这样，整个剧场的人，最后都是站着看完的这场戏。

但是，你发现没有，整个剧场都站起来了之后，大家从观看视线的角度，还是跟原来坐着一样。本来所有人都可以舒舒服服地坐着看，但就是因为第一排的人站起来了，所有人就都得跟着站起来看。

这就是“坏的纳什均衡”。

每一个参与其中的人的“最优策略”，是“不遵守规则”。每一个人的不遵守规则，又会导致“最差结果”。

所以，一纸公开信，很容易变成一张“今天谁复习谁是小狗”的废纸。一到家，只有那个提议的人没复习。

所谓的暂停开发，很容易就会演变成秘密开发。前排所有的观众都站起来了，我不站起来，我就看不到戏剧了。对面所有的对手都举着枪，我要是把枪放下，我就必死无疑。万一别人都在研究，就我没有，那我的损失就太大了。

那怎么办？

这时，最好的解决办法就是：行政手段。

行政手段

什么是行政手段？

谁都不准站起来，谁站起来罚款，是行政手段。禁止参加校外的辅导课，谁参加就罚款，是行政手段。不允许使用不合规的广告，谁使用就罚款，是行政手段。

3，2，1。都给我把枪放下来。

当所有人只要“不遵守规则”就会受到足够力度的惩罚的时候，每个人才会乖乖地遵守规则。当每个人都遵守规则的时候，才会发现，坐着，也许也挺好。

于是，5月16日晚上，山姆·奥特曼，走上了美国参议院的听证会，并在听证会上表示，政府监管对行业的未来至关重要。

图/YouTube

你能想象吗？山姆·奥特曼，竟然在听证会上表示：我愿意遵守规则，请给我戴上手铐。而且，我建议你可以这样给我戴。

第一，建立一个政府机构，给我们发放许可证，如果模型不符合政府制定的安全准则，也可以撤销这些许可证。

第二，为高能力的人工智能模型制定安全标准，并建立模型必须通过的具体功能测试，确保它不产生危险内容。

第三，引入与创造者及政府无关的第三方专家进行独立评估，以确保人工智能工具在立法准则内运行。

一刀，两刀，三刀。刀刀砍在要害上。

有了许可证之后，开发AI所需要的数据，可能就拿不到了。有了安全标准之后，OpenAI目前已有的能力，可能会受到强烈的限制。有了第三方专家之后，所有炫目华丽的科技，可能都要在镣铐下起舞。

而这个召唤手铐的人，不是某个还在观望AI的人，不是某家还没成功开发的公司，而是OpenAI的首席执行官，AI世界的重要人物，某种意义上未来世界的领跑者，山姆·奥特曼。

天啊，这是什么样的格局。

可是，他会这么说，应该也不奇怪吧？该赚的钱，他早就赚够了。监管之后，所有人都不发展了，OpenAI领头羊的位置反而得到了保护。这副手铐对山姆·奥特曼来说，简直就是实打实的金手铐呀。

唉。那我想说，这也太低估奥特曼的境界了。

OpenAI，根本就是一家非营利机构。

非营利机构

什么是非营利机构？

非营利机构，在英文世界里叫做，Non-Profit Organization，指的是那些不以营利为目的的组织。非营利组织的运作并不是为了产生利益，这一点通常被视为这类组织的主要特性。但是，关键是但是，非营利组织还是必须产生收益，以提供其活动的资金，只不过它的收入和支出都是受到严格限制的。

举个例子。

你是一家非营利机构性质的私立学校创始人，你的梦想，是通过特有的教学理念，来提升中国学生的综合素质。而这家拥有远大梦想的私立学校，收入不菲。我的孩子想到你这里来上学，光是一年的学费就要20万。你每年招收500名学生，那么这家私立学校每年能从学费上拿到的收入，是整整1个亿。这1个亿，是给你用来支付教师工资、购买课桌椅、提升教学环境，用来支撑各类运行费用，用来实现“非营利目的”的。

注意，重点来了。这1个亿，在支撑完各种费用之后，还有盈余，怎么办？对不起，多出来的钱，你不能从中分红。你得把这笔钱，用在请更好的老师、买更好的课桌椅上。可是可是，那万一我收的学费，还不足以支撑运行费用，怎么办？很遗憾，你也不能融资。你只能接受别人的捐赠。

这就是非营利机构。

你见过的一些私立学校，是非营利机构；你听过的一些基金会，是非营利机构；而这家一飞冲天的OpenAI，竟然也是非营利机构。

而奥特曼的梦想，是在这个非营利机构里，用（在很多人眼里，根本不可能的）通用人工智能，造福全人类，不是赚钱。但是，如果他一不小心赚到钱了，这笔钱也要继续投入到“造福全人类”中去，是不能从中分红，再拿回去买房买车买岛买飞机的。

于是，在听证会的现场，我们看到了那个我不知道该怎么形容的表情。

图/YouTube

在吃惊地向听证会核实了好几次提问之后，山姆·奥特曼才带着木讷地表情回答说：我在OpenAI中没有股权，我赚到的钱只够我购买食物和保险。

我根本就没有钱。

啊？怎么可能。就连听证会都吃惊地说到：你需要一个律师，我怀疑你被人骗了。

图/YouTube

天啊。这是怎样一个理工男，怎样一个铁憨憨，怎样一个理想主义者。

他要通过人工智能，造福全人类。他要实现他的理想，而不是赚钱。也许他会一不小心赚到钱，但请放心，他一定会继续用这笔钱来造福全人类。

但现在，为了更好地造福全人类，也顺带着实现我的理想，请为我戴上手铐。

于是，他终于在一个致力于推动AI安全研究和政策的非营利组织Safe AI Society发起的，呼吁全球的研究者、政策制定者和公众共同努力而不是只有从业者的，只有22个词的公开信上，签下了自己的名字——Sam Altman。

最后的话

那么，签下这封公开信之后，AI的世界将会变成什么样呢？

还不确切知道。看后面发展吧。但我想，这大概只是一个开始。

也许，我们要等很久很久，才能见到GPT-4.5了。也许，我们很快会迎来一套全新的法规，全新的部门。也许，我们将会用上更高效，同时也更安全的人工智能。

那么，这对于我们又意味着什么？

也许，我们最应该从中习得的一件事就是：永远，不要放弃做一个理想主义者。永远，不要放弃做一个有格局的人。永远，不要忘记自己的初心。

唉。很多人都希望改变世界。但是走着走着，就被这个世界改变了。即使没有被改变，世界也会说，你变了。

他们会说，3月30日的公开信，是在“GPT-4刚刚推出2周”的时候呼吁的，明摆着就是为了打压山姆·奥特曼。

他们会说，5月16日的听证会，请求政府实行行业监管，明摆着就是为了持证上岗，实行垄断。

他们会说，5月31日的公开信，肯定是因为山姆·奥特曼已经得到了官方人员的许诺，才签的字。

他们会说，不过就是天天露脸，想火想疯了罢了。

他们会说，搞不好，连这个人都是假的。

一旦愿意相信阴谋，这个世界其实到处都可以是阴谋。

只是，在这个糖果商不会告诉你吃得太多会蛀牙的世界里，我愿意相信他没有阴谋。

在这个太多人在灰色地带做着明明就令行禁止的事的世界里，我愿意相信他没有阴谋。

在这个很多人眼中钞能力就是一切的世界里，我愿意相信他没有阴谋。

就像我愿意相信，人性本善。

本文来自微信公众号：刘润 （ID：runliu-pub），作者：刘润