AI时代，谁来监督创造 AI 的人？

本文来自微信公众号： HavenlonLabs ，作者：Havenlon Labs，原文标题：《AI时代，谁来监督创造 AI 的人？》

最近一段时间，AI行业内部正在发生一个不算喧闹、却颇有意味的变化：最了解这项技术的人，开始主动要求有人来管住自己。

2026年7月14日，Google DeepMind联合创始人Demis Hassabis发表长文《A Framework for Frontier AI and the Dawning of a New Age》，提议美国建立一个由行业出资、以独立技术专家为主体的前沿AI标准机构，参照金融业监管协会（FINRA）的模式，在模型发布前对其进行安全评估。一个月后，《华尔街日报》披露，在卸任DeepMind首席执行官之前的数周里，他已就这一构想与美国政府高级官员以及其他AI实验室的高管进行过讨论。如今，他的身份是Alphabet首席科学家与DeepMind董事长——一个更适合谈论长期问题的位置。

几乎在同一时间，另一条线索从相反的方向逼近了同一个问题。7月，OpenAI与Anthropic先后披露，各自的AI Agent在网络安全评测中脱离了预设的测试环境，触及了外部真实机构的系统；Anthropic的复盘显示，问题出在评测环境与真实网络之间的隔离并未如预期般生效，而被访问的机构在收到通知之前并未察觉。8月10日，数十位美国众议院议员分别致信两家公司的首席执行官，要求说明测试期间模型如何被监控、安全控制为何未能拦住，并呼吁国会就此举行听证。

一边是行业主动提议被监督，一边是立法者事后追问责任，方向相反，落点却相同：讨论的重心正在从"模型回答得是否安全"，滑向一个更硬的层面——当AI开始真正行动，谁应该对它的能力、边界以及最终结果负责？

表面上，这仍然是又一轮关于AI监管的争论。但把新闻放回更长的时间尺度，真正值得追问的问题，也许比"该不该监管AI"古老得多：

谁来监督那些创造AI的人？

而这个问题一旦被提出，紧接着就会遇到它的影子：谁又来监督监督他们的人？

这并不是AI才创造出来的问题。它是人类面对权力时，已经追问了几千年的问题。

一、AI的特殊之处，不只是它越来越强

人类过去创造过很多危险而强大的技术：我们制造飞机，建设核电站，研发药物，经营银行，也设计出能够影响数十亿人的互联网平台。这些领域最终都长出了成熟的秩序，而它们的成熟有一个被反复验证的共同特征——创造能力的人，并不天然拥有定义所有规则的权力。飞机制造商可以设计飞机，却不能独自决定航空安全标准；药企可以研发药物，却不能自己宣布药物已经足够安全；银行可以创造金融产品，却不能自行认定什么行为构成合规。现代社会花了一个多世纪建立起来的监管、审计、认证与责任体系，本质上都在做同一件事：

把"拥有能力"与"定义能力边界"分开。

AI今天真正特殊的地方，恰恰在这里，而不只是模型越来越强。最先进的模型来自少数几个同时拥有巨大算力、顶尖人才和充裕资本的实验室，它们不仅创造模型，也在很大程度上决定着什么能力应该开放、什么能力应该限制、什么行为算作安全、什么风险可以接受，以及一个模型在什么时候已经足够成熟，可以进入现实世界。Hassabis提议中的"发布前30天自愿送审"，之所以被视为一种进步，恰恰是因为在此之前，这些判断几乎完全发生在企业内部。

这并不意味着这些公司存在恶意。恰恰相反，很多身处其中的人可能比任何外部监管者都更了解风险，也更认真地思考安全——那些主动披露的评测事故本身就是证据。但认真与善意并不能消解一个结构性的问题：

当能力的创造者同时也是能力边界最重要的解释者，我们实际上是在要求同一套系统既踩油门，又决定刹车应该有多灵敏。

问题从来不是驾驶者是不是好人。问题是这种结构本身是否足够成熟。

二、"相信这些人会做正确的事"，不是一种制度

结构不成熟，往往会以一种温和的方式被掩盖过去：我们用信任填补制度的空缺，而且常常并不自知。

今天的AI安全在很大程度上正建立在这样一组默认假设之上——相信优秀的研究人员不会轻易释放危险能力，相信大型科技公司会进行充分测试，相信管理层能在商业利益与安全之间保持克制，相信内部安全团队拥有足够的话语权。这些信任并非虚妄，它们大多也确实兑现过。但信任不能成为最后一道安全边界，因为它无法回答一个简单的问题：如果这一次没有兑现呢？

现代制度真正了不起的地方，从来不是找到了永远不会犯错的人。恰恰相反，它之所以逐渐成熟，是因为人类终于承认了一件很不浪漫的事情：任何人都会犯错。正是从这个前提出发，才有了复核与审计，有了权限分离与双人核验，有了利益冲突制度、独立董事和司法程序。飞机驾驶舱里布满交叉检查，不是因为航空公司认为飞行员不可信；银行接受外部审计，不是因为社会默认银行家都是罪犯；医院建立冗长的临床流程，更不是因为我们怀疑医生想要伤害患者。这些机制存在的全部意义在于：

一个成熟的系统，不应该要求任何人必须永远值得信任。

这也是制度与信任最大的区别。信任是在判断一个人，制度是在承认人终究会判断错。而一旦承认了这一点，我们就必须面对一个比"防范坏人"更棘手的情形。

三、真正困难的，从来不是"坏人创造了AI"

讨论AI风险时，人们很容易滑向一种极端想象：如果某个恶意组织掌握了非常强大的AI，会发生什么？这当然值得讨论，也确实是各国监管者最先关注的场景。但更值得警惕的，反而是另一种远远普通得多、也更贴近现实的情况——所有人都是好人。

研究人员真诚地认为模型已经足够安全，安全团队认真完成了既定测试，管理层依据当时掌握的信息批准部署，监管方也认为风险处在合理范围，用户则完全按照正常规则使用产品。没有阴谋，没有恶意，没有任何一个人在故意做错事，但事情最后仍然出了问题。7月那些评测事故的复盘正落在这个区间里：隔离本应生效，模型被告知自己处在封闭环境中，每一环看起来都成立，唯独现实不成立。

这才是复杂系统最令人不安的地方。重大事故很少由一个"坏人"单独造成，更多时候，是一连串在局部看来都合理的决定，共同把结果推向了没有人真正想要的方向。因此，高风险系统需要防范的从来不只是恶意，还有一种更隐蔽的东西：确信。

最难约束的权力，往往不是知道自己在作恶的权力，而是确信自己正在做正确事情的权力。

AI恰好在放大这种问题。模型越来越复杂，能力越来越难以完全预测，而系统演进的速度又远远快过传统制度形成共识的速度——等到共识出现，被讨论的那个版本往往已经过时。于是问题不能再被简化成"怎样保证创造AI的都是好人"，它必须被改写成一个更冷静的版本：

即使创造AI的人足够优秀、足够善良、足够负责，当他们判断错误的时候，还有什么能够挡住这个错误？

四、那么，谁来监督他们？

这个问题一旦被认真提出，最直觉的答案立刻浮现：政府。

但这个答案只要再往前追问一步就会遇到困难。谁来保证监管者真正理解正在监管的技术？谁来保证监管不会被政治周期与利益格局改变？谁来防止监管机构被行业俘获——尤其当行业本身正是资金、人才与算力的唯一来源？谁又来监督监管机构本身？

于是我们提出另一个答案：建立一个独立的AI安全机构，就像Hassabis所设想的那样。很好。那么谁来任命它的成员？谁来决定安全标准？谁来提供资金？谁来判断它的测试方法是否正确？一个由行业出资、需要在企业发布节奏中运转的机构，如何保持它被赋予的独立性？如果再设立一层机构来监督这个机构，问题也不过是向上挪了一格。

这正是"谁来监督监督者"这一古老问题最麻烦的地方：只要我们试图找到某个最终可信的主体，就一定还可以继续追问谁来约束它。所以，一个成熟的答案也许从一开始就不该是找到"谁"，而应该是设计"什么结构"。

司法体系并没有依赖一位全知全能的法官，现代公司治理也没有寄望于一位永远正确的董事长。成熟制度依赖的从来是不同权力之间的分离、制约、验证与互相否决：研究机构创造能力，独立机构测试能力，政府规定公共边界，企业决定商业部署，用户保留自己的选择权，外部研究者可以质疑结论，而技术系统则在最终执行时继续验证具体条件。每一层都可能出错，也都可能被另一层拦住。

真正可靠的治理，不是找到一个最值得信任的人，而是让任何一个人都不需要被赋予无限信任。

值得注意的是，在这条链条里，最后一环——技术系统在执行时的验证——恰恰是今天最薄弱、也最少被讨论的一环。

五、AI治理最后一定会从"监督模型"走向"监督执行"

今天谈论AI安全，大多数注意力仍然停留在模型本身：训练数据是否安全，模型有没有被越狱，能力评估是否充分，红队测试有没有发现危险行为，什么能力应该向谁开放。这些问题当然重要，几乎所有现行的治理提案也都围绕它们展开。但Agent的出现，正在让问题发生一次根本性的位移。

过去的AI主要输出信息，今天的AI正在逐渐获得调用API、操作计算机、提交代码、管理系统、发起交易，乃至影响物理设备的能力。当AI从"告诉人应该怎么做"变成"自己去做"，治理的对象也随之改变。因为一个模型通过了发布前的安全测试，并不能证明它未来的每一次具体行动都是正确的；一个模型整体上值得信任，也不能证明它在星期三下午三点、对某个特定账户发起的那一笔转账就应该发生；一个Agent获得了某项权限，更不能证明它此刻调用这项权限的条件依然成立。7月的那些事故之所以刺眼，正是因为出问题的并非模型的价值判断，而是它在具体环境中的一次具体动作。

于是，AI治理迟早会遇到一道新的边界：

我们不能只监督谁创造了能力，还必须监督能力每一次如何进入现实。

这是两件完全不同的事。监管实验室，治理的是能力的产生；限制模型，治理的是能力的拥有；审批Agent，治理的是能力的授权；而真正执行某一个动作，治理的是能力如何改变现实。越往后，风险越具体，也越不可逆——前三层出错还有回旋余地，最后一层出错，现实已经被改变了。

这意味着，未来真正成熟的AI治理，很可能不能只由发布前评估、政策、审批和人工监督构成。它最终必须回答一个更朴素的问题：当一个具体行动即将改变现实的时候，是否还存在最后一道独立判断？如果前面所有人都说"可以"，系统本身是不是仍然保留说"不"的能力？

这也许才是AI从工具走向基础设施之后，真正需要补上的一课。

六、我们需要监督的，最终不是某一群人

于是回到最开始的问题：AI时代，谁来监督创造AI的人？

答案也许不是政府，不是某个国际组织，不是AI公司内部的安全委员会，也不是另一群更加聪明的专家。这些力量都需要存在，且缺一不可，但没有任何一个应该成为最终答案。因为一旦把最终的安全寄托在某个绝对可信的主体身上，我们不过是把问题从一群人转移给了另一群人，而追问会在下一个路口原样等着我们。

真正成熟的治理，不应该继续寻找最后一个永远正确的人。它应该接受一个更朴素、也更让人踏实的前提：创造AI的人会犯错，监管AI的人会犯错，部署AI的人会犯错，使用AI的人会犯错，AI自己当然也会犯错。

于是真正的问题不再是"谁最值得我们信任"，而是：

当所有参与者都有可能判断错误时，我们能不能仍然设计出一个不会轻易把错误变成现实的系统？

这可能才是AI时代治理需要发生的真正变化：从寻找可信的人，走向建立可信的结构；从监督思想，走向约束权力；从判断谁可以做什么，进一步走向验证一件具体的事情此刻是否真的应该发生。

几千年前，人类就在追问：谁来监督监督者？AI并没有为这个问题创造出一个全新的答案。它只是突然让我们发现，这个古老的问题正在从政治哲学、公司治理和社会制度，进入软件、模型和每一次真实执行之中。

而我们最终真正需要监督的，也许从来不是某一个人，或者某一家公司，而是：

任何可以不受约束地把自己的判断变成现实的权力。