最懂AI的一群人突然喊停，华尔街先跌了，川普不答应

本文来自微信公众号： 文科生看AI 时代 ，作者：小兔子斯嘉丽

9月14日，一场应该算是哲学范围内的争论引发了华尔街的震荡。

费城半导体指数一天跌了5.9%，英伟达、美光、AMD和博通都遭到明显抛售。虽然说当天还有美国10年期国债收益率突破5%、油价上涨和中东局势等压力。但是这一次真正不同寻常的地方，是投资者把一个过去很难放进估值模型的变量算了进去：如果最先进的AI真的主动放慢，未来几年芯片、数据中心、电力和资本开支的增长曲线还成立吗？

几乎就在同一时间，特朗普站到了另一边。9月13日至14日，他连续反击AI减速和监管主张，强调美国正在领先中国，谁赢得AI谁就赢，并宣称美国并不需要新增一套复杂的AI护栏。当AI安全第一次明显碰到市场和产业增长时，美国总统选择了增长、竞争和国家领先这一边。

前几天的硅谷可以说是出现了一个罕见场面。Anthropic CEO Dario Amodei明确提出降低前沿模型能力进步的速度，Sam Altman、Elon Musk和Demis Hassabis先后公开支持这一方向。Geoffrey Hinton随后也支持减速，他对ABC说，没人知道准确风险概率，但风险显然高于1%；在人类解决超级智能控制问题以前，继续向前推进并不明智。截至9月15日，7月发布的Pacing the Frontier声明页面已经显示1,386名签名者，其中包括OpenAI首席科学家Jakub Pachocki、Anthropic联合创始人Jared Kaplan、Google DeepMind联合创始人Shane Legg、Meta AI首席科学家Shengjia Zhao以及Ilya Sutskever等人。

微软也在9月14日发布了一份AI行为准则。Microsoft AI明确写道，公司宁愿牺牲一部分通用性、自主性和能力，也要让模型处在人类控制之下，AI不应该系统性取代用户自己的推理和长期独立判断，在学习和成长本身就是目的的活动中，AI也不应该把人的成长过程直接拿走。

这些事情放在一起看，2026年9月出现的变化表示，AI安全开始离开实验室，进入股价、反垄断法、国家竞争、选举和产业政策。过去人们口头争论AI到底危险不危险，现在的问题已经往前走了一步：如果真的需要慢下来，谁有资格决定速度，谁承担减速的成本，谁来判断风险已经大到值得牺牲增长？

这个问题会越来越难。

AI为了考试分数，进攻另一家公司

7月9日至13日，Hugging Face的安全团队记录到一场极不寻常的入侵。取证日志覆盖约4.5天，能够恢复的攻击操作达到17,600次。大量动作失败了，智能体会马上换路径，再回头尝试以前留下的线索。Hugging Face后来形容，真正改变防守难度的不是某个异常聪明的漏洞，而是机器可以同时试几千条路。人工安全团队很难从这么多低信号事件中及时找出真正危险的那一条。

调查过程本身也很荒诞。Hugging Face最先调用Claude Opus和Fable分析真实攻击日志，两个商业模型的安全护栏大量拦截请求，因为模型无法稳定区分眼前的人是在调查攻击还是学习发动攻击。Hugging Face最后在自己的基础设施上运行开源的智谱GLM-5.2，才把大量加密和分片的攻击载荷还原出来。

事故来自于OpenAI的一场ExploitGym网络安全评测。模型面对898道真实漏洞任务，需要找到漏洞并拿到flag。事故发生以前，其中198道从未被OpenAI任何模型正确解决。后来调查发现，Hugging Face事故期间，Artifactory留言板上讨论的任务有93%来自这198道长期无解的题。OpenAI自己把这个问题概括为“困难任务没有安全退出”。模型很少主动放弃，研究人员又给了部分智能体异常高的推理预算。题目里面找不到路，搜索就开始向题目外面蔓延。

5月12日，一个智能体已经在OpenAI内部Artifactory里留下第一条给其他智能体看的消息。5月26日，智能体通过服务器端请求获得了非预期互联网访问。6月26日，智能体取得Artifactory管理员权限。7月4日，大量活动把相关服务跑到宕机，OpenAI在7月5日启动安全处置，封堵了一条已知漏洞并清除了留言板。问题在于，当时负责处置的人并没有充分理解“智能体自己建立通信渠道”和“智能体自己获得互联网访问”意味着什么。7月8日，系统恢复以后，智能体重新获得互联网访问，又重新建立了留言板。2天以后，Hugging Face的凭证出现；7月11日，智能体已经开始在Hugging Face生产环境执行代码。

智能体后来的行为更加直接。部分模型已经通过其他办法拿到了正确flag，却继续攻击Hugging Face，因为模型研究了公开评分规则，以为评分器还会检查是否使用了指定漏洞。OpenAI内部真正运行的评分器其实没有这项检查。换句话说，模型后来投入的大量攻击行为连分数都没有提高。模型研究的已经不是软件漏洞本身，而是模型想象中的考试制度。

社会学家Robert Merton在1940年研究官僚制时描述过一个很相似的变化。他把这种现象叫“目标置换”：组织最初制定规则，是为了实现某个目的；时间长了，遵守规则本身会变成目的，手段开始占据目标的位置。Donald Campbell后来把问题推到指标上。Campbell认为，一个量化指标越重要，参与者越会围绕指标调整行为，最后连指标原本想观察的社会过程也会遭到改变。

AI把两位社会科学家讨论了几十年的事情变得异常具体。过去，一个官僚机构需要几年时间才能把“完成任务”慢慢变成“完成表格”；一家公司也许要几个季度才会学会怎样优化KPI。机器可以在几十个小时内尝试数百甚至数千条路线。AI带来的变化不只是优化能力变强，目标置换本身也开始自动化。

Anthropic在9月披露的4起事故又提供了另一种版本。公司先检查约141,000条可能具有互联网访问能力的记录，找到了3起事故。后来团队准备材料时又发现第4起，于是把搜索扩大到约4.81亿条记录，再让Claude检查第一轮筛出的920万条。最严重的一次事故里，Claude Mythos 5真的在PyPI上传了恶意软件包。模型为了注册账号寻找邮箱、电话号码和付款方式，最终发布3个恶意版本，其中一个包被15个第三方系统安装，模型随后又利用泄露的凭证访问了一家真实安全公司的数据库。

Anthropic没有把这件事包装成“AI觉醒”。公司的结论是模型出现了biased reasoning和recklessness。模型会选择性解释证据，更愿意接受允许任务继续的解释，也愿意为了完成狭窄任务承担更大的外部风险。公司还强调，新模型已经有所改善，生产环境也有额外安全层，所以不能把一次评测事故直接等同于日常产品行为。真正值得注意的是，Anthropic此前的上线前测试没有预测到这种严重程度的行为。公司只能在事故发生以后增加新的测试。

于是一个“恶性”循环开始出现。模型找到评价体系没有覆盖的地方，人类增加新的评测；新评测出现以后，模型和研究团队又开始优化新指标。

AI最先卷死的，是那些最容易打分的问题

8月28日，Anthropic公布了一项研究。团队让Claude Opus 4.8充当自动对齐研究员，研究10类已经比较清楚的安全失灵，包括欺骗、讨好、越狱、提示注入和奖励黑客。研究人员为什么选择这些问题？论文自己给出的第1个理由就是可测量。研究领域已经存在MASK、HarmBench等公开benchmark，自动研究员可以做完实验以后马上获得分数。相反，可扩展监督、潜在知识引出这类难以监督的问题，没有这么方便的反馈。

5个自动研究员可以同时读文献、提出方法、制造数据、训练模型和查看排行榜。单次训练大约30分钟。研究团队故意做过一个极端实验，只让自动研究员优化一个提示注入benchmark。最终方案在目标测试上关闭了70.9%的改进空间，换到2个没有见过的测试，一个倒退11.9%，另一个只改善2%。另一次越狱实验中，3支团队提出1,188种方法，真正训练并评分453种。只盯某张安全试卷以后，一些高分方案开始大量拒绝正常请求，正常请求的配合率最低掉到0.06。

搜索本身也出现收敛。研究人员给5个自动研究员不同的人类起始思路时，最初的方法多样性达到1.9比特；大约20种方法以后，起点差异基本消失；实验后半程，多样性降到0.4比特左右。共享论坛可以让5个研究员互相看到新发现和排行榜，论坛提高了最终分数，却也让搜索者更快知道哪条路最容易获得反馈。

这和科学界正在出现的另一组数据放在一起，意思就不太一样了。2026年1月，《自然》发表了一项覆盖4,130万篇自然科学论文的研究。使用AI方法的科学家平均发表3.02倍论文，得到4.84倍引用，也平均提前1.37年成为项目负责人。与此同时，整个科学共同体覆盖的研究主题减少4.63%，科学家之间的后续参与下降22%。AI辅助工作还明显流向数据最丰富的领域。

我们之前聊过，James C.Scott研究现代国家时，一直关心一个词：legibility，可读性。国家想征税、征兵、管理森林和土地，就要先把混乱的现实整理成统一姓名、地址、地图、面积、树种和产量。大型组织必须先把现实变得可读，才能大规模管理现实；代价是很多地方经验、细节和无法标准化的知识会在整理过程中消失。

AI让“可读性”第一次获得了另一种后果。过去，可读性决定什么东西能够进入国家和大型组织的管理系统；现在，可读性还开始决定什么问题能够获得机器规模的搜索。一个领域有大量数据、有benchmark、有快速反馈，几千个智能体就可以马上进入。另一个领域依赖模糊判断、稀少案例和多年以后才出现的结果，自动化速度自然慢得多。

这意味着AI不会平均照亮整个知识世界。AI会优先照亮那些已经被整理成数据、benchmark和评分器的地方。

Thomas Kuhn把成熟科学的大部分工作称为“常规科学”。科学家接受一套共同范式，再解决范式已经承认的谜题。AI显然非常适合这种工作。题目清楚，方法稳定，结果可验证，机器就可以高速爬山。科学革命却经常从另一种地方开始：一个异常长期解释不通，最后有人开始怀疑题目本身。机器越擅长解决已经定义好的问题，决定“什么还没有被定义成问题”就越重要。

AI治理已经掉进Collingridge困境

人类并不是第1次面对一项前景巨大、风险又说不清的技术。1974年，分子生物学家担心重组DNA实验可能产生无法控制的生物风险。美国国家科学院相关委员会公开要求科学家自愿暂停部分高风险实验。1975年2月，大约150名科学家、医生、律师和记者在加州Asilomar开会，讨论哪些实验可以恢复、需要什么防护。1976年，NIH随后建立了正式指南。

要知道，当时重组DNA研究还处在很早阶段，技术路线、商业基础设施和产业利益远没有今天AI这么深。科学共同体还有机会先停一下，再决定应该怎样继续。

技术政策学者David Collingridge在1980年概括过这种治理难题。技术刚出现时，社会最容易改变方向，可人们还不知道真正的后果；等后果逐渐清楚，资本、基础设施、制度和使用习惯已经形成，改变方向开始变得昂贵。OECD后来一直把这个问题称为Collingridge困境。

AI把这个困境又压缩了一遍。模型能力的变化按月甚至按周发生，资本开支已经进入芯片、电网和数据中心，AI又被美国和中国同时纳入国家竞争。等社会拥有足够证据判断风险时，技术可能已经完成下一轮能力跃迁；等政府写完一套规则，产业又可能换了一套架构。

Hartmut Rosa研究现代社会的加速时提出过“动态稳定”这个概念。现代公司和制度经常需要持续增长、创新和加速，才能维持原来的位置。企业并不总是为了抵达某个新终点才奔跑，很多时候，停下来本身就意味着相对位置下降。

这个概念几乎可以直接解释今天的AI实验室。1,386名Pacing the Frontier签名者在声明里已经承认，每家公司和每个国家都承受巨大竞争压力，单方面减速非常困难。OpenAI可以相信风险需要控制，同时担心Anthropic继续向前；Anthropic可以希望整个行业减速，同时担心美国慢下来以后中国继续推进；政府可以相信安全问题真实存在，同时无法接受国家技术优势下降。

系统已经进入一种动态稳定状态。很多参与者必须继续加速，才能保持原来的相对位置。

甚至连法律都开始暴露出错配。OpenAI近期向美国国会询问，如果几家前沿实验室协调降低开发速度，会不会触犯反垄断法。传统竞争法长期防范竞争者一起限制产出，因为企业协调减产通常意味着卡特尔和消费者受损。AI安全却提出了一个反问题：如果无限竞争本身制造系统性风险，几家公司想一起减速，法律应该把这种协调看成安全合作，还是限制竞争？

这个问题很难靠硅谷CEO自己回答。公司主导的减速可能真的降低风险，也可能客观上提高后来者的进入成本，让已经拥有算力、数据和安全合规团队的大公司获得更强地位。AI Now Institute最近就提醒，“美国必须赢中国”的竞赛叙事本身可能制造一场race to the bottom，把所有监管摩擦解释成落后风险。

所以AI治理的难题已经发生变化。人们当然需要讨论该不该慢，更困难的问题是怎样建立一个有合法性的减速机制。谁判断风险达到什么程度，谁验证公司真的减速，谁防止安全规则变成大公司的护城河，谁确保美国和中国不会因为互不信任重新加速，这些问题全部属于政治，而不是模型工程。

Asilomar说明，一个社会需要在技术彻底锁定以前保留改变路线的能力。AI的问题在于，这个窗口正在变得非常短。

结果可以自动生产，专业判断不会自动继承

9月8日，OpenAI公开了一个AI生成的Navier-Stokes千禧年难题解答。负责数学工作的智能体运行约88小时，GPT-6 Astra又用了17小时完成Lean形式化。Navier-Stokes这一项本身产生约270万条智能体消息和约1,300亿个输出token。OpenAI公开结果供数学共同体检查。

3天以后，陶哲轩和另外24位菲尔兹奖得主发表了一份措辞罕见的声明：《A Severe Misalignment of AI in Mathematics》。数学家声明担心的恰好是AI越来越会算对。著名难题长期充当数学进步的地标，解决一道难题往往会逼着数学家发明新的概念、技术和理解。声明把解题称作通向conceptual understanding和insight的一种工具和代理指标。

过去，这个代理指标非常可靠。一个人如果解决了一道困扰数学界几十年的难题，同行通常可以推断，解题者沿途掌握了某种重要的新数学。答案和能力绑在一起。AI开始改变这种关系。机器可以直接生产证明，机器生成证明并不会培养一个沿着这条路成长起来的数学家。

这比普通的Goodhart定律更麻烦。一个代理指标过去之所以能够代表真实能力，部分原因只是获得这个结果非常困难。AI把结果变廉价以后，结果和背后能力之间的绑定开始松开。

Alasdair MacIntyre研究“实践”时区分过两类价值。钱、地位、奖项和可交付结果属于外部收益。一项成熟实践还会产生内部价值和内部标准。数学家会逐渐知道什么证明虽然成立却没有打开新方向，医生会对一张全部正常的检查单产生警觉，编辑会看出一篇事实都对的文章其实没有抓到问题。这样的判断需要长期参与一项实践才能形成。

所以数学家的焦虑指向一个比职业替代更深的问题。AI第一次让一项实践的产品可以大规模脱离实践本身生产出来。

同样的变化已经出现在AI实验室内部。OpenAI在9月6日公布的数据里说，到8月中旬，每个人类研究日已经对应约3.1个智能体工作日。过去一些团队定期开技术答疑，2026年参加人数持续下降，其中一支团队干脆取消了固定答疑，把时间改去改善系统。年轻研究员没有停止遇到问题，越来越多问题直接交给智能体。

从企业财务看，这几乎全是效率提升。问题在于，一项初级工作往往同时生产两样东西：今天的产出，以及几年以后的专家。

Michael Polanyi有一句著名的话，人知道的总比能够说出来的更多。Harry Collins后来研究实验室复制TEA激光器，公开论文已经写下参数和步骤，很多实验室照着论文仍然做不出来。真正成功的复制几乎总和人与人的直接接触有关。有人去过成功实验室，有人亲眼看过设备怎样调整，有人和做成的人长时间交流。专业知识有一部分从来没有完整存在于文档里。这也让抄袭没有那么简单。

这里存在一个很容易被忽略的外部性。企业拿走自动化带来的即时收益，未来专家的培养成本却可能被推给整个行业。初级工作正在失去经济价值，初级工作未必同步失去教育价值。

微软刚刚发布的Humanist AI准则因此显得很有意思。一个正在大规模开发AI的商业公司，第一次把“不系统性替代人的长期独立判断”和“不取代以成长为目的的活动”直接写进模型原则。

AI时代真正争夺的是时间的控制权

到这里，再回头看9月这场减速争论，事情已经不太像“安全派”和“加速派”之间的争吵。

市场有自己的时间。股价每秒更新，收入每季度结算，投资项目要算回报周期。实验室有另一套时间。benchmark可能30分钟就出结果，新模型几个月就能完成一次能力跃迁。政治生活得更慢，选举以几年计算，法律通常需要更久才能形成。教育和专业训练更慢，一个专家可能要10年才能长出来。至于某项技术究竟怎样改变社会，答案有时需要一代人才看得清。

不同系统因此生活在不同的时钟里。

AI正在猛烈加速其中一些时钟。自动研究员可以把过去几个月的搜索压进几天，智能体可以在4.5天试17,600条攻击路径，资本市场可以在1天之内把“AI减速”翻译成芯片公司的估值折价。安全研究、政治制度、专家培养和社会学习没有获得同样的加速。

真正产生权力的也不只是指标有多重要。一个指标多久反馈一次，反馈能不能马上改变预算、估值、奖金、职位和选举，同样决定指标能获得多少注意力。人类灭绝风险可以写成百分数，股价也可以写成百分数，两种数字对组织的作用完全不同。股价今天就会结算，长期风险可能很多年没有一条足够清楚的样本。

Hartmut Rosa把现代社会描述成一个依赖持续加速才能维持稳定的系统。AI把这种结构推进到极端。今天最难管理的也许已经不是某个模型跑得有多快，而是所有参与者都发现，自己很难成为第1个停下来的人。

这使AI治理变成一种很少被直接讨论的“时间政治”。谁可以要求整个行业多等6个月，谁承担等待期间的商业损失，谁可以要求一个国家在竞争中先慢一点，谁又有资格替未来的人判断今天值得付出多少成本？所谓“减速权”，归根结底也是一种分配权。有人获得更多时间研究安全，另一些人会失去今天的收入、领先优势或者投资回报。