孙占卿：智能体治理，如何回应社会结构与秩序的重构？

本文来自微信公众号： IPP评论 ，作者：孙占卿

导语：智能体正走出聊天窗口，迈向现实场景。据报道，印度正在筹备一套智能体支付框架，允许用户在预设规则下授权AI代理完成部分数字交易；随着AI开始介入商品搜索、选择乃至支付，英国零售商John Lewis等企业也在调整经营方式，以适应AI“代理购物”的兴起。与此同时，华尔街多家大型银行已开始将智能体用于客户服务、财富管理和企业财资等业务，越来越多企业也在把智能体嵌入工作流程，让其承担过去主要由人工完成的任务。AI正在由“提供答案”走向“代人行动”，人与技术、技术与组织乃至技术与社会之间原有的关系都将发生深刻变化。

8月26日，比尔·盖茨在博客中直言，世界尚未为AI时代做好准备，现有机构并不是为一种“扩散如此迅速、触及生活如此多领域”的技术而设计，并主张建立新的治理框架。在他看来，人工智能转型可能成为人类历史上最动荡的时期之一。

IPP特约研究员孙占卿认为，当认知、判断和行动能够被低成本复制、规模化展开，组织权力、能力价值和社会关系都可能随之重组。更难察觉的是，许多风险会在正常、合规甚至提高效率的应用中慢慢累积。这种渐进式的秩序变化如何发生，现有风险框架又能否解释，正是本文讨论的核心。

本文作者

孙占卿

广州市社会科学院城市文化研究所副所长、IPP特约研究员

8月底，比尔·盖茨在一篇讨论人工智能未来的长文中坦言，世界并没有为即将到来的人工智能时代做好准备。[1]值得注意的是，2023年他曾援引汽车、计算机和互联网的发展历史，强调人工智能风险虽然真实，却仍然可以管理。

8月26日，比尔·盖茨在个人博客Gates Notes发文指出，即便在最理想情况下，迈向AI时代的转型也将成为人类历史上最动荡的时期之一。

如今，风险讨论的重心已经发生变化：人们关注的已不止于模型是否可靠、个别职业是否会被替代，更在于社会、政治和经济结构能否承受一场扩散速度远超以往技术革命的全面转型。

智能体的大范围应用使这一担忧更加迫切。与受到身体、时间、身份、声誉和责任约束的人类行动者不同，智能体可以跨场景部署，并把原来依附于人的部分认知和行动能力，转化为可编程、可复制、可组合和可动态编排的技术资源。

人工智能革命的独特之处，不是像工业革命那样主要“生产更多东西”，而是使过去稀缺、昂贵且高度依赖人的认知与行动能力，能够被低成本调用和规模化扩展。而与此同时，社会对这些行动进行识别、吸收、裁决、追责和修复的能力，却仍主要按照人类行动的速度、成本和责任结构配置。

对我们而言，如果只把生成式人工智能理解为效率工具、岗位替代因素或新的系统安全对象，很可能低估它对社会秩序的影响。当人工智能加速进入社会的组织、制度和运行机制，仅靠防止智能体越权的软件护栏，或增设若干监管岗位，显然是不够的。更重要的是在技术高速演进过程中为社会系统升级“变速箱”，重新认识行动主体、行为逻辑、制度容量和公共价值。

一、从认知生成到行动代理：人工智能对社会的系统性影响

OECD在一份报告中指出，生成式人工智能已经开始呈现通用技术（General-Purpose Technology，GPT）的典型特征：可以跨行业、跨领域应用，技术性能能够持续改进，并能催生大量互补创新。[2]

2000—2023年全球生成式人工智能专利数量（按应用领域划分）。生成式人工智能的应用已覆盖软件、生命与医学科学、商业解决方案、工业制造、金融、教育、交通等多个领域。图源：OECD

然而，“通用技术”只能说明它为什么可以广泛扩散，还不能完整说明它作为新一代通用技术究竟“新”在哪里。与蒸汽机、电力和计算机相比，人工智能扩展的不只人的体力、运输能力和信息处理速度，而且还越来越多地进入认知、判断、协调和行动环节。尽管人工智能无法像人一样承担道德和法律责任，人类事实上已经开始把具有制度后果的认知功能、判断功能和行动权限交给人工智能系统。

这种变化同时作用于社会秩序的数量基础、价值基础和关系基础，主要表现为三种相互关联的结构性影响：代理性行动单元大量增加，而可规模化行动能力可能向少数组织和平台集聚；部分传统能力的稀缺程度下降，社会价值、职业地位和权力发生“稀缺性迁移”；“人—人”关系开始同“人—智能体”、“人—组织智能体”以及“智能体—智能体”关系并存。

（一）组织结构重构：行动主体扩量，权力却集聚

智能体首先改变了社会行动的规模和组织方式。过去，一个人一次只能完成有限数量的咨询、申请、谈判、交易和沟通；组织要扩大行动规模，通常必须增加成员、延伸管理层级，并承担更高的协调成本。智能体则使一名员工、一个小型团队或者一家企业，可以同时调用大量数字行动单元，持续处理信息、联系对象、提出请求和执行操作，组织行动能力由此不再严格按照成员数量同步增长。

麦肯锡对“智能体型组织”的研究，把人类能力与人工智能能力的重新组合视为新的组织范式，强调组织的关键不是拥有更多智能体，而是围绕共同情境和预期结果，对人、智能体、数据和专业能力进行编排。[3]

德勤也把这种变化概括为能力与容量的重新配置：过去稀缺的部分能力开始广泛可得，组织优势越来越取决于能否实时重组人员、技能、数据与技术。[4]

智能体型组织将推动商业模式、运营模式、治理、人才与文化、技术与数据五个方面的组织变革。其中，传统组织架构将逐步转向更扁平、流动的网络，智能体更多参与实时决策与工作流程。图源：麦肯锡公司（McKinsey&Company）

这会形成“多节点、少中心”的行动结构：微观上，行动执行日益分布化；宏观上，目标设定、数据来源、模型能力和行动控制却可能高度集中。表面上，社会中的行动节点变多了；实质上，少数主体的行动触角更长，目标和判断的来源反而可能更加集中。智能体扩散因而可能使分布式执行与集中式控制同时增强。

（二）稀缺性迁移：能力价值、职业地位与社会分层重组

生成式人工智能带来的效率提升，并不意味着社会进入“无稀缺时代”，而是意味着稀缺性发生迁移。社会结构在很大程度上围绕稀缺资源形成。专业知识难以获得，因而专业人员具有较高职业地位；组织协调能力昂贵，因而大型企业拥有超出个体的行动能力；高质量信息难以收集和分析，因而掌握数据、知识和人才的机构更具优势。

人工智能使部分知识生产和常规执行能力趋于充裕，同时提高了真实情境、问题定义、专业判断、价值选择、组织协调、责任承担、社会信任和公共合法性的相对稀缺程度。

当答案可以批量生成后，高质量提出问题的能力就变得更加重要；一般知识可以随时调用后，理解组织历史、地方经验和现实约束的情境能力便会更具价值；可行方案增多后，选择何种方案、接受什么代价、优先保护谁的利益，仍属于规范性判断；行动能力扩展后，把人、智能体、数据和资源围绕共同目标有效组合的能力更为关键；建议和操作日益充裕后，谁有资格作出最终判断、公开说明理由并承担责任，也会成为更稀缺的社会资源。

因此，人工智能不是简单消除稀缺，而是在重新对资源的稀缺性估值。它既重新排列“什么能力更有价值”，也将进一步改变哪些岗位获得收入、哪些组织取得权力，以及哪些主体拥有定义问题和作出最终判断的资格。

（三）关系形态扩展：从人际互动到多重代理关系

智能体的大量应用还会改变社会关系的基本形态。传统社会关系通常建立在几个共同条件上：交往双方具有相对稳定的身份，沟通需要付出时间和注意力，承诺会形成声誉成本，行动可以追溯到具体主体，持续关系则包含互惠、情感、信任和责任期待。

智能体介入以后，社会将长期存在四种相互交织的关系：人工智能中介下的“人—人关系”；个人将学习、咨询、陪伴、信息判断和部分决策交给机器的“人—智能体关系”；消费者、员工和公民面对代表企业或政府行动的“人—组织智能体关系”；以及申请、筛选、报价、谈判、审核、支付和信息交换主要由双方代理完成的“智能体—智能体关系”。

人与人工智能协作的四种模式。根据人类介入程度与智能体参与深度的不同，人与人工智能的协作可分为委托、协作、询问和探索四种模式，反映了人工智能从辅助工具向可承担任务的行动主体转变。图源：微软《2026年工作趋势指数》

这些关系形态不必然构成风险。智能体可以降低沟通成本、改善服务可及性，并帮助表达困难者维护权利。但新的机器代理规则不可能一蹴而就。在相当长的时期内，法律、职业伦理和社会规范仍主要按照人与人直接行动的方式设计，越来越多实际互动却已经由机器以个人、组织或者平台设定的方式完成。新旧关系规则的交叠，将成为风险集中产生的重要背景。

二、从能力扩张到秩序超载：生成式人工智能的三重结构风险

制度适应速度跟不上技术能力扩张，上述结构性影响可能沿行动密度扩张、稀缺性迁移和秩序过渡等路径叠加，形成系统性风险。

（一）制度容量承压：自动筛选与表达算法化

衡量智能体影响，不能只看智能体数量，还要考察智能体行动密度，即一定社会领域中机器代理性行动的数量、频率、并发程度、持续时间、权限强度、连接范围和行为相关性。一万个只能整理内部文件的智能体，与一万个能够发起支付、进入公共服务系统或者进行大规模传播的智能体，具有完全不同的社会影响；采用不同判断逻辑的智能体，与共享同一模型、同一绩效目标的智能体，也具有完全不同的共振风险。

智能体行动密度上升，首先会冲击制度容量。传统制度的处理规模，部分建立在人的行动成本之上。例如，提起诉讼需要准备材料，提交行政申请需要付出时间，参与谈判需要持续投入注意力。这些成本并不都具有正当性，其中一些理应通过数字技术降低；但它们客观上限制了行动数量，使行政、司法和市场制度可以按照相对稳定的流量配置资源。

智能体显著降低行动成本以后，制度面对的就不再是普通业务量增加，而是发起行动的成本结构发生变化。自动申请、自动投标、自动应聘、自动申诉和自动谈判可能形成持续流量。即使每一次行动都符合法定形式，其总量也可能超过制度的识别、验证和裁决能力。

在“百万英才汇南粤”2026年春季大型综合招聘会现场，应聘者在智能设备上查询岗位信息、优化简历。图源：新华社

制度通常不会立即崩溃，而是在拥堵、扭曲之后进入“选择性”运转。结构清晰、字段完整、容易自动验证的诉求更容易通过审核；复杂、模糊、需要情境理解和人际沟通的事项，则更可能被延迟或排除。由此可能形成“机器可读者优先”的新不平等：拥有高质量智能体的组织和个人，更容易把诉求转换成机器可以识别、制度可以快速处理的形式；缺少技术能力、表达能力较弱或者生活处境复杂的人，则更容易被标记为异常、高成本和低优先级对象。形式上的程序平等，可能被实际行动容量的差距逐渐掏空。

（二）稀缺性迁移—职业再定价、能力断层与行动权集中

稀缺性迁移具有双重效应。一方面，它能够降低知识和专业服务的获得门槛，使更多人拥有过去难以取得的分析、表达和行动能力；另一方面，在旧能力贬值、新能力尚未普遍形成的过渡阶段，职业地位、人才培养、财富分配和组织权力可能出现明显失衡。

第一，权威的基础可能从“拥有知识”转向“行动能力”，传统知识生产者的角色可能没落。未来，一般知识可以被广泛调用，行动者兼具分析、判断、决定和承担责任的全链条职能，凭借理解复杂情境、识别例外、整合冲突性证据，并对判断承担责任的能力而成为社会权威。而传统知识生产者则面临能力传导链失效的尴尬境地。

第二，人工智能能力拥有者与普通使用者之间可能形成新的分层。真正的差距不只是“会不会使用人工智能”，而在于能够调用何种模型、获得什么数据、部署多少智能体、连接哪些系统、掌握多大现实权限，以及是否拥有自主编排能力。人工智能既可能普惠部分认知能力，也可能把更高层次的行动控制权集中于少数平台、大型组织和高能力群体。

第三，认知场景消失，专业成长链可能被切断，专业成长变成少数人的机会。初级工作不仅用于完成任务，也用于培养经验、形成判断和理解异常。为削减成本，这些任务被整体交给人工智能，形成“高级判断更加稀缺、初级训练机会反而减少”的悖论。年轻人可能要像前几年的孩子报名学习马术和高尔夫一样，投资参与初级场景的学习和训练。

上海开设的人工智能实操课程。图源：新华社

第四，随着部分工作内容被人工智能替代，劳动者在社会分层中的位置也可能被重新定价。多数工作未必整体消失，但工作内容、晋升路径和职业价值可能明显变化，也会影响劳动者能否从转型中获益。

人工智能首先改变“什么能力稀缺”，继而改变社会如何分配收入、声望、行动权和最终判断资格，并使社会在新旧价值结构转换过程中出现职业贬值、能力断层、权力集中和分配失衡。

（三）错位与过渡：身份、责任、速度、规范与合法性

人工智能重塑社会关系的风险，并不只是人对机器过度依赖，还在于机器成为社会行动的代理者以后，身份、代表、规则、责任、信任和合法性之间原有的连接方式会被重新安排。在人类交往规则与机器代理规则尚未完成衔接的时期，社会将出现“双重秩序过渡”：旧制度仍以人类行动为标准，新实践却越来越按照机器规模和机器逻辑运行。

这种过渡至少会产生七种典型风险：

一是身份和代表关系错位。身份不只是技术认证问题，还涉及它究竟代表谁、可以作出何种承诺以及授权何时失效。

二是责任错位，行动权已经部分机器化，责任结构仍然沿用传统岗位逻辑。行动由机器完成，责任制度却仍然要求一个具体的人承担；组织中的个体要为智能体结果负责，却未必拥有足够的信息、权限和判断时间。

三是速度错位，程序平等可能演变为实质上的行动不对称。一方借助智能体以机器速度发起请求、谈判、传播和法律行动，另一方仍然以人的速度阅读和回应。

四是规则错位，人机之间存在难以完全明文的偏差。例如人际交往受到礼貌、克制、情感、互惠和声誉约束，智能体更倾向于把规则表示为目标、参数和禁止项。许多没有写入正式制度、却对社会关系至关重要的非正式规范，未必能够自然进入机器行动逻辑。

五是关系责任外包带来的信号失真。过去一封精心准备的求职信、一次持续的沟通，往往显示行动者投入了时间、注意力和承诺。当这些信号能够被低成本批量生成后，这些信号就不再具备原来的含义。

六是社会信任平台化。智能体时代社会交往需要对对方进行责任能力判断，这就越来越依赖平台完成身份认证、信誉评估和争议裁决，社会信任由人际历史和公共制度部分转移到私有技术系统。

七是技术取代公共讨论，形成新的合法性权威。如果新的代理关系已经形成，旧法律和专业规范却无法完整解释，而新规则又尚未成熟。此时最可能出现的情况不是完全没规则，而反倒可能由技术标准、平台协议和流程先填补空白，造成公共讨论缺位，技术和平台垄断权威的情况。

这些风险表明，智能体带来的关系变迁并不是简单增加一种交互界面，而是在新旧秩序转换期间带来大量的错位和链路阻断。

（四）三重风险汇流：分布式、低烈度和自强化的秩序重构

行动密度上升、稀缺性迁移和关系重构，并不是三种彼此平行的风险。它们在多个组织、平台和制度中同时发生，经由链条式、低烈度的积累，推动旧秩序逐渐向适应人工智能的方向重构。

其基本过程可以概括为：人工智能降低认知与行动成本，推动人工行动密度上升；制度为处理高密度行动而增加自动筛选机制；机器可读性、算法优化和智能体编排因而变得更有价值；个人和组织进一步适应机器标准；由此形成的新数据和新行为，又强化了人工智能在社会运行中的中心地位。

这一过程具有分布式、低烈度、累积性和自强化循环等特征。风险不一定通过一次重大事故突然显现，而可能在局部效率提高、规则形式合规和制度仍然运转的情况下，逐步改变社会的行动结构、价值结构和关系结构。它所提出的问题，远不只是“如何防止人工智能发生事故”，而是规模化的机器认知和行动将把社会秩序推向何种形态。

三、从风险单元到行动生态：经典风险框架的解释边界

目前已经有越来越多研究者注意到人工智能风险的复杂性，但总的来看，多数风险观察仍然停留在“单元范式”下，而生成式人工智能跨时代的认知——行动一体化以及能力规模化，正在把风险扩展到开放、动态且边界不断变化的人工行动生态之中。

（一）存在性风险：看见极端终局，难解释日常积累

技术——文明风险视角把人工智能提升为文明级问题，常以类似《终结者》的图景呈现危险：未来超级智能获得超过人类的通用能力，继而因目标错位或者争夺控制权而摆脱约束，最终造成人类永久失权乃至文明终结。

这一范式的重要贡献，是提醒社会不能只根据当下便利评价人工智能，也必须考虑低概率但不可逆的极端后果。人们通常把未来超级智能视为主要风险主体，以关键能力跃迁为风险转折点，因而容易忽略另一种更渐进的可能：智能体不需要具备意识或超人能力，只要能够低成本持续执行局部任务，就可能在正常应用中改变劳动分工、组织责任、市场信号和公共沟通。这一范式也难以解释普通智能体如何在日常运行中积累结构性影响。

2023年11月，首届全球人工智能安全峰会在英国布莱切利园举行，前沿人工智能可能带来的重大和灾难性风险成为国际AI治理的重要议题。

（二）系统安全风险：突破线性故障观，仍以有界系统为对象

查尔斯·佩罗（Charles Perrow）的“正常事故”理论突破了单一部件故障的线性思维，以复杂互动和紧密耦合解释高风险系统中的局部问题为什么可能意外组合。南希·莱文森（Nancy Leveson）进一步把安全理解为社会—技术系统的涌现属性，将技术设备、操作者、管理者和监管机构纳入控制结构，强调事故可能来自安全约束没有得到持续、有效实施。

图中以水坝、电网、核电、航天任务、制造业、医院和社会等为例，展示不同系统在“复杂度—耦合度”上的差异，其中复杂且紧密耦合的系统具有更高的灾难性事故潜在风险，比如核电。

这些理论比传统可靠性工程具有更宽广的视野，也仍是分析具体人工智能系统的重要工具。但它们通常需要分析性地划定系统边界，识别系统目标、不可接受损失、危险状态、控制结构和安全约束。无论边界画得多大，其基本问题仍是：一个相对可界定的社会——技术系统如何保持安全。

生成式人工智能特别是智能体提出了不同层次的问题。模型把开放性的认知生成能力同软件工具、数据系统和现实权限结合，形成“认识—判断—行动”的连续链条。人工智能的判断不仅描述环境，而且能够直接改变环境；被改变的社会现实又成为下一轮模型判断和行动的输入。系统边界因持续连接新的数据、工具、组织和智能体而不断扩展，环境也逐渐成为技术行动参与制造的结果。

更重要的是，许多风险并不来自某项局部行动本身不安全，而来自大量局部合理、甚至满足各自安全约束的行动在数量、速度、相关性和跨域连接上的聚合。一个自动申请可能完全合规，百万次同类申请却可能造成制度拥堵；一个筛选模型可能符合组织要求，多个机构使用相同模型却可能形成相关性排斥。问题因而从有界系统中的约束失效，推进到开放行动生态中的秩序生成。

（三）算法伦理与数字权利：能够识别个体损害，难捕捉聚合后果

算法伦理、数字权利和网络安全研究分别把注意力集中于歧视、隐私、操纵、攻击、知识产权和责任问题。这些研究对于保护个体权利不可或缺，也促使开发者和部署者承担更加明确的责任。

但它们通常仍以一个模型、一次决定、一个应用场景、一个开发者或者一类受影响群体为基本单元，擅长判断某项决策是否公平、某次数据处理是否合法、某个系统是否遭受攻击，却较难分析“单体合规、总体失序”的风险。当每一项行动单独看来都合法、影响也十分有限，但同类行动的规模和相互作用已经改变制度功能时，以个案损害为中心的框架往往难以确定风险发生在何处，也难以找到唯一责任主体。

（四）风险单元化范式的共同盲区：无法解释秩序如何被渐进改写

上述理论看似分属不同领域，却往往共享一种“风险单元化范式”：先预设一个可识别的风险单元，再围绕这一单元重建因果、责任和控制措施。风险单元可以是一个超级智能、一个复杂系统、一个模型、一次决定或者一个行为人。

这种框架难以充分解释一种新情形：每个模型都通过评测，每个智能体都在授权范围内行动，每个组织都履行了现行义务，每一次决定单独看来也没有造成重大损失；但大量行为叠加以后，招聘市场失去有效信号，公共机构被自动生成的申请和申诉占满，社会越来越难核验文本、身份与证据，复杂个案被自动分诊系统持续排除。

此时，没有一个明确“失控”的超级智能，也没有一个可以被单独隔离的事故系统。风险发生在系统之间、层级之间，以及组织、平台和制度相互作用所形成的空白地带。它的基本单位不再是一个封闭系统或者一次损害事件，而是人、模型、智能体、组织、平台、规则和受影响者共同构成的人工行动生态。

生成式人工智能带来的理论挑战正在于此：认知生成与现实行动一体化，使模型的表征可以直接进入社会过程；能力规模化，使局部行动可以被低成本复制；跨组织、跨行业部署，使行动边界持续扩张；递归反馈，又使技术改变的社会成为下一轮技术判断的输入。当系统边界由行动不断重新划定、社会环境成为技术行为的内生结果、正常状态本身也在技术扩散中持续变化时，问题就已经从“一个系统如何保持安全”，推进到“机器规模的认知和行动如何重构社会秩序”。

参考文献：

[1]Bill Gates：The turbulent AI era is here.The choices we make now are critical，https://www.gatesnotes.com/a-turbulent-ai-era-and-critical-choices-to-make。

[2]OECD：Is generative AI a General Purpose Technology?https://www.oecd.org/en/publications/is-generative-ai-a-general-purpose-technology_704e2d12-en.html。

[3]The agentic organization:Contours of the next paradigm for the AI era，https://www.mckinsey.com/capabilities/people-and-organization/our-insights/the-agentic-organization-contours-of-the-next-paradigm-for-the-ai-era

[4]The orchestration advantage：AI can enable quick intent-to-action.But turning speed into competitive advantage will likely come from learning to orchestrate capabilities and capacity in real time.https://www.deloitte.com/us/en/insights/topics/talent/human-capital-trends/2026/orchestrating-for-agility.html