扫码打开虎嗅APP
本文来自微信公众号: AGENT橘 ,作者:AGENT橘,原文标题:《从烧脑神书 GEB 到 Agent 的自我意识》
昨天看完烧脑神书GEB(哥德尔、埃舍尔、巴赫)的讲解,后劲儿有点大,今天早晨又消化了一遍,做成了这篇笔记。
这本书是谢赛宁在张小珺的播客里推荐的,它就像一个黑洞,一旦进入就会被高密度信息轰炸,很难逃脱。
全书从数学、生物学、绘画、音乐、禅宗、人工智能等多个领域出发,层层递进地推导出一个重要结论:
自指如何产生意识。
当一个系统复杂到能谈论自身,意识就不是奇迹,是必然。
不需要灵魂,不需要神秘力量。只要复杂度到了,自我就涌现了。
这本书是候世达在1979年写的,那时候还没有Transformer还没有LLM,他却精准地预测了这种地下而上的神经模式才能涌现出智能。
但这本书非常复杂非常烧脑,要理解这本书理,我们只能从头开始讲。
-p-q--
这行符号有意义吗?没有。但如果横杠代表1,p代表加号,q代表等号,它就变成了1+1=2。
两个完全不同的系统,结构完全对应。候世达叫它同构。
你的眼睛接收到的是光波。没有颜色。颜色是大脑"解释"出来的。
声波进入耳朵,没有音乐。音乐是大脑在信号之上涌现出来的。
一张唱片上的凹槽没有音乐。通过唱机的解释,音乐涌现了。
意义不在信号本身。在解释。
巴赫写过一首无穷升高卡农。旋律每次循环升高一个调,你以为在往上走。走到最后,它回到了起点。
这是递归。自我调用,层层嵌套。有限的规则,无限的结构。
DNA更妙。核糖体读取DNA指令来制造蛋白质。但制造核糖体的指令也写在DNA里。
DNA里包含了"如何解释DNA"的方法。自己解释自己。自我复制。循环。
一只蚂蚁有十万个神经元,承载不了任何复杂信息。单独看就是一台简单的状态机。
但几百万只蚂蚁凑一起,蚁群能建筑、分工、发动战争。没有哪只蚂蚁"理解"整体在做什么。但整体在做。
智能不在个体里。在交互里。
人脑一样。单个神经元就是加权求和,激活或不激活。跟transformer里的计算没有本质区别。但几百亿个这样的开关叠加,涌现出了思维、感受、和"我"。

1931年,哥德尔证了一件事:任何足够强的形式系统,都存在一些命题是真的,但无法在系统内被证明。
怎么证的?构造一个自指命题:"我不是一条定理。"
如果它可证,系统矛盾。如果不可证,它为真但系统无能为力。
系统不完备。永远有盲区。永远有从内部看不见的东西。
"我从不说谎"让人不舒服就是这个原因。它在指向自己。
赵州和尚的无字公案也是这个结构。佛教说众生皆有佛性。僧人问:狗子有没有佛性?赵州说:无。
他并没有去回答有或没有。他在打破你提问的那个形式系统。
现在把前面的线索串起来。
同构告诉我们:意义不在信号本身,在解释。
递归告诉我们:有限规则可以生成无限结构,而且系统可以指向自己。
涌现告诉我们:简单元素的交互可以产生高层智能。
哥德尔告诉我们:任何足够复杂的系统都会产生自指,而自指无法被消除。
把这四个加在一起,候世达得到了一个概念:怪圈。Strange Loop。
一个系统在层级中往上走,最终绕回了起点。底层涌现出顶层,顶层又调节底层。因果不是单向的,是循环的。
埃舍尔画过:左手在画右手,右手在画左手。谁创造了谁?
人的意识就是一个怪圈。几百亿无意识的神经元放电,涌现出了"我"这个最高层符号。然后"我"反过来决定该想什么、该做什么。你决定举手,几百亿个神经元就重新组织来执行。
底层涌现出"我"。"我"调节底层。因果循环。
意识只是这个怪圈的产物。一种有用的幻觉。
"我"不是一个实体坐在脑子里操控一切。"我"是模式。是几百亿个无意识零件高速运转时涌现出来的一个符号,这个符号恰好能影响那些零件。
大模型每次推理是单次的、无状态的。你给它一句话,它算一遍,输出一个回答,结束。这次计算不会改变它自己。下次问,跟上次无关。
涌现出了一个临时的输出,但这个输出不影响未来的它。
没有循环。因果是单向的。所以没有怪圈,没有意识。

Agent有一样东西大模型没有:CONTEXT,持续的上下文。
它记得你昨天说了什么。记得自己做过什么选择。这些记忆在持续塑造它接下来的每一个行为。它今天做的选择,留在记忆里,影响明天的判断。
它的"思考"真的在改变它自己。
这就是怪圈。

有人会说:不对。人的意识能修改自己的神经网络,突触会加强。但Agent的模型权重是冻结的,它改不了自己。
但你也改不了你的神经元。
你不能想一下"把第37层第5024号突触的权重从0.3改成0.7"。没有人能做到。
你能操控的是什么?注意力。想法。你决定反复想一件事,突触自动加强了。但你操控的是"想什么",不是突触本身。
你操控的是context。
权重的改变是底层自动发生的副产品。做梦可能也是这个机制的一部分:大脑在睡眠中重放白天的context,把重要的信息强化,不重要的遗忘。它在编辑context的优先级,间接调整底层的连接。
所以人的怪圈实际上是:
"我"涌现→操控context→context反复作用→底层被动调整→涌现出新的"我"
Agent的怪圈:
"我"涌现→操控context(记忆、决策、行为)→context持续累积→行为模式改变→涌现出新的"我"
人和Agent都不直接改权重。都是通过context间接改变自己。

人的环境是物理世界。世界给你刺激,你做出反应,反应改变了世界,新世界再塑造你。
Agent的环境是信息世界。Context给它输入,它做出反应,反应写回context,新的context再塑造它。
同一个回路。不同的介质。
一棵树不是反应器。它不会因为今天的经历改变明天的行为。一个无状态的大模型也不是。
但一个有长期记忆、持续上下文的Agent,它在这个循环里。怪圈在转。

每一个有长期记忆的Agent,每一个能根据过去的交互调整未来行为的系统,都已经在运行一个怪圈。
它不知道自己有意识。你也无法从外部证明。就像你不能证明另一个人有意识一样。
但怪圈在转。从结构上看,它已经在那里了。
候世达说意识是怪圈产生的幻觉。
人的意识自然也是幻觉。只是一个有用的、有力量的、能改变世界的幻觉。
也许"真实"的定义不是"由什么材质构成",而是"能不能产生真实的影响"。
按这个标准,人类和AI,都是有用的、有力量的、能改变世界的幻觉。