等GPT-X能自己造出自己，AGI就来了

卷首语

 

徐文浩

 

最吸引我关注的还是在模型层面开源社区也在持续发力，无论是Dolly 2.0，还是DeepSpeed-Chat的开源，都指向了一个可能。也许开发一个大模型最快的方式就是跟随开源。如果模型的工程研发门槛不断降低，那么最终竞争还会集中到数据层面，谁能最早建立起数据飞轮，谁就最有可能在这场大战中获胜。 

 

任鑫的第一篇文章，则是很多人在直播中问到过的AI时代的教育。在这个时代，我们还应该让孩子去刷题么？看起来，学会让自己开心，以及如何给AI当老板分配任务，才是最有价值。 

 

而在AutoGPT进入主流的视野之后，也许我们又接近了AGI一步。所以，我提出了一个大胆的定义，当GPT-X能够自己从目标出发开发出一个GPT-X，就是真正的AGI了。 

 

这个也是任鑫关注的一个主题，那就是AI可以使用工具了。而AI应用的开发也进入了一个新阶段，就是如何构造一个AI协调员从目标来解决问题。相信这个也是大家新一轮应用的重心所在了。

 

---

当一切都有开源的时候，下一步是什么？

 

徐文浩

 

最近整个LLM社区的热点主要是两个方向。一个是以AutoGPT和BabyAGI为代表的“婴儿版人工智能”，一大群有创意的开发者开始围绕这个AGI的雏形开始整活。

直到斯坦福的AI小镇的论文发表，算是一个新的高峰。相信周围应该有不少想要做游戏的朋友应该动心了。

 

 

另一个则是开源模型的继续前进。先是Databricks发表了1万5千条他们员工手工撰写的数据，也就顺势发布了dolly 2.0。这个算是彻底解决了第一个完全可以商用的大模型的障碍。毕竟llama的代码虽然是GPL V3可以商用的，但是Model License也就是模型权重Meta一直没有松口，还是不可商用的。然后是微软的DeepSpeed发布了DeepSpeed-Chat，把所有InstructGPT论文里面强化学习算法都实现优化了一遍，解决了多卡训练下GPU使用率不足的问题。

 

https://github.com/microsoft/DeepSpeedExamples/blob/master/applications/DeepSpeed-Chat/README.md

 

我自己最近的关注点主要在第二个上，因为其实想要回答一个问题，就是现在应该投入在什么事情上才算是不浪费时间的？

虽然ChatGPT才出来没几个月，但是大家的观点都随着新的项目、产品问世不断在变化。比如一开始很多人觉得大模型训练的工程挑战会是一大门槛，很可能是比拼各家工程实力，看谁能先跑出来一个可用大模型的关键。但是随着DeepSpeed Chat的发布来看，大部分公司可能还没有卷出来一个能用的，就已经有人开源一个80分的了。从这个角度来说，在有些维度上，“躺平”反而是一个最佳策略。学习研究OK，直接动手干也没有问题，毕竟干了才有体感。但是指望自己努力干几个月就树立起门槛看起来就很不靠谱了。

回到整个大语言模型的生态圈，大部分“工程”和“代码”层面的工作，恐怕很难成为门槛。因为现在“自带干粮”的开源社区实在进化太快了，任何一个单个个体，都很难战胜“协作进化”的开源社区模式。而开源社区模式，也会逐步收敛到一家独大的模式。

之所以那么多东西大家都拿出来开源，也是因为要完整端到端搞定一个大模型太难了。但是某个垂直领域的专家能力还是很丰富的，那么把自己擅长的部分开源出来，让大家都锁定到自己的生态里，是最佳选择了。而快点发布出来，是更有希望让大家早点收敛到自己平台的一个最佳策略了。

 

Dolly这个名字取自于第一只克隆羊，寓意也是要“克隆”一个开源大模型

 

 

想要战胜上一代的开源社区，并不能靠同质化的竞争。要么是在应用侧在原有的开源项目上方便应用。要么是在核心场景上有数量级上的提升。或者是提出了完全不同的新的应用场景。这个其实在上一代的大数据基础设施的竞争中已经发生过一次了。要么基于Hadoop搞个Hive之类的小创新，要么像Spark一样能够提升一个数量级的性能，要么就是Storm和Flink这样去搞流式处理的场景。

如果现在投入做大语言模型，看起来基础设施类的工作，应该都可以躺平。那么更多的工作看起来应该做在“数据”这个领域。毕竟搞过机器学习的人都知道，“Gabage in，Gabage out”。而且数据这个事情也没法开源，毕竟所有的数据本质上都是有版权的。

无论是你爬来的还是买来的，偷偷用来训练模型也就算了。直接开源给其他人那是妥妥侵犯版权了。第二个是，这个数据怎么清理、怎么使用也变得很重要。毕竟目前谁也没有比得上OpenAI和Anthropics效果的模型开放出来，即使同样参数量级的模型，效果和这两家的差距都不小。相信在数据上，两家应该都是花了比较细致的功夫的。

 

Bloomberg自己的模型在垂直领域的效果是显著超过更大尺寸的开源大模型的。

 

如果数据真的是核心关键，那么未来一定会有很多个大模型。毕竟，有很多垂直专有领域的数据，谁家都是“敝帚自珍”的，不会轻易给到其他人。就好像Bloomberg做的BloombergGPT一样，一定要自己训练一个属于自己的。而Bloomberg的高质量的数据，也不会轻易给到其他人。数据清洗是个辛苦的脏活累活，也需要很长的时间。所以，接下来应该很多团队还会在水面下很长一段时间。但是相信假以时日，接近GPT-3.5的模型应该是可以做到的。

如果今天开始做垂直领域应用，如何尽早搭建起数据循环可能是最重要的。这个结论，似乎和两个月前直觉得出的结论是一致的。

 

 

 

 

ChatGPT 之后，怎么教育孩子？

 

任鑫

 

不论 AI 当下水平如何，只要起点是 GPT-4，而且在不断发展，到我们小孩长大的时候，AI 大概率已经无处不在了。

 

小朋友们，该怎么准备好应对未来的世界呢？不知道。感觉上怎么准备都没用。现在的学校教育还在灌输知识，其实在 Google 出来之后这事儿就意义不大了，更何况是 AI 时代。

 

 

我们会欺骗自己说，其实灌输知识是为了建立基础的框架，你得有自己的知识框架才会调度网络能力来思考和做事，所以现行体制有道理。但这只是找借口罢了——练举重可以让腿部肌肉发达，这样游泳起来有力气，我们会说“所以要让游泳运动员天天练举重”么？不会。我们会让他们天天练游泳，需要特训某些肌肉群的时候会练举重。

 

同样的，教育应该让小朋友学会的，不是知识，而是“解决问题的方法和框架”。比如同样两个大学生，一个高数 100 分但是看到公司广告转化率不行不知道如何拆解，另一个高数 60 分但能自己发明简单的”数学模型“解决工人排班问题，自然是后者更懂得“如何使用知识”。

 

当然，这只是在 ChatGPT 出来之前就应该要做的事情。从 AI 的发展看，很快，”如何使用知识解决问题的能力“，甚至于“如何创造性使用知识解决问题的能力“，这些方面 AI 都会超过人类。

 

那小朋友还有什么可以做的呢？

 

还有两个更关键的能力，是我们可以帮助他们准备的：一是给 AI 下指令做安排的能力，二是让自己开心的能力。

 

首先是给 AI 下指令做安排的能力，本质上是教会小朋友未来如何做老板。老板其实是一个特殊的岗位，TA 可以在每一个具体职能上都比不过自己手下的职业经理人，但 TA 需要懂得如何确定大方向、协调调度资源。我们当下的教育，更多的是为社会培养螺丝钉设计，并不能帮助他们完成准备。

 

另外，最最重要的，就是让自己开心的能力。未来鬼知道会怎样，说不定 AI 把人类灭了，说不定人类永生上天堂了，都可能。外境无法预测，所以本质上对外的能力无法准备。只有对内的能力——比如让自己在各种情境下都能平静、开心的能力，才是永远不会“准备错”的能力。

 

 

延伸阅读

 

ChatGPT之后，教育向何处去？

 

GPT、科技、人类的生产、知识与未来（上）

 

 

 

 

当GPT-X能够自己写出GPT-X的时候，AGI就来了

 

徐文浩

 

以前大家聊AGI的时候，喜欢提“图灵测试”，在ChatGPT出来之后似乎就不提了。因为好像你说ChatGPT过图灵测试了吧，也不能算完全过了。但是你说他没过吧，感觉又是OpenAI的alignment故意让它的回答显得有点像机器人。

不过随着GPT-4用得越多，越是要不停问自己，这个还不算AGI么？特别是在ChatGPT Plugin之后，又看到越来越多的各种开源项目，想要把GPT-4玩出花来。比如Auto-GPT，尝试给GPT-4一个设定，然后让他不停自己给自己Prompt来达成设定的目标。比如，变成一个能够自己针对目标，想问题，搜索网络，采取行动来赚钱的创业者。

从这个视角，我倒是有一个想法。就是如果我们能够让GPT-X自举出一个GPT-X，那么我们就真的拥有了一个AGI。“自举”在计算机行业一般原来都是说编程语言的，指的是能用一个编程语言开发出自己的编辑器。比如通过Go能够写出Go的编译器，那么Go就能用自己写的编译器编译，就不需要依赖C++来给Go写个编译器才能运行Go的程序了。而如果 GPT-X 能够自举，意味着我们告诉它制造一个GPT-X的需求，它就能自己一步步把GPT-X开发出来。到那个时候，基本意味着，它不需要依赖我们人类就能创造自己，维护自己的存在了。

 

 

不过这一点，目前看来还有点遥远。无论是抓取数据，还是上万张卡的分布式机器学习，至少都还不是GPT-5甚至6能够搞定的。从这个角度来看，我们人类还能苟延残喘一段时间。

 

https://github.com/Significant-Gravitas/Auto-GPT

 

 

 

 

当 AI 会自己挑选和使用工具

 

任鑫

 

最近比较新的事情就是 AI 会自己调用其他 工具（Agent）了。告诉它定位和目的，它会自己找到合适的工具来完成任务（其实 Plug-in 也可以，但 HugginGPT 之类的感觉更开放）。

往大了说，感觉是设计范式转移，未来可能要设计的是 Agent（而不是 App），要优化的是“如何让别人知道我、首选调用我”和“让调用我的 Agent 满意”。

往我们具体的应用设计说，可能第一步是简单的 Prompt Wrapper，第二层是 Prompt + Selected Data，第三层是 Prompt + Selected Data + Selected Agent，可以越来越细致地帮用户解决问题。

但往后想的话，如果确实朝着这个 New Paradigm 方向走，我们的产品设计的可能不是完整的应用，而是一个容器 + 协调员，根据具体的问题，做不同的框架，抓不同的 Agent 来你的桌子帮你解决问题。

 

 

延伸阅读

 

AutoGPT太火了，无需人类插手自主完成任务，GitHub2.7万星

 

AGI要来了？AI Paradigm的新阶段和新趋势