扫码打开虎嗅APP
本文来自微信公众号:海外独角兽 (ID:unicornobserver),访谈:张小珺、李广密,原文标题:《LLM 竞赛 2025: 超越 Google 之路》,题图来自:AI生成
“全球大模型季报”是“海外独角兽”和“张小珺商业访谈录”的AI领域观察栏目。以季度为单位,拾象CEO李广密和财经作者张小珺梳理行业AI/LLM领域的重要信号,预测未来。本期内容是跨年特辑,除了总结2024年LLM领域的变化,也对2025 LLM的演变作出了预测。
2024年的LLM竞赛是算力、模型和应用三条线并行。正如我们在2024年跨年对谈中所预测的,上半年,LLM竞赛格局基本确定,到了下半年,随着Sonnet 3.5经验的coding能力、o1模型以及RL范式的接连出现,LLM不再是单一的基建竞赛,LLM的应用范围在扩大、对现有工作流改造的深度不断增强。
2025年的核心主线一定是coding和agent。Andrej Karpathy在2017年提出了Software 2.0的设想:1.0时代的软件是把结构化、规则化的工作进行数字化封装,2.0时代的软件则对domain knowledge和工作流进行封装重组,背后变化是如何更加动态地编排软件。这一预想一定会在2025年被落地,Agent、multi-agents不仅会带来新的软件,也会对生产力任务进行重组。
互联网最本质的是对信息的重组,“Google”是在“分发”这件事上最具代表性的符号,我们认为,今天AI/LLM的竞争同样也是一条超越Google之路:底层模型及其上层的超级应用是对token和智能的重新分发,以ChatGPT、Perplexity、Devin为代表的应用最终将走向所有信息、内容甚至任务的All-in-one的分发容器。
一、竞赛的目标:争夺下一个Google
张小珺:今年的跨年特辑我们还是从AI界明星中的明星OpenAI开始聊起。关于OpenAI,我听到过两种说法:一种说法是,他们是一个期货公司,随着预训练scaling law的金矿挖完,他们的领先技术也到头了;另一种说法是,不能低估OpenAI的实力,它是一个了不起的公司,还藏了很多牌。你怎么看这家公司?过去6个月认知有没有发生过变化?
Guangmi Li:ChatGPT官方公布的WAU周活已经过3亿了,对应5-6亿的月活,明年这个时候可能10多亿月活,这个增速是全球所有科技产品当中,历史最快的,还超过了TikTok之前的增速。TikTok大概用了4-5年时间做到5亿多月活。
确实ChatGPT营销或hype因素存在,但背后意味着什么?最本质的问题和认知变化最大的是“下一个Google”,ChatGPT是在往下一个Google方向走,无论Anthropic、xAI、Perplexity,甚至国内的豆包、Kimi,还是做coding的Cursor、Devin,虽然大家形态有差异,从不同的路径发散,最后都是殊途同归,收敛在下一个Google的叙事下。AI公司的对手和目标并不只是ChatGPT,而是如何beat Google,这是最大的牌。我也不觉得OpenAI会刻意藏什么牌,下一个Google就是一张明牌,比拼资金、GPU、人才、产品、品牌的综合能力。
张小珺:这个很有意思,因为它回答了一个非常重要的问题:基座大模型和基于基座大模型的这一波产品,他们到底在争夺着什么?
Guangmi Li:争夺下一个Google。
怎么理解下一个Google?如果大家来硅谷的话,一定要去逛计算机历史博物馆,转完一圈就很能理解计算架构和信息分发这一主线是怎么演变的。最早,是雅虎的门户模式:人工编辑、listing,最小单元是网页。门户模式只能listing头部的网页,所以非常有限。后来,出现了Google index,网页用关键词搜索的模式,重新组织了信息分发。
红杉美国最早投了雅虎,后来投了Google。Mike Morris当时有一次分享提到,最早希望Google能帮雅虎更好覆盖长尾网页的内容,因为长尾的内容是只能通过关键词模式被启动触发的,这就需要对整个互联网做index。这里很有意思的是,做门户的人当时都觉得Google这种关键词搜索是做不大的,但Google也是从雅虎的边缘市场做起来的。一定要重视边缘市场起来的公司,往往伟大公司都是从边缘市场做起来的。
顺着信息分发往下讲,信息分发中间有一个演变叫推荐引擎,根据用户的行为做投票。其实,人是变得更被动了一些,AI更主动做推荐,最小单元从网页变成了内容。
字节也一直在超越Google的路上。这两年开始了搜索和推荐融合的一体化,从小红书这个产品能看到一些影子。小红书非常有意思,包含了社区、信息流推荐、短视频、图文、多模态,目前已经高质量的搜索引擎,这个融合了搜索推荐问答的形态,未来做任务一体化会更有意思。
今天的大模型,最小单元比网页更小,最小化的原子是token。Token背后是人类几千年抽象的智能,因此,大模型是重新组织了智能,未来会以agent或做任务的形态输出。最后会是一个任务引擎,完成Task Automation。未来,ChatGPT融合了搜索、推荐、问答、做任务等等功能,而不只是目前的形态。过去几十年,互联网把零售和线下的东西搬到了线上,未来,人类更多的工作流和任务会走向最佳实践进行自动化。
目前ChatGPT形态太初级,未来一定是融合性的产品,模型也会更主动,像一个助理。模型也可以在后台一直长时间思考,比如几小时、几天,甚至更长。人类目前学会东西后,会实时更新了自己大脑,模型后面学到人类的新知识,也可以实时更新到自己的神经网络里面。此外,模型的学习效率有可能比人还要高。
张小珺:你刚才说未来会以agent或做任务的形态输出,我目前还在想,要是有一个会做饭的机器人就好了,它可以通过预训练学会各种各样的菜谱,做做饭的任务。你觉得它能做到吗?
Guangmi Li:是能做到的。但厨师的最佳实践是没法被传承的。如果AI的学习效率变得很高,它能把顶级大厨的手艺学回来,那最佳实践就被抽象成了算法,大厨的task automation就完成了。但前提是要有反馈,什么样的菜做出来比较好吃?这是一个奖励模型。
张小珺:这个奖励模型还是一个封闭系统,是相对好给出的?
Guangmi Li:这个应该比较简单,但是难在机器人难做。
张小珺:你除了提到OpenAI,还提到另外两家公司,一个是Anthropic,一个是Perplexity。它们目前长得和OpenAI、和ChatGPT是很不一样的,但他们也都在争夺下一个Google这张牌吗?
Guangmi Li:是的,大家都在计算架构和信息分发这条主线下,都是同一个技术杠杆,因此都是殊途同归的。虽然形态和商业策略肯定有差异,但OpenAI正在把自己变成一个killer app,也是目前唯一的killer app,在C端一骑绝尘。但Anthropic正在走向一个AI时代的OS操作系统的路径,站住了coding、协议,尤其是最近发布MCP的context。
Perplexity最大的创新是重新定义了AI搜索形态,其实是AI在帮用户使用搜索引擎,Perplexity其实是一个agent,用户可以围绕一个主题一直追问、互动。互动是很关键的,AI可以和整个互联网网页互动了,而不只是一个静态的网页和内容的输出。产品层面,最终大家都会变成任务引擎,或任务容器。这个任务引擎是我逻辑中下一个Google的幻想。
张小珺:任务容器和任务引擎是一个概念吗?以前大家会叫内容容器,今天是用任务来替换内容?
Guangmi Li:还是一个概念,主要是因为目前还不好去定义它的具体形态。其实今日头条就是一个内容容器,微信也是一个内容容器,它们也都是一个浏览器。未来AI最大的趋势是做任务、完成任务,尤其是有经济价值的任务。
以前生成的最大的是内容,未来AI生成最大的是任务、agent、工作流。比如,我目前研究二级公司的股票,我怎么去寻找信息、处理信息,怎么去沟通、拆解?AI可以帮我automate出来一个投研的workflow,而不是几十个人在帮我开发workflow,这就是我的一个投研的workflow agent。
张小珺:争夺下一个Google,一定是需要自己自研基座大模型吗?有可能在别人的模型上盖房子吗?
Guangmi Li:我更相信端到端、full stack策略的胜算更大,当然这样的要求,投入的资源也很大。即便看Perplexity现在发展很好,它其实很难向下大幅改动模型,或搜索的index。但Google的端到端优化能力是很强的,可以向下改TPU,改Transformer。端到端优化是非常重要的,Apple、Tesla、微软都是端到端Full Stack的公司,微软从OS向上做了office这些killer app。但这也不代表OS公司一定能做好killer app,微软也没有做好浏览器或者搜索这两个killer app,这个问题其实不绝对,存在即合理。
二、ChatGPT如何跑通商业模式
张小珺:ChatGPT的C端为什么增长这么快?
Guangmi Li:从第三方数据也能看到,ChatGPT从第二季度开始明显加速。尤其是在GPT-4o发布之后,单个季度能涨1.4-1.5亿MAU。
我自己的感觉:最大的变化是ChatGPT放开了不用注册就可以使用的权限,背后是模型的inference cost降到了很低,不然一般模型公司是吃不消的。此外,OpenAI又推出了语音模式、推出了o1,背后其实还有模型能力的提升。ChatGPT用户数据量比较大,大量的用户在用的情况下,用户偏好数据、用户投票会让整个用户体验变好。
张小珺:从商业模式上,ChatGPT应该做广告吗?
Guangmi Li:如果我是Sam,我一定会做广告,但ChatGPT不一定适合做广告。这个问题本质是商业效率的问题,我们可以简单算个账:ChatGPT是一个典型的工具类产品,工具类产品付费率到5%已经是非常优秀了。ChatGPT的付费用户是20美元一个月,按5%的付费率,一个MAU就是1美金,剩下95%的人其实是不付费、不贡献商业收入的。但我感觉ChatGPT付费率肯定到不了5%,大概是0.5-0.6美金每个MAU。
每个MAU横向对比,互联网产品如抖音、淘宝、微信都是几百亿美金甚至千亿美金营收的产品,10亿的月活,每个MAU每年就是100美金,每个月就是8-10美金。所以传统互联网产品比ChatGPT的变现效率是高出10-20倍的。
虽然ChatGPT现在有200美金,甚至2,000美金的定价,但如果定这个价格,付费率肯定也是会下降的。第一,能付200美金或者2,000美金的人很少,第二,也存在竞争问题,因为Claude、xAI、Google都在后面,竞争问题的存在使得很难定过高的价格。
AI的商业变现效率这个问题是很关键的,不然后端成本每年5-10倍的上涨,但前端带不来营收,是不能持续的,历史上任何的伟大公司背后都有一个极强的商业模式驱动。
张小珺:这两年每百万token的成本是在下降的,为什么说后端成本有每年5-10倍的猛增?
Guangmi Li:是的,这个是符合咱们之前预测的,token这1-2年应该降了十几倍。后端成本猛增主要还是买GPU。其实去年大家手上的卡是不多的,今年全球第一梯队公司才到了10万张卡,但10万张卡是不够的。有可能到一个量级之后不再猛增,但现在还在一个高速猛增的阶段。
张小珺:为什么Chatbot不适合做广告?
Guangmi Li:Google search query里面40%-50%都是导航类的query,一个关键词来了,Google就直接给你导航到某个网页,例如电商、娱乐、旅游、订票,广告主是通过网页提供服务的,Google导航过去就能赚到钱,这个商业模式是非常好的。抖音、淘宝的商业模式和Google也是一样的,都是搜索、广告系统,这个商业模式效率是很高的,因为有巨大的规模效应。
但Chatbot目前的queries中,导航类的queries是非常少的,大部分都是问答类的query。对应传统搜索引擎中,只有4%-5%的是知识问答,Google过去也一直没能把这4%-5%的知识问答query商业化。目前为止,ChatGPT还是没有本质上影响Google的基本盘。因为广告主还是不会来ChatGPT投广告获取流量。
张小珺:ChatGPT未来怎么挣钱?
Guangmi Li:一方面,最大规模付费的来源还是来源于商户。因为商户是广告主最能scalable的对象,广告主要对消费者提供服务。另一方面是要探索新的商业模式,比如说按照任务付费,最后按照任务完成率付费。
电商是按交易付费的。过去,互联网电商最核心的一个指标叫GMV,订单转化率。AI时代最关键的北极星指标是任务完成率,本质上要完成有经济价值的任务。只要价值足够厚了,肯定还会有全新的商业模式出现的,按照value-based去pricing。例如抖音,催生了新的商户,内容创作者如果能创造内容本身,这就是服务了,未来新的服务可能就是大量的应用软件或者agent提供解决各类任务。
张小珺:你怎么看OpenAI人才流失的问题?
Guangmi Li:组织能力出了一些问题。ChatGPT目前的成功,很大程度依赖OpenAI最早非常强、非常领先的research能力。早期技术遥遥领先带来了心智和品牌的红利。
但OpenAI过去一到两年并没有很好地接住技术红利,最典型的两个地方是搜索和coding,搜索和coding OpenAI目前都不是明显的第一名。
搜索是很重要的,因为是一个高频、高粘性的feature,ChatGPT自己竟然没有做很好,是非常不应该的,给Perplexity留了完整两年的窗口,不然Perplexity也不会做这么大。而coding能力还是被Anthropic Claude-3.5-Sonnet反超了。最开始我以为OpenAI不太重视,但过去半年了还没完全追上,导致coding里大量的开发者已经迁移到Claude-3.5-Sonnet生态了。因此OpenAI肯定是组织出了一些问题的,那么多老人都离开了,不是一个很好的事情。
大家都说Google的组织问题很大,但OpenAI的组织问题其实也很大。
张小珺:Chatbot现在这个产品形态会是一个过渡性的产品形态吗?还是最终的形态?如果是过渡,未来会有什么新的形态?
Guangmi Li:Chatbot大概率还不是提取智能最有效的交互方式,但是目前唯一有效的形态。因为chatbot的适用范围广、兼容性强,未来肯定还是需要更不一样的形态的。目前,大模型的智能水平已经挺高了,比如我幻想我的面前就是一个AI浏览器,或者一个巨大的白板、一个任务看板,很多的任务都在上面运行,有Todo list、各种图表,只需要我来确认和指导下一步怎么做,围绕某个topic可以无限的展开。
还是需要一个好的产品形态来降低用户的门槛,今天,ChatGPT对话门槛是比较高的,有时候我面对ChatGPT、Claude,我不知道怎么提问。如果模型能更主动的告诉我如何提问,我会更容易的下手。例如现在我们下载抖音、小红书,就能直接用起来,因为系统会主动给用户推荐。单一的chatbot大概率不是AI的最终形态,模型可以更懂用户的需求,不需要跟用户对话,就可以猜到用户的意图。比如,让模型阅读我过去几个月Chrome里面的浏览记录,它就有了更多的上下文的context,这样就会更懂用户了。
今天,chat的形态其实是限制了上下文的长度的,一定程度上降低了模型的智能,长期来看,越聪明的模型越不需要跟人对话,AI未来需要自动的采集用户的行为信息、上下文,变得更加主动,像抖音和淘宝主动给我推荐商品一样。
张小珺:仅是对话这个产品本身,而是它也是提取智能的一种方式,这个很有意思。
Guangmi Li:它有context,context是一个特别重要的东西。
张小珺:OpenAI把技术有五个分级,第一级就是现在的Chatbot聊天机器人,用自然语言进行对话的人工智能。第二级是推理者,大概是o1这种可以解决人类级别智力性的问题。第三级是agents智能主体,它能够代表用户采取行动。第四级是创新者,第五级是组织者。你怎么看这个分级?它会是产品形态演变的一个主要线索吗?
Guangmi Li:我觉得这个分级标准非常好,应该把它作为一个主线的线索去思考产品形态演变。现在我们可能处在Level 2和3之间,所以明年最期待的是agent落地。
我觉得还有两个思考角度,第一个角度,可以画一个企业的组织架构图,AI的能力是从下往上一直进化到CEO那一层。另外一个角度,是再把企业内部的能力做拆分,比如编程能力、设计能力、沟通能力、销售、寻找和处理信息的能力、数据分析能力,AI也会横向逐个替代掉。一个是从下往上替代,一个是横向替代,对应这五个分级。短期做到替代一个企业的CEO层面还是比较难的,但两年左右的时间做到一个manager水平是有可能的。
张小珺:Managers能等同于agent吗?
Guangmi Li:长距离、多步推理任务如果能落地,那就会超过90%的manager。我觉得25-26年是看得到的。
张小珺:这些AI如果进入组织的话,它是跟人配合工作还是能够独立完成工作?
Guangmi Li:肯定还是需要人配合的,但是它能完成任务的数量会大幅提升。
张小珺:刚才提到要模型更主动,能增加人的互动,也能够帮助AI提取智能。怎么让模型更主动呢?
Guangmi Li:一方面是产品形态怎么设计得更好?可能的形态是个人助理或超级助理这个形态,助理是更主动的。更重要的是技术架构,尤其是context。
我觉得99%的从业者目前都只盯着模型的生成能力或者coding能力,但更加核心的是context的采集能力。如果没有context的同步,绝大多数的任务成功率都非常低的。context是非常重要的,绝大多数人可能还没意识到。例如,再厉害的主任医师,如果没有体检报告、健康数据、检查报告,也很难跟聊几句就下诊断。
Context就是各种背景上下文信息。这是一个关键的暗线。之前的暗线可能是RL、cost,而今天的暗线愈发清晰是context。
张小珺:相当于谁能获得更多的Context,谁的智能水平提升就会更快。Context可以展开讲讲吗,以及context可以通过什么形式获得?
Guangmi Li:有一个简单的比喻:Context是新时代的支付。之前红杉中国投电商的时候有一个非常精辟的认知:电商的两翼是物流和支付,这是两个最基础的商业基础设施。如果没有这物流和支付,其实网购体验会非常差,买东西的成功率是非常低的。
AI的模型帮用户做任务的成功率的高低不完全取决于模型的生成或者coding能力,更取决于context是否充分的同步了。例如,要做一个个人的agent、网页,用户很难告诉模型各种prompt,描述半天也没办法把个人agent或者网页做好。但是如果同步用户的个人知识库、个人的软件信息,AI还可以用搜索引擎去搜网上相关的信息,这样做个人的agent或官网是更容易成功的,因为它有更多的数据、context。纯语言prompt成功率是很低的。
此外,context获取数据同步应该是自动化的,而不完全是通过人工prompt。比如我们有一个claude bot在slack里面,一直默默地跟踪我们怎么做投研、怎么讨论各种话题、怎么找信息,怎么与人沟通。某一天,我再交给它一个任务,它有各种上下文,沟通成本就非常低了。时间长了后,让它帮我做一个怎么做投研的workflow,它就可以自己总结出来,这就是慢慢沉淀投研的最佳实践工作流。
张小珺:这种情况下用户个人隐私问题怎么办?
Guangmi Li:目前,我们所有的数据都在互联网上,我们会真的关注隐私吗?1%的用户会关注隐私,但是99%的用户会被效率和能力吸引。滚滚大势,阻挡不了。
张小珺:如果AI是中心化的AI,他也知道你的信息,也知道我的信息,他会把我的信息告诉你吗?
Guangmi Li:所以我认为新时代的安全机会很大。
张小珺:如果AI的生成能力增强了,未来会生成什么?
Guangmi Li:这是一个非常值钱的问题,我的答案是新时代的软件。移动互联网增加最大体量的数据是内容,智能手机可以随时的创作、消费内容。AI时代最大的增量数据是软件。而软件的本质是什么?软件的本质是人类行为的自动化,企业软件是那些最佳的工作流的自动化。未来的软件的开发应该是怎么样?未来的软件的开发范式又会是怎么样?
张小珺:SAP这些公司价值在哪里?
Guangmi Li:SAP是过去几十年整个生产制造业的最佳实践的工作流自动化,分发给了低效率的地方,这个最佳实践的自动化是SAP重要的用处。但是人类还有特别多的行为、最佳实践是没有被自动化的,这会是未来增加的巨大增量。
三、下一个Google可能是超级助理
张小珺:未来的软件会是什么样子?
Guangmi Li:过去,软件是人为主动定义的,定义一个通用的需求之后交给外包团队去开发,就像传统导演拍电影。未来,软件不一定是人为主动去定义创造,而是日常的context自动同步给模型,它自动化的生成软件。比如,AI知道我日常怎么做投研信息,他就帮我automate整个过程,我还可以share给我的同事。今天,不可能有一个几十人的开发团队专门帮一个人去开发,因为只有单一用户自己在用,投入产出比就不够高。
之前播客也有聊到,未来的软件生成,会不会像目前的短视频内容创作一样,门槛非常低?有很大概率,我们自己也不知道这个任务怎么完成,就像平时我交给同事做任务,同事和AI都是自己做了很多探索,有自己的规划,都能更有效地探索出来一个更好的工作流。有一个很值得思考的一个问题:如果2025年AIcoding能力变强5倍、10倍、30倍,软件开发效率提升10倍,软件生产成本大幅的降低,会有哪些机会?
张小珺:当一个软件面向给普通的消费者的时候,它可能不叫软件?
Guangmi Li:对,这里需要好的产品形态定义。agent到来,coding能力变强了,需要一个非常重要的产品形态接下来。2011年的时候,我们去投推荐引擎,投推荐引擎本身是无法赚钱的,但是我们要投信息流产品,最早的今日头条,还有后面的抖音。
过去没有做机器学习和推荐的公司,都没有成为大公司。但不能外专门为了投coding去投coding,而是投coding这个能力象限下,未来可能出现的产品形态。推荐引擎造就了信息流产品,coding未来会造就什么?一方面是服务传统的软件开发,另一方面是更民主化、更新的形态的产品。现在需要一个天才来定义新的产品形态,就像之前字节定义出来信息流产品的人是绝对的天才。
张小珺:《流浪地球2》里面刘德华饰演那个角色用AI重写了底层操作系统,这种科幻电影场景里面是不是也会实现?
Guangmi Li:它发展到你说的第五级了,那个架构逻辑复杂度是非常高的。
张小珺:Coding和下一个Google是一件事吗?
Guangmi Li:是同一件事,殊途同归。因为背后的技术底层都是一样的,都是一个任务引擎,完成各类任务的自动化。
张小珺:为什么大家在一个新的时代要想的就是下一个Google,Google对于互联网时代意味着什么?
Guangmi Li:下一个Google不是Google本身,也不是搜索引擎本身,而是重新组织信息本身。过去,门户组织信息,搜索引擎又重新组织了网页,推荐引擎再次重新组织了信息。未来,重新组织信息和token变成了大模型这个引擎。
重新组织token背后本质是智能,代表的任务是生产力。淘宝重新组织了商品,下一个Google不是做Google本身,而是做一个更高效率的东西,解决更厚、更深的问题,提供更大的价值。
张小珺:搜索、coding有独立存在的机会和必要吗?如刚才所说,ChatGPT应该是统一的任务引擎、巨大的任务信息重组产品,那搜索和coding还有独立成为入口的必要性吗?
Guangmi Li:不绝对,存在即合理。微软做了Windows,那么上面的killer app都应该做好,比如office、浏览器。但是浏览器、搜索都是Google做得更好,因此我觉得不完全绝对。掌握OS的公司有更强的竞争力,可以端到端优化。微软有企业级的关系,又做了Azure云,它是更有优势的。当下,Perplexity和其它的coding公司本质上没有和底层拉开差距,而且过于依赖底层。现在很难下绝对判断,甚至有可能Claude未来就是一个coding model,往上做coding agent、做Devin。如果目前的GPT、Claude不做Devin,肯定又是巨大的战略失误。
张小珺:你对OpenAI的认知有没有发生过变化?现在的认知是基于最近发生的事情,还是从第一天就这么认为?
Guangmi Li:我更多是从投资或商业视角来看。
第一,这个公司的投资回报率怎么样?之前我认为OpenAI是AI lab,但是今年下半年ChatGPT用户增长这么大,开始能算账了。但现在1,570亿美金的估值下,看不清楚upside有多大。虽然可以拍脑袋说它可能是万亿美金的公司,但现在还是很难有fact、商业模式、计算财务模型去算账。
第二,从技术革命演变的角度,认知是在变化的。之前我们每期播客,我都觉得智能和模型最重要,其他都不重要。但未来两年,AI应用端的落、agent落地,是非常重要的,最领先的三四家模型可能在模型层面拉不开绝对的差异了。OpenAI、Anthropic、Google的模型都不错,Llama、xAI还在奋力地追赶,但追上来难度也不高,还是要能做出应用差异化。
Anthropic的Claude-3.5-Sonnet模型出来之后,能力和口碑已经超过了GPT-4o,Claude的c端和b端都涨得非常多,但依然还很难翻盘ChatGPT。ChatGPT的c端心智和品牌效应壁垒太强了。我们身边90%的人已经分不清楚哪个模型好了,模型已经比90%的人寻找信息和处理信息的能力更强。
张小珺:行业里掌握最前沿认知那一批人,对于模型能力、产品的构想,是跑着跑着刚认知到的,还是从第一天就看到了趋势?
Guangmi Li:绝大多数人是跑着跑着刚认知到的,也有极少数人有自己一直的坚持。Anthropic的CEO Dario很早之前就提出coding非常重要,不排除Claude就是一个coding model。他一直很重视的就是agent落地,而不是c端产品。Dario认为c端产品对推动AGI是没有太多帮助的。今天,Dario现在的认知肯定也会发生变化,可能觉得c端也挺重要的,但他自己是个科学家,做c端消费级产品的sense没那么好。此外,ChatGPT品牌效应又很强,因此很难翻盘反超的。我们很难预测未来,但可以有自己的信仰和bet。每个人和每个公司都有不同的信仰或者不同阶段最重要的bet。
张小珺:我们目前有一个特别重要的关键词叫做agent落地,但是我对这个词没有什么画面感,它和目前我们看到c端产品是不一样吗?
Guangmi Li:Agent是需要形态的。Perplexity就是帮用户使用搜索引擎的agent,Devin是更好地帮用户用好模型做任务的agent,这是目前相对有一定agent雏形的产品。而上一次播客时,我觉得还没有任何能称得上agent雏形的产品。Devin的出现属于agent的真正雏形了,大家可以多看看Devin的Demo。
张小珺:OpenAI的领先优势是放大的还是缩小的?
Guangmi Li:局部放大,局部缩小。ChatGPT的c端,最大的壁垒已经不再是模型或者技术层面了,而是品牌或者心智。这是比技术或者模型壁垒更高的。Claude模型虽然有些能力比ChatGPT要好,但是很难反超,因为品牌是更强大的壁垒,ChatGPT领先第二名10倍甚至更多的数量级。这个领先优势还是放大的,因为明年做到可能10亿的MAU了。预训练模型的领先优势是缩小的,因为天然的收益空间在变小,最主要的原因是公开互联网的数据快用光了,20-30t是text文本的极限了。
但背后的创新体系领先优势是放大的,就像好莱坞工业化的电影体系,预训练环节可能就是OpenAI拍的一部电影,而o1又是一部电影,OpenAI能持续地在智能这条线下做出新东西。这个是其他大公司不太具备的,即便告诉我们这个电影具体怎么拍,我们也不能完全复现结果。创新的工业体系是最难的,这是OpenAI的内功。就像我们每天看足球,研究c罗怎么踢球的视频,把回放看很多次,自己有可能也踢不进那个球。
张小珺:OpenAI到底会是下一个Google,还是下一个网景、施乐?
Guangmi Li:都有概率。OpenAI要变成一个真正伟大的公司是有一些必要条件的。首先它的架构重组要弄好,如果马斯克诉讼OpenAI只能保持非盈利,那人才肯定要流失。第二,OpenAI要找到更高效率的商业模式,不然每年5-10倍的CapEX上涨是不持续的。组织问题会随着公司快速奔跑而解决,今天OpenAI的组织问题不比Google小。
张小珺:OpenAI过去哪些期待过高,哪些期待不足?
Guangmi Li:我们脑子里能想到很多关键词:比如说Sam曾提到的:投入7千亿美金制造芯片、GPT-5、合成数据已被突破、AGI的口号等、AGI背后到底是什么不重要,重要的是在往这个方向走。这些关键词都期待过高了。但Sam对整个行业是好事情,因为给大家争取了更多的资源,从业者的薪酬翻了非常多,投入的资金也增加了很多倍。出色的人最早都是有争议的,乔布斯有争议,马斯克更有争议。只要哪天OpenAI真正成功了,Sam的争议其实都会消去。
智能技术的价值现在是短期高估,长期低估。智能到底是什么?今天如果没有电,我们晚上就无法工作。智能能automate非常多的最佳实践,大幅提升人类的生产效率。
张小珺:从投资人的视角来看,ChatGPT这个产品优秀吗?
Guangmi Li:从投资人经常看的指标上是挺优秀的。首先留存很好,品牌心智很强,从第三方数据来看,ChatGPT的长期留存是非常好的,12个月之后还有50%。Database的粘性很高,跟Notion差不多,只是目前没有数据飞轮、规模效应、网络效应,但后面是会有的。
还有一个投资人会经常关注的指标:DAU/MAU的比例。这个比例不太高。典型的工具类产品是15-20%,这个会决定用户一个月有几天打开产品。DAU/MAU是20%,意味着一个月30天中的6天是使用产品的。一个月有6天代开ChatGPT,这个指标是不高的,而优秀的产品都是比较高的。微信的DAU/MAU差不多1:1,抖音一个月用户会用20多天,小红书也是20多天,Google搜索用户每月会用15-20天,甚至更多。怎么把DAU/MAU的比例提上去是很关键的。
另外,search类产品用户每天打开了之后,衡量具体会用几次是很关键的。如果用户打开后只用个一两次,是非常差的。因为搜索没解决好问题,而4-5次是比较优秀的。未来怎么把使用频次和粘性提上去?还会不会有新的产品能打败ChatGPT?
目前的心智来看,只是chat形态其实很难翻盘,需要通过一个全新的形态占住用户的心智。如果商业模式或产品形态问题不解决,目前的AI会偏向SP移动梦网的时代,还没有看到iPhone。基础设施没有那么成熟、没有支付、没有物流、没有摄像头,就像是高中刚用手机的时候只有图文。但SP时代移动梦网的公司,在走向移动互联网时,没有一家转型成为大公司的,全是全新的公司,不管是字节跳动、美团、还是拼多多,而移动互联网公司都没有从上一波留下来。
张小珺:为什么LLM产品的数据飞轮一直比较差?
Guangmi Li:因为用户带来的数据平均质量比模型内在分布的数据质量差。模型预训练的数据质量很高的,但大部分用户是没有模型聪明的,那带来的噪音就会更多。
张小珺:当自动驾驶做到一定水平了,但还在给它灌大量普通司机的数据,模型只能变差?
Guangmi Li:用户的数据更多代表用户的偏好数据,而不是能力数据。偏好数据不能提升能力。搜索、推荐,是整个人类在大规模投票,是更准确、更好看的,因为搜索引擎是偏好即能力,而大模型的能力是另外一种数据。
张小珺:既然LLM产品都想成为Google已经变成了一张名牌,那Google在这个过程中有能力阻止这件事情发生吗?
Guangmi Li:我对Google的判断也是一直是比较mix的。一方面,Google手上的好牌其实非常多,TPU代表无限的算力,安卓、Chrome代表最强的分发能力,只是之前受限于两个问题:第一,组织问题,CEO能力有限。第二,商业模式问题,因为目前chatbot里面的用户的query变现价值比较低,Google这种大体量的公司大幅转向chatbot产品形态很难。但搜索和推荐,其实都是信息分发,那么下一个Google有可能是超级助理。
信息分发和超级助理的异同点是什么?信息分发是主线,助理也是主线,既会融合,也会竞争。助理是更主动、跟人更close的,有更多的context,能占据用户的信任,更多的数据access。但信息分发也是一个方向,助理也可以做信息分发,掌握信息获取的来源。但做信息分发的公司,比如字节、Google、Meta,也可以从信息分发走向助理。Apple的Siri有可能也是一个助理,都是同一场仗。
有可能下一个Google是一个任务引擎,也有可能是一个助理形态,本质都是一样的。今天,我们还比较难定义出来助理产品背后的需求。但信息分发代表什么?人类最基础的需求就是要获取信息、娱乐,所以信息分发是一个基础的需求。但助理形态是哪些需求会被激发出来?这是未来两三年会能看到的。
张小珺:助理会在手机、电脑上吗?它还是一个APP吗?APP的劣势是我要找到它、点开它。
Guangmi Li:大概率还是在手机和电脑上的,目前还看不到全新的、大众级的设备。
它可以帮用户使用工具,帮用户使用APP,离用户更近。所以,Siri的位置是特别好的,当然Siri的context窗口输入效率还不够高,可能还是屏幕的效率更高一些。例如目前我们面对面对话效率很高,但如果再配一个白板、PPT展示,效率会更高。我会感到一个特别的感触时刻:从命令行DOS时代,突然转到GUI,这就是天才,定义出来GUI用户交互的界面。目前,我们把大模型看成一个新的计算机,需要一个更好的交互。Chatbot肯定不是完全的GUI,但它的好处是广泛兼容。
四、AI竞赛赛局盘点
张小珺:去年这个时候,大家认为大模型公司一定需要技术型的创始人,但目前这个事情不再被那么强调了,更需要的是一个超级产品经理?
Guangmi Li:超级产品经理如果不懂技术也是不行的。目前,AI产品都是post-train环节决定的,未来的超级产品经理可能是从做post-train的人里面出现的。因为post-train决定了模型的各方面的性格、偏好,pretrain训练出来,是一个差不多的模型,而post-train决定模型性格。在这个基础之上,需要对交互理解更深,理解什么样的交互效率会更高。如果我有一个白板、Todolist,是不是这个产品图形化的界面会更好?交互效率更高?不只是和Chatbot对话,有时候一图胜千言。
张小珺:下一个Google,虽然不是Google,你认为会是垄断公司吗?市场上会有一家还是多家?
Guangmi Li:我倾向于会有多家公司。今天,AI产品还没有规模和网络效应,只有品牌效应。除非哪天跑出很强的规模效应。Google当时的技术是遥遥领先的,后面又出现了很强的规模效应和网络效应,导致其超高的市场份额。
张小珺:今天,所有人都在打这场下一个Google的争夺战,目前到达了哪个阶段?场上的选手们分别积累了哪些优势、护城河?
Guangmi Li:红杉美国最近的一篇文章总结的很好:
Google是端到端、full-stack的垂直整合。
OpenAI最大的壁垒是品牌,综合能力客观来说也是最强的。
Anthropic强在人才,是全球范围内最强的AI lab,占领了coding和协议,和Amazon深度绑定,比较安全。Anthropic可能是未来的OS。
xAI数据中心建设很快,但问题是超大的集群是否有用?目前还无法回答。这也是xAI最大的bet,万一赌错了,就要下牌桌。
Meta站稳了开源生态,实际上,Meta会充分受益于AI应用端。
我比较看好Amazon,它是全球最好的云厂商,和Anthropic关系,相比微软和OpenAI更健康。Amazon要自研TPU,确定性很高。可以看到,微软在向上做应用,Copilot做得非常糟糕,但AWS向下做计算架构,这也是不同的bet相比起微软,我更喜欢Amazon一些。
今天看到的结果是微软过去两年做产品的能力非常糟糕,微软最早跟上了OpenAI的hype,但自己的产品做得不好,微软作为大公司太慢了,Cursor和Devin这种开发者产品都不应该从微软的手下溜走,但反过来说,微软还是最后的赢家,因为销售和绑定能力太强了。即使今天错过了机会,它不一定需要从0到1的开发,但最后通过收购或者抄袭同样可以领先。比如Teams和Zoom,还有安全方面的Okta,最终都可以追回来。
Apple握着最好的牌,但还不知道怎么打。从估值角度,Apple的股票一直不便宜,说明大家对它预期很高。
小公司层面,Perplexity抢跑了,占住了一些品牌、心智效应,也有一定规模。每天用户搜索Query量级已经大概是ChatGPT的一半了,虽然对比的只是ChatGPT搜索的query,不包含其他query,但这个量级也不小。我认为Perplexity明年被收购的可能性很大,任何一个平台公司都不能错过搜索。搜索非常关键,第一,平台可以在前端收集用户意图,意图数据对于平台极其重要。第二,搜索会重塑后端的技术能力。
Cursor、Devin这些面向开发者群体的产品同样是抢跑选手,产品做得非常好。这些公司和微软以及底层模型的关系非常重要,因为竞争威胁主要来自微软和两个模型厂商。
张小珺:现在看起来除了OpenAI的ChatGPT,其他的大模型产品和明星项目都是抢跑型选手,可能会护不住自己的领地?
Guangmi Li:小公司的创业者一定要抢跑、跑得快。一定要形成规模效应或者网络效应,才能赢得竞争并形成壁垒。
张小珺:后期他们会需要和大厂绑定或者被收购吗?
Guangmi Li:这个问题并不绝对,有些需要绑定,有些不需要。
张小珺:你怎么看OpenAI和微软长期的关系?
Guangmi Li:可以称为同床异梦。双方都有不同的想法,不像Amazon和Anthropic的关系那么简单健康。微软和OpenAI分家的概率不小,如果分家了,微软自身的AI能力其实很差,所以会有麻烦。如果我是微软,我一定会投Anthropic,这样反而更互补。
张小珺:但如果微软投了Anthropic,可能会加速和OpenAI的破裂?
Guangmi Li:未来所有的模型都会部署到所有的云上。Anthropic更像一个OS厂商,而微软的主线一直都是OS。微软是可以承受搜索,比如Bing输掉,但OS是不能输的。
OS和OS之间是相吸的。Windows、Azure和AWS两朵云、安卓和iOS,其实都是OS。模型就是新的OS。OpenAI和Anthropic是有分歧的,OpenAI要做最大的killer app,Anthropic要做一个OS。OpenAI可能端到端都会做,killer app也做,OS也做,但可能不够专注,没办法做好OS本身。
张小珺:DeepSeek是想走Anthropic那条路吗?
Guangmi Li:大家都没办法在C端像ChatGPT有强品牌心智,所以只能讲Anthropic的故事。DeepSeek也不像xAI有很强的资源,那要么需要在某个能力上极其领先,比如coding和别的能力,或者在另一个新产品形态下变得更好。
张小珺:接下来我们来聊聊除了OpenAI之外的这几家公司的产品。你过去半年对于Anthropic有怎样的认知变化?
Guangmi Li:Claude-3.5-Sonnet是专业开发者群体认为最好的群体。从6月20号发布Sonnet后,我身边很多人从GPT转向了Sonnet,因为Sonnet的coding能力非常强。coding对拉动API的营收增长是非常明显的。评估模型能力最核心的指标就是coding,因为开发者不会撒谎,而是真金白银投票,coding也是影响reasoning能力。我的总结是得coding者得开发者,得API消耗,有机会得到生态做OS。
Anthropic另一个好处是管理层非常稳定,不像OpenAI这样drama。公司还持续从OpenAI挖人。未来一段时间还能看到更多高水平的人从其他模型公司转向Anthropic,人才流动还是一个比较关键的信号。
张小珺:Anthropic发布的computer use功能对于市场后续的影响是什么?
Guangmi Li:这个功能今天还有一些demo或者噱头为主的成分在。Anthropic先发出来,占住先发的心智。今天其实准确率还不高,但提升比较快。Computer use可以被理解为模型的action、执行的环节,也可以说它是新的浏览器,或是任务执行器。Action是每家模型公司必做的,只是Anthropic抢先发布了。此外,computer use是多模态技术落地最重要的case之一,因为模型要理解后台的截屏、屏幕里面的信息。
我比较喜欢Anthropic的Artifacts,它像一个新的browser。Browser可以理解为一个任务容器,用户看到的任何东西都可以编辑、拖拽。今天还是很初级的应用,但未来的空间非常大。
大家可以重视一下Anthropic新开源的context协议标准:MCP,它是协议层,长期影响会比较大。
张小珺:Anthropic和OpenAI最大的差别之一是Anthropic对c端投入不是那么重视,他们接下来会加大对于c端产品的投入吗?
Guangmi Li:是的,Anthropic c端确实比较弱,但是c端收入体量并不小。主要原因是管理层太过科学家背景,CEO Dario之前不太重视c端,认为c端对于实现AGI没有太大帮助。今天来看确实帮助不大,但是对于分发模型有帮助,未来一定会被重视。
ANthropic也开始投放广告了,但是科学家背景的管理层可能对C端产品的sense不强,加上ChatGPT太强了,还是很难翻盘。Anthropic的CPO Mike之前是Instagram的产品负责人兼CTO,Mike还是现在OpenAI CPO Kevin Weil的老板,可能他的产品能力比OpenAI更强一些,但是ChatGPT的心智和品牌效应确实更强。
张小珺:OpenAI有很大的先发优势。你今天怎么认知大模型和C端产品的关系?
Guangmi Li:这几个AI Lab不一定能做出最强的killer app,但想要killer app长期保持竞争力,还是需要端到端的垂直整合能力,向下优化成本、模型、模型架构等。模型变小后要优化模型数据的分布,甚至未来会向下优化硬件到芯片。端到端垂直整合是killer app长期要做的事情。
Anthropic会更专注在Agent。如何让agent落地是Anthropic在bet的事情,可能agent也会落地到ChatGPT。OpenAI今天最大的bet就是把ChatGPT的C端持续做大,做到10-20个亿,未来OpenAI的生态就长在ChatGPT上。
我觉得ChatGPT未来有可能成为全球最大的killer app,DeepMind、Anthropic未来可能成为全球最强的两个AI Lab,Anthropic也可能成为AI的OS,在OS之上会长出新的软件、agent。我认为更重要的是DeepMind和Anthropic的两位CEO站在了人类的角度思考问题,比如AI for Science可能成为他们的killer app。我更欣赏他们的愿景,比如消灭疾病、让人类寿命增加到150年。
张小珺:xAI呢?
Guangmi Li:xAI的团队刚超过100人,但OpenAI有2,000人,Anthropic 1,000人,相比之下,xAI的团队是非常精简的,可以说是人手不够用。估值过高后招人会变得困难,因为很多人会考虑股票的弹性空间。
xAI是全球范围内最快部署上线10万卡集群的公司,OpenAI或Anthropic都没有这么大的单一集群。马斯克还要上线更大的集群,所以GPU资源是非常充裕的,对训练是足够的。但本质问题是,不确定GPU超大集群是否会带来质变。Grok今天还没有追上最新的3.5 Sonnet或者GPT-4o,但进步速度非常快,这个公司成立很短的时间内训练了几代模型都非常成功,几乎没有失败。我认为下一代Grok-3或许可以追平最高水平,甚至反超,或者在某些能力上做得更好。
我认为xAI有两个大的bet:
一方面是我们都看到的几十万卡集群,有可能带来新的能力涌现。但几十万卡集群到底是否有用,今天没有人知道,也没有人试过,试错成本太高。
其次是多模态,因为FSD已经被验证了。他们是相信多模态的,但坦白来说没有任何依据支持多模态可以提升智能。今天科学界的共识也是多模态不提升模型的智商,因为它信息密度比较低,单个像素的信息不会对智能带来任何提升,而且训练多模态的infra投入也比较大。大家在语言上投入太多,多模态上面投入占比较小,马斯克可能认为其他人在多模态上面的投入较少,如果给足投入会有更强的智能涌现。这也可能是xAI的一个bet。
但xAI想胜出还是需要差异化,像Anthropic一样,从coding这类某个能力象限胜出。需要有差异化才能胜出,或者xAI直接把Perplexity收购了,专注做搜索。xAI目标或许也不是OpenAI,最后也是对标Google使用其他的形态做信息分发,和Twitter一起做更主动的推荐。xAI最终注定是可以成功的,但有多大的upside还不清楚。
张小珺:什么时候能看到xAI这两个赌注的结果?
Guangmi Li:明年肯定能看到。
张小珺:你怎么看Elon Musk的公司?
Guangmi Li:他的公司今天有一些比特币化,不要算账,也算不清楚,算账就输了。马斯克的公司都是他的粉丝或者散户买单,更好听的说法是为梦想买单,因为传统机构很难做出财务模型过IC。马斯克的位置对中美关系很好,也或许可以更好地处理TikTok的复杂问题,是中美关系更好的桥梁。如果TikTok安全着陆,它与xAI的深入合作对xAI未尝不是一件好事情。
张小珺:那么Perplexity呢?
Guangmi Li:其实Perplexity不是自己做搜索引擎,它没有自己的模型、index,而是能够帮助用户更好地使用搜索引擎这一工具。Perplexity更像一个信息处理的agent。复盘来看,Perplexity有两个点做得比较好:第一,它真的把AI search的体验做好了,赢到了用户心智,第二,它重新定义了AI搜索的交互形态,可以追问、互动。Google只是静态的导航,AI这一代产品的互动性非常重要。
这一波技术浪潮下,我最喜欢的AI native产品就是Perplexity和Cursor,还有Devin。他们的共同点是预判对了模型进步的方向,所以接下来预判智能进步的方向非常重要。
张小珺:除了Perplexity,另一个很火的AI应用产品Cursor呢?
Guangmi Li:Cursor是成长非常快的产品。Claude-3.5-Sonnet 6月份发布后,Cursor 7月份就发布了,从7月到现在,它的ARR从0涨到了7000万美金,甚至更多,明年有希望做到2-3亿美金的ARR。Cursor的新一轮融资公布了,25亿美金的估值,我觉得是合理的。coding的产品形态需要快速迭代,之前Github Copilot是在补全下一个代码,现在Cursor可以补全下一个action,明年或许就可以端到端的生成软件了。
张小珺:你刚才说了好几次的Devin怎么样?
Guangmi Li:我认为Devin是第一个真正意义上处理长距离复杂任务的agent,具备了几个重要agent雏形的要素。第一,它可以在后台工作,第二,它可以做多步骤长距离的任务,第三,它可以在过程当中根据反馈作出自己的决策,第四,它可以使用工具,比如浏览器、搜索引擎等。明年或许最有价值的产品就是处理长距离、long-horizon的task。
张小珺:Mistral呢?
Guangmi Li:我觉得Mistral不用太多关注了,他们预训练已经掉队了,后续只能在Llama的基础上做post-training更适合。
五、2025年关键预测
张小珺:2025年的跨年相比2024年聊应用的篇幅比模型多出许多,你之前对AI大模型的很多预言事后都验证了,延续我们大模型季报的特色来聊聊对未来2025-2026年的一些关键判断。刚才聊到智能进步,方向非常重要。未来智能还会进步吗?2025-2026年有哪些比较重要的方面?
Guangmi Li:智能百分之百会进步,只是它的智商可能不会像80提升到120这样迅速,可能是从120到125-130的提升,但更重要的是它可以干活了,我对25-26年最大的期待就是agent可以落地,尤其是长距离多步骤的任务,long-horizon task。
硅谷核心圈子的大佬级别的人物都在做类似的事情,比如OpenAI的CTO Mira离职后也在做long-horizon agent。也可以类比Perplexity,Aravind当年离职后想做的是RAG-based search。Long-horizon的task落地是agent创业最核心的方向,包括最领先的模型公司,比如OpenAI和Anthropic,都花了很大精力训练long-horizon task。其实可以理解为做一个更复杂任务的agent。
张小珺:做长期规划的智能体难点是什么?
Guangmi Li:要求的准确性非常高,对工程能力要求也很高。大家可以研究一下Devin,他是一个作为长距离agent比较好的样板。
张小珺:明年AI应用会遍地开花吗?
Guangmi Li:我对明年agent落地或局部落地比较乐观。26年会更大范围地遍地开花。Anthropic的MCP和Claude-3.5-Sonnet模型都比较专注让agent落地,包括OpenAI的post-training团队也分了很大精力支持agent落地。OpenAI CTO Mira的新公司也在做。
最近Devin产品的demo在看了朋友的体验后,我认为还是很惊艳的。Cursor最近也发布了agent模式的产品,agent是各个重要的agent公司明年发力的重点。
张小珺:明年除了agent很重要,还有哪些重要的关注点?
Guangmi Li:产品形态的探索,是否会有一个全新的交互界面?比如chatbot今天的形态没办法释放o1模型的能力,也不太适应摄像头、多模态的能力。
AI最关键的基础设施到底是什么?当年电商最重要的基础设施是物流和支付,AI时代新的商业基础设施是什么?是不是context?今天,AI的商业模式还停留在SP移动梦网的时代,依然是扣费模式,后面需要更强的商业模式覆盖后端成本。Cursor虽然今天涨的快,但是它的token cost也很高,每个月要付几百万美金给到Sonnet和GPT模型。更强的商业模式是结果,本质还是是否能提供更大、更本质的价值。
各个垂直领域也比较重要,比如如何找到高质量、scalable的数据,可能需要几千上万条高质量的任务,并对应reward,这需要一些高水平的专家进行标注。
张小珺:这里自动驾驶是不是一个拥有相对完整、比较好的reward model的领域?
Guangmi Li:是的。自动驾驶是个非常典型,端到端都比较好的模型。但它的action space非常小,仅仅通过前后左右来判断安全。但语言和机器人的action space非常大,reward就特别难定义。只要是在限定领域的reward都是比较容易定义清楚的。
张小珺:还有像自动驾驶这样的限定领域中比较好定义的场景吗?
Guangmi Li:量化、coding、数学。下一代模型也比较关键,无论是传说中的GPT-5 Orion,还是Anthropic的Claude-3.5-Opus,或者Gemini的更大模型,他们的能力提升幅度有多大。我觉得不用悲观,但也不要过度乐观。肯定智能会有提升,但是不会像以前从80提升至120这样的陡峭。
张小珺:陡峭的时候智能提升是快的?
Guangmi Li:o1的天花板在哪里?o1做完了可能会有o2、o3,大规模scale o1到o2到底会怎么样?有时候,模型训练的收益来得快,但瓶颈有时来得也快。o1可能是走向AGI的必经之路,但不知道是否会很快碰到天花板。如果o1这条路失败了,达到AGI可能还要再耽误几年。
张小珺:你怎么理解o1的天花板?
Guangmi Li:可以举个例子,今天全球70亿人,每天都在做任务,这70亿人每天产生的新的知识增量信息有多少?还是过去几千年祖先积累的知识更多?如果把70亿人持续探索和inference一整年的知识和信息加起来,如果比过去老祖先积累的多,本质上就代表人类可以用算力换数据,这件事情很伟大。说明合成数据是成立的,但如果70亿人忙碌一年没有产生新知识,没有任何增量信息,不如祖先积累的多,那o1可能很快就到天花板了。
我个人是相信70亿人一定可以产生更多的新知识的,只不过边际可能没那么陡峭。
张小珺:还有什么重要的问题?
Guangmi Li:还有两个重要问题。
第一,假设coding能力明年能提升10-30倍,软件开发的范式会有什么改变?新的软件生态会怎么样?未来的软件会怎么样?
第二,context非常重要,我觉得大家还不够重视。
另外,还有很多科研问题值得探索,没有解决的问题依然很多。比如,模型架构上进行什么样的改变,可以让模型在后台持续思考?比如今天的一个问题,人类可以思考一周再给出答案。人类今天学到一个知识,实时更新了大脑的记忆,但模型今天还没办法实时更新,这点也有提升空间。
张小珺:你认为在明、后年C端产品重要吗?
Guangmi Li:我认为C端产品肯定也是重要的,比如谁能追上ChatGPT的规模?以Chatbot的形态主导的产品大概率不会成为下一个赢家了,需要有差异化的价值。核心指标可以看产品每周的活跃用户量,下一个做到大几千万,甚至1-2个亿的产品,可以拿到下一张船票。
张小珺:所以总结下来,未来两年的关键因素有非常多方面?
Guangmi Li:用户规模很重要,比产品形态重要很多。基础模型可能还会突破,pre-train可能还会有半代到一代的提升,但大家在技术模型的突破重点都放到了post-training上。
数据也非常重要,我很期待有产品形成数据飞轮,挖到大量高价值的数据或者在合成数据上有所突破。包括AI公司所谓的组织能力如何快速迭代。模型也重要,产品也重要,未来产品的粘性也需要提升。
今天,ChatGPT的时长、粘性、频次都不如Google和抖音,说明它承载的需求和可供挖掘的空间非常大。GPU和人才也非常重要。真正懂AI,并在一线干活的人非常少,而人才是非常关键的。很多Lab都在说人手不够,我觉得真正懂的几十个人非常分散,还没有特别集中。
张小珺:一年前你说大模型的秘密在三家公司:OpenAI,Anthropic和Google,现在怎么看?
Guangmi Li:今天大的格局依然是这样,只是人才确实有流动。之前,我们说做到GPT-4很难,但今天很多模型公司都做到了初代GPT-4,但没有做到GPT-4o和Claude-3.5-Sonnet的水平。过去两年,模型能力的进步是非常陡峭的。两年内,模型进步的陡峭程度可能比人类进化100年的智力提升还要高。
端到端、full-stack是比较重要的,但创业公司没办法做到那么多。所以,创业公司就需要找到非常锋利的点,做出一根针捅破天的产品。
张小珺:两年内,你认为巨头之间会有什么大变化吗?
Guangmi Li:不排除微软投资Anthropic。
张小珺:很多人说scaling law的魔法就要失灵了,你对scaling law持有什么样的观点,能不能解读一下最近Ilya发表的观点:pre-train data wall?
Guangmi Li:现在有几条scaling law,Ilya认为的data wall是预训练的数据瓶颈。互联网的数据是线性增长的,比如每月增加1T有效token。但模型预训练需要的数据是指数级增长的。我们上一期播客已经隐晦地提了这件事情,但Ilya今天公开说了。
预训练今天看是100%遇到困难了,无论是GPT-5,Claude-3.5-Opus,Gemini Ultra等。预期不一定会非常高,但也不差。不确定这是永久性问题,还是短期问题。有些人很悲观,有些人很乐观。
今天的瓶颈一定不是计算或者架构问题,主要还是数据问题。互联网上,能用来提升智商、用来大规模训练的数据可能就20-30T,每个月增加不到1T就到极限了。但有的人会乐观地觉得现有数据的量化挖掘空间还很大,需要提高data efficiency。比如,人类学习一个知识只需要5-10条样本,但模型需要几千、上万条才能学会。25-26年能不能让模型学习效率提升。其次,整个互联网上的数据占到人类智慧的5%-10%,如何让更多的人类智慧灌入模型中?这可能需要一个天才设计的交互系统。推荐算法、推荐引擎已经把人的偏好数据沉淀在模型中了,但人的智能如何更好地被沉淀在模型中?
OpenAI遇到这个问题比较早,但是到今天也没有完全放弃pre-train,只是把pre-train和post-train重新整合了,现在叫fundamental research。GPU分布也会有变化。之前,大家做pre-train,pre-train和实验可能会占到整个GPU分布的80%-90%,未来可能pre-train和post-train占到了1:1的关系。Tier-1的公司都不能放弃pre-train,因为这还会有提升,也是底座。
第二条scaling law是o1系列,分歧点在o1的天花板到底在哪里,能不能通用、泛化。今天,语言模型到底是不是真正的泛化是不清楚的。很多问题都在训练数据分布内。如果o1不能泛化,只能在数学和代码里面很强,会影响这轮AGI的天花板。OpenAI基本all-in到o1、o2这条大的bet,如果这条路失败,OpenAI会面对比较大的挑战。赌赢了,天花板会打开更多。
张小珺:我们之前聊的o1那期播客中你聊到后训练有一个关键问题是奖励模型reward model,整个地球上也没有一个reward model能衡量所有人,你相信未来会有吗?
Guangmi Li:我觉得很难有一个绝对通用的reward model能够衡量所有事。因为每个人、每个领域都很不一样,甚至昨天、今天、明天都不一样。最尖端的researcher可能也没有想到泛化reward model的方法。不知道Ilya未来会不会有解。
可以确定的是,今天数据非常重要。大家花了很多精力标注数据,需要真实的高质量数据,现在每个人都会负责收集不同领域的数据,标注数据、请专家评估。在不同领域进行学习,大家依赖各个领域的数据拼凑提升模型。Reward model通用泛化还是需要科学突破的。
张小珺:o1的天花板会卡在哪里?o1的路线是共识吗?它一定会走向AGI吗?
Guangmi Li:真正的天花板可能会在数据和泛化。我觉得泛化可能是唯一关键的问题。回到刚才说的,是否要相信这个世界上会有一个统一、能评价所有人、所有职业的大一统reward model?还是各个行业垂直构建的reward model?如果是各个行业垂直的情况,那需要雇很多的人,设计任务、设计reward,像老师出题一样。这样的速度就比较慢了。但从o1产品的角度来讲,我观察身边人使用频率并不高,它的产品形态今天也有瑕疵,比较慢,延迟比较高,使用门槛也比较高。实际上,90%甚至99%的用户的query都用不到o1。
o1擅长解难题,但普通用户用不到。它数理的准确度更高,数学和代码都很高。
张小珺:你认为o1的路线是共识吗?它一定会走向AGI吗?
Guangmi Li:这还是一个计算科学、实验科学待发现的问题。只是今天还没看到天花板,值得重点投入、尝试。但至于最后走到哪里,今天是有分歧的。有些人觉得,o1的天花板非常高,只要把task reward设计好,就能激发出pre-train model激发不出的能力。
也有一部分人认为o1可能很快遇到天花板,因为收益提升快,但遇到瓶颈也很快,不能完全靠模型scale。o1还是能让人参与做reward的过程,过去两年合作了一些专家参与标注,设计reward,这是数据上比较重要的部分。即使o1走不下去,或者最终无法到达AGI,沿途下站的成果也可能做出很好的产品,毕竟资源很多,人才也很多。
张小珺:所以scaling law听起来可能算法不是问题,算力也不是问题,遇到问题的是数据?
Guangmi Li:是的。大模型公司要考虑的还是如何更scalable采集高价值数据,未来形成有价值的数据飞轮。比如某天能够出现天才的产品经理,将人类讨论过程的数据记录下来反馈给模型,是比较重要的,我们讨论的过程有Chain-of-thought数据,这是模型记录不了的,这是有价值的数据。包括如何用数据激发模型更大的能力,尤其是刚才提到的data efficiency如何提高。能力弱的人需要学很多条才能学会,能力强的人,可能两条就学会了,这就是效率的问题。
张小珺:我开个脑洞,飞书这样的产品形态可能是雏形吗?它有大量的工作讨论。
Guangmi Li:它的数据价值很高,Notion这样个人笔记软件的数据价值也很高,数据资产的价值很高,但产品形态不好说。
张小珺:ChatGPT的数据飞轮比较小?
Guangmi Li:ChatGPT主要得到了偏好数据,而不是能力数据。它可以把你的偏好高效筛选,提升MAU,或者用户时长,但对AGI没有什么帮助。搜索、推荐也都是人类大规模投票的标注。如果ChatGPT把用户偏好数据用太多,答案会趋向一致,丧失多样性。
本来生成答案的可能有1万种,但投票投多了就200种。ToC用户的数据是有价值的,但未来如何用好还要做很多研究。大多数的用户数据没有逻辑,但提升逻辑的方法很多,不一定需要用户数据。
一件可能有意义的事是:用户关心的需求是重要的,这会让产品体验更好,可以定向优化模型,优化数据。Google有用户的意图数据,它可以基于此进行后端优化,这会更有意义。
张小珺:未来ChatGPT会有数据飞轮吗?
Guangmi Li:存在一个理想的状态:某个天才产品经理,设计了某个形态,把人类的思考的过程和高价值的数据都传递给模型,最有意思的就是你刚才提到的FSD。推荐系统也是比较好的一个模型,甚至笔记软件Notion的知识库里也可能是获取数据、形成数据飞轮比较好的过程。
未来的形态可能一端是模型、一端是个人软件,如何把个人软件的数据hack出来,作为context自动放到模型里帮助完成任务,这个过程非常有意思。我觉得今天让人标注的方式都不够本质、不够scalable。如果不考虑隐私的情况下有个AI Bot每天看你的微信,同步做其他事情,这是一个更自动化的过程。
张小珺:所以产品不是只要人用就可以,还需要看如何在和人交互的过程中吸收人类的智力。
Guangmi Li:对。
张小珺:哪些产品里还有高价值数据?
Guangmi Li:比如搜索,首先用户意图数据很重要,但未来AI搜索有持续性的研究话题,并能够持续追问,这里面可能有高价值数据和CoT数据。Notion里有高价值数据,那是用户反复想出来的知识,结论比较多。未来,AI公司的Artifacts或OpenAI的Canvas可能也能有,因为做任务过程中产生的拖拽,可以记录用户思考的过程。
浏览器上的点击数据也很有价值,点击是有用户行为和逻辑的。但Google不敢用这个Chrome的数据,因为可能有合规问题。操作系统的数据也非常重要,因为有用户怎么操作软件的数据,未来AI是可以模仿用户操作软件的。
张小珺:Anthropic coding能力比较好是因为在数据上做了特殊处理吗?
Guangmi Li:还是预训练的code、data做的比较认真。最后,关键点还是数据。好的AI公司都花了大量的时间在数据上,比如OpenAI、Anthropic。但如何做好数据,大家是没有共识的,tier 2的公司其实都是没做好数据的。
张小珺:按照我们之前跨年特辑的传统,回顾一下你心目中能定义2024年全球大模型产业的关键时刻?
Guangmi Li:如果只说一个,我会说今年夏天6月20日Anthropic Claude-3.5-Sonnet模型发布,因为这个模型真的让大家进入生产力提升的阶段,带来coding编程能力的巨大进步,紧接着,才让后面的Cursor和今天的Devin火爆。今天他们大部分的用量都来自于Sonnet,Cursor和Devin都要给Sonnet付几百万美金的token消耗费用。
张小珺:这是全球大模型狂卷的第二年,你觉得经过了这一年卷出了什么?
Guangmi Li:coding开始进入了大规模生产力提升的阶段。25年对coding更乐观、确定性更高,代表下一代软件生态的形成。
也卷出了ChatGPT这一killer app,在c端一枝独秀。今年agent的基础设施落地慢慢临近了。
张小珺:今天想要进入决赛圈,条件是什么?
Guangmi Li:c端用户和开发者的投票。各家的产品有没有真正被用起来,有没有拿到用户、开发者的投票,这是一个条件。如果你的东西没人用,自己说的再厉害都没用。
模型层,拥有10万张有效、已经使用的卡,这是全球第一梯队的决赛标准,没有这点是不行的。
张小珺:哪家公司的产品真正被用起来,和你去年说谁能先做到GPT-4,他们的关系是什么?
Guangmi Li:做到GPT-4代表一个智能水平,只有到了这个标准用户才会用、才会买单。但是大家今天都超过或者做到初代GPT-4了,前面还有能力更强的模型。这点已经没有意义了,因此,还是需要有差异化的能力或智能的体现。
张小珺:人工智能是能力。
Guangmi Li:对。但我觉得在决赛圈没有大腿好像是不行的。OpenAI、Anthropic、xAI、Llama都有大腿。
张小珺:你去年这个时候说,2024年是决定长期格局最关键的一年,格局形成以后很难改变。今天来看你的说法对吗?
Guangmi Li:过去一年挺清楚的,和我们上一年跨年预测的一致。模型第一梯队可能就是3家或者3+2的发货月:OpenAI、Anthropic、Google属于绝对的第一梯队,xAI和Llama紧随其后,没有额外的竞争对手了。模型格局很难改变了,谁还会今天加入第一梯队?微软、Amazon都不容易,字节有可能。
张小珺:哪些去年的判断,你今天更坚信了?哪些去年的判断,你今天认知有所变化?
Guangmi Li:对比开源模型和闭源模型的观点会有些改变,因为有Meta的存在,Mera的投入比我们想象的要更加强大,这点对比之前的判断发生了很大变化。也要看Llama 4会怎么样。去年跨年,我们判断字节很有优势,今天更清晰了,豆包的DAU非常强大。如果字节明年用户增长很强,模型和产品一起迭代可能会比较好。
去年,我们提出了新的摩尔定律,这个预测还算准确,误差非常小。我对成本降低更加坚信了,未来做inference推理的主力模型不一定是特别大、100B以上的模型,而是3-8 B的一档位,或30-50B的这一档位。这两档可能会做inference的主力,而不需要100B以上做主力的推理模型。
之前,我对底座模型和预训练的预期更高。之前我们预测25年才会碰到数据问题,没想到这么早。先前觉得还能在此之前走好几代,没想到撞墙来的这么快。其次,巨头和大公司依然非常有优势,无论是Apple、Amazon、Google和字节,这些大公司还会很强。
张小珺:美股市值最大的7巨头里面,你最看好哪个?
Guangmi Li:股票角度,今天我比较喜欢Amazon。第一,它和Anthropic的合作关系比微软和OpenAI更健康,Anthropic的模型某些地方比GPT更好,对AWS的拉动很明显。如果认真看AWS财报,它的AI业务增速每年是100%,在翻倍。因此,边际增量的利润是很高的,能接近80%。大家都低估了AWS的盈利能力,这一能力未来还会很强。
还有一个关键点是自研芯片,这是比微软和OpenAI领先的,相当于AWS这一大的云厂商有了自己的TPU,这一战略落地对AWS的意义比较大。
张小珺:为什么不是微软?
Guangmi Li:微软的产品一直做的不好。比如Cursor、Devin这种面向开发者群体的产品从微软手上溜走,Copilot也没有达到大家预期。
张小珺:哪些公司有可能成为下一个万亿美金市值的公司?这里不作投资建议。
Guangmi Li:SpaceX和字节的确定性非常高,OpenAI也有潜质。
张小珺:你觉得o1能否短期做到通用泛化?
Guangmi Li:比较难。今天语言无法判断是否真正泛化,也可能今天的语言是假泛化,真的泛化还需要突破。我比较期待Ilya如何解决这个问题。
张小珺:哪些行业会被改变得很快?
Guangmi Li:涉及到知识工作者的自动化都有机会被agent改变,可以把很多workflow都自动化。
张小珺:你对明年投资哪里比较乐观?
Guangmi Li:各个领域都会出来背景比较好的agent公司,类似Devin的架构。一批一批的Devin会出来。
张小珺:明年如果只投一个方向,你会投什么?
Guangmi Li:围绕coding相关、agent落地相结合的。解决刚才提到的长距离推理任务的long-horizon task。
张小珺:AI市场的泡沫大吗?
Guangmi Li:大产业总是预期走在营收前面,有泡沫对产业是好事。但长期变成伟大公司的前提是要跑出好的商业模式,把泡沫填上。
张小珺:硅谷人才正在流向哪些公司?
Guangmi Li:Anthropic、OpenAI CTO Mira和post-training lead Barrett的新公司、Cursor、Devin,这几个是比较好的。
张小珺:你有什么比较喜欢的产品公司?这些公司在AI时代能发挥更大价值?
Guangmi Li:Notion很好,因为占住了个人的知识数据,数据资产的价值很大。微信的数据资产价值也很大,但微信可能不好用,因为涉及到隐私的问题。
张小珺:总结一下这一轮最大的机会在哪里?
Guangmi Li:这一轮最大的机会有三个:第一是我们一直聊的下一个Google,融合了搜索、推荐、问答、coding、做任务。它可以更加的主动和被动,体现在信息分发、超级助理,这是最大的机会,确定性最高,是明牌,大家都在做。
第二是下一个Meta,核心是互动性,大家赌的是形成一个新的内容消费平台,是从视频生成或者其他的方面。但我们今天高估了生成环节的重要性,其他环节也很重要。
第三是我们低估了AI for Science,科学发现。全球最强的两个Lab的CEO都很看好,一个是Anthropic的CEO Dario,看另一个是DeepMind的CEO Demis。Demis个人专注在一个制药的公司,可以从他的Twitter签名看到。硅谷这边已经有不少AI for Science的苗头了,专注于AI材料设计的团队也会更多。
张小珺:下一个Google指的是新的任务分发工具,下一个Meta指的是社交吗?
Guangmi Li:这是一个新的内容消费和娱乐平台。可能会像是Tik Tok。当然如果有新的社交也可以,但我不知道新的社交要素是什么。
张小珺:能不能总结一下2024年的几个关键词?
Guangmi Li:Coding、Coding、Coding.
张小珺:预测一下2025年的关键词?
Guangmi Li:Agent、Agent、Agent.
张小珺:我们聊全球大模型季报一年了,AI真实的改变了你的工作流了吗?
Guangmi Li:还是改变了很多,寻找信息和处理信息的效率提高了非常多。我自己经常换着用Claude,ChatGPT和Perplexity这三个产品。
本文来自微信公众号:海外独角兽 (ID:unicornobserver),访谈:张小珺、李广密