正确的提示信息

扫码打开虎嗅APP

从思考到创造
打开APP
搜索历史
删除
完成
全部删除
热搜词
2024-06-30 16:26

AI以为超越了摩尔定律,其实是回归了杰文斯悖论

本文来自微信公众号:未尽研究 (ID:Weijin_Research),作者:未尽研究,题图来自:视觉中国

文章摘要
AI在超越摩尔定律的过程中回归了杰文斯悖论,需要更大的资金、更多的能源来支撑其发展。

• 💡 AI应用需要更大的模型,更大的算力,更多的能源

• 🚀 开源模型的竞争活跃,小模型+边缘部署将成为应用的重点方向

• 💰 大模型时代的商业模式面临洗牌,需更多应用实现回报

当下的AI热潮,很容易被用来与2000年前后的互联网泡沫进行对比,如英伟达是不是当年的思科。


但因为推出浏览器Netscape而知名的硅谷风险投资大佬安德森认为,AI这一波与互联网不同,AI更像是一个计算机,只不过它是与传统的冯.诺依曼架构不同的计算机。AI进行的是概率运算,而不是完全确定性的计算。这种通用但概率性的计算,更接近于人类大脑。


比尔·盖茨、纳德拉、黄仁勋都认为,AI更像计算机,而不是互联网。它至少首先引发供给侧的生产力革命,而互联网主要是消费侧。


如果看下目前市值在3万亿美元的公司,微软、苹果、英伟达,它们都是创办于PC时代的企业。一个软件,一个硬件,一个芯片。它们的共同特征都是以计算为核心能力的企业。跨越了个人计算、移动计算、云计算和AI计算。


如果这样的话,目前最先进的大模型、基础设施和早期的应用,都集中在少数几个巨头手中,如科技七雄,更像计算机的早期,少数集中式的大型计算机就基本够用了。


但计算机最终走向了小型化与个人化,并且进入各行各业,进入消费。正是微处理器的出现,才让计算机与各种技术发生更加丰富多变的组合,产生了无穷的创新机会,催生出数字经济与社会。


但这并不意味着AI的应用将于下半年爆发。AI芯片与大模型技术仍然处于成熟期。向企业交付的智能体,在工作中并没有发挥出应有的作用,因为多数行业和企业的数据还是一盘散沙。所以那些经常更新、验证、清洗数据的,管理好数据的企业甚至个人,才能喂养好AI,也才配先用好AI。


我们在去年底对2024年的生成式AI所做的10个展望中,其中有9个已经在上半年应验或者实现。


我们下面逐一盘点:


1. 智能体作为任务助理进入更多应用场景和业务流程


智能体的确是上半年最热门的领域。吴恩达团队用GPT-3.5做成的一些智能体,相关性能甚至超过了GPT-4。对话机器人不再是简单地对话和生成文章,日益具备了智能体的功能,如Claude3.5的Artifact,能通过写代码完成一些交办的任务。大大小小的模型,可以通过提示形成多步骤的工作,即智能体工作流(agentic workflow),如反思功能,通过自我审核纠错等,达成更准确完整的工作。智能体还有调用工具、规划,以及多智能体合作等功能,能管理越来越复杂的工作流。


智能体是上半年最热门的AI创业领域,也是巨头的利器,下半年仍会继续。但目前用智能体做出杀手级的应用,仍然处于早期,如所谓首个“AI程序员”Devin,在解决Github上的编程问题的基准测试中,仅完成了14%。


2. 操作系统集成下一代大模型,成为下一代操作系统


操作系统集成大模型的竞争,一经发生就迅速白热化。OpenAI与苹果iOS、macOS等系统集成,已经引发微软的不满,尽管后者挖空了Inflection作为备选,并持续迭代至Phi-3模型,但目前Windows Copilot仍深度调用GPT系列模型。操作系统与大模型的深度集成也引发了用户对隐私安全的担忧,相比独立的ChatGPT应用,马斯克更不信任内置Siri背后的GPT。


下半年,升级了芯片与内存的谷歌Pixel手机,会是将安卓与Gemini深度集成的一次演练;华为HarmonyOS生于AI时代,持续围绕大模型进化系统生态;Windows与iOS都将迎来重大升级,在提供人机交互创新的同时,进一步在系统与硬件等层面,降低用户对隐私与安全的担忧。


3. 生成式AI制作的影视剧大量出现,冲击影视行业发生剧变


视频成为生成式AI最惊艳的领域。OpenAI的Sora融合了扩散模型和Transformer,把视频长度上限提升到1分钟,也验证了扩展定律继续生效。这激励了中国与美国更多追随者,Pika、Luma、Runway、快手可灵、生数Vidu等都以其为对标。广告营销行业接受度略高,内容娱乐行业也正谨慎接受这一颠覆性工具,翠贝卡电影节展示了5位导演制作的Sora微电影,导演陆川用AI生成了12集的《少女与机甲》。


下半年,视频生成占用过高算力资源,以及长视频一致性等技术瓶颈,将逐步通过技术来缓解;内容娱乐行业将继续在争取版权等权利的同时,提升生成式AI在制作流程中的比例;随着更多视频生成功能逐步向公众开放,尤其是在短视频社交媒体上,它开始影响注意力经济的竞争格局。


4. 人形机器人开始量产,自学习与环境互动能力进一步强化


人形机器人加速涌入物流、汽车行业,它与人类及其他机器的协同工作能力仍然需要更多验证。Figure AI与宝马、Apptronik与奔驰、Sanctuary AI与麦格纳、优必选与东风柳汽,还有特斯拉与自家的擎天柱,都在准备批量进入生产流程。宇树科技去年9万美元的H1,已累计收获相当数量订单,今年新品G1以低于9.9万元人民币的价格量产。具身智能迎来垂直整合开发平台,英伟达推出了多模态大模型GR00T及软硬件工具,OpenAI宣布重启人形机器人研究。商业化前景与基础设施补全,给了大量风投资金以信心,在中国,逐际动力、银河通用等多家成立不久的初创企业,各自完成了数亿元融资。


人形机器人既涉及大模型对物理世界的理解与互动,也涉及追求极致精密性与性价比的工业场景,下半年,它仍以测试、验证,以及收集数据为主,但将向更多细分场景切入,已有场景也会追加部署数量。即使如此,更好的合成数据技术,以及更大规模更高质量的合成数据集,将在具身智能的性能扩展中,发挥越来越重要的作用。低样本训练以及计算机视觉仍然重要,将持续迭代,成为适配“空间智能”产品的关键技术。


5. 终端设备加载AI模型,推动换代升级


联想率先交付真正的AI PC,它足以容纳完整而又最小可行的通用推理能力,本地部署大模型带来了个性化的AI体验,也开始塑造更普惠的token经济。微软与苹果也已下场,前者计划年内售出5千万台Copilot+PC。端侧大模型的尝试正在扩展到手机、汽车与其他原生硬件。小米汽车、手机与智能家居加载了该公司旗下大模型,汽车先从智能驾舱起步;特斯拉宣布即将揭晓Robotaxi,并且进入中国,自动驾驶将会加速上路。



下半年,更多搭载高通、AMD与英特尔芯片的设备上市,向AI应用释放约50 TOPS的NPU算力,AI PC进入跨越鸿沟关键阶段;随着小型化的大模型持续进化,AI手机本地推理能力越来越强,规模效应也将加速上下游半导体供应链同步升级换代;眼镜、汽车与其他AI原生硬件将继续探索本地部署模型的最小可行产品形态。


6. 下一代闭源大模型推出,开始出现胜任人类水平的AGI“火花”,但规模边际效应递减


这是十个展望中,唯一看起来在下半年仍然有些不确定的。OpenAI似乎才开始训练GPT-5不久。OpenAI上半年进行了两次成功的迭代,推出了Sora和GPT-4o。Gemini 1.5 Pro,Claud 3.5 Sonnet都达到了GPT-4o的水平,甚至在个别的性能上超过。但2024年,我们可能仍将处于GPT-4的时代。


AI模型发布时间与性能提升时间表


关于GPT-5,有一点可以确定,它将更接近AGI,拥有更强的基于世界模型的直觉能力;更严谨的推理能力,即所谓的慢思考和“第二系统”;还具备一定的多模态和具身智能,即对周围环境有一定的互动和适应能力。但它相对GPT-4有多大提升,所吊起的胃口似乎已经弱化。又有一些新概念出现了,如物理AI、空间计算,甚至伊利亚提出要做超级智能,这些多少都会影响下一代AI模型的方向,而不仅仅是大语言模型(LLM)


7. 数据来源的深度和广度进一步开拓,进一步规范,更多合成数据与自然数据结合用于大模型训练


高质量的、“自然的”公开数据正在以更快的速度被耗尽。免费的数据也越来越少。数据的合规使用,数据产生方的权益保护,已经让大模型的“低权益红利”消失,而之前许多投资都是冲着“免费”训练数据来的。苹果带了个好头,与内容和数据权益方展开商业合作,牵头建立起数据供应链。OpenAI一方面与《纽约时报》打官司,一方面开始与各主要媒体集团签约合作,以获取优质的数据来源。这样产生了真正的数据交易市场。


合成数据正成为重要的来源。由于大模型服务费用迅速下降,AI企业可以生成成千上万亿token的数据用于训练。智能体工作流中生成的数据质量也在提高。Nvidia发布了开源模型Nemotron-4 340B,用于训练模型的合成数据。


在AI的三大要素算力、算法和数据中,数据的价值正在重估。AI数据工厂scale.ai估值达到百亿美元,其创始人坚信数据的丰富程度,也将直接决定扩展定律能走多远。他提出了“边际数据”的概念,即那些专业人士在专业工作流中创造的数据,将是未来高质量数据最重要的来源。政府、企业、机构、个人的数据,都将会用来构建场景化与个人化AI。


8. 苹果真正入局,力争复现AI“iPhone时刻”


苹果打破常规节奏地发布了M4芯片,为下半年在设备上实时响应AI生成内容做足了准备;推出了Apple Intelligence,强调个性与自然的交互体验;引入与OpenAI等的合作,并保证在技术栈的每个层面,从云到端,保护用户隐私。苹果在继续谈判合作伙伴的同时,还在研发自己的小模型。


苹果Apple Intelligence技术栈


下半年,随着iOS18等操作系统发布,更多合作方大模型将进入苹果设备,Meta、谷歌、阿里巴巴与百度都有可能;将根据欧盟与中国对AI的监管政策作出调整。为提升模型吞吐速度,新一代iPhone将比以往更注重对内存墙的突破;持续改善开发者环境,应用形态逐步围绕智能体等技术重构;Vision Pro将更清晰地展示出空间计算与AI计算的关系。苹果对于建立起真正的个人AI体验,具有决定性的影响。


9. 一些开源模型及AI应用,因为无法建立起商业模式将面临生存危机


洗牌已经开始,token的质量与成本决定了大模型时代的商业模式。基于大模型简单调制的GPTs几乎悉数失败,明星企业也无法幸免。Inflection被变相收购,Adept有心出售,Stability AI重启后拒谈最新估值。大模型的收入仍然主要流向芯片与基础设施,AI应用普遍留存不佳、变现迟缓,红杉资本提出的500亿美元投入仅产生了30亿美元收入反映了这一困境。但无论是红杉还是BVP,都指出应用的成长要快于传统SaaS的起步阶段。那些与传统SaaS功能互补的垂直AI企业,年收入规模(ARR)超过400万美元的,正以65%的平均毛利率以及400%的年增长率成长起来。


AI应用ARR快于传统SaaS  来源:BVP


下半年,对有性价比的算力资源的争夺,将加速优胜劣汰;中国市场仍要面对SaaS发展不充分的相似局面,那些提供一体化解决方案的企业更先站稳脚跟。


10. 小模型结合软硬件应用,新物种涌现


上半年开源模型的竞争非常活跃,其中的70B或者更小的型号,可以直接部署到端侧设备上。中国以DeepSeek、通义千问、零一为代表的开源模型在国际舞台上掀起波澜。Apple Intelligence主要基于本地部署的小模型。AI的规模化应用,将不可避免地走向小型化与个人化。目前在HuggingFace上有30多万个大大小小的开源模型,构成了丰富的生态,覆盖了无数的场景。谷歌在上半年仅用4个月就接连推出开源模型Gemma1及2。在闭源大模型的进步速度放缓,泛化能力不及预期的情况下,开源模型的进步速度相对加快。用相对少量的优质数据和算力,可以训练出性能更强的小模型。数百亿参数的模型,可以在单张谷歌云GPU、A100或H100上跑。AGI一方面需要更强的通用智能,另外一方面需要更强的“具体智能”。小模型+边际数据+边缘部署会成为应用的重点方向。


开源模型正在逐步缩小差距  来源:ARK invest


半年过去,我们发现AI应用需要更大的模型,更大的模型需要更大的算力,更大的算力需要更大的电力。


这样,当我们说超越了摩尔定律时,其实是回归到了杰文斯悖论。


杰文斯是英国工业革命中的一位经济学家,他发现煤炭使用效率提高,将会引发相关技术和产品的创新,基于煤炭的产业将会繁荣,进一步增加煤炭的消耗。杰文斯悖论可以解释迄今一切与能源相关的技术革命,包括油气和可再生能源。


“例如,如果高炉中使用的煤炭数量相对于产量减少,行业利润将增加,新的资本将被吸引进来,生铁价格将下降,但需求会增加;最终,更多的高炉数量将超过每个高炉减少的煤炭消耗量。而且,即使在单一行业中,这种结果并不总是出现,但必须记住,任何制造业的进步都会在大多数其他行业中引发新的活跃度。”(杰文斯,1865《煤炭问题》)


摩尔定律更像是信息革命时代的杰文斯悖论。当黄仁勋认为GPU在过去10年实现了单芯片算力提升上千倍,并且把节奏加快到每年推出新一代加速芯片时,对智能算力的需求,在以季度翻一番的速度增长。


从技术上来讲,摩尔定律和黄氏定律可以持续下去,但它必须投入更大的资金以及消耗更多的能源。而经济和商业规律决定了,这些投资必须以更多的应用实现回报(ROI)。这就是AI时代的杰文斯悖论的商业和经济基础。


最终还是回到计算。长期来看,要么改变算法,要么设计出更节省功耗的芯片(想想人类大脑30W的功耗吧),要么能产生边际生产成本为零、无限供应的可再生能源。计算的本质是能源的处理形式,计算过程也是能量转换和使用的结果。


在我们把AI问题扯到一场更大的技术革命之前,还是以回到现实,来收敛和总结我们一年半载的盘点。


AI的炒作,正在进入一个阶段性的高点。基于扩展法则(Scaling Law)的英伟达-OpenAI/微软轴心,其主流地位并非牢不可破。一个突出的问题,是科技巨头、风险资本和政府资本在买卡、挖人和训练大模型的巨大投入,短期内带来的回报(ROI)微不足道。可以肯定的是,在基础设施的疯狂投入与应用的真正爆发之间,如果GPT-5的推出未能满足人们的胃口,炒作曲线会出现下坠。这是任何一次真正的技术革命中的泡沫必然要经历的一次清算和洗礼。人们也将会发现AGI可能并不是少数几个大模型凭借测试分数就能实现的,而可能是与多样化的模型共同向前推进、累积解决无数小问题的结果。

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系 hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
打开虎嗅APP,查看全文
文集:
频道:

大 家 都 在 看

大 家 都 在 搜

好的内容,值得赞赏

您的赞赏金额会直接进入作者的虎嗅账号

    自定义
    支付: