英伟达市值超苹果，最大危机是自己

本文来自微信公众号：Tim在路上 （ID：CNSF-2016），作者：Pulsar planet，原文标题：《写在市值超越苹果的那一刻，英伟达最大的危机是自己》

在ComputeX结束后，Nvidia成功加入了三万亿市值的俱乐部，超过了苹果，成为全球市值第二的公司。当天，英伟达股价飙升5.2%，收于创纪录的1，224.4美元，市值达到3.012万亿美元。

英伟达市值超越苹果标志着硅谷的一个转变，代表着以苹果乔布斯为首的iPhone创新在硅谷科技圈的主导地位易手到了以人工智能热潮涌簇着的英伟达手里。英伟达H100芯片在国内一”芯“难求，与之相应的是而苹果公司却在iPhone需求疲软和在中国厂商的激烈竞争中苦苦挣扎。

然而就在2022年10月，由于”显卡危机“英伟达的股价还处于崩盘状态，市值缩水超过一半多….

英伟达的崛起

1.故事开始于一家丹尼餐厅内

1993年，加利福尼亚州圣何塞的一家丹尼餐厅内，一场关乎科技未来的对话悄然上演。工程师黄仁勋与他的两位挚友Chris Malachowsky和Curtis Priem，围坐在一张桌子旁，他们的目光超越了眼前的咖啡杯，聚焦在一个宏伟的愿景上——图形处理单元的未来。他们不仅预见了这些单元在游戏和图形领域的巨大潜力，更洞察到了它们在科学研究、复杂模拟以及其他高强度任务中的无限可能。

当时的视频游戏行业正如旭日初升，充满了无限生机。图形处理单元，即我们熟知的显卡，成为了进入这一领域的黄金钥匙。这些芯片能够以惊人的速度渲染出绚丽的3D图像，为计算机屏幕带来了前所未有的视觉盛宴。显卡的性能越强大，渲染高质量视觉效果的速度就越快，这对于游戏体验和视频编辑等应用至关重要。自1993年成立以来，英伟达便致力于打造并精进这一核心产品，成为了行业的佼佼者。

2.事态转折到一度崩盘

到了2020年，新冠疫情的阴霾笼罩全球，人们被迫居家隔离，寻找着新的娱乐方式来填补生活的空白。在这段特殊时期，视频游戏以其独特的魅力成为了人们心灵的慰藉，显卡作为游戏体验的核心，其重要性愈发凸显。随着居家隔离和游戏消费热潮的兴起，显卡的需求量急剧攀升，成为了市场上的抢手货。

与此同时，加密货币市场也迎来了前所未有的繁荣。比特币等数字货币的价格飙升至历史新高，而显卡因其高效的计算能力，成为了挖掘加密货币的关键工具。这一需求的激增，直接推动了英伟达的市值飙升，至2021年11月，其市值一度突破了8200亿美元，创下了历史新高。

然而，好景不长，随着疫情的缓解，生活逐渐回归正轨，加密货币市场也遭遇了寒冬，价格暴跌。加之经济危机的连锁反应，科技股在2022年遭遇了重挫，英伟达的股价也随之崩盘。到了2022年10月，其市值已缩水超过一半，跌至不足3000亿美元。

就在市场陷入低迷之际，2022年11月，一则消息如同一股清新的春风，吹散了阴霾。OpenAI推出了其划时代的聊天机器人“ChatGPT”的试用版，这一基于生成式人工智能的机器人，迅速成为了科技界的新宠。各大科技公司纷纷投入巨资，竞相在这一领域展开激烈的角逐。英伟达，作为人工智能计算的领军企业，其产品在支持深度学习和人工智能模型训练方面具有无可比拟的优势，也因此迎来了新的崛起机遇。

英伟达的股价开始回升，市值逐步恢复，其在全球科技舞台上的地位再次得到了巩固。这一转变不仅标志着英伟达在人工智能领域的深厚积累得到了市场的认可，也预示着科技行业在经历了疫情的洗礼后，正迎来新一轮的创新与变革。

3.人工智能的新时代

在迅速增长的人工智能（AI）领域，我们必须认识到发展的双重方面：模型训练和推理。推理包括AI模型的功能和输出，而训练包括构建智能模型所需的复杂过程（包括机器学习算法、数据集和计算能力）。

以GPT-4为例，最终用户关心的只是推理：基于文本输入从模型获取输出。然而，这种推理的质量取决于模型训练。为了训练有效的AI模型，开发者需要获得全面的基础数据集和巨大的计算能力。这些资源主要集中在包括OpenAI、谷歌、微软和AWS在内的行业巨头手中。

公式很简单：更好的模型训练>>导致AI模型的推理能力增强>>从而吸引更多用户>>带来更多收入，用于进一步训练的资源也随之增加。

而这些训练和推理的硬件资源的最终提供者就是英伟达，可以说英伟达压中了这个时代，成为了AI领域发展的重要推手。

市值超越苹果的背后

英伟达市值的飙升得益于其在AI和数据中心市场的强劲表现，以及投资者对其未来增长潜力的乐观预期。

然而，这种市值的快速增长也带来了更高的市场期望和压力，英伟达必须不断创新和扩大市场份额以维持其领先地位。

讲人话就是英伟达必须不断的给投资者”讲故事“，必须不断的将”泡泡“吹大，在ComputeX后朋友圈出现了很多展示英伟达将摩尔定律远远甩在身后的图片。然而这虽然是当前英伟达的成绩，但也其实是一份压力，当这个故事或者这个增长曲线不能以类似的曲率快速增长时，这个”泡泡“就会产生破裂的危机。例如英伟达搞了NVL72接下来又开始搞NVFabric Chassis/Rack，这一起都是在找新的增长点，一点都不奇怪。

我其实在之前的一些文章中曾提过，当前我们需要这么多算力机器的前提是因为基础模型中的transformer算法并不高效，以及scaling Law依然还在生效。因此，为了追求更高的模型性能，研究人员和工程师们不得不依赖于更多的算力资源。

当前英伟达大量的押注于transformer引擎，为transformer专门实现软硬一体的性能优化，这种的前提是transformer在短期内不可被替换。如果一夜之间存在更高效的算法或者更高效的理论（例如人类可以通过少量的数据就可以实现更好泛化），那时我们不再需要更多的算力预期，过剩的产能则会带来崩盘的危机。

其次，英伟达（NVIDIA）作为AI和数据中心领域的主要硬件供应商，通过其强大的GPU产品线，在市场上获得了非常丰厚的利润。而其他参与者，如软件开发者、服务提供商等，虽然也在努力推动技术进步，但并未获得相应的经济回报，他们更多地只是在追求未来的预期收益。

而就在前不久AMD、博通(Broadcom)、思科(Cisco)、Google、惠普(Hewlett Packard Enterprise，HPE)、英特尔(Intel)、Meta和微软(Microsoft)在内的八家公司宣告，他们已经为人工智能数据中心的网络制定了新的互联技术UALink，用来打破英伟达的NVLink的垄断。

这种情况非常类似于过去思科（Cisco）在网络设备市场的地位，当时思科能够以高昂的价格销售其产品，而其他合作伙伴则可能只能分享到市场的增长潜力，而非实际的利润，长期来看导致了合作伙伴的不满和疏远，甚至引发竞争和替代方案，最终导致了思科的崩盘和一蹶不振。

另外一点就是，GPU（图形处理单元）并非专为人工智能（AI）设计，其诞生之初是为了满足图像计算的需求。回顾英伟达的历史，从最初的CUDA/SIMT架构开始，英伟达就不得不在图形处理和高性能计算两个领域之间寻找平衡。这种双重使命在英伟达的发展历程中形成了一道裂缝，正如《英伟达帝国的一道裂缝》一文中所揭示的那样。

面对Google TPU等专用AI硬件的挑战，英伟达迅速作出反应，推出了Tensor Core，并对其进行了几代迭代。然而，为了同时满足图形业务的需求，英伟达在设计中始终需要考虑一个维度——即与图形处理相关的特性。这导致英伟达在追求AI计算性能的同时，也必须兼顾其GPU在图形处理方面的传统优势。

为了解决这一难题，英伟达采取了一系列措施，如引入TMA（Texture Memory Access）技术，以及在Hopper架构中推出的「warp group matrix multiply accumulate，WGMMA」补丁和移除RT Core等。

要知道在Hopper以前的GPU上可用的张量核心TensorCore指令是wmma.mma.sync和mma.sync指令。使用这些指令，SM单个象限subCore上的32个线程的warp会同步将其数据块输入张量核心并等待结果，只有这样他们才能继续运行。

wgmma.mma_async指令是新引入的补丁，128个连续线程（分布在SM的所有象限中）协作同步，并直接从共享内存（也可以是寄存器）异步启动矩阵乘法。然后，这些线程束可以在矩阵乘法发生时使用其寄存器执行其他操作，并随时等待结果。

这些指令所涉及的内存布局确实相当复杂。未经优化的共享内存布局在合并访问时效果不佳，这可能是因为张量核心作为后来添加的功能，需要一条深层的硬件管道来为其提供数据，从而导致整个内存布局变得异常复杂。

这种复杂性源于张量核心的设计初衷是为了增强GPU在AI和机器学习领域的计算能力，而这些领域对内存访问模式和数据传输速度有着极高的要求。因此，为了满足这些需求，英伟达不得不在原有的图形处理GPU架构中嵌入新的硬件组件，这自然带来了内存布局上的挑战。

总结

英伟达也是几经起伏，从刚开始的图行处理芯片，到挖矿，自动驾驶，人工智能，这得益于黄仁勋的远见与坚持。随着OpenAI的ChatGPT推出后，英伟达作为人工智能计算的领军企业，其产品在支持深度学习和人工智能模型训练方面具有优势，市值逐步恢复，并成为全球第二，这是一个逆袭成功的故事。

然而在鲜花和掌声之下也隐藏着危机与挑战：

首先是市场期望与压力：英伟达市值的快速增长带来了更高的市场期望和压力，所以其必须不断创新和扩大市场份额，而且要以越来越离谱的速度前进，来以维持领先和AI芯片更高市值预期的地位。

其次是技术依赖风险：英伟达大量押注于transformer引擎，如果出现更高效的算法或理论，可能导致算力需求下降，引发产能过剩危机。

然后是市场竞争加剧：英伟达在芯片产业上获得了较大的利润，而其他伙伴只能拿到预期利润，而非实际的利润。以及AMD、博通等公司推出新的互联技术UALink，试图打破英伟达的NVLink垄断，共同和英伟达竞争。

最后是GPU设计的双重使命：英伟达的GPU设计需平衡图形处理和AI计算，面对专用AI硬件的挑战，英伟达推出了Tensor Core，但仍需兼顾图形处理通用计算的传统优势。