媒体再爆：OpenAI的GPT-5训练遇阻

本文来自微信公众号：华尔街见闻，作者：黄雯雯，原文标题：《媒体再爆：OpenAI的GPT-5训练遇阻，时间延迟且成本高昂，数据短缺》，题图来自：AI生成

AI的下一个飞跃似乎没法准时报道了。

当地时间20日，据《华尔街日报》报道，OpenAI的新一代人工智能项目GPT-5（代号Orion）正面临重重困难。该项目已开发超过18个月，成本花费巨大，却仍未取得预期成果。

有知情人士透露称，OpenAI的最大“金主”微软原本预计能在2024年中期左右看到新模型。而OpenAI曾进行过至少两次大规模训练，每次都耗时数月并消耗海量数据，但每次都出现新问题，软件无法达到研究人员所期望的结果。

分析认为，世界上可能没有足够的数据让它变得足够聪明。

一、巨额成本令人咋舌，GPT-5项目进展不顺

分析师此前预测，科技巨头们可能会在未来几年在人工智能项目上投入1万亿美元。还有估算显示，GPT-5一次为期6个月的训练仅计算成本就高达约5亿美元。OpenAI首席执行官Sam Altman则表示，未来的AI模型成本预计将超过10亿美元。

但了解该项目的人士表示：

“虽然Orion的表现较OpenAI目前的产品有所提升，但还不足以证明其巨额运营成本的合理性。”

今年10月，投资者给予OpenAI的1570亿美元估值很大程度上是基于Altman的预测，他此前称，GPT-5将是一次“重大飞跃”，他还曾说GPT-4表现得像一个聪明的高中生，但最终的GPT-5实际上在某些任务上更像拥有博士学位。

报道称，GPT-5应该能够解锁新的科学发现，并完成诸如预约或航班等日常人类任务。研究人员希望它犯的错误会比现有的AI少，或者至少承认“怀疑”，因为目前的模型可能会产生幻觉。

不过，对于“何时能成为足够聪明的AI”还没有固定的标准，更多的是凭感觉。

而到目前为止，正在开发中的GPT-5给人的感觉还是不够强。Altman在11月表示，“2024年内不会发布任何名为GPT-5的产品”。

二、数据短缺成为主要瓶颈

为了不使巨额投资“打水漂”，研究人员试图通过小规模试运行来最大限度地降低这种失败的几率。

但是，GPT-5的计划似乎从一开始就存在问题。2023年年中，OpenAI开始了一次训练运行，同时也是对Orion拟议的新设计的测试。但这个过程进展缓慢，这表明更大规模的训练可能需要非常长的时间，而这反过来又会使成本变得异常高昂。

OpenAI的研究人员决定进行一些技术调整来增强Orion，他们还发现，要让Orion变得更智能，就需要更多高质量、多样化的数据。模型的测试是一个持续的过程，大规模的训练运行可能需要几个月的时间，数万亿个token会被“投喂”给模型。

然而，公共互联网上的新闻文章、社交媒体帖子、科学论文等数据已不足以满足需求。DatologyAI首席执行官Ari Morcos说：

“这变得非常昂贵，而且很难找到更多同等高质量的数据。”

为解决这一问题，OpenAI选择从头开始创建数据。他们雇佣软件工程师和数学家等专业人士编写新代码或解决数学问题，以此作为训练数据。

公司还与理论物理学等领域的专家合作，解释他们将如何处理该领域最棘手的问题，但这个过程非常缓慢，GPT-4的训练使用了大约13万亿个token。即便有1000人每天写5000字，数月之内也只能产生10亿个token。

OpenAI也开始开发“合成数据”，利用AI生成的数据来训练Orion，并认为可以通过使用其另一个AI模型o1生成的数据来避免故障。

三、谷歌迎头赶上，OpenAI慌不择路？

今年，随着谷歌推出了最受欢迎的新AI应用程序NotebookLM，OpenAI更慌了。

由于Orion停滞不前，公司开始开发其他项目和应用程序，包括精简版的GPT-4和可以制作AI生成视频的Sora。但知情人士表示，这导致了开发新产品的团队和 Orion研究人员之间需要争夺有限的计算资源。

另外，OpenAI也正在开发更先进的推理模型，认为通过让AI“思考”更长时间，可以解决训练中未遇到过的复杂问题。

然而，这些新策略也面临挑战。苹果公司的研究人员发现，包括OpenAI的o1在内的推理模型很可能只是在模仿训练数据，而非真正解决新问题。此外，o1生成多个答案的方法也大大增加了运营成本。

尽管如此，OpenAI仍在坚持不懈地推进GPT-5的开发。周五，Altman宣布了一个比以往任何产品都更智能的新推理模型计划，但未透露何时或是否会推出堪称GPT-5的模型。

本文来自微信公众号：华尔街见闻，作者：黄雯雯