谷歌DeepMind CEO自曝：下一代大模型碾压GPT-4？

本文来自微信公众号：新智元 （ID：AI_era），作者：新智元，原文标题：《碾压GPT-4！谷歌DeepMind CEO自曝：下一代大模型将与AlphaGo合体》，题图来自：《环太平洋》

谷歌，是真的破釜沉舟了。

传说中合并了AlphaGo和类GPT-4大模型的Gemini，终于要来了吗？

一个是用强化学习击败人类围棋冠军、创造历史的AI系统，一个是目前霸榜几乎所有大模型榜单、一骑绝尘的最强多模态大模型，两个AI一合体，简直要无敌了。

谷歌DeepMind CEO Hassabis近日对外媒Wired表示，Gemini还在开发中，还需要几个月，而谷歌DeepMind已经准备砸进数千万美元，甚至数亿。

此前，Sam Altman曾透露，创建GPT-4的成本超过了1亿美元。谷歌DeepMind，当然也不能输。

太长不看版：

Gemini会将AlphaGo与GPT-4等大模型的语言功能合并，系统解决问题和规划的能力将大大增强。

• Gemini是一个大语言模型，类似于 GPT-4

• 预计花费数千万到数亿美元，与开发GPT-4的成本相当

• 除了AlphaGo，还会有别的创新

  
  

Gemini会整合使用了强化学习和树搜索的AlphaGo。

• 强化学习允许AI通过从反复尝试和反馈中学习，解决挑战性难题

• 树搜索方法有助于探索和记住场景中可能的移动，比如在游戏场景中

  
  

DeepMind在强化学习方面的丰富经验，会为Gemini带来崭新功能。

• 其他领域技术（如机器人和神经科学）也会整合到Gemini中

下一个算法，要超越ChatGPT

根据OpenAI CEO Sam Altman的说法，GPT-5距离发布尚有时日，至少6个月内不会开始训练。而Gemini的发布时间尚未确定，可能在几个月之内。

尚在开发中的Gemini，也是一个处理文本的大语言模型，性质上和GPT-4类似。

但谷歌DeepMind CEO Demis Hassabis表示，Gemini会结合进AlphaGo中使用的技术，这将赋予系统全新的规划、解决问题的能力。

2016年，AlphaGo击败围棋世界冠军李世石的那一幕，如今依然历历在目。

Hassabis表示：“可以这么说，Gemini把AlphaGo系统的一些优势，和大语言模型惊人的语言能力结合在一起了。并且，我们还有一些其他有趣的创新。”

据说，Gemini具有以前模型中没有的多模态功能，在集成工具和API方面非常高效。而且，Gemini将提供多种规模，旨在支持未来内存和规划上的创新。

在三月份，曾经有这样一个说法：Gemini会像GPT-4一样，具有一万亿个参数。而且，据说Gemini将使用数以万计的谷歌TPU AI芯片进行训练。

在上个月的谷歌开发者I/O大会上，谷歌就曾提到，从一开始，Gemini的目标就是多模态、高效集成工具、API。

而当时谷歌的预告是：“虽然还在早期，但我们已经在Gemini中，看到了在之前的模型中从未见过的多模态能力，这让人印象太深刻了。”

AlphaGo背后的技术，就是强化学习，这是DeepMind首创的技术。

RL代理随着时间的推移与环境交互，通过反复试验来学习策略，从而最大限度地提高长期累积奖励

通过强化学习，AI能够通过反复尝试和接受反馈来调整自己的表现，因而学会处理很棘手的问题，比如在围棋或电子游戏中选择如何采取下一步行动。

另外，AlphaGo还使用了蒙特卡洛树搜索（MCTS）方法，来探索和记住棋盘上所有可能的动作。

这已经不是Hassabis第一次搅动起科技巨头的大规模人工智能淘金热了。

2014年，DeepMind使用强化学习，让AI学会了玩简单的视频游戏，这一成果惊为天人，直接让DeepMind被谷歌收购。

谷歌的注果然押对了。

接下来几年，DeepMind隔一段时间就产出一个惊艳全世界的成果。

深度学习和强化学习正在解决许多经典的人工智能问题，例如逻辑、推理和知识表示

2016年，石破天惊的AlphaGo，直接点燃了深度学习和第一轮AI产业的热潮。

2017年，AlphaGo Zero没有使用人类数据，就迅速超越了AlphaGo。

AlphaGo Zero

2020年，AlphaFold对于蛋白质结构的预测与实验室技术相当，基本解决了蛋白质的折叠问题。

今年6月，AlphaDev创造全新的排序算法，或将彻底改变计算机科学的效率和成果。

相比OpenAI更通用的路线，DeepMind多年来深耕垂直领域。

语言模型的下一个重大飞跃在哪里？Gemini或许指引了下一代语言模型的方向。

背水一战

很明显，Gemini是谷歌的背水一战。

谷歌开创的许多技术，比如Transformer架构，让最近的AI洪流成为可能。

因为对于技术的开发和部署太过谨慎，在ChatGPT和其他生成式AI构成的竞争面前，它反而显得暂时落后。

为了对打ChatGPT，谷歌连续抛出多个动作，比如推出Bard，并且将生成式AI集成到搜索引擎和其他产品中。

为了集中力量办大事，在4月，谷歌干脆把Hassabis的DeepMind和谷歌的主要人工智能实验室谷歌大脑合并，变成谷歌DeepMind。

对于合体后的全新团队，Haasabis显然非常自信。他表示，全新的团队汇集了两股对最近的人工智能进步至关重要的力量。

“如果你看看我们在人工领域的位置，你会相信，未来80%或90%的创新，就会来自其中一个团队。在过去十年里，两个团队都做出了极其出色的成果。”

新的想法

训练像OpenAI的GPT-4这样的大型语言模型，需要将来自书籍、网页和其他来源的大量精选数据集输入“Transformer”中。

Transformer使用训练数据中的模式，来熟练预测后续文本中应该出现的每一个字母和单词。

这种看似简单的机制，却在回答问题和生成文本或代码方面非常强大。

但这个看似简单的技术原理，也被很多行业大佬或者人工智能专家们诟病。

马斯克：目前AI技术的本质就是统计学

LeCun：现在的AI的智能水平还不如狗

OpenAI在GPT系列模型上的突破，就是在Transformer的核心技术之上，很激进地采用了RLHF来强化模型的能力。

而DeepMind在强化学习方面同样有非常丰富的经验。

这就让人有非常充足的理由期待Gemini在未来可能会展现出来的创新能力。

更加关键的是，Hassabis和他的团队也会试图用人工智能其他领域的核心技术来增强大型语言模型的能力。

DeepMind的技术积累非常广泛。

从机器人技术到到神经科学，他们武器库里有各种各样的装备可供他们挑选。

比如像LeCun这样的AI大佬就表示，Transformer将语言模型的能力过度限制在了文本的范围之内。

像人类和动物⼀样，从世界的物理经验中学习可能才是发展人工智能的最优解。

也许在Gemini身上，人工智能将展示出其他方向的潜力。

不确定的未来

Hassabis的任务是加速谷歌的人工智能技术的发展，同时管理未知和潜在的严重风险。

大语言模型的飞速进步让许多人工智能专家开始担心这项技术是否会打开潘多拉的魔盒，让人类社会付出无法接受的代价。

Hassabis表示，人工智能可能给人类社会带来的收益不可估量。

人类必须要持续发展这项技术。

强制暂停发展AI技术完全没有可操作性。

但是这并不意味着Hassabis和他领导的DeepMind会不计后果地推进技术的发展。

毕竟，谷歌和DeepMind之所以把AI技术的领袖位置拱手让给OpenAI。

很大一部分原因就是对待AI发展采用了“过于负责任”的态度。

网友：不看好

但是对于未来Gemini的发布，因为考虑到之前谷歌保守的态度，大部分网友似乎都不太看好。

你们觉得这个类似于AGI的模型会在什么时候发布呢？

我赌10块谷歌永远不会发布这个东西。

如果有人关注过谷歌的项目的话，就会发现，他们一般都是先吹一阵牛，然后什么也不发布，一年后再把这个项目给砍了。

不过，对于谷歌在目前大语言模型中做的贡献，网友还是很认可的。

网友A：OpenAI用的大语言模型技术基本都是谷歌发明的

网友B：是的，不过特斯拉发不了财，但是爱迪生可以。

这位网友就很看好DeepMind将利用自己在强化学习方面的经验，能在大语言模型上产生突破。

不过他依然认为可能谷歌只会用改进自己现有产品的思路来推进这个技术，而不是推出全新的产品。

参考资料：https://the-decoder.com/deepmind-founder-shares-details-on-gemini-googles-next-gen-response-to-gpt-4/

本文来自微信公众号：新智元 （ID：AI_era），作者：新智元