OpenAI八年前的设想，被谷歌DeepMind突破啦

八年前，OpenAI 提出了一个前卫的设想：创建一个能够能在复杂环境中执行任务的 AI，让 AI 智能体能够像人类一样使用计算机。

就在前天（3月13日），Google 的 DeepMind 团队宣布了他们的最新研究成果，他们的全能 AI 智能体 SIMA（Simulation-to-Anything）已经将这一设想变为现实。这是一个可扩展、可指导的多世界智能体，能够在多样化的 3D 虚拟环境中执行多种任务。

它能够遵循自然语言指令，在各种视频游戏设置中执行各种复杂任务，不需要任何 API 和其他信息输入，只靠观察游戏画面和你的指令即可执行任务，并且还能将某个游戏中习得的技能带到新游戏中应用和继续学习。

众所周知，视频游戏是 AI 系统的重要试验场。DeepMind 团队的这项新研究不仅旨在让 AI 学会玩游戏，更重要的是将抽象语言转化为实际行动，让智能体学会在多种游戏环境中遵循指令。视频游戏作为一个沙盒，提供了一种安全、可访问的测试方法，这可能会解锁更多用于各种环境的实用 AI 智能体。

如果能在这一研究领域中，攻克将抽象的语言命令转化为具体的、可执行的物理动作的难题，这对于推动 AI 技术的边界，尤其是在智能机器人和交互式 AI 系统的开发上，具有深远的意义。

与 OpenAI 在 2016 年推出的 Universe 相比，SIMA 更侧重于研究多智能体系统的行为和动态。它提供了一个灵活且可定制的平台，让研究人员能够深入探索多智能体系统的各个方面。SIMA 的这些能力展示了利用语言驱动的 AI 智能体在多种 3D 虚拟环境中实现复杂交互和任务执行的潜力，为开发更通用、更有帮助的 AI 系统开辟了可能性。

一、Deepmind：SIMA

以往的方法通常是为特定任务设计特定的模型，这限制了其在其他任务上的适用性。因此，DeepMind 团队提出了开发通用 AI 智能体的理念，使其能够在不同类型的环境中执行各种任务。

他们设计的 SIMA 能够遵循自然语言指令，在各种视频游戏设置中执行各种复杂任务。SIMA 包括预训练的视觉模型以及一个具备内存的主模型，后者能够输出键盘和鼠标动作。

SIMA 的核心挑战在于如何在多个模拟 3D 环境中实现语言与具身行为之间的连接，即必须克服如何将语言理解和物理行动有效结合的难题，确保两者之间的无缝对接与协同工作。这种连接不仅是构建未来通用具身人工智能的关键，而且与谷歌目前正在研究的具身智能项目 Robotic Transformer2（RT2）的目标紧密相关。

SIMA 的设计灵感源自生物学和心理学。与以往的程序不同，SIMA 并不是针对特定任务进行优化的，而是通过学习和适应来解决各种任务。这种方法使其能够适应不同的环境和任务，并在执行中不断改进和优化自己的表现。

SIMA 在 600 个基本技能上进行了评估，涵盖寻路、物体互动和菜单使用，具有多种特点和功能，在多种情况下都表现出色。其中包括自适应性、通用性、灵活性和高效性。这些特点使得 SIMA 能够在各种不同的 3D 虚拟环境中执行任务，根据语言指令的操纵，从简单的导航到复杂的问题解决，都能够胜任。

二、SIMA 特点

1. 玩多个游戏：SIMA 不只是在一个游戏里能找到东西、走路或建造物品，它能够跨越多种不同的游戏平台，掌握并应用相应的技能。

2. 理解自然语言：可以用日常交流的语言告诉 SIMA 要做什么，它能够准确理解并执行任务，无需任何复杂的编程语句，就像你告诉朋友给你帮忙一样。

3. 无需特殊接口：SIMA 无需深入了解游戏的内部机制，它通过观察游戏画面和听取语音指令来操作，仿佛是一个真人玩家那样使用键盘和鼠标。

4. 跨游戏学习泛化：SIMA 通过在众多游戏和研究环境中的训练，展现了其卓越的跨游戏学习与泛化能力。SIMA 在很多游戏中学习后，甚至能在一些它没玩过的新游戏里表现得很不错，因为它能从一个游戏学到的技能应用到另一个游戏中。

5. 高级策略规划：这也是它的局限所在，目前 SIMA 主要处理能在大约 10 秒内完成的短时间简单任务，但其未来的目标是能够处理更为复杂的任务，这些任务需要复杂的策略规划和多个子任务的协同完成，比如“搜集资源并建造一个营地”。

6. 语言驱动的性能：SIMA 的表现依赖于语言训练和指令。控制实验显示，在缺乏语言训练或指令的情况下，SIMA 虽能展现出基本行为，但缺乏目的性，这证明了语言对于其功能发挥的关键作用。

DeepMind 团队还讨论了 SIMA 在各种领域的应用前景，包括虚拟现实、游戏开发、智能助手等。他们表示，SIMA 的结果展示了开发新一代通用、语言驱动 AI 智能体的潜力。而它的发布标志着对智能体技术的一次重大进步，为未来智能系统的发展开辟了新的可能性。

游戏智能体这个概念，让小编也想起了 OpenAI 在第一代 GPT 出现在大众视野前开发的一个平台——Universe，接下来，我们就简单回顾一下。

三、OpenAI：Universe

OpenAI Universe 是 OpenAI 团队早期鲜为人知的作品，是他们在 2016 年开发的一个开放源码平台。该平台得到了包括微软、英伟达在内的多家知名公司的支持与参与，用来训练和评估 AI 智能体在现实世界任务中的性能。

然而，随着 OpenAI 的 GPT 系列模型的问世，其研究重心转向了自然语言处理领域。在成功推出 Universe 平台的首个版本后，OpenAI 似乎减少了在该平台上进一步开发的力度，转而专注于语言模型的研究与开发，以及相关技术的创新。

尽管如此，Universe 在当时对于推动 AI 在复杂任务中的应用和发展仍具有重要意义。这一版的 Universe 能够模拟各种游戏和应用程序，并允许用户训练和测试他们的智能体在这些环境里的表现。