
出品|虎嗅科技组
作者|黄天媛
编辑|苗正卿
头图|AI生成
一个维多利亚时代的下午茶餐桌上,热气腾腾的咖啡、蛋糕,还有一只穿着西装、举止像人的老鼠,同时出现在同一个画面。
画面的输入窗口,操作者接连输入了几条指令:“一只豪猪走过”、“老鼠长出翅膀”、“它飞起来了”。原本普通的老鼠长出了翅膀,随后飞向空中,最后落在了咖啡杯上。背景后,一排豪猪从咖啡杯后面缓缓走过。
这段颇具游戏感的画面,来自X上发布的Genie 4实测视频。
北京时间10月28日凌晨,Google DeepMind正式发布新一代世界模型Genie 4。目前Genie 4只面向Google AI Ultra订阅用户分批灰度推送,未来将逐步向Google AI Ultra订阅用户,以及Gemini API和Google AI Studio的早期合作伙伴开放。
相比上一代产品,新模型不仅能生成更加逼真的虚拟环境,还能在用户探索过程中实时修改场景,并同步生成音乐、环境音和人物对话。根据The Verge的报道,Genie 4最长能保持两分钟的连贯场景,是Genie 3体验版的两倍,在物理效果和人类角色的一致性上也有更好的表现。
在X用户的评测视频中,让一只老鼠长出翅膀,随时切换第一或者第三视角的走过世界,你还能通过WASD箭头去移动和控制老鼠的走向,而这一切场景不会因此崩掉。
谷歌说,这是其迄今最逼真、交互能力最强的世界模型。真的如此吗?
Genie 4究竟升级了什么?
在过去的一些世界模型或是视频生成模型中,用户走过一栋房子,随后转身离开,再次返回时,那栋房子已经不是原来的样子。
这是以Google Genie为代表的视频生成路线,过去一直难以解决的问题——视频一致性和交互能力。
Genie 4的突破,就是在已有的实时交互能力上,进一步增强环境真实感、自由控制能力和多模态模拟能力,文本对环境的干预能力也做了进一步提升。
在对人物动作及物理现象的模拟能力上,Genie 4现在可以做到模拟物体碰撞、空气动力学等现象。例如,枫树种子从空中旋转落下,丝绸随风起伏,人物在拥挤的火车站中走动。
在多模态方面,Genie 4加入了音视频的联合生成。过去的Genie 3是一个没有声音的虚拟世界。到了Genie 4,模型能够在生成画面的同时,预测相应的声音,包括环境音、音乐及人物对话。
DeepMind研究工程师Hang Qi在采访中介绍,Genie 4的音频与视频并非简单地由两个独立系统先后生成,而是由同一个模型联合预测,在涉及情境理解和响应的问题时,Gemini模型也给予了一定支持。
Genie 4另一项更值得关注的技术变化,是与谷歌Gemini系列模型的进一步结合,研究团队将这种方式描述为语言模型与扩散生成模型之间的协作,即“混合世界模型”。
根据Google DeepMind披露的信息,Gemini Omni为虚拟世界的外观和行为提供现实世界相关的基础能力,Gemini 3.8 Flash则在模拟过程中承担实时规划和引导任务。
简言之,就是Genie 4负责生成虚拟世界,Gemini在背后扮演导演,帮助这个世界按照一定逻辑持续运转。世界模型开始从单纯预测画面,转向结合多步骤规划的动态模拟。
这一设计试图解决纯生成式世界模型的问题是,画面可以持续生成,但模型很难长期维持复杂事件之间的因果关系。例如,在一间厨房里,如果炉灶起火,接下来应该是烟雾出现、消防喷淋系统启动、人物采取应对措施,而不只是画面中出现随机变化。通过引入Gemini的规划与反馈能力,谷歌在努力让场景演化遵循更连贯的事件逻辑。
应用:游戏、电影与机器人
在应用方面,游戏开发是最容易被联想到的领域。
X上有用户评论,如果能做成,这可能是史诗级的精神鸦片。
因为对传统游戏来说,制作通常需要美术设计、三维建模、物理引擎及程序开发等多个环节。世界模型可能让开发者通过自然语言,快速生成可以探索的场景,游戏的制作门槛被进一步拉低。
也许有一天,你可以自己在自己设计的开放游戏里面自由探索,你的每一次选择、每一个想象都可以变成下一个剧情的触发点。你可以构建一个和AI共创的、只属于你的新世界。
影视制作也是谷歌正在探索的方向。
据Google DeepMind介绍,部分早期测试者已开始将Genie 4用于场景预演。创作者可以在虚拟环境中尝试不同的镜头、光线、人物对话与动作,在正式制作前快速测试想法。
不过,谷歌对世界模型的长期期待并不止于内容生产。
机器人训练被视为更具想象空间的应用之一。
现实环境中的机器人训练往往面临时间、场地和安全成本限制。如果能够生成大量符合物理规律、可以持续变化的虚拟环境,机器人便有机会在进入真实世界前,反复学习和测试不同任务。
在谷歌展示的机器人模拟案例中,Gemini 4 Argon负责将人形机器人完成跳棋任务的过程拆解为具体步骤,Genie 4再根据相关指令生成对应模拟画面。研究团队希望借此探索,能否通过生成大量虚拟场景,为机器人的训练和任务规划提供支持。
遇到的问题与收拢的行业
所谓“最强”模型也不是没有问题。
Google DeepMind 工程师里瓦斯承认,Genie 4仍处于早期阶段,Genie 4的细节和物体会随着模拟运行时间变长会出现漂移。并且,他们仍未完全弄清楚如何保证音频和文字的准确性。
以及最重要的是,这套系统仍然面临计算效率和成本的挑战。
研究工程师Hang Qi表示,为了让模型真正实现实时运行,团队需要反复调整模型配置、优化不同组件,在生成质量、运行速度和计算资源之间寻找平衡。
而如何在保证画面质量的同时降低延迟和计算开销,将直接影响世界模型能否从研究演示走向大规模商业应用。
谷歌并不是这条赛道上唯一的参与者。
几个月前,Runway推出了支持动态交互和音频生成的世界模型GWM Worlds 2。与此同时,围绕空间智能与世界模拟技术的产业整合正在加速。
今年9月,AMD宣布以约82亿美元收购李飞飞创立的世界模型公司World Labs,希望进一步布局物理AI。10月,据华尔街日报报道,亚马逊正在洽谈以约70亿美元收购AI初创公司Decart。电动汽车制造商Rivian则收购了世界模型初创公司Third Dimension,希望将相关模拟能力用于自动驾驶技术开发。
从生成交互世界,到支持机器人训练、自动驾驶测试,世界模型的潜在价值正在超越内容生产。这也使得相关技术成为AI公司、算力厂商以及实体产业共同关注的新方向。
但创造一个看起来真实的世界,与创造一个能够长期、稳定运行,并遵循可靠物理规律的世界,仍是两回事。
对谷歌而言,Genie 4已经展示了世界模型进一步发展的可能性。而在这场不断升温的技术竞争中,谁能率先解决长期一致性、交互延迟和计算成本的问题,谁才可能真正推动世界模型走出实验室。
如对本稿件有异议或投诉,请联系 tougao@huxiu.com。