据TechCrunch 27日(当地时间)报道,Google DeepMind已发布最新世界模型Genie 4的研究预览版。
报道指出,Genie 4主要面向更拟真、可交互的虚拟世界生成。用户可在模拟过程中实时输入提示词,对场景进行改写;系统也会同步生成与画面匹配的音频,包括音乐、环境音和对话。
除场景改写外,Genie 4还支持实时调整天气和镜头角度,并可新增人物和物体。Google DeepMind表示,该模型的场景连贯性最长可保持约2分钟,较去年推出的Genie 3提升约一倍;其物理表现能力也有所增强,角色动作更加接近真人。
在协同能力方面,Genie 4可与Google AI 模型Gemini配合使用。Gemini可承担“导演”角色,负责流程规划和画面帧检查,再由Genie生成相应画面。
Google研究总监Tejas Kulkarni表示,未来将出现更多混合式世界模型:由Gemini编写代码和文本,Genie则实时接收相关指令,并在不同抽象层级对现实进行模拟。
Google将游戏、交互式学习和机器人视为主要应用方向。TechCrunch还提到,首批受邀测试者正讨论将这项技术用于电影原型制作等新场景。
Google DeepMind工程师Diego Rivas表示,在创意构思、分镜等需要快速出稿的环节,Genie 4的实时生成能力尤具价值。
不过,Rivas也强调,Genie 4目前仍处于早期阶段。TechCrunch指出,随着模拟时长增加,模型在细节表现和物体稳定性方面更容易出现下滑;音频准确性以及虚拟世界内文字的可读性问题,也仍有待解决。
目前,Genie 4正以研究预览形式向受邀测试者开放。Google计划在未来几周内通过Project Genie向Google AI Ultra订阅用户开放该产品,同时也将向Gemini API和Google AI Studio的早期访问合作伙伴提供使用权限。
随着相关技术持续演进,世界模型赛道的竞争也在升温。数月前,AI视频初创公司Runway推出了“GWM Worlds 2”;AMD也宣布将收购由Fei-Fei Li创立的World Labs。