Google DeepMind刚推出了Genie 2。Genie 2是一种基础世界模型,能够生成无限多样的、可控动作和可玩的3D环境,用于训练和评估具身代理。基于单一提示图像,它可以通过键盘和鼠标输入由人类或AI代理进行操控。
Genie 2可以模拟虚拟世界,包括采取任意动作(例如跳跃、游泳等)的后果。它在大规模视频数据集上进行了训练,并且像其他生成模型一样,在大规模训练中展现了各种涌现的能力,例如物体交互、复杂角色动画、物理效果以及建模并预测其他代理行为的能力。
Genie 2可以使AI代理在无限多样的全新场景(curriculum of novel worlds, 新世界课程)中进行训练和评估,这也为原型设计交互体验的全新创意工作流铺平了道路。