论文How Far is Video Generation from World Model: A Physical Law Perspective（《视频生成距离世界模型有多远：物理法则的视角》）从物理法则的角度，系统性地探讨了视频生成模型在学习物理规律方面的能力和局限性。研究目标是评估扩展模型规模和数据量是否足以让模型通过视频观察自动发现和掌握物理法则，特别是在分布内（ID）、分布外（OOD）以及组合式泛化（Combinatorial Generalization）三种场景中的表现。
论文作者为Bingyi Kang（康）, Yang Yue, Rui Lu, Zhijie Lin, Yang Zhao, Kaixin Wang, Gao Huang, Jiashi Feng，来自Bytedance Research（字节跳动豆包大模型团队），Tsinghua University和Technion。
1. 背景与研究动机
论文首先讨论了世界模型（World Model）的概念，这种模型被广泛应用于机器人和自动驾驶等领域，用来生成逼真的数据和精确的模拟。虽然开放AI的Sora视频生成模型展示了优秀的生成能力，但其是否能够仅凭视觉数据发现物理规律仍是个悬而未决的问题。论文旨在通过实验评估视频生成模型是否具备揭示物理法则的能力，并研究其泛化能力。
2. 研究方法
研究中，作者开发了一个二维仿真测试平台，用来模拟物体的运动和碰撞，并通过视频生成模型来预测物体的未来状态。实验主要聚焦于三种场景：分布内泛化、分布外泛化和组合式泛化，采用的是扩展的数据和模型规模的实验设置，以分析其影响。
具体实验中，作者选择了三种经典的物理场景：
- 匀速直线运动：一个小球以恒定速度水平移动，遵循惯性定律。
- 完全弹性碰撞：两个不同大小和速度的小球相向运动并发生碰撞，遵循动量和能量守恒定律。
- 抛物线运动：一个小球在初速度作用下进行自由落体，遵循牛顿第二定律。
3. 模型架构与训练
研究中，视频生成模型采用了变分自编码器（VAE）结合扩散模型（Diffusion Transformer, DiT）的架构：
- VAE模型：通过(2+1)D的VAE将视频编码到潜在空间中，用以压缩视频的时空特征，同时保留运动建模能力。预训练VAE的目的是确保对物理事件视频的高效编码。
- 扩散模型：使用自注意力机制对视频编码后的潜在空间进行建模，训练时条件化在视频的前几帧，并使用一种3D位置嵌入方式处理时空特征。模型采用了一种基于条件帧的掩码机制以适应物理事件的建模。
4. 泛化能力的实验结果
论文详细讨论了扩展数据量和模型规模对视频生成模型的泛化能力的影响，涵盖了分布内和分布外两种泛化场景：
- 分布内泛化（ID）：实验结果显示，随着模型规模（如从DiT-S到DiT-L）和数据量（从3万到300万样本）的增加，模型的分布内泛化能力显著提升。例如，在匀速直线运动任务中，随着模型和数据的扩展，速度误差逐渐减小，接近真实数据的误差，这表明在相同分布的数据上扩展模型是有效的。
- 分布外泛化（OOD）：然而，分布外泛化的实验显示，扩展模型规模和数据量并未显著减少分布外的预测误差。在匀速直线运动任务中，分布外的速度误差远高于分布内，且随着数据或模型规模的变化，误差波动较大，表现出随机性。这揭示了视频生成模型在面临分布外数据时缺乏推理能力，尤其是在未知物理情景下无法有效地推测物体运动。
5. 组合式泛化能力
为了评估模型的组合式泛化能力，作者设计了一个包含多个物体自由下落和碰撞的复杂场景，并测试模型在组合不同物体类型时的表现。具体实验包括：
- 数据生成：通过PHYRE模拟器生成包含8种物体类型的场景，训练集中包含60种物体组合，测试集则包含10种未见过的组合。实验中，使用不同模板生成视频来考察模型是否能够有效组合已有的知识。
- 实验结果：结果显示，随着数据组合的多样性增加，模型的组合式泛化能力显著提升。例如，人类评估的异常视频率从67%降低到10%。这表明增加数据覆盖范围有助于提升视频生成模型的组合式泛化能力，但对模型容量和组合空间的覆盖程度也提出了更高的要求。
6. 泛化机制的深入分析
论文进一步通过系统性实验分析了视频生成模型的泛化机制：
- 插值与外推能力：通过设计含有速度缺失区间的数据集，研究了模型在训练数据缺失范围内的表现。结果显示，模型在中间缺失的速度区间内生成的视频往往偏向于接近训练数据的高或低速度，这表明模型的插值能力有限。此外，当缺失范围减小或被部分补全时，模型的插值表现有所改善。
- 记忆化或泛化：为了验证模型是否更多地依赖于对训练案例的记忆，作者设计了一个水平翻转实验。实验表明，模型在生成新的低速场景时会参考训练中的“欺骗性”案例，而不是抽象出普适的物理规则，表现出“案例式”的泛化行为。
7. 数据属性的优先级分析
为了理解视频生成模型在泛化过程中是如何进行数据匹配的，作者比较了颜色、形状、大小和速度四个属性在组合匹配中的优先级。实验结果显示，模型更倾向于优先匹配颜色和大小，其次是速度，最不优先考虑形状。这也解释了为什么现有的视频生成模型在物体形状的一致性方面存在问题。
8. 复杂组合式泛化
作者进一步研究了复杂场景下的组合式泛化能力，发现模型可以通过三种基本模式进行组合：
- 属性组合：例如，颜色与大小、速度与大小之间的组合能力较好，模型能够在测试集上正确保持初始的大小和速度。
- 空间组合：训练集中包含两个不同类型的物理事件，一个是蓝色方块的匀速运动，另一个是红球弹起的场景。模型在测试时能够正确生成红球反弹而蓝色方块继续运动的场景。
- 时间组合：模型能够在训练集中学到的事件类型上进行时间顺序的组合，如在两个球碰撞后继续模拟红球反弹的行为。
9. 仅靠视频是否足够？
论文还讨论了仅通过视觉信息是否足以进行完整的物理建模。实验中发现，视觉信息的模糊性导致了物理建模的显著误差，例如当物体之间的间隙较小时，模型难以准确判断小球是否能通过缝隙。这表明仅靠视觉表示可能不足以实现精确的物理建模，需要更丰富的感知信息来增强模型的表现。
10. 结论
虽然通过扩展模型规模和数据量可以提高视频生成模型在分布内和组合式泛化上的表现，但在发现普适的物理法则方面，单纯的扩展是不够的。模型的泛化更多依赖于参考相似的训练案例，而不是从中抽象出普适的物理规律，表现出了一种“案例式”的行为。模型在进行泛化时优先考虑颜色、大小等属性，而非形状或速度一致性。这些发现为未来视频生成和世界模型的研究提供了宝贵的参考，表明需要探索新的方法来提升模型的推理和抽象能力，以实现对物理世界的更好模拟。
论文Website: https://phyworld.github.io