ECCV 2026｜VGGRPO：用4D隐空间奖励实现世界一致的视频生成
核心事件
来自 Google、哥本哈根大学、牛津大学 等机构的研究者在 ECCV 2026 上提出了一种名为 VGGRPO（Visual Geometry GRPO）的视频生成后训练框架。该方法通过在 4D 隐空间 中引入几何奖励，解决了大规模视频扩散模型在几何一致性方面的核心缺陷，为具身智能和世界动作模型提供了更可靠的世界建模能力。
问题背景：视频生成的"几何困境"
大规模视频扩散模型虽然在视觉质量上取得了显著进展，但在 几何一致性 方面存在致命缺陷：
- 几何漂移：生成的视频中物体结构不稳定
- 摄像机轨迹不稳定：镜头运动不符合物理规律
- 场景结构不连贯：跨视角的 3D 结构无法保持一致
这些缺陷对于 具身智能、世界动作模型 等要求稳定摄像机运动和连贯 3D 几何的下游应用构成了严重障碍。
现有方案的局限
| 方案类型 | 问题 |
|---|---|
| 修改生成器架构 | 可能破坏互联网规模预训练模型的泛化能力 |
| 基于强化学习的后训练对齐 | 局限于静态场景；依赖 RGB 空间的奖励，需反复 VAE 解码，计算开销巨大 |
VGGRPO 技术方案
论文标题：VGGRPO: Towards World-Consistent Video Generation with 4D Latent Reward
论文主页：https://zhaochongan.github.io/projects/VGGRPO/
核心思路
VGGRPO 是一个 基于组的强化学习（GRPO） 视频后训练框架，其创新在于：
- 在隐空间中直接进行几何感知，无需将隐变量解码回 RGB 像素空间
- 利用 4D 几何奖励，突破以往方法仅限静态场景的瓶颈
- 不修改预训练模型架构，保持模型的泛化能力
两大核心组件
1. 隐式几何模型（LGM, Latent Geometry Model）
LGM 通过一个轻量级连接层，将视频扩散模型的 隐变量（latents） 与几何基础模型 "缝合" 在一起：
- 直接从隐空间预测 4D 场景几何
- 采用具备 4D 重建能力的几何模型 Any4D
- 自然扩展到动态场景，无需预先解码为 RGB
2. 双奖励机制
VGGRPO 设计了两个关键的奖励函数，在隐空间中进行 GRPO 优化：
（1）摄像机运动平滑度奖励（Camera Motion Smoothness Reward）
- 基于 LGM 预测的摄像机位姿，计算 平移和旋转的加速度
- 对抖动轨迹进行惩罚，鼓励平滑、近匀速的运动
- 奖励接近 1 表示轨迹平滑，奖励降低表示运动抖动
（2）几何重投影一致性奖励（Geometry Reprojection Consistency Reward）
- 利用预测的 点云、深度、摄像机参数和场景光流
- 将 3D 结构重投影到各个视角，比较深度图差异
- 对动态场景，利用场景光流过滤动态区域，仅聚合静态点
- 保证跨视角的几何连贯性
实验验证
定性结果
在静态和动态场景基准测试中，VGGRPO 均展现出显著优势：
- 减少几何漂移和结构伪影
- 生成更连贯的场景结构
- 实现更平滑的摄像机运动
消融实验
研究者通过消融实验验证了两个奖励组件的互补性：
| 配置 | 效果 |
|---|---|
| 仅使用摄像机运动奖励（r_motion） | 可稳定摄像机轨迹，但几何伪影依然存在 |
| r_motion + r_geo | 场景几何得到进一步改善，同时保持平滑的摄像机运动 |
通用视频质量
在通用视频质量指标上，VGGRPO 同样超越基线方法，表明 几何感知的后训练没有牺牲预训练模型的生成能力。
技术意义
对视频生成领域的影响
VGGRPO 回答了一个关键问题：如何让视频生成模型"创造一个符合物理规律的一致世界"？
答案在于：
- 不需要复杂的架构修改
- 不需要昂贵的像素级奖励
- 将几何先验直接引入隐空间
- 在 4D 维度上进行强化学习对齐
对下游应用的价值
对于以下领域而言，稳定而一致的世界建模能力至关重要：
- 世界动作模型：需要准确的物理世界建模进行预测
- 具身智能：依赖连贯的 3D 场景理解进行规划与交互
VGGRPO 提供了一种 高效、灵活的几何感知后训练范式，为这些应用奠定了更可靠的基础。
关于作者
安照崇，哥本哈根大学博士生，隶属于 Pioneer Centre for Artificial Intelligence 和 ELLIS 项目，导师为 Serge Belongie 教授。2023 年获得苏黎世联邦理工学院（ETH Zurich）计算机科学硕士学位，导师为 Luc Van Gool 教授。研究方向包括视频生成、多模态以及世界模型。