浙大与哈佛联合开源 UniGeo 框架，通过在表示层、架构层和损失函数层系统性注入统一几何引导，结合视频模型的连续视角先验，实现了高保真、高一致性的相机可控图像编辑。
📝 详细摘要
本文介绍了由浙江大学与哈佛大学联合提出的 UniGeo 框架，旨在解决现有相机可控图像编辑方法中因图像模型离散属性和碎片化几何引导导致的几何漂移与结构退化问题。UniGeo 的核心创新在于，它没有停留在仅引入视频模型来提供连续视角先验，而是系统性地在决定生成输出的三个核心层面——表示层（帧解耦点云注入）、架构层（几何锚点注意力）和损失函数层（轨迹端点几何监督）——全面注入了统一的几何引导。这种全链路的三维对齐设计，使得模型能够形成稳定的全局几何理解，从而在不同幅度的相机运动下，显著提升了跨视角一致性与结构稳定性。在 DL3DV、RE10K 等权威数据集上的定量和定性评估中，UniGeo 全面超越了 CameraCtrl、MotionCtrl 等现有主流方法，达到了 SOTA 水平。该工作为影视后期制作、具身智能感知等依赖高可靠渲染的领域提供了新的解决方案。
💡 主要观点
- UniGeo 系统性解决了现有方法中几何引导碎片化的问题。 现有方法仅在表示层注入点云等局部几何信息，导致模型难以形成全局三维理解。UniGeo 在表示层、架构层和损失函数层三个核心层面全面注入统一的几何引导，实现了全链路的三维对齐。
💬 文章金句
- UniGeo 通过视频模型的连续视角先验与统一几何引导，实现稳定、高质量的相机可控图像生成，全面超越现有方法。
- 该框架系统性地打破了碎片化瓶颈，创新性地在决定生成输出的三个核心层面（表示层、架构层、损失函数层）全面注入了统一的几何引导。
- UniGeo 成功打通了视频模型与三维几何理解之间的壁垒，在不同幅度的相机运动下均实现了跨视角一致性的突破。
📊 文章信息
AI 初评：83
来源：新智元
作者：新智元
分类：人工智能
语言：中文
阅读时间：12 分钟
字数：2865
标签： UniGeo, 相机可控图像编辑, 视频扩散模型, 几何引导, 新视角合成