生成式物理AI：赋予视觉生成模型物理理解能力的综述
aixiv 专栏持续关注前沿学术动态，多年来已报道超过2000篇来自全球顶尖实验室的学术论文，致力于促进学术交流与传播。欢迎投稿或联系报道 (liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com)。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
视频生成技术方兴未艾，有望成为模拟物理世界的“世界模型”，推动自动驾驶和机器人等领域发展。然而，现有模型在物理规律建模方面仍存在不足。来自悉尼大学、西澳大学等机构的研究人员近期发表综述文章，深入探讨如何将物理知识融入视觉生成模型。
- 论文标题: Generative Physical AI in Vision: A Survey
- 论文链接: https://www.php.cn/link/9b3bb5b0a98eab0be3348611b699e3a7
生成式物理AI的核心概念
该综述首先明确了几个关键概念：物理模拟（根据物理模型模拟数据随时间变化）、物理理解（从观测数据推断物理模型或参数）、以及生成（使用生成模型创建新内容）。其中，不考虑物理规律的生成称为无物理感知生成，反之则为物理感知生成。
物理感知生成又可细分为两类：基于显式物理模拟的（PAG-E）和无显式物理模拟的（PAG-I）。PAG-E方法根据物理模拟和生成模型的融合方式，可分为六大范式：
基于显式物理模拟的生成 (PAG-E): 六大范式
-
生成后模拟 (Gen-to-Sim): 先生成内容，再添加物理属性使其可模拟和交互 (例如PIE-NeRF, PhysGaussian)。
-
生成中模拟 (Sim-in-Gen): 将物理模拟直接集成到生成模型中 (例如PhysGen, PhyCAGE, PhysDiff)。
-
生成与模拟并行 (Gen-and-Sim): 生成和模拟同时进行或紧密关联 (例如PAC-NeRF, iPAC-NeRF, PhysMotion)。
-
模拟约束生成 (Sim-Constrained Gen): 物理模拟为生成模型提供训练约束 (例如PhysComp, Atlas3D, DiffuseBot)。
-
生成约束模拟 (Gen-Constrained Sim): 生成模型为模拟提供指导或先验知识 (例如Physics3D, DreamPhysics, PhysDreamer)。
-
模拟评估生成 (Sim-Evaluated Gen): 生成的內容用于基于模拟的部署 (例如PhysPart, PhyScene)。
无显式物理模拟的生成 (PAG-I)
一些大型视频生成模型已展现出一定的物理推理能力。例如，PhyT2V 利用大语言模型提供物理知识，Generative Interactive Dynamics 模拟物体受力变化，Motion Prompting 通过运动轨迹控制视频生成，CoCoGen 在采样过程中注入物理信息等。
物理评估：衡量模型的物理“实力”
传统评估指标难以准确衡量物理规律的符合程度。为此，研究者们开发了新的数据集和指标，例如PhyBench、PhyGenBench和VideoPhy等，以及人工和自动评估方法。
未来展望：物理AI的无限可能
综述最后展望了生成式物理AI的未来方向，包括改进评估方法、提升模型可解释性、物理知识增强的大模型、神经-符号混合模型、生成式模拟引擎以及跨学科应用等。
更多相关论文，请访问：https://www.php.cn/link/7e5c6adb4152e8d402e5dba26664fa32
