上海人工智能实验室等机构联合推出dynamiccity：一款高效、高质量的4d动态场景生成模型，已入选iclr 2025 spotlight论文。该模型突破了现有3d场景生成技术局限于静态单帧的瓶颈，首次实现了高质量的4d场景建模，并在生成质量、训练速度和内存消耗方面取得显著进展。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
DynamicCity的核心创新在于其4D到2D特征降维技术。它利用变分自编码器(VAE)将复杂的4D场景压缩为紧凑的2D HexPlane特征表示，并结合扩散模型(Diffusion Transformer, DiT)进行场景生成。 这种方法有效避免了高维潜空间的复杂性，提升了模型的学习效率。
具体而言，DynamicCity包含两个关键模块：
-
基于HexPlane表征的VAE: 该模块利用Transformer架构的投影模块将4D点云序列压缩为六个2D特征平面(HexPlane)，并通过Expansion and Squeeze Strategy (ESS)进行高效解码，重建原始时空信息。
-
基于重组HexPlane的扩散模型: 该模块利用Padded Rollout Operation (PRO)将HexPlane重组为适合DiT框架的特征图，最大程度保留结构化信息，从而提升DiT的学习效果。
DynamicCity的主要贡献包括：高效的时空特征压缩、创新的特征重组方法以及强大的可控生成能力。它支持轨迹引导、指令驱动、4D场景修改和布局条件生成等多种功能，为自动驾驶等领域提供了强大的虚拟仿真工具。
项目主页和代码已公开：
- 论文：https://www.php.cn/link/d1029cb182a7e6de93c3dc8113b20c42
- 主页：https://www.php.cn/link/fd5503762b1f3ee8ba3a4a86bd604363
- 代码：https://www.php.cn/link/953d8e7378a5f110ab13643eb4ea8536
DynamicCity的实验结果表明，其在生成质量、效率和可控性方面均优于现有方法。 该模型为4D场景生成领域带来了突破性进展，有望推动智能系统在虚拟环境中的训练和验证。
