只需一张图片、一句动作指令，Animate124轻松生成3D视频

王林

发布时间：2024-01-12 11:12:10

1112人浏览过

来源于机器之心

转载

animate124124，轻松将单张图片变成 3d 视频。

近一年来，dreamfusion 引领了一个新潮流，即 3d 静态物体与场景的生成，这在生成技术领域引发了广泛关注。回顾过去一年，我们见证了 3d 静态生成技术在质量和控制性方面的显著进步。技术发展从基于文本的生成起步，逐渐融入单视角图像，进而发展到整合多种控制信号。

与此相较，3d 动态场景生成仍处于起步阶段。2023 年初，meta 推出了 mav3d，标志着首次尝试基于文本生成 3d 视频。然而，受限于开源视频生成模型的缺乏，这一领域的进展相对缓慢。

然而，现在，基于图文结合的 3d 视频生成技术已经问世！

尽管基于文本的 3d 视频生成能够产生多样化的内容，但在控制物体的细节和姿态方面仍有局限。在 3d 静态生成领域，使用单张图片作为输入已经能够有效重建 3d 物体。由此受到启发，来自新加坡国立大学（nus）和华为的研究团队提出了 animate124124 模型。该模型结合单张图片和相应的动作描述，实现了对 3d 视频生成的精准控制。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

只需一张图片、一句动作指令，animate124124轻松生成3d视频

项目主页: https://animate124124.github.io/
论文地址: https://arxiv.org/abs/2311.14603
Code: https://github.com/HeliosZhao/Animate124124

只需一张图片、一句动作指令，Animate124124轻松生成3D视频

核心方法

方法概括

根据静态和动态，粗糙和精细优化，本文将 3D 视频生成分为了 3 个阶段：1）静态生成阶段：使用文生图和 3D 图生图扩散模型，从单张图像生成 3D 物体；2）动态粗糙生成阶段：使用文生视频模型，根据语言描述优化动作；3) 语义优化阶段：额外使用个性化微调的 ControlNet，对第二阶段语言描述对外观造成的偏移进行优化改善。

只需一张图片、一句动作指令，Animate124124轻松生成3D视频

^{图 1. 整体框架}

静态生成

本文延续 Magic123 的方法，使用文生图（Stable Diffusion）和 3D 图生图（Zero-1-to-3）进行基于图片的静态物体生成：

只需一张图片、一句动作指令，Animate124124轻松生成3D视频

对于条件图片所对应的视角，额外使用损失函数进行优化：

只需一张图片、一句动作指令，Animate124124轻松生成3D视频

通过上述两个优化目标，得到多视角 3D 一致的静态物体（此阶段在框架图中省略）。

动态粗糙生成

此阶段主要使用文生视频扩散模型，将静态 3D 视为初始帧，根据语言描述生成动作。具体来说，动态 3D 模型（dynamic NeRF）渲染连续时间戳的多帧视频，并将此视频输入文生视频扩散模型，采用 SDS 蒸馏损失对动态 3D 模型进行优化：

只需一张图片、一句动作指令，Animate124124轻松生成3D视频

仅使用文生视频的蒸馏损失会导致 3D 模型遗忘图片的内容，并且随机采样会导致视频的初始和结束阶段训练不充分。因此，本文的研究者们对开始和结束的时间戳进行过采样。并且，在采样初始帧时，额外使用静态函数进行优化（3D 图生图的 SDS 蒸馏损失）：

只需一张图片、一句动作指令，Animate124124轻松生成3D视频

因此，此阶段的损失函数为：

只需一张图片、一句动作指令，Animate124124轻松生成3D视频

Q.AI视频生成工具

支持一分钟生成专业级短视频，多种生成方式，AI视频脚本，在线云编辑，画面自由替换，热门配音媲美真人音色，更多强大功能尽在QAI

下载

语义优化

即使采用了初始帧过采样并且对其额外监督，在使用文生视频扩散模型的优化过程中，物体的外观仍然会受到文本的影响，从而偏移参考图片。因此，本文提出了语义优化阶段，通过个性化模型对语义偏移进行改善。

由于仅有单张图片，无法对文生视频模型进行个性化训练，本文引入了基于图文的扩散模型，并对此扩散模型进行个性化微调。此扩散模型应不改变原有视频的内容和动作，仅对外观进行调整。因此，本文采用 ControlNet-Tile 图文模型，使用上一阶段生成的视频帧作为条件，根据语言进行优化。ControlNet 基于 Stable Diffusion 模型，只需要对 Stable Diffusion 进行个性化微调（Textual Inversion），即可提取参考图像中的语义信息。个性化微调之后，将视频视为多帧图像，使用 ControlNet 对单个图像进行监督：

只需一张图片、一句动作指令，Animate124124轻松生成3D视频

另外，因为 ControlNet 使用粗糙的图片作为条件，classifier-free guidance (CFG) 可以使用正常范围（10 左右），而不用与文生图以及文生视频模型一样使用极大的数值（通常是 100）。过大的 CFG 会导致图像过饱和，因此，使用 ControlNet 扩散模型可以缓解过饱和现象，实现更优的生成结果。此阶段的监督由动态阶段的损失和 ControlNet 监督联合而成：

只需一张图片、一句动作指令，Animate124124轻松生成3D视频

实验结果

作为第一个基于图文的 3D 视频生成模型，本文与两个 baseline 模型和 MAV3D 进行了比较。与其他方法相比，Animate124124 有更好的效果。

可视化结果比较

只需一张图片、一句动作指令，Animate124124轻松生成3D视频

^{图 2. Animate124124 与两个 baseline 比较}

只需一张图片、一句动作指令，Animate124124轻松生成3D视频

^{图 3.1. Animate124124 与 MAV3D 文生 3D 视频比较}

只需一张图片、一句动作指令，Animate124124轻松生成3D视频

^{图 3.1. Animate124124 与 MAV3D 图生 3D 视频比较}

量化结果比较

本文使用 CLIP 和人工评价生成的质量，CLIP 指标包括与文本的相似度和检索准确率，与图片的相似度，以及时域一致性。人工评价指标包括与文本的相似度，与图片的相似度，视频质量，动作真实程度以及动作幅度。人工评价表现为单个模型与 Animate124124 在对应指标上选择的比例。

与两个 baseline 模型相比，Animate124124 在 CLIP 和人工评价上均取得更好的效果。

只需一张图片、一句动作指令，Animate124124轻松生成3D视频

^{表 1. Animate124124 与两个 baseline 量化比较}

总结

Animate124124 是首个根据文本描述，将任意图片变成 3D 视频的方法。其采用多种扩散模型进行监督和引导，优化 4D 动态表征网络，从而生成高质量 3D 视频。

如何提高日常工作周报的含金量利用文心一言总结提炼关键价值点

如何优化简历中的实习经历不足利用DeepSeek深度挖掘校园潜力

如何提升简历对互联网大厂的吸引力利用Claude深度对齐大厂底层价值观

如何提高PPT汇报的专业视觉感利用Gamma实现自动化精美排版

如何实现短视频脚本的高产高效利用通义千问构建多版本创意大纲

相关专题

github中文官网入口 github中文版官网网页进入

github中文官网入口https://docs.github.com/zh/get-started，GitHub 是一种基于云的平台，可在其中存储、共享并与他人一起编写代码。通过将代码存储在GitHub 上的“存储库”中，你可以： “展示或共享”你的工作。持续“跟踪和管理”对代码的更改。

4086

2026.01.21

http与https有哪些区别

http与https的区别：1、协议安全性；2、连接方式；3、证书管理；4、连接状态；5、端口号；6、资源消耗；7、兼容性。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

2904

2024.08.16

Go高并发任务调度与Goroutine池化实践

本专题围绕 Go 语言在高并发任务处理场景中的实践展开，系统讲解 Goroutine 调度模型、Channel 通信机制以及并发控制策略。内容包括任务队列设计、Goroutine 池化管理、资源限制控制以及并发任务的性能优化方法。通过实际案例演示，帮助开发者构建稳定高效的 Go 并发任务处理系统，提高系统在高负载环境下的处理能力与稳定性。

2026.03.10

Kotlin Android模块化架构与组件化开发实践

本专题围绕 Kotlin 在 Android 应用开发中的架构实践展开，重点讲解模块化设计与组件化开发的实现思路。内容包括项目模块拆分策略、公共组件封装、依赖管理优化、路由通信机制以及大型项目的工程化管理方法。通过真实项目案例分析，帮助开发者构建结构清晰、易扩展且维护成本低的 Android 应用架构体系，提升团队协作效率与项目迭代速度。

2026.03.09

JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开，系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理，以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例，帮助开发者理解浏览器底层工作原理，并掌握提升网页加载速度与交互体验的实用技巧。

2026.03.06

Rust内存安全机制与所有权模型深度实践

本专题围绕 Rust 语言核心特性展开，深入讲解所有权机制、借用规则、生命周期管理以及智能指针等关键概念。通过系统级开发案例，分析内存安全保障原理与零成本抽象优势，并结合并发场景讲解 Send 与 Sync 特性实现机制。帮助开发者真正理解 Rust 的设计哲学，掌握在高性能与安全性并重场景中的工程实践能力。

216

2026.03.05

PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开，重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景，深入分析性能瓶颈定位与优化思路，帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

413

2026.03.04