0

0

字节新一代视频生成模型,让绿巨人戴上VR眼镜的效果更胜Gen-2!

WBOY

WBOY

发布时间:2024-01-15 21:12:11

|

782人浏览过

|

来源于51CTO.COM

转载

一句话,就让绿巨人戴上vr眼镜。

4K画质那种。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

效果超越Gen-2!字节最新视频生成模型,一句话让绿巨人戴上VR眼镜

熊猫的奇幻漂流~

效果超越Gen-2!字节最新视频生成模型,一句话让绿巨人戴上VR眼镜

这是字节最新的AI视频生成模型MagicVideo-V2,各种奇思妙想的想法都能实现。它不仅支持4K、8K超高分辨率,轻松hold各种绘图风格。

效果超越Gen-2!字节最新视频生成模型,一句话让绿巨人戴上VR眼镜
△从左往右:油画风、赛博风、设计风

测评效果超过Gen-2、Pika以及现有AI视频生成工具。

结果上线不到24小时就引发众人围观,比如一条推文就有近20万浏览量。

不少网友惊讶其效果,甚至直言:比runway和pika还要好

效果超越Gen-2!字节最新视频生成模型,一句话让绿巨人戴上VR眼镜

“比runway和pika还要好”

研究人员也的确进行了实际的效果比较。选手分别为:MagicVideo-V2、StabilityAI的SVD-XT,新潜力玩家Pika1.0,以及Runway的Gen-2

第一轮:光影效果

夕阳西下,旅行者独自行走在迷雾森林中。

效果超越Gen-2!字节最新视频生成模型,一句话让绿巨人戴上VR眼镜

(从左到右依次是:MagicVideo-V2、SVD-XT,右上Pika,右下Gen-2,下同)

可以看到,MagicVideo-V2、Gen-2和Pika都有明显的光影。不过Pika看不出是为旅行者,MagicVideo-V2的色调更为丰富。

第二轮:情境剧情的表达。

1910 年代的情景喜剧,讲述社会中的日常生活和琐事

Cursor
Cursor

一个新的IDE,使用AI来帮助您重构、理解、调试和编写代码。

下载

效果超越Gen-2!字节最新视频生成模型,一句话让绿巨人戴上VR眼镜

这一轮明显也是MagicVideo-V2、Gen-2更胜一筹。SVD-XT呈现的中景构图,虽然年代体现出来了,但表达不够。

第三轮:写实。

小男孩在公园的小路上骑着自行车,车轮踩在碎石上发出嘎吱嘎吱的声音.

效果超越Gen-2!字节最新视频生成模型,一句话让绿巨人戴上VR眼镜

这次对比就更为明显了。MagicVideo-V2和SVD-XT是完整体现出句子意思的,不过MagicVideo-V2可以看到小孩明显脚在动的细节。

除此之外,研究人员还将MagicVideo-V2与当下最先方法进行一对一的人类评估。

效果超越Gen-2!字节最新视频生成模型,一句话让绿巨人戴上VR眼镜

结果显示,相较于其他方法,人们认为MagicVideo-V2的效果更好。

效果超越Gen-2!字节最新视频生成模型,一句话让绿巨人戴上VR眼镜
(绿色、灰色和粉色条分别代表 MagicVideo-V2 被评价为更好、相当或较差的试验效果。)

如何实现?

简单来说,MagicVideo-V2是一条视频生成流水线,集成了文本到图像模型、视频运动生成器、参考图像嵌入模块、插值模块。

效果超越Gen-2!字节最新视频生成模型,一句话让绿巨人戴上VR眼镜

首先是有T2I模块首先根据文字生成1024×1024图像,随后I2V模块对该静态图像进行动画处理,生成600×600×32的帧序列,然后再用V2V模块增强,并完善视频内容,最后再用插值模块将序列扩展到94个帧。

这样一来,既保证了高保真,时间上也有连续性。

不过早在2022年11月字节曾推出了MagicVideo V1版。

效果超越Gen-2!字节最新视频生成模型,一句话让绿巨人戴上VR眼镜
效果超越Gen-2!字节最新视频生成模型,一句话让绿巨人戴上VR眼镜

不过,当时更强调的是高效性,它能在单个GPU卡上生成256x256分辨率的视频。

参考链接:
https://twitter.com/arankomatsuzaki/status/1744918551415443768?s=20
项目链接:
https://magicvideov2.github.io/
论文链接:
https://arxiv.org/abs/2401.04468
https://arxiv.org/abs/2211.11018

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
github中文官网入口 github中文版官网网页进入
github中文官网入口 github中文版官网网页进入

github中文官网入口https://docs.github.com/zh/get-started,GitHub 是一种基于云的平台,可在其中存储、共享并与他人一起编写代码。 通过将代码存储在GitHub 上的“存储库”中,你可以: “展示或共享”你的工作。 持续“跟踪和管理”对代码的更改。

1074

2026.01.21

http与https有哪些区别
http与https有哪些区别

http与https的区别:1、协议安全性;2、连接方式;3、证书管理;4、连接状态;5、端口号;6、资源消耗;7、兼容性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2119

2024.08.16

C++ 设计模式与软件架构
C++ 设计模式与软件架构

本专题深入讲解 C++ 中的常见设计模式与架构优化,包括单例模式、工厂模式、观察者模式、策略模式、命令模式等,结合实际案例展示如何在 C++ 项目中应用这些模式提升代码可维护性与扩展性。通过案例分析,帮助开发者掌握 如何运用设计模式构建高质量的软件架构,提升系统的灵活性与可扩展性。

14

2026.01.30

c++ 字符串格式化
c++ 字符串格式化

本专题整合了c++字符串格式化用法、输出技巧、实践等等内容,阅读专题下面的文章了解更多详细内容。

9

2026.01.30

java 字符串格式化
java 字符串格式化

本专题整合了java如何进行字符串格式化相关教程、使用解析、方法详解等等内容。阅读专题下面的文章了解更多详细教程。

12

2026.01.30

python 字符串格式化
python 字符串格式化

本专题整合了python字符串格式化教程、实践、方法、进阶等等相关内容,阅读专题下面的文章了解更多详细操作。

4

2026.01.30

java入门学习合集
java入门学习合集

本专题整合了java入门学习指南、初学者项目实战、入门到精通等等内容,阅读专题下面的文章了解更多详细学习方法。

20

2026.01.29

java配置环境变量教程合集
java配置环境变量教程合集

本专题整合了java配置环境变量设置、步骤、安装jdk、避免冲突等等相关内容,阅读专题下面的文章了解更多详细操作。

18

2026.01.29

java成品学习网站推荐大全
java成品学习网站推荐大全

本专题整合了java成品网站、在线成品网站源码、源码入口等等相关内容,阅读专题下面的文章了解更多详细推荐内容。

19

2026.01.29

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
10分钟--Midjourney创作自己的漫画
10分钟--Midjourney创作自己的漫画

共1课时 | 0.1万人学习

Midjourney 关键词系列整合
Midjourney 关键词系列整合

共13课时 | 0.9万人学习

AI绘画教程
AI绘画教程

共2课时 | 0.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号