infinitystar是字节跳动发布的一款高效视频生成模型,采用统一的时空自回归架构,能够实现高分辨率图像与动态视频的快速合成。该模型通过引入时空金字塔结构,将视频分解为多个序列片段,有效分离外观特征与运动信息,从而提升生成效率。infinitystar基于预训练的变分自编码器(vae)构建,并运用知识继承策略,显著缩短训练周期并减少计算资源开销。模型支持多种生成任务,包括文本到图像、文本到视频、图像到视频以及长时交互式视频生成等。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
InfinityStar的核心功能
- 高分辨率输出:可生成清晰的720p分辨率视频,适用于复杂动态场景的快速渲染。
- 多模态任务兼容:支持文本驱动图像生成、文本生成视频、图像生成视频及交互式视频合成等多种模式,适应多样化创作需求。
- 极速生成性能:仅需58秒即可完成一段5秒720p视频的生成,速度相较传统扩散模型大幅提升,显著优化推理效率。
- 统一时空建模机制:借助时空金字塔网络结构,解耦静态内容与动态变化,精准捕捉空间细节和时间连续性。
- 低资源训练方案:依托预训练VAE模型和知识迁移技术,降低训练成本,加快模型收敛速度。
- 开源开放生态:项目代码与模型权重已全面开源,便于研究者和开发者快速部署、二次开发与创新应用。
InfinityStar的技术实现原理
- 一体化时空建模:采用完全离散化的处理方式,将视频切分为有序片段,利用时空金字塔结构联合建模空间布局与时间演变,实现外观与动作的有效分离。
- 高效的训练策略:在已有VAE基础上进行扩展,通过知识继承机制复用已有视觉表征能力,大幅减少从头训练所需算力。
- 多任务统一框架:设计通用生成架构,自然兼容文本到图像、文本到视频、图像到视频等多种输入输出形式,灵活切换不同生成任务。
- 加速推理设计:通过架构优化与并行解码策略,实现在保持高质量的同时提升生成速度,比主流扩散模型快达10倍以上。
- 卓越生成质量:在VBench等多项评测基准中表现领先,生成结果细节丰富、连贯性强,满足专业级视觉内容生产要求。
InfinityStar的项目资源链接
- GitHub仓库:https://www.php.cn/link/a162d5eaf59d4935d3f6196f03f7b994
- HuggingFace模型页面:https://www.php.cn/link/56034e3017a60728e3f1ce4ba40aeeeb
- arXiv论文地址:https://www.php.cn/link/7714ab6ab1ea68593e80de97752745e8










