智元机器人团队正式开源 videodataset——一款面向真实 ai 训练场景深度优化的高性能视频数据加载库。
- 极致加速：将解码任务由传统 CPU 迁移至 GPU，全面释放硬件解码潜能，整体吞吐量提升达 4 倍。
- 精准随机访问：突破硬件解码普遍不支持随机寻帧（Random Seek）的技术瓶颈，专为 AI 训练定制高效随机采样能力。
- 开箱即用：原生兼容 PyTorch Dataset 接口，提供轻量级 Mixin 类，开发者仅需修改少量代码即可无缝嵌入现有训练流程。
为直观展现 VideoDataset 的实际性能优势，智元团队开展了与主流 CPU 软件解码方案的系统性对比测试，涵盖 OpenCV、Torchvision（PyAV）、Torchvision（VideoReader）及 TorchCodec 等典型实现。
实测表明，VideoDataset 在解码吞吐量上相较上述 CPU 方案提升 3–4 倍；同时显著降低 CPU 负载，近乎将解码任务从 CPU 完全卸载。该特性使其在大规模视频训练任务中，不仅大幅加快数据供给速度，更可充分释放 GPU 算力，全面提升端到端训练效率。
此外，得益于多解码器复用机制，在面对海量视频随机解码的实际训练场景时，VideoDataset 相比主流 GPU 硬件解码方案仍展现出显著吞吐优势。
VideoDataset 基于 NVIDIA Video Codec SDK 构建，融合多解码器动态调度、生产者—消费者异步模型等关键技术，构建起解码与模型训练完全解耦的异步流水线，解码器利用率稳定超过 90%，持续拉升性能上限。
通过 GOP 级视频切分策略，支持毫秒级关键帧定位——解码器无需完整解析整个 GOP，仅需解码至目标帧即可终止，从而实现真正高效的随机寻帧。同时，项目已妥善解决 Python 多进程（spawn/fork）与 CUDA Context 共存引发的冲突问题，确保在 DataLoader 多 worker 模式下长期稳定运行。
据官方透露，VideoDataset 后续版本将持续演进，重点规划包括：
- 引入多级流水线优化机制，增强训练流程的可配置性与执行效率；
- 全面适配 Lerobot 框架，加速跨平台生态协同；
- 支持 PB 级视频数据的分布式存储与并行加载，应对超大规模数据挑战；
- 扩展更多视频编码格式支持，深化与 HuggingFace 生态的原生集成。
源码地址：点击下载
