hugging face 近日发布了两个大规模开源数据集：finepdfs 和 finevision，分别针对语言模型与视觉-语言模型的训练需求，旨在大幅提升开源模型的性能表现。
https://www.php.cn/link/6750c0194a5f9ae7194a0ae154b64959
https://www.php.cn/link/a007685ecc0ccf820b8ac1d6e77f69fd
FinePDFs 是当前规模最大的公开 PDF 语料库，完全基于 PDF 文档构建，涵盖约 3 万亿 tokens，来自 4.75 亿份文件，支持 1733 种语言，总数据量达 3.65TB。
该数据集源自 105 个 CommonCrawl 快照（时间跨度为 2013 年夏季至 2025 年 2 月），经过 datatrove 工具链进行去重、内容过滤及个人身份信息（PII）匿名化处理，并采用 ODC-By 1.0 开放许可证发布。其文档平均长度接近传统 HTML 数据集的两倍，且包含大量超过 10 万字符的长文本样本，特别适合用于增强开源大语言模型的长上下文理解能力。
数据集已按语言和书写系统分类整理，其中 978 种语言包含超过 100 万 tokens，66 种语言达到或超过 10 亿 tokens。
FineVision 则专为视觉-语言模型（VLM）训练打造，融合了来自 200 多个不同来源的数据，包含 1730 万张图像、2430 万个训练样本、8890 万轮多轮对话以及高达 95 亿 tokens 的回答内容，能够支持如 GUI 导航、目标指向、对象计数等新兴能力的训练。
据官方介绍，在 10 项主流基准测试中，使用 FineVision 训练的模型平均性能提升超过 20%，显著增强开源视觉-语言模型的表现。所有数据已转换为 Parquet 格式，总容量约为 4.48TB，支持高效的流式加载，便于大规模分布式训练。
