快手正式推出全新一代旗舰级多模态大模型 keye-vl-671b-a37b，并同步开源其代码。官方表示，该模型具备“善看会想”的能力，在通用视觉理解、视频分析、数学推理等多项核心基准测试中表现卓越，全面领先。
在保留基础模型强大通用性的基础上，Keye-VL-671B-A37B 对视觉感知、跨模态对齐以及复杂推理链条进行了系统性优化与升级，实现了多模态理解与深层推理的全方位突破：更擅长“观察”、更精于“思考”、也更善于“作答”。无论面对日常场景还是高难度任务，均能输出更准确、更稳定的回应。
本模型以 DeepSeek-V3-Terminus 作为语言模型基座，确保了出色的文本推理能力；视觉编码部分则基于 KeyeViT 初始化，源自 KeyeVL1.5 的成熟架构，二者通过 MLP 结构进行连接，实现高效的信息融合。
Keye-VL-671B-A37B 的预训练过程分为三个阶段，逐步构建起强大的多模态理解与推理能力。模型复用了 Keye-VL-1.5 的视觉编码器，该编码器已在包含 1T token 的多模态数据上完成约 8B 规模的对齐训练，具备扎实的基础感知能力。
结合精心筛选的约 300B 高质量预训练数据，项目团队在有限计算资源下高效建立了模型的核心感知体系，兼顾性能与成本。具体训练流程如下：
- 第一阶段：冻结 ViT 和 LLM 参数，仅训练随机初始化的 Projector 模块，初步完成视觉与语言特征的空间对齐。
- 第二阶段：解冻全部参数，开展端到端联合预训练。
- 第三阶段：在更高品质的数据集上实施退火训练，进一步提升模型的细粒度识别和理解能力。
为构建高质量的多模态预训练数据，团队搭建了自动化数据流水线，严格执行过滤、重采样及 VQA 数据增强策略，覆盖 OCR、图表、表格等多种格式，全面提升模型的感知精度与泛化水平。在退火阶段，利用 DeepSeek-V3-Terminus 自动生成思维链（Chain-of-Thought）数据，使模型在深化视觉感知的同时，保持语言模型原有的强大逻辑推理能力。
后训练阶段由三部分组成：监督微调（SFT）、冷启动训练与强化学习，涵盖视觉问答、图表解析、富文本 OCR、数学运算、代码生成、逻辑推理等多元任务。在 SFT 阶段，引入大量多模态与纯文本长思维链数据，既回炼模型的文本能力，又增强其多模态交互表现；冷启动阶段通过推理类数据强化模型的推导能力；强化学习阶段则采用复杂推理任务，提升模型“think”与“no_think”两种模式的表现力，并融入视频数据，显著增强视频内容的理解能力。
评测结果如下所示：
官方指出，未来 Keye-VL 系列将持续夯实底层模型能力，同时深度融合多模态 Agent 功能，迈向“更懂工具、更能解决复杂问题”的智能新形态。重点将加强模型的多轮工具调用能力，使其能在真实任务中自主使用外部工具完成搜索、推理与信息整合；同时推进“think with image”、“think with video”等关键技术方向，让模型不仅能识别图像与视频内容，更能围绕视觉信号展开深度思考与链式推理，从复杂的视觉信息中提取关键洞察。
依托“基础能力 + Agent 能力”双轮驱动，Keye-VL 致力于不断拓展多模态人工智能的能力边界，向更通用、更可靠、更强推理的新一代多模态系统持续迈进。
源码地址：点击下载
