马斯克旗下xai公司122天内建成十万卡集群，凸显了算力集群对ai发展的关键作用。业内曾有说法：服务器集群规模越大，训练出的人工智能表现越优秀。 全球科技巨头纷纷加大对高性能ai计算集群的投入，以提升ai算法效率和能力。谷歌推出ai platform，结合gemini多模态生成式ai模型，显著增强了文本、图像、音频和视频处理能力；微软azure ai compute cluster整合最新ai技术，为开发者提供从数据处理到模型训练的全面支持。
百度作为国内较早推出大模型的企业，也展现了其强大的技术实力。11月6日，百度智能云举办的百舸媒体沙龙深入探讨了“十万卡集群”的技术创新、实施过程及对AI行业的影响，并邀请百度杰出系统架构师、百度AI计算部负责人王雁鹏进行分享。
以下为媒体与嘉宾的对谈实录（经编辑整理）：
问：百舸的客户群体及成功案例？
答：客户主要分为两类：一类是大模型初创企业，他们需要万卡规模的计算能力，对快速建设和成本控制要求高，这类客户数量少但需求明确；另一类是典型的互联网客户，需求规模通常在千卡到5000卡之间，例如教育行业公司。这些互联网客户主要需求是利用自身数据进行后期训练（Post Train），以适应不同场景和优化，构建数据飞轮。目前，训练需求仍是主要业务，推理需求相对较少，这解释了业界对AI算力落地效果存疑的原因。预计今年或明年，算力需求仍将以训练为主，推理和SFT（小规模微调）的长尾客户会增多，但总体资源需求低于头部客户。
问：百舸客户的主要需求和痛点，以及解决方案？
答：客户需求存在共通之处：
-
基础设施层面： 客户需要强大的网络硬件互联架构。企业自行搭建大规模集群时常遇到网络难题，百舸提供更优的网络硬件互联架构，帮助客户成功搭建大规模计算集群。
-
系统稳定性： 缺乏经验的客户自行搭建系统时，有效训练时间往往过低。百舸帮助客户提升系统可靠性和有效训练时间，解决稳定性问题。
-
加速框架： 百舸帮助客户优化并行策略，提升性能，通过更优的框架显著提升计算速度。
-
资源利用率： 客户需要有效利用已购资源。百舸通过任务混合部署，提升资源利用率，确保资源高效利用。
问：跨地域网络问题的实际效果？
答：跨网络问题涉及两个方面：十万卡规模部署需要跨地域支持；以及云服务能力。百舸可在云上两个机房同时部署计算任务，客户无感知差异。即使是5000卡规模，在不同地点分配资源，使用体验依然一致。
问：如何确保千卡到五千卡规模任务的混合调度效率？
答：百舸通过混合集群实现不同特征工作负载的混合。推理任务有波峰波谷，训练任务则需要固定数量计算卡。百舸提供灵活的队列机制，将业务视为虚拟队列，配置优先级策略，动态调整资源分配，并支持资源抢占和自动重新分配并行策略，确保任务连续性和有效性。
问：Checkpoint环节的策略？
答：传统的Checkpoint策略存在时间浪费问题。百舸采用以下策略：
-
第一阶段：异步Checkpoint。 训练过程不中断，先将数据复制到内存，然后异步写入存储，缩短Checkpoint时间。
-
第二阶段：触发式Checkpoint。 正常情况下不创建Checkpoint，只有在故障发生时才创建，在大多数情况下有效，避免资源浪费。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
