☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
【PHP中文网快讯】5月30日，华为正式发布全新人工智能模型——盘古 Ultra MoE，该模型参数规模达到7180亿，逼近万亿级别。作为一款基于MoE（专家混合）架构的大模型，其整个训练流程均在华为自研的昇腾AI计算平台上完成，标志着华为在超大规模AI模型训练技术上实现关键跃升。
此次盘古 Ultra MoE 的成功，依托于多项核心技术突破。其中，盘古团队创新性地提出了Depth-Scaled Sandwich-Norm（DSSN）稳定架构，有效应对了超大模型训练中常见的梯度异常与范数波动难题。该架构通过在每一子层输出端增设层归一化模块，并结合深度缩放的初始化策略，显著提升了训练过程的稳定性与收敛效率。同时，团队还采用了名为TinyInit的小规模参数初始化方法，使用标准差为 (2/(d·L)) 的初始化方案，进一步优化了模型的初始状态，加速了训练收敛。
在训练框架方面，华为首次公开了在昇腾CloudMatrix 384超节点上实现大稀疏比MoE模型强化学习（RL）后训练的技术路径。这一进展成功打通了强化学习在超大规模模型中的集群化训练瓶颈，推动RL后训练迈入超节点协同的新阶段，为后续高智能决策模型的发展提供了坚实支撑。
继5月初推出预训练系统加速技术后，华为在短短一个月内迅速完成新一轮技术迭代。本次升级涵盖多项关键优化：针对昇腾硬件设计的自适应流水线掩盖策略，优化算子执行顺序，减少Host端性能瓶颈，增强EP通信掩盖能力；开发出动态内存管理机制，提升资源利用效率；通过数据重排技术实现数据并行下的Attention负载均衡；以及面向昇腾平台深度定制的算子级优化方案。上述改进使万卡规模集群的MFU（混合精度计算利用率）从30%跃升至41%，大幅提升了训练效率与硬件吞吐能力。
