在人工智能领域，大语言模型的训练与推理开销长期制约着技术的广泛应用。近日，北京大学人工智能研究院助理教授张牧涵领衔的团队，在鲲鹏昇腾科教创新卓越中心（简称“卓越中心”）提供的强大算力支持下，成功构建了一套高效的大模型训练与推理架构，实现百万tokens输入成本低至1元，为行业提供了高性能、低成本的全新解决方案。
该研究实现了三项核心技术突破。其一，当前主流的相对位置编码机制存在显著稀疏性问题。团队创新性地将注意力头中的位置信息与非位置信息解耦，对位置编码实施低秩压缩，在仅保留3%位置信息的情况下，仍能保持原有的表达能力。通过优化昇腾硬件上的flash-attention算子，有效提升了注意力头参数的利用效率。
其二，传统模型中非位置编码部分往往处于被压制状态。通过分离位置与非位置信息，团队为非位置编码开辟了更大的压缩空间。采用联合KV的低秩压缩策略，仅需保留12.5%的KV Cache即可维持模型性能。该方法充分发挥了昇腾芯片高效的并行计算优势，显著降低内存访问压力，大幅提升推理吞吐。
其三，依托昇腾平台卓越的并行处理能力，团队提出了Recurrent Decoding（RD）技术，替代传统LM-head结构，显著提升训练效率与推理速度。在训练过程中，RD通过对比解码生成的多个tokens与目标序列，提高数据利用率；在推理阶段，结合投机采样机制，大幅提高token生成的通过率，从而加快整体输出速度。
这项成果已引发学术界高度关注，不仅为后续研究提供了可复用的高效架构模板，也显著降低了大模型在企业场景中的部署门槛。自2023年6月成立以来，北京大学与华为持续在产业前沿技术领域开展深度合作，此次成果充分验证了昇腾算力平台支撑高水平科研的能力。未来，卓越中心将持续推进大模型关键技术攻关，助力中国自主人工智能生态建设。
