Omni-Infer v0.7.0 已经发布，超大规模 MoE 模型推理加速技术

聖光之護

发布时间：2025-12-12 17:43:01

848人浏览过

来源于php中文网

原创

omni-infer v0.7.0 已经发布，超大规模 moe 模型推理加速技术

Omni-Infer v0.7.0 正式上线，带来面向超大规模混合专家（MoE）模型的高效推理加速能力。

v0.7.0

核心亮点

Omni Cache 新增对 MLA（Multi-Head Latent Attention）与 GQA（Grouped-Query Attention）架构的支持
引入 chunk prefill 混合调度机制，实现更优的计算图融合与内存复用
全面兼容 SGLang 接口协议，提升复杂推理流程的灵活性与易用性

性能提升

在 2P8-1D32@A3 硬件配置下，支持 3.5K+1K 输入长度场景，Deepseek R1 实测 QPM 达 186，首字延迟（TTFT）显著优化
在 2P2-1D4@A3 配置下，openPangu-72B 单卡解码吞吐峰值达 1560 TPS，平均单 Token 延迟（TPOT）表现优异

已验证模型清单

模型	硬件平台	量化精度	部署模式
openPangu-Ultra-MoE-718B	A3	INT8	PD分离
openPangu-Ultra-MoE-718B	A2	INT8	PD分离
openPangu-72B	A3	INT8	PD分离
openPangu-38B	A3	INT8	混布
openPangu-38B	A2	INT8	混布
openPangu-7B	A3	BF16	混布
openPangu-7B	A2	BF16	混布
openPangu-7BVL	A3	BF16	混布
DeepSeek-R1	A3	INT8	PD分离
DeepSeek-R1	A3	W4A8C16	PD分离
DeepSeek-R1	A3	BF16	PD分离
DeepSeek-R1	A2	INT8	PD分离
DeepSeek-V3.1	A3	INT8	PD分离
DeepSeek-V3.2	A3	INT8	PD分离
DeepSeek-OCR	A2	BF16	混布
Qwen2.5-7B	A3	INT8	混布（TP>=1 DP=1）
Qwen2.5-7B	A2	INT8	混布（TP>=1 DP=1）
QwQ	A3	BF16	PD分离
QwQ	A2	BF16	PD分离
Qwen3-235B	A3	INT8	PD分离
Qwen3-235B	A2	BF16	PD分离
Qwen3-32B	A3	BF16	PD分离
Qwen3-32B	A3	INT8	PD分离
Qwen3-30B	A3	BF16	PD分离
Kimi-K2	A3	W4A8C16	PD分离
Kimi-K2 Thinking	A3	W4A8C16	PD分离
Longcat-flash	A3	BF16	PD分离
Ling-1T	A3	BF16	PD分离
GPT-OSS120B	A3	INT8	PD分离
GPT-OSS120B	A2	INT8	PD分离
GPT-OSS20B	A3	INT8	PD分离
GPT-OSS20B	A2	INT8	PD分离

安装方式

硬件平台	CPU架构	Docker镜像地址	Tar包名称
A3	arm	docker pull swr.cn-east-4.myhuaweicloud.com/omni/omniinfer-a3-arm:release\_v0.7.0-vllm	omni\_infer-a3-arm:v0.7.0\_vllm
A3	x86	docker pull swr.cn-east-4.myhuaweicloud.com/omni/omniinfer-a3-x86:release\_v0.7.0-vllm	omni\_infer-a3-x86:v0.7.0\_vllm
A2	arm	docker pull swr.cn-east-4.myhuaweicloud.com/omni/omniinfer-a2-arm:release\_v0.7.0-vllm	omni\_infer-a2-arm:v0.7.0\_vllm
A2	x86	docker pull swr.cn-east-4.myhuaweicloud.com/omni/omniinfer-a2-x86:release\_v0.7.0-vllm	omni\_infer-a2-x86:v0.7.0\_vllm

AdMaker AI

从0到爆款高转化AI广告生成器

下载

源码获取：点击下载

用数据照亮成长之路：PandaCoder Git 统计工具窗口

Git 3.0 有望在 2026 年发布，默认启用更安全的 SHA-256 哈希算法

JetBrains 宣布 DataGrip 面向非商业用途免费

Linus 对 Git 提交信息中“Link:”标签被滥用表达不满

开源 IDE 项目 Zed 完成 3200 万美元 B 轮融资

相关标签:

git docker ai gpt gitee ultra deepseek qwen 架构 Token 接口 docker ocr https gitee gpt

本站声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

上一篇：通义千问保持 AI 模型领先地位，阿里云 CTO 周靖人晋升阿里合伙人下一篇：无人机“谁能飞”“谁在飞”？两项强制性国家标准发布，明年 5 月起实施

作者最新文章

如何安全移除 Elementor 生成的 HTML 标签，仅保留内部文本内容

2026-01-16 22:04

如何在 Cypress 中正确处理外部文件下载而不导致测试卡死

2026-01-16 22:19

标题：将评分范围按不等长区间划分并映射到消息数组的高效算法实现

2026-01-16 22:19

如何实现 HTML 下拉菜单中的嵌套子菜单（二级下拉）

2026-01-16 22:29

Cypress 中正确处理文件下载的完整实践指南

2026-01-16 22:32

如何在 Go 程序中正确使用 os/exec 调用 go build 命令

2026-01-16 22:35

如何在 Go Web 应用中正确托管 CSS 文件并解决 404 错误

2026-01-16 22:40

如何在 Go Web 应用中正确托管 CSS 静态资源避免 404 错误

2026-01-16 22:40

标题：装饰器模式的适用边界与类型兼容性约束

2026-01-16 22:59

如何使用 cURL 正确发送 JSON 数据到 PHP 接口

2026-01-16 23:36

热门AI工具

DeepSeek

幻方量化公司旗下的开源大模型平台

AI大模型

开放平台

豆包大模型

字节跳动自主研发的一系列大型语言模型

AI大模型

通义千问

阿里巴巴推出的全能AI助手

AI大模型

腾讯元宝

腾讯混元平台推出的AI助手

文档处理

Excel 表格

文心一言

文心一言是百度开发的AI聊天机器人，通过对话可以生成各种形式的内容。

AI大模型

中文写作

讯飞写作

基于讯飞星火大模型的AI写作工具，可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

中文写作

写作工具

即梦AI

一站式AI创作平台，免费AI图片和视频生成。

图片拼接

图画生成

ChatGPT

最最强大的AI聊天机器人程序，ChatGPT不单是聊天机器人，还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

AI大模型

中文写作

智谱清言 - 免费全能的AI助手

AI大模型

PDF 文档

相关专题

登录token无效

登录token无效解决方法：1、检查token的有效期限，如果token已经过期，需要重新获取一个新的token；2、检查token的签名，如果签名不正确，需要重新获取一个新的token；3、检查密钥的正确性，如果密钥不正确，需要重新获取一个新的token；4、使用HTTPS协议传输token，建议使用HTTPS协议进行传输；5、使用双因素认证，双因素认证可以提高账户的安全性。

6087

2023.09.14

登录token无效怎么办

登录token无效的解决办法有检查Token是否过期、检查Token是否正确、检查Token是否被篡改、检查Token是否与用户匹配、清除缓存或Cookie、检查网络连接和服务器状态、重新登录或请求新的Token、联系技术支持或开发人员等。本专题为大家提供token相关的文章、下载、课程内容，供大家免费下载体验。

805

2023.09.14

token怎么获取

获取token值的方法：1、小程序调用“wx.login()”获取临时登录凭证code，并回传到开发者服务器；2、开发者服务器以code换取，用户唯一标识openid和会话密钥“session_key”。想了解更详细的内容，可以阅读本专题下面的文章。

1062

2023.12.21

token什么意思

token是一种用于表示用户权限、记录交易信息、支付虚拟货币的数字货币。可以用来在特定的网络上进行交易，用来购买或出售特定的虚拟货币，也可以用来支付特定的服务费用。想了解更多token什么意思的相关内容可以访问本专题下面的文章。

1233

2024.03.01

硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍：1、IDE接口是一种并行接口，主要用于连接硬盘和光驱等设备，它主要有两种类型：ATA和ATAPI，IDE接口已经逐渐被SATA接口；2、SATA接口是一种串行接口，相较于IDE接口，它具有更高的传输速度、更低的功耗和更小的体积；3、SCSI接口等等。

1020

2023.10.19