whisper模型国内下载慢需手动下载权重并指定路径;中文识别需强制设language="zh"、加initial_prompt;音频须转16khz wav/flac;cpu推理推荐base模型+float32;时间戳错乱因mp3精度损失,分段需chunk_length_s参数。

Whisper 模型下载太慢或失败
默认用 whisper.load_model() 会从 Hugging Face 自动拉取模型,国内直连经常卡在 10% 或报 ConnectionError。这不是代码写错了,是网络路径问题。
- 手动下载模型权重:访问
https://huggingface.co/openai/whisper-base(把base换成你用的型号,如small、medium),点 “Files and versions”,下载pytorch_model.bin和config.json,放到本地目录如./whisper-base/ - 加载时指定路径:
whisper.load_model("./whisper-base"),它会跳过远程下载 - 别用
tiny模型做中文转录——它没学过中文 token,识别率断崖式下跌,base是中文可用的最低门槛
中文语音识别不准,尤其带口音或专业词
Whisper 原生支持中文,但对非标准发音、行业术语、人名地名很敏感,不是模型“不行”,而是输入没给足上下文。
- 强制指定语言:
model.transcribe(audio_path, language="zh"),不传 language 参数会让模型自己猜,一猜就偏 - 加
initial_prompt引导识别方向,比如会议录音里反复出现 “Qwen”、“通义千问”,加initial_prompt="以下是关于通义千问的会议讨论"能明显改善专有名词识别 - 音频采样率必须是 16kHz,用
ffmpeg -i in.mp3 -ar 16000 -ac 1 out.wav重采样,否则 Whisper 内部会悄悄重采样,引入失真
CPU 推理慢到无法接受
Whisper 的 medium 模型在 CPU 上跑 1 分钟音频要 4–5 分钟,不是代码效率问题,是模型本身计算量大。
- 优先换小模型:
base比small快 2 倍,中文准确率只降 3–5%,适合批量预处理 - 禁用 fp16:
load_model(..., device="cpu", dtype=torch.float32),CPU 上开 fp16 反而更慢,还可能报RuntimeError: "addmm_out" not implemented for 'Half' - 别用
transcribe()的verbose=True实时打印——它每秒 flush 一次 stdout,在脚本里会拖慢整体速度
输出时间戳错乱或分段不合理
默认输出的 segments 是 Whisper 自动切的,它按语义停顿分段,不是按固定时长,所以你会看到 0.8 秒一段,也可能 27 秒一段。
立即学习“Python免费学习笔记(深入)”;
- 想控制分段节奏,用
chunk_length_s=30(仅限large-v2及以上)+batch_size=12,但注意这会略微降低连贯性 - 时间戳不准常见于 MP3 直接传入——Whisper 期望的是 PCM 数据,MP3 解码有精度损失,务必先转成 WAV 或 FLAC 再喂给模型
- 如果需要精确到字级别时间戳,得用
word_timestamps=True,但会显著增加内存占用和耗时,且base/small不支持该参数,会静默忽略
最常被跳过的其实是音频前端处理:Whisper 对背景噪音、低信噪比、远场收音极其敏感,再好的模型也救不了一段没降噪、没归一化的录音。模型只是最后一环,前面三步没做对,后面全白搭。










