1. 问题背景与错误分析
在使用 pip install tokenizers==0.12.1 命令安装 tokenizers 库时，用户可能会遇到编译错误，即使 python 版本为 3.6.15，rust 编译器版本为 1.72.0。此类错误通常表现为 rust 编译器发出的警告和错误，例如：
-
可变性警告 (Mutable Warning):
warning: variable does not need to be mutable --> tokenizers-lib\src\models\unigram\model.rs:265:21 | 265 | let mut target_node = &mut best_path_ends_at[key_pos]; | ----^^^^^^^^^^^ | | | help: remove this `mut`这个警告提示某个变量被声明为可变 (mut)，但实际上其值并未被修改，建议移除 mut 关键字。
-
类型转换错误 (Casting Issue):
error: casting `&T` to `&mut T` is undefined behavior, even if the reference is unused, consider instead using an `UnsafeCell` --> tokenizers-lib\src\models\bpe\trainer.rs:526:47 | 522 | let w = &words[*i] as *const _ as *mut _; | -------------------------------- casting happened here ... 526 | let word: &mut Word = &mut (*w); | ^^^^^^^^^ | = note: for more information, visit <https://doc.rust-lang.org/book/ch15-05-interior-mutability.html> = note: `#[deny(invalid_reference_casting)]` on by default这是核心错误，指出将不可变引用 &T 直接强制转换为可变引用 &mut T 是一种未定义行为。Rust 编译器（特别是从 1.73.0 版本开始）对此类操作实施了更严格的检查，以确保内存安全和程序行为的确定性。tokenizers 的旧版本（如 0.12.1）可能包含了不符合新编译器严格性要求的代码。
2. 根本原因分析
问题的根源在于 Rust 编译器在特定版本（据社区反馈，可能从 1.73.0 开始）对类型安全和引用转换规则进行了强化。旧版 tokenizers 库（例如 0.12.1）在编写时可能依赖了当时编译器较为宽松的规则，或使用了现在被认为是未定义行为的模式。当使用较新版本的 Rust 编译器（如 1.72.0 及更高版本，尽管 1.72.0 理论上不应触发此特定错误，但实际情况可能因具体补丁或依赖链而异，1.73.0 及其后续版本明确引入了此严格性）编译这些旧代码时，就会触发上述错误。
tokenizers 官方已在后续版本中修复了这些兼容性问题，例如在 0.14.1 版本中解决了与 Rust 编译器严格性相关的构建问题。
3. 解决方案
针对此兼容性问题，主要有两种解决方案：
3.1 方案一：升级 tokenizers 及其相关依赖
这是推荐的首选方案，因为它能利用 tokenizers 官方已修复的兼容性更新。
-
升级 tokenizers 版本： 将 tokenizers 升级到 0.14.1 或更高版本。这些版本已针对新版 Rust 编译器的严格性进行了适配。
pip install tokenizers>=0.14.1
-
同步升级其他依赖： 请注意，升级 tokenizers 可能导致与其他库（特别是 transformers）的依赖冲突。例如，如果你的项目要求 transformers==4.19.1，而此版本又要求 tokenizers<0.13，那么直接升级 tokenizers 会产生冲突。在这种情况下，你需要同时升级 transformers 到一个与新版 tokenizers 兼容的版本，例如 transformers>=4.36。
如果你的项目使用 requirements.txt 文件管理依赖，你需要修改文件内容：
- tokenizers==0.12.1 - transformers==4.19.1 + tokenizers>=0.14.1 + transformers>=4.36
然后重新安装：
pip install -r requirements.txt
注意事项：
- 升级依赖可能会改变项目行为，尤其是在处理大型或敏感项目时。请务必在升级后进行充分测试，以确保项目功能不受影响。
- 检查项目文档或 pyproject.toml、setup.py 文件，了解其对 tokenizers 和 transformers 的具体版本要求。
3.2 方案二：强制使用旧版 Rust 编译器 (高级)
如果由于项目限制无法升级 tokenizers 或其依赖，或者需要严格复现特定环境，可以尝试强制使用一个更旧、更宽松的 Rust 编译器版本来编译 tokenizers。
-
安装旧版 Rust 工具链： 使用 rustup 工具安装一个已知与 tokenizers==0.12.1 兼容的旧版 Rust 工具链。根据社区反馈，Rust 1.72.1 或 1.71.1 可能是兼容的选择。
rustup install 1.72.1 # 或者 rustup install 1.71.1
-
通过环境变量指定工具链： 在执行 pip install 命令之前，设置 RUSTUP_TOOLCHAIN 环境变量，强制 cargo（Rust 的包管理器，pip 在安装 tokenizers 时会调用它）使用指定的旧版工具链进行编译。
-
Linux/macOS:
RUSTUP_TOOLCHAIN=1.72.1 pip install tokenizers==0.12.1
-
Windows (Command Prompt):
set RUSTUP_TOOLCHAIN=1.72.1 pip install tokenizers==0.12.1
-
Windows (PowerShell):
$env:RUSTUP_TOOLCHAIN="1.72.1" pip install tokenizers==0.12.1
注意事项：
- 此方法会绕过当前系统默认的 Rust 工具链，只影响当前命令的执行。
- 需要确保 rustup 已正确安装并配置。
- 选择的旧版 Rust 工具链必须与你的操作系统和架构兼容。
- 这是一种临时的解决方案，长期来看，升级库版本仍然是更稳健的做法。
-
Linux/macOS:
4. 总结
tokenizers 库的安装问题，特别是与旧版本和新版 Rust 编译器之间的兼容性，是由于 Rust 语言生态系统不断演进，编译器严格性增强所致。解决此问题的最佳实践是升级 tokenizers 及其相关依赖（如 transformers）到最新兼容版本，以利用官方提供的修复。如果升级不可行，可以通过指定旧版 Rust 工具链作为临时或特定环境下的替代方案。无论采用哪种方法，都建议在生产环境部署前进行充分的测试，以确保项目的稳定性和功能完整性。
