本文档旨在指导读者如何在 CPU 上使用 llama-cpp-python 库运行任何量化的 GGUF 格式的开源 LLM 模型，例如 Llama 3、Mistral 或 Zephyr 等，而无需依赖 ctransformers 库支持。 本教程涵盖了环境配置、模型下载、推理代码编写以及一些实用技巧，帮助读者快速上手并解决常见问题。
使用 llama-cpp-python 进行 CPU 推理
llama-cpp-python 是一个流行的 Python 库，它基于 llama.cpp，允许在 CPU 上运行量化的 LLM 模型。它易于使用，并且通常是第一个支持新型号量化版本的库之一。
1. 环境配置
首先，需要安装 llama-cpp-python 和 huggingface_hub。 llama-cpp-python 用于加载和运行模型，而 huggingface_hub 用于从 Hugging Face Model Hub 下载模型。
在终端中运行以下命令：
pip install llama-cpp-python pip install huggingface_hub
请注意，上述命令安装的是 CPU 版本的 llama-cpp-python。 如果您想使用 GPU 加速，则需要进行额外的配置，具体步骤不在本文档的讨论范围内。
2. 模型下载
使用 huggingface_hub 从 Hugging Face Model Hub 下载 GGUF 模型。以下代码示例演示了如何下载 Mixtral-8x7B-Instruct-v0.1 模型：
from huggingface_hub import hf_hub_download
model_name = "TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF"
model_file = "mixtral-8x7b-instruct-v0.1.Q4_K_M.gguf"
model_path = hf_hub_download(model_name, filename=model_file)
print(f"Model downloaded to: {model_path}")这段代码将下载 mixtral-8x7b-instruct-v0.1.Q4_K_M.gguf 文件到本地。 Q4_K_M 表示 4-bit 量化模型，您可以根据需要选择其他量化级别。
3. 模型加载与推理
下载模型后，可以使用 llama-cpp-python 加载并运行模型。以下代码示例展示了如何加载模型并生成文本：
from llama_cpp import Llama
llm = Llama(
model_path=model_path,
n_ctx=16000, # Context length to use
n_threads=32, # Number of CPU threads to use
n_gpu_layers=0 # Number of model layers to offload to GPU
)
generation_kwargs = {
"max_tokens": 20000,
"stop": ["</s>"],
"echo": False, # Echo the prompt in the output
"top_k": 1 # This is essentially greedy decoding, since the model will always return the highest-probability token. Set this value > 1 for sampling decoding
}
prompt = "The meaning of life is "
res = llm(prompt, **generation_kwargs)
print(res["choices"][0]["text"])这段代码首先使用 Llama 类加载模型，并设置上下文长度 (n_ctx)、线程数 (n_threads) 和 GPU 层数 (n_gpu_layers)。 由于我们要在 CPU 上运行模型，因此将 n_gpu_layers 设置为 0。
然后，定义生成参数 generation_kwargs，例如最大 token 数 (max_tokens)、停止词 (stop)、是否回显提示 (echo) 和 top-k 值 (top_k)。
最后，使用 llm 对象运行推理，并将结果打印到控制台。
4. 模型选择
Mixtral-8x7B 是一个相对较大的模型，可能需要大量的内存才能运行。 如果您的计算机内存有限，可以尝试使用较小的模型，例如 Llama-2-13B 或 Mistral-7B。
以下是一些较小模型的示例：
- model_name="TheBloke/Llama-2-13B-chat-GGUF"; model_file="llama-2-13b-chat.Q4_K_M.gguf"
- model_name="TheBloke/Mistral-7B-OpenOrca-GGUF"; model_file="mistral-7b-openorca.Q4_K_M.gguf"
注意事项
- 确保您的计算机具有足够的内存来运行模型。
- 根据您的 CPU 核心数调整 n_threads 参数。
- 您可以尝试不同的量化级别，以在性能和内存使用之间找到平衡。
- top_k=1 实际上是贪婪解码，模型总是返回最高概率的 token。 为了获得更多样化的输出，请将此值设置为大于 1 的值，以启用采样解码。
总结
本教程介绍了如何使用 llama-cpp-python 在 CPU 上运行量化的 GGUF 模型。 通过遵循这些步骤，您可以轻松地在本地运行各种开源 LLM 模型，并探索它们的强大功能。请记住，选择合适的模型和调整参数对于获得最佳性能至关重要。
