首先需将PyTorch模型转为TorchScript格式，再通过LibTorch在C++中加载并推理。具体步骤包括：使用torch.jit.trace或torch.jit.script导出模型为.pt文件；配置LibTorch开发环境，包含下载库、设置CMake并链接依赖；在C++中调用torch::jit::load()加载模型，构建输入张量并执行前向推理；注意保持预处理一致性和启用module.eval()与NoGradGuard优化性能。多线程部署时应为每个线程创建独立Module实例以避免竞争。该方法适用于低延迟及嵌入式场景。
在C++中使用LibTorch加载PyTorch模型，是将训练好的深度学习模型部署到生产环境中的常见方式。整个流程包括模型导出、C++环境配置、模型加载与推理执行。下面详细介绍如何实现。
模型导出：从PyTorch到TorchScript
LibTorch只能加载TorchScript格式的模型，因此需要先将Python中训练好的PyTorch模型转换为TorchScript。有两种主要方式：追踪（Tracing）和脚本化（Scripting）。
以一个简单的模型为例：
import torch
import torchvision
<h1>加载预训练模型</h1><p>model = torchvision.models.resnet18(pretrained=True)
model.eval()</p><h1>使用trace方式导出</h1><p>example = torch.rand(1, 3, 224, 224)
traced_script_module = torch.jit.trace(model, example)</p><h1>保存为.pt文件</h1><p>traced_script_module.save("resnet18_model.pt")</p><p><span>立即学习</span>“<a href="https://pan.quark.cn/s/6e7abc4abb9f" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">C++免费学习笔记（深入）</a>”；</p>这会生成一个名为 resnet18_model.pt 的文件，可在C++中加载。
配置C++开发环境
要使用LibTorch，需完成以下步骤：
- 从PyTorch官网下载LibTorch库（支持CPU或CUDA版本）
- 解压后配置编译环境，如使用CMake链接库文件
- 确保C++编译器支持C++14及以上标准
示例CMakeLists.txt内容：
cmake_minimum_required(VERSION 3.0)
project(libtorch_example)
<p>set(CMAKE_CXX_STANDARD 14)</p><div class="aritcle_card flexRow">
<div class="artcardd flexRow">
<a class="aritcle_card_img" href="/ai/1552" title="Programming Helper"><img
src="https://img.php.cn/upload/ai_manual/000/000/000/175680263524608.jpg" alt="Programming Helper" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
<div class="aritcle_card_info flexColumn">
<a href="/ai/1552" title="Programming Helper">Programming Helper</a>
<p>AI代码自动生成器，在AI的帮助下更快地编程</p>
</div>
<a href="/ai/1552" title="Programming Helper" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a>
</div>
</div><h1>指向LibTorch解压路径</h1><p>set(LIBTORCH /path/to/libtorch)</p><p>find_package(Torch REQUIRED)</p><p>add_executable(main main.cpp)
target_link_libraries(main ${TORCH_LIBRARIES})
set_property(TARGET main PROPERTY CXX_STANDARD 14)</p>在C++中加载并运行模型
使用 torch::jit::load() 函数加载模型，并传入输入张量进行推理。
示例代码：
#include <torch/torch.h>
#include <iostream>
<p>int main() {
// 加载模型
try {
torch::jit::script::Module module = torch::jit::load("resnet18_model.pt");
std::cout << "模型加载成功！\n";
} catch (const c10::Error& e) {
std::cerr << "模型加载失败: " << e.msg() << "\n";
return -1;
}</p><pre class='brush:php;toolbar:false;'>// 创建输入张量
std::vector<torch::jit::IValue> inputs;
inputs.push_back(torch::randn({1, 3, 224, 224}));
// 执行推理
at::Tensor output = module.forward(inputs).toTensor();
std::cout << "输出维度: " << output.sizes() << "\n";
std::cout << "预测结果: " << output.argmax(1) << "\n";
return 0;}
注意：输入数据通常需要做与训练时相同的预处理，如归一化、Resize等，可借助OpenCV读取图像并转换为Tensor。
常见问题与优化建议
实际使用中可能遇到的问题：
-
模型不支持trace：某些动态结构（如if判断、循环）需改用
torch.jit.script - 输入预处理不一致：确保C++端图像处理与Python训练时保持一致
-
性能优化：启用优化选项，如设置
module.eval()和使用torch::NoGradGuard - 多线程加载：每个线程应持有独立的Module副本，避免竞争
基本上就这些。只要模型正确导出，C++端配置无误，LibTorch能稳定高效地运行PyTorch模型。适合对延迟敏感或嵌入式部署场景。
