c++怎么用libtorch加载一个PyTorch模型_C++深度学习模型加载与libtorch实践-C++-PHP中文网

c++怎么用libtorch加载一个PyTorch模型_C++深度学习模型加载与libtorch实践

裘德小鎮的故事

发布： 2025-11-12 13:55:02

原创

257人浏览过

首先需将PyTorch模型转为TorchScript格式，再通过LibTorch在C++中加载并推理。具体步骤包括：使用torch.jit.trace或torch.jit.script导出模型为.pt文件；配置LibTorch开发环境，包含下载库、设置CMake并链接依赖；在C++中调用torch::jit::load()加载模型，构建输入张量并执行前向推理；注意保持预处理一致性和启用module.eval()与NoGradGuard优化性能。多线程部署时应为每个线程创建独立Module实例以避免竞争。该方法适用于低延迟及嵌入式场景。

c++怎么用libtorch加载一个pytorch模型_c++深度学习模型加载与libtorch实践

在C++中使用LibTorch加载PyTorch模型，是将训练好的深度学习模型部署到生产环境中的常见方式。整个流程包括模型导出、C++环境配置、模型加载与推理执行。下面详细介绍如何实现。

模型导出：从PyTorch到TorchScript

LibTorch只能加载TorchScript格式的模型，因此需要先将Python中训练好的PyTorch模型转换为TorchScript。有两种主要方式：追踪（Tracing）和脚本化（Scripting）。

以一个简单的模型为例：

import torch
import torchvision
<h1>加载预训练模型</h1><p>model = torchvision.models.resnet18(pretrained=True)
model.eval()</p><h1>使用trace方式导出</h1><p>example = torch.rand(1, 3, 224, 224)
traced_script_module = torch.jit.trace(model, example)</p><h1>保存为.pt文件</h1><p>traced_script_module.save("resnet18_model.pt")</p><p><span>立即学习</span>“<a href="https://pan.quark.cn/s/6e7abc4abb9f" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">C++免费学习笔记（深入）</a>”；</p>

登录后复制

这会生成一个名为 resnet18_model.pt 的文件，可在C++中加载。

配置C++开发环境

要使用LibTorch，需完成以下步骤：

从PyTorch官网下载LibTorch库（支持CPU或CUDA版本）
解压后配置编译环境，如使用CMake链接库文件
确保C++编译器支持C++14及以上标准

示例CMakeLists.txt内容：

cmake_minimum_required(VERSION 3.0)
project(libtorch_example)
<p>set(CMAKE_CXX_STANDARD 14)</p>
                    <div class="aritcle_card">
                        <a class="aritcle_card_img" href="/ai/2100">
                            <img src="https://img.php.cn/upload/ai_manual/000/000/000/175680086070100.png" alt="度加剪辑">
                        </a>
                        <div class="aritcle_card_info">
                            <a href="/ai/2100">度加剪辑</a>
                            <p>度加剪辑（原度咔剪辑），百度旗下AI创作工具</p>
                            <div class="">
                                <img src="/static/images/card_xiazai.png" alt="度加剪辑">
                                <span>63</span>
                            </div>
                        </div>
                        <a href="/ai/2100" class="aritcle_card_btn">
                            <span>查看详情</span>
                            <img src="/static/images/cardxiayige-3.png" alt="度加剪辑">
                        </a>
                    </div>
                <h1>指向LibTorch解压路径</h1><p>set(LIBTORCH /path/to/libtorch)</p><p>find_package(Torch REQUIRED)</p><p>add_executable(main main.cpp)
target_link_libraries(main ${TORCH_LIBRARIES})
set_property(TARGET main PROPERTY CXX_STANDARD 14)</p>

登录后复制

在C++中加载并运行模型

使用 torch::jit::load() 函数加载模型，并传入输入张量进行推理。

示例代码：

#include <torch/torch.h>
#include <iostream>
<p>int main() {
// 加载模型
try {
torch::jit::script::Module module = torch::jit::load("resnet18_model.pt");
std::cout << "模型加载成功！\n";
} catch (const c10::Error& e) {
std::cerr << "模型加载失败: " << e.msg() << "\n";
return -1;
}</p><pre class='brush:php;toolbar:false;'>// 创建输入张量
std::vector<torch::jit::IValue> inputs;
inputs.push_back(torch::randn({1, 3, 224, 224}));

// 执行推理
at::Tensor output = module.forward(inputs).toTensor();

std::cout << "输出维度: " << output.sizes() << "\n";
std::cout << "预测结果: " << output.argmax(1) << "\n";

return 0;

登录后复制

}

注意：输入数据通常需要做与训练时相同的预处理，如归一化、Resize等，可借助OpenCV读取图像并转换为Tensor。