C++机器学习配置 TensorFlow C++接口安装-C++-PHP中文网

首先从源码编译TensorFlow C++库，再通过SavedModel格式导出并加载模型，实现高性能推理部署。

c++机器学习配置 tensorflow c++接口安装

在C++环境中配置TensorFlow的C++接口进行机器学习，这事儿说起来简单，做起来可真是一场修行。它的核心挑战在于依赖管理和复杂的编译过程，但一旦成功，你将获得无与伦比的性能优势和与现有C++系统无缝集成的能力。简单来说，你需要从源代码编译TensorFlow，或者使用预编译库（如果可用且兼容），然后将生成的库文件和头文件链接到你的C++项目中。这听起来有点像在深林里开辟一条小径，但最终的风景绝对值得。

解决方案

要让TensorFlow的C++接口在你的机器上跑起来，我个人觉得最稳妥且最具掌控力的方式，往往是从源代码编译。虽然市面上有一些预编译版本，但它们通常对编译器版本、CUDA版本甚至操作系统都有严格要求，一不小心就掉坑里了。所以，咱们就走这条“自己动手，丰衣足食”的路子。

首先，你得准备好几样趁手的工具：

操作系统: Linux（Ubuntu、CentOS等）是首选，Windows下虽然也能搞，但坑更多，特别是路径问题和DLL地狱。Mac OS X也行，但GPU支持相对受限。我这里主要以Linux为例，因为大部分生产环境都是Linux。
C++编译器: GCC（推荐7.x或更高版本）或者Clang。确保你的系统里有。
Bazel: 这是TensorFlow官方推荐的构建工具，处理复杂的依赖关系非常强大。你需要安装特定版本的Bazel，通常TensorFlow的
```
configure
```
登录后复制
脚本会提示你需要的版本。
Python: 主要是为了运行TensorFlow的
```
./configure
```
登录后复制
脚本，以及Bazel的一些内部操作。Python 3.x是必须的。
Git: 用来克隆TensorFlow的源代码仓库。
CUDA & cuDNN (如果你需要GPU加速): 这是GPU机器学习的基石。确保你的NVIDIA驱动、CUDA Toolkit和cuDNN版本相互兼容，并且与你将要编译的TensorFlow版本兼容。这部分是最容易出问题的，版本不匹配会让你抓狂。

具体步骤：

立即学习“C++免费学习笔记（深入）”；

获取TensorFlow源代码:

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow
# 切换到你需要的稳定版本，例如 r2.x
git checkout r2.10 # 或者其他你需要的版本

登录后复制

选择一个稳定版本非常重要，主分支（master）可能不稳定。

配置编译选项:
```
./configure
```
登录后复制
这个脚本会问你一系列问题：是否支持GPU？CUDA路径在哪？cuDNN路径在哪？Python路径在哪？是否支持XLA？等等。请务必仔细回答，特别是GPU相关的路径。如果你的CUDA和cuDNN安装在非标准路径，这里需要手动指定。如果不需要GPU，直接一路回车，选择CPU版本。配置完成后，它会生成一个
```
.tf_configure.bazelrc
```
登录后复制
文件，里面包含了你的配置信息。
构建TensorFlow C++ 库: 这是最耗时的一步。我们要构建的是
```
libtensorflow_cc.so
```
登录后复制
（或Windows下的
```
.lib
```
登录后复制
和
```
.dll
```
登录后复制
），以及相关的头文件。
```
# CPU版本
bazel build --config=opt //tensorflow/tools/lib_package:libtensorflow_cc
# GPU版本 (如果configure时配置了GPU)
bazel build --config=opt --config=cuda //tensorflow/tools/lib_package:libtensorflow_cc
```
登录后复制
这里的
```
--config=opt
```
登录后复制
是为了优化性能，
```
--config=cuda
```
登录后复制
则是启用GPU支持。这个命令会下载各种依赖，然后开始漫长的编译过程。你的CPU风扇可能会狂转，耐心等待。

安装或集成到你的项目: 构建成功后，你会在

bazel-bin/tensorflow/tools/lib_package

登录后复制

目录下找到一个名为

libtensorflow_cc.tar.gz

登录后复制

（或类似）的压缩包。解压它，里面包含了：

```
include/
```
登录后复制
: 所有的TensorFlow C++ 头文件。
```
lib/
```
登录后复制
: 编译好的静态库和动态库（
```
libtensorflow_cc.so
```
登录后复制
等）。

现在，你需要将这些文件集成到你的C++项目中。以一个简单的CMake项目为例：

# CMakeLists.txt
cmake_minimum_required(VERSION 3.10)
project(MyTfApp CXX)

set(TF_CPP_ROOT "/path/to/your/unpacked/libtensorflow_cc") # 指向解压后的目录

include_directories(${TF_CPP_ROOT}/include)
link_directories(${TF_CPP_ROOT}/lib)

add_executable(my_app main.cpp)

target_link_libraries(my_app
    tensorflow_cc
    # 还需要链接一些系统库，具体取决于你的系统和TF版本
    # 例如：pthread, dl, rt, m 等，可以查看libtensorflow_cc.so的ldd输出
    # 如果是GPU版本，可能还需要链接cuda相关的库
)

登录后复制

在

main.cpp

登录后复制

中，你可以这样开始一个简单的TensorFlow程序：

#include <iostream>
#include "tensorflow/core/public/session.h"
#include "tensorflow/core/platform/env.h"

int main() {
    tensorflow::SessionOptions session_options;
    std::unique_ptr<tensorflow::Session> session(tensorflow::NewSession(session_options));
    if (!session->Is); // 检查session是否创建成功
    // ... 你的TensorFlow C++ 代码
    std::cout << "TensorFlow C++ API initialized successfully!" << std::endl;
    session->Close();
    return 0;
}

登录后复制

这个过程需要一些对C++编译链接的深入理解，特别是当你遇到

undefined reference

登录后复制

错误时，那通常意味着你漏掉了某个库的链接。

TensorFlow C++ API 与 Python API 相比，有哪些核心优势和适用场景？

在我看来，TensorFlow C++ API 和 Python API 就像是同一座冰山的两面。Python API是露出水面的部分，光鲜亮丽，易于上手，但C++ API则是深藏水下的基石，提供了更深层次的控制和性能。

核心优势：

极致性能和低延迟推理: 这是C++ API最显著的优势。在对延迟敏感的场景，比如实时推荐系统、自动驾驶的传感器融合、高频交易策略执行等，每一毫秒都至关重要。Python解释器的开销，即使再小，在高并发或低延迟要求下也会成为瓶颈。C++编译后的代码直接运行在硬件上，没有额外的解释器层，能够榨取硬件的全部性能。
无缝集成到现有C++生态系统: 很多工业级应用的核心是C++编写的。如果你的产品、服务或设备已经是一个庞大的C++代码库，那么直接使用C++ API可以避免跨语言调用的复杂性和开销。这包括将模型嵌入到嵌入式设备、桌面应用、游戏引擎或高性能服务器中。避免了Python环境的部署、管理和依赖冲突。
资源受限环境部署: 对于内存、CPU或存储空间有限的设备（如物联网设备、边缘计算设备），Python运行时环境可能过于庞大。C++应用程序可以被编译成更小的二进制文件，并且对系统资源的占用更少，更适合这些场景。
避免Python依赖地狱: Python项目常常面临依赖版本冲突的问题，尤其是当你的项目依赖多个库时。C++编译后，通常只需要链接到固定的库版本，部署时更稳定，减少了运行时环境配置的复杂性。
更精细的内存管理: C++提供了对内存的直接控制，虽然这也意味着更大的责任。但在需要极致优化内存使用的场景，C++能够实现Python难以企及的精细化管理。

适用场景：

百度虚拟主播

百度智能云平台的一站式、灵活化的虚拟主播直播解决方案

126

查看详情

生产环境部署: 特别是那些对性能、稳定性和资源消耗有严格要求的后端服务。
边缘计算和嵌入式设备: 在手机、智能音箱、机器人等资源受限的设备上进行本地推理。
游戏开发: 将AI模型（如NPC行为、图像生成）集成到C++游戏引擎中。
高性能计算: 与现有的高性能C++库（如图像处理、信号处理库）结合，构建端到端的解决方案。
实时系统: 任何需要亚毫秒级响应的机器学习应用。

当然，Python API在快速原型开发、数据探索、模型训练以及丰富的科学计算库生态方面依然是无可替代的王者。通常的流程是：在Python中进行模型开发和训练，然后将训练好的模型导出，再用C++ API进行部署和推理。

在配置 TensorFlow C++ 接口时，常见的依赖冲突和编译错误如何解决？

哦，这简直是每一个尝试过TensorFlow C++接口的人都会经历的“洗礼”。我个人在这上面踩过的坑，估计能填满好几个游泳池。这些问题通常围绕着依赖版本不匹配和编译环境配置。

Bazel版本不匹配: TensorFlow对Bazel的版本有严格要求。如果你使用的Bazel版本过高或过低，可能会在
```
./configure
```
登录后复制
阶段或
```
bazel build
```
登录后复制
阶段报错。
- 解决方案: 查看TensorFlow官方文档或其
```
configure
```
  登录后复制
  脚本的提示，安装指定版本的Bazel。可以使用Bazel的版本管理工具
```
bazelisk
```
  登录后复制
  来自动下载和使用正确版本的Bazel。
Protobuf版本冲突: TensorFlow大量使用Protocol Buffers进行数据序列化。如果你的系统全局安装了某个版本的Protobuf，而TensorFlow内部又依赖另一个版本，就可能导致链接错误或运行时崩溃。
- 解决方案: TensorFlow通常会将其依赖的Protobuf版本作为其子模块进行编译，理论上不会与系统Protobuf冲突。但如果手动链接了错误的Protobuf库，需要确保链接的是TensorFlow构建出来的那个版本。检查
```
ldd libtensorflow_cc.so
```
  登录后复制
  （Linux）或
```
dumpbin /dependents tensorflow.dll
```
  登录后复制
  （Windows）输出，确认Protobuf库的路径是否正确。
CUDA/cuDNN版本不兼容: 这是GPU加速中最常见的痛点。NVIDIA驱动、CUDA Toolkit、cuDNN、GCC编译器和TensorFlow版本之间必须形成一个“黄金组合”。
- 解决方案:
  - 查阅官方文档: TensorFlow每个版本都会明确列出支持的CUDA和cuDNN版本。
  - 仔细检查路径: 在
```
./configure
```
    登录后复制
    时，确保CUDA和cuDNN的路径指定正确。
  - 环境变量: 确保
```
LD_LIBRARY_PATH
```
    登录后复制
    （Linux）或
```
PATH
```
    登录后复制
    （Windows）包含了CUDA和cuDNN的库路径。
  - GCC版本: 有时CUDA版本对GCC也有要求，过新的GCC可能不兼容。尝试使用旧版GCC（例如GCC 7或8）。
  - 驱动更新: 确保NVIDIA驱动是最新且支持你的CUDA版本。
编译器版本和C++标准问题: TensorFlow的代码使用了C++11或C++14（甚至更高）的特性。如果你的编译器版本过旧，或者没有启用正确的C++标准，就会出现编译错误。
- 解决方案: 确保使用GCC 7+ 或 Clang 5+。在编译时，Bazel会自动设置
```
-std=c++11
```
  登录后复制
  或
```
-std=c++14
```
  登录后复制
  等标志，但如果是在自己的CMake或Makefile中集成，需要手动添加
```
-std=c++14
```
  登录后复制
  或
```
-std=c++17
```
  登录后复制
  等。
链接错误 (
```
undefined reference to ...
```
登录后复制
): 这通常意味着你没有正确链接所有必要的库。TensorFlow C++ API不仅需要
```
libtensorflow_cc.so
```
登录后复制
，还可能需要一些底层的依赖，如
```
pthread
```
登录后复制
、
```
dl
```
登录后复制
、
```
rt
```
登录后复制
、
```
m
```
登录后复制
等。
- 解决方案:
  - 检查
    libtensorflow_cc.so
    登录后复制
    的依赖: 使用
```
ldd libtensorflow_cc.so
```
    登录后复制
    （Linux）或
```
dumpbin /dependents tensorflow.dll
```
    登录后复制
    （Windows）查看它依赖的所有动态库。确保这些库在你的系统上存在，并且在链接时被包含。
  - CMake/Makefile: 仔细检查
```
target_link_libraries
```
    登录后复制
    或
```
LDFLAGS
```
    登录后复制
    ，确保所有需要的库都已列出。有时，链接顺序也很重要。
  - 路径问题: 确保
```
LD_LIBRARY_PATH
```
    登录后复制
    或
```
PATH
```
    登录后复制
    环境变量包含了你自定义的库路径。
Bazel缓存问题: 有时，Bazel的缓存会变得混乱，导致重复编译或奇怪的错误。
- 解决方案:
```
bazel clean --expunge
```
  登录后复制
  可以清除所有的Bazel缓存和输出，然后重新编译。这相当于“重启大法”，通常能解决一些莫名其妙的构建问题。

遇到问题时，不要慌。仔细阅读错误信息，它们通常会告诉你问题出在哪里。Google搜索错误信息，特别是TensorFlow的GitHub issue页面，往往能找到类似的案例和解决方案。这是一个需要耐心和细致的活儿。

如何将训练好的 TensorFlow 模型部署到 C++ 应用程序中进行推理？

将一个在Python中训练好的TensorFlow模型部署到C++应用程序进行推理，是实现高性能生产环境部署的关键一步。这个过程主要涉及模型的导出、加载和执行。

模型导出：SavedModel格式 在现代TensorFlow中，SavedModel 是官方推荐的模型导出格式。它不仅包含了模型的计算图（GraphDef），还包含了所有变量（权重）、签名（Signatures）以及资产（Assets）。这使得模型在不同环境下的部署变得非常方便和健壮。在Python中，通常这样导出模型：

import tensorflow as tf

# 假设你有一个训练好的Keras模型
model = tf.keras.models.Sequential([
    tf.keras.layers.Dense(10, activation='relu', input_shape=(784,)),
    tf.keras.layers.Dense(10, activation='softmax')
])
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
# ... 训练模型 ...

# 导出为SavedModel
export_path = './my_saved_model/1' # '1' 是版本号，推荐递增
tf.saved_model.save(model, export_path)
print(f"Model saved to: {export_path}")

登录后复制

导出的

my_saved_model/1

登录后复制

目录下会包含

saved_model.pb

登录后复制

文件（图和变量）、

variables/

登录后复制

目录（变量的具体值）和

assets/

登录后复制

目录（如果有的话）。

在C++中加载模型 TensorFlow C++ API提供了

tensorflow::LoadSavedModel

登录后复制

函数来加载SavedModel。

#include <iostream>
#include <string>
#include <vector>
#include "tensorflow/cc/saved_model/loader.h"
#include "tensorflow/cc/saved_model/tag_constants.h"
#include "tensorflow/core/public/session.h"
#include "tensorflow/core/platform/env.h"
#include "tensorflow/core/framework/tensor.h"

int main() {
    std::string model_path = "./my_saved_model/1"; // 替换为你的模型路径

    tensorflow::SessionOptions session_options;
    tensorflow::RunOptions run_options;
    tensorflow::SavedModelBundle bundle;

    // 加载SavedModel
    tensorflow::Status status = tensorflow::LoadSavedModel(
        session_options,
        run_options,
        model_path,
        {tensorflow::kSavedModelTagServe}, // 通常用于推理的tag
        &bundle
    );

    if (!status.ok()) {
        std::cerr << "Failed to load SavedModel: " << status.ToString() << std::endl;
        return 1;
    }
    std::cout << "Successfully loaded SavedModel!" << std::endl;

    // 获取会话
    tensorflow::Session* session = bundle.session.release(); // 获取裸指针，由bundle管理生命周期

    // ... 后续的推理代码 ...

    // 注意：bundle的析构函数会自动关闭session，所以这里不需要手动session->Close();
    return 0;
}

登录后复制

这里的

kSavedModelTagServe

登录后复制

是一个常用的标签，表示这个模型是用于服务的（即推理）。

准备输入张量 (Input Tensors) 你需要将你的C++数据转换成

tensorflow::Tensor

登录后复制

对象。这涉及到指定数据类型、形状和实际数据。

// 假设你的模型期望一个形状为 [1, 784] 的 float 类型的输入
tensorflow::Tensor input_tensor(tensorflow::DT_FLOAT, tensorflow::TensorShape({1, 784}));

// 获取张量的指针，填充数据
auto input_map = input_tensor.tensor<float>();
for (int i = 0; i < 784; ++i) {
    input_map(0, i) = static_cast<float>(i) / 784.0f; // 示例数据
}

// 定义输入名，这通常是你模型输入层的名称，或者SavedModel签名中的输入名
// 可以通过SavedModelCLI工具查看模型签名
std::string input_name = "dense_input"; // 替换为你的模型输入层名称
std::vector<std::pair<std::string, tensorflow::Tensor>> inputs = {
    {input_name, input_tensor}
};

登录后复制

要找到准确的输入输出张量名称，可以使用

saved_model_cli

登录后复制

工具：

saved_model_cli show --dir ./my_saved_model/1 --tag_set serve --signature_def serving_default

登录后复制

。

执行推理 (Graph Execution) 通过

session->Run()

登录后复制

方法执行计算图。

// 定义输出名
std::string output_name = "dense_1"; // 替换为你的模型输出层名称
std::vector<std::string> output_names = {output_name};
std::vector<tensorflow::Tensor> outputs;

// 运行模型
status = session->Run(inputs, output_names, {}, &outputs); // 第三个参数是目标节点，这里为空表示运行到输出节点

if (!status.ok()) {
    std::cerr << "Failed to run model: " << status.ToString() << std::endl;
    return 1;
}
std::cout << "Model inference successful!" << std::endl;

// 处理输出张量
if (!outputs.empty()) {
    const tensorflow::Tensor& result_tensor = outputs[0];
    auto output_map = result_tensor.tensor<float>(); // 假设输出是float类型

    // 打印结果，例如分类模型的概率分布
    std::cout << "Output probabilities: [";
    for (int i = 0; i < result_tensor.dim_size(1); ++i) {
        std::cout << output_map(0, i) << (i == result_tensor.dim_size(1) - 1 ? "" : ", ");
    }
    std::cout << "]" << std::endl;
} else {
    std::cerr << "No output tensor received." << std::endl;
}

登录后复制

会话管理 使用
```
SavedModelBundle
```
登录后复制
加载模型时，它会自动管理内部的
```
Session
```
登录后复制
对象。当
```
bundle
```
登录后复制
对象超出作用域或被销毁时，
```
Session
```
登录后复制
也会被关闭。所以，通常不需要手动调用
```
session->Close()
```
登录后复制
。