Mu Tian1. 方案选型与总体设计
1.1 为什么选择OpenCV DNN而不是TensorFlow C++ API
先交代一下背景。我最近在一个工业视觉项目上遇到这么个需求：算法团队用TensorFlow训练了一个缺陷检测模型，模型文件就是标准的pb格式，但现场运行环境是基于C++的工控机程序，需要把模型集成进去。按常规思路，第一反应肯定是去装TensorFlow C++版本，把模型跑起来。
这个方案我试过，折腾人的地方特别多：TensorFlow的C++ API跟Python版本并不完全一致，链接库体积感人，编译一次少说二十分钟起步，而且ABI兼容问题在很多版本上会让你欲哭无泪。更麻烦的是，现场机器不一定允许你装这么重的运行环境。
后来发现了OpenCV DNN模块这个方案。OpenCV从3.3版本开始集成了dnn模块，可以直接读取TensorFlow导出的pb模型，并在C++端完成前向推理，整个过程不需要在部署机器上安装TensorFlow。这对我来说简直就是救星：项目里本来就要用OpenCV做图像预处理，现在连推理环节也一并解决了，依赖统一、部署简单、体积也小得多。
需要说明的是，OpenCV DNN对TensorFlow算子的支持不是百分之百完整的，但对于大部分常见的CNN结构（卷积、池化、全连接、BatchNorm、ReLU等）都覆盖得很全。像我们项目用的ResNet结构，实测下来完全没问题。如果模型里有一些特别冷门的自定义算子，那确实会遇到坑，这个我在后面常见问题部分会详细聊。
1.2 对比其他方案的利弊
为了让大家对方案选型有更清晰的判断，我把自己调研过的几条技术路线整理成一个对比表格：
| 方案 | 依赖复杂度 | 部署体积 | 算子支持 | 集成难度 | 适用场景 |
|---|---|---|---|---|---|
| TensorFlow C++ API | 非常高 | 500MB以上 | 全 | 高 | 需要完整TF生态的场景 |
| OpenCV DNN | 低 | 约200MB | 覆盖面广 | 低 | 常规CNN模型部署 |
| ONNX Runtime | 中 | 约100MB | 很广 | 中 | 需要跨框架部署的场景 |
| TensorFlow Lite | 中 | 约200MB | 覆盖面广 | 中 | 边缘设备、移动端 |
我在实际项目中综合评估后，选了OpenCV DNN这条路线，理由有三：一是项目本身就需要OpenCV做图像处理，不会新增额外依赖；二是工控机上跑的是Windows系统，用OpenCV的Release版本直接能跑，省掉了一大堆编译麻烦；三是模型结构比较常规，不存在算子兼容的隐忧。
如果你的模型有自定义层（比如自研的Attention结构），或者需要跑TensorFlow特有的某些算子，那我建议还是老实走ONNX Runtime或者TensorFlow C++ API路线，别在OpenCV DNN上面硬磕。但如果你是常规CNN模型部署，OpenCV DNN绝对值得优先尝试。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 模型导出与准备
2.1 从SavedModel到Frozen Graph
要用OpenCV加载TensorFlow的pb模型，首先得搞清楚TensorFlow模型文件的格式。现在的TensorFlow版本主要导出SavedModel格式，路径下包含saved_model.pb、variables和assets文件夹。但OpenCV DNN模块支持的实际上是老式的Frozen Graph格式，也就是把网络结构和权重全部冻结到单个pb文件里。
转换方法有两种。
第一种是用TensorFlow自带的工具。如果你用的是TensorFlow 1.x，可以直接在训练脚本里用graph_util.convert_variables_to_constants把变量冻结成常量：
python复制import tensorflow as tf
from tensorflow.python.framework import graph_io
from tensorflow.python.tools import freeze_graph
# 在训练结束后
with tf.Session() as sess:
# 假设训练好的模型已经加载到sess中
output_graph_def = tf.graph_util.convert_variables_to_constants(
sess,
tf.get_default_graph().as_graph_def(),
['output_node'] # 这里替换成你自己的输出节点名称
)
with tf.gfile.GFile('model.pb', 'wb') as f:
f.write(output_graph_def.SerializeToString())
# 得到冻结后的model.pb
第二种是针对TensorFlow 2.x的。2.x已经没有了Session概念，需要用tf.compat.v1来模拟1.x的行为：
python复制import tensorflow as tf
# 加载SavedModel
model = tf.saved_model.load('./saved_model_dir')
# 获取推理函数
infer = model.signatures['serving_default']
# 转换为冻结图
from tensorflow.python.framework.convert_to_constants import convert_variables_to_constants_v2
frozen_func = c