1. 环境准备与工具链搭建
第一次用TensorRT部署YOLOv5时,我花了整整两天时间在环境配置上。现在回想起来,其实只要抓住几个关键点就能避开大部分坑。首先需要确认你的开发环境满足以下条件:
- NVIDIA显卡(建议RTX 20系列以上)
- CUDA Toolkit 11.x(与TensorRT版本严格对应)
- cuDNN 8.2.4以上
- OpenCV 4.5+(用于图像预处理)
安装TensorRT时最容易出问题的是版本匹配。比如我最近在RTX 3090上实测可用的组合是:CUDA 11.4 + cuDNN 8.2.4 + TensorRT 8.4.1.5。你可以通过以下命令验证基础环境:
bash复制nvcc --version # 查看CUDA版本
nvidia-smi # 查看驱动版本
在VS2019中创建C++项目后,需要配置三个关键路径:
- 包含目录:添加TensorRT、CUDA和OpenCV的头文件路径
- 库目录:指定对应的lib文件位置
- 附加依赖项:填入必须的.lib文件名
这里有个实用技巧:先用CMake生成示例项目,查看其链接配置。比如TensorRT安装包中的samples/sampleMNIST/CMakeLists.txt就包含了完整的依赖项列表。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 模型转换实战技巧
2.1 ONNX导出注意事项
YOLOv5官方仓库的export.py脚本可以直接导出ONNX模型,但有几个隐藏参数很关键:
python复制python export.py --weights yolov5s.pt --include onnx --dynamic --simplify
--dynamic参数允许输入尺寸动态变化,这在工程部署中非常实用。不过要注意,TensorRT对动态尺寸的支持需要显式声明。我在转换时通常会固定batch维度:
cpp复制const auto explicitBatch = 1U << static_cast<uint32_t>(nvinfer1::NetworkDefinitionCreationFlag::kEXPLICIT_BATCH);
nvinfer1::INetworkDefin
