新90观1. YOLOv5模型INT8量化实战指南
最近在部署YOLOv5模型时，我发现INT8量化真是个好东西。它能显著减小模型体积，提升推理速度，特别适合边缘设备部署。不过实际操作起来，从ONNX到TensorRT INT8引擎的转换过程并不像想象中那么顺利。下面我就把整个实践过程，包括遇到的坑和解决方案，完整分享给大家。
先说说为什么要做INT8量化。简单来说，就是把模型参数从32位浮点（FP32）压缩到8位整数（INT8）。这样做的好处显而易见：模型体积能缩小4倍，推理速度也能提升2-3倍。但代价是精度会有轻微下降，不过在很多实际应用中，这点精度损失完全在可接受范围内。
我这次使用的环境是：
- Ubuntu 20.04
- CUDA 11.3
- TensorRT 8.2
- PyTorch 1.10
- YOLOv5 v6.1版本
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 准备工作与环境搭建
2.1 模型导出为ONNX格式
首先需要把训练好的YOLOv5模型导出为ONNX格式。这里有个小技巧，导出时建议加上dynamic参数，这样生成的ONNX模型可以支持动态batch size：
python复制python export.py --weights yolov5s.pt --include onnx --dynamic
导出时可能会遇到一些警告，只要不是错误就可以忽略。特别注意要记下模型的输入尺寸，后续量化时会用到。我这次用的是640x640的输入尺寸。
2.2 安装必要的依赖
除了常规的PyTorch和TensorRT外，还需要安装一些辅助工具：
bash复制pip install nvidia-pyindex
pip install tensorrt
pip install pycuda
这里最容易出问题的就是版本兼容性。我强烈建议使用官方推荐的版本组合，否则后面可能会遇到各种奇怪的错误。
3. INT8量化实现过程
3.1 校准数据集准备
INT8量化的核心是校准(calibration)过程，需要准备一个有代表性的数据集。这个数据集不需要标注，但应该覆盖实际应用中的各种场景。
我创建了一个简单的DataLoader类来处理校准图像：
python复制class CalibrationD