1. ONNXRuntime执行提供程序实战指南
第一次接触ONNXRuntime时,我也被它的执行提供程序(Execution Provider)配置搞得一头雾水。明明模型在PyTorch里跑得好好的,转到ONNX后却总是占满GPU显存。经过多次实践才发现,问题的关键就在于如何正确配置执行提供程序。
ONNXRuntime支持多种执行提供程序,最常见的是CPUExecutionProvider和CUDAExecutionProvider。这里有个常见误区:很多人以为安装了onnxruntime-gpu包就只能用GPU运行。实际上,通过providers参数可以自由选择计算设备。我推荐这样初始化会话:
python复制import onnxruntime as rt
# 显式指定使用CPU
sess_cpu = rt.InferenceSession("model.onnx",
providers=['CPUExecutionProvider'])
# 优先使用GPU,失败时自动回退到CPU
sess_auto = rt.InferenceSession("model.onnx",
providers=['CUDAExecutionProvider',
'CPUExecutionProvider'])
版本兼容性是个大坑。在onnxruntime-gpu 1.10之前,即使指定CPUExecutionProvider也可能偷偷占用GPU资源。我建议直接安装最新稳定版:
bash复制pip install onnxruntime-gpu==1.15.1 # 当前推荐版本
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 动态输入输出改造实战
实际项目中,固定尺寸的模型就像不合脚的鞋子——总有不舒服的时候。比如处理图像时,输入尺寸可能从224x224到1024x1024不等。这时候就需要动态维度改造。
改造方法比想象中简单,主要修改dim_param属性。以常见的NCHW格式为例:
python复制import onnx
mode
