告别纯CPU推理:手把手教你将YOLOv5模型部署到RK3588 NPU上跑起来
边缘计算正成为AI落地的关键战场。当算法工程师们费尽心思优化出一个高精度模型后,下一个头疼的问题往往是:如何让这个模型在资源受限的设备上高效运行?RK3588芯片内置的6TOPS算力NPU为这个问题提供了优雅的解决方案。本文将带你完整走通从PyTorch模型到NPU推理的全流程,体验边缘AI部署的真实速度。
1. 环境准备:构建模型转换工作流
在开始模型转换前,需要搭建一个稳定的工具链环境。不同于常规的Python开发环境,NPU模型转换对依赖版本有着近乎苛刻的要求。
1.1 开发主机配置建议
推荐使用x86架构的Ubuntu 20.04 LTS系统作为开发主机,配置要求如下:
-
基础配置:
- CPU:4核及以上(Intel i5/i7或AMD同级)
- 内存:16GB及以上
- 存储:50GB可用空间
-
关键软件栈:
bash复制# 检查Python版本 python3 --version # 需要3.6-3.8 pip3 --version # 安装基础编译工具 sudo apt-get install build-essential cmake git
注意:避免使用Windows Subsystem for Linux(WSL),某些USB设备驱动可能存在兼容性问题。
1.2 RKNN-Toolkit2精准安装
RKNN-Toolkit2是模型转换的核心工具,其安装需要特定版本的依赖:
bash复制# 创建独立虚拟环境(推荐)
python3 -m venv rknn_env
source rknn_env/bin/activate
# 安装指定版本依赖
pip3 install numpy==1.16.6 onnx==1.7.0
pip3 install torch==1.6.0 torchvision==0.7.0
pip3 install opencv-python==4.4.0.46
# 安装RKNN-Toolkit2 wheel包
pip3 install rknn_toolkit2-1.3.0*.whl
验证安装是否
