第一次把 YOLO 检测服务塞进 Spring Boot 单体应用的时候,我以为这只是“引入一个模型库”的事:图片上传、目标检测、结果落库,三个接口就能串起来。直到生产环境并发从几个涨到几十,Tomcat 线程被检测请求打满、JVM 频繁触发 Full GC、甚至偶尔报出 OutOfMemoryError: insufficient memory,我才反应过来:AI 推理和普通业务接口在资源模型上完全是两种东西,硬塞在同一个进程里,早晚要出事。这篇内容想用一个完整的改造案例,聊聊如何用 Java + Spring Boot 把 YOLO 检测从单体重构为可横向扩展的微服务架构,核心链路包括服务拆分、异步任务队列、分布式锁、状态补偿和推理服务独立部署。全程不回避踩过的坑,也不只给结论,尽量把为什么这样做的理由说透,适合正在做目标检测服务化、或者准备把 AI 推理往微服务方向迁移的同学参考。
1. 单机单体的困境:YOLO 检测在 Spring Boot 单体里的连锁反应
1.1 一个真实场景:从能跑到不敢扩
最早一版功能很简单:用户上传一张图,Spring Boot 的 UploadController 接收 MultipartFile,转成 Mat/byte[],调用封装好的 YOLO 检测器,拿到检测框后保存 MySQL 并返回前端。单机部署,模型用 ONNX Runtime 加载,YOLOv8s 的检测耗时大约 300 到 500 毫秒,加上图像解码和缩放,长尾能到 800 毫秒。这个表现初期完全够用,日均几百张图,Tomcat 默认 200 个线程绰绰有余。问题出在流量涨起来之后:一次营销活动让图片检测量翻了二十倍,检测接口的 TP99 从 900 毫秒拉到 6 秒,紧接着用户模块、订单模块全部跟着变慢,最后整台服务器的 Tomcat 线程池被打满,连环雪崩。
这种场景里最典型的连锁反应是什么?当一个请求线程检测等待时,它占住的不仅是自己的超时时间,还有整个容器处理其他请求的能力。Tomcat 线程池不是无限大,200 个线程里如果 150 个在等推理结果,剩下 50 个要扛住所有登录、查询、下单流量,业务系统的响应自然全线恶化。更麻烦的是,Spring Boot 默认同步模型和 YOLO 推理的耗时节奏完全不匹配,业务接口要求毫秒级
