刚接手这个项目的时候,我其实没觉得“识别工人有没有戴安全帽和穿反光衣”是多难的事情。深度学习发展到现在,目标检测框架满地跑,随便拉一个开源模型都能在demo视频里框得漂漂亮亮的。直到我们在真实的铁路施工沿线把算法跑起来,才发现一个朴素的道理:城里跑通的模型,到了工地不一定顶用。这篇内容分享一下我从需求分析、数据采集、模型训练到现场部署的全过程,重点讲讲那些在文档里不会写的坑,以及为什么最终这个系统能真正替安全员分担掉一部分盯防压力。
项目背景很简单:某在建铁路项目需要覆盖沿线多个施工点,对工人是否佩戴头部防护装备(安全帽)和反光背心做实时监测。传统做法是安全员现场巡检加人工盯监控,但人眼盯久了容易疲劳,多画面轮巡也经常会漏掉短暂的不佩戴行为。我们就想用图像识别技术,把这项工作从“人盯屏”变成“算法盯屏”,检测到异常立即告警,让安全员只处理算法筛出来的可疑画面。
1. 铁路施工防护监测为什么必须上算法:先算清三笔账
1.1 人眼盯防的两个死穴
铁路施工项目跟普通房建工地有个明显区别:作业面是线性延展的,一个标段动辄几公里,安全员不可能同时出现在所有作业面。现场最常见的管理方式是每个工点配一名安全员,同时监控室内还有值班人员轮巡几十路摄像头画面。这条链路看起来完整,实际运行起来有两个绕不开的问题。
第一个问题是注意力衰减。人的注意力在长时间盯屏时下降非常快,我见过的值班人员需要在半小时内循环切完几十路画面,每路画面停留不到十秒钟。这个过程中,某个工人短暂摘下安全帽擦汗、或者反光背心没拉好,是极难被捕捉的。有时候工人背对摄像头,安全帽戴没戴看不清,值班人员也只能放过。
第二个问题是标准不一致。同样一张画面,A安全员觉得“这是没戴”,B安全员可能觉得“只是角度问题”。尤其傍晚光线差的时候,判断标准更加模糊。我们曾经拿一批历史监控截图让不同班组的安全员分别判断,结果一致率只有七成左右。人眼判断本身没错,但管理上需要的是一个统一的、可复现的判定标准。
1.2 传统视频监控的逻辑缺陷
大多数铁路施工现场在接入智能识别之前,已经部署了完整的视频监控系统。但传统监控系统的逻辑是“记录+事后查证”,它不负责“实时判定”。画面存在硬盘里,除非出了安全事故回头翻查,否则它不会主动告诉你“此刻第九个摄像头画面里有一个人没戴安全帽”。
这种事后追溯的模式有两个问题。第一,它无法阻止风险,只能在事故发生后提供证据;第二,事后翻查录像需要投入大量人力,时间成本高。说白了,传统监控是一支笔,它只负责记录发生了什么,而智能识别系统才是一个哨兵,它要在风险发生的同时发出报告。
1.3 项目立项时定的三个硬指标
这个项目刚立项的时候,需求方给了我们三个硬性指标,我到现在还记得很清楚:
- 识别范围:头部防护装备(安全帽)和反光背心,两个类别同时识别。
- 告警时效:从画面中出现违规行为到推送告警,延迟要控制在3秒以内。
- 漏报容忍度:在正常天气条件下,安全帽未佩戴的漏报率必须低于5%。
这三个指标听起来并不激进,但结合在一起就有点麻烦。特别是“低延迟+低漏报”的组合,直接决定了模型架构不能太重,推理链路不能做太复杂的后处理。后面整个方案设计,包括硬件选型、模型大小、告警延时策略,全都是围绕这三个指标在做取舍。
我也必须说实话:在实际部署中,漏报率5%的目标在夜间和雨雾天气几乎不可能达到,这个我们后面再细说。但至少项目组有了一个可以量化的目标,模型迭代时也有了对比基准。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 识别对象拆解与硬件部署选型:先让算法知道看什么
2.1 头盔和反光衣为什么没做成两个独立模型
作为技术人员,我一开始的第一反应是把“安全帽检测”和“反光衣检测”拆成两个独立模型。理由很直接:安全帽是刚性物体,形状固定;反光衣是柔性物体,穿着后会有褶皱和形变,两类目标在特征层面差异很大,分开做精度可能更高。
但实际设计模型结构的时候,我推翻了这个方案。原因有三个。第一,边缘设备的算力是固定的,跑两个模型意味着每路视频流的耗时翻倍,实时性指标会变得很紧张。第二,安全帽和反光衣在图像中的位置高度相关,一个正常着装工人身上必然同时出现两个目标,共用特征提取器反而可以利用这种共生关系。第三,推理阶段如果两个模型各自输出框,还需要额外做目标的匹配和对齐,坐标稍微错一点就会出现“同一个工人头盔检测到了、反光衣却没检测到”这种尴尬结果。
最终方案做成了一个单模型双类别目标检测器,输入一张监控画面,输出三类结果:人、安全帽、反光衣。之所以保留“人”这个类别,不是为了凑数,而是为了后续做逻辑判断。比如模型检测到人,却没有在对应位置检测到安全帽,那这就是一个未佩戴的候选告警;如果系统在某个区域同时检测到多个安全帽但没有人的检测框,那也可能是检测异常或场景干扰,需要在后处理阶段处理。
2.2 摄像头与算力平台的选型账
这一步直接决定了算法能不能稳定地从现场画面里“看清”目标。我们在选型阶段跑了好几个工点实地测试,最终选型的逻辑可以总结成一张表:
| 环节 | 核心考量 | 我们采用的方案 |
|---|---|---|
| 摄像头分辨率 | 200万像素够不够看清人脸和头盔细节 | 使用400万像素网络球机,长焦端覆盖远距离作业面 |
| 安装位置 | 覆盖出入口、轨行区、材料堆放区 | 出入口用枪机,沿线用带预置位的球机 |
| 补光方式 | 夜间LED白光容易造成光污染,也影响工人 | 采用红外补光,夜间切黑白画面 |
| 算力平台 | 边缘GPU盒还是集中式服务器 | 采用边缘GPU盒子,每4路视频流分配一台,就近部署 |
关于算力平台多说一点。我们最早尝试过把所有视频流集中到一台GPU服务器统一推理,看起来方案很“整齐”,但实际跑了一段时间后发现两个问题:一是现场到机房的带宽有限,多路1080P视频流同时传输经常出现卡顿;二是只要机房网络抖动,所有点位全部瘫痪,风险太集中。后来改成边缘盒子就近部署,每个盒子只管自己附近的几路画面,断网了也只是局部告警受影响,整体可靠性明显上升。
2.3 部署点位的覆盖设计
点位怎么布,比想象中更重要。算法识别精度再高,如果摄像头角度不对,也只能干瞪眼。我们参考现场安全员巡查的习惯,把覆盖区域分成了三类:出入口、作业面和轨道沿线。
出入口是重点区域,工人进场和出场必经,摄像头正对通道安装,容易拍到正面和侧面的清晰目标。作业面覆盖吊装区、模板安装区、钢筋绑扎区,摄像头高度建议在6到8米,俯视角度约30到45度。这个角度能最大程度避免遮挡,同时能拍清头顶和身体正面。轨道沿线则是长距离覆盖,使用球机的预置位巡航,一个工点配置多套预置位轮流巡视,每个预置位停留15到20秒。
点位安装中最容易被忽略的一个细节是:镜头进灰和雨水残留。户外摄像头运行两周后镜头表面会沉积灰尘,夜间配合红外补光时画面会雾蒙蒙一片,识别率直线下降。我们专门在运维流程里加了镜片清洁周期,每两周人工清洁一次,这是花钱最少但效果最明显的运维动作。
3. 数据集构建:决定模型上限的不是网络结构而是数据
3.1 现场数据远比公开数据集重要
很多做深度学习项目的人习惯先找公开数据集,比如通用的安全帽数据集,直接拿来训练。这种数据集作为模型预热的起点没问题,但直接用来做铁路场景部署,效果会很差。
原因在于工地现场的视觉干扰太复杂了。铁路工地常见的场景包括:人员在钢轨、道砟、接触网立柱、脚手架之间穿行,画面里有各种工具车、材料堆、机械臂;不同工种的帽子颜色不同(普通安全帽、电工帽、管理人员的白色帽);反光衣有的穿在外面,有的被外套遮住一半,有的反光条已经脏得看不出反光效果。这些场景细节,公开数据集里基本都没有。
我们的数据来源主要有三个:一是现场NVR历史录像,按时间分时段抽帧,覆盖白天、傍晚、夜间、雨天各种光照条件;二是专门组织的实拍采集,安排人员穿上不同状态的反光衣和安全帽,在不同点位、不同距离下走位;三是从告警记录和测试视频中后期补充的困难样本。整体算下来,项目用到的有效图像数据接近20万张。
需要提醒的是,现场录像涉及人员隐私,采集和使用前都要走审批流程。我们对图像做的是完全脱敏,不采集人脸特征,边界框标注也只标注到装备和人体轮廓,不标注人脸身份。这是合规底线,不能含糊。
3.2 标注规范:不统一的标注会让模型学歪
有了数据之后,最大的坑出现在标注环节。很多人以为标注就是“框出目标”,实际上标注规范的颗粒度会直接影响模型学到的语义,尤其是“佩戴”和“未佩戴”的边界。
安全帽的标注,我们定义了三种状态:未佩戴、正确佩戴、佩戴但未系下颚带。前两种是安全帽识别里最常见的状态,第三种是实际工地经常出现的情况——工人嫌闷,把帽子扣在头上但不系带子,低头干活时帽子会掉下来。模型对第三种状态的识别难度很大,因为从画面远处看,帽子和头部的位置关系几乎是相同的。最初我们没有单独标注这类样本,导致模型把它归为“正确佩戴”,后来单独增加了一个类别才改善。
反光衣的标注更麻烦。反光衣本质上是带有反光条的背心,它的特征高度依赖光照:白天阳光直射时反光条泛白,傍晚亮度增高,夜晚红外摄像头下是亮银色。我们最终决定标注的语义是“工人上身是否穿着反光衣”,而不是“反光条是否可见”。也就是说,一件穿在深色外套外面的反光衣,只要衣服轮廓可见就需要标注为正样本;如果反光衣完全被厚重外套遮住,则可以标注为未穿着。这样定义之后,标注人员的一致性明显提高了。
3.3 类失衡和困难样本挖掘
铁路施工现场的合规率其实挺高的,大部分工人都正确佩戴了装备,这就导致训练集里“未佩戴”的样本天然稀少。模型会在训练中倾向于预测“佩戴正确”,因为这样它的loss更低。这是目标检测里最经典的类失衡问题。
解决思路分三步。第一步,对“未佩戴”类别在训练中进行过采样,让模型更频繁地看到这批数据。第二步,通过仿真合成扩充困难样本,把戴头盔的人像贴到无头盔的场景上、或者把反光衣区域人为涂黑制造“未穿着”的假象。第三步是在模型初版上线后,每天把告警系统的输出人工过一遍,把真实的未佩戴误检、漏检样本挑出来,补充到下一轮训练集里。这个流程我们称为“数据回灌”,是模型精度持续提升的关键手段。
4. 模型训练与调优:选型、超参与评估指标
4.1 模型选型:为什么选YOLO系而不是更重的检测器
目标检测领域的模型选择非常多,Faster R-CNN为代表的两阶段检测器精度高,但推理速度慢;SSD和RetinaNet是单阶段的早期代表,速度和精度比较均衡;YOLO系列则是目前工程落地最广泛的选择。我们这个场景需要同时满足实时性和精度,最终把范围缩小到了YOLOv5和YOLOv8之间。
实测下来,YOLOv8s在同样输入分辨率下mAP50比YOLOv5s高1到2个百分点,而推理耗时只增加约15%,这是可以接受的。我们最终选定了YOLOv8s作为基础模型。当然,模型的选择不是越新越好,YOLOv8发布时我们在现场测试过多轮,整体稳定;如果项目在更早的时间启动,我也会考虑YOLOv5s,因为社区成熟、算子优化多、部署资料全。选型的关键永远是“当前团队能维护、能快速排错”的方案,而不是榜单上最高分的方案。
4.2 训练参数与数据增强细节
训练细节方面,我把核心参数列出来供参考:
- 输入分辨率:1280x1280。实际监控画面中工人目标较小,640分辨率下头盔和反光衣的特征细节丢失严重,放大到1280后小目标检测效果明显改善。
- 优化器:SGD,初始学习率0.01,配合余弦退火策略。有人习惯用Adam或AdamW,我在这个项目上对比过,SGD在长时间训练后的收敛稳定性更好。
- 训练轮数:300轮。模型在第180轮到第220轮之间有一个明显的mAP爬升窗口,这是难例被逐渐学懂的阶段。
- 数据增强:Mosaic(拼接四张图)、MixUp、随机仿射变换、HSV颜色扰动。尤其要提一下HSV扰动,工地画面在不同时段会有明显色温变化,增强颜色扰动可以让模型更好地适应早中晚的光照差异。
训练中我们还做了一件很实用的事:把白天和夜间的图像分开做验证集。因为同一模型在白天的mAP可能很高,夜间的精度却掉得很快。如果不分开评估,只看整体mAP,很容易掩盖夜间差的问题。分开评估之后,我们专门针对夜间样本做了亮度增强、直方图均衡等预处理,再回灌训练,夜间的recall才慢慢提上来。
4.3 评估指标:mAP之外更看重什么
目标检测论文里大家最常提的是mAP@0.5和mAP@0.5:0.95,这两个指标对学术比较有意义,但在实际安全管理场景里,我更关注的是另外两个指标:漏报率和误报率。
漏报率对应的是recall,指的是所有真实未佩戴样本中有多少被漏掉了。安全帽未佩戴如果漏掉了,就意味着风险没有被感知,这是最不能接受的。误报率对应的是precision,指的是算法报告“未佩戴”但实际是正常情况的次数。误报太多会引起告警疲劳,安全员看多了狼来了之后会把告警当成噪声,系统的价值就废掉了。
我们最终采用的评估方式是:从现场采集一批有标注的真实监控片段,模拟在线推理流程,统计漏报率和误报率。测试结果中,白天场景安全帽漏报率大约3.8%,反光衣漏报率稍高一点,大约5.2%;夜间场景漏报率会上升到10%以上。这个结果说实话离需求方最初定的5%有差距,但我们把真实的夜间数据摆出来后,大家对“夜间存在天然物理限制”这件事达成了共识。模型再强,也不能从一张完全看不清的黑色画面里读出头盔轮廓。
5. 现场部署中最容易翻车的六个场景与对策
5.1 夜间与雨雾天气的可见性断崖
夜间是这类监测系统最头疼的场景。反光衣在红外补光下会有亮银色反光,模型识别反光衣相对容易;但安全帽在黑白红外画面中就是一个灰色半圆,轮廓信息大量丢失,和没有装备的头部在灰度上非常接近。
雨雾天气更麻烦,雨滴会形成大量动态噪点,雾会让画面整体发白,对比度降低。我们在一个雨夜做过统计,同一路画面在晴天的检出率约94%,小雨天降到80%,中雨天大概只有65%。这组数据告诉我们一个残酷的现实:算法在恶劣天气下是必然衰减的,我们能做的是把衰减控制在可接受范围内。
对策有三个方向。第一,摄像头端启用宽动态和3D降噪,夜间启动低照度模式,尽量给算法输入更干净的图像。第二,在训练数据里加入模拟雨雾和低照度的增强样本,让模型见过“模糊的世界”。第三,在告警策略上对恶劣天气场景适当降低灵敏度,宁可少报,也要保证报出来的都是确凿问题。
5.2 逆光与阴影:出入口的天然陷阱
出入口是我们最重视的监测点位,但也是逆光最严重的点位。晴天上午,工人从出口往外走,阳光从工人背后直射镜头,整个画面里背光面完全是暗的,头盔和人体轮廓糊成一团。模型在这个角度下检测率会骤降三成以上。
后来我们换了个思路:不在正对阳光的方向安装,而是利用建筑物和围挡遮挡直射光,让摄像头尽量侧对或顺光安装。同时打开摄像头的背光补偿功能,让暗部细节亮起来。还有一个实操技巧是在训练集里加入大量强逆光样本,模型在见过类似的灰度分布之后,至少能记住“这个位置有一个人的头”,虽然细节缺失,但尚可判断是否戴了帽子。
5.3 人群密集遮挡与轨道车干扰
铁路工地常有十几个人同时在钢筋网架间作业,人体相互遮挡很严重。更麻烦的是,工人蹲下绑扎钢筋时,头盔会被后背和机械遮挡大半;轨道车通过时,车辆的金属部件和工人身体高度相似,模型很容易把车体误检为人体。
我试过用“先检测人、再检测装备”的两阶段方案来缓解,也就是先跑一个person检测器,再在人体框内找头盔和反光衣。这个方案在密集场景下其实更慢,而且一旦人体检测漏掉一处,装备检测也同步失效。最终我们还是坚持了单阶段直接检测装备,配合DeepSORT之类的跟踪逻辑:一个目标连续多帧存在且装备始终未检测到,才触发射击判定。这样虽然单帧漏检时有发生,但多帧聚合后告警的稳定性明显提升。
5.4 视频流断流与解码丢帧
算法本身没问题时,部署现场也还有一个隐藏杀手:视频流稳定性。铁路沿线的网络条件并不好,NVR的RTSP流经常因为带宽波动出现断流、花屏、丢帧。模型在丢帧期间拿不到有效数据,会自动跳过;但流恢复的时候,如果推理线程没有处理好缓冲队列,就会出现帧积压,告警延迟瞬间飙升到几十秒,直接拉垮系统体验。
我们的解决方案是给视频流接入层加了一个“感心斗”式的处理逻辑:每路流维护一个滑动窗口缓存,只取最近一帧进行推理,超过缓存上限的旧帧直接丢弃。同时在断流时记录断流时段,等流恢复后主动补齐一次全量检测,避免因为断流漏掉风险时段。
5.5 反光衣反光条过曝:高光反而害了检测器
反光衣的功能是反光,加上反光条后,在阳光直射或者车灯照射下,反光条区域的亮度会超过摄像头的动态范围,形成一片纯白区域。按理说,高亮区域应该是反光衣的强特征,但过曝之后纹理完全丢失,检测框会缩到高光区域而不是覆盖整件衣服,导致和人体位置的匹配错位。
这个问题的处理分两步。第一步是在图像预处理阶段对高光区域做亮度钳制,把超过阈值的像素压回合理区间,保留一部分纹理。第二步是在训练数据里加入大量“反光衣被强光打透”的样本,让模型明白:即使反光条区域是纯白的,那一片区域仍然属于反光衣的一部分。经过这两步,过曝场景的检测稳定性好了不少。
5.6 误报与告警风暴:别让安全员关掉系统
上线初期最尴尬的一件事是,告警系统在早高峰时段疯狂报警,因为很多工人进场时反光衣还没来得及穿好,坐在休息区换衣服、喝水、抽烟的场景全被算法识别为“未穿戴”。安全员的手机上几分钟就弹一条告警,最后直接把通知静音了。系统上线第一周,告警解除率不到三成。
这次教训让我们彻底重构了告警策略。现在告警触发需要同时满足三个条件:目标区域在作业时段内、目标被连续跟踪超过10秒、装备缺失状态持续存在。在休息区、食堂门口这类非作业区域,算法依然在跑,但不会触发告警,只做记录。这样调整之后,告警量下降了约70%,剩下的告警基本都是真正的风险事件。做一个系统,最重要的不是检测能力有多强,而是让使用它的人始终愿意看它报出来的内容。
6. 告警联动与闭环运维:从“会检测”到“会管理”
6.1 告警消息推送到班组长的完整链路
告警系统不能只停留在管理后台的弹窗里,必须主动触达责任人。我们的告警链路是这样的:边缘盒子的检测结果推送到本地告警服务,告警服务做去重和区域过滤后,通过消息推送接口发送到对应班组长和值班安全员的终端上。消息内容包含清晰截图、点位名称、违规类型、发现时间四要素,让接收者一眼就知道“谁在哪干了什么”。
这种主动推送模式的好处是,安全员不用一直盯着大屏,手头有其他工作时也不会漏掉风险。实际运行中,告警消息的到达时间从检测到推送平均在2秒左右,满足项目最初定的3秒指标。我们还做了一条升级策略:同一点位如果10分钟内重复出现同类违规告警超过3次,会自动升级推送给项目安全总监。这个机制让一些习惯性违规行为能被快速掐掉。
6.2 历史数据统计与班组考核闭环
告警数据如果只是“来了看一眼”就结束,价值就浪费了大半。我们在系统里加了按时间、按区域、按班组的统计模块,每天生成一份未佩戴率报表,展示每个班组的违规趋势。管理上可以对连续多日未佩戴率偏高的班组进行约谈或组织培训。
这其实是把算法当成了管理工具的一部分,而不只是技术演示。数据不会说谎,以前安全员嘴上说“今天查得勤,大家都规范”,现在报表一拉,下午三点哪个班组有五次未佩戴,清清楚楚。用数据去驱动管理动作,整个项目的安全氛围都会有明显改善。
6.3 模型的闭环迭代:我习惯用批次编号追踪每个版本
很多同行问模型上线后是不是就一劳永逸了,答案显然不是。工地场景随时间变化很大:新进场工人穿着颜色不同的衣服、新搭建的脚手架改变了画面遮挡情况、季节变化带来不同的光照角度,这些都要求模型持续迭代。
我保留了一个习惯,也是我们项目内部的管理方法:每批现场采集到的数据以及对应的训练版本都用批次编号记录。项目做到现在,这个编号已经排到了10349期。不要小看这个编号习惯,它最大价值在于追溯:当系统突然对某个点位误报激增时,我可以快速定位这个点位的画面变化是哪一期数据引入的,也能快速对比不同版本的模型在该批次数据上的表现差异。每次迭代是否真的有效,都能用历史批次回放验证,而不是拍脑袋说“感觉变好了”。
迭代流程也固定下来了:每两周从告警库和标注池中抽取一批新样本,二次标注后和旧数据合并进行增量训练,评测通过后灰度上线,先跑一路视频观察三个完整工作日,确认无误后再全量推送。这套节奏看起来慢,但稳,适合生产环境。
最后分享一个我在这个项目里体会最深的事:真正难的不是把模型train到high mAP,而是让它在各种烂条件下仍然不犯低级错误。工地现场的灯光、尘土、飞虫、车灯反射,每一样都在考验模型的鲁棒性。但也正因为这些干扰,这个项目才比实验室里跑数据有意思得多。如果你也在做类似的安全生产监测系统,我的建议是:先花一半的时间去把数据和现场搞清楚,再开始调模型,顺序不要反。把数据的窟窿堵住了,模型自然就稳了。
