用TSM训练自定义动作识别模型：从视频剪辑到模型部署的完整避坑指南

当监控摄像头捕捉到老人跌倒的瞬间，健身应用自动识别用户深蹲动作是否标准，工业质检系统发现流水线工人违规操作——这些场景的核心技术都依赖于视频动作识别。而Temporal Shift Module（TSM）凭借其接近3D-CNN的精度和2D-CNN的计算效率，成为资源受限场景下的理想选择。本文将带您跨越从原始视频到可部署模型的完整技术闭环，特别针对非标准化数据（如手机拍摄片段、监控录像）的处理难题，分享一套经过实战验证的工程化解决方案。

1. 非标准视频数据的预处理实战

1.1 脏数据清洗的七个关键步骤

医疗监控场景中常见的低光照视频，健身APP用户上传的竖屏短片，工厂环境下的多角度监控——这些非标准数据往往包含以下典型问题：

• 时间轴错乱：监控视频中的时间戳跳跃
• 分辨率混杂：同一批数据中存在1080p与720p混合
• 无效片段：动作开始前的长时间静止画面

处理这类数据时，推荐使用以下清洗流程：

python复制# 使用OpenCV检测无效片段
import cv2
def detect_static_frames(video_path, threshold=0.1):
    cap = cv2.VideoCapture(video_path)
    prev_frame = None
    static_segments = []
    
    while cap.isOpened():
        ret, frame = cap.read()
        if not ret: break
        
        if prev_frame is not None:
            diff = cv2.absdiff(frame, prev_frame)
            if np.mean(diff) < threshold:
                # 标记为静态帧
                static_segments.append(cap.get(cv2.CAP_PROP_POS_MSEC))
        prev_frame = frame