1. 项目背景与核心需求
在音视频处理领域，RTSP/RTMP协议作为主流的流媒体传输方案，广泛应用于安防监控、直播推流等场景。Windows平台下的播放器开发不仅要实现基础的流媒体播放功能，往往还需要处理RGB数据回调、动态水印叠加和二次推流等进阶需求。这类技术组合在智能视频分析、内容版权保护等场景中具有重要价值。
从实际工程角度看，一个完整的解决方案需要解决以下几个核心问题：
- 如何高效解码RTSP/RTMP流并获取RGB格式的帧数据
- 动态水印的实现方式及其性能影响
- 二次编码推流时的参数配置与同步机制
- Windows平台特有的线程调度和内存管理问题
2. 技术架构设计与选型
2.1 基础框架选择
基于Windows平台的特性，推荐采用FFmpeg+SDL的组合方案：
cpp复制// FFmpeg初始化示例
AVFormatContext* pFormatCtx = avformat_alloc_context();
avformat_open_input(&pFormatCtx, input_url, NULL, NULL);
avformat_find_stream_info(pFormatCtx, NULL);
FFmpeg负责流媒体协议解析、解码等底层操作，SDL则处理窗口创建和渲染。这种组合的优势在于：
- FFmpeg对RTSP/RTMP协议支持完善
- 跨平台兼容性好
- 社区资源丰富，遇到问题容易找到解决方案
2.2 RGB数据回调实现
获取RGB数据是后续处理的基础，关键步骤包括：
- 解码后格式转换：
cpp复制SwsContext* sws_ctx = sws_getContext(
codec_ctx->width, codec_ctx->height, codec_ctx->pix_fmt,
dst_width, dst_height, AV_PIX_FMT_RGB24,
SWS_BILINEAR, NULL, NULL, NULL);
- 回调接口设计：
cpp复制typedef void(*FrameCallback)(uint8_t* data, int width, int height, int64_t pts);
void setFrameCallback(FrameCallback cb);
注意：RGB数据内存管理要特别小心，建议使用引用计数或内存池来避免频繁分配释放导致的性能问题。
3. 动态水印技术实现
3.1 水印叠加方案对比
| 方案类型 | CPU占用 | 效果质量 | 实现复杂度 |
|---|---|---|---|
| FFmpeg滤镜 | 中 | 高 | 低 |
| OpenCV叠加 | 高 | 中 | 中 |
| 硬件加速 | 低 | 高 | 高 |
3.2 FFmpeg滤镜实现细节
动态水印可以通过FFmpeg的drawtext滤镜实现：
bash复制filter_complex="drawtext=text='%{localtime}':fontfile=arial.ttf:fontsize=24:fontcolor=white@0.5:x=10:y=10"
对于需要动态变化的水印（如时间戳），需要每帧更新text参数。实测发现，在1080p视频上处理一帧约消耗0.8ms（i7-10700K）。
4. 二次推流与录像技术
4.1 推流参数优化
二次推流时关键编码参数建议：
- 关键帧间隔：2秒
- 码率控制：CRF模式（建议值23）
- 预设：medium
- 线程数：根据CPU核心数动态调整
cpp复制AVDictionary* opts = NULL;
av_dict_set(&opts, "preset", "medium", 0);
av_dict_set(&opts, "crf", "23", 0);
av_dict_set(&opts, "g", "60", 0);
4.2 时间同步处理
多路流同步是个易错点，推荐采用以下方案：
- 以音频PTS为主时钟
- 视频帧根据音频时钟做动态丢帧
- 缓冲区大小设置为500ms
5. Windows平台特有优化
5.1 高性能定时器
使用Windows多媒体定时器可获得更精确的帧控制：
cpp复制TIMECAPS tc;
timeGetDevCaps(&tc, sizeof(TIMECAPS));
timeBeginPeriod(tc.wPeriodMin);
5.2 内存管理技巧
针对大尺寸视频帧处理：
- 使用_aligned_malloc分配内存，避免缓存行冲突
- 对频繁访问的内存区域调用PrefetchVirtualMemory
- 禁用内存页面交换：VirtualLock
6. 实测性能数据与优化建议
在i7-10700K平台上的性能表现（1080p30视频）：
| 操作 | 原始方案 | 优化后 | 优化手段 |
|---|---|---|---|
| 解码 | 8ms | 5ms | 启用硬件加速 |
| RGB转换 | 6ms | 3ms | SIMD优化 |
| 水印叠加 | 4ms | 1ms | 缓存水印图像 |
| 编码 | 12ms | 7ms | 调整线程参数 |
几个关键优化点：
- 启用DXVA2硬件解码：
cpp复制av_dict_set(&opts, "hwaccel", "dxva2", 0);
- 使用SSE优化RGB转换：
cpp复制// 使用_mm_load_ps等指令集函数
- 水印预渲染：提前渲染好透明通道的水印，避免每帧重新生成
7. 常见问题排查指南
7.1 流中断问题
现象：播放一段时间后卡住
排查步骤：
- 检查网络丢包率（Wireshark）
- 验证TCP_NODELAY是否设置
- 增加AVFormatContext的probesize和max_analyze_duration
7.2 内存泄漏定位
使用UMDH工具记录内存分配：
- 设置环境变量：set _NT_SYMBOL_PATH=srv*
- 创建基线日志：umdh -pn:player.exe -f:base.log
- 对比日志：umdh base.log new.log -f:diff.txt
7.3 音画不同步处理
典型原因及解决方案：
- 时间基不一致：统一使用AV_TIME_BASE_Q
- 解码延迟：启用异步解码
- 渲染时机不准：使用Audio Clock作为主时钟
8. 工程实践建议
- 日志系统要包含的关键信息：
- 每帧的PTS/DTS时间戳
- 缓冲区填充状态
- 关键操作耗时统计
- 配置管理推荐方案：
ini复制[stream]
url = rtsp://example.com/stream
timeout = 5000
[watermark]
text = Copyright %Y
position = 10:10
opacity = 0.5
- 线程模型设计要点：
- 单独线程处理网络IO
- 解码线程与渲染线程分离
- 使用Windows线程池（SubmitThreadpoolWork）
在多个安防监控项目中实践发现，动态水印的字体渲染是个容易被忽视的性能瓶颈。当使用中文等复杂字体时，建议预先把常用字符渲染到位图缓存。另外，二次推流时如果目标服务器距离较远，适当调大TCP发送缓冲区能显著改善流畅度：
cpp复制int buf_size = 1024 * 1024;
setsockopt(socket_fd, SOL_SOCKET, SO_SNDBUF, (char*)&buf_size, sizeof(int));