ZLMediaKit日志管理与切割优化实践

1. ZLMediaKit日志管理痛点解析

作为一款开源的流媒体服务器框架，ZLMediaKit在长时间运行过程中会产生大量日志文件。默认情况下，所有日志都写入单一文件，随着时间推移会出现几个典型问题：

• 单个日志文件体积膨胀至GB级别，导致文本编辑器无法打开
• 历史日志与当前日志混杂，故障排查时难以定位有效信息
• 磁盘空间被陈旧日志占用，可能影响系统正常运行

我在实际运维中就遇到过因日志爆盘导致服务崩溃的案例：某次线上事故排查时发现，一个运行8个月的ZLMediaKit实例产生了47GB的日志文件，直接占满了系统盘。这促使我研究出一套完整的日志管理方案。

2. 日志按日期切割实现方案

2.1 基于logrotate的切割配置

logrotate是Linux系统自带的日志轮转工具，通过以下配置可实现每日切割（以Ubuntu为例）：

bash复制# /etc/logrotate.d/zlmediakit
/var/log/zlmediakit/*.log {
    daily
    missingok
    rotate 30
    compress
    delaycompress
    notifempty
    create 644 root root
    sharedscripts
    postrotate
        /usr/bin/killall -HUP zlmediakit >/dev/null 2>&1 || true
    endscript
}

关键参数说明：

• daily：按天切割（可选weekly/monthly）
• rotate 30：保留最近30个归档文件
• compress：使用gzip压缩历史日志
• create：新建日志文件的权限设置
• postrotate：通知进程重新打开日志文件

注意：ZLMediaKit需要捕获SIGHUP信号实现日志文件重开，需确认代码中已处理该信号

2.2 Windows系统下的替代方案

对于Windows环境，可采用以下PowerShell脚本实现类似功能：

powershell复制# DailyLogRotate.ps1
$logPath = "C:\ZLMediaKit\logs"
$archivePath = "$logPath\archive"
Get-ChildItem "$logPath\*.log" | Where-Object {
    $_.LastWriteTime -lt (Get-Date).AddDays(-1)
} | ForEach-Object {
    $dest = "$archivePath\$($_.Name)_$(Get-Date -Format 'yyyyMMdd').log"
    Move-Item $_.FullName $dest
    Compress-Archive -Path $dest -DestinationPath "$dest.zip"
    Remove-Item $dest
}

可将该脚本加入计划任务，设置为每日0点执行。

3. 自动清理机制深度优化

3.1 基于文件大小的清理策略

除了按时间保留日志外，还可增加文件大小判断：

bash复制# 在logrotate配置中增加以下参数
maxsize 100M
size 50M

这表示：

• 当日志文件超过100MB时立即触发切割
• 小于50MB的日志即使到达轮转时间也不处理

3.2 混合清理策略实现

结合文件大小和时间维度，可用find命令实现更灵活的清理：

bash复制# 删除超过30天或总大小超过10GB的日志
find /var/log/zlmediakit/ -name "*.log.*" \( -mtime +30 -o -size +10G \) -exec rm {} \;

4. ZLMediaKit日志模块定制

4.1 修改日志初始化代码

在main.cpp中修改日志初始化逻辑：

cpp复制// 设置日志分割大小为100MB
Logger::Instance().setFileSize(100);
// 保留最近7个日志文件
Logger::Instance().setFileCount(7);
// 启用按日期子目录存储
Logger::Instance().setFileDir("/var/log/zlmediakit/$(year)/$(month)/$(day)");

4.2 信号处理增强

确保正确处理SIGHUP信号：

cpp复制signal(SIGHUP, [](int){
    Logger::Instance().reopen();
});

5. 生产环境部署建议

5.1 监控指标设置

建议监控以下关键指标：

• 日志目录磁盘使用率（建议阈值85%）
• 单个日志文件大小（建议报警阈值500MB）
• 日志切割失败次数

5.2 性能优化技巧

• 使用异步日志写入（ZLMediaKit默认支持）
• 避免DEBUG级别日志长期开启
• 对高频日志输出增加速率限制

cpp复制// 示例：限制每秒最多输出10条相同日志
Logger::Instance().addLogRateLimit("frame dropped", 10, 1000);

6. 异常情况处理实录

6.1 常见问题排查

问题1：日志切割后服务不再记录新日志

• 检查进程是否处理了SIGHUP信号
• 确认新日志文件权限正确

问题2：磁盘空间未释放

• 检查是否有进程仍持有旧日志文件句柄
• 使用lsof | grep deleted查找异常进程

问题3：日志切割耗时过长

• 考虑改用并行压缩：compresscmd /usr/bin/pigz
• 调整压缩级别：compressoptions -3

6.2 性能影响测试

在4核8G的测试服务器上对比不同方案：

实测建议：对性能敏感场景推荐使用zstd压缩或内置轮转方案