LLM训练日志监控：llama-factory三种方案实战解析

1. 项目概述

在大模型训练过程中，日志监控是确保训练质量的关键环节。作为一名长期从事LLM微调工作的算法工程师，我发现在实际项目中，很多团队对训练日志的重视程度远远不够。今天我想系统分享一下我在llama-factory项目中积累的三种日志监控方案实战经验。

llama-factory作为当前热门的LLM微调框架，默认提供了基础日志功能，但很多开发者可能不知道，通过合理配置还可以接入SwanLab和TensorBoard这两种更强大的监控工具。这三种方案各有所长：默认日志开箱即用但功能简单，SwanLab提供漂亮的云端看板但需要注册，TensorBoard功能专业但配置复杂。下面我将从实际使用角度，详细解析每种方案的配置细节、使用技巧和避坑指南。

2. 默认训练日志解析与优化

2.1 日志目录结构剖析

llama-factory的默认日志存储在项目根目录下的saves文件夹中，这个设计其实暗藏玄机。以我最近微调的llama-3-8B模型为例，完整的日志路径是这样的：

code复制saves/
└── llama-3-8B-lora/
    ├── adapter_model.safetensors
    ├── running_log.txt
    ├── training_args.json
    ├── training_loss.png
    ├── train_results.json
    └── special_tokens_map.json

这里特别要说明的是目录命名规则：框架会自动用"模型名称+微调方法"的方式创建子目录。比如当你用LoRA方法微调llama-3-8B时，就会生成llama-3-8B-lora这样的目录。这种设计在实际团队协作中非常实用，可以避免不同实验结果的混淆。

经验之谈：建议在训练脚本中显式指定输出目录名，而不是完全依赖自动生成。比如加上时间戳和实验编号：--output_dir saves/llama3-lora-exp12-20240520

2.2 核心日志文件解读

2.2.1 running_log.txt

这个文件记录了训练过程中的所有标准输出，但它的内容远比想象中丰富。除了常规的epoch进度和loss值，还包含以下关键信息：

• 显存使用情况（Allocated/Reserved）
• 梯度裁剪统计（Gradient norm）
• 学习率调整记录
• 数据加载耗时分析

我通常会这样实时监控关键指标：

bash复制tail -f saves/llama-3-8B-lora/running_log.txt | grep -E "loss|gradient|lr"

2.2.2 training_loss.png

这个自动生成的损失曲线图看似简单，但藏着几个使用技巧：

1. 图中其实包含train loss和eval loss两条曲线（如果有验证集）
2. X轴单位可以通过--logging_steps参数调整
3. 图片分辨率可在配置文件中修改

2.2.3 train_results.json

这个JSON文件包含了训练结果的完整统计信息，特别适合后续分析。典型结构如下：

json复制{
  "train_loss": 1.234,
  "eval_loss": 1.345,
  "train_samples_per_second": 12.34,
  "epoch": 3.0,
  "learning_rate": 2e-5,
  "total_flos": 1.2e18
}

2.3 默认日志的优化技巧

虽然默认日志已经足够好用，但通过一些小技巧可以进一步提升效率：

1. 日志轮转：长期训练时建议添加日志轮转配置，避免单个文件过大

python复制from logging.handlers import RotatingFileHandler
handler = RotatingFileHandler('running_log.txt', maxBytes=10*1024*1024, backupCount=5)

2. 自定义指标：可以在训练脚本中添加自定义指标的记录

python复制def log_metrics(self, logs=None):
    logs = logs or {}
    logs["custom_metric"] = calculate_custom_metric()
    super().log_metrics(logs)

3. 实时告警：结合简单的shell脚本可以实现loss异常告警

bash复制while true; do
    loss=$(tail -n 50 running_log.txt | grep "loss" | awk '{print $NF}')
    if (( $(echo "$loss > 5.0" | bc -l) )); then
        send_alert "Loss异常升高: $loss"
    fi
    sleep 60
done

3. SwanLab云端监控实战

3.1 从安装到配置的全流程

SwanLab作为新兴的A