1. 事件背景:当文件系统突然"抽风"
那天下午三点十七分,我正喝着第三杯咖啡调试新功能,突然收到监控系统连续二十多条报警短信。服务器磁盘空间在30秒内从45%飙升到98%,/var/log目录以每秒200MB的速度膨胀。更诡异的是用df -h查看时,可用空间百分比像老虎机一样不断跳动——78%、92%、65%、99%...
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 问题定位:揪出那个贪婪的进程
2.1 初步排查三板斧
bash复制# 查看磁盘占用增长最快的目录
watch -n 1 'du -h --max-depth=1 /var/log | sort -h'
# 锁定持续写文件的进程
lsof +L1 | grep deleted
# 检查inode使用情况
df -i
发现是某个Java进程持续向已经删除的日志文件写入数据,但常规的日志轮转工具(logrotate)配置看起来完全正常。
2.2 深入分析文件描述符
通过/proc/<pid>/fd目录检查时,发现这个"僵尸文件"的描述符状态异常:
bash复制ls -l /proc/12345/fd/4
> l-wx------ 1 appuser appuser 64 Aug 1 15:20 4 -> '/var/log/app/current.log (deleted)'
关键线索:文件被删除后,持有文件描述符的进程仍能持续写入,但空间不会被真正释放。
3. 根因分析:当日志轮转遇上文件硬链接
3.1 故障链条还原
- 应用使用
ln -f current.log current.log.1创建硬链接 - logrotate执行时误判文件已被轮转
- 原始current.log被删除但进程句柄未释放
- 新日志继续写入"黑洞"文件描述符
3.2 关键机制解析
mermaid复制graph TD
A[应用创建硬链接] --> B[logrotate检测inode]
B -->|误判已轮转| C[删除原始文件]
C --> D[磁盘空间持续消耗]
4. 紧急处置:三管齐下救回服务器
4.1 立即释放空间
bash复制# 快速定位大文件
find /var/log -type f -s
