1. 当/dev/vda2突然爆满时,我经历了什么
那天凌晨三点,手机突然响起刺耳的告警声。迷迷糊糊抓起来一看,监控系统显示服务器/dev/vda2分区使用率突破95%阈值。作为运维人员,这种深夜告警最让人头皮发麻——这意味着线上服务随时可能因为磁盘写满而崩溃。
我立刻用笔记本连上跳板机,第一反应是执行df -h确认情况。输出结果让我倒吸一口冷气:
bash复制Filesystem Size Used Avail Use% Mounted on
/dev/vda1 50G 12G 36G 24% /
/dev/vda2 200G 190G 0 100% /data
/data目录是专门存放业务日志和临时文件的挂载点,200G空间居然被吃得干干净净。更诡异的是,业务量最近很平稳,按常理不该出现这种突增。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 排查磁盘占用的三板斧
2.1 第一招:快速定位大文件
我的第一反应是业务日志暴增,于是用du命令扫描/data目录:
bash复制du -sh /data/* | sort -rh | head -10
结果出乎意料——最大的日志文件才2G,所有文件加起来也不到50G。这说明空间不是被常规文件占用的,一定有隐藏的"空间杀手"。
2.2 第二招:揪出幽灵文件
这时我想起Linux的一个特性:当进程打开文件后,即便文件被删除,只要进程不退出,磁盘空间也不会释放。立即执行:
bash复制lsof -n | grep deleted
输出让我恍然大悟:
bash复制java 12345 user 1w REG 253,2 8589934592 123456 /data/temp.log (deleted)
java 12345 user 2w REG 253,2 8589934592 123457 /data/error.log (deleted)
几十个被标记为"deleted"的日志文件,每个都占用了数GB空间。这些文件被Java进程打开后,虽然程序调用了删除操作,但由于文件句柄未释放,空间始终被占用。
2.3 第三招:精准打击问题进程
通过`ps -ef |
