对话式运维排障实战：从负载飙升到磁盘告警的排查手册

半夜三点被电话叫醒，屏幕上跳着“磁盘使用率 95%”的告警，我坐在电脑前打开终端，脑子里一片空白——df 和 du 到底哪个查空间，哪个查目录大小来着？这种时刻你一定也经历过。不是故障本身多吓人，而是明明会的事，一紧张全忘光了。

这就是我最近一直在用 catpaw chat 的原因。它的定位很简单：一个用大白话对话就能帮你排障的工具。你可以直接说“我服务器特别慢，load average 到 8 了，怎么查”，它会一步步告诉你该敲什么命令、为什么要敲、输出结果怎么看。你不用背命令，甚至不用理解那些参数的含义，照着对话走就能把问题定位到七八成。

这篇实战手册就是我这几周真实使用的记录。我把日常最常遇到的负载高、磁盘满、端口不通、服务起不来这几类故障，全部用对话式排障走了一遍，整理成一套可以直接照搬的打法。适合刚入行的运维、经常被拉去救火的后端开发，还有那些“命令看过就忘”的朋友。

1. 排障的本质：不是背命令，而是理顺排查思路

1.1 为什么我们总是记不住命令

先说一个扎心的事实：命令是背不完的。Linux 命令成百上千，每个还有一堆参数，更别说 docker、git、systemctl 这类工具链每天都在更新。就算你是十年老运维，遇到不常用的场景照样得现查 man page。

我见过太多新人抱着“linux 命令大全”从头啃，啃了三个月，遇到故障还是懵。原因很简单：命令本身是知识，而排障是技能。技能需要的是在正确的时间点想起正确的命令，这靠的是思路，不是记忆力。

举个例子，磁盘满的时候你要做的不是“背出 df 命令”，而是先想清楚：我是要看整个磁盘的使用率，还是要找哪个目录在疯狂占空间？前者用 df，后者用 du，思路对了命令自然就浮出来了。catpaw chat 帮我的第一件事，就是把我从“背命令”的焦虑里解放出来，让我专注于描述现象。

1.2 把排障当成问路，而不是背地图

排障本质上是一个决策树。故障现象是树根，往下走每一步都面临选择：CPU 高要看进程，内存不够要看占用，网络不通要先看本机还是远端。

如果我们把这个决策树画出来，会发现每个节点其实只需要你做一个很小的判断。catpaw chat 这类工具做的事情很朴素：它像一个本地老司机，你问“去某地怎么走”，它不会甩给你一张地图，而是告诉你“先左转，看到红绿灯再右转”，走错了它会纠正你。

这种交互方式天然适合排障。你不用在脑子里维护整棵决策树，只需要描述清楚当前看到了什么，让对话带着你一步一步往前走。很多新人用 catpaw chat 之后跟我说，最大的收获不是记住了多少命令，而是终于知道遇到一个问题“下一步该干嘛”了。

1.3 catpaw chat 在这个链条里的位置

我习惯把 catpaw chat 定位成三个角色：命令翻译官、排查向导、结果解读器。

命令翻译官解决“不知道敲什么”的问题。你说人话，它给你命令。排查向导解决“不知道下一步干嘛”的问题，它会根据你反馈的结果，告诉你继续执行哪条命令。结果解读器是最值钱的功能，很多命令的输出密密麻麻一堆数字，新人根本看不懂，它会直接告诉你“当前 CPU 占用最高的是 java 进程，PID 是 1234，内存使用率 72%，暂不构成风险”。

有朋友问，那我自己会敲命令，还需要它吗？我的看法是：需要。它最大的价值不是教基础命令，而是帮你缩短从“看到现象”到“得出结论”之间的路径。遇到不熟悉的工具链，比如操作 redis 集群、排查 containerd 容器状态，让对话工具先给你一份可执行的排查清单，比自己翻文档快太多了。

2. 用对话方式排障的关键：会问问题，也要会听话

2.1 提问越具体，路线越准确

用 catpaw chat 排障，最影响效率的就是第一句话怎么说。你要是只丢一句“我的服务器坏了”，它只能给你一套通用的排查流程，不能说不对，但效率低。

我实测下来，一句高质量的故障描述应该包含三个要素：现象、范围、期望。所谓现象是“什么表现，比如 CPU 到 100%、网站超时”；范围是“影响哪台机器、哪个服务”；期望是“你本来的目的是什么，比如想让接口响应时间恢复到 200ms 以内”。

举两个对比：

• 低质量提问：“服务器磁盘满了怎么办”
• 高质量提问：“我的 web 服务器磁盘使用率 98%，现在网站图片加载不出来，我怀疑是日志文件太大，帮我查一下怎么定位和清理”

第二种描述方式，catpaw chat 会直接把你引到日志目录，给出 du 查找大文件的命令，并提醒你清理前先确认日志是否被进程占用。省掉大量来回试探的时间。

2.2 从“人话”到“命令”，内部发生了什么

虽然我们使用者不需要关心内部机制，但理解了它会做什么，你能更好地配合它。我大致拆解一下 catpaw chat 拿到你的问题之后做的事情：

先做意图识别，判断你描述的是“系统资源类、网络类、服务类、还是存储类”故障。然后补充上下文，如果你的描述里带了 IP、服务名、端口这些关键词，它会更有针对性地缩小命令范围。接下来它生成一条排查路线，不是一次给你二十条命令让你挨个跑，而是先让你跑一个最基础的工具，再根据返回结果决定下一步。

最有意思的是它的安全边界。凡是涉及删除、重启、修改配置的操作，catpaw chat 会先解释这条命令会造成什么影响，再让你确认是否继续。比如你问“怎么删掉那个占用空间的 log 文件”，它不会直接给你 rm -rf 然后就完事了，而是先给你 lsof 查文件占用情况的命令，确认文件没有被正在运行的进程打开，再给出删除建议。

2.3 搞清楚它帮不上忙的边界

再好的工具也有边界，catpaw chat 不是万能的。我遇到过几种场景它确实没法处理。

第一种是需要你登录跳板机或者堡垒机才能访问目标服务器的环境，它没法直接帮你执行命令，只能给你一段操作步骤。第二种是纯硬件层面的故障，比如内存条坏了导致系统随机重启，这种问题靠对话排查效率很低，你得去看硬件管理界面。第三种是涉及业务逻辑的排障，比如“用户下单一直失败”，这可能跟前端传参、后端代码、数据库状态都有关，catpaw chat能给的是通用的排查思路，最终定位还是要靠对业务代码的理解。

我给自己定的规矩是：catpaw chat 负责“系统级排障”，也就是 CPU、内存、磁盘、网络、进程、服务这些底层设施；业务逻辑的坑，还得靠人自己填。这个预期管理做好了，你对它的满意度会高很多。

3. 实战一：服务器负载飙升，从“好卡”到定位真凶

3.1 开场：把模糊的“卡”变成可查的数据

这天下午，测试环境的机器突然卡得 SSH 都敲不动字符。我直接在 catpaw chat 里描述：

“我的测试服务器现在特别卡，操作延迟很高，top 我还没来得及开，感觉 load 应该很高，帮我排查一下是不是有进程把 CPU 打满了。”

它没有让我立刻去敲一长串命令，而是先让我执行一条最简单的指令：uptime。

这条命令的作用是看系统最近 1 分钟、5 分钟、15 分钟的平均负载。我敲完回传结果：load average 是 9.8, 7.2, 4.5。

catpaw chat 立刻解释：1 分钟负载远高于 15 分钟，说明负载是刚刚起来的，不是持续累积的老问题。测试机如果是 4 核 CPU，那 9.8 就意味着 CPU 已经严重过载，现在要赶紧找出是哪个进程干的。

3.2 顺藤摸瓜：top、ps 的组合拳

接下来 catpaw chat 给出的命令就不那么“基础”了。它让我执行 top -c -b -n 1，并且特意提醒，加 -c 是为了显示完整的命令行，加 -b -n 1 是为了一次性输出后退出，避免在已经很卡的机器上长时间占用资源。

输出结果出来后，我一眼看到 PID 75641 的进程 CPU 占用率是 320%，命令行里是一串带 worker 关键字的路径。我把这一行原样贴给 catpaw chat，它马上判断这可能是一个异常的任务处理进程，并建议我用 ps -ef | grep 75641 看看它的父进程和启动时间。

这里我想插一句，很多人觉得用对话工具排障很“low”，好像自己不动脑子。实际用下来完全不是这样。它会不断让你把输出结果喂回给它，你在这个过程中被迫去读那些输出，哪怕一开始看不懂，经过它解释之后也会慢慢形成自己的判断力。这比直接给你一篇命令大全有用多了。

3.3 当内存也不够时，free 该怎么看

排查完 CPU，catpaw chat 提醒我检查一下内存，因为高负载往往伴随内存压力。它让我执行 free -h。

我第一次看到 free 的输出也蒙圈，什么 buff/cache、available 到底啥意思。catpaw chat 给了一个特别通俗的解释：free 这一行是真正还没被用掉的内存，buff/cache 是 Linux 拿来做文件缓存的内存，应用要的时候会被自动回收，所以真正该看的是 available 这一列，那才是“还能拿出来用的内存”。

如果 available 很低，同时 swap 使用率在持续增长，说明内存已经紧张到开始用磁盘做交换了，这时候光杀一个高 CPU 进程不够，得看看是不是整体内存规划太小。这套解释放在任何一本书里都得写两三页，但在对话里几句话就说清楚了。

3.4 收尾：kill 和重启的注意事项

定位到那个异常 worker 进程后，catpaw chat 给的建议是先用 kill -15 75641 正常终止，等几秒看进程是否退出，不要上来就 kill -9。它解释，-15 是让进程有机会做清理工作，比如关闭文件、释放资源；-9 是强制击杀，适合处理那些完全无响应的僵尸状态进程。

这一步我特别认可。很多初学者一看进程异常就直接 kill -9，结果服务根本来不及做善后，留下脏数据，重启后问题更严重。 catpaw chat 这种“先温柔后强硬”的顺序，其实就是生产环境的标准操作，只是很少有人告诉你。

4. 实战二：磁盘空间告警，定位大文件与安全清理

4.1 先分清是“磁盘满”还是“inode 耗尽”

回到文章开头那个半夜告警。第二天我复盘，发现自己当时连 df 和 du 都搞混了，其实这两兄弟的分工完全不同。

在 catpaw chat 里我输入：“我的机器磁盘用满 95%了，现在服务写入失败，怎么找到是哪个目录占的空间最大？”

它先让我跑 df -h 看整体分区占用，确认是哪个挂载点告警。然后提醒我：如果 df -h 看空间还有剩余，但服务依然报“No space left on device”，那就要用 df -i 查 inode，也就是文件节点数量是否耗尽。文件数量过多即使空间没满也无法创建新文件。

就这一步提醒，帮我避过一个天坑。之前有次同事排查半天没找到原因，最后发现是某个目录下生成了几十万个临时小文件，把 inode 耗尽了。catpaw chat 这种“先分情况再动手”的思路，确实是实战经验沉淀出来的。

4.2 用 du 找到“磁盘杀手”

定位到具体分区之后，catpaw chat 给出了查找大目录的命令组合：

du -h --max-depth=1 /var | sort -rh | head -20

它让我从根目录的下一层开始，一层一层找下去。--max-depth=1 是只看当前目录下第一级子目录的大小，sort -rh 按人类可读的数值从大到小排，head -20 取前 20 行。

整个命令组合在一起就像一个漏斗，先看大的，再钻进去看更细的。实际执行下来，我三秒钟就定位到了 /var/log/nginx/ 下面一个每天增长几个 G 的 access.log。这个文件就是导致磁盘告警的元凶。

有人可能会问，用 catpaw chat 直接问“给我一条命令找出最大的文件”不就行了？其实也可以，但上面这种逐层下钻的方式更容易让你理解整个排查逻辑，下次你自己面对一台新机器时，也知道该从哪里下手。

4.3 清理阶段最容易踩的坑：文件被进程占用

定位到大文件之后，我差点直接 rm -rf access.log，被 catpaw chat 拦住了。它先问了一个问题：这个日志文件是否正在被 nginx 进程写入？

如果你直接删除一个正在被进程打开的文件，文件句柄不会立刻释放，磁盘空间也不会真正回收。进程还会继续往那个已经被删除的 inode 里写数据，直到你重启进程或重新加载配置，空间才会释放。

它给出正确顺序：先用 lsof +L1 查看是否有已删除但仍被进程占用的文件，再用 ls -l /proc/进程号/fd 确认句柄。如果确认 access.log 被 nginx 占用，应该执行 > /var/log/nginx/access.log 清空文件内容，而不是删除文件本身；或者通过 nginx -s reopen 重新打开日志文件。

这套操作我记录下来，直接成了团队日志清理的作业指导书。我们日常清日志的几条经验是：

• 优先用 truncate -s 0 文件名 清空，而不是 rm 删除
• Java 应用和 Nginx 这类长期运行的进程，日志文件被删后会继续占空间
• 清理完用 df -h 确认空间是否真正回落，没回落就去查进程句柄

5. 实战三：服务起不来、端口不通、容器异常，对话式排障怎么处理

5.1 从“报错信息”开始反向定位

服务类故障比资源类故障更复杂，因为变量太多了。可能是代码崩了、依赖服务没起来、端口被占用、配置文件写错。

上周我遇到一个自己写的 Node 服务在测试环境反复重启。我在 catpaw chat 里描述：“我的 node 服务一启动就退出，journalctl 里能看到报错，但我看不太懂，怎么排查？”

它没有让我贴一长串日志，而是引导我先跑一条最关键的查看状态命令：systemctl status 服务名。这条命令会把服务的当前状态、最近日志、主进程 PID 一次性展示出来。

我贴了输出后，catpaw chat 让我注意看日志里有没有 EADDRINUSE 这个关键词。一查，果然是端口被上个残留进程占用了。排障命令那么多，能准确锁定一个关键词，这比我自己在几万行日志里 grep 效率高太多了。而且它还会顺带告诉我，EADDRINUSE 是 Node.js 里“端口已被占用”的典型报错，下次看到就不会慌。

5.2 端口连通性排查：从 ping 到 telnet 到 ss

端口占用只是冰山一角，更多时候的问题是“服务明明起来了，但外部就是访问不到”。这种网络类故障，我有一套跟着 catpaw chat 磨合出来的排查顺序：

先看本机端口是否在监听，用 ss -lntp，它会列出所有监听中的 TCP 端口和对应的进程名。再看进程是否真的活着，用 ps -ef | grep 服务名，排除“起了又崩、崩了又拉起”的情况。最后从外部视角测试端口通不通，可以用 telnet 127.0.0.1 8000，如果连接被拒绝或者超时，说明端口没有正常对外开放，或者有防火墙在拦截。

以前大家一想到测端口就会搜“telnet 命令怎么用”，其实核心就是 telnet IP 端口，通了显示 Connected to，不通就会一直卡在那里或者直接报错。catpaw chat 还补了一句：生产环境默认不装 telnet，可以用 nc -vz IP 端口 代替，效果一样，这也是很多老运维的习惯。

5.3 容器环境里的特殊玩法

现在很多服务跑在 docker 里，排障逻辑跟传统环境稍有不同。排查一个容器“起来了但访问不了”的问题时，catpaw chat 给的路线是：

先执行 docker ps -a 看容器状态。如果是 Exited 状态，用 docker logs 容器名 看退出前的日志。如果容器还在运行但服务不通，就 docker exec -it 容器名 sh 进到容器内部，把容器当成一台精简版 Linux 来排查。

容器里可能没有 bash、没有 vim、甚至没有 ps，很多命令要自己装或者用宿主机的 PID 命名空间排查。这个场景下 catpaw chat 给我的建议很实在：优先用 docker inspect 看容器的挂载和网络配置，很多问题是环境变量没传对、端口映射写错导致的，根本不用进容器。

5.4 容器和镜像占空间的清理策略

磁盘清理如果碰上 containerd/docker 环境，还有一个很容易被忽略的点：镜像、容器层、构建缓存会持续占用磁盘。

有次我用 du 排查完普通文件后，发现磁盘占用还是没降下来。catpaw chat 提醒我看看 docker 自身的数据：docker system df 能显示镜像、容器、本地卷、构建缓存分别占了多少空间。

如果发现悬空镜像和构建缓存占用很大，先执行 docker image prune 清理无标签镜像，再用更彻底的方式清掉整个 build cache。这套组合拳下来，我那次直接释放了 30 多 G 空间。清理容器的操作要谨慎，最好先确认哪些容器还需要保留，不要盲目执行大清洗。

6. 那些对话式排障不会替你做的事

6.1 提权操作和系统级变更

catpaw chat 对于需要 root 权限或者可能影响系统稳定性的操作，态度一直很保守。它可以告诉你命令是什么、用途是什么，但不建议你在一台不确定状态的生产机器上，未经确认就执行诸如调整内核参数、修改分区表、批量 kill 进程这类操作。

这不是它的能力限制，而是设计上的选择。排障工具的第一原则是不扩大故障。我见过有人在排查网络时，直接把 iptables 规则 flush 掉，导致所有流量中断，那真是从一个坑跳进另一个更大的坑。

6.2 无法替代的视力和听力

还有些排障必须靠人亲临现场，对话工具只能做远程指导。比如服务器物理机报警灯亮了、风扇异响、网线松动，这些问题任何命令都查不出来。我有一次在某机房处理故障，catpaw chat 再强也看不到机器后面那个闪烁的黄灯，最后还是得靠现场同事拍照片确认是硬盘故障。

6.3 培养离线排障能力

长期依赖对话式工具，会有个隐忧：如果哪天猫 paw chat 不可用，或者你在一个隔离网络环境里，没有任何外部辅助，你还敢动手吗？

我的答案是：把它当训练场，而不是当拐杖。每次 catpaw chat 给出命令和解释，我会顺手截图或者记录到自己的知识库。做完一次完整排障，我会约等于复习了一遍相关命令。这样用一段时间之后，你会发现很多命令变成了肌肉记忆，哪怕断网也能应付大部分常见问题。

为了帮你快速形成这种能力，我整理了几个高频问题对应的高频命令，放在日常可见的地方非常管用：

这一套组合，覆盖了我日常至少百分之七十的排障需求。

写在最后：我的一点个人体会

用 catpaw chat 这段时间，我最大的感触是：它没有让我变成一个不会敲命令的人，恰恰相反，它让我把原来零散记住的那些命令串成了一条完整的排障链路。以前我是“记得 du 查目录、df 查磁盘”这种碎片知识，现在我是看到一个现象，能在脑子里快速列出两三种可能性，然后按顺序验证。

如果你也是那种面对黑底白字的终端会下意识紧张的人，不妨试试下次故障时别硬扛，打开 catpaw chat，用大白话把你的烦恼说出来，跟着它一步一步查。我相信你会在某一次成功排障之后发现，原来那些看起来高深的命令，背后都是很朴素的道理。能说清楚问题，就已经解决了一半。