1. 选型逻辑:grep是过滤器,sed是编辑器,awk是微型编程环境
我第一次接触这三个命令的时候,跟大多数人一样把man page翻了个遍,grep、sed、awk各自有哪些参数背得滚瓜烂熟,可真到生产环境处理几千万行的日志时,发现最难的从来不是记参数,而是拿到一个任务后,脑子里能快速判断“这一步该用哪把刀”。
先做个粗暴但不失准确的类比:grep是一个只负责“留还是不留”的过滤器,输入一行,匹配就留下,不匹配就扔掉,整个过程不修改行内容;sed是一台逐行扫描的流式编辑器,它可以读入一行、修改这一行、再输出这一行,强调“改”;awk则是一个面向“行和列”的微型编程环境,它会把每一行拆成字段,然后允许你用变量、条件、循环去计算和重组这些数据,强调“算”。
很多人在脚本里把三个工具混着用,比如用grep筛完之后再用sed替换,这没问题,但反过来,如果一个任务本质上只是“看看某段文本在不在”,用awk写了一大段BEGIN和END,就是杀鸡用了牛刀。记住,三个工具不是同一件事的三种写法,而是三种不同性质的事情。
我用过一段时间之后,整理了一条自己的选型判断链,基本能覆盖日常绝大多数场景:
- 只要判断某行是否存在、按正则过滤整行、看上下文 → 用grep;
- 需要修改行内的文字、按行号或正则定位后增删改单行内容 → 用sed;
- 需要按列拆分、统计、去重、拼接、跨行格式化输出 → 用awk;
- 需要先按条件筛选,再对筛选结果做统计 → 先grep再awk,管道接力。
这条链解决了我80%的选型纠结。剩下20%是模糊地带,比如“把文件中匹配到的行全部删除”这个需求,grep -v、sed '/pattern/d' 都能做,这时选哪个其实取决于下游逻辑和性能要求,后面我会专门展开讲。先把选型逻辑定了,后面每一个实战场景才不会跑偏。
1.1 三者各自的“工作记忆”差异
理解三剑客差异,一个很有用的视角是“看它们记住了什么”。
grep几乎不记任何状态,它看到一行,迅速做出“留/不留”的判断,判断完扔给标准输出,下一行又是全新的开始。所以grep非常轻,速度极快,这是它在大文件面前依然能保持高性能的根本原因。
sed有两块记忆区域:模式空间(pattern space)和保持空间(hold space)。默认情况下,读入一行放入模式空间,执行完脚本后输出,然后清空。保持空间是备用的“草稿纸”,平时空着,你可以用 h/H/g/G/x 等命令把内容在模式空间和保持空间之间搬来搬去。这种“双空间”设计让sed具备了简单的跨行处理能力。
awk的记忆就丰富多了:它有内建变量(NR、FNR、NF、FS、OFS)、用户自定义变量、关联数组,还有BEGIN/END两个生命周期钩子。每一行读进来之后,awk会按照字段分隔符(FS)把行拆成多个字段,存进$1、$2……$0这些变量里,然后执行你的程序体。BEGIN块在处理第一行之前执行,END块在处理完最后一行之后执行。这意味着你可以把整个文件的统计结果攒到一个数组里,最后一次性输出。
1.2 一条可以写在工位上的选型判断链
判断链上面写过简化版,这里补充一下实际操作中我会想得更细的维度。
第一,看“行”在这个任务里是否还保留原貌。如果答案永远是整行透传,只做筛选,那优先grep;如果行内的字段要被打散重拼,grep的-E再强也没用,awk的默认按列拆分才是自然解。我见过太多同事用一串sed替换去模拟列重排,结果边界条件一大堆,最后重写成awk只用了三行。
第二,看“跨行逻辑”的复杂度。只是“匹配A行之后的紧接着若干行”这种场景,sed的地址范围和N命令可以搞定;但如果是“统计每个IP出现的次数”这种需要累积的跨行逻辑,sed的保持空间写起来别扭程度暴增,awk数组一行就能完成。
第三,看下游处理是否还要二次统计。grep的输出是纯文本流,如果你筛完还要按列汇总,终究逃不过awk;那不如一开始就把条件写进awk的模式里,省一次全量扫描。这一个省字,在千万行级别的文件上,就是几秒钟和十几秒钟的差距。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. grep实战:从“能匹配”到“会协同”——上下文、递归与文件名
grep最基础的能力是匹配输出,这部分大部分人都熟,我不打算再念一遍手册。真正让我觉得grep“会用”和“不会用”拉开差距的,是三个高频但常被忽略的方面:上下文输出、递归搜索的文件筛选、以及输出文件名相关的能力。
先说上下文。排查线上故障时,日志里报错的那一行只是线索起点,真正有用的是它前后十行里的调用链和变量值。grep -A 10 -B 5 'ERROR' app.log 能一次性把匹配行以及它后面10行、前面5行全部打出来。这里有个容易忽略的坑:-A/-B 后面跟的数字是“行数”,不是“字节数”,而且匹配多行时上下文不会重复叠加,多区间重叠处会自动合并,输出顺序保持原文件顺序,这个合并行为不是所有文本工具都有的。
再说递归搜索。在项目代码目录里找某个函数在哪些文件被调用,最直接的是 grep -R。但我强烈建议不要裸用-R,因为一旦目录里有日志、图片或者构建产物,输出会被二进制匹配信息刷屏。我日常写脚本会带上 --include 和 --exclude:
bash复制grep -R --include='*.py' --exclude='*_test.py' 'def parse_' ./src/
这两个参数能精确锁定文件类型,把无关文件挡在扫描之外,速度提升也非常明显。如果只想看哪些文件命中了,而不关心具体命中哪一行,用 -l
