照横塘半天残月1. 问题背景与需求拆解
处理文本文件时，空行常常成为数据清洗过程中的"顽固分子"。上周我需要处理一批从老旧系统导出的日志文件，每个文件平均3000行，其中约15%是毫无意义的空行。手动删除不仅效率低下，还容易遗漏。这种场景下，掌握命令行批量处理技巧能节省90%以上的时间。
空行通常分为两种类型：完全空白（仅含换行符）和含空白字符（空格/tab等）。在Ubuntu环境下，我们拥有丰富的文本处理工具链，通过组合使用可以应对各种复杂场景。下面我将分享几种经过实战检验的方案，涵盖从基础到进阶的各种需求。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 基础方案：grep命令的妙用
2.1 最简实现
bash复制grep -v '^$' input.txt > output.txt
这个经典命令的工作原理：
-v参数实现反向匹配（显示不匹配的行）'^$'是正则表达式，^表示行首，$表示行尾，中间无任何字符- 重定向符号
>将结果保存到新文件
注意：此操作会直接覆盖output.txt，建议先备份原文件
2.2 处理含空白字符的空行
实际文件中常存在看似空行实则包含空格/tab的情况，这时需要扩展正则表达式：
bash复制grep -v '^[[:space:]]*$' input.txt > output.txt
关键改进：
[[:space:]]匹配所有空白字符（包括空格、tab等）*量词表示前导字符出现0次或多次
2.3 批量处理目录下所有文件
结合find命令实现全目录处理：
bash复制find . -name "*.log" -exec sh -c 'grep -v "^[[:space:]]*$" "{}" > "{}.clean"' \;
参数解析：
-name "*.log"限定.log后缀文件-exec对每个找到的文件执行后续命令sh -c创建子shell处理复杂命令{}会被替换为当前文件名
3. 进阶方案：sed流编辑器
3.1 基础删除命令
bash复制sed '/^[[:space:]]*$/d' input.txt > output.txt
sed的工作机制：
/pattern/d匹配模式并删除- 默认输出到stdout，需重定向到文件
3.2 原地编辑文件
添加-i参数直接修改原文件：
bash复制sed -i '/^[[:space:]]*$/d' input.txt
重要警告：-i操作不可逆，务必先测试或备份
3.3 保留备份的原地编辑
更安全的做法是让sed自动备份：
bash复制sed -i.bak '/^[[:space:]]*$/d' input.txt
这会产生input.txt（处理后）和input.txt.bak（原始文件）
4. 高效方案：awk文本处理
4.1 基础过滤
bash复制awk 'NF' input.txt > output.txt
awk的精妙之处：
NF表示"Number of Fields"，即每行的字段数- 空行NF=0，被解释为False，因此不输出
- 非空行NF>0，被解释为True，正常输出
4.2 处理含空白字符的情况
增强版命令：
bash复制awk '!/^[[:space:]]*$/' input.txt > output.txt
这里使用了模式匹配：
!表示逻辑非/pattern/是正则匹配模式
4.3 带行号统计的高级处理
bash复制awk 'NF {print NR ": " $0}' input.txt > output.txt
这个命令实现了：
- 保留非空行（NF判断）
- 添加行号（NR变量）
- 保留原内容（$0表示整行）
5. 性能对比与选型建议
通过time命令测试处理100MB文本文件的耗时：
| 方法 | 耗时(秒) | 内存占用(MB) | 适用场景 |
|---|---|---|---|
| grep | 1.2 | 2.3 | 简单过滤，最快方案 |
| sed | 1.5 | 3.1 | 需要原地编辑时 |
| awk | 1.8 | 4.2 | 需要复杂处理逻辑时 |
| perl | 2.1 | 5.7 | 超大规模文件处理 |
选型建议：
- 日常简单任务：优先用grep，语法简单速度快
- 需要修改原文件：选择sed -i
- 复杂条件过滤：使用awk更灵活
- 处理GB级文件：考虑perl或分块处理
6. 常见问题排查
6.1 处理后的文件行尾出现^M字符
这是Windows换行符(\r\n)与Unix换行符(\n)混用导致，先用dos2unix转换：
bash复制dos2unix input.txt
6.2 处理大文件时内存不足
使用流式处理替代全量读取：
bash复制cat largefile.txt | grep -v '^$' > output.txt
6.3 需要保留特定空行
比如保留连续两个空行中的一个：
bash复制awk '/^$/ {if (!prev_empty) print; prev_empty=1; next} {prev_empty=0; print}' input.txt