Shell脚本实战：从入门到自动化运维

1. Shell脚本入门：从零到实战

Shell脚本是Linux/Unix系统管理员和开发者的必备技能，它能将重复性操作自动化，大幅提升工作效率。我在运维岗位工作十年，Shell脚本帮我解决了90%的日常重复工作。今天分享的实战经验，都是我在生产环境中验证过的可靠方案。

初学者常觉得Shell语法怪异难懂，其实它的设计哲学是"简单暴力有效"。一个完整的脚本通常包含三要素：解释器声明（#!/bin/bash）、执行命令和流程控制。我们先看个最简单的例子：

bash复制#!/bin/bash
echo "当前用户是：$(whoami)"
echo "系统负载：$(uptime)"

这个脚本虽然只有三行，但已经展示了Shell的核心能力：调用系统命令并处理输出。接下来我会分步骤带你掌握Shell脚本的进阶技巧。

2. Shell脚本核心语法精要

2.1 变量与参数处理

Shell变量不需要声明类型，但使用时有三个关键细节：

1. 等号两边不能有空格：name="value"正确，name = "value"会报错
2. 引用变量时建议加花括号：${var}比$var更安全
3. 默认变量都是字符串，数学运算需要特殊语法

位置参数是脚本的输入接口，这些特殊变量需要牢记：

• $0 脚本名称
• $1-$9 第1到第9个参数
• $# 参数个数
• $* 所有参数（作为一个字符串）
• $@ 所有参数（作为多个独立字符串）

重要提示：处理含空格的参数时，一定要用双引号包裹变量，如"$@"，否则会被拆分成多个参数。

2.2 流程控制结构

if条件判断的标准格式：

bash复制if [ 条件 ]; then
    命令
elif [ 条件 ]; then
    命令
else
    命令
fi

方括号[ ]是test命令的简写，注意里面的操作符：

• 字符串比较：=, !=, -z(空), -n(非空)
• 数值比较：-eq, -ne, -gt, -lt, -ge, -le
• 文件测试：-e(存在), -f(普通文件), -d(目录)

循环结构最常用的是for和while：

bash复制# 遍历列表
for item in apple banana cherry; do
    echo "水果：$item"
done

# C风格for循环
for ((i=0; i<10; i++)); do
    echo "计数：$i"
done

# while循环
while [ 条件 ]; do
    命令
done

3. 实战案例：日志分析脚本

3.1 需求分析

假设我们需要分析Nginx访问日志，提取：

1. 访问量最高的10个IP
2. 出现404错误的请求
3. 各HTTP状态码的统计

原始日志格式示例：

code复制192.168.1.1 - - [10/Oct/2023:14:32:01 +0800] "GET /index.html HTTP/1.1" 200 1234

3.2 脚本实现

bash复制#!/bin/bash
# 日志分析工具 v1.0

LOG_FILE="$1"
OUTPUT_DIR="./report_$(date +%Y%m%d)"

[ -z "$LOG_FILE" ] && { echo "请指定日志文件路径"; exit 1; }
[ ! -f "$LOG_FILE" ] && { echo "文件不存在：$LOG_FILE"; exit 1; }

mkdir -p "$OUTPUT_DIR"

# 统计TOP10 IP
awk '{print $1}' "$LOG_FILE" | sort | uniq -c | sort -nr | head -10 > "$OUTPUT_DIR/top_ip.txt"

# 提取404请求
grep ' 404 ' "$LOG_FILE" > "$OUTPUT_DIR/404_requests.txt"

# 状态码统计
awk '{print $9}' "$LOG_FILE" | sort | uniq -c > "$OUTPUT_DIR/status_code.txt"

echo "分析完成，结果保存在：$OUTPUT_DIR"

3.3 关键技巧解析

1. awk '{print $1}'：提取每行第一个字段（IP地址）
2. sort | uniq -c：排序后统计出现次数
3. sort -nr：按数字倒序排序
4. head -10：取前10条记录
5. grep ' 404 '：匹配包含404状态码的行

这个脚本虽然只有20行，但结合了文本处理三剑客（awk/sort/grep）的核心用法。我在实际运维中，类似的脚本每天能节省至少1小时人工检查时间。

4. 高级技巧与调试方法

4.1 函数封装与模块化

良好的Shell脚本应该像编程语言一样模块化。这是我在项目中总结的函数模板：

bash复制#!/bin/bash

# 全局配置
CONFIG_FILE="/etc/app.conf"

# 初始化函数
init() {
    [ -f "$CONFIG_FILE" ] || { echo "配置文件缺失"; exit 1; }
    source "$CONFIG_FILE"
}

# 日志函数
log() {
    local level="$1"
    local message="$2"
    echo "[$(date '+%Y-%m-%d %H:%M:%S')] [$level] $message" >> "$LOG_FILE"
}

# 主处理函数
process() {
    local input="$1"
    # 业务逻辑...
}

# 主程序流程
main() {
    init
    log "INFO" "脚本启动"
    process "$@"
    log "INFO" "脚本完成"
}

main "$@"

4.2 错误处理与调试

Shell脚本默认遇到错误会继续执行，这在生产环境很危险。建议在脚本开头加入：

bash复制#!/bin/bash
set -euo pipefail

这三个选项的含义：

• -e：命令失败时立即退出
• -u：使用未定义变量时报错
• -o pipefail：管道中任意命令失败则整个管道失败

调试技巧：

1. bash -x script.sh：打印每条执行的命令
2. 在脚本中插入set -x和set +x开启/关闭调试模式
3. 使用trap '错误处理函数' ERR捕获错误

5. 性能优化与安全实践

5.1 避免常见性能陷阱

1. 减少子进程创建：

   • 错误示例：for i in $(seq 1 100); do ... done（创建了100个子进程）
   • 正确写法：for ((i=1; i<=100; i++)); do ... done

2. 文本处理选择合适工具：

   • 简单匹配用grep
   • 字段提取用awk
   • 复杂文本处理用sed

3. 大文件处理技巧：

   bash复制# 低效写法（读取整个文件）
   content=$(cat large_file.txt)
   
   # 高效写法（逐行处理）
   while IFS= read -r line; do
      处理逻辑
   done < large_file.txt
   

5.2 安全编码规范

1. 所有变量引用加双引号："$var"
2. 使用mkdir -p避免目录存在错误
3. 文件操作前检查存在性：[ -f "$file" ] && rm "$file"
4. 敏感信息不要硬编码，使用配置文件或环境变量
5. 使用mktemp创建临时文件，避免竞态条件

这是我总结的安全脚本模板：

bash复制#!/bin/bash
set -euo pipefail

readonly WORK_DIR=$(mktemp -d)
trap 'rm -rf "$WORK_DIR"' EXIT

main() {
    local input_file="$1"
    local output_dir="$2"
    
    [ -f "$input_file" ] || { echo "输入文件不存在"; return 1; }
    [ -d "$output_dir" ] || mkdir -p "$output_dir"
    
    process_data "$input_file" > "${WORK_DIR}/temp.txt"
    generate_report "${WORK_DIR}/temp.txt" "$output_dir"
}

process_data() {
    local input="$1"
    grep -v '^#' "$input" | awk '{print $1,$3}'
}

generate_report() {
    local data="$1"
    local out_dir="$2"
    sort "$data" | uniq -c > "${out_dir}/report.txt"
}

main "$@"

6. 复杂案例：自动化部署脚本

6.1 需求场景

我们需要实现一个Web应用的自动化部署脚本，要求：

1. 支持回滚到上一个版本
2. 部署前自动备份配置
3. 支持不同环境（dev/test/prod）
4. 部署后自动运行健康检查

6.2 脚本架构

bash复制#!/bin/bash
set -euo pipefail

readonly APP_NAME="myapp"
readonly BACKUP_DIR="/var/backups/${APP_NAME}"
readonly DEPLOY_LOG="/var/log/${APP_NAME}.log"

usage() {
    echo "用法: $0 [-e env] [-v version] [-r]"
    echo "  -e 环境 (dev|test|prod)"
    echo "  -v 部署版本号"
    echo "  -r 回滚到上个版本"
    exit 1
}

log() {
    echo "[$(date '+%Y-%m-%d %H:%M:%S')] $*" | tee -a "$DEPLOY_LOG"
}

backup_config() {
    local env="$1"
    local timestamp=$(date +%Y%m%d%H%M%S)
    local backup_path="${BACKUP_DIR}/${env}_${timestamp}.tar.gz"
    
    mkdir -p "$BACKUP_DIR"
    tar -czf "$backup_path" "/etc/${APP_NAME}/${env}.conf" 2>/dev/null || true
    log "配置已备份到：$backup_path"
}

deploy() {
    local env="$1"
    local version="$2"
    
    log "开始部署 ${APP_NAME} v${version} 到 ${env} 环境"
    backup_config "$env"
    
    # 实际部署逻辑
    systemctl stop "${APP_NAME}.service" || true
    unzip -o "/opt/releases/${APP_NAME}_${version}.zip" -d "/opt/${APP_NAME}"
    cp "/etc/${APP_NAME}/${env}.conf" "/opt/${APP_NAME}/config/"
    systemctl start "${APP_NAME}.service"
    
    health_check "$env"
    log "部署成功完成"
}

rollback() {
    local env="$1"
    # 回滚逻辑...
}

health_check() {
    local env="$1"
    # 健康检查逻辑...
    log "健康检查通过"
}

main() {
    local env="dev"
    local version=""
    local rollback_flag=false
    
    while getopts "e:v:r" opt; do
        case "$opt" in
            e) env="$OPTARG" ;;
            v) version="$OPTARG" ;;
            r) rollback_flag=true ;;
            *) usage ;;
        esac
    done
    
    [ "$rollback_flag" = true ] && rollback "$env"
    [ -z "$version" ] && { log "必须指定版本号"; usage; }
    
    deploy "$env" "$version"
}

main "$@"

6.3 关键设计点

1. 健壮性设计：

   • 使用set -euo pipefail确保错误能被捕获
   • 所有关键操作都有日志记录
   • 部署前自动备份配置

2. 可维护性：

   • 功能拆分为独立函数
   • 使用具名变量而非魔法数字
   • 提供清晰的用法说明

3. 可扩展性：

   • 通过-e参数支持多环境
   • 预留了健康检查接口
   • 回滚机制独立实现

这个脚本框架我在三个不同项目中成功应用，平均减少部署时间从15分钟到30秒，且消除了人为操作失误。

7. Shell脚本的现代替代方案

虽然Shell脚本很强大，但在复杂场景下也有局限性。以下是我总结的选型建议：

1. 简单系统管理任务：坚持用Shell脚本

   • 文件操作
   • 进程管理
   • 简单的文本处理

2. 需要复杂逻辑时考虑：

   • Python：更适合数据处理、API调用
   • Go：需要高性能或跨平台时
   • Ansible：配置管理和编排

3. 何时该重构Shell脚本：

   • 脚本超过500行
   • 需要复杂数据结构（数组/字典）
   • 需要异常处理
   • 需要单元测试

迁移示例：将日志分析脚本改写成Python

python复制#!/usr/bin/env python3
from collections import Counter
import sys

def analyze_log(file_path):
    with open(file_path) as f:
        lines = f.readlines()
    
    ips = [line.split()[0] for line in lines]
    status_codes = [line.split()[8] for line in lines]
    
    print("TOP 10 IPs:")
    for ip, count in Counter(ips).most_common(10):
        print(f"{ip}: {count}")
    
    print("\nStatus Code统计:")
    for code, count in Counter(status_codes).items():
        print(f"{code}: {count}")

if __name__ == "__main__":
    if len(sys.argv) < 2:
        print("请指定日志文件路径")
        sys.exit(1)
    
    analyze_log(sys.argv[1])

这个Python版本虽然功能相同，但更容易扩展（比如添加异常处理、支持更多分析维度），代码也更具可读性。

8. 我总结的Shell脚本最佳实践

经过多年实战，我总结了这些黄金法则：

1. 代码风格：

   • 统一缩进（建议2或4空格）
   • 函数和变量使用小写加下划线命名
   • 常量使用大写加下划线
   • 每个函数不超过50行

2. 文档注释：

   • 脚本开头写明用途、作者、版本
   • 每个函数说明其功能、参数和返回值
   • 复杂逻辑添加行内注释

3. 错误处理：

   • 检查命令返回值
   • 验证输入参数
   • 使用trap清理资源

4. 性能考量：

   • 避免不必要的子进程
   • 大文件使用流式处理
   • 多次使用的命令结果存变量

5. 可维护性：

   • 将长脚本拆分为多个小脚本
   • 公共函数提取到单独文件用source引入
   • 保持与ShellCheck等工具兼容

这是我维护大型Shell项目的目录结构示例：

code复制/project
  ├── bin/            # 可执行脚本
  ├── lib/            # 公共函数库
  ├── etc/            # 配置文件
  ├── tests/          # 测试用例
  ├── logs/           # 日志文件
  └── README.md       # 项目文档

最后分享一个真实教训：曾经因为忘记在rm命令前检查变量是否为空，导致删除了整个数据目录。从此之后，我养成了两个习惯：

1. 所有删除操作前打印确认提示
2. 使用rm -- "$dir"而非rm $dir防止参数扩展