Shell脚本编程进阶：高效系统管理与自动化实战

1. Shell编程进阶：从基础到实战的深度解析

作为Linux系统管理员，Shell脚本是我们日常工作中最强大的武器之一。上篇我们介绍了基础语法和常用命令，这次我们要深入探讨那些真正能提升效率的实战技巧。我在这行干了十多年，见过太多人把Shell脚本写得像面条代码——看似能跑，实则隐患重重。今天分享的这些经验，都是我在生产环境踩坑后总结出来的精华。

Shell脚本不只是命令的堆砌，它是一种完整的编程语言。从变量处理到流程控制，从错误处理到性能优化，每个环节都有讲究。特别是在处理系统管理、日志分析、批量操作等场景时，一个好的脚本能节省数小时的人工操作时间。接下来我会用实际案例，带你掌握Shell编程的进阶技巧。

2. 高级变量操作与字符串处理

2.1 变量高级用法

变量是Shell脚本的基石，但很多人只停留在基础赋值阶段。看看这些你可能不知道的用法：

bash复制# 变量默认值设置
${var:-default}  # 如果var未设置或为空，使用default
${var:=default}  # 如果var未设置或为空，使用default并赋值给var
${var:?error}    # 如果var未设置或为空，打印error并退出

# 变量长度获取
length=${#var}

# 子字符串提取
${var:offset:length}  # 从offset开始提取length个字符

注意：在脚本开头加上set -u可以让脚本在遇到未定义变量时立即报错退出，避免隐蔽的错误扩散。

2.2 字符串处理实战

字符串处理是Shell脚本中最常见的操作之一。除了基本的截取，我们还需要掌握模式匹配：

bash复制# 删除匹配前缀
${var#pattern}   # 最短匹配
${var##pattern}  # 最长匹配

# 删除匹配后缀
${var%pattern}   # 最短匹配
${var%%pattern}  # 最长匹配

# 字符串替换
${var/pattern/replacement}  # 第一个匹配替换
${var//pattern/replacement} # 全部匹配替换

实际案例：批量重命名日志文件，将日期从MM-DD-YYYY格式改为YYYYMMDD：

bash复制for file in *.log; do
    date_part=${file%.log}
    new_date=$(echo "$date_part" | awk -F'-' '{print $3$1$2}')
    mv "$file" "${new_date}.log"
done

3. 数组与关联数组的妙用

3.1 基础数组操作

数组在批量处理数据时特别有用，但很多Shell程序员却很少使用：

bash复制# 声明数组
files=(/var/log/*.log)

# 访问元素
echo "${files[0]}"  # 第一个元素
echo "${files[-1]}" # 最后一个元素

# 遍历数组
for file in "${files[@]}"; do
    echo "Processing: $file"
done

# 数组长度
echo "Total files: ${#files[@]}"

3.2 关联数组（键值对）

Bash 4.0+支持关联数组，这在处理配置项时特别方便：

bash复制declare -A servers
servers=(
    [web1]="192.168.1.10"
    [db1]="192.168.1.20"
    [cache1]="192.168.1.30"
)

# 遍历关联数组
for server in "${!servers[@]}"; do
    echo "Server $server has IP ${servers[$server]}"
done

实操心得：在脚本开头检查Bash版本，确保支持所需特性：

bash复制if ((BASH_VERSINFO[0] < 4)); then
    echo "Error: This script requires Bash 4.0 or higher" >&2
    exit 1
fi

4. 函数的高级用法与模块化设计

4.1 函数参数传递技巧

Shell函数参数传递有其独特之处：

bash复制# 定义函数
process_file() {
    local filename="$1"  # 总是将参数赋值给局部变量
    local mode="${2:-read}"  # 带默认值的参数
    
    [[ -f "$filename" ]] || { echo "File not found: $filename"; return 1; }
    
    case "$mode" in
        read) cat "$filename" ;;
        write) echo "Data" > "$filename" ;;
        *) echo "Invalid mode: $mode"; return 2 ;;
    esac
}

# 调用函数
process_file "/var/log/syslog"
process_file "/tmp/test.log" "write"

4.2 函数返回值的最佳实践

Shell函数只能返回退出状态码(0-255)，要返回更多数据有三种方式：

1. 使用全局变量（不推荐，容易污染命名空间）
2. 通过echo输出，调用者用$()捕获
3. 使用文件描述符传递数据

推荐方式：

bash复制# 函数定义
get_system_info() {
    local -n result=$1  # 使用nameref特性(Bash 4.3+)
    result=(
        [hostname]=$(hostname)
        [memory]=$(free -m | awk '/Mem:/ {print $2}')
        [load]=$(uptime | awk -F'load average: ' '{print $2}')
    )
}

# 调用函数
declare -A sysinfo
get_system_info sysinfo
echo "Hostname: ${sysinfo[hostname]}"
echo "Memory: ${sysinfo[memory]}MB"

5. 错误处理与脚本健壮性

5.1 错误处理机制

一个健壮的脚本必须妥善处理错误：

bash复制#!/bin/bash
set -euo pipefail  # 三个安全开关：
                   # -e: 命令失败立即退出
                   # -u: 使用未定义变量时报错
                   # -o pipefail: 管道中任意命令失败则整个管道失败

# 自定义错误处理
trap 'echo "Error at line $LINENO"; cleanup; exit 1' ERR

# 清理函数
cleanup() {
    rm -f "$temp_file"
}

# 临时文件处理
temp_file=$(mktemp) || { echo "Failed to create temp file"; exit 1; }

# 业务逻辑
if ! grep -q "error" /var/log/syslog > "$temp_file"; then
    echo "No errors found in syslog"
fi

5.2 日志记录技巧

完善的日志系统对调试和维护至关重要：

bash复制log() {
    local level="$1"
    local message="$2"
    local timestamp=$(date "+%Y-%m-%d %H:%M:%S")
    echo "[$timestamp] [$level] $message" >> "$log_file"
}

# 使用示例
log "INFO" "Script started"
if ! perform_task; then
    log "ERROR" "Task failed"
    exit 1
fi
log "INFO" "Script completed"

6. 性能优化与高级I/O操作

6.1 减少子进程创建

Shell脚本慢的主要原因之一是频繁创建子进程。优化方法：

bash复制# 差的做法：每次循环都调用grep
for word in "${words[@]}"; do
    count=$(grep -c "$word" large_file.txt)
done

# 好的做法：一次性处理
grep -F -f <(printf "%s\n" "${words[@]}") large_file.txt | sort | uniq -c

6.2 使用文件描述符进行高级I/O

bash复制# 同时读写文件
exec 3<>data.txt  # 打开文件描述符3用于读写
read -u 3 line
echo "New data" >&3
exec 3>&-  # 关闭文件描述符

# 网络通信示例
exec 3<>/dev/tcp/google.com/80
echo -e "GET / HTTP/1.1\nHost: google.com\n\n" >&3
cat <&3
exec 3>&-

7. 实战案例：系统监控脚本

结合以上知识，我们开发一个实用的系统监控脚本：

bash复制#!/bin/bash
set -euo pipefail

# 配置部分
readonly LOG_FILE="/var/log/system_monitor.log"
readonly ALERT_THRESHOLD=90
readonly CHECK_INTERVAL=60

# 初始化日志
log() {
    echo "[$(date '+%Y-%m-%d %H:%M:%S')] $*" >> "$LOG_FILE"
}

# 获取CPU使用率
get_cpu_usage() {
    local usage=$(top -bn1 | grep "Cpu(s)" | sed "s/.*, *\([0-9.]*\)%* id.*/\1/" | awk '{print 100 - $1}')
    printf "%.0f" "$usage"
}

# 获取内存使用率
get_mem_usage() {
    free | awk '/Mem:/ {printf "%.0f", $3/$2 * 100}'
}

# 获取磁盘使用率
get_disk_usage() {
    df -h | awk '/\/$/ {print $5}' | tr -d '%'
}

# 主监控循环
while true; do
    cpu=$(get_cpu_usage)
    mem=$(get_mem_usage)
    disk=$(get_disk_usage)
    
    log "System Status - CPU: ${cpu}%, Memory: ${mem}%, Disk: ${disk}%"
    
    # 告警检查
    if (( cpu > ALERT_THRESHOLD )); then
        log "ALERT: High CPU usage detected: ${cpu}%"
    fi
    
    if (( mem > ALERT_THRESHOLD )); then
        log "ALERT: High Memory usage detected: ${mem}%"
    fi
    
    if (( disk > ALERT_THRESHOLD )); then
        log "ALERT: High Disk usage detected: ${disk}%"
    fi
    
    sleep "$CHECK_INTERVAL"
done

8. 调试技巧与常见问题排查

8.1 调试技巧

bash复制# 使用-x选项打印执行命令
bash -x script.sh

# 在脚本中局部开启调试
set -x   # 开启调试
code_block
set +x   # 关闭调试

# 打印变量值
declare -p var_name

# 检查函数调用
typeset -f function_name

8.2 常见问题速查表

9. 安全编程实践

9.1 安全注意事项

1. 永远不要相信用户输入：

   bash复制# 危险！
   rm -rf $user_input/*
   
   # 安全做法
   for item in $user_input/*; do
       [[ -e "$item" ]] && rm -rf "$item"
   done
   

2. 使用密码时避免记录在历史中：

   bash复制read -s -p "Enter password: " password
   echo
   

3. 处理文件名中的特殊字符：

   bash复制# 使用--标记选项结束
   grep -- "$pattern" -- "$filename"
   

9.2 权限最小化原则

bash复制# 使用最小权限用户运行
if [[ $EUID -ne 0 ]]; then
    echo "This script must be run as root" >&2
    exit 1
fi

# 临时提权执行特定命令
sudo -u nobody command_to_run

10. 脚本分发与维护

10.1 打包与分发

对于复杂的脚本项目，建议采用标准Linux打包方式：

1. 创建标准的目录结构：

   code复制/usr/local/bin/script.sh      # 主脚本
   /etc/script.conf              # 配置文件
   /var/lib/script/              # 数据文件
   /var/log/script.log           # 日志文件
   

2. 使用install命令部署：

   bash复制install -m 755 script.sh /usr/local/bin/script
   install -m 644 script.conf /etc/
   

10.2 版本控制

即使是脚本也应该使用版本控制：

bash复制#!/bin/bash
# Script: system_backup
# Version: 1.2.0
# Changelog:
# 1.2.0 - Added compression option
# 1.1.0 - Improved error handling
# 1.0.0 - Initial release

建议将脚本放入Git仓库，并使用tag管理版本。