Linux进程管理：从基础命令到高级排查技巧

1. Linux程序管理基础概念

在Linux系统中，程序管理是每个系统管理员和开发者必须掌握的核心技能。与Windows系统不同，Linux采用独特的进程管理机制，理解这些机制对于系统优化和故障排查至关重要。

Linux程序管理主要涉及以下几个关键方面：

• 进程的创建与终止
• 进程优先级调整
• 后台/前台作业控制
• 系统资源监控
• 服务管理

注意：Linux中的"程序"在运行时会成为"进程"，这两个概念经常交替使用，但严格来说，程序是存储在磁盘上的可执行文件，而进程是内存中运行的实例。

2. 进程查看与监控工具

2.1 ps命令详解

ps(process status)是最基础的进程查看工具，常用组合：

bash复制ps aux   # 查看所有用户的所有进程
ps -ef   # 完整格式显示所有进程
ps -u username  # 查看特定用户的进程

关键输出列解析：

• USER：进程所有者
• PID：进程ID
• %CPU：CPU占用百分比
• %MEM：内存占用百分比
• VSZ：虚拟内存用量(KB)
• RSS：常驻内存用量(KB)
• TTY：终端关联
• STAT：进程状态
• START：启动时间
• TIME：累计CPU时间
• COMMAND：启动命令

进程状态(STAT)代码说明：

• R：运行中或可运行
• S：可中断的睡眠状态
• D：不可中断的睡眠状态
• Z：僵尸进程
• T：停止状态
• <：高优先级
• N：低优先级
• s：会话首进程
• l：多线程进程
• +：前台进程组

2.2 top/htop实时监控

top提供动态实时视图：

bash复制top -d 5  # 5秒刷新一次

交互命令：

• M：按内存排序
• P：按CPU排序
• k：终止进程(输入PID)
• r：调整优先级
• q：退出

htop是top的增强版，支持：

• 鼠标操作
• 树状视图
• 颜色标识
• 垂直/水平滚动

安装htop：

bash复制# CentOS/RHEL
sudo yum install epel-release
sudo yum install htop

# Ubuntu/Debian
sudo apt install htop

2.3 其他监控工具

• vmstat：系统整体资源使用情况

  bash复制vmstat 2 5  # 每2秒采样，共5次
  

• iostat：CPU和磁盘I/O统计

  bash复制iostat -dx 2
  

• netstat/ss：网络连接查看

  bash复制netstat -tulnp
  ss -tulnp
  

• lsof：列出打开文件

  bash复制lsof -i :80  # 查看80端口占用
  lsof -u username  # 用户打开的文件
  

3. 进程控制与管理

3.1 启动进程

前台启动：

bash复制/path/to/program

后台启动：

bash复制/path/to/program &

nohup防止挂断：

bash复制nohup /path/to/program > output.log 2>&1 &

3.2 进程终止

正常终止：

bash复制kill -15 PID  # 发送SIGTERM
kill PID      # 默认发送SIGTERM

强制终止：

bash复制kill -9 PID   # 发送SIGKILL

批量终止：

bash复制pkill -f "pattern"  # 按名称模式终止
killall programname  # 终止所有同名进程

3.3 作业控制

查看作业：

bash复制jobs

前后台切换：

bash复制fg %1   # 将作业1调到前台
bg %2   # 将作业2调到后台

挂起当前进程：

code复制Ctrl+Z  # 发送SIGSTOP

3.4 优先级调整

nice值范围：-20(最高)到19(最低)

启动时设置：

bash复制nice -n 10 /path/to/program

调整运行中进程：

bash复制renice 15 -p PID

4. 服务与守护进程管理

4.1 systemd服务管理

查看所有服务：

bash复制systemctl list-units --type=service

常用命令：

bash复制systemctl start servicename
systemctl stop servicename
systemctl restart servicename
systemctl reload servicename
systemctl enable servicename
systemctl disable servicename
systemctl status servicename

查看服务日志：

bash复制journalctl -u servicename
journalctl -u servicename -f  # 实时跟踪

4.2 创建自定义服务

示例服务单元文件(/etc/systemd/system/myapp.service)：

ini复制[Unit]
Description=My Custom Application
After=network.target

[Service]
User=myuser
Group=mygroup
WorkingDirectory=/opt/myapp
ExecStart=/usr/bin/python3 /opt/myapp/main.py
Restart=always
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin"

[Install]
WantedBy=multi-user.target

重载并启用：

bash复制sudo systemctl daemon-reload
sudo systemctl enable myapp
sudo systemctl start myapp

5. 高级进程管理技巧

5.1 进程间通信监控

查看IPC设施：

bash复制ipcs  # 显示所有IPC
ipcs -m  # 共享内存
ipcs -q  # 消息队列
ipcs -s  # 信号量

5.2 进程资源限制

ulimit临时设置：

bash复制ulimit -u 1000  # 最大用户进程数
ulimit -n 4096  # 最大打开文件数

永久限制(/etc/security/limits.conf)：

code复制* soft nofile 4096
* hard nofile 8192
username soft nproc 2000
username hard nproc 4000

5.3 进程调试与跟踪

strace跟踪系统调用：

bash复制strace -f -o trace.log /path/to/program

ltrace跟踪库调用：

bash复制ltrace -f -o trace.log /path/to/program

gdb调试：

bash复制gdb -p PID  # 附加到运行中进程

5.4 容器环境进程管理

查看容器进程：

bash复制docker top container_name

进入容器命名空间：

bash复制nsenter -t PID -m -u -i -n -p

cgroup限制：

bash复制# 创建cgroup
cgcreate -g cpu,memory:mygroup

# 设置限制
cgset -r cpu.cfs_quota_us=50000 mygroup
cgset -r memory.limit_in_bytes=512M mygroup

# 将进程加入cgroup
cgclassify -g cpu,memory:mygroup PID

6. 实战问题排查案例

6.1 高CPU占用排查

1. 使用top找到高CPU进程
2. 获取线程详情：

   bash复制top -H -p PID
   ps -T -p PID
   

3. 分析线程堆栈：

   bash复制gdb -p PID
   thread apply all bt
   

4. 使用perf采样：

   bash复制perf top -p PID
   perf record -p PID -g
   perf report
   

6.2 内存泄漏排查

1. 监控内存增长：

   bash复制watch -n 1 'ps -p PID -o rss,vsz,%mem'
   

2. 使用valgrind检测：

   bash复制valgrind --leak-check=full /path/to/program
   

3. 分析/proc/PID/smaps：

   bash复制cat /proc/PID/smaps | grep -i heap
   

6.3 僵尸进程处理

查找僵尸进程：

bash复制ps aux | grep 'Z'

处理方法：

1. 找到父进程ID(PPID)
2. 向父进程发送SIGCHLD：

   bash复制kill -s SIGCHLD PPID
   

3. 如果无效，终止父进程

6.4 服务启动失败排查

检查服务状态：

bash复制systemctl status servicename

查看详细日志：

bash复制journalctl -u servicename -xe

常见问题：

• 依赖服务未启动
• 配置文件错误
• 权限不足
• 端口冲突
• 资源限制

7. 自动化进程管理脚本

7.1 进程监控脚本

示例监控脚本(monitor_process.sh)：

bash复制#!/bin/bash

PROCESS_NAME="$1"
MAX_RETRIES=3
INTERVAL=60

while true; do
    if ! pgrep -x "$PROCESS_NAME" > /dev/null; then
        echo "[$(date)] Process $PROCESS_NAME not running, attempting to restart..."
        
        for ((i=1; i<=MAX_RETRIES; i++)); do
            systemctl restart "$PROCESS_NAME" && break || sleep 10
        done
        
        if ! pgrep -x "$PROCESS_NAME" > /dev/null; then
            echo "[$(date)] Failed to restart $PROCESS_NAME after $MAX_RETRIES attempts"
            echo "[$(date)] Sending alert email..."
            echo "Process $PROCESS_NAME failed to restart" | mail -s "Process Alert" admin@example.com
        fi
    fi
    
    sleep $INTERVAL
done

7.2 资源限制脚本

CPU和内存限制脚本(limit_resource.sh)：

bash复制#!/bin/bash

PID=$1
CPULIMIT=$2  # 百分比
MEMLIMIT=$3  # MB

# 创建cgroup
cgcreate -g cpu,memory:/limited_group

# 设置限制
cgset -r cpu.cfs_period_us=100000 limited_group
cgset -r cpu.cfs_quota_us=$((CPULIMIT*1000)) limited_group
cgset -r memory.limit_in_bytes=${MEMLIMIT}M limited_group

# 将进程加入cgroup
cgclassify -g cpu,memory:limited_group $PID

echo "Set CPU limit to ${CPULIMIT}% and memory limit to ${MEMLIMIT}MB for PID $PID"

7.3 批量进程管理

批量操作脚本(batch_process.sh)：

bash复制#!/bin/bash

ACTION=$1
PATTERN=$2

case $ACTION in
    start)
        ps aux | grep "$PATTERN" | grep -v grep | awk '{print $2}' | xargs -I{} kill -CONT {}
        ;;
    stop)
        ps aux | grep "$PATTERN" | grep -v grep | awk '{print $2}' | xargs -I{} kill -STOP {}
        ;;
    kill)
        ps aux | grep "$PATTERN" | grep -v grep | awk '{print $2}' | xargs -I{} kill -9 {}
        ;;
    *)
        echo "Usage: $0 {start|stop|kill} pattern"
        exit 1
        ;;
esac