Python实现Linux系统日志实时监控与告警方案

1. 为什么需要监控系统日志？

日志文件是任何系统的生命线，它们记录了系统运行过程中发生的所有重要事件。作为一名运维工程师，我每天都要面对各种系统日志，从/var/log/messages到应用程序特定的日志文件。但手动检查这些日志既耗时又容易遗漏关键信息，这就是为什么我们需要自动化日志监控。

想象一下这样的场景：凌晨3点，你的生产服务器突然宕机。如果没有实时监控，你可能要等到早上用户投诉才发现问题。而一个简单的Python脚本就能在问题刚出现时立即通知你，让你能在问题扩大前及时处理。

2. 监控系统日志的核心组件

2.1 日志文件的选择与定位

不同系统的日志位置各不相同。在Linux系统中，常见的日志文件包括：

• /var/log/syslog（通用系统日志）
• /var/log/auth.log（认证相关日志）
• /var/log/kern.log（内核日志）
• /var/log/nginx/（Nginx日志目录）

选择要监控的日志文件时，需要考虑：

1. 哪些日志包含了关键错误信息？
2. 日志轮转策略是什么？（避免监控被轮转的旧日志）
3. 日志文件权限是否允许你的Python脚本读取？

2.2 日志解析策略

日志解析是监控的核心。我们需要决定：

• 是监控整个日志文件，还是只关注新增内容？
• 如何识别错误模式？（简单的字符串匹配还是复杂的正则表达式）
• 如何处理多行日志条目？

对于实时监控，通常使用tail -f的方式跟踪日志新增内容。Python的file.seek()和file.tell()方法可以帮助我们记录读取位置，避免重复处理相同的日志条目。

3. Python实现日志监控的完整方案

3.1 基础监控脚本实现

下面是一个基本的日志监控脚本框架：

python复制import time
import re

def monitor_log(log_file, pattern, callback):
    with open(log_file, 'r') as f:
        # 移动到文件末尾
        f.seek(0, 2)
        
        while True:
            line = f.readline()
            if not line:
                time.sleep(0.1)  # 短暂休眠避免CPU占用过高
                continue
            
            if re.search(pattern, line):
                callback(line)

def send_alert(message):
    # 这里实现警报发送逻辑
    print(f"ALERT: {message}")

# 监控/var/log/syslog中的错误
monitor_log('/var/log/syslog', r'error|fail|critical', send_alert)

这个基础版本有几个问题需要改进：

1. 没有处理日志轮转
2. 警报发送过于简单
3. 没有错误处理

3.2 处理日志轮转

日志轮转是实际运维中常见的情况。我们需要检测日志文件是否被重新创建：

python复制import os

def monitor_log(log_file, pattern, callback):
    inode = os.stat(log_file).st_ino  # 获取文件的inode号
    
    with open(log_file, 'r') as f:
        f.seek(0, 2)  # 移动到文件末尾
        
        while True:
            # 检查文件是否被轮转
            try:
                current_inode = os.stat(log_file).st_ino
                if current_inode != inode:
                    print("检测到日志轮转，重新打开文件")
                    f.close()
                    inode = current_inode
                    f = open(log_file, 'r')
                    f.seek(0, 2)
            except FileNotFoundError:
                print("日志文件暂时不可用，等待...")
                time.sleep(1)
                continue
            
            line = f.readline()
            if not line:
                time.sleep(0.1)
                continue
            
            if re.search(pattern, line):
                callback(line)

3.3 更智能的警报机制

简单的字符串匹配会产生大量误报。我们可以改进警报逻辑：

1. 使用更精确的正则表达式：

python复制error_pattern = r'(?i)((fatal|critical|sev