1. 项目概述：基于Flask的交换机故障预警系统
在中小型企业网络运维中，交换机故障往往导致业务中断且排查困难。传统的人工巡检方式效率低下，而商业监控系统又存在成本高、灵活性差的问题。这套基于Flask的运维管理系统，通过Python生态的技术栈实现了轻量级、可定制的交换机监控解决方案。
我在实际部署中发现，系统最核心的价值在于：
- 将SNMP协议采集的原始数据转化为可视化的运维指标
- 通过多级预警机制区分紧急程度（如端口宕机立即告警，CPU过高则延迟触发）
- 自动化处理常见故障场景，比如当检测到BPDU风暴时自动关闭问题端口
2. 技术架构设计解析
2.1 协议层实现方案
SNMPv3采集模块采用PySNMP库实现，关键配置参数包括：
python复制from pysnmp.hlapi import *
errorIndication, errorStatus, errorIndex, varBinds = next(
getCmd(SnmpEngine(),
UsmUserData('user', 'authkey', 'privkey',
authProtocol=usmHMACSHAAuthProtocol,
privProtocol=usmAesCfb128Protocol),
UdpTransportTarget(('switch_ip', 161)),
ContextData(),
ObjectType(ObjectIdentity('IF-MIB', 'ifInOctets', 1)))
)
注意：社区字符串(community)在v2c版本存在安全风险，生产环境务必使用v3版本并配置加密传输
SSH备份通道通过Paramiko实现，处理SNMP不可达时的备用采集方案：
python复制import paramiko
ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
try:
ssh.connect('switch_ip', username='admin', password='password', timeout=5)
stdin, stdout, stderr = ssh.exec_command('show interface brief')
interfaces = parse_cisco_output(stdout.read().decode()) # 厂商特异性解析函数
except paramiko.AuthenticationException:
logger.error("SSH认证失败")
finally:
ssh.close()
2.2 数据处理流水线
采集到的原始数据经过以下处理阶段：
-
数据标准化：不同厂商的OID映射为统一指标
- Cisco CPU利用率：.1.3.6.1.4.1.9.9.109.1.1.1.1.5
- H3C内存使用率：.1.3.6.1.4.1.25506.2.6.1.1.1.1.8
-
阈值检测：动态基线算法示例
python复制def dynamic_threshold(values):
# 排除历史异常值
clean_data = [x for x in values if x < np.percentile(values, 95)]
return np.mean(clean_data) + 2 * np.std(clean_data)
- 事件关联：将端口DOWN与相连设备的告警进行拓扑关联
3. 核心功能实现细节
3.1 实时监控模块
采用多线程架构实现并行采集：
python复制from concurrent.futures import ThreadPoolExecutor
def monitor_worker(device):
while True:
metrics = collect_snmp(device)
db.insert_metrics(metrics)
time.sleep(device['interval'])
with ThreadPoolExecutor(max_workers=10) as executor:
for device in device_list:
executor.submit(monitor_worker, device)
踩坑记录：初期使用多进程导致内存泄漏，后改用线程池+连接池方案
3.2 预警触发机制
分级告警规则配置示例（YAML格式）：
yaml复制rules:
- metric: cpu_usage
operator: ">"
value: 90
duration: 300 # 持续5分钟
level: "critical"
actions:
- type: "email"
receivers: ["ops@example.com"]
- type: "script"
path: "/scripts/reboot_switch.py"
3.3 自动化处理实践
常见故障处理脚本示例：
python复制# 端口环回检测处理
def handle_loop_ports(switch_ip):
with ssh_connect(switch_ip) as conn:
# 检测错误包激增的端口
conn.send("show interface | include input errors|output errors")
problem_ports = parse_problem_ports(conn.recv(5000))
for port in problem_ports:
conn.send(f"interface {port}\nshutdown\n")
time.sleep(3)
conn.send("no shutdown")
log_action(f"端口{port}已重置")
4. 性能优化关键点
4.1 数据库设计技巧
采用时序数据存储方案：
sql复制CREATE TABLE switch_metrics (
device_id INT,
metric_name VARCHAR(50),
metric_value FLOAT,
timestamp TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
PRIMARY KEY (device_id, metric_name, timestamp)
) PARTITION BY RANGE (UNIX_TIMESTAMP(timestamp));
4.2 前端渲染优化
使用Flask-Caching加速仪表盘：
python复制from flask_caching import Cache
cache = Cache(config={'CACHE_TYPE': 'redis'})
@app.route('/dashboard')
@cache.cached(timeout=60)
def dashboard():
devices = get_all_devices_status()
return render_template('dashboard.html', devices=devices)
5. 典型问题排查指南
5.1 SNMP超时问题
常见原因排查流程：
- 验证网络连通性（ping/端口扫描）
- 检查SNMP服务状态（netstat -anu）
- 确认社区字符串/用户权限
- 检查ACL限制（特别是华为设备）
5.2 数据不一致处理
建立数据校验机制：
python复制def validate_metrics(metrics):
valid_ranges = {
'cpu_usage': (0, 100),
'mem_usage': (0, 100),
'temp': (0, 70)
}
for k, v in metrics.items():
if k in valid_ranges and not valid_ranges[k][0] <= v <= valid_ranges[k][1]:
raise ValueError(f"指标{k}值{v}超出合理范围")
6. 部署实践建议
6.1 容器化部署方案
Docker Compose配置示例：
yaml复制version: '3'
services:
web:
build: .
ports:
- "5000:5000"
depends_on:
- redis
- mysql
worker:
build: .
command: celery -A tasks worker --loglevel=info
redis:
image: redis:alpine
mysql:
image: mysql:5.7
environment:
MYSQL_ROOT_PASSWORD: ${DB_PASSWORD}
6.2 高可用改进方向
- 采集服务集群化（通过Consul实现服务发现）
- 数据库主从复制+读写分离
- 告警去重机制（相同设备5分钟内不重复告警）
这套系统在实际运维中可将故障发现时间从小时级缩短到分钟级。一个典型案例是某次核心交换机内存泄漏问题，系统在内存使用率达到85%时就提前发出预警，避免了业务中断。