高可用Web架构：Keepalived+HAProxy+NFS实战

1. 高可用Web架构设计与实现

在互联网服务部署中，确保服务的高可用性是运维工作的核心目标之一。这套由Keepalived、HAProxy、Web服务和NFS组成的解决方案，是我在多个生产环境中验证过的经典架构。它不仅能实现Web服务的负载均衡和故障自动转移，还能保证文件存储的统一管理。

这个架构特别适合中小型互联网企业，尤其是那些需要保证业务连续性但又缺乏大规模运维团队的公司。我曾经用这套方案为一个日PV 50万左右的电商网站做部署，在两年运行期间成功抵御了12次服务器硬件故障和3次网络中断事故。

2. 架构核心组件解析

2.1 Keepalived的高可用机制

Keepalived通过VRRP协议实现虚拟IP(VIP)的自动漂移。在双机热备场景下，主备节点会持续交换心跳包。当备节点连续3次(默认值)未收到主节点心跳时，就会接管VIP所有权。

关键配置参数解析：

code复制vrrp_instance VI_1 {
    state MASTER        # 初始角色
    interface eth0      # 监听网卡
    virtual_router_id 51 # 路由组ID(同一组需相同)
    priority 100        # 优先级(主节点应高于备节点)
    advert_int 1        # 心跳间隔(秒)
    authentication {
        auth_type PASS
        auth_pass 1111  # 认证密码
    }
    virtual_ipaddress {
        192.168.1.100   # 对外服务的VIP
    }
}

实际部署中发现，advert_int不宜设置过小，在虚拟机环境下建议≥1秒，否则可能因CPU负载高导致误切换。

2.2 HAProxy的负载均衡策略

HAProxy支持多种负载算法，对于Web服务我推荐使用leastconn(最小连接数)模式。这种算法能有效避免单个服务器过载，特别适合处理时间不均衡的HTTP请求。

典型的前端服务配置示例：

code复制frontend http-in
    bind *:80
    mode http
    default_backend web_servers

backend web_servers
    mode http
    balance leastconn
    cookie SERVERID insert indirect nocache
    server web1 192.168.1.101:80 cookie web1 check inter 2000 rise 2 fall 3
    server web2 192.168.1.102:80 cookie web2 check inter 2000 rise 2 fall 3

健康检查参数说明：

• inter：检查间隔(ms)
• rise：成功次数判定为健康
• fall：失败次数判定为故障

2.3 NFS共享存储方案

使用NFSv4协议共享Web根目录，确保所有Web节点访问相同的内容文件。建议采用以下挂载参数：

code复制mount -t nfs -o vers=4.0,rw,hard,intr,noatime,nodiratime,timeo=30,retrans=2 192.168.1.200:/webdata /var/www/html

关键参数解释：

• hard：确保写入操作的完整性
• timeo：超时时间(0.1秒单位)
• retrans：重试次数

在生产环境中，NFS服务器应该配置为双网卡绑定(bonding)，并使用RAID10磁盘阵列提升IO性能。

3. 完整部署流程

3.1 基础环境准备

1. 服务器规划：

   • Keepalived+HAProxy节点：2台(主备)
   • Web服务器：至少2台
   • NFS服务器：1台(建议SSD存储)

2. 网络要求：

   • 所有节点需在同一局域网
   • VIP需要配置在网关的路由表中
   • 建议千兆网络环境

3.2 Keepalived安装配置

在CentOS系统上的安装步骤：

bash复制# 安装EPEL仓库
yum install -y epel-release

# 安装Keepalived
yum install -y keepalived

# 编辑配置文件
vi /etc/keepalived/keepalived.conf

备节点配置差异：

code复制state BACKUP
priority 90  # 低于主节点

3.3 HAProxy部署优化

性能调优关键参数：

code复制global
    maxconn 10000
    nbproc 2          # 与CPU核心数匹配
    nbthread 4        # 每个进程的线程数
    tune.ssl.default-dh-param 2048

defaults
    timeout connect 5s
    timeout client 50s
    timeout server 50s

启用状态监控页面：

code复制listen stats
    bind *:8080
    mode http
    stats enable
    stats uri /haproxy?stats
    stats auth admin:password

3.4 Web服务器集群配置

确保所有Web节点：

1. 挂载相同的NFS共享目录
2. 配置相同的应用环境
3. 关闭SELinux和防火墙或配置正确规则

Apache示例配置：

code复制<VirtualHost *:80>
    DocumentRoot /var/www/html
    <Directory /var/www/html>
        Options FollowSymLinks
        AllowOverride All
        Require all granted
    </Directory>
</VirtualHost>

3.5 NFS服务器配置

/etc/exports文件示例：

code复制/webdata 192.168.1.0/24(rw,sync,no_root_squash,no_subtree_check)

启动服务：

bash复制systemctl enable --now nfs-server
firewall-cmd --add-service=nfs --permanent
firewall-cmd --reload

4. 故障排查与性能优化

4.1 常见问题诊断

1. VIP无法漂移：

   • 检查防火墙是否放行VRRP协议(IP协议号112)
   • 使用tcpdump抓包分析VRRP通信：

     bash复制tcpdump -i eth0 vrrp -n
     

2. HAProxy后端标记为DOWN：

   • 确认Web服务端口监听正常
   • 检查网络连通性：

     bash复制curl -I http://backend-server/health-check
     

3. NFS挂载失败：

   • 确认showmount -e能显示共享目录
   • 检查客户端和服务端的nfs服务状态

4.2 性能监控指标

关键监控项及阈值建议：

推荐使用Prometheus+Grafana搭建监控系统，采集以下指标：

• keepalived_vrrp_state
• haproxy_server_up
• node_filesystem_avail_bytes

4.3 扩展优化建议

1. 会话保持优化：

   • 对于需要登录的应用，启用HAProxy的cookie插入
   • 或者使用Redis集中存储会话

2. 静态资源分离：

   • 将图片/CSS/JS等静态资源托管到CDN
   • 或使用单独的Nginx服务器处理

3. SSL终端卸载：

   • 在HAProxy上统一处理HTTPS
   • 启用HTTP/2支持提升性能

5. 安全加固措施

5.1 访问控制策略

1. HAProxy管理接口限制：

   code复制listen stats
       bind *:8080
       acl allowed_ips src 192.168.1.50 192.168.1.51
       http-request deny if !allowed_ips
   

2. NFS访问限制：

   • 使用/etc/hosts.allow和hosts.deny
   • 或者配置NFS的exports为只读模式

5.2 日志审计配置

1. Keepalived日志：

   code复制/etc/sysconfig/keepalived:
   KEEPALIVED_OPTIONS="-D -S 0"
   
   /etc/rsyslog.conf:
   local0.* /var/log/keepalived.log
   

2. HAProxy日志分离：

   code复制frontend http-in
       capture request header User-Agent len 128
       log-format %ci:%cp\ [%t]\ %ft\ %b/%s\ %Tq/%Tw/%Tc/%Tr/%Tt\ %ST\ %B\ %CC\ %CS\ %tsc\ %ac/%fc/%bc/%sc/%rc\ %sq/%bq\ %hr\ %hs\ %{+Q}r
   

5.3 定期维护任务

1. 每月执行：

   • 测试故障转移流程
   • 检查磁盘空间使用情况
   • 更新系统安全补丁

2. 每日检查：

   • 监控报警信息
   • 备份关键配置文件
   • 检查服务进程状态

这套架构在实际运行中表现稳定，但需要特别注意NFS的单点故障问题。对于更高要求的场景，可以考虑用DRBD+Heartbeat实现NFS服务器的高可用，或者直接迁移到分布式文件系统如Ceph。