LVS IPVS NAT模式负载均衡实战部署指南

1. LVS与IPVS基础概念解析

在开始实战部署之前，我们需要先理解几个核心概念。LVS（Linux Virtual Server）是Linux内核自带的负载均衡解决方案，而IPVS（IP Virtual Server）则是实现LVS的核心模块。NAT模式作为LVS三种工作模式之一（另外两种是DR和TUN），在企业级应用中有着广泛的使用场景。

IPVS本质上是一个运行在内核态的流量转发引擎，它通过维护一个哈希表来管理连接分发。当数据包到达负载均衡器时，IPVS会根据预设的调度算法（如轮询、加权最小连接等）选择后端真实服务器，然后修改数据包的目标IP地址和端口号（对于NAT模式还会修改源地址），最终实现流量的均衡分发。

注意：IPVS工作在Linux内核的Netfilter框架中，位于PREROUTING链之后，这意味着它可以与iptables规则协同工作，但也需要注意规则优先级可能带来的影响。

NAT模式的核心特点是：

• 请求和响应流量都经过负载均衡器
• 后端服务器可以使用私有IP地址
• 需要开启Linux内核的IP转发功能
• 会修改数据包的源/目的IP和端口

与DR模式相比，NAT模式的优点是配置简单、后端服务器无需特殊配置，缺点是性能瓶颈明显（所有响应流量都要经过LB），且负载均衡器容易成为单点故障。

2. 环境准备与基础配置

2.1 硬件与网络拓扑规划

典型的NAT模式部署需要以下组件：

• 1台负载均衡器（LVS Server）：至少2个网络接口（公网IP和私网IP）
• 多台真实服务器（Real Server）：只需私网IP
• 客户端访问的公网VIP（Virtual IP）

建议的网络拓扑如下：

code复制客户端 -> [公网] -> LVS(eth0:公网IP, eth1:私网IP) -> [私网] -> Real Server 1/2/3...

2.2 内核模块加载与系统参数调优

首先确保所需内核模块已加载：

bash复制modprobe ip_vs
modprobe ip_vs_nat
modprobe ip_vs_rr  # 轮询调度算法模块

检查模块是否加载成功：

bash复制lsmod | grep ip_vs

关键系统参数配置：

bash复制# 开启IP转发
echo 1 > /proc/sys/net/ipv4/ip_forward

# 关闭ICMP重定向（避免网络混乱）
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects

# 保持TIME_WAIT连接快速回收（高并发场景需要）
echo 1 > /proc/sys/net/ipv4/tcp_tw_recycle
echo 1 > /proc/sys/net/ipv4/tcp_tw_reuse

提示：这些参数修改在重启后会失效，如需持久化需要写入/etc/sysctl.conf文件。

3. IPVS NAT模式详细配置步骤

3.1 定义虚拟服务与真实服务器

使用ipvsadm工具配置VIP和Real Server：

bash复制# 添加虚拟服务（VIP:80使用轮询算法）
ipvsadm -A -t 192.168.1.100:80 -s rr

# 添加真实服务器（-m表示NAT模式）
ipvsadm -a -t 192.168.1.100:80 -r 10.0.0.1:80 -m
ipvsadm -a -t 192.168.1.100:80 -r 10.0.0.2:80 -m
ipvsadm -a -t 192.168.1.100:80 -r 10.0.0.3:80 -m

验证配置：

bash复制ipvsadm -Ln

预期输出应显示VIP和所有Real Server的映射关系。

3.2 后端服务器配置要点

每台Real Server需要：

1. 将默认网关指向LVS服务器的私网IP（本例为10.0.0.254）

   bash复制ip route change default via 10.0.0.254
   

2. 确保服务监听在正确端口（本例为80）
3. 关闭ARP相关参数以避免地址冲突：

   bash复制echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
   echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
   

3.3 会话保持与调度算法选择

IPVS支持多种调度算法，根据场景选择：

• rr（轮询）：默认算法，简单均衡
• wrr（加权轮询）：考虑服务器性能差异
• lc（最小连接）：动态负载最优
• sh（源地址哈希）：保持会话一致性

启用会话保持（同一客户端固定访问同一后端）：

bash复制ipvsadm -E -t 192.168.1.100:80 -s sh

设置持久化服务时间（秒）：

bash复制ipvsadm --set 3600 60 300

4. 高级配置与性能优化

4.1 多VIP与端口映射配置

单个LVS可以服务多个VIP：

bash复制# Web服务
ipvsadm -A -t 192.168.1.100:80 -s wrr
ipvsadm -a -t 192.168.1.100:80 -r 10.0.0.1:8080 -m -w 3
ipvsadm -a -t 192.168.1.100:80 -r 10.0.0.2:8080 -m -w 2

# SSL服务
ipvsadm -A -t 192.168.1.100:443 -s wrr
ipvsadm -a -t 192.168.1.100:443 -r 10.0.0.3:8443 -m -w 1

4.2 连接追踪与超时设置

查看当前连接状态：

bash复制ipvsadm -ln --timeout

调整超时参数（秒）：

bash复制ipvsadm --set 1800 60 300

4.3 使用keepalived实现高可用

安装keepalived：

bash复制yum install keepalived -y  # CentOS
apt-get install keepalived # Ubuntu

配置示例（/etc/keepalived/keepalived.conf）：

bash复制vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.1.100/24
    }
}

virtual_server 192.168.1.100 80 {
    delay_loop 6
    lb_algo wrr
    lb_kind NAT
    persistence_timeout 3600
    protocol TCP

    real_server 10.0.0.1 80 {
        weight 3
        TCP_CHECK {
            connect_timeout 10
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
}

5. 常见故障排查指南

5.1 基础连通性检查

排查步骤：

1. 检查LVS服务器能否ping通所有Real Server
2. 验证Real Server的默认网关是否指向LVS
3. 确认ip_forward是否开启
4. 检查ipvsadm -Ln输出是否符合预期
5. 使用tcpdump抓包分析流量路径：

   bash复制tcpdump -i eth0 host 192.168.1.100 -nnv
   

5.2 典型问题与解决方案

问题1：客户端连接超时

可能原因：

• LVS未开启ip_forward
• Real Server网关配置错误
• 防火墙阻断了转发流量

解决方案：

bash复制# 检查并开启ip_forward
sysctl net.ipv4.ip_forward

# 检查Real Server路由
ip route show

# 临时关闭防火墙测试
systemctl stop firewalld

问题2：负载不均衡

可能原因：

• 调度算法选择不当
• 会话保持导致流量倾斜
• 权重配置不合理

验证方法：

bash复制watch -n 1 ipvsadm -ln --stats

问题3：NAT端口耗尽

现象：

• 高并发时新连接失败
• 系统日志出现"ip_vs_conn: no memory"错误

解决方案：

bash复制# 增加系统最大连接数
echo "net.ipv4.ip_conntrack_max = 655350" >> /etc/sysctl.conf
sysctl -p

# 减少连接保持时间
ipvsadm --set 1800 60 120

5.3 日志分析与监控

查看IPVS连接日志：

bash复制dmesg | grep IPVS

关键监控指标：

• 活动连接数：ipvsadm -ln --stats | grep ActiveConn
• 入站/出站流量：通过ifconfig或ip -s link
• CPU和内存使用：特别是conntrack相关资源

配置prometheus监控示例：

yaml复制- job_name: 'ipvs'
  static_configs:
    - targets: ['localhost:9100']
  metrics_path: /metrics
  params:
    collect[]:
      - ipvs

6. 生产环境最佳实践

6.1 性能优化技巧

1. 连接追踪优化：

   bash复制echo 8192 > /proc/sys/net/ipv4/netfilter/ip_conntrack_max
   echo 120 > /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_established
   

2. 多队列网卡配置：

   bash复制ethtool -L eth0 combined 8  # 根据CPU核心数调整
   

3. CPU亲和性设置：

   bash复制taskset -c 0,1 ipvsadm -A -t 192.168.1.100:80 -s rr
   

6.2 安全加固措施

1. 防止ARP欺骗：

   bash复制echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
   echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
   

2. 防火墙规则限制：

   bash复制iptables -A INPUT -p tcp --dport 80 -j ACCEPT
   iptables -A FORWARD -m state --state RELATED,ESTABLISHED -j ACCEPT
   iptables -P FORWARD DROP
   

3. VIP保护：

   bash复制iptables -A INPUT -d 192.168.1.100 -j DROP
   

6.3 与其它组件集成方案

与Nginx配合：

nginx复制upstream backend {
    server 10.0.0.1;
    server 10.0.0.2;
    keepalive 32;
}

server {
    listen 80;
    location / {
        proxy_pass http://backend;
        proxy_set_header X-Real-IP $remote_addr;
    }
}

与Docker集成：

bash复制docker run -d --net=host --privileged nginx  # 使用host网络模式

与Kubernetes集成：

yaml复制apiVersion: v1
kind: Service
metadata:
  name: my-service
spec:
  ports:
    - protocol: TCP
      port: 80
      targetPort: 9376
  selector:
    app: MyApp
  type: LoadBalancer

在实际部署中，我发现NAT模式虽然配置简单，但在超大规模部署（如每秒数万连接）时，性能瓶颈会非常明显。这时需要考虑DR模式或硬件负载均衡方案。另外，conntrack表的大小需要根据业务特点精心调整，过小会导致新连接被丢弃，过大会消耗大量内存。