部署LVS-DR群集
目录
一、LVS-DR 集群核心概念与应用背景
（一）负载均衡技术的重要性
（二）LVS-DR 模式的定位与优势
二、LVS-DR 集群工作原理深度解析
（一）架构组成与网络要求
（二）数据包流向与处理机制
1. 请求阶段（客户端→调度器→Real Server）
2. 响应阶段（Real Server→客户端）
3. 关键技术细节
（三）负载均衡算法与策略
三、LVS-DR 集群搭建实战（案例环境与操作指南）
（一）案例环境规划
（二）基础环境准备（所有节点通用操作）
（三）调度器（Director Server）配置
1. 绑定虚拟 IP 地址（VIP）
2. 调整内核参数（关闭重定向与 ARP 响应优化）
3. 配置负载均衡策略（ipvsadm 工具使用）
（四）真实服务器（Real Server）配置（以 web1 为例，web2 操作相同）
1. 配置虚拟 IP 地址（VIP）至回环接口
2. 调整内核 ARP 参数（阻止 VIP 的 MAC 地址更新）
3. 安装与配置 Web 服务（Apache）
（五）NFS 共享服务器配置（可选，用于动态内容共享）
1. 安装 NFS 服务端
2. 配置共享目录
3. 启动服务并设置开机自启
四、集群测试与故障排查
（一）连通性测试
（二）负载均衡策略验证
（三）常见故障与排查方法
五、LVS-DR 集群优化与扩展策略
（一）性能优化方向
（二）集群扩展策略
（三）高可用性保障
六、LVS-DR 集群应用场景与行业案例
（一）电商平台应用
（二）在线教育平台应用
（三）游戏行业应用
一、LVS-DR 集群核心概念与应用背景
（一）负载均衡技术的重要性
在数字化业务高速发展的当下，高并发访问成为常态。以电商平台大促为例，瞬间数万甚至数十万的访问请求若集中于单台服务器，必然导致服务崩溃。负载均衡技术如同智能交通枢纽，将流量均匀分配至多台服务器，避免单点过载，保障系统稳定运行。LVS（Linux Virtual Server）作为 Linux 平台下的高性能负载均衡解决方案，凭借其开源、高效、稳定的特性，成为企业构建高并发系统的首选。
（二）LVS-DR 模式的定位与优势
LVS-DR（Direct Routing，直接路由）模式是 LVS 三种工作模式（NAT、TUN、DR）中应用最广泛的一种。相较于 NAT 模式需二次封装数据包且调度器易成为瓶颈、TUN 模式需隧道技术支持的局限性，DR 模式具有以下显著优势：
- 高性能：响应数据包直接由真实服务器（Real Server）返回客户端，无需经过调度器（Director Server），减少数据流转环节，提升吞吐量。
- 低延迟：基于二层链路传输请求数据，避免三层路由的额外开销，降低网络延迟。
- 高扩展性：真实服务器可灵活部署，支持混合使用公网与私有地址，适应复杂网络环境。
二、LVS-DR 集群工作原理深度解析
（一）架构组成与网络要求
- 组件构成
- Director Server（调度器）：作为集群唯一入口，配置虚拟 IP（VIP）接收客户端请求，负责将请求分发至 Real Server，不处理响应数据。
- Real Server（真实服务器）：提供实际服务，需配置与调度器相同的 VIP，用于响应数据的源地址，通过本地回环接口（lo）承载 VIP。
- 共享存储（可选）：如 NFS 服务器，用于存储共享数据，确保各 Real Server 数据一致性，适用于动态内容场景。
- 网络拓扑要求
- 调度器与 Real Server 必须位于同一二层网络（如同一局域网），支持通过交换机直接通信。
- Real Server 的默认网关不可指向调度器 IP，避免响应数据回流至调度器，违反 DR 模式设计原则。
（二）数据包流向与处理机制
1. 请求阶段（客户端→调度器→Real Server）
- 步骤 1：客户端发送请求，数据包结构为源 IP（CIP）→目标 IP（VIP），经网络传输至调度器内核空间。
- 步骤 2：调度器内核通过 IPVS 模块检查目标 IP 是否为集群 VIP，若是则匹配集群服务规则。
- 步骤 3：IPVS 根据负载均衡算法（如轮询 RR）选择目标 Real Server，修改数据包 MAC 地址（源 MAC 为调度器物理地址，目标 MAC 为 Real Server 物理地址），保留 IP 地址不变，通过二层链路发送至 Real Server。
2. 响应阶段（Real Server→客户端）
- 步骤 1：Real Server 接收数据包，因 MAC 地址匹配本机物理地址，正常解析处理。
- 步骤 2：生成响应数据，源 IP 设置为 VIP（与请求目标 IP 一致），目标 IP 为 CIP，通过物理网卡直接返回客户端，无需经过调度器。
3. 关键技术细节
- MAC 地址欺骗：调度器通过修改目标 MAC 地址实现数据分发，Real Server 需隐藏自身 MAC 地址，避免客户端直接访问（通过调整 ARP 参数实现，详见配置部分）。
- VIP 复用：调度器与 Real Server 共用 VIP，通过不同接口（调度器物理接口，Real Server 回环接口）实现逻辑隔离，避免 IP 冲突。
（三）负载均衡算法与策略
LVS 支持多种负载均衡算法，DR 模式中常用算法包括：
- 轮询（Round Robin，RR）：按顺序依次将请求分配至各 Real Server，适用于负载均匀的场景。
- 加权轮询（Weighted Round Robin，WRR）：为不同性能的 Real Server 设置权重，权重高的分配更多请求，实现差异化负载。
- 最少连接（Least Connections，LC）：将请求分配至当前连接数最少的 Real Server，动态适应负载变化。
- 源地址哈希（Source Hash，SH）：根据客户端 IP 地址哈希值绑定至固定 Real Server，实现会话保持。
三、LVS-DR 集群搭建实战（案例环境与操作指南）
（一）案例环境规划
| 主机角色 | 操作系统 | IP 地址配置 | 主要应用 |
|---|---|---|---|
| 调度器（lvs） | openEuler 24.03 | ens33: 192.168.10.101/24（物理 IP） ens33:0: 192.168.10.100/32（VIP） |
ipvsadm（负载均衡管理工具） |
| Real Server 1（web1） | openEuler 24.03 | ens33: 192.168.10.102/24（物理 IP） lo:0: 192.168.10.100/32（VIP） |
Apache（Web 服务）、nfs-utils（共享存储客户端） |
| Real Server 2（web2） | openEuler 24.03 | ens33: 192.168.10.103/24（物理 IP） lo:0: 192.168.10.100/32（VIP） |
Apache、nfs-utils |
| NFS 服务器（nfs） | openEuler 24.03 | ens33: 192.168.10.104/24（物理 IP） | nfs-server（共享存储服务） |
（二）基础环境准备（所有节点通用操作）
- 更新系统与安装依赖工具
sudo yum update -y
sudo yum install -y net-tools ipvsadm sysstat bind-utils # 安装网络工具、IPVS管理工具、系统监控工具
- 关闭防火墙与 SELinux（测试环境）
（三）调度器（Director Server）配置
1. 绑定虚拟 IP 地址（VIP）
原理：通过物理网卡的虚拟子接口（ens33:0）承载 VIP，子网掩码设置为 32 位（255.255.255.255），确保 VIP 仅在本地有效，避免路由冲突。
# 进入网络配置目录
cd /etc/sysconfig/network-scripts/
# 复制物理网卡配置文件作为虚拟接口模板
cp ifcfg-ens33 ifcfg-ens33:0
# 编辑虚拟接口配置
vim ifcfg-ens33:0
配置内容：
NAME=ens33:0
DEVICE=ens33:0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.10.100
NETMASK=255.255.255.255 # 32位掩码，确保VIP为单点地址
# 重启网络服务使配置生效
systemctl restart NetworkManager
# 验证IP配置（应显示ens33:0接口及其VIP）
ifconfig ens33:0
2. 调整内核参数（关闭重定向与 ARP 响应优化）
目的：
- 禁止调度器发送 ICMP 重定向报文，避免误导客户端路由。
- 优化 ARP 响应，防止 Real Server 的 VIP 被错误解析为调度器 MAC 地址。
vim /etc/sysctl.conf
添加以下参数：
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
# 关闭ARP广播，避免暴露Real Server的VIP
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.ens33.arp_announce = 2
net.ipv4.conf.ens33.arp_ignore = 1
# 使内核参数立即生效
sysctl -p
3. 配置负载均衡策略（ipvsadm 工具使用）
核心命令解析：
ipvsadm -A：添加集群服务（-t 指定 TCP 协议，后跟 VIP: 端口）。ipvsadm -a：添加 Real Server 至集群（-r 指定 Real Server IP，-g 表示 DR 模式）。ipvsadm -s：设置负载均衡算法（如 rr 为轮询算法）。ipvsadm -C：清除现有策略（初始化操作）。
# 清除旧策略（首次配置可省略）
ipvsadm -C
# 添加集群服务（监听VIP:80端口）
ipvsadm -A -t 192.168.10.100:80 -s rr # -s指定轮询算法
# 添加Real Server 1（web1）
ipvsadm -a -t 192.168.10.100:80 -r 192.168.10.102 -g -w 1 # -w设置权重为1
# 添加Real Server 2（web2）
ipvsadm -a -t 192.168.10.100:80 -r 192.168.10.103 -g -w 1
# 查看当前策略（应显示集群服务与Real Server列表）
ipvsadm -ln
输出示例：
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.10.100:80 rr
-> 192.168.10.102:80 Route 1 0 0
-> 192.168.10.103:80 Route 1 0 0
# 保存策略至配置文件（重启后生效）
ipvsadm-save > /etc/sysconfig/ipvsadm
# 启用ipvsadm服务开机自启
systemctl enable --now ipvsadm
（四）真实服务器（Real Server）配置（以 web1 为例，web2 操作相同）
1. 配置虚拟 IP 地址（VIP）至回环接口
原理：Real Server 的 VIP 仅用于响应数据的源地址，通过回环接口（lo:0）绑定 VIP，避免与物理网卡 IP 冲突，并通过路由规则限制 VIP 仅在本地使用。
# 定义VIP变量（方便批量操作）
VIP="192.168.10.100"
# 临时添加VIP至lo:0接口（立即生效，重启失效）
ip addr add ${VIP}/32 dev lo label lo:0
# 临时添加本地路由（确保访问VIP的流量留在本地）
ip route add local ${VIP}/32 dev lo
# 永久配置（通过rc.local脚本）
echo "ip addr add ${VIP}/32 dev lo label lo:0" >> /etc/rc.local
echo "ip route add local ${VIP}/32 dev lo" >> /etc/rc.local
chmod +x /etc/rc.local # 赋予执行权限
2. 调整内核 ARP 参数（阻止 VIP 的 MAC 地址更新）
目的：确保 Real Server 在响应 ARP 请求时，不暴露自身物理 MAC 地址，而是让调度器处理客户端的 ARP 解析，维持 DR 模式的正常运作。
vim /etc/sysctl.conf
添加以下参数：
net.ipv4.conf.all.arp_ignore = 1 # 忽略非本地接口的ARP请求
net.ipv4.conf.all.arp_announce = 2 # 限制ARP响应仅使用本地主IP地址
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1 # 特别配置回环接口
net.ipv4.conf.lo.arp_announce = 2
sysctl -p # 使参数生效
3. 安装与配置 Web 服务（Apache）
# 安装Apache
yum -y install httpd
# 配置NFS共享挂载（假设NFS服务器导出目录为/var/www/html）
mkdir -p /var/www/html # 创建挂载点
mount 192.168.10.104:/var/www/html /var/www/html # 临时挂载
# 设置开机自动挂载（编辑/etc/fstab）
echo "192.168.10.104:/var/www/html /var/www/html nfs defaults 0 0" >> /etc/fstab
# 创建测试网页（若未使用NFS共享，则直接编辑本地文件）
echo "Web Server 1 - LVS DR Cluster Test
" > /var/www/html/index.html
# 启动Apache服务并设置开机自启
systemctl start httpd && systemctl enable httpd
（五）NFS 共享服务器配置（可选，用于动态内容共享）
1. 安装 NFS 服务端
yum -y install nfs-utils rpcbind
2. 配置共享目录
vim /etc/exports
添加共享规则：
/var/www/html 192.168.10.0/24(rw,sync,no_root_squash) # 允许192.168.10.0/24网段读写访问
3. 启动服务并设置开机自启
systemctl start rpcbind && systemctl enable rpcbind
systemctl start nfs-server && systemctl enable nfs-server
exportfs -r # 重新导出共享目录使配置生效
四、集群测试与故障排查
（一）连通性测试
-
客户端访问测试
在任意网络节点（如 Windows 主机）打开浏览器，输入http://192.168.10.100，刷新页面多次，观察是否交替显示 web1 与 web2 的测试网页，验证负载均衡效果。 -
调度器与 Real Server 通信测试
# 在调度器上ping Real Server物理IP，确保二层连通性
ping 192.168.10.102 -c 3
# 在Real Server上ping调度器物理IP，验证双向通信
ping 192.168.10.101 -c 3
# 在Real Server上检查lo:0接口VIP是否存在
ip addr show lo:0 | grep ${VIP}
（二）负载均衡策略验证
- 查看 ipvsadm 状态
ipvsadm -ln # 查看实时负载分配情况，ActiveConn与InActConn计数应随访问增加而变化
- 压力测试（使用 ab 工具）
# 在客户端安装Apache Benchmark
yum -y install httpd-tools
# 发起10000次请求测试
ab -n 10000 -c 100 http://192.168.10.100/
预期结果：请求均匀分布至 web1 与 web2，可通过ipvsadm -ln观察到 ActiveConn 计数交替增长。
（三）常见故障与排查方法
| 故障现象 | 可能原因 | 解决方法 |
|---|---|---|
| 客户端无法访问 VIP | 调度器 VIP 未正确绑定 | 检查ifconfig ens33:0输出，重新配置虚拟接口 |
| Real Server 回环接口 VIP 缺失 | 在 Real Server 执行ip addr add ${VIP}/32 dev lo label lo:0并检查路由 |
|
| ARP 缓存污染 | 在客户端执行arp -d ${VIP}清除缓存，或在 Real Server 加强 ARP 抑制参数 |
|
| 响应数据仍经调度器 | Real Server 网关指向调度器 | 检查ip route show，确保默认网关为网络真实网关（非调度器 IP） |
| 负载分配不均 | 负载均衡算法配置错误 | 通过ipvsadm -s重新设置算法，如-s wrr并调整权重 |
| Real Server 服务异常 | 检查 Apache 状态（systemctl status httpd）、NFS 挂载是否正常 |
五、LVS-DR 集群优化与扩展策略
（一）性能优化方向
- 内核参数调优
vim /etc/sysctl.conf
推荐优化参数：
net.ipv4.tcp_syncookies = 1 # 防范SYN
（二）集群扩展策略
- 增加 Real Server 节点
- 硬件准备：添加新的服务器，配置与现有 Real Server 相同的操作系统（如 openEuler 24.03 ），确保网络连通性。
- 软件配置：按照现有 Real Server 的配置步骤，在新节点上配置 VIP 地址、调整内核 ARP 参数、安装 Web 服务（如 Apache） 并挂载 NFS 共享（若有）。
- 调度器更新：在调度器上使用
ipvsadm命令添加新的 Real Server 节点。例如，新节点 IP 为 192.168.10.105 ，执行以下命令：
ipvsadm -a -t 192.168.10.100:80 -r 192.168.10.105 -g -w 1
ipvsadm -s rr # 确保负载均衡算法正确应用
ipvsadm -ln # 检查新节点是否成功添加到集群中
ipvsadm -save > /etc/sysconfig/ipvsadm # 保存更新后的策略
systemctl restart ipvsadm # 重启ipvsadm服务使新配置生效
- 存储扩展
- 数据量增长：若现有 NFS 共享存储容量不足，可考虑扩展存储设备。例如，添加新的硬盘或使用分布式存储系统（如 Ceph ）。
- 分布式存储方案：以 Ceph 为例，需要在多个节点上安装 Ceph 软件包，配置集群并创建存储池。然后在 Real Server 上安装 Ceph 客户端，将 Ceph 存储挂载到 Web 服务的内容目录（如 /var/www/html ）。具体步骤如下：
- 安装 Ceph 软件包：在每个参与 Ceph 集群的节点上执行：
yum -y install ceph ceph - client
- 配置 Ceph 集群：通过 Ceph 命令行工具（如 ceph -deploy ）初始化集群、添加 OSD（对象存储设备） 等操作。
- 创建存储池：在 Ceph 管理节点执行：
ceph osd pool create web_pool 128 128
- 挂载 Ceph 存储到 Real Server：在 Real Server 上编辑 /etc/fstab 文件，添加挂载条目，例如：
ceph - 1:/web_pool /var/www/html ceph _xattr,noatime 0 0
- 重新挂载并验证：
mount -a
df -hT | grep ceph
（三）高可用性保障
- 主备调度器架构
- 配置备用调度器：准备一台与主调度器配置相似的服务器作为备用调度器。在备用调度器上同样配置 VIP 地址（通过 Keepalived 等工具实现 VIP 漂移） ，并安装 ipvsadm 工具。
- Keepalived 配置：在主备调度器上安装 Keepalived
yum -y install keepalived
- 主调度器 Keepalived 配置（/etc/keepalived/keepalived.conf ）：
vrrp_instance VI_1 {
state MASTER
interface ens33
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.10.100
}
}
- 备用调度器 Keepalived 配置（/etc/keepalived/keepalived.conf ）：
vrrp_instance VI_1 {
state BACKUP
interface ens33
virtual_router_id 51
priority 90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.10.100
}
}
- 启动 Keepalived 服务：在主备调度器上执行：
systemctl start keepalived
systemctl enable keepalived
- Real Server 健康检查
- 自定义脚本检查：编写一个 Shell 脚本，定期检查 Real Server 上的 Web 服务（如 Apache ）是否正常运行。例如，创建一个名为 check_web.sh 的脚本：
#!/bin/bash
url = "http://192.168.10.100"
response = $(curl -s -o /dev/null -w "%{http_code}" $url)
if [ "$response" -ne 200 ]; then
echo "Web service on $(hostname) is not working. Response code: $response"
# 可添加将该节点从集群中移除的ipvsadm命令，如：
# ipvsadm -d -t 192.168.10.100:80 -r $(hostname -I | awk '{print $1}')
fi
- 设置定时任务：在调度器上使用 Cron 将脚本设置为定时任务，每 5 分钟检查一次：
echo "*/5 * * * * /path/to/check_web.sh" >> /etc/crontab
六、LVS-DR 集群应用场景与行业案例
（一）电商平台应用
- 高并发购物场景：在电商大促活动期间，大量用户同时访问商品详情页、下单等操作。LVS - DR 集群将流量均衡分配到多个 Web 服务器上，确保系统稳定运行。例如，某知名电商平台在 “双十一” 期间，通过 LVS - DR 集群承载了每秒数万次的并发请求，保证用户购物流程顺畅。
- 数据一致性需求：电商平台的商品库存、用户订单等数据需要保持一致性。通过 NFS 共享存储或分布式存储，各 Real Server 可以实时获取最新数据，避免出现超卖、订单丢失等问题。
（二）在线教育平台应用
- 直播课高峰时段：在线教育平台在直播课程开启时，会迎来大量学生同时接入。LVS - DR 集群能够将直播请求分发到多个流媒体服务器上，保障视频流畅播放。以某在线教育平台为例，在热门课程直播时，集群可同时支持数万名学生在线观看，延迟控制在极低水平。
- 文件存储与共享：平台的教学资料、课件等文件存储在共享存储中，学生和教师可以随时随地访问。通过 LVS - DR 集群与共享存储的结合，提高了文件访问的效率和可靠性。
（三）游戏行业应用
- 游戏服务器负载均衡：在大型网络游戏中，玩家登录、游戏内数据交互等操作会产生大量的网络请求。LVS - DR 集群可以将这些请求合理分配到多个游戏服务器节点上，提升游戏体验。例如，某热门网络游戏通过 LVS - DR 集群实现了全球玩家的高效连接，保证游戏的稳定性和响应速度。
- 游戏资源下载加速：游戏的更新资源、素材等文件通过 LVS - DR 集群分发到多个下载服务器上，玩家可以从最近的服务器获取资源，加快下载速度。