LVS负载均衡群集
VS-DR集群概述
LVS-DR（Linux Virtual Server Director Server）工作模式，是生产环境中最常用的一 种工作模式。
LVS-DR 工作原理
LVS-DR 模式，Director Server 作为群集的访问入口，不作为网关使用，节点 Director Server 与 Real Server 需要在同一个网络中，返回给客户端的数据不需要经过 Director Server。为了响应对整个群集的访问，Director Server 与 Real Server 都需要配置 VIP 地址。
LVS-DR数据包流量分析（同一局域网）
客户端向目标VIP发送请求，负载均衡器接收
负载均衡器根据负载均衡算法选择后端真实服务器，不修改也不封装IP报文，而是将数据帧的MAC地址改为后端真实服务器的MAC地址，然后在局域网上发送
后端真实服务器收到这个帧，解封装后发现目标IP与本机匹配（事先绑定了VIP），于是处理这个报文。随后重新封装报文，将响应报文通过lo接口传送给物理网卡然后向外发出
客户端将收到回复报文。客户端认为得到正常的服务，而不会知道是哪一台服务器处理的
如果跨网段，则报文通过路由器经由 internet 返回给用户
LVS-DR中的ARP问题
问题一
在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址，在局域网中具有相同的IP地址。势必会造成各服务器ARP通信的紊乱
当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上，它们都会接收到ARP广播
只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播
LVS-DR处理问题后的流量分析
客户端发送请求到Director server (负载均衡器)，请求的数据报文(源IP是CIP，目标IP是VIP)到达内核空间。
Director Server和Real server在同一个网络中，数据通过二层数据链路层来传输。
内核空间判断数据包的目标I是本机VIP，此时IPVS (IP虚拟服务器)比对数据包请求的服务是否是集群服务，是集群服务就重新封装数据包。修改源MAC地址为Director Server的MAC地址，修改目标MAC地址为Real Server的MAC地址，源IP地址与目标IP地址没有改变，然后将数据包发送给Real Server。
到达Real server的请求报文的MAC地址是自身的MAC地址，就接收此报文。数据包重新封装报文(源IP地址为VIP，目标IP为CIP)，将响应报文通过 lo 接口传送给物理网卡然后向外发出。
Real Server 直接将响应报文传送到客户端。
LVS-DR 特性
Director Server和Real Server必须在同一-个物理网络中。
Real Server可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对RIP进行直接访问。
Director Server作为群集的访问入口，但不作为网关使用。
所有的请求报文经由Director Server，但回复响应报文不能经过Director Server
Real Server的网关不允许指向Director Server IP，即Real Server发送的数据包不允许经过Director Server。
Real Server上的10接口配置VIP的IP地址。
直接路由模式（lvs-dr）
| 主机 | 操作系统 | IP 地址 | 应用 |
|---|---|---|---|
| lvs | openEuler 24.03 | 192.168.10.101 | ipvsadm |
| web1 | openEuler 24.03 | 192.168.10.102 | Apache、nfs、bind-utils |
| web2 | openEuler 24.03 | 192.168.10.103 | Apache、nfs、bind-utils |
| nfs | openEuler 24.03 | 192.168.10.104 | nfs、bind-utils |
配置负载调度器
下面是配置负载调度器的具体步骤。
配置虚拟 IP 地址（VIP）
采用虚接口的方式（ens33:0），为网卡 ens33 绑定 VIP 地址，以便响应群集访问。配置结果为 ens33
192.168.10.101/24、ens33:0 192.168.10.100/24。
[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-ens33 ifcfg-ens33:0
[root@localhost network-scripts]# vim ifcfg-ens33:0
NAME=ens33:0
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.10.100
NETMASK=255.255.255.255 // 注意：子网掩码必须全为 1[root@localhost network-scripts]# systemctl restart NetworkManager
[root@localhost network-scripts]# ifconfig ens33:0
ens33:0: flags=4163 mtu 1500
inet 172.16.16.172 netmask 255.255.255.255 broadcast 172.16.16.255
ether 00:0c:29:93:80:05 txqueuelen 1000 (Ethernet)
调整 proc 响应参数
对于 DR 群集模式来说，由于 LVS 负载调度器和各节点需要共用 VIP 地址，应该关闭 Linux 内核的重定向参数响应。
[root@localhost ~]# vi /etc/sysctl.conf
…… // 省略部分信息
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
[root@localhost ~]# sysctl -p
配置负载分配策略
配置负载分配策略的命令如下：
[root@localhost ~]# ipvsadm -C // 清除原有策略
[root@localhost ~]# ipvsadm -A -t 192.168.10.100:80 -s rr
[root@localhost ~]# ipvsadm -a -t 192.168.10.100:80 -r 192.168.10.102 -g -w 1
[root@localhost ~]# ipvsadm -a -t 192.168.10.100:80 -r 192.168.10.103 -g -w 1
[root@localhost ~]# ipvsadm-save > /etc/sysconfig/ipvsadm// 保存策略
[root@localhost ~]# systemctl enable ipvsadm配置节点服务器
使用 DR 模式时，节点服务器也需要配置 VIP 地址，并调整内核的 ARP 响应参数以阻止更新 VIP 的 MAC 地址，避免发生冲突。除此以外，Web 服务的配置与 NAT 方式类似。
配置虚拟 IP 地址（VIP）
在每个节点服务器，同样需要具有 VIP 地址 192.168.10.100，但此地址仅用作发送 Web 响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。因此使用虚接口 lo:0 来承载 VIP 地址，并为本机添加一条路由记录，将访问 VIP 的数据限制在本地，以避免通信紊乱。
修改为自己的 VIP
vip='192.168.10.100'
临时添加 VIP（重启失效）
sudo ip addr add ${vip}/32 dev lo label lo:0
临时添加路由（重启失效）
sudo ip route add local ${vip}/32 dev lo
永久生效（通过 rc.local 或 NetworkManager 脚本）
echo "ip addr add ${vip}/32 dev lo label lo:0" | sudo tee -a /etc/rc.local
echo "ip route add local ${vip}/32 dev lo" | sudo tee -a /etc/rc.local
sudo chmod +x /etc/rc.local整 proc 响应参数。
调整 proc 响应参数的命令如下：
[root@localhost ~]# vi /etc/sysctl.conf
…… // 省略部分信息
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
[root@localhost ~]# sysctl -p安装 httpd，创建测试网页
安装 httpd，创建测试网页的命令如下：
[root@localhost ~]# yum -y install httpd
[root@localhost ~]# mount 192.168.10.104:/opt/wwwroot/var/www/html
// 实验时可跳过，NFS 共享配置可参考第 01 章
[root@localhost ~]# vi /var/www/html/index.html
启用 httpd 服务程序
[root@localhost ~]# systemctl start httpd
[root@localhost ~]# systemctl enable httpd测试 LVS 群集
安排多台测试机，从 Internet 中直接访问 http://192.168.10.100/，将能够看到由真实服务器提供的网页内容。如果各节点的网页不同，则不同客户机看到的网页可能也不一样（可以多刷新几次）。
在 LVS 负载调度器中，通过查看节点状态可以观察当前的负载分配情况，对于轮询算法来说，每个节点所获得的连接负载应大致相当。
[root@localhost network-scripts]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.10.100:80 rr
-> 192.168.10.102:80 Route 1 1 3
-> 192.168.10.103:80 Route 1 1 4