【LVS实战】03 LVS负载均衡-DR模式实验
本文介绍，如何通过ipvsadm配置负载均衡，并且转发模式为DR直接路由模式
一、网络拓扑
如下图：
LVS负载均衡的机器，配置了一个VIP：10.1.0.7
二、前置准备
每台机器关闭防火墙
systemctl stop firewalld
RS装好nginx，我测试时用的docker来装的
为以验证结果，对应的nginx首页面，设置如下：
root@cd7e26aa7159:~# cat /usr/share/nginx/html/index.html
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>
<body>
<h1>10.1.0.9 </h1>
</body>
</html>
分别输出两台机器的IP10.1.0.9 和10.1.0.10
三、配置过程
1、配置LVS虚拟IP（VIP）
[root@localhost ~]# ifconfig enp0s8:0 10.1.0.7/16
配置后的检查结果
[root@localhost ~]# ifconfig enp0s8:0
enp0s8:0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 10.1.0.7 netmask 255.255.0.0 broadcast 10.1.255.255
ether 08:00:27:b8:e6:5d txqueuelen 1000 (Ethernet)
在宿主机或者同局域网的机器上ping 10.1.0.7
C:\Users\Administrator>ping 10.1.0.7
正在 Ping 10.1.0.7 具有 32 字节的数据:
来自 10.1.0.7 的回复: 字节=32 时间<1ms TTL=64
来自 10.1.0.7 的回复: 字节=32 时间=1ms TTL=64
来自 10.1.0.7 的回复: 字节=32 时间<1ms TTL=64
2、手工执行配置添加LVS服务并增加两台RS
[root@localhost ~]# ipvsadm -C #清空ipvs历史设置
[root@localhost ~]# ipvsadm --set 30 5 60 #设置超时时间（tcp tcpfin udp）
[root@localhost ~]# ipvsadm -A -t 10.1.0.7:80 -s rr -p 20
#说明：
#-A：添加一个虚拟路由主机（LB）
#-t：指定虚拟路由主机的VIP地址和监听端口
#-s：指定负载均衡算法
# -p：指定会话保持时间
[root@localhost ~]# ipvsadm -a -t 10.1.0.7:80 -r 10.1.0.10:80 -g -w 1
[root@localhost ~]# ipvsadm -a -t 10.1.0.7:80 -r 10.1.0.9:80 -g -w 1
#说明：
#-a：添加RS节点
#-t：指定虚拟路由主机的VIP地址和监听端口
#-r：指定RS节点的RIP地址和监听端口
#-g：指定DR模式
#-w：指定权值
查看lvs配置结果
[root@localhost ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 10.1.0.7:80 rr persistent 20
-> 10.1.0.9:80 Route 1 0 0
-> 10.1.0.10:80 Route 1 0 0
ipvs配置删除方法
[root@lvs01 ~]# #ipvsadm -D -t 10.1.0.7:80 -s rr #删除虚拟路由主机
[root@lvs01 ~]# #ipvsadm -d -t 10.1.0.7:80 -r 10.1.0.9:80 #删除RS节点
此时，可以打开浏览器访问http://10.1.0.8体验结果，如果没意外，是无法访问的。（RS将包丢弃了）
[root@localhost ~]# curl -X GET http://10.1.0.7
#无法请求
3、手工在RS端绑定lo网卡及抑制ARP
在每台realServer上设置
[root@localhost ~]# ifconfig lo:0 10.1.0.7/32 up
[root@localhost ~]# ifconfig lo:0
lo:0: flags=73<UP,LOOPBACK,RUNNING> mtu 65536
inet 10.1.0.7 netmask 0.0.0.0
loop txqueuelen 1000 (Local Loopback)
上面的配置，重启后就掉了，工作中得写在配置文件里面
todo 上述配置，如何保存到配置文件？
vim /etc/sysconfig/network-scripts/ifcfg-lo:0
添加路由
[root@localhost ~]# route add -host 10.1.0.7 dev lo
[root@localhost ~]# route -n | grep 10.1.0.7
10.1.0.7 0.0.0.0 255.255.255.255 UH 0 0 0 lo
4、手工在RS端抑制ARP响应
执行下面四句命令
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
5、测试一下效果
在10.1.0.11机器，即上图中的机器B上执行命令
[root@localhost ~]# curl -X GET http://10.1.0.7
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>
<body>
<h1>10.1.0.9 </h1>
</body>
</html>
[root@localhost ~]# curl -X GET http://10.1.0.7
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>
<body>
<h1>10.1.0.10 </h1>
</body>
</html>
在LVS机器上抓包
可以看到只有请求（10.1.0.11）进来（10.1.0.7），并没有返回报文
在RS机器上抓包
可以看到请求的ip是client ip（10.1.0.11），而不是LVS的IP，同时返回报文，是直接返回给client
6、删除RS，试下负载均衡效果
由于现在没有健康检查功能，所以删除实例我们手工来操作一下
删除一台RS，再试着请求
[root@localhost ~]# ipvsadm -d -t 10.1.0.7:80 -r 10.1.0.10:80
[root@localhost ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 10.1.0.7:80 rr persistent 20
-> 10.1.0.9:80 Route 1 0 0
可以看到现在每次都只能请求到10.1.0.9的那台服务了
[root@localhost ~]# curl -X GET http://10.1.0.7
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>
<body>
<h1>10.1.0.9 </h1>
</body>
</html>
最后再把RS加回去
ipvsadm -a -t 10.1.0.7:80 -r 10.1.0.10:80 -g -w 1
7、保存LVS规则到配置文件，保证重启不丢失
[root@localhost ~]# ipvsadm-save > /etc/sysconfig/ipvsadm
[root@localhost ~]# cat /etc/sysconfig/ipvsadm
-A -t localhost.localdomain:http -s rr -p 20
-a -t localhost.localdomain:http -r 10.1.0.9:http -g -w 1
-a -t localhost.localdomain:http -r 10.1.0.10:http -g -w 1
[root@localhost ~]# service ipvsadm restart ##重启ipvsadm看看
Redirecting to /bin/systemctl restart ipvsadm.service
[root@localhost ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 127.0.0.1:80 rr persistent 20
-> 10.1.0.9:80 Route 1 0 0
-> 10.1.0.10:80 Route 1 0 0
todo 两个问题
- 1是VIP设置，重启后丢失了
- 2是ipvsadm配置的东西重启后也丢失了，第7步配置没生效