高性能群集部署技术-LVS负载均衡群集

目录

#1.1LVS群集应用基础

  1.1.1群集技术概述

  1.1.2负载均衡的分层结构

  1.1.3负载均衡的工作模式

#2.1LVS的负载调度算法

  2.1.1使用ipvsadm管理工具

#3.1NFS共享存储服务

  3.1.1使用NFS发布共享资源

  3.1.2在客户机中访问NFS共享资源

#4.1LVS负载均衡的实验案例

  4.1.1配置负载调度器

  4.1.2配置节点服务器

  4.1.3测试LVS群集

---

1.1LVS群集应用基础

1.1.1群集技术概述

    群集技术（Cluster Technology）是指将多台计算机或服务器通过网络连接组合成一个逻辑上的整体，使其像单一系统一样协同工作，以实现高性能、高可用性、可扩展性等目标的技术。

1.1.2负载均衡的分层结构

   在典型的负载均衡群集中，包括三个层次的组件，如图 1.1 所示。前端至少有一个负载调度器（Load Balancer，或称为 Director）负责响应并分发来自客户机的访问请求；后端由大量真实服务器（Real Server）构成服务器池（Server Pool），提供实际的应用服务，整个群集的伸缩性通过增加、删除服务器节点来完成，而这些过程对客户机是透明的；为了保持服务的一致性，所有节点使用共享存储设备。

• 第一层，负载调度器：这是访问整个群集系统的唯一入口，对外使用所有服务器共有的 VIP（Virtual IP，虚拟 IP）地址，也称为群集 IP 地址。通常会配置主、备两台调度器实现热备份，当主调度器失效以后能够平滑替换至备用调度器，确保高可用性。

• 第二层，服务器池：群集所提供的应用服务（如 HTTP、FTP）由服务器池承担，其中每个节点具有独立的 RIP（Real IP，真实 IP）地址，只处理调度器分发过来的客户机请求。当某个节点暂时失效时，负载调度器的容错机制会将其隔离，等待错误排除以后再重新纳入服务器池。

• 第三层，共享存储：为服务器池中的所有节点提供稳定、一致的文件存取服务，确保整个群集的统一性。在 Linux/UNIX 环境中，共享存储可以使用 NAS 设备，或者提供 NFS（Network File System，网络文件系统）共享服务的专用服务器。

1.1.3负载均衡的工作模式

   关于群集的负载调度技术，可以基于 IP、端口、内容等进行分发，其中基于 IP 的负载调度是效率最高的。基于 IP 的负载均衡模式中，常见的有地址转换、IP 隧道和直接路由三种工作模式，如图 1.2 所示。

• 地址转换（Network Address Translation）：简称 NAT 模式，类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关，即作为客户机的访问入口，也是各节点回应客户机的访问出口。服务器节点使用私有 IP 地址，与负载调度器位于同一个物理网络，安全性要优于其他两种方式。

• IP 隧道（IP Tunnel）：简称 TUN 模式，采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的 Internet 连接直接回应客户机，而不再经过负载调度器。服务器节点分散在互联网中的不同位置，具有独立的公网 IP 地址，通过专用 IP 隧道与负载调度器相互通信。

• 直接路由（Direct Routing）：简称 DR 模式，采用半开放式的网络结构，与 TUN 模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络。负载调度器与各节点服务器通过本地网络连接，不需要建立专用的 IP 隧道。

以上三种工作模式中，NAT 方式只需要一个公网 IP 地址，从而成为最易用的一种负载均衡模式，安全性也比较好，许多硬件负载均衡设备就采用这种方式。相比较而言，DR 模式和 TUN 模式的负载能力更加强大，适用范围更广，但节点的安全性要稍差一些。

2.1LVS的负载调度算法

      针对不同的网络服务和配置需要，LVS 调度器提供多种不同的负载调度算法，其中最常用的四种算法是轮询、加权轮询、最少连接和加权最少连接。

• 轮询（Round Robin）：将收到的访问请求按照顺序轮流分配给群集中的各节点，均等地对待每台服务器，而不管服务器实际的连接数和系统负载。

• 加权轮询（Weighted Round Robin）：根据调度器设置的权重值来分发请求，权重值高的节点优先获得任务并且分配的请求越多，这样可以保证性能高的节点承担更多请求。

• 最少连接（Least Connections）：根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点。如果所有的服务器节点性能相近，采用这种方式可以更好地均衡负载。

• 加权最少连接（Weighted Least Connections）：在服务器节点的性能差异较大的情况下，调度器可以根据节点服务器负载自动调整权重，权重较高的节点将承担更大比例的活动连接负载。

2.1.1使用ipvsadm管理工具

[root@localhost test]# ipvsadm -v
ipvsadm v1.31 2019/12/24 (compiled with popt and IPVS v1.2.1)

 （1）创建虚拟服务器

[root@localhost ~]# ipvsadm -A -t 172.16.16.172:80 -s wrr

 （2）添加服务器节点

[root@localhost ~]# ipvsadm -a -t 172.16.16.172:80 -r 192.168.7.21:80 -m -w 4
[root@localhost ~]# ipvsadm -a -t 172.16.16.172:80 -r 192.168.7.22:80 -m -w 2
[root@localhost ~]# ipvsadm -a -t 172.16.16.172:80 -r 192.168.7.23:80 -m -w 3
[root@localhost ~]# ipvsadm -a -t 172.16.16.172:80 -r 192.168.7.24:80 -m -w 1

 上述操作中，有以下选项：

-a 表示添加真实服务器；

-t 用来指定 VIP 地址及 TCP 端口；

-r 用来指定 RIP 地址及 TCP 端口；

-m 表示使用 NAT 群集模式（-g DR 模式和 -i TUN 模式）；

-w 用来设置权重（权重为 0 时表示暂停节点）。

（3）查看群集节点状态

[root@localhost test]# ipvsadm -ln 
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.16.16.172:80 rr
-> 192.168.7.21:80 Masq 1 0 0
-> 192.168.7.22:80 Masq 1 0 0
-> 192.168.7.23:80 Masq 1 0 0
-> 192.168.7.24:80 Masq 1 0 0

 （4）删除服务器节点

[root@localhost ~]# ipvsadm -d -r 192.168.7.24:80 -t 172.16.16.172:80

 （5）保存负载分配策略

[root@localhost ~]# ipvsadm-save > /etc/sysconfig/ipvsadm
[root@localhost ~]# cat /etc/sysconfig/ipvsadm
-A -t 172.16.16.172:http -s rr
-a -t 172.16.16.172:http -r 192.168.7.21:http -m -w 1
-a -t 172.16.16.172:http -r 192.168.7.22:http -m -w 1
-a -t 172.16.16.172:http -r 192.168.7.23:http -m -w 1
[root@localhost ~]# systemctl stop ipvsadm 
[root@localhost ~]# systemctl start ipvsadm 

 3.1NFS共享存储服务

     NFS 是一种基于 TCP/IP 传输的网络文件系统协议，最初由 Sun 公司开发。通过使用 NFS 协议，客户机可以像访问本地目录一样访问远程服务器中的共享资源。对于大多数负载均衡群集来说，使用 NFS 协议来共享数据存储是比较常见的做法，NFS 也是 NAS 存储设备必然支持的一种协议。

3.1.1使用NFS发布共享资源

（1）安装nfs-utils,rpcbind软件包

[root@localhost ~]# yum -y install nfs-utils rpcbind
[root@localhost ~]# systemctl enable nfs-server
[root@localhost ~]# systemctl enable rpcbind

（2）设置共享目录

[root@localhost ~]# mkdir -p /opt/wwwroot
[root@localhost ~]# vi /etc/exports
/opt/wwwroot 192.168.10.0/24(rw,sync,no_root_squash)

[root@localhost ~]# vi /etc/exports
/var/ftp/public 192.168.10.101(ro) 192.168.10.102(rw)

（3）启动NFS服务程序

[root@localhost ~]# systemctl start rpcbind
[root@localhost ~]# systemctl start nfs-server
[root@localhost ~]# netstat -anpt | grep rpc
tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      3357/rpcbind        
tcp        0      0 0.0.0.0:47639           0.0.0.0:*               LISTEN      3280/rpc.statd      
tcp        0      0 0.0.0.0:20048           0.0.0.0:*               LISTEN      3367/rpc.mountd     
tcp6       0      0 :::111                  :::*                    LISTEN      3357/rpcbind        
tcp6       0      0 :::59437                :::*                    LISTEN      3280/rpc.statd      
tcp6       0      0 :::20048                :::*                    LISTEN

（4）查看本机发布的NFS共享目录

[root@localhost ~]# showmount -e
Export list for localhost.localdomain:
/opt/wwwroot 192.168.10.0/24
/var/ftp/public 192.168.10.101,192.168.10.102

3.1.2在客户机中访问NFS共享资源

    NFS 协议的目标是提供一种网络文件系统，因此对 NFS 共享的访问也使用 mount 命令来进行挂载，对应的文件系统类型为 nfs。既可以手动挂载，也可以加入 /etc/fstab 配置文件来实现开机自动挂载。考虑到群集系统中的网络稳定性，NFS 服务器与客户机之间最好使用专有网络进行连接。

（1）安装rpcbind软件包，并启动rpcbind服务

[root@localhost ~]# yum -y install rpcbind nfs-utils
[root@localhost ~]# systemctl enable rpcbind
[root@localhost ~]# systemctl start rpcbind
[root@localhost ~]# showmount -e 192.168.10.104
Export list for 192.168.10.104:
/opt/wwwroot 192.168.10.0/24
/var/ftp/public 192.168.10.101,192.168.10.102

（2）手动挂载NFS共享目录

[root@localhost ~]# mount 192.168.10.104:/opt/wwwroot /var/www/html
[root@localhost ~]# tail -1 /etc/mtab //确认挂载结果
192.168.10.104:/opt/wwwroot             /var/www/html                     nfs4
rw,relatime,vers=4.0,rsize=131072,wsize=131072,namlen=255,hard,proto=tcp,port=0,timeo=600,retrans=2,sec=sys,clientaddr=192.168.10.101,loca
l_lock=none,addr=192.168.10.104 0 0

[root@localhost ~]# vi /var/www/html/index.html //在客户机创建测试文件
Real Web Server Document

（3）fstab自动挂载设置

[root@localhost ~]# vi /etc/fstab
…… //省略部分信息
192.168.10.104:/opt/wwwroot /var/www/html nfs defaults,_netdev 0 0

4.1LVS负载均衡的实验案例

4.1.1配置负载调度器

（1）开启路由转发规则

[root@localhost ~]# vi /etc/sysctl.conf
……
//省略部分信息
net.ipv4.ip_forward = 1
[root@localhost ~]# sysctl -p
net.ipv4.ip_forward = 1

（2）双网卡配置

（3）配置负载分配策略

[root@localhost ~]# ipvsadm -C  //清除原有策略
[root@localhost ~]# ipvsadm -A -t 192.168.74.129:80 -s rr
[root@localhost ~]# ipvsadm -a -t 192.168.74.129:80 -r 192.168.10.102:80-m -w 1
[root@localhost ~]# ipvsadm -a -t 192.168.74.129:80 -r 192.168.10.103:80 -m -w 1
[root@localhost ~]# ipvsadm --save //保存策略
-A -t localhost:http -s rr
-a -t localhost:http -r 192.168.10.102:http -m -w 1
-a -t localhost:http -r 192.168.10.103:http -m -w 1
[root@localhost ~]# systemctl enable ipvsadm
Created symlink from /etc/systemd/system/multi-user.target.wants/ipvsadm.service to /usr/lib/systemd/system/ipvsadm.service.

4.1.2配置节点服务器

[root@localhost ~]# route -n
Kernel IP routing table
Destination    Gateway        Genmask        Flags Metric Ref  Use Iface
0.0.0.0        192.168.10.254 0.0.0.0        UG    100    0   0   ens33
192.168.10.0   0.0.0.0        255.255.255.0  U     100    0   0   ens33
[root@localhost ~]# route del default gw 192.168.10.254  //删除原来的默认网关
[root@localhost ~]# route add default gw 192.168.10.101  //新增默认网关

[root@localhost ~]# yum -y install httpd
[root@localhost ~]# mount 192.168.10.104:/opt/wwwroot /var/www/html
[root@localhost ~]# vi /var/www/html/index.html
LVS 负载均衡群集——测试网页

[root@localhost ~]# systemctl start httpd
[root@localhost ~]# systemctl enable httpd
Created symlink from /etc/systemd/system/multi-user.target.wants/httpd.service to /usr/lib/systemd/system/httpd.service.

4.1.3测试LVS群集

[root@localhost ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.74.129:80 rr
  -> 192.168.10.102:80            Masq    1      0          0
  -> 192.168.10.103:80            Masq    1      0          0
[root@localhost ~]# ipvsadm -lnc //可以查看客户端访问详细信息及状态，便于排查问题
IPVS connection entries
pro expire state       source             virtual
destination
TCP 01:56  TIME_WAIT   192.168.74.1:56993 192.168.74.129:80
192.168.10.102:80
TCP 01:55  TIME_WAIT   192.168.74.1:56990 192.168.74.129:80
192.168.10.103:80
TCP 01:56  TIME_WAIT   192.168.74.1:56996 192.168.74.129:80
192.168.10.103:80
TCP 01:55  TIME_WAIT   192.168.74.1:56991 192.168.74.129:80
192.168.10.102:80
TCP 01:57  TIME_WAIT   192.168.74.1:56997 192.168.74.129:80
192.168.10.102:80
TCP 01:56  TIME_WAIT   192.168.74.1:56992 192.168.74.129:80
192.168.10.103:80