负载均衡集群--Haproxy群集

WEB集群调度器

目前常见的Web集群调度器分为软件和硬件：

• 软件通常使用开源的LVS、Haproxy、Nginx
• 硬件一般使用比较多的是F5，也有很多人使用国内的一些产品，如梭子鱼、绿盟等

Haproxy

Haproxy概述

  HAProxy是一个使用C语言编写的自由及开放源代码软件，其提供高可用性、负载均衡，以及基于TCP和HTTP的应用程序代理。
  HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。
  HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器不被暴露到网络上。

Haproxy应用

LVS在企业应用中抗负载能力很强，但存在不足:

• LVS不支持正则处理，不能实现动静分离
• 对于大型网站，LVS的实施配置复杂，维护成本相对较高

Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理的软件

• 适用于负载大的Web站点
• 运行在硬件上可支持数以万计的并发连接的连接请求

Haproxy常用调度算法

  Haproxy支持多种调度算法，最常用的有三种：SH、roundrobin、lestconn

SH (Source Hashing)

• 基于来源访问调度算法，用于一些有Session会话记录在服务器端的场景，可以基于来源的IP、Cookie等做集群调度
  理解举例
• 有三个节点A、B、C，第一个用户第一次访问被指派到了A，第二个用户第一次
  访问被指派到了B
• 当第一个用户第二次访问时会被继续指派到A，第二个用户第二次访问时依旧会被指派到B，只要负载均衡调度器不重启，第一个用户访问都会被指派到A，第二个用户访问都会被指派到B，实现集群的调度，就是因为不需要每次从新分配调度，所以适合高并发场景
• 此调度算法好处是实现会话保持，但某些IP访问量非常大时会引起负载不均衡，部分节点访问量超大，影响业务使用

leastconn

  加权最小连接算法：后端具有最少连接数的服务器将接收到请求，根据后端服务器当前连接的活动个数少来调度；haproxy一般推荐使用在较长时间会话场景中；例如，LDAP,MySQL等协议；并不适用用短时间连接，不是特别适用指的是由于leastconn在计算调度权重时，还得扫描后端服务器当前会话数量，所以性能有影响，消耗cpu资源，但是带来的收益是很低的；支持权重的动态改变，支持慢启动，属于wlc调度算法；对于短时间的连接不超过5秒钟，或2秒，一般建议使用roundrobin算法；

roundrobin：动态算法，（加权）轮询；

  加权轮询算法：权重可动态调整动态生效；根据权重轮流使用每个服务器，支持权重的运行时调整及慢启动机制，最大支持4095个后端主机；默认权重为1；其它使用hash调度方式的都支持动静两种方式；动态算法指的是服务器权重，可以在运行时调整，以实现实例的慢启动；所以可以加新server进来，而且可定义权重且可动态调整，不会瞬间调度大量请求，时逐渐调度请求上来的；服务器权重不同时就是加权轮询，相同时就是轮询；

Haproxy日志管理

默认是输出到系统的syslog中，生产环境中一般单独定义

• 定义的方法步骤
  • 修改Haproxy配置文件中关于日志配置的选项，加入配置
    log ldevlog local0 info
    log ldevlog local0 notice
  • 修改rsyslog配置，将Haproxy相关的配置独立定义到
    haproxy.conf，并放到/etc/rsyslog.d/下
  • 保存配置文件并重启rsyslog服务，完成rsyslog配置
    访问Haproxy集群测试网页并查看日志信息

Haproxy参数优化

随着企业网站负载增加，haproxy参数优化相当重要

• maxconn:最大连接数，根据应用实际情况进行调整，推荐使用10 240
• daemon:守护进程模式，Haproxy可以使用非守护进程模式启动，建议使用守护进程模式启动
• nbproc:负载均衡的并发进程数，建议与当前服务器CPU核数相等或为其2倍
• retries:重试次数，主要用于对集群节点的检查，如果节点多，且并发量大，设置为2次或3次
• option http-server-close:主动关闭http请求选项，建议在生产环境中使用此选项
• timeout http-keep-alive:长连接超时时间，设置长连接超时时间，可以设置为10s
• timeout http-request: http请求超时时间，建议将此时间设置为5～10s，增加http连接释放速度
• timeout client:客户端超时时间，如果访问量过大，节点响应慢，可以将此时间设置短一些，建议设置为1min左右就可以了

使用Haproxy搭建web群集

案例环境

  用一台客户端，三台虚拟服务器模拟搭建一套web群集；来自用户的请求有前方的haproxy调度服务器接收并转发给后方的真实web服务器，后方真实web服务器群由两台nginx提供服务。
  ip地址可自己规划

主机	操作系统	ip地址	主要软件
Haproxy服务器	centos7.6	192.168.10.10	haproxy-1.5.19.tar.gz
Nginx服务器1	centos7.6	192.168.10.20	nginx-1.12.0.tar.gz
Nginx服务器2	centos7.6	192.168.10.30	nginx-1.12.0.tar.gz
客户端	Windows 10	192.168.10.40	浏览器

拓扑如下：

服务配置

配置步骤

1.两台web服务器nginx服务配置
2.haproxy服务器配置
3.haproxy服务日志管理

配置内容

haproxy代理调度配置

安装包准备

haproxy-1.5.19.tar.gz  nginx-1.12.0.tar.gz 

可以将各服务器改名,下面的命令将haproxy服务器改名为haproxy,其他的可自己改，不改也可以

[root@localhost ~]# hostnamectl set-hostname haproxy
[root@localhost ~]# su
[root@haproxy ~]# 

web节点服务器
两个nginx服务器配置基本相同

[root@nginx01 ~]# iptables -F
[root@nginx01 ~]# setenforce 0
[root@nginx01 ~]#yum -y install \
pcre-devel \
zlib-devel \
gcc \
gcc-c++ \
make

[root@nginx01 ~]#useradd -M -s /sbin/nologin nginx
[root@nginx01 ~]#tar zxvf nginx-1.12.0.tar.gz -C /opt/

[root@nginx01 ~]#cd nginx-1.12.0/
[root@nginx01 nginx-1.12.0]#./configure \
--prefix=/usr/local/nginx \
--user=nginx
--group=nginx

[root@nginx01 nginx-1.12.0]#make && make install

[root@nginx01 nginx-1.12.0]#cd /usr/local/nginx/html

[root@nginx01 html]#echo "NJIT" > test.html   ##配置另一台nginx服务器改为echo "你想修改的内容" > test.html

[root@nginx01 html]#ln -s /usr/local/nginx/sbin/nginx /usr/sbin/
[root@nginx01 html]#nginx
[root@localhost html]# netstat -antp |grep nginx
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      9086/nginx: master  

haproxy服务器

[root@haproxy ~]# iptables -F
[root@haproxy ~]# setenforce 0

[root@haproxy ~]#yum -y install \
pcre-devel \
bzip2-devel \
gcc \
gcc-c++ \
make

[root@haproxy ~]#tar zxvf haproxy-1.5.19.tar.gz -C /opt/

[root@haproxy ~]#cd haproxy-1.5.19/

[root@haproxy haproxy-1.5.19]#make TARGET=linux26
[root@haproxy haproxy-1.5.19]#make install

[root@haproxy haproxy-1.5.19]#mkdir /etc/haproxy
[root@haproxy haproxy-1.5.19]#cp examples/haproxy.cfg /etc/haproxy
[root@haproxy haproxy-1.5.19]#cd /etc/haproxy
[root@haproxy haproxy]#vim haproxy.cfg

删除以下语句
chroot /usr/share/haproxy
redispatch
删除所有listen字段，再添加以下内容
listen webcluster 0.0.0.0:80
  option httpchk GET /test.html
  balance roundrobin
  server inst1 20.0.0.61:80 check inter 2000 fall 3
  server inst2 20.0.0.110:80 check inter 2000 fall 3
[root@haproxy haproxy]#cd
[root@haproxy ~]#cp haproxy-1.5.19/examples/haproxy.init /etc/init.d/haproxy
[root@haproxy ~]#chmod +x haproxy
[root@haproxy ~]#chkconfig --add /etc/init.d/haproxy
[root@haproxy ~]#ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy

[root@haproxy ~]#service haproxy start
[root@haproxy examples]# netstat -antp |grep haproxy
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      8721/haproxy  

到客户端去测试
访问haproxy的20.0.0.31/test.html即可访问web，按刷新按钮可看到两个nginx的页面即可

haproxy日志管理

我们在之前的日志管理中，一般都是按时间来分割的，在这里我们用日志等级来分割
修改haproxy配置文件中的日志选项

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
 log /dev/log local0 info
 log /dev/log local0 notice

[root@haproxy ~]# service haproxy stop
[root@haproxy ~]# service haproxy start

修改rsyslog配置，将Haproxy相关的配置独立定义到haproxy.conf，放到/etc/rsyslog.d下

[root@haproxy ~]# touch /etc/rsyslog.d/haproxy.conf

[root@haproxy ~]# vim /etc/rsyslog.d/haproxy.conf

if ($programname == 'haproxy' and $syslogseverity-test == 'info')
then -/var/log/haproxy/haproxy-info.log
&~
if ($programname == 'haproxy' and $syslogseverity-test == 'notice')
then -/var/log/haproxy/haproxy-notice.log
&~

[root@haproxy ~]# systemctl restart rsyslog.service

查看日志

[root@haproxy ~]# service haproxy stop
[root@haproxy ~]# service haproxy start
[root@haproxy ~]# systemctl restart rsyslog.service
去访问下网页
[root@haproxy ~]#cd /var/log/
[root@haproxy ~]#ls
可看到haproxy目录
[root@haproxy log]# cd haproxy/
[root@haproxy haproxy]# ls
haproxy-info.log  haproxy-notice.log

相关软件

haproxy和nginx