Linux系统集群架构线上项目配置实战

项目整体介绍

**整个项目包括以下几个应用工程**
1、  用户APP
2、  商家APP
3、  业务平台管理后台
4、  商家业务管理后台
5、  官网

**整体项目规划设计如下**
1、  用户APP采用JAVA环境布署，初始环境两台服务器，实现负载均衡与高可用，前端负载使用nginx 做负载
2、  商家APP采用JAVA环境布署，初始环境两台服务器，实现负载均衡与高可用，前端负载使用nginx 做负载
3、  业务平台管理后台采用JAVA环境布署，初始环境一台服务器，前端使用nginx 反向代理，后续业务流量扩大，架构重新扩展
4、  商家平台管理后台采用JAVA环境布署，初始环境一台服务器，前端使用nginx 反向代理，后续业务流量扩大，架构重新扩展
5、  官方网站都是一些静态页面，采用nginx布署，WEB服务另安装FTP服务器，做为业务管理后台一些静态资源的上传
6、  数据库使用Mysql主从复制架构，程序上实现读写分享，从库开启binlog做备份使用
7、  全网所有备份数据全部同步到专业内网备份服务器，所有业务备份数据保留30天
8、  全网所有服务器监控（基本监控与服务监控）都采用zabbix监控

服务器IP地址规划如下

服务器环境与应用软件版本介绍

服务器环境
[root@centos ~]# cat /etc/redhat-release CentOS release 6.8 (Final)
[root@centos ~]# uname -r2.6.32-642.el6.x86_64

应用软件版本

Nginx 1.12.1 Mysql 5.7.17 Jdk 1.8Tomcat 8.5.9 Zabbix 3.0Yum 源使用163、阿里去、sohu国内的源都可以，自行选择Redis 4.0.1

服务器逻辑架构图

服务器基础环境配置
因使用云主机服务器，初始系统安装就略过了，如果需要批量安装的请参考前面的文章

配置国内YUM源，以163为例

[root@centos ~]# cd /etc/yum.repos.d/[root@centos yum.repos.d]# wget http://mirrors.163.com/.help/CentOS6-Base-163.repo[root@centos yum.repos.d]# mv CentOS-Base.repo CentOS-Base.repo.bak[root@centos yum.repos.d]# mv CentOS6-Base-163.repo CentOS-Base.repo

安装需要的软件包

[root@centos ~]# yum install lsof vim telnet dos2unix lrzsz tree –y

关闭不需要启动的服务

[root@centos ~]#for service in `chkconfig --list|grep 3:on|awk '{print $1}'`;do chkconfig --level 3 $service off;done[root@centos ~]#for service in crond network sshd rsyslog;do chkconfig --level 3 $service on;done[root@centos ~]# chkconfig --list|grep 3:on

修改SSH服务的默认配置

cp /etc/ssh/sshd_config /etc/ssh/sshd_config.bak
sed -i 's%#Port 22%Port 2233%g'  /etc/ssh/sshd_config
sed -i 's%#PermitRootLogin yes%PermitRootLogin no%g'  /etc/ssh/sshd_config
sed -i 's%#PermitEmptyPasswors no%PermitEmptyPasswors no%g'  /etc/ssh/sshd_config
sed -i 's%#UseDNS yes%UseDNS no%g'  /etc/ssh/sshd_config
egrep "UseDNS|2233|RootLogin|EmptyPass"  /etc/ssh/sshd_config
/etc/init.d/sshd reload

关闭selinux

配置文件/etc/selinux/config
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config
egrep "SELINUX=" /etc/selinux/config

关闭防火墙
如果不是对外网的服务器，直接关闭防火墙，有外网地址的可建议开启，并允许相关的服务端口，并发高的服务器也不需要开启防火墙，可能会影响性能

/etc/invited/pintables stop/etc/invited/pintables statuspintables: Firewall is not running.

锁定系统关键文件

for file in /etc/passed /etc/shadow /etc/services /etc/initial /etc/rc.localdo
   chattr +i $filedone

配置普通操作用户及sudo权限
具体操作请参考公众号相关文章介绍

配置全网服务器时间同步

/usr/sbin/ntpdate time.windows.comcat>>/var/spool/cron/root</dev/null 2>&1#cron config end EOF

配置全网服务器hosts文件

Cat>>/etc/hosts< 
  
规范所有服务器目录
 
  
[root@centos ~]# mkdir /download/tools/ -p[root@centos ~]# mkdir /app/logs -p[root@centos ~]# mkdir /app -p[root@centos ~]# mkdir /server/{scripts,backup} –p
 
  

 
  
至此基本的服务器优化配置也就结束了，接下来就是安装各类服务
 
  
 
  
分发hosts文件到其它服务器
分发服务器使用全网备份服务器
首先创建分发用户
 
  
[root@centos ~]# useradd fenfa -u 999[root@centos ~]# echo "123456"|passwd --stdin fenfaChanging password for user fenfa.
passwd: all authentication tokens updated successfully.
[root@centos ~]# /bin/cp /etc/sudoers /etc/sudoers.bak[root@centos ~]# echo "fenfa ALL=(root) NOPASSWD:/usr/bin/rsync" >>/etc/sudoers[root@centos ~]# tail -1 /etc/sudoersfenfa ALL=(root) NOPASSWD:/usr/bin/rsync
 
  
切换到fenfa用户创建密钥

安装配置expect服务
[root@centos ~]$ yum install expect* -y
编写脚本
 
  
[fenfa@centos ~]$ vim fenfa.exp#!/usr/bin/expectif {$argc != 2} {
send_user "usage: expect xxxx.exp file host\n"
  it
}#define varset file [lindex $argv 0]set host [lindex $argv 1]set password "123456"spawn ssh-copy-id -i $file  fenfa@$hostexpect {        "yes/no"   {send "yes\r";exp_continue}         "password" {send "$password\r"}
}
expect eof
[fenfa@centos ~]$ vim fenfa_key.sh#!/bin/sh. /etc/init.d/functionsfor ip in `cat host.list`doexpect fenfa.exp ~/.ssh/id_dsa.pub $ip >/dev/null 2>&1if [ $? -eq 0 ];then
   action "$ip" /bin/true
 else
   action "$ip" /bin/falsefidone
 
  
执行脚本结果如下
 
  
[fenfa@centos ~]$ sh fenfa_key.sh10.0.0.1                         [  OK  ]10.0.0.2                         [  OK  ]10.0.0.3                         [  OK  ]10.0.0.4                         [  OK  ]10.0.0.5                         [  OK  ]10.0.0.6                         [  OK  ]10.0.0.7                         [  OK  ]10.0.0.8                         [  OK  ]10.0.0.9                         [  OK  ]10.0.0.10                        [  OK  ]10.0.0.11                        [  OK  ]10.0.0.12                        [  OK  ]10.0.0.13                        [  OK  ]10.0.0.14                        [  OK  ]
[root@centos ~]# su - fenfa[fenfa@centos ~]$ ll /home/fenfa/.ssh/
total 4-rw------- 1 fenfa fenfa 602 Sep 21 12:14 authorized_keys
 
  
编写分发文件脚本


只需要将文件替换成你所需要分发的文件即可
 
  
前端反向代理及管理后台服务器的配置
前端nginx反向代理服务器配置
安装所需的依赖包
 
  
[root@centos ~]# yum install pcre-devel zlib-devle openssl-devel gcc-c++ –y
 
  
编译安装nginx
 
  
cd /download/tools/
wget http://nginx.org/download/nginx-1.12.1.tar.gz
tar zxf nginx-1.12.1.tar.gz
cd nginx-1.12.1./configure --prefix=/app/nginx-1.12.1make && make install
[root@centos ~]# cd /app/[root@centos app]# ln -s nginx-1.12.1 nginx[root@centos ~]# cd /app/nginx/conf/[root@centos conf]# mkdir extra[root@centos conf]# cp nginx.conf nginx.conf.bak
 
  
在nginx.conf文件后增加下面的配置
 
  
include extra/*.conf;
[root@centos ~]# cd /app/nginx/conf/extra/[root@centos extra]# vim admin.mingongge.conf## HTTPS server configuration#server {    listen       80;
    server_name admin.mingongge.com;
    location / {
        proxy_pass http://10.0.0.6:8080;
        proxy_connect_timeout 600;
        proxy_read_timeout 600;
        proxy_send_timeout 600;
    }
}
[root@centos extra]# vim shangjia.mingongge.conf## HTTPS server configuration#server {    listen       80;
    server_name shangjia.mingongge.com;
    location / {
        proxy_pass http://10.0.0.7:8080;
        proxy_connect_timeout 600;
        proxy_read_timeout 600;
        proxy_send_timeout 600;
    }
}
 
  
业务平台管理后台admin.mingongge.com
JDK Tomcat环境安装
 
  
tar zxf apache-tomcat-8.5.9.tar.gz
mv apache-tomcat-8.5.9 /usr/local/tomcat
tar zxf jdk-8u111-linux-x64.tar.gz -C /usr/local/cd /usr/local/
ln -s jdk1.8.0_111 jdk
cat >>/etc/profile < 
  
JDK Tomcat环境配置
 
  
echo "this is the admin.mingongge.com" >/www/admin/index.html
/usr/local/tomcat/bin/startup.sh
 
  
商家管理后台 shangjia.mingongge.com
 
  
JDK Tomcat环境安装请参考前面的步骤
echo "this is the shangjia.mingongge.com" >/www/shangjia/index.html
/usr/local/tomcat/bin/startup.sh
 
  
测试反向代理
 
  
[root@centos ~]# curl http://admin.mingongge.comthis is the admin.mingongge.com
[root@centos ~]# curl http://shangjia.mingongge.comthis is the shangjia.mingongge.com
 
  

模拟用户访问