MySQL-Replication（主从复制）
一、MySQL-Replication（主从复制）
1.1、MySQL Replication
主从复制（也称 AB 复制）允许将来自一个MySQL数据库服务器（主服务器）的数据复制到一个或多个MySQL数据库服务器（从服务器）。
根据配置，您可以复制数据库中的所有数据库，所选数据库甚至选定的表。
MySQL主从复制的优点包括：
- 横向扩展解决方案 - 在多个从库之间分配负载以提高性能。在此环境中，所有写入和更新都必须在主服务器上进行。但是，读取可以在一个或多个从设备上进行。该模型可以提高写入性能（因为主设备专用于更新），同时显着提高了越来越多的从设备的读取速度。
- 数据安全性 - 因为数据被复制到从站，并且从站可以暂停复制过程，所以可以在从站上运行备份服务而不会破坏相应的主数据。
- 分析 - 可以在主服务器上创建实时数据，而信息分析可以在从服务器上进行，而不会影响主服务器的性能。
- 备份 - 可以使用从服务器数据进行备份，减轻主服务器的压力。
1.2、Replication的原理
前提是作为主服务器角色的数据库服务器必须开启二进制（binlog）日志
原理
主服务器上面的任何修改都会保存在二进制日志（ Bin-log日志） 里面。
从服务器上面启动一个I/O线程， 连接到主服务器上面请求读取二进制（Bin-log）日志，然后把读取到的二进制日志写到本地的Realy-log（中继日志）里面。
从服务器上面同时开启一个SQL线程，读取Realy-log（中继日志），如果发现有更新立即把更新的内容在本机的数据库上面执行一遍。
1.3、配置Replication
配置步骤：
实验:
两台虚拟机（一主一从）
两台都配置hosts解析
# cat /etc/hosts
192.168.62.152 mysql-master
192.168.62.151 mysql-slave1
两端关闭防火墙，selinux
以下配置步骤，不论是有数据还是无数据都需要做
主服务器
- 在主服务器上，您必须启用二进制日志记录并配置唯一的服务器ID。需要重启mysql服务。
编辑主服务器的配置文件 my.cnf，添加如下内容
添加配置 vim /etc/my.cnf
[mysqld]
log-bin=/var/log/mysql/mysql-bin # 二进制日志的位置
server-id=1 # 主库从库不一样
创建日志目录并赋予权限
[root@mysql-1 ~]# mkdir /var/log/mysql
[root@mysql-1 ~]# chown mysql.mysql /var/log/mysql
重启服务
[root@mysql-1 ~]# systemctl restart mysqld
2.应该创建一个专门用于复制数据的用户repl(用户名称可以自定义)
每个从服务器需要使用MySQL 主服务器上的用户名和密码连接到主服务器。
例如，计划使用用户 repl 可以从任何主机上连接到 master 上进行复制操作, 并且用户 repl 仅可以使用复制的权限。
在 主服务器 上执行如下操作
#语法 grant 复制权限 on 库名.表名 to '用户名'@'主机名' identified by '密码'; #密码设置QianFeng@1234
mysql> GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%' identified by '123';
将复制的权限给与此用户
mysql> flush privileges;
查询权限列表
3.在从服务器上使用刚才创建的用户进行测试连接
[root@mysql-slalve ~]# mysql -urepl -p'123' -hmysql-master
测试是否连通，连通退出即可,不要在这里执行任何操作
主服务器中无数据
公司中是什么情况：新的生产线需要部署环境，两台新的机器
从服务器设置
my.cnf配置文件
[mysqld]
server-id=3
重启服务
systemctl restart mysqld
在主服务器上操作
查看主服务器的binlog日志的名称和位置
mysql> show master status \G
file: 指定binlog日志是哪个
Position： 指定binlog的位置点
-
在从服务器的 mysql 中执行如下语句
进入从数据库
[root@mysql-slave1 ~]# mysql -uroot -p'QianFeng@123' mysql> CHANGE MASTER TO MASTER_HOST='mysql-master', MASTER_USER='repl', MASTER_PASSWORD='123', MASTER_LOG_FILE='mysql-bin.000002', MASTER_LOG_POS=681; #MASTER_HOST： 主服务器的主机名或者是ip地址 #MASTER_USER： 主服务器的用户名，我们设置的是repl #MASTER_PASSWORD： 密码 #MASTER_LOG_FILE：日志文件是哪个 #MASTER_LOG_POS：日志的位置 mysql> start slave; # 主服务器不需要启动 mysql> show slave status\G # 均为yes即可 Slave_IO_Running: Yes Slave_SQL_Running: Yes扩展：在从站上暂停复制的操作
您可以使用和stop slave和start slave语句停止并启动从站上的复制 。
要停止从主服务器处理二进制日志，请使用：
mysql> stop slave; //暂停
mysql> start slave; //启动
问题解决：
如果从库上的CHANGE MASTER TO 这一步执行错了
先 stop slave; 停止同步
然后 reset slave; 清除原来的配置后重新执行CHANGE MASTER TO
清除主库binlog日志
mysql> reset master;
主服务器中有数据（要执行上面的配置步骤）
公司中是什么情况：有一台数据库，负载有点高，压力偏大，我们需要再加一台从库，没做主从之前旧的数据是不会被同步的，所以我们需要手动的对旧的数据进行处理。
- 在主服务器中导出先有的数据，将此数据复制到每个从站。
- 使用mysqldump工具创建要复制的所有数据库的转储。
# 首先，我们在主数据库中创建一些测试数据
[root@mysql ~]# mysql -uroot -p'QianFeng@123'
mysql> create database testdb;
mysql> create table testdb.t1(id int,name varchar(50));
mysql> insert into testdb.t1 values(1,'laowang'),(2,'xiaoming'),(3,'xiaoan');
# 然后，将数据导出，使用mysqldump
[root@mysql ~]# mysqldump -uroot -p'QianFeng@123' -A > dbdump.db
# 语法mysqldump -u用户名 -p密码 -A > dbdump.db
这里的用户是主服务器的用户
- 从主服务器中使用
scp工具，把备份出来的数据传输到从服务器中。
在主服务中执行如下命令
[root@mysql ~]# scp dbdump.db root@mysql-slave:/root/
这里的 mysql-slave 需要能被主服务器解析出 IP 地址，或者说可以在主服务器中 ping 通。
- 配置从服务器，并重启
在从服务器上编辑其配置文件my.cnf并添加如下内容
// my.cnf 文件
[mysqld]
server-id=2
配置之后，重启生效
- 导入数据到从服务器，并配置连接到主服务器的相关信息
登录到从服务器上，执行如下操作
导入数据
[root@mysql-slave ~] mysql -uroot -p'123' < dbdump.db
5.查看主服务器的binlog日志的名称和位置
6.在从服务器配置连接到主服务器的相关信息
mysql> CHANGE MASTER TO
MASTER_HOST='mysql-master', -- 主服务器的主机名(也可以是 IP)
MASTER_USER='repl', -- 连接到主服务器的用户
MASTER_PASSWORD='QianFeng@1234', -- 到主服务器的密码
MASTER_LOG_FILE='mysql-bin.000001', -- 从主服务器的哪个binlog日志读取
MASTER_LOG_POS=589; -- 从主服务器的binlog日志的哪个位置开始同步
7.启动从服务器的复制线程
mysql> start slave;
Query OK, 0 rows affected (0.09 sec)
8.检查是否成功
在从服务上执行如下操作，加长从服务器端 IO线程和 SQL 线程是否是 OK
mysql> show slave status\G
问题解决：
如果从库上的CHANGE MASTER TO 这一步执行错了
先 stop slave; 停止同步
然后 reset slave; 清除原来的配置后重新执行CHANGE MASTER TO
输出结果中应该看到 I/O 线程和 SQL 线程都是 YES, 就表示成功。
执行此过程后，在主服务上操作的修改数据的操作都会在从服务器中执行一遍，这样就保证了数据的一致性。
1.4、配置Replication(gtid方式)
基于事务的Replication，就是利用GTID来实现的复制
GTID（全局事务标示符）最初由google实现，在MySQL 5.6中引入.GTID在事务提交时生成，由UUID和事务ID组成，uuid会在第一次启动MySQL时生成，保存在数据目录下的auto .cnf文件里，事务ID则从1开始自增，使用GTID的好处主要有两点：
- 不再需要指定传统复制中的master_log_files和master_log_pos，使主从复制更简单可靠
- 可以实现基于库的多线程复制，减小主从复制的延迟
实验环境要求： 5.7.6 以上版本
#环境清理
主从均清除刚才实验的环境
[root@mysql-master ~]# systemctl stop mysqld
[root@mysql-slave ~]# systemctl stop mysqld
注意：以下两步均危险操作，在以后工作环境中，绝对不能删除数据库。
可以先mysqldump导出一份备份文件，在执行此操作
[root@mysql-master ~]# rm -rf /var/lib/mysql/*
[root@mysql-master ~]# rm -rf /var/log/mysql/*
[root@mysql-slave ~]# rm -rf /var/lib/mysql/*
主库配置
[mysqld]
log-bin=/var/log/mysql/mysql-bin
server-id=1
#打开gtid模式
gtid_mode=ON
enforce_gtid_consistency=1
重启服务
systemctl restart mysqld
找出主服务器root用户的初始密码
[root@mysql-master ~]# grep password /var/log/mysqld.log
主服务器修改数据库root用户密码
[root@mysql-master ~]# mysqladmin -uroot -p'QsgW(=D#F9&i' password 'QianFeng@123'
其他和之前的一样
- 创建专属用户并授权
- 假如有数据导出数据
mysql> GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%' identified by 'QianFeng@1234';
mysql> flush privileges;
从库配置
测试用户有效性
mysql -urepl -p'QianFeng@1234' -hmysql-master
连接成功，退出
# vim /etc/my.cnf #在配置文件中添加配置
[mysqld]
server-id=2
#打开gtid模式
gtid_mode=ON
enforce_gtid_consistency=1
重启服务
systemctl restart mysqld
过滤日志，找到从库初始密码,如果有多条初始密码，选择最后一条
[root@slave mysql]# grep password /var/log/mysqld.log
2020-03-19T07:21:50.500577Z 1 [Note] A temporary password is generated for root@localhost: MD/XFBB+z2Mw
[root@slave mysql]# mysqladmin -uroot -p'MD/XFBB+z2Mw' password 'QianFeng@123'
Mysql 从服务器终端执行连接信息
mysql> CHANGE MASTER TO
MASTER_HOST='mysql-master',
MASTER_USER='repl',
MASTER_PASSWORD='QianFeng@1234',
MASTER_AUTO_POSITION=1;
#MASTER_AUTO_POSITION 1 为自动识别位置点 0 可以手动指定
mysql> start slave;
查看是否同步成功
mysql> show slave status\G
二、Replication故障排除
2.1、开启 GTID 后的导出导入数据的注意点
Warning: A partial dump from a server that has GTIDs will by default include the GTIDs of all transactions, even those that changed suppressed parts of the database. If you don’t want to restore GTIDs, pass --set-gtid-purged=OFF. To make a complete dump, pass --all-databases --triggers --routines --events
意思是： 当前数据库实例中开启了 GTID 功能, 在开启有 GTID 功能的数据库实例中, 导出其中任何一个库, 如果没有显示地指定–set-gtid-purged参数, 都会提示这一行信息. 意思是默认情况下, 导出的库中含有 GTID 信息, 如果不想导出包含有 GTID 信息的数据库, 需要显示地添加–set-gtid-purged=OFF参数.
mysqldump -uroot -p --set-gtid-purged=OFF -A > alldb.db
导入数据是就可以相往常一样导入了。
2.2、UUID一致，导致主从复制I/O线程不是yes
Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be different for replication to work
致命错误：由于master和slave具有相同的mysql服务器uuid，导致I/O线程不进行；这些uuid必须不同才能使复制工作。
问题提示主从使用了相同的server UUID，一个个的检查：
检查主从server_id
主库：
mysql> show variables like 'server_id';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id | 1 |
+---------------+-------+
从库：
mysql> show variables like 'server_id';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id | 2 |
+---------------+-------+
1 row in set (0.00 sec)
server_id不一样，排除。
检查主从状态：
主库：
mysql> show master status\G
*************************** 1. row ***************************
File: mysql-bin.000002
Position: 849
Binlog_Do_DB:
Binlog_Ignore_DB:
Executed_Gtid_Set: 21c27a81-633b-11ea-8d7d-00163e064efa:1-3
1 row in set (0.00 sec)
从库：
mysql> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 172.31.47.161
Master_User: repl
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000002
Read_Master_Log_Pos: 849
File一样，排除。
最后检查发现他们的auto.cnf中的server-uuid是一样的。
[root@localhost ~]# vim /var/lib/mysql/auto.cnf
[auto]
server-uuid=4f37a731-9b79-11e8-8013-000c29f0700f
修改uuid并重启服务