第1章 物理备份 xtrabackup (xbp)
percona公司研发的MySQL物理备份工具 使用perl语言开发的
公司官网: https://www.percona.com/downloads/Percona-XtraBackup-LATEST/
优点: 备份快 原生态支持增量备份 但是要注意版本 (8.0数据库不支持 需要xbp8.0版本)
1.1 安装
下载依赖包:
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL libev
下载主体
yum -y install percona-xtrabackup-24-2.4.4-1.el7.x86_64.rpm
rpm包官网下载
wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.12/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm
数据包下载地址:
https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm
安装后查看是否成功
innobackupex --version
innobackupex version 2.4.4 Linux (x86_64) (revision id: df58cf2)#版本信息
1.2 xbk备份原理
1. 自动判断引擎类型
InnoDB
Non-InnoDB(不是innodb)
2. InnoDB表 实现热备功能备份
开始备份innoDB时,自动允许进程ckpt,将当前已经提交的事务数据,刷写到磁盘,会生成一个CKPT的LSN号.(当前脏页录入过redo的数据 刷写到磁盘数据库中)
拷贝innodb引擎数据库相关文件 redo(只会拷贝备份期间产生的新的redo),拷贝完成后会产生一个LAST_LSN (备份时刻redo的记录)
3. 非InnoDB 表
自动开启 FTWRL (flush tables with read lock) 全局锁
拷贝数据文件.完成后自动解锁.
1.3 xbp也会锁表
因为这个特性的原因 xbp在备份系统表的时候 (默认系统表不是innodb引擎) 会短暂的锁表
1.4 增量备份
会基于上一次备份的last_LSN 检查数据页的变化 然后备份走
1.5 innobackuoex 备份工具应用
- 编写mysql配置文件 添加一个[clinet] 加入sock文件
vim /etc/my.cnf
[clinet]
socket=/tmp/mysql.sock
因为默认xbp会读取MySQL的配置文件 但是不会识别指定sock文件选项 所以我们要手动指定一下
5.6 xbk 在innodb表备份恢复的流程
- xbk备份执行的瞬间,立即触发ckpt,已提交的数据脏页,从内存刷写到磁盘,并记录此时的LSN号
- 备份时，拷贝磁盘数据页，并且记录备份过程中产生的redo和undo一起拷贝走,也就是checkpoint LSN之后的日志
- 在恢复之前，模拟Innodb“自动故障恢复”的过程，将redo（前滚）与undo（回滚）进行应用
- 恢复过程是cp 备份到原来数据目录下
第2章 全备
XBP主要就是一个命令 实现了备份功能
innobackupex --user=root --password=123 /data/backup #将所有数据备份到指定目录
生产中备份姿势
innobackupex --user=root --password=123 --no-timestamp /data/backup/full_date +%F``
--no-timestamp 取消系统自定义备份名
2.1 全备后DBP添加文件介绍
xtrabackup_binlog_info # 备份时刻binlog日志的节点
xtrabackup_checkpoints # 记录备份信息
xtrabackup_info # 关于备份的其他信息
xtrabackup_logfile # 备份期间产生的的redo信息
[root@db full_2019-11-20]# cat xtrabackup_checkpoints
backup_type = full-prepared
from_lsn = 0 # 0代表所有变化都备份了
to_lsn = 166188857 # ckpt LSN (脏页刷写磁盘后编码LSN号)
last_lsn = 166188866 # last LSN ( redo编码 5.7开始 二者相差9)
compact = 0
recover_binlog_info = 0
2.2 增量备份
（1）增量备份的方式，是基于上一次备份进行增量。
（2）增量备份无法单独恢复。必须基于全备进行恢复。
（3）恢复时 需要所有增量必须要按顺序合并到全备中。
推荐每周全备一次 每天增备
增量备份时会根据头一天的xtrabackup_checkpoints文件中的last_lsn数值进行备份
innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/data/backup/full_2019-11-20 /data/backup/inc1
--no-timestamp自定义备份文件名
--incremental
--incremental-basedir= 指定根据那个备份 进行增备
第3章 恢复数据
模拟项 模拟周三drop了个库 进行数据恢复
（1）删掉原来备份
略.
（2）全备（周日）
[root@db01 backup]# innobackupex --user=root --password --no-timestamp /backup/full >&/tmp/xbk_full.log
（3）模拟周一数据变化
db01 [(none)]>create database cs charset utf8;
db01 [(none)]>use cs
db01 [cs]>create table t1 (id int);
db01 [cs]>insert into t1 values(1),(2),(3);
db01 [cs]>commit;
（4）第一次增量备份（周一）
innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/backup/full /backup/inc1 &>/tmp/inc1.log
（5）模拟周二数据
db01 [cs]>create table t2 (id int);
db01 [cs]>insert into t2 values(1),(2),(3);
db01 [cs]>commit;
（6）周二增量
innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/backup/inc1 /backup/inc2 &>/tmp/inc2.log
（7）模拟周三数据变化
db01 [cs]>create table t3 (id int);
db01 [cs]>insert into t3 values(1),(2),(3);
db01 [cs]>commit;
db01 [cs]>drop database cs;
恢复思路：
挂出维护页，停止当天的自动备份脚本
检查备份：周日full+周一inc1+周二inc2，周三的完整二进制日志
3. 进行备份整理（细节），截取关键的二进制日志（从备份——误删除之前）
4. 测试库进行备份恢复及日志恢复
5. 应用进行测试无误，开启业务
6. 此次工作的总结
恢复流程
- 检查备份
1afe8136-601d-11e9-9022-000c2928f5dd:7-9 GTID
- 备份整理（apply-log）+合并备份（full+inc1+inc2）
(1) 全备的整理
[root@db01 one]#innobackupex --apply-log --redo-only /data/backup/full
(2) 合并inc1到full中
[root@db01 one]#innobackupex --apply-log --redo-only --incremental-dir=/data/backup/inc1 /data/backup/full
(3) 合并inc2到full中
[root@db01 one]# innobackupex --apply-log --incremental-dir=/data/backup/inc2 /data/backup/full
(4) 最后一次整理全备
[root@db01 backup]#innobackupex --apply-log /data/backup/full
- 截取周二 23:00 到drop 之前的 binlog
[root@db01 inc2]# mysqlbinlog --skip-gtids --include-gtids='1afe8136-601d-11e9-9022-000c2928f5dd:7-9' /data/binlog/mysql-bin.000009 >/data/backup/binlog.sql
- 进行恢复
[root@db01 backup]# mkdir /data/mysql/data2 -p
[root@db01 full]# cp -a * /data/mysql/data2
[root@db01 backup]#chown -R mysql. /data/*
[root@db01 backup]#systemctl stop mysqld
vim /etc/my.cnf
datadir=/data/mysql/data2
systemctl start mysqld
mysql中书写
Master [(none)]>set sql_log_bin=0;
Master [(none)]>source /data/backup/binlog.sql
Master [(none)]>set sql_log_bin=1;