Xtrabacup如何备份
这篇文章将为大家详细讲解有关Xtrabacup如何备份,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
第1章 XTRABACKUP1.1 xtrabackup介绍InnoDB 有个商业的InnoDB Hotbackup,可以对InnoDB引擎的表实现在线热备。而 percona出品的Xtrabackup,是InnoDB Hotbackup的一个开源替代品,可以在线对InnoDB/XtraDB引擎的表进行物理备份。mysqldump支持在线备份,不过是逻辑备份,效率比较差。xtrabackup是开源的MySQL备份工具,物理备份,效率很不错。
Xtrabackup有两个主要的工具:xtrabackup、innobackupex,其中xtrabackup只能备份InnoDB和XtraDB两种数据表,innobackupex则封装了xtrabackup,同时可以备份MyISAM数据表。Xtrabackup做备份的时候不能备份表结构、触发器等等,智能纷纷.idb数据文件。另外innobackupex还不能完全支持增量备份,需要和xtrabackup结合起来实现全备的功能。
1.2 xtrabackup特点介绍C语言编写,可以备份Innodb、XtraD,不拷贝*.frm文件
支持的引擎有:
InnoDB、Xtradb:hotbackup
MyISAM: with read lock
具有的特点有如下几点:
§ 1)备份过程快速、可靠;
§ (2)备份过程不会打断正在执行的事务;
§ (3)能够基于压缩等功能节约磁盘空间和流量;
§ (4)自动实现备份检验;
§ (5)还原速度快;
1.3 Xtrabackup的下载安装Xtrabackup工具由Percona公司开发的开源热备工具,可以到官网下载到最新的版本文件。
https://www.percona.com/downloads/下载各种版本,也可以在系统中使用wget下载。
方法一:
wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm
安装依赖的包
yum install perl-DBI perl-DBD-MySQL perl-Time-HiRes perl-IO-Socket-SSL installperl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL
方法二:
下载好的rpm包,直接使用yum 安装,自动安装依赖包,但是需要有epel源的支持,所以要下载配置好epe'源
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo
yum install -y percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm
1.4 xtrabackup备份用户需要的权限RELOAD 和 LOCKTABLES 权限为了执行 FLUSHTABLES WITH READ LOCK
REPLICATION CLIENT 为了获取binary log位置
CREATE TABLESPACE 权限为了导入表,用户表级别的恢复
SUPER权限在slave环境下备份用来启动和关闭slave线程
1.5 Xtrabackup备份InnoDB 和非InnoDB文件的备份都是通过拷贝文件,但是实现的方式是不同的。
InnoDB是以page为粒度做的的(Xtrabackup),Xtrabackup在读取每个page时会校验checksum值,保证数据块是一致的
非InnoDB是cp或者tar 命令,innobackupex在cp MyISAM文件时已经做了flush(FTWRL),磁盘上的文件也是完整的,所以最终备份集里的数据文件都是写入完整的
1.5.1备份流程
1.5.2 全备流程图1.5.3 增量备份流程图1.6 Xtrabackup恢复1.6.1 恢复流程图1.7 Xtrabackup的使用规范操作,我们先建好全备和增量备份的路径
[root@db01 backups]# pwd
/data/backups
[root@db01 backups]# ll
总用量 12
drwxr-xr-x 4 root root 4096 9月 4 17:28 full
drwxr-xr-x 4 root root 4096 9月 4 17:26 inc
操作过程:
mkdir/data/backups/{full,inc} -p
1.7.1 全备*****生产环境中为了数据一致性最好是ROW模式,因为其他的模式数据会丢失*****
命令语法格式:
innobackupex--user=User--password=PWD/data/backup/full--slave-info--safe-slave-backup--parallel=4--safe-slave-backup-timeout=7200--rsync
--rsync 这个参数一般用作分布式数据库集群的时候
全备步骤:
1、准备一个xtr_test数据库,并在xtr_test数据库中插入testbackup表,字段包含id,step两个字段
mysql-uroot-p789-S/data/3306/mysql.sockshowdatabases;createdatabasextr_test;usextr_test;selectdatabase();createtabletestbackup(idintnotnullauto_incrementprimarykey,stepvarchar(50))engine=innodb;showtables;desctestbackup;showcreatetabletestbackup\G
结果样子:
mysql>desctestbackup;+-------+-------------+------+-----+---------+----------------+|Field|Type|Null|Key|Default|Extra|+-------+-------------+------+-----+---------+----------------+|id|int(11)|NO|PRI|NULL|auto_increment||step|varchar(50)|YES||NULL||+-------+-------------+------+-----+---------+----------------+2rowsinset(0.02sec)mysql>showcreatetabletestbackup\G***************************1.row***************************Table:testbackupCreateTable:CREATETABLE`testbackup`(`id`int(11)NOTNULLAUTO_INCREMENT,`step`varchar(50)DEFAULTNULL,PRIMARYKEY(`id`))ENGINE=InnoDBDEFAULTCHARSET=utf81rowinset(0.00sec)
2、插入字段“firstfull backup”到testbackup表中
insertintotestbackup(step)values('firstfullbackup');
操作结果:
mysql>select*fromtestbackup;+----+-------------------+|id|step|+----+-------------------+|1|firstfullbackup|+----+-------------------+1rowinset(0.02sec)
3、执行全备
此时,我们创建的xtr_test数据库中的testbackup表中有数据,而且我们创建的/data/backups/full文件下面没有任何内容。下面执行全备,操作命令上面已经给出,此次操作使用的多实例所以用到了--socket参数。
innobackupex--user=root--password=789/data/backups/full--slave-info--safe-slave-backup--parallel=4--safe-slave-backup-timeout=7200--socket=/data/3306/mysql.sock
执行结果一定要看到“160905 20:01:38 completedOK!" OK的字样,才表示成功,从打出的日志我们也能看到备份的过程和上面给出的全备流程图对比起来。
正确输出以后会在/data/backups/full 指定的目录中生成一个有时间和序号的目录,这个目录就是全备文件存放地方如:
[root@db01~]#ls-lrt/data/backups/full/总用量4drwxr-x---8rootroot40969月520:012016-09-05_20-01-321.7.2 增量备份
增量备份的前提是一定要有一个全备 ,只有有了全备才能进行所谓的增量备份!!!
增量备份的方式有两种,分别为:
第一种:通过全备的文件
innobackupex--user=root--password=789--incremental--incremental-lsn=1783249/data/backups/inc--slave-info--safe-slave-backup--parallel=4--safe-slave-backup-timeout=7200--socket=/data/3306/mysql.sock
第二种方法:通过LSN
innobackupex--user=root--password=789--incremental--incremental-lsn=1783249/data/backups/inc--slave-info--safe-slave-backup--parallel=4--safe-slave-backup-timeout=7200--socket=/data/3306/mysql.sock
1、准备好全备最新一次的全备文件,这里只做了一次,所以只有一个目录
[root@db01~]#ls-lrt/data/backups/full/总用量4drwxr-x---8rootroot40969月520:012016-09-05_20-01-32
2、对xtr_test数据库中的testbackup表,进行数据的插入,插入内容为“fist increment backup”
mysql>insertintotestbackup(step)values('firstincrementbackup');QueryOK,1rowaffected(0.02sec)mysql>select*fromtestbackup;+----+------------------------+|id|step|+----+------------------------+|1|firstfullbackup||2|firstincrementbackup|+----+------------------------+2rowsinset(0.01sec)
3、执行增量备份
这里我们要确定好最新一次的全备(强调)!!!
innobackupex--user=root--password=789--incremental--incremental-basedir=/data/backups/full/2016-09-05_20-01-32/data/backups/inc--slave-info--safe-slave-backup--parallel=4--safe-slave-backup-timeout=7200--socket=/data/3306/mysql.sock
这里执行结果一定要看到“completed OK!" OK的字样,才表示成功如果是分布式也可以用--rsync,我们会在创建的inc目录下发现创建了一个以时间和序号命名的目录,这个目录就是Xtrabackup备份的增量。
执行结果:
[root@db01~]#ll/data/backups/inc总用量4drwxr-x---8rootroot40969月520:192016-09-05_20-19-48
TIP:innodb默认是使用的系统表空间,我们可以通过配置参数来使idb文件到独立空间中innodb_file_per_table = 1 这个是修改idb到独立空间,如果数据库是线上的,我们可以在配置文件my.cnf配置以上参数后,再使用set globalinnodb_file_per_table= 1 临时生效。
alter table backupstep engine=innodb; 修改表的引擎,这个操作很费时间,需要在业务低点的时候操作
1.7.3 再增量备份的基础上再备份在创建的xtr_test数据库中的testbackup表中再次插入内容“secondincrement backup”
mysql>insertintotestbackup(step)values('secondincrementbackup');QueryOK,1rowaffected(0.01sec)mysql>select*fromtestbackup;+----+-------------------------+|id|step|+----+-------------------------+|1|firstfullbackup||2|firstincrementbackup||3|secondincrementbackup|+----+-------------------------+3rowsinset(0.00sec)
1、确定最新的全备文件
[root@db01full]#pwd/data/backups/full[root@db01full]#ls-lrt总用量4drwxr-x---8rootroot40969月520:012016-09-05_20-01-32
2、确定上一次增量备份的LSN值
[root@db01inc]#ls-lrt总用量4drwxr-x---8rootroot40969月520:192016-09-05_20-19-48[root@db01inc]#cd2016-09-05_20-19-48/[root@db012016-09-05_20-19-48]#lsbackup-my.cnfkrikperformance_schemaxtrabackup_checkpointsxtr_testibdata1.deltamysqltestxtrabackup_infoibdata1.metaoldboyxtrabackup_binlog_infoxtrabackup_logfile[root@db012016-09-05_20-19-48]#catxtrabackup_checkpointsbackup_type=incrementalfrom_lsn=1793716#这个值一定是和上一次全备的last_lsn一样,否则就是数据不全to_lsn=1794019last_lsn=1794019compact=0recover_binlog_info=0
4、
执行增量备份命令
innobackupex--user=root--password=789--incremental--incremental-lsn=1794019/data/backups/inc--slave-info--safe-slave-backup--parallel=4--safe-slave-backup-timeout=7200--socket=/data/3306/mysql.sock
这个值是通过查看最近一次增量备份的xtrabackup_checkpoints得到
这里执行结果一定要看到“completed OK!" OK的字样,才表示成功
执行结果会在指定的目录/data/backups/inc下生成一个新的文件
[root@db012016-09-05_20-19-48]#cd..[root@db01inc]#pwd/data/backups/inc[root@db01inc]#ls-lrt总用量8drwxr-x---8rootroot40969月520:192016-09-05_20-19-48drwxr-x---8rootroot40969月521:182016-09-05_21-18-30
到此我们对数据进行了完整的备份,下面会再创建一条语句,但是不会做增量备份,为了是下面测试二进制日志恢复数据。接下来要玩大的了,删库,后面看看能恢复回来不
生产环境中为了数据一致性最好是ROW模式,因为其他的模式数据会丢失
mysql>showvariableslike"log_bin";+---------------+-------+|Variable_name|Value|+---------------+-------+|log_bin|ON|+---------------+-------+1rowinset(0.00sec)mysql>showvariableslike"%binlog_format%";+---------------+-------+|Variable_name|Value|+---------------+-------+|binlog_format|ROW|+---------------+-------+1rowinset(0.00sec)otroot4189月415:34backup-my.cnf第2章 数据库恢复
这里只做redo,不做undo
数据库的恢复,是从全备--->1次增量--->2次增量......--->N次增量直到故障点的位置的顺序来恢复的
如果是全备:最近一次的全备----> binlog
2.1.1 创建新的语句为二进制日志恢复做准备mysql>insertintotestbackup(step)values('secondincrementbackup');QueryOK,1rowaffected(0.01sec)mysql>select*fromtestbackup;+----+-------------------------+|id|step|+----+-------------------------+|1|firstfullbackup||2|firstincrementbackup||3|secondincrementbackup|+----+-------------------------+3rowsinset(0.00sec)mysql>insertintotestbackup(step)values('lastbackup');QueryOK,1rowaffected(0.00sec)mysql>select*fromtestbackup;+----+-------------------------+|id|step|+----+-------------------------+|1|firstfullbackup||2|firstincrementbackup||3|secondincrementbackup||4|lastbackup|+----+-------------------------+4rowsinset(0.00sec)mysql>truncatetabletestbackup;QueryOK,0rowsaffected(0.02sec)mysql>select*fromtestbackup;Emptyset(0.00sec)2.2 恢复第一次的全备数据库
恢复数据库的时候一定会重启一次数据库的,所以我们可以选择停库操作(如果可以的情况下),下面以停库操作练习:
1、 停掉数据库
[root@db01inc]#/data/3306/mysqlstopStopingMySQL...[root@db01inc]#netstat-lntup|grep3306[root@db01inc]#
2、 恢复最近一次的全备,*****在操作前一定要先备份*****
[root@db01backups]#foriin`ls/data/backups/`;docp-r$i/data/backups/$i.bak;done[root@db01backups]#lsfullfull.bakincinc.bak[root@db01backups]#cp-r/data/3306/data/data/backups/3306_data.bak[root@db01backups]#ls3306_data.bakfullfull.bakincinc.bak
3、 导入全备数据
innobackupex--user=root--password=789--apply-log--redo-only/data/backups/full/2016-09-05_20-01-32--socket=/data/3306/mysql.sock
要确认看到OK字样,表示导入成功
2.3 恢复第一次全备后的第一次增量备份1、 确定第一次增量备份的文件目录
[root@db01inc]#ls-lrt总用量8drwxr-x---8rootroot40969月520:192016-09-05_20-19-48drwxr-x---8rootroot40969月521:182016-09-05_21-18-30
通过时间排序可以看到这里第一次是2016-09-05_20-19-48,工作中可以自定义一些名字
2、 执行增量恢复
innobackupex--user=root--password=789--apply-log--redo-only/data/backups/full/2016-09-05_20-01-32--incremental-dir=/data/backups/inc/2016-09-05_20-19-48--socket=/data/3306/mysql.sock
看到OK字样表示成功
2.4 恢复第一次全备后的第二次增量备份innobackupex--user=root--password=789--apply-log--redo-only/data/backups/full/2016-09-05_20-01-32--incremental-dir=/data/backups/inc/2016-09-05_21-18-30--socket=/data/3306/mysql.sock
到此Xtrabackup昨晚了redo操作,下面我们要把他写入数据文件中。这一步才是把数据放到数据库中
数据写入数据文件:
innobackupex--user=root--password=789--apply-log/data/backups/full/2016-09-05_20-01-32--socket=/data/3306/mysql.sock
同样是看到OK字样表示执行成功。
2.5 恢复数据到实例3306的数据中Xtrabackup恢复是把所有的增量都叠加到了全备的身上,也就是恢复用的全备。它就是数据库data,我们把这个全备目录替换了3306数据库的data数据
[root@db01full]#rm-fr/data/3306/data/[root@db01full]#mv2016-09-05_20-01-32//data/3306/data[root@db01full]#ll/data/3306/data总用量163884-rw-r-----1rootroot4189月520:01backup-my.cnf-rw-r-----1rootroot1342177289月522:12ibdata1-rw-r-----1rootroot41943049月522:12ib_logfile0-rw-r-----1rootroot41943049月522:12ib_logfile1-rw-r-----1rootroot41943049月522:12ib_logfile2-rw-r-----1rootroot125829129月522:12ibtmp1drwxr-x---2rootroot40969月522:10krikdrwxr-x---2rootroot40969月522:10mysqldrwxr-x---2rootroot40969月522:10oldboydrwxr-x---2rootroot40969月522:10performance_schemadrwxr-x---2rootroot40969月522:10test-rw-r-----1rootroot229月522:10xtrabackup_binlog_info-rw-r--r--1rootroot339月522:12xtrabackup_binlog_pos_innodb-rw-r-----1rootroot1139月522:12xtrabackup_checkpoints-rw-r-----1rootroot6309月522:10xtrabackup_info-rw-r-----1rootroot83886089月522:04xtrabackup_logfiledrwxr-x---2rootroot40969月522:10xtr_test[root@db01full]#chown-Rmysql.mysql/data/3306/data/[root@db01full]#ll/data/3306/data总用量163884-rw-r-----1mysqlmysql4189月520:01backup-my.cnf-rw-r-----1mysqlmysql1342177289月522:12ibdata1-rw-r-----1mysqlmysql41943049月522:12ib_logfile0-rw-r-----1mysqlmysql41943049月522:12ib_logfile1-rw-r-----1mysqlmysql41943049月522:12ib_logfile2-rw-r-----1mysqlmysql125829129月522:12ibtmp1drwxr-x---2mysqlmysql40969月522:10krikdrwxr-x---2mysqlmysql40969月522:10mysqldrwxr-x---2mysqlmysql40969月522:10oldboydrwxr-x---2mysqlmysql40969月522:10performance_schemadrwxr-x---2mysqlmysql40969月522:10test-rw-r-----1mysqlmysql229月522:10xtrabackup_binlog_info-rw-r--r--1mysqlmysql339月522:12xtrabackup_binlog_pos_innodb-rw-r-----1mysqlmysql1139月522:12xtrabackup_checkpoints-rw-r-----1mysqlmysql6309月522:10xtrabackup_info-rw-r-----1mysqlmysql83886089月522:04xtrabackup_logfiledrwxr-x---2mysqlmysql40969月522:10xtr_test
重启数据库测试
[root@db01full]#cd/data/3306[root@db013306]#./mysqlstartStartingMySQL...[root@db013306]#netstat-lntup|grep3306tcp000.0.0.0:33060.0.0.0:*LISTEN56714/mysqldmysql>select*fromtestbackup;+----+-------------------------+|id|step|+----+-------------------------+|1|firstfullbackup||2|firstincrementbackup||3|secondincrementbackup|+----+-------------------------+3rowsinset(0.00sec)测试增量恢复正常,但是我们最后做的一次操作,没有出现,下面使用二进制binglog来恢复2.6 binlog日志恢复数据
使用binlog恢复数据,我们需要来确定一个“范围”这里我们需要确定从第二次增量备份后到执行删除表的sql语句之前这个范围;查找范围,我们可以使用时间范围、位置点pos来取这个范围。
2.6.1 查找第二次增量的位置点[root@db012016-09-05_21-18-30]#catxtrabackup_binlog_infomysql-bin.0000101201
这里我们知道了第二次增量结束后的位置点事1201,我们将以这个位置点为起止位置点
2.6.2 查找删表语句时候的位置点由于测试binlog日志文件少,这里很好查找,生产中要根据时间点来截取一段时间范围内,然后在去查找
[root@db013306]#mysqlbinlog--base64-output=decode-rowsmysql-bin.000010#at1376#16090521:46:41serverid1end_log_pos1403Xid=164COMMIT/*!*/;#at1403#16090521:46:59serverid1end_log_pos1495Querythread_id=7exec_time=0error_code=0SETTIMESTAMP=1473083219/*!*/;truncatetabletestbackup/*!*/;#at1495#16090521:52:16serverid1end_log_pos1514StopDELIMITER;#EndoflogfileROLLBACK/*addedbymysqlbinlog*/;/*!50003SETCOMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;/*!50530SET@@SESSION.PSEUDO_SLAVE_MODE=0*/;
通过查找到语句后,我们找到了位置点,我们可以导出一个文件,通过vim编辑来搜索语句
2.6.3 binlog恢复数据通过上面找出的起止点和终止点来恢复数据
mysqlbinlog--base64-output=decode-rows-v--start-position=1201--stop-position=1403mysql-bin.000010
来再次确认
恢复:
[root@db013306]#mysqlbinlog--start-position=1201--stop-position=1403mysql-bin.000010|mysql-uroot-p789-S/data/3306/mysql.sock
数据中查看:
mysql>select*fromtestbackup;+----+-------------------------+|id|step|+----+-------------------------+|1|firstfullbackup||2|firstincrementbackup||3|secondincrementbackup||4|lastbackup|+----+-------------------------+4rowsinset(0.01sec)附录---Xtrabackup参数详解
Xtrabackup常用参数选项如下:
--slave-info:
它会记录master服务器的binary log的pos和name。会把记录的信息记录在xtrabackup_slave_info。在备份从库时,可以使用该参数, 加上--slave-info备份目录下会多生成一个xtrabackup_slave_info 文件, 这里会保存主日志文件以及偏移, 文件内容类似于:CHANGE MASTER TOMASTER_LOG_FILE='', MASTER_LOG_POS=0。
这个参数适用的场景:假设现在有主库A和从库B,目前想再添加一台备库C,并让备库C以主库A为master;因为主库A是生产库,压力一般比较大,所以我们就在备库B上备份一个数据库,然后把这个备份拿到C服务器上 并导入到C库,接下来再在C服务器上执行change master的命令:其中 master_host是A的ip,而master_log_file和master_log_pos就是这个xtrabackup_slave_info里面的值
案例:http://blog.chinaunix.net/uid-26446098-id-3395111.html帮助理解
--safe-salve-backup:
它会停止slave SQL 进程,等备份完后,重新打开slave的SQL进程
--force-tar --stream=tar /tmp
这些命令是用来压缩备份为tar文件。具体看官方文档
--defaults-file=#
默认配置文件的路径,如果不该参数,xtrabackup将从依次从以下位置查找配置文件/etc/my.cnf、/etc/mysql/my.cnf、/usr/local/etc/my.cnf、~/.my.cnf,并读取配置文件中的[mysqld]和[xtrabackup]配置段。[mysqld]中只需要指定datadir、innodb_data_home_dir、innodb_data_file_path、innodb_log_group_home_dir、innodb_log_files_in_group、innodb_log_file_size6个参数即可让xtrabackup正常工作。
--defaults-extra-file=#
如果使用了该参数,在读取了全局配置文件之后,会再读取这里指定的配置文件
--target-dir=name
备份文件的存放目录路径
--backup
实施备份到target-dir
--prepare
实施对备份文件进行恢复前的准备(生成InnoDB log file)
--print-param
打印备份或恢复时需要的参数
--use-memory=#
该参数在 prepare 的时候使用,控制prepare时innodb实例使用的内存量
--suspend-at-end
在target-dir目录下产生一个xtrabackup_suspended文件,将xtrabackup进程挂起,不停地将数据文件的变化同步到备份文件,直到用户手工删除xtrabackup_suspended文件
--throttle=#
每秒IO次数,限制backup时使用的I/O操作量,使备份对数据库正常业务的影响最小化
--log-stream
该参数在backup的时候使用,将xtrabackup_logfile的内容输出到标准输出,使用该参数时会自动使用suspend-at-end参数,innobackupex脚本的stream 模式会使用该参数。
--incremental-lsn=name
增量备份时只拷贝LSN比该参数指定值新的ibd pages,前次备份到了哪个LSN可以看前次备份集的xtrabackup_checkpoints文件
--incremental-basedir=name
该参数在backup的时候使用,备份比该参数指定位置的备份集新的idb pages
--incremental-dir=name
该参数在prepare的时候使用,指定prepare时产生的.delta 文件和日志文件的存放路径
--tables=name
在备份file-per-table类型的数据文件时使用,使用正则表达式指定需要备份的innodb表
--datadir=name
MySQL数据库的数据文件目录
关于“Xtrabacup如何备份”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。
声明:本站所有文章资源内容,如无特殊说明或标注,均为采集网络资源。如若本站内容侵犯了原著者的合法权益,可联系本站删除。