一.備份的原因 運維工作的核心簡單概括就兩件事: 1)第一個是保護公司的數據. 2)第二個是讓網站能7 24小時提供服務(用戶體驗)。 1)備份就是為了恢復。 2)儘量減少數據的丟失(公司的損失) 二.備份的類型 冷備份: 這些備份在用戶不能訪問數據時進行,因此無法讀取或修改數據。這些離線備份會阻止 ...
一.備份的原因
運維工作的核心簡單概括就兩件事:
1)第一個是保護公司的數據.
2)第二個是讓網站能7*24小時提供服務(用戶體驗)。
1)備份就是為了恢復。
2)儘量減少數據的丟失(公司的損失)
二.備份的類型
冷備份:
這些備份在用戶不能訪問數據時進行,因此無法讀取或修改數據。這些離線備份會阻止執行任何使用數據的活動。這些類型的備份不會幹擾正常運行的系統的性能。但是,對於某些應用程式,會無法接受必須在一段較長的時間里鎖定或完全阻止用戶訪問數據。
停庫,停服務,備份
溫備份:(鎖表)
這些備份在讀取數據時進行,但在多數情況下,在進行備份時不能修改數據本身。這種中途備份類型的優點是不必完全鎖定最終用戶。但是,其不足之處在於無法在進行備份時修改數據集,這可能使這種類型的備份不適用於某些應用程式。在備份過程中無法修改數據可能產生性能問題。
熱備份:
這些動態備份在讀取或修改數據的過程中進行,很少中斷或者不中斷傳輸或處理數據的功能。使用熱備份時,系統仍可供讀取和修改數據的操作訪問。
三.備份的方式
邏輯備份:
基於SQL語句的備份
1)binlog
2)into outfile
mysql> select * from world.city into outfile '/tmp/world_city.data'; #配置文件中創建/tmp
3)mysqldump只支持全備
4)replication
5 ) mysqlbinlog
物理備份:
cp(停庫)
基於數據文件的備份
1)Xtrabackup(percona公司)
四.備份策略
1)全量備份 full
2)增量備份 increamental
3)差異備份
五.備份工具
1.邏輯
1)mysqldump(邏輯)
mysql原生自帶很好用的邏輯備份工具
2)mysqlbinlog(邏輯)
實現binlog備份的原生態命令
3)into outfile
4)replication
2.xtrabackup(物理)
precona公司開發的性能很高的物理備份工具
備份工具使用
mysqldump的備份
mysqldump常用參數
1)連接服務端參數(基本參數):-u -p -h -P -S
2)-A, --all-databases:全庫備份
[root@db01 ~]# mysqldump -uroot -poldboy123 -A > /backup/full.sql
3)不加參數:單庫、單表多表備份
[root@db01 ~]# mysqldump -uroot -poldboy123 db1 > /backup/db1.sql
[root@mysql-db01 backup]# mysqldump -uroot -poldboy123 world city > /backup/city.sql
4)-B:指定庫備份或者多個庫
[root@db01 ~]# mysqldump -uroot -p123 -B db1 > /backup/db1.sql
[root@db01 ~]# mysqldump -uroot -p123 -B db1 db2 > /backup/db1_db2.sql
5)-F:flush logs在備份時自動刷新binlog(不怎麼常用)
[root@db01 backup]# mysqldump -uroot -p123 -A -R –triggers -F > /backup/full_2.sql
6)--master-data=2:備份時加入change master語句0沒有1不註釋2註釋
[root@db01 backup]# mysqldump -uroot -p123 --master-data=2 >/backup/full.sql
7)-d:僅表結構
8)-t:僅數據
備份額外擴展項
1)-R, --routines:備份存儲過程和函數數據
2)--triggers:備份觸發器數據
[root@db01 backup]# mysqldump -uroot -p123 -A -R --triggers > /backup/full_2.sql
mysqldump特殊參數
1)-x:鎖表備份(myisam溫備份)
2)--single-transaction:快照備份
[root@db01 backup]# mysqldump -uroot -p123 -A -R --triggers --master-data=2 –single-transaction>/backup/$(date +%F)full.sql
3)gzip:壓縮備份
[root@db01 ~]# mysqldump -uroot -p123 -A -R --triggers --master-data=2 –single-transaction|gzip>/backup/full_$(date +%F)_sql.gz
mysqldump的恢復
方法一:
#先不記錄二進位日誌
mysql> set sql_log_bin=0;
#庫內恢復操作,指定庫
mysql> source /backup/full.sql
#庫外恢復操作,指定庫
[root@db01 ~]# mysql -uroot -p123 < /backup/full.sql
方法二:zcat full_$(date +%F)_sql.gz | mysql -uroot -p1
註意:
1)mysqldump在備份和恢復時都需要MySQL實例啟動為前提
2)一般數據量級100G以內,大約15-30分鐘可以恢復(PB、EB就需要考慮別的方式-物理備份)
3)mysqldump是以覆蓋的形式恢複數據的
企業故障恢復案例
背景:
正在運行的網站系統,MySQL資料庫,數據量25G,日業務增量10-15M。
備份策略:
每天23:00,計劃任務調用mysqldump執行全備腳本
故障時間點:
上午10點開發人員誤刪除一個核心業務表,如何恢復?
思路:
1)停業務避免數據的二次傷害
2)找一個臨時的庫,恢復前一天的全備
3)截取前一天23:00到第二天10點誤刪除之間的binlog,恢復到臨時庫
4)測試可用性和完整性
5)開啟業務前的兩種方式
a.直接使用臨時庫頂替原生產庫,前端應用割接到新庫
b.將誤刪除的表單獨導出,然後導入到原生產環境
6)開啟業務
故障模擬演練:
準備數據:
#刷新binlog使內容更清晰
mysql> flush logs;
#查看當前使用的binlog
mysql> show master status;
#創建backup庫
mysql> create database backup;
#進入backup庫
mysql> use backup
#創建full表
mysql> create table full select * from world.city;
#創建full_1表
mysql> create table full_1 select * from world.city;
#查看表
mysql> show tables;
全備:
[root@db01 ~]# mysqldump -uroot -p123 -A -R --triggers --master-data=2 --single-transaction|gzip > /backup/full_$(date +%F).sql.gz
模擬數據變化:
#進入backup庫
mysql> use backup
#創建new表
mysql> create table new select * from mysql.user;
#創建new_1表
mysql> create table new_1 select * from world.country;
#查看表
mysql> show tables;
#查看full表中所有數據
mysql> select * from full;
#把full表中所有的countrycode都改成CHN
mysql> update full set countrycode='CHN' where 1=1;
#提交
mysql> commit;
#刪除id大於200的數據
mysql> delete from full where id>200;
#提交
mysql> commit;
模擬故障:
#刪除new表
mysql> drop table new;
#查看表
mysql> show tables;
恢復過程:
==停業務,在停資料庫==
1)準備臨時資料庫
#多實例
[root@db02 ~]# mysqld_safe --defaults-file=/data/3307/my.cnf &
#新的服務(初始化一個新環境,二進位安裝mysql)
[root@db02 scripts]# ./mysql_install_db --user=mysql --basedir=/application/mysql --datadir=/application/mysql/data
[root@db02 scripts]# /etc/init.d/mysqld start
2)拷貝數據到新庫上
[root@db01 ~]# scp /backup/full_2018-08-16.sql.gz [email protected]:/tmp
3)解壓全備數據文件
#進入tmp目錄
[root@db02 ~]# cd /tmp/
#查詢全備的起始點
[root@db01 ~]# zcat /tmp/full_2019-11-13.sql.gz |head -25
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000004', MASTER_LOG_POS=268002
#找到drop語句執行的位置點(結束位置點)
#方法一
[root@db01 data]# mysqlbinlog --base64-output=decode-rows -vvv /application/mysql/data/mysql-bin.000031|less
#按/搜索DROP
#方法二
[root@db01 data]# mysqlbinlog --base64-output=decode-rows -vvv /application/mysql/data/mysql-bin.000031|grep -i -B 5 'drop table'
# at 408012
#191113 19:25:24 server id 1 end_log_pos 408135 CRC32 0xf636afe1 Querythread_id=3 exec_time=0 error_code=0
SET TIMESTAMP=1573644324/*!*/;
DROP TABLE `full_1` /* generated by server */
#方法三(數據大,不好查看)
mysql>show binary logs;
mysql>show binlog events in 'mysql-bin.000004';
#截取二進位
[root@db01 tmp]#mysqlbinlog -uroot -p1 --start-position=268002 --stop-position=671148 /application/mysql/data/mysql-bin.000017 > /tmp/inc.sql
#發送增量數據到新庫
[root@db01 tmp]# scp /tmp/inc.sql [email protected]:/tmp
在新庫內恢複數據
mysql>use +庫
#不記錄二進位日誌
mysql> set sql_log_bin=0;
#恢復全備數據
mysql> source /tmp/full_2018-08-16.sql
#庫外導入
mysql backup </tmp/inc.sql
#進入backup庫
mysql> use backup
# 查看表
mysql> show tables;
#恢復增量數據
mysql> source /tmp/inc.sql
#查看表
mysql> show tables;
4)將故障表導出並恢復到生產
#導出new表
[root@db02 ~]# mysqldump -uroot -p123 -S /data/3307/mysql.sock backup new > /tmp/new.sql
#發送到生產庫
[root@db02 ~]# scp /tmp/new.sql [email protected]:/tmp/
#進入backup庫
mysql> use backup
#在生產庫恢複數據
mysql>set sql_log_bin=0;
mysql> source /tmp/new.sql
#查看表
mysql> show tables;
5)啟動服務
tomcat php ....
物理備份(Xtrabackup)
Xtrabackup安裝
#下載epel源
wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-6.repo
#安裝依賴
yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL
#下載Xtrabackup
wget httpss://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm
備份方式(物理備份)
1)對於非innodb表(比如myisam)是直接鎖表cp數據文件,屬於一種溫備。
2)對於innodb的表(支持事務),不鎖表,cp數據頁最終以數據文件方式保存下來,並且把redo和undo一併備走,屬於熱備方式。
3)備份時讀取配置文件/etc/my.cnf
全量備份
#全備
[root@db01 data]# innobackupex --user=root --password=123 /backup
#避免時間戳,自定義路徑名
[root@db01 ~]# innobackupex --user=root --password=123 --no-timestamp /backup/full
#查看備份路徑中的內容
[root@db01 backup]# ll /backup/full
#記錄binlog文件名和binlog的位置點
-rw-r----- 1 root root 21 Aug 16 06:23 xtrabackup_binlog_info
#備份時刻,立即將已經commit過的記憶體中的數據頁刷新到磁碟
#備份時刻有可能會有其他數據寫入,已備走的數據文件就不會再發生變化了
#在備份過程中,備份軟體會一直監控著redo和undo,一旦有變化會將日誌一併備走
-rw-r----- 1 root root 117 Aug 16 06:23 xtrabackup_checkpoints
#備份彙總信息
-rw-r----- 1 root root 485 Aug 16 06:23 xtrabackup_info
#備份的redo文件
-rw-r----- 1 root root 2560 Aug 16 06:23 xtrabackup_logfile
全備的恢復
準備備份
將redo進行重做,已提交的寫到數據文件,未提交的使用undo回滾,模擬CSR的過程
[root@db01 full]# innobackupex --user=root --password=123 --apply-log /backup/full
恢復備份(==註意配置文件中指定basedir .datadir,sock, 客戶端指定sock路徑==)
前提1:被恢復的目錄是空的
前提2:被恢復的資料庫的實例是關閉的
#停庫
[root@db01 full]# /etc/init.d/mysqld stop
#進入mysql目錄
[root@db01 full]# cd /application/mysql
#刪除data目錄(在生產中可以備份一下)
[root@db01 mysql]# rm -fr data/
#恢復redo跟undo文件
[root@db01 full]# innobackupex --user=root --password=123 --apply-log /backup/full
#拷貝數據(停庫不需要用戶跟密碼)
[root@db01 mysql]# innobackupex --copy-back /backup/ful
#授權
[root@db01 mysql]# chown -R mysql.mysql /application/mysql/data/
#啟動MySQL
[root@db01 mysql]# /etc/init.d/mysqld start
增量備份及恢復
備份方式
1)基於上一次備份進行增量
2)增量備份無法單獨恢復,必須基於全備進行恢復
3)所有增量必須要按順序合併到全備當中
#不使用之前的全備,執行一次全備
[root@mysql-db01 ~]# innobackupex --user=root --password=123 --no-timestamp /backup/full
模擬數據變化
mysql> create database inc1;
mysql> use inc1
mysql> create table inc1_tab(id int);
mysql> insert into inc1_tab values(1),(2),(3);
mysql> commit;
mysql> select * from inc1_tab;
第一次增量備份
[root@db01 ~]# innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/backup/full/ /backup/inc1
參數說明:
--incremental:開啟增量備份功能
--incremental-basedir:上一次備份的路徑
再次模擬數據變化
mysql> create database inc2;
mysql> use inc2
mysql> create table inc2_tab(id int);
mysql> insert into inc2_tab values(1),(2),(3);
mysql> commit;
第二次增量備份
[root@db01 ~]# innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/backup/inc1/ /backup/inc2
增量恢復
#破壞數據
[root@db01 ~]# rm -fr /application/mysql/data/
準備備份
1)full+inc1+inc2
2)需要將inc1和inc2按順序合併到full中
3)分步驟進行--apply-log
第一步:在全備中apply-log時,只應用redo,不應用undo
[root@db01 ~]# innobackupex --apply-log --redo-only /backup/full/
第二步:合併inc1合併到full中,並且apply-log,只應用redo,不應用undo
[root@db01 ~]# innobackupex --apply-log --redo-only --incremental-basedir=/backup/inc1/ /backup/full/
第三步:合併inc2合併到full中,redo和undo都應用
[root@db01 ~]# innobackupex --apply-log --incremental-basedir=/backup/inc2/ /backup/full/
第四步:整體full執行apply-log,redo和undo都應用
[root@db01 mysql]# innobackupex --apply-log /backup/full/
copy-back
[root@db01 ~]# innobackupex --copy-back /backup/full/
[root@db01 ~]# chown -R mysql.mysql /application/mysql/data/
[root@db01 ~]# /etc/init.d/mysqld start
差異備份
[root@db01 backup]# innobackupex --user=root --password=1 --no-timestamp /backup/full_1
backup_type = full-backuped
from_lsn = 0
to_lsn = 1025176220
#1.第一次差異備份
[root@db01 backup]# innobackupex --user=root --password=1 --no-timestamp --incremental --
incremental-basedir=/backup/full_1 /backup/chayi1
[root@db01 backup]# cat chayi1/xtrabackup_checkpoints
backup_type = incremental
from_lsn = 1025176220
to_lsn = 1025202474
#2.第二次差異備份
[root@db01 backup]# innobackupex --user=root --password=1 --no-timestamp --incremental --
incremental-basedir=/backup/full_1 /backup/chayi2
backup_type = incremental
from_lsn = 1025176220
to_lsn = 1025208985
#3.第三次差異備份
[root@db01 backup]# innobackupex --user=root --password=1 --no-timestamp --incremental --
incremental-basedir=/backup/full_1 /backup/chayi3
#4.第四次差異備份
[root@db01 backup]# innobackupex --user=root --password=1 --no-timestamp --incremental --
incremental-basedir=/backup/full_1 /backup/chayi4
backup_type = incremental
from_lsn = 1025176220
to_lsn = 1025234244
恢複數據
#1.停資料庫
[root@db01 backup]# /etc/init.d/mysqld stop
#2.刪除data目錄或者備份
[root@db01 backup]# rm -fr /application/mysql/data/*
#3.模擬CSR合併數據
full_1 + chayi1 + chayi2 + chayi3 + chayi4
1)full_1只做redo 不做undo
[root@db01 backup]# innobackupex --apply-log --redo-only /backup/full_1/
2)將chayi4合併到full_1 redo undo 都做
[root@db01 backup]# innobackupex --apply-log --incremental-dir=/backup/chayi4
/backup/full_1/
3)將full_1 redo undo 都做
[root@db01 backup]# innobackupex --apply-log /backup/full_1/
#4.copy back
[root@db01 backup]# innobackupex --copy-back /backup/full_1/
[root@db01 backup]# chown -R mysql.mysql /application/mysql/data/
模擬生產環境
#!/bin/bash
while true;do
mysql -uroot -p1 -e 'insert into mysqldump.mysqldump values(1);commit;'
sleep 2
done
優點:
1.備份的時候,方便
2.恢復的時候也方便
缺點:
重覆數據多,占用磁碟空間大
思考:
企業級增量恢復實戰
背景:
某大型網站,mysql資料庫,數據量500G,每日更新量100M-200M
備份策略:
xtrabackup,每周六0:00進行全備,周一到周五及周日00:00進行增量備份。
故障場景:
周三下午2點出現資料庫意外刪除表操作。
如何恢復???
全量備份
1.全備
innobackupex --user=root --password=1 --no-timestamp /backup/full_$(data +%F-%H)
2.增備
innobackupex --user=root --password=1 --no-timestamp --incremental --incremental-basedir=/backup/full_$(data +%F-%H) /backup/cre_$(date +%F-%H)
意外發生
周三下午2點出現資料庫意外刪除表操作。
解決辦法:
1準備新環境
2.停庫
==3.先備份,刪除/data目錄==(找尋截止點)
4.恢複數據
1最近的全備中執行apply-log 只應用redo
innobackupex --apply-log --redo-only /backup/full_$(data +%F-%H)
2.找尋周一,二晚上00:00的增量備份,合併
innobackupex --apply-log --redo-only --incremental-dir=/backup/cre_$(date +%F-%H) /backup/full_$(date +%F-%H)
3.redo.undo都應用
innobackupex --apply-log --incremental-basedir=cre_$(date +%F-%H) /backup/full_$(date +%F-%H)
4.整體全備執行
innobackupex --apply-log /backup/full_$(date +%F-%H)
5.copy-back
innobackupex --copy-back /backup/full_$(date +%F-%H)
6.授權
chown -R mysql.mysql /application/mysql/data
7.啟動mydql
/etc/init.d/mysqld start
5.確定起始點
[root@db01 full_2019-12-12-00]# cat xtrabackup_binlog_info
mysql-bin.000001 15724
6.確定截止點
mysqlbinlog --base64-output=decode-rows -vvv /application/mysql/data/mysql-bin.00000.1| grep -i -B 5'drop table'
7.截取binlog
mysqlbinlog -uroot -p1 --start-position= --stop-position= /application/mysql/data/mysql-bin.00000.1 >/tmp/inc.sql
8.發送增量數據到新庫
scp /tmp/inc.sql [email protected]:/tmp
9.在新庫內恢復
mysql>use +庫
#不記錄二進位日誌
mysql> set sql_log_bin=0;
#恢復全備數據
mysql> source /tmp/full_2018-08-16.sql
10.恢復生產
修改鏈接代碼
11.啟動服務