項目實戰6—Mysql實現企業級日誌管理、備份與恢復實戰

Mysql實現企業級日誌管理、備份與恢復實戰

　　環境背景：隨著業務的發展，公司業務和規模不斷擴大，網站積累了大量的用戶信息和數據，對於一家互聯網公司來說，用戶和業務數據是根基。一旦公司的數據錯亂或者丟失，對於互聯網公司而言就等於說是滅頂之災，為防止系統出現操作失誤或系統故障導致數據丟失，公司要求加強用戶數據的可靠性，要求全面加強數據層面備份，並能在故障發生時第一時間恢復。

總架構圖，詳見 http://www.cnblogs.com/along21/p/8000812.html

Mysql備份方案：

① mysqldump+binlog:

先完全備份，再通過備份二進位日誌實現增量備份

② xtrabackup:

對InnoDB：熱備，支持完全備份和增量備份

對MyISAM：溫備，只支持完全備份

③ lvm快照+binlog：

幾乎熱備，物理備份

實戰一：mysqldump+binlog 實現備份與恢復

1、準備備份的目錄，開啟二進位日誌

mkdir /backup

chown -R mysql.mysql /backup/ 把備份的目錄所屬人所屬組改為mysql

vim /etc/my.cnf

log-bin = /var/lib/mysql/bin-log 開啟二進位日誌，並制定路徑

2、準備要備份的數據和表

模擬日常的資料庫操作

MariaDB [(none)]> create database along; 創建一個along的表

MariaDB [along]> create table home(id int not null,name char(20)); 創建一個home表

MariaDB [along]> show master status; 查詢二進位文件，編號是所處的文字

3、進行完整備份

可以備份所有庫

mysqldump --all-databases --flush-log > /backup/mysql-all-backup-`date +%F-%T`.sql

也可以備份單獨指定的庫

mysqldump --database along --flush-log > /backup/mysql-along-backup-`date +%F-%T`.sql

指令分析：

mysqldump [OPTIONS] --databases [OPTIONS] DB1 [DB2 DB3...]：備份一個或多個庫

OPTIONS：

　　--lock-all-tables：鎖定所有表

　　--lock-tables：鎖定備份的表

　　--single-transaction：啟動一個大的單一事務實現備份

　　--compress：壓縮傳輸

　　--events：備份指定庫的事件調度器

　　--routines：備份存儲過程和存儲函數

　　--triggers：備份觸發器

　　--master-data={0|1|2}

　　　　0：不記錄

　　　　1：記錄CHANGE MASTER TO語句；此語句未被註釋

　　　　2：記錄為註釋語句

　　--flush-logs：鎖定表之後執行flush logs命令，生成一個新的二進位日誌

4、向表中插入數據

模擬日常的正常操作

MariaDB [along]> insert into home values(1,'mayun');

MariaDB [along]> insert into home values(2,'mahuateng');

5、進行增量備份，備份二進位日誌

原理：需先知道要增量備份的起始，然後進行備份。

（1）查詢起始

① 通過資料庫命令查詢起始，推薦

MariaDB [along]> show master status; 　　查詢當前使用的二進位日誌

MariaDB [along]> show binlog events in 'bin-log.000014'; 　　查詢二進位日誌，裡邊有編號位置

② 也可以通過命令行查詢

cd /var/lib/mysql/

mysqlbinlog bin-log.000014

（2）進行增量備份

cd /var/lib/mysql/

mysqlbinlog --start-position=314 --stop-position=637 bin-log.000014 > /backup/mysql-along-backup-add-`date +%F-%T`.sql

註意：起始的編號一定要往前和往後推一個編號，例如：412是執行插入命令的，要從前一個編號314備份。

6、繼續插入數據，在沒備份的情況下刪除資料庫，模擬誤操作

① 繼續日常的操作

MariaDB [along]> insert into home values(3,'wangjianlin');

② 誤刪除along資料庫，上一天還沒來得及備份

MariaDB [along]> drop database along;

這個時候穩住，不要慌，下麵開始恢復

7、數據恢復

① 由於最後我們沒有備份就刪除了資料庫，所以我們首先需要保護最後的二進位日誌，查看刪除操作之前的position編號值

MariaDB [(none)]> show binlog events in 'bin-log.000014';

② 備份後來沒有來得及的操作

cd /var/lib/mysql/

mysqlbinlog --start-position=706 --stop-position=837 bin-log.000014 > /backup/mysql-along-backup-add-`date +%F-%T`.sql

8、導入之前的所有備份

① 查看我們的備份目錄

② 按順序導入所有備份

完全備份 ---> 增量備份

mysql -uroot -p < mysql-along-backup-2017-11-16-16\:45\:22.sql

mysql -uroot -p < mysql-along-backup-add-2017-11-16-17\:15\:25.sql

mysql -uroot -p < mysql-along-backup-add-2017-11-16-17\:27\:50.sql

9、查看資料庫及數據，恢復完成

實戰二：xtrabackup 實現備份和緩存

1、安裝xtrabackup

yum -y install xtrabackup

為了許可權管理，也可以創建最小許可權備份用戶，為了實驗方便，我就不設了

2、完全備份

① 完全備份

innobackupex --user=root /backup/ 完全備份，備份完會生成一個目錄，裡邊有全部的資料庫數據

若設置了許可權的用戶： innobackupex --user=bakupuser --password=bakuppass /backup/

註意：要給備份的目錄遞歸給mysql許可權

chown mysql.mysql /backup/2017-11-16_17-57-57/ -R 給生成的目錄加許可權

② 基於完全備份生成的目錄，也可以恢複數據

datadir=/backup/2017-11-16_17-57-57 把目錄指向備份的目錄

systemctl restart mariadb 重啟服務

③ 查看數據，沒有變化，數據一致

3、增量備份

① 添加數據，日常操作

MariaDB [along]> insert into home values(4,'dinglei'),(5,'liyanhong');

② 增量備份

innobackupex --user=root --incremental /backup/ --incremental-basedir=/backup/2017-11-16_17-57-57 基於/backup/2017-11-16_17-57-57 進行增量備份

生成了增量備份的目錄

4、數據恢復準備："重放"與"回滾"

原理：一般情況下，在備份完成後，數據尚且不能用於恢復操作，因為備份的數據中可能會包含尚未提交的事務或已經提交但尚未同步至數據文件中的事務

① 需要在每個備份(包括完全和各個增量備份)上，將已經提交的事務進行"重放"。"重放"之後，所有的備份數據將合併到完全備份上。

② 基於所有的備份將未提交的事務進行"回滾"。

innobackupex --apply-log --redo-only /backup/2017-11-16_17-57-57/ 完全備份的數據恢復準備

innobackupex --apply-log --redo-only /backup/2017-11-16_20-14-05/ --incremental-dir=/backup/2017-11-16_20-37-40/ 增量備份的數據恢復準備

5、誤操作，恢複數據

mv /var/lib/mysql /var/lib/mysql.bak 模擬誤刪除資料庫存放文件

mkdir /var/lib/mysql

innobackupex --copy-back /backup/2017-11-16_20-14-05/ 數據恢復

chown mysql.mysql var/lib/mysql/ -R

cp -a /var/lib/mysql.bak/mysql.sock /var/lib/mysql 把套接字文件cp過來

systemctl start mariadb 重啟服務

6、查看資料庫及數據，數據完全一致

實驗三：lvm快照+binlog 實現數據備份與恢復

原理：LVM快照簡單來說就是將所快照源分區一個時間點所有文件的元數據進行保存， 如果源文件沒有改變， 那麼訪問快照捲的相應文件則直接指向源分區的源文件， 如果源文件發生改變， 則快照捲中與之對應的文件不會發生改變。 快照捲主要用於輔助備份文件。

1、準備工作

由於我們實驗環境下的資料庫的資料庫目錄不是在lvm上的，首先，我們要搭建lvm環境，然後把資料庫遷移到lvm上面，在進行實驗：

（1）添加硬碟，並劃分磁碟類型為lvm 類型

echo '- - -' > /sys/class/scsi_host/host2/scan 虛擬機中實現磁碟添加，不重啟同步新磁碟

fdisk /dev/sdg

（2）partx -a /dev/sdb 或 partprobe 使內核識別新磁碟

partprobe：在centos5、7 中都能正常使用；centos6 版本中有BUG

partx -a /dev/sdb：都可正常使用

（3）創建邏輯捲

① pvcreate /dev/sdg1 添加物理捲

② vgcreate myvg /dev/sdg1 添加捲組

③ lvcreate -n mydata -L 50G myvg 添加邏輯捲

④ mkfs.ext4 /dev/mapper/myvg-mydata 格式化邏輯捲，文件系統格式化

2、掛載邏輯捲

① mkdir /lvm_data  創建lvm掛載的目錄 

② mount /dev/mapper/myvg-mydata /lvm_data 掛載

我們最好把它寫到 /etc/fstab 中，如：

vim /etc/fstab

/dev/mapper/myvg-mydata /lvm_data/ ext4 defaults 0 0

③ 然後將該掛載的目錄的所有者和所屬組改成mysql

chown -R mysql.mysql /lvm_data

3、修改Mysql 配置

（1）修改Mysql 配置，使得數據文件在邏輯捲上 datadir=/lvm_data

vim /etc/my.cnf

[mysqld]

datadir=/lvm_data

socket=/var/lib/mysql/mysql.sock

（2）將資料庫文件拷貝到 /lvm_data 目錄下：

cp -a /var/lib/mysql/* / lvm_data

（3）service mysqld restart 啟動Mysql 服務

4、創建快照

（1）在我們創建快照之前，需要我們鎖表，將資料庫中的表鎖定，讓外界無法讀取：

MariaDB [(none)]> flush tables with read lock;

（2）創建快照：Logical volume "mydata-snap" created

lvcreate -L 1G -n mydata-snap -p r -s /dev/mapper/myvg-mydata

（3）解除表的鎖定：

MariaDB [(none)]> unlock tables;

5、打包數據，數據備份

（1）打包數據：

tar czvf /tmp/mysqlback.tar.gz /lvm_data

（2）在我們使用完快照之後，需要將他們進行卸載，刪除，命令如下所示：

umount /lvm_snap/

lvremove myvg /dev/myvg/mydata-snap

6、模擬刪庫，數據恢復

（1）我們把/lvm_data下的數據全部刪掉，模擬我們的資料庫全部丟失

rm -rf /lvm_data/*

（2）數據恢復

mv /tmp/mysqlback.tar.gz /lvm_data 把壓縮的包cp過來

tar xvf /tmp/mysqlback.tar.gz ./ 將數據進行解壓，恢複數據

註意：有一點要註意的是，在數據拷貝到資料庫文件目錄下後，我們一定要看看文件的許可權是否是mysql用戶的，如若不是，需要我們手動更改。