第一篇:屌炸天實戰 MySQL 系列教程(一) 生產標準線上環境安裝配置案例及棘手問題解決 第二篇:屌炸天實戰 MySQL 系列教程(二) 史上最屌、你不知道的資料庫操作 第三篇:屌炸天實戰 MySQL 系列教程(三)你不知道的 視圖、觸發器、存儲過程、函數、事物、語句 第四篇:屌炸天實戰 MySQ ...
第一篇:屌炸天實戰 MySQL 系列教程(一) 生產標準線上環境安裝配置案例及棘手問題解決
第二篇:屌炸天實戰 MySQL 系列教程(二) 史上最屌、你不知道的資料庫操作
第三篇:屌炸天實戰 MySQL 系列教程(三)你不知道的 視圖、觸發器、存儲過程、函數、事物、語句
第四篇:屌炸天實戰 MySQL 系列教程(四) 主從複製、讀寫分離、模擬宕機、備份恢復方案生產環境實戰
去年公司有一個七年PHP開發經驗的工程師,想要跳槽。
去國內某知名互聯網公司面試後,被虐慘了,非要我給他講講什麼是主從複製。
那好吧,讀這篇文章的人好帥啊!
元芳,你怎麼看?使勁在下麵評論吧。
你給我點贊,我教你實戰!
本章內容:
- 主從複製
- 簡介原理
- 備份主庫及恢復從庫,配置從庫生效
- 讀寫分離
- 如果主宕機了,怎麼辦?
- 雙主的情況
- MySQL 備份及恢復方案
- 備份單個及多個資料庫
- mysqldump 的常用參數
- 如何增量恢復呢?
- 增量恢復的必要條件
- 生產環境 mysqldump 備份命令
- 恢復嘍
一、MySQL主從複製
1、簡介
主從複製是生產環境的必須品了,如果你不會,那真是LowB,不過你幸運,看到了此文,直接上手乾吧,爆發小宇宙。
我們為什麼要用主從複製?
主從複製目的:
可以做資料庫的實時備份,保證數據的完整性;
可做讀寫分離,主伺服器只管寫,從伺服器只管讀,這樣可以提升整體性能。
原理圖:
從上圖可以看出,同步是靠log文件同步讀寫完成的。
2、更改配置文件
兩天機器都操作,確保 server-id 要不同,通常主ID要小於從ID。一定註意。
# 3306和3307分別代表2台機器
# 打開log-bin,並使server-id不一樣 #vim /data/3306/my.cnf log-bin = /data/3306/mysql-bin server-id = 1 #vim /data/3307/my.cnf log-bin = /data/3307/mysql-bin server-id = 3 #檢查 1、 [root@bogon ~]# egrep "log-bin|server-id" /data/3306/my.cnf log-bin = /data/3306/mysql-bin server-id = 1 [root@bogon ~]# egrep "log-bin|server-id" /data/3307/my.cnf log-bin = /data/3307/mysql-bin server-id = 3 2、 [root@localhost ~]# mysql -uroot -p -S /data/3306/mysql.sock -e "show variables like 'log_bin';" Enter password: +-----------------------+--------+ | Variable_name | Value | +-----------------------+--------+ | log_bin | ON | # ON 為開始開啟成功 +-----------------------+--------+
3、建立用於從庫複製的賬號rep
通常會創建一個用於主從複製的專用賬戶,不要忘記授權。
# 主庫授權,允許從庫來連接我取日誌 [root@localhost ~]# mysql -uroot -p -S /data/3306/mysql.sock Enter password: # 允許從庫192.168.200網段連接,賬號rep,密碼nick。 mysql> grant replication slave on *.* to 'rep'@'192.168.200.%' identified by 'nick'; Query OK, 0 rows affected (0.00 sec) mysql> flush privileges; Query OK, 0 rows affected (0.00 sec) # 檢查創建的rep賬號: mysql> select user,host from mysql.user; +--------+-----------------------------+ | user | host | +--------+------------------------------+ | root | 127.0.0.1 | | rep | 192.168.200.% | | root | localhost | | root | localhost.localdomain | +--------+------------------------------+ 7 rows in set (0.00 sec)
4、備份主庫,及恢復到從庫
把主庫現有數據備份下來,再恢復到從庫,此時兩個主機的數據一致。
如果事先有數據的話,這不不能忘。
1) 在主庫上加鎖,使只有隻讀許可權。 mysql> flush table with read lock; Query OK, 0 rows affected (0.00 sec) #5.1、5.5鎖表命令略有不同。 # 5.1鎖表:flush tables with read lock; # 5.5鎖表:flush table with read lock; 2) 記住就是這個點備份的。 mysql> show master status; +---------------------------+-------------+-------------------+--------------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | +----------------------------+------------+--------------------+-------------------------+ | mysql-bin.000013 | 410 | | | +----------------------------+------------+--------------------+-------------------------+ 1 row in set (0.00 sec) 3) 克隆視窗,備份數據。 [root@bogon ~]# mysqldump -uroot -p -S /data/3306/mysql.sock -A -B --events --master-data=2|gzip >/opt/rep.sql.gz Enter password: 參數: -A:備份所有的 #看rep.sql.gz參數 vim /opt/rep.sql.gz -- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000013', MASTER_LOG_POS=410; 4) 查看master status;數值是否正常 mysql> show master status; +--------------------------+------------+--------------------+-------------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | +--------------------------+------------+--------------------+--------------------------+ | mysql-bin.000013 | 410 | | | +--------------------------+------------+--------------------+--------------------------+ 1 row in set (0.00 sec) 5) 解鎖庫 mysql> unlock tables; Query OK, 0 rows affected (0.00 sec) 6) 恢復到從庫 [root@bogon ~]# gunzip < /opt/rep.sql.gz | mysql -uroot -p -S /data/3307/mysql.sock Enter password:
5、配置從庫及生效
更改從庫和主庫的連接參數,配置生效。檢查就成功了!
1) 進入從庫。 [root@bogon ~]# mysql -uroot -p -S /data/3307/mysql.sock Enter password: 2) 更改從屬伺服器用於與主伺服器進行連接和通訊的參數。 mysql> CHANGE MASTER TO MASTER_HOST='192.168.200.98', MASTER_PORT=3306, MASTER_USER='rep', MASTER_PASSWORD='nick', MASTER_LOG_FILE='mysql-bin.000013', MASTER_LOG_POS=410; Query OK, 0 rows affected (0.01 sec) 3) 查看更改的參數。 [root@localhost ~]# cd /data/3307/data/ [root@localhost data]# cat master.info 18 mysql-bin.000013 410 192.168.200.98 REP nick 3306 60 0 0 1800.000 0 4) 生效! mysql> start slave; Query OK, 0 rows affected (0.01 sec) 5) 檢查下列參數,符合則正常! mysql> show slave status\G Relay_Master_Log_File: mysql-bin.000013 Slave_IO_Running: Yes #取logo。 Slave_SQL_Running: Yes #讀relay-bin、logo,寫數據。 Seconds_Behind_Master: 0 #落後主庫的秒數。 6) 查看relay-bin.logo。 [root@localhost 3307]# cd /data/3307 [root@localhost 3307]# ll 總用量 48 drwxr-xr-x. 9 mysql mysql 4096 10月 29 18:52 data -rw-r--r--. 1 mysql mysql 1900 10月 29 11:45 my.cnf -rwx------. 1 root root 1307 10月 20 17:06 mysql -rw-rw----. 1 mysql mysql 6 10月 29 11:00 mysqld.pid -rw-r-----. 1 mysql mysql 15090 10月 29 18:49 mysql_nick3307.err srwxrwxrwx. 1 mysql mysql 0 10月 29 11:00 mysql.sock -rw-rw----. 1 mysql mysql 150 10月 29 18:49 relay-bin.000001 -rw-rw----. 1 mysql mysql 340 10月 29 18:52 relay-bin.000002 -rw-rw----. 1 mysql mysql 56 10月 29 18:49 relay-bin.index -rw-rw----. 1 mysql mysql 53 10月 29 18:52 relay-log.info 7) 查看relay-log.info。 [root@localhost 3307]# cat relay-log.info /data/3307/relay-bin.000002 340 mysql-bin.000013 497 8) 查看master.info。 [root@localhost 3307]# cat data/master.info 18 mysql-bin.000013 497 192.168.200.98 rep nick 3306 60 0 0 1800.000 0
6、讀寫分離
讀寫分離在生產環境比比皆是,也是必備技能。
忽略MySQL主從複製授權表同步,讀寫分離
[root@bogon 3306]# vim my.cnf #添加以下四行 replicate-ignore-db = mysql binlog-ignore-db = mysql binlog-ignore-db = performance_schema binlog-ignore-db = information_schema server-id = 1
1) 通過read-only參數防止數據寫入從庫的方法。 #修改配置文件。 vim /data/3307/my.cnf [mysqld] read-only #對用戶授權事不能指定有super或all privileges許可權。不然沒效果。 #創建賬戶suoning,並刷新許可權。 mysql> grant select,insert,update,delete on *.* to 'suoning'@'localhost' identified by '123'; Query OK, 0 rows affected (0.00 sec) mysql> flush privileges; Query OK, 0 rows affected (0.00 sec) #用創建賬戶登錄,並創建庫 [root@bogon 3307]# mysql -usuoning -p123 -S /data/3307/mysql.sock mysql> create user kangkangkang@'192.%' identified by 'old123'; ERROR 1290 (HY000): The MySQL server is running with the --read-only option so it cannot execute this statement 2) 主從同步故障 A. Last_SQL_Errno: 1007 stop slave; set global sql_slave_skip_counter = 1; start slave; B. 忽略 skip-name-resolve #忽略名字解析 slave-skip-errors = 1032,1062,1007 #忽略故障編號 server-id = 3 3) 從庫開啟bin-log vim my.cnf log-bin = /data/3307/mysql-bin log-slave-updates #表示從庫記錄bin-log expire_logs_days = 7 #保留7天bin-log。
7、主宕機
我們來模擬一下,如果主機宕機了,那我們該如何讓從快速替換,讓損失降到最小?當然了,雙機熱備也是一個不錯的選擇,那下節會給大家講解。
一主多從的環境下,如果主宕機了,選一臺從做主,繼續和其它從同步。
A. 查看每個從庫的master.info,看誰的更靠前,最新,更大,丟的數據最少。 [root@localhost 3307]# cat /data/3307/data/master.info mysql-bin.000015 326 B. 確保所有relay log全部更新完畢。 在每個從庫上執行stop slave io_thread;show processlist; 知道看到Has read all relay log;表示從庫更新都執行完畢。 C. 登陸mysql -uroot -p -S /data/3307/mysql.sock stop slave; reset master; quit D. 進入到資料庫目錄,刪除master.info relay-log.info cd /data/3307/data/ rm -f master.info relay-log.info E. 3307提升為主庫 vim /data/3307/my.cnf 開啟log-bin = /data/3307/mysql-bin 如存在log-slave-updates,read-only等一定要註釋。 /data/3307/mysql restart F. 其它從庫操作 stop slave; change master to master_host ='192.168.200.98'; start slave; show slave status\G
8、雙主
曾經在某知名外企,8萬員工,做過 4主8從 的架構,以下演示雙主,情況都類似。
使用主主前提:表的主鍵自增。
雙主情況下,ID會是這樣情況,通過程式指定ID寫庫M1:1,3,5,M2:2,4,6。
[root@localhost 3307]# vim my.cnf [mysqld] auto_increment_increment = 2 auto_increment_offset = 2 [root@localhost 3307]# ./mysql restart [root@localhost 3306]# vim my.cnf [mysqld] auto_increment_increment = 2 auto_increment_offset = 1 log-bin = /data/3306/mysql-bin log-slave-updates [root@localhost 3306]# ./mysql restart [root@localhost 3306]# mysqldump -uroot -pnick -S /data/3307/mysql.sock -A -B --master-data=1 -x --events > /opt/3307bak.sql [root@localhost 3306]# mysql -uroot -pnick -S /data/3306/mysql.sock < /opt/3307bak.sql mysql> CHANGE MASTER TO MASTER_HOST='192.168.200.98', MASTER_PORT=3307, MASTER_USER='rep', MASTER_PASSWORD='nick'; mysql> start slave; Query OK, 0 rows affected (0.00 sec) mysql> show slave status \G
二、MySQL備份及恢復
做為一個資料庫管理員,最不可少的自然是資料庫的各種備份及各種恢復,這通常是DBA日常必備。
那就來實戰日常工作吧!
1、備份單個資料庫
最基礎的備份單個資料庫
1> 語法:mysqldump –u 用戶名 –p 資料庫名> 備份的資料庫名 2> 備份nick_defailt資料庫,查看內容。 [root@localhost ~]# mysqldump -uroot -p -B nick_defailt >/opt/mysql_nick_defailt.bak Enter password: [root@localhost ~]# egrep -v "#|\*|--|^$" /opt/mysql_nick_defailt.bak DROP TABLE IF EXISTS `oldsuo`; CREATE TABLE `oldsuo` ( `id` int(4) NOT NULL, `name` char(20) NOT NULL, `age` tinyint(2) NOT NULL DEFAULT '0', `dept` varchar(16) DEFAULT NULL ) ENGINE=MyISAM DEFAULT CHARSET=latin1; LOCK TABLES `oldsuo` WRITE; INSERT INTO `oldsuo` VALUES (2,'ç´¢å®',0,NULL),(3,'索尼',0,NULL),(4,'底底',0,NULL); UNLOCK TABLES; DROP TABLE IF EXISTS `student`; CREATE TABLE `student` ( `qq` varchar(15) DEFAULT NULL, `id` int(4) NOT NULL AUTO_INCREMENT, `name` char(20) NOT NULL, `suo` int(4) DEFAULT NULL, `age` tinyint(2) NOT NULL DEFAULT '0', `dept` varchar(16) DEFAULT NULL, `sex` char(4) DEFAULT NULL, PRIMARY KEY (`id`), KEY `index_name` (`name`) ) ENGINE=MyISAM AUTO_INCREMENT=8 DEFAULT CHARSET=latin1; LOCK TABLES `student` WRITE; INSERT INTO `student` VALUES (NULL,2,'oldsuo',NULL,0,NULL,NULL),(NULL,3,'kangknag',NULL,0,NULL,NULL),(NULL,4,'kangkang',NULL,0,NULL,NULL),(NULL,5,'oldsuo',NULL,0,NULL,NULL),(NULL,6,'kangknag',NULL,0,NULL,NULL),(NULL,7,'kangkang',NULL,0,NULL,NULL); UNLOCK TABLES; 3> 啟用壓縮備份資料庫 [root@localhost~]#mysqldump -uroot -p -B nick_defailt|gzip>/opt/mysql_nick_defailt.bak.gz Enter password: [root@localhost ~]# ll /opt/ 總用量 28 -rw-r--r--. 1 root root 2109 10月 24 16:36 data_bak.sq2 -rw-r--r--. 1 root root 2109 10月 24 16:36 data_bak.sql -rw-r--r--. 1 root root 1002 10月 27 11:55 mysql_nick_defailt.bak -rw-r--r--. 1 root root 1002 10月 27 11:56 mysql_nick_defailt.bak.gz -rw-r--r--. 1 root root 3201 10月 27 11:46 mysql_nick_defailt_B.bak drwxr-xr-x. 2 root root 4096 11月 22 2013 rh -rw-r--r--. 1 root root 1396 10月 24 16:11 student_bak.sql 4> 恢復nick_defailt資料庫 [root@localhost ~]# mysql -uroot -p nick_defailt </opt/mysql_nick_defailt.bak Enter password: #加-B恢復方法 [root@localhost ~]# mysql -uroot -p </opt/mysql_nick_defailt_B.bak Enter password: 5> 總結 1、 備份用-B參數。增加use db,和create database的信息。 2、 用gzip對備份的數據壓縮。
2、備份多個資料庫
備份多個資料庫的情況呢?
#多個資料庫名中間加空格 [root@localhost ~]# mysqldump -uroot -p -B nick_defailt oldsuo oldsuo_1|gzip>/opt/mul.sql.gz Enter password:
3、備份單個及多個表
那如果備份單個和多個表,怎麼辦?
1> 語法:mysqldump -u 用戶名 -p 資料庫名 表名 > 備份的文件名 [root@localhost ~]# mysqldump -uroot -p nick_defailt student >/opt/mysql_nick_defailt_student.bak Enter password: 2> 語法:mysqldump -u 用戶名 -p 資料庫名 表名1 表名2 > 備份的文件名 [root@localhost ~]# mysqldump -uroot -p nick_defailt student oldsuo >/opt/mysql_nick_defailt.bak Enter password:
4、mysqldump 的參數
mysqldump 的關鍵參數,每個DBA都記爛了
1、 -B指定多個庫,增加建庫語句和use語句。 2、 --compact去掉註釋,適合調試輸出,生產不用。 3、 -A 備份所有庫。 4、 -F刷新binlog日誌。 5、 --master-data 增加binlog日誌文件名及對應的位置點。 6、 -x,--lock-all-tables 7、 -l,--locktables 8、 -d 只備份表結構 9、 -t 只備份數據 10、 --single-transaction 適合innodb事務資料庫備份。
5、增量恢復
重要的來了,生產環境一般是增量備份與恢復;
所謂增量,就是在原數據的基礎上繼續添加數據,不必每次都重新添加,省時省力。
A:增量恢復必備條件:
1. 開啟MySQL資料庫log-bin參數記錄binlog日誌。 [root@localhost 3306]# grep log-bin /data/3306/my.cnf log-bin = /data/3306/mysql-bin 2. 存在資料庫全備。
B:生產環境 mysqldump備份命令:
# 進行資料庫全備,(生產環境還通過定時任務每日凌晨執行) mysqldump -uroot -pnick -S /data/3306/mysql.sock --default-character-set=gbk --single-transaction -F -B nick |gzip >/server/backup/mysql_$(date +%F).sql.gz # innodb引擎備份 mysqldump -u$MYUSER -p$MYPASS -S $MYSOCK -F --single-transaction -A -B |gzip >$DATA_FILE # myisam引擎備份 mysqldump -u$MYUSER -p$MYPASS -S $MYSOCK -F -A -B --lock-all-tables |gzip >$DATA_FILE
C:恢復:
# 通過防火牆禁止web等應用向主庫寫數據或者鎖表。讓主庫暫時停止更新,然後再進行恢復。 # 誤操作刪除nick庫! 1. 檢查全備及binlog日誌 [root@localhost 3306]# cd /server/backup/ [root@localhost backup]# gzip -d mysql_2015-10-31.sql.gz [root@localhost backup]# vim mysql_2015-10-31.sql [root@localhost backup]# grep -i "change" mysql_2015-10-31.sql 2. 立即刷新並備份出binlog [root@localhost 3306]# mysqladmin -uroot -pnick -S /data/3306/mysql.sock flush-logs [root@localhost 3306]# cp /data/3306/mysql-bin.000030 /server/backup/ #誤操作log-bin,倒數第二 [root@localhost backup]# mysqlbinlog -d nick mysql-bin.000030 >bin.sql #導出為.sql格式。 [root@localhost backup]# vim bin.sql 找到語句drop database nick刪除!!!(誤操作語句) 3. 恢復 [root@localhost backup]# mysql -uroot -pnick -S /data/3306/mysql.sock <mysql_2015-10-31.sql #恢復之前的資料庫全備 [root@localhost backup]# mysql -uroot -pnick -S /data/3306/mysql.sock nick < bin.sql #恢復刪除誤操作語言的bin-log。 # 搞定!!!