xtrabackup2版本和xtrabackup8版本對比

来源:https://www.cnblogs.com/ordinarydba/archive/2022/06/14/16374951.html
-Advertisement-
Play Games

導語 在使用xtrabackup8版本對mysql8版本進行備份恢復搭建從庫的時候,繼續使用xtrabackup2版本的方式,從xtrabackup_binlog_info 文件中找到gtid信息,執行purge,嘗試多次發現搭建失敗,於是對xtrabackup2和xtrbackup8版本備份流程( ...


導語

在使用xtrabackup8版本對mysql8版本進行備份恢復搭建從庫的時候,繼續使用xtrabackup2版本的方式,從xtrabackup_binlog_info 文件中找到gtid信息,執行purge,嘗試多次發現搭建失敗,於是對xtrabackup2和xtrbackup8版本備份流程(依據官網)進行了簡單的分析和測試。

 

1、xtrabackup2.4版本備份mysql5.7流程

(1)整體流程:

xtrabackup是物理備份,通過複製數據文件來進行備份的,在複製innodb數據文件的時候,會導致數據內部不一致,但是由於redo事務日誌的存在(它包含對innodb數據修改的記錄),當innodb啟動的時候會檢查數據文件和事務日誌,該提交提交該回滾回滾,從而保證了一致性。

xtrabackup在啟動的時候會記住日誌序列號(LSN),然後複製數據文件,然而當數據量較大的時候,複製數據文件是需要一定的時間的,如果該時間內不斷有寫入業務的話,那麼將會使資料庫處於不同的時間點。這時xtrabackup會從後臺啟動一個事務日誌監測進程(每秒檢測一次),並不斷的複製事務日誌的修改,由於事務日誌是迴圈的方式寫的,所以在xtrabackup開始的時候就會不斷的複製事務日誌的修改。

將使用ftwrl加全局讀鎖,來備份非innodb表,並且寫xtrabackup_binlog_info文件,使用FLUSH NO_WRITE_TO_BINLOG ENGINE LOGS來刷盤redo log,阻止所有可能改變二進位日誌位置或Exec_Master_Log_Pos或Exec_Gtid_Set的操作,然後停止redo log的複製操作,解鎖二進位日誌和表,然後寫xtrabackup_info文件,備份完成。

(2)流程總結:

對於上述的備份過程整體簡單總結一下就是:

①開始備份,連接資料庫併進行許可權校驗以及確認版本(version_check Connected to MySQL server);

②備份innodb表,並開啟後臺線程拷貝redo log事務日誌(>> log scanned up to (952373638).....);

③innodb表備份完成後,加ftwrl全局讀鎖來copy非innodb表文件,拷貝完成後(Finished backing up non-InnoDB tables and files)通過show master status寫xtrabackup_binlog_info文件;

④將redo log buffer中的redo log進行刷盤(Executing FLUSH NO_WRITE_TO_BINLOG ENGINE LOGS...);

⑤停止拷貝事務日誌(Stopping log copying thread.);

⑥解鎖二進位日誌和表(Executing UNLOCK TABLES);

⑦寫xtrabackup_info文件(Writing /data0/backup/9909/base/xtrabackup_info);

⑧備份完成。

(3)關於恢復後binlog信息位置點:

可以創建一個存儲過程,來模擬數據的插入。

①首先進行一次全備份:

xtrabackup --defaults-file=/etc/mysql/9909.cnf --backup  --user=root --password=root --parallel=4  --ftwrl-wait-timeout=60 --ftwrl-wait-threshold=3 --rsync --socket=/tmp/mysql_9909.sock --target-dir=/data0/backup/9909/base

②進行prepare階段:

xtrabackup --prepare --apply-log-only --target-dir=/data0/backup/9909/base/

③查看xtrabackup_binlog_info 文件binlog點位信息:

mysql-bin.000026   1251702      9c94ddb7-7397-11ec-a69f-fa37ddbb3200:1-38088

④用備份文件啟動mysql,查看binlog點位信息:

mysql> show master stauts;9c94ddb7-7397-11ec-a69f-fa37ddbb3200:1-34381可以看到該點位比xtrabackup_binlog_info要差很多,查看原來實例的binlog找到該兩個gtid信息位置:9c94ddb7-7397-11ec-a69f-fa37ddbb3200:38088此處是一個insert語句:

1.png

我們在恢復的庫中進行查詢看看有沒有這條記錄,可以看到有這條記錄,並且下一條記錄就沒了(因為上面的存儲過程是按順序插入的):

2.png

所以說在9c94ddb7-7397-11ec-a69f-fa37ddbb3200:38088之前的記錄都已經存在了,而show master status查詢出來的要落後好多,如果使用該binlog點位搭建從庫的話(不執行purge)會出問題的,比如會出現主鍵衝突等。

(4)原因:在備份的時候通過show master status讀取binlog信息,因為開啟了binlog日誌,所以show master status讀取的是show global variables查出來的gtid的信息,然後保存到了xtrabackup_binlog_info文件中。這裡使用的是備份文件進行啟動的實例,binlog從1號開始,所以需要讀取這個表,所以查出來的show master status是通過這個表來獲取的,而這個表在原庫沒有更新過,所以會比xtrabackup_binlog_info文件中的gtid要少。

(5)補充:

在恢復的時候,需要進行準備階段,該階段使用複製的事務日誌文件對數據文件進行崩潰恢復,完成之後,資料庫就可以恢復和使用了。備份的非innodb表和innodb表最終保持一致,因為在準備階段,innodb的數據會前滾到備份完成的點,而不是回滾。這個時間點和ftwrl的時間點相匹配,所以mysiam和innodb數據是一致的。

 

 

2、xtrabackup8.0版本備份mysql8.0流程

(1)整體流程:

xtrabackup是物理備份,通過複製數據文件來進行備份的,在複製innodb數據文件的時候,會導致數據內部不一致,但是由於redo事務日誌的存在(它包含對innodb數據修改的記錄),當innodb啟動的時候會檢查數據文件和事務日誌,該提交提交該回滾回滾,從而保證了一致性。

xtrabackup在啟動的時候會記住日誌序列號(LSN),然後複製數據文件,然而當數據量較大的時候,複製數據文件是需要一定的時間的,如果該時間內不斷有寫入業務的話,那麼將會使資料庫處於不同的時間點。這時xtrabackup會從後臺啟動一個事務日誌監測進程(每秒檢測一次),並不斷的複製事務日誌的修改,由於事務日誌是迴圈的方式寫的,所以在xtrabackup開始的時候就會不斷的複製事務日誌的修改。

xtrabackup8在備份mysql8版本的時候,使用備份鎖來代替ftwrl(mysql8通過lock instance for backup語句獲取一個實例級備份鎖)。當只有innodb表時,xtrabackup將儘可能避免使用備份鎖和ftwrl。xtrabackup從performance_schema.log_status來獲取二進位日誌的信息。在mysql8中如果xtrabackup使用--slave-info參數或者存在非innodb表的時候(除了系統表),仍然需要ftwrl進行加鎖。當支持備份鎖時,xtrabackup會先拷貝innodb數據,然後運行lock tables for backup再拷貝myisam表。

在此之後,使用FLUSH NO_WRITE_TO_BINLOG BINARY LOGS切換binlog,並讀取log_status表,使用FLUSH NO_WRITE_TO_BINLOG ENGINE LOGS來刷盤redo log,阻止所有可能改變二進位日誌位置的操作,然後將完成redo日誌文件的複製,並獲取二進位日誌信息。完成後,將解鎖二進位日誌和表。然後寫xtrabackup_info文件,備份完成。

2)流程總結:對於上述的備份過程分兩種情況簡單總結一下就是:

a、只有innodb表:

①開始備份,連接資料庫併進行許可權校驗以及確認版本(version_check Connected to MySQL server);

②備份innodb表,並開啟後臺線程拷貝redo log事務日誌(>> log scanned up to (952373638).....);

③innodb表備份完成後,copy非innodb表文件,拷貝完成後(Finished backing up non-InnoDB tables and files)通過切換binlog(Executing FLUSH NO_WRITE_TO_BINLOG BINARY LOGS)並查詢log_status表(Selecting LSN and binary log position from p_s.log_status);

④拷貝新的binlog(Copying /data0/mysql/8001_test/mysql-bin.000011 to /data0/backup/8001/base/mysql-bin.000011),寫mysql-bin.index文件和xtrabackup_binlog_info文件;

④將redo log buffer中的redo log進行刷盤(Executing FLUSH NO_WRITE_TO_BINLOG ENGINE LOGS...);

⑤停止拷貝事務日誌(Stopping log copying thread.);

⑥解鎖二進位日誌和表(Executing UNLOCK TABLES);

⑦寫xtrabackup_info文件(Writing /data0/backup/9909/base/xtrabackup_info);

⑧備份完成。

b、包含myisam表:

①開始備份,連接資料庫併進行許可權校驗以及確認版本(version_check Connected to MySQL server);

②備份innodb表,並開啟後臺線程拷貝redo log事務日誌(>> log scanned up to (952373638).....);

③innodb表備份完成後,加ftwrl全局讀鎖來copy非innodb表文件,拷貝完成後(Finished backing up non-InnoDB tables and files)通過切換binlog(Executing FLUSH NO_WRITE_TO_BINLOG BINARY LOGS)並查詢log_status表(Selecting LSN and binary log position from p_s.log_status);

④拷貝新的binlog(Copying /data0/mysql/8001_test/mysql-bin.000011 to /data0/backup/8001/base/mysql-bin.000011),寫mysql-bin.index文件和xtrabackup_binlog_info文件;將redo log buffer中的redo log進行刷盤(Executing FLUSH NO_WRITE_TO_BINLOG ENGINE LOGS...);

⑤停止拷貝事務日誌(Stopping log copying thread.);

⑥解鎖二進位日誌和表(Executing UNLOCK TABLES);

⑦寫xtrabackup_info文件(Writing /data0/backup/9909/base/xtrabackup_info);

⑧備份完成。

其實只有innodb表和包含myisam表,xtrbackup8備份的時候差別在於包含myisam表的時候增加了ftwrl操作。

(3)performance_schema.log_status表簡介:

該表是為線上備份工具來使用的,提供了日誌的信息,當查詢log_status表時,伺服器阻塞日誌記錄和相關管理更改,時間足夠填充表,然後釋放資源。

該表通知線上備份工具應該複製到二進位日誌的哪個點以及每個通道的中繼日誌的信息。還提供了單個存儲引擎的相關信息,例如最近的日誌序列號(LSN)和innodb存儲引擎的最後一個檢查點的LSN。註意該表不允許執行truncate table。

(4)lock instance for backup簡介:

是一個實例級別的備份鎖,允許在聯機備份期間進行DML操作。執行該命令需要backup_admin許可權,當從早期版本升級到mysql8.0版本時,該許可權會自動授權具有reload許可權的用戶。該備份鎖防止文件被創建、重命名或者刪除(比如repair table、truncate table、optimizer table等),對於redo中沒有記錄的修改的操作也會被阻止。

(5)關於恢復後binlog信息位置點(只測試只有innodb表的時候)可以創建一個存儲過程,來模擬數據的插入。

①首先進行一次全備份:xtrabackup8 --defaults-file=/etc/mysql/8001.cnf --backup  --user=root --password=root --parallel=4  --ftwrl-wait-timeout=60 --ftwrl-wait-threshold=3 --rsync --socket=/data0/mysql/8001_test/mysql_8001.sock --target-dir=/data0/backup/8001/base

②進行prepare階段:

xtrabackup8 --prepare --apply-log-only --target-dir=/data0/backup/8001/base/

③查看xtrabackup_binlog_info 文件binlog點位信息:

mysql-bin.000027   1027 c8020369-d117-11ec-9049-fa37ddbb3200:1-96358

④用備份文件啟動mysql,查看binlog點位信息:

mysql> show master stauts;c8020369-d117-11ec-9049-fa37ddbb3200:1-96359可以看到該點位比xtrabackup_binlog_info 文件binlog點位要大,到底哪個是準確的呢?來看一下binlog:

3.png

插入了一條數據,在用備份啟動的mysql上查看是否存在該數據:

4.png

已經存在該數據了,如果當做從庫的話,還是從xtrabackup_binlog_info該文件去查找binlog點位然後執行purge,那麼搭建起來的從庫會報錯,比如主鍵衝突等,或者造成數據不一致。所以xtrabackup8備份mysql8之後show master status就是正確的binglog點位,不用再去執行purge。

⑤原因:

因為xtrabackup8中在備份過程中多了兩個步驟:

第一:切換binlog;

第二:拷貝新的binlog,並寫mysql-bin.index文件。當使用備份啟動實例的時候,由於binlog存在,所以啟動的時候從binlog去讀取點位信息,並更新mysql.gtid_executed表。

看一下原庫的p_s.log_status表:

5.png

由於一直有數據插入所以該表一直是更新的。再來看一下恢復庫的p_s.log_status表:

6.png

由於沒有數據寫入,所以和恢復後show master status保持一致。

該表主要的作用就是,在備份過程中提供一致性點位,在查詢該表之後會執行Executing FLUSH NO_WRITE_TO_BINLOG ENGINE LOGS...來阻止可能改變二進位位置的操作。

 

3、補充

①xtrabackup_binlog_info 文件binlog點位信息:1027position對應的gtid是: c8020369-d117-11ec-9049-fa37ddbb3200:96358而實際上1027position對應的gtid是: c8020369-d117-11ec-9049-fa37ddbb3200:96359可見xtrabackup_binlog_info 中的並不准確。

7.png

②當包含myisam表的時候,使用xtrabackup8進行備份,因為會執行ftwrl所以最後xtrabackup_binlog_info和show master status均一致。

 

參考:

https://dev.mysql.com/doc/refman/8.0/en/performance-schema-log-status-table.html

https://docs.percona.com/percona-xtrabackup/8.0/how_xtrabackup_works.html

https://docs.percona.com/percona-xtrabackup/2.4/how_xtrabackup_works.html


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Blazor WebAssembly是什麼 首先來說說WebAssembly是什麼,WebAssembly是一個可以使C#,Java,Golang等靜態強類型編程語言,運行在瀏覽器中的標準,瀏覽器廠商基於此標準實現執行引擎。 在實現了WebAssembly標準引擎之後,瀏覽器中可以執行由其他語言編譯 ...
  • Openxml的顏色變化屬性 目前Openxml存在顏色變化屬性如下: 參數 說明 Hue 色調(色相) HueModulate 色調調製,百分比 HueOffset 色調偏移量,角度值 Saturation 飽和度 SaturationModulation 飽和度調製,百分比 Saturation ...
  • 在基於SqlSugar的開發框架的服務層中處理文件上傳的時候,我們一般有兩種處理方式,一種是常規的把文件存儲在本地文件系統中,一種是通過FTP方式存儲到指定的FTP伺服器上。這種處理應該由程式進行配置,決定使用那種方式,那麼這裡面我們為了彈性化處理, 在文件上傳模塊中採用選項模式【Options】處... ...
  • public class ZhmSlider : Control { private Rectangle foreRect; private Rectangle backRect; private Rectangle setRect; private Color backgroundColor = ...
  • Pressure Stall Information 壓力失速信息 Date: April, 2018 Author: Johannes Weiner [email protected] 當CPU、MEM或者IO設備被爭奪時,工作負載就會經受延遲增加,吞吐量損失和運行時被OOM殺死的風險。 如果沒 ...
  • 鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 安裝前準備 一、可以考慮替換國內yum鏡像 根據我老中醫多年的經驗,需要從某些倉庫啊之類的下載某些包的時候,最好先看看怎麼替換國內的鏡像(否則下載會非常慢,更拉的時候還會缺這少那導致最後項目報莫名其妙地報錯);so,yum的鏡像源替換可以參考:y ...
  • 下載軟體以及選擇適合的Linux系統 VMware Workstation 下載地址: 下載 VMware Workstation Pro | CN 阿裡巴巴鏡像源地址:OPSX鏡像站 配置Linux系統 點擊創建新的虛擬機 選擇自定義 ———>下一步 ———> 下一步 選擇稍後安裝操作系統 ——— ...
  • 一、package的作用 • Oracle中包的概念與Java中包的概念非常類似,只是Java中的包是為了分類管理類,但是關鍵字都是package。 • 在一個大型項目中,可能有很多模塊,而每個模塊又有自己的過程、函數等。而這些過程、函數預設是放在一起的(如在PL/SQL中,過程預設都是放在一起的, ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...