摘要：增量備份是重要的常規備份策略，正確快速識別增量變化文件的相關信息對增量備份至關重要。 本文分享自華為雲社區《其疾如風，GaussDB（DWS）增量備份核心設計》，作者： 我的橘子呢 。 1、認識增量備份 GaussDB(DWS)數倉的備份恢復工具Roach支持集群級增量備份。全量備份會將源數據 ...
摘要：增量備份是重要的常規備份策略，正確快速識別增量變化文件的相關信息對增量備份至關重要。
本文分享自華為雲社區《其疾如風，GaussDB（DWS）增量備份核心設計》，作者： 我的橘子呢 。
1、認識增量備份
GaussDB(DWS)數倉的備份恢復工具Roach支持集群級增量備份。全量備份會將源數據完整備份，而增量備份僅將上次備份後所作的更改進行備份，這裡的上次備份可以使全量備份，也可以是全量備份後的增量備份。需要註意的是，增量備份的基礎始終是全量備份，如果一次全量備份之後進行了全量恢復，則不能再基於該全量備份進行增量備份，必須重新進行全量備份然後基於新的全量備份進行增量備份。增量備份分為兩種：累積增量備份和差分增量備份。
累積增量備份：如果一次全量備份後的多次增量備份，指定的prior-backup-key始終為全量備份的backup-key，即所有的增量備份都是基於全量備份來進行的，那麼這些增量備份就是累積增量備份，累積增量備份均是基於最近一次全量備份進行的，如圖1所示。
圖1 累積增量備份示意圖
差分增量備份：如果一次全量備份後的多次增量備份，指定的prior-backup-key均為上一次備份（可能是全量備份也可能增量備份）的backup-key，即此次備份是基於上一次備份集來進行的，那麼這些增量備份就是差分增量備份，差分增量備份均是基於最近一次備份進行的，如圖2所示。
圖2 差分增量備份示意圖
2、增量備份之CBM設計
增量備份只需要備份上一備份節點到當前時間發生變化的數據文件，為了實現備份數據的完整性與一致性，正確識別並備份增量數據文件是至關重要的，作為增量備份的核心設計，Gauss資料庫內核的事務日誌功能與cbm設計可以幫助Roach工具快速準確識別增量期間數據文件的變換信息，為快速準確完成增量備份提供了有力保障。
（1）WAL與事務日誌
為了保證數據的一致性和完整性，在對數據進行相關操作之前都會將具體的操作記錄下來，持久化到可靠存儲中，然後再進行具體的數據操作，這就是所謂的WAL（Write Ahead Logging），記錄的相關操作稱為XLOG日誌，每一條日誌記錄都由LSN進行唯一標識。這樣做的好處是事物的記錄被提前記錄並保存起來，在因一些外部原因（比如斷電、操作系統失敗等）導致操作失敗後，我們可以通過保存的事物日誌將這些操作重新執行一遍，保證數據不會丟失。相關操作如圖3所示。
圖3 WAL操作示意圖
（2）Checkpoint操作
當系統運行時間較長的時候，由於操作較多，日誌文件的數量也較多。如果每次利用日誌進行恢復操作都會耗費大量的時間，為了節約時間同時減少不必要的恢復操作，引入了checkpoint的概念。checkpoint表示在此操作之前，相關數據已經被保存到永久存儲中，即使系統故障，這部分數據也不會丟失，因此恢復的時候只要從checkpoint操作之後根據日誌執行恢復操作就可以了。checkpoint本身也是一條xlog記錄，該記錄包含了redo點的位置，因此，每次恢複數據時，先從xloh記錄里找到最近的一次checkpoint記錄，並根據該記錄找到相應的redo點位置，這就是執行本次恢復的起始點位置。如圖4所示，checkpoint操作記錄了redo點的位置。
圖4 Checkpoint操作示意圖
（3）CBM設計
基於上述功能，由於數據的所有變化都被記錄在了xlog中，Gauss資料庫內核通過增加常駐的CBM writer線程，持續不斷地對新增的xlog進行解析，識別並記錄哪些數據數據頁面被修改。CBM記錄的生成過程如圖5所示。
圖5 CBM生成示意圖
CBM writer線程的工作流程為：
- 進程啟動時即開啟CBM writer功能
在startup線程剛啟動時，其根據已經解析出來的CBM文件，來決定CBM writer開始解析的起始LSN位置。每次執行到checkpoint末尾是，會設置CBM writer線程的latch。CBM writer線程等待latch被設置，然後進行一輪日誌解析。 - 通過動態reload GUC參數，開啟CBM writer功能
由於是動態開啟的CBM writer功能，因此startup線程沒有初始化CBM解析的起始位置。打開enable_cbm_writer開關的同時，會將CBM強制初始化的標誌置為true。當CBM writer線程啟動之後，其第一次解析中，會強制初始化獲得解析的起始lsn。
(4)CBM文件的命名格式
CBM文件保存在data目錄的pg_cbm文件夾下，命名方式為：pg_xlog_seqnum_startlsn_endlsn.cbm。如圖6所示。
圖6 CBM文件格式
- seqnum文件序號表示這是第幾個cbm文件，當一個cbm文件的大小超過100M時，將會切換到下一個cbm文件，並將seqnum加1。
- startlsn為本cbm文件內容對應xlog記錄的起始lsn；
- endlsn為本cbm文件切換時最後一次解析的截止lsn，若一個cbm文件還沒有切換，那麼endlsn為0。
(5)CBM對外介面函數
a. pg_cbm_tracked_location
- 說明：用於查詢cbm已經解析到的lsn位置
- 入參：無
- 返回值：cbm已經解析到的lsn位置
b. pg_cbm_get_merged_file
- 說明：用於將指定lsn範圍之內的cbm文件合併成一個cbm文件
- 入參：startlsn，指定的起始lsn；endlsn，指定的結束lsn
- 返回值：合併完的cbm文件名
c. pg_cbm_get_changed_block
- 說明：用於將指定lsn範圍之內的cbm文件合併一個表，並返回表的各行記錄
- 入參：startlsn，指定的起始lsn；endlsn，指定的結束lsn
- 返回值：合併完的表的記錄，表的結構如下
d. pg_cbm_recycle_file
- 說明：刪除不再使用的cbm文件
- 入參：lsn，刪除該lsn以前的cbm文件
- 返回值：刪除截止的lsn
3、CBM使用實踐
(1)找到當前xlog的LSN位置，並將cbm的解析位置設置為該LSN的位置。
圖7 設置CBM解析起始位置
(2)插入數據後獲取當前cbm解析位置。
圖8 設置CBM解析終止位置
(3)根據插入後數據前後的CBM解析位置，獲取變化的數據文件，獲取相關信息。
圖9 獲取變化數據文件
4、總結
增量備份是重要的常規備份策略，正確快速識別增量變化文件的相關信息對增量備份至關重要。作為增量備份的核心設計，事務日誌和CBM相關功能為增量備份的快速高效進行提供了有力支撐，本文對CBM的相關設計進行了介紹，並利用CBM的對外介面演示了CBM的相關功能。
