pt-archiver歸檔數據 源庫和目標庫是否會出現不一致

来源:https://www.cnblogs.com/YangJiaXin/archive/2019/09/29/11610217.html
-Advertisement-
Play Games

背景 歸檔的表在源庫和目標庫都要存在 pt archiver歸檔表的場景有：不刪原表數據，非批量插入目標庫；不刪原表數據，批量插入目標庫；非批量刪除原表數據，非批量插入目標庫；批量刪除原表數據，批量插入目標庫 版本 pt archiver version pt archiver 3.0.12 sel ...


背景

  • 歸檔的表在源庫和目標庫都要存在
  • pt-archiver歸檔表的場景有：不刪原表數據，非批量插入目標庫；不刪原表數據，批量插入目標庫；非批量刪除原表數據，非批量插入目標庫；批量刪除原表數據，批量插入目標庫

版本
pt-archiver --version
pt-archiver 3.0.12

select @@version;
+-----------+
| @@version |
+-----------+
| 8.0.12 |
+-----------+

是否會出現不一致情況

  • 源庫已經delete，目標庫還沒有insert
  • 目標庫已經insert ，源庫還沒有delete

--bulk-insert
採用LOAD DATA INFILE的方式，相比一行一行的插入，通過為每批數據創建臨時文件，先行寫入數據到臨時文件，當一批數據獲取完畢後，再進行導入操作，加速了目標庫插入的速度

--bulk-delete
批量刪除，一批數據行用一個DELETE語句完成

生成100000條記錄

sysbench /usr/local/share/^Csbench/oltp_read_write.lua --mysql_storage_engine=innodb --table-size=100000 --tables=1 --mysql-db=test_archiver --mysql-user=admin --mysql-password=admin --mysql-port=8013 --mysql-host=127.0.0.1 --threads=8 --time=10 --report-interval=1 --events=0 --db-driver=mysql prepare

源庫和目標庫在不同的實例 是否會出現不一致測試

源庫
192.168.137.133:test_archiver

目標庫
192.168.137.1:test_archiver

開啟gerneral日誌
set global general_log=on;

每5000條記錄進行一次commit，每次取10000 條記錄進行處理

nohup pt-archiver --source h=127.0.0.1,u=admin,p=admin,P=8013,D=test_archiver,t=sbtest1 --dest h=192.168.137.1,u=admin,p=admin,P=3306,D=test_archiver --progress 1000 --where "id<100000" --statistics --limit 10000 --sleep 10 --no-check-charset --txn-size 5000 --bulk-delete --bulk-insert &

中途kill掉 pt-archiver歸檔進程，源庫和目標庫沒有出現不一致的情況
ps -ef | grep pt-archiver | awk '{print $2}' | xargs kill -9

目標庫

select id from sbtest1 order by  id  desc limit 1;
+-------+
| id    |
+-------+
| 10000 |
+-------+
1 row in set (0.00 sec)

源庫

select id from sbtest1 order by id   limit 1;
+-------+
| id    |
+-------+
| 10001 |
+-------+
1 row in set (0.00 sec)

源庫執行語句

2019-08-21T07:02:58.600832Z        56 Connect   [email protected] on test_archiver using TCP/IP
2019-08-21T07:02:58.601186Z        56 Query     set autocommit=0
...
2019-08-21T07:02:58.966036Z        56 Query     SELECT MAX(`id`) FROM `test_archiver`.`sbtest1`
2019-08-21T07:02:58.967807Z        56 Query     SELECT CONCAT(@@hostname, @@port)
2019-08-21T07:02:58.989394Z        56 Query     SELECT /*!40001 SQL_NO_CACHE */ `id`,`k`,`c`,`pad` FROM `test_archiver`.`sbtest1` FORCE INDEX(`PRIMARY`) WHERE (id<100000) AND (`id` < '100000') ORDER BY `id` LIMIT 10000
...
2019-08-21T07:02:59.275620Z        56 Query     commit
...
019-08-21T07:02:59.532682Z        56 Query     commit
2019-08-21T07:02:59.834194Z        56 Query     SELECT 'pt-archiver keepalive'
2019-08-21T07:02:59.834835Z        56 Query     DELETE FROM `test_archiver`.`sbtest1` WHERE (((`id` >= '1'))) AND (((`id` <= '10000'))) AND (id<100000) LIMIT 10000
2019-08-21T07:03:09.958289Z        56 Query     SELECT /*!40001 SQL_NO_CACHE */ `id`,`k`,`c`,`pad` FROM `test_archiver`.`sbtest1` FORCE INDEX(`PRIMARY`) WHERE (id<100000) AND (`id` < '100000') AND ((`id` >= '10000')) ORDER BY `id` LIMIT 10000
...
2019-08-21T07:03:10.215958Z        56 Query     commit
...
2019-08-21T07:03:10.670937Z        56 Query     commit
2019-08-21T07:03:10.904398Z        56 Query     SELECT 'pt-archiver keepalive'
2019-08-21T07:03:10.904715Z        56 Query     DELETE FROM `test_archiver`.`sbtest1` WHERE (((`id` >= '10001'))) AND (((`id` <= '20000'))) AND (id<100000) LIMIT 10000  ====》( 該語句由於沒有commit 語句會rollback )

目標庫執行語句

2019-08-21T07:03:00.317343Z        33 Connect   [email protected] on test_archiver using TCP/IP
2019-08-21T07:03:00.338390Z        33 Query     set autocommit=0
...
2019-08-21T07:03:00.633938Z        33 Query     SELECT CONCAT(@@hostname, @@port)
2019-08-21T07:03:00.920655Z        33 Query     commit
2019-08-21T07:03:01.177267Z        33 Query     commit
2019-08-21T07:03:01.199046Z        33 Query     LOAD DATA LOCAL INFILE '/tmp/jaGuzZfjSept-archiver' INTO TABLE `test_archiver`.`sbtest1`(`id`,`k`,`c`,`pad`) （插入了 1=<id <=10000的記錄）
2019-08-21T07:03:11.850618Z        33 Query     commit
2019-08-21T07:03:12.315829Z        33 Query     commit
2019-08-21T07:03:12.337323Z        33 Query     LOAD DATA LOCAL INFILE '/tmp/GQ2ybc3KCzpt-archiver' INTO TABLE `test_archiver`.`sbtest1`(`id`,`k`,`c`,`pad`)  ====》( 該語句由於沒有commit 該語句會rollback ，併在 機器/tmp 目錄下留下臨時文件)

ll /tmp/GQ2ybc3KCzpt-archiver
-rw------- 1 root root 1920000 Aug 21 15:03 /tmp/GQ2ybc3KCzpt-archiver
  • 從日誌可見，源庫的delete 操作的commit時間（07:03:10.215958Z） 是在目標庫insert操作的commit時間（07:03:11.850618Z）之前，這可能出現歸檔時源庫已delete，目標庫還沒有insert的情況
  • 這次源庫和目標庫在不同的實例上，不同的實例時鐘會出現不一致 影響general_log中commit出現的時間

源庫和目標庫在相同的實例 是否會出現不一致測試

源庫
192.168.137.133:test_archiver

目標庫
192.168.137.133:test_archiver2

刪除測試數據重新生成100000 條記錄

sysbench /usr/local/share/sysbench/oltp_read_write.lua --mysql_storage_engine=innodb --table-size=100000 --tables=1 --mysql-db=test_archiver --mysql-user=admin --mysql-password=admin --mysql-port=8013 --mysql-host=127.0.0.1 --threads=8 --time=10 --report-interval=1 --events=0 --db-driver=mysql cleanup

sysbench /usr/local/share/sysbench/oltp_read_write.lua --mysql_storage_engine=innodb --table-size=100000 --tables=1 --mysql-db=test_archiver --mysql-user=admin --mysql-password=admin --mysql-port=8013 --mysql-host=127.0.0.1 --threads=8 --time=10 --report-interval=1 --events=0 --db-driver=mysql prepare

每100000條記錄 進行commit一次，每次取100000條記錄進行處理
pt-archiver --source h=127.0.0.1,u=admin,p=admin,P=8013,D=test_archiver,t=sbtest1 --dest h=127.0.0.1,u=admin,p=admin,P=8013,D=test_archiver2 --progress 1000 --where "id<100000" --statistics --sleep 10 --limit 100000 --no-check-charset --txn-size 100000 --bulk-delete --bulk-insert

源庫和目標庫執行語句


2019-08-22T01:50:35.672490Z         9 Connect   [email protected] on test_archiver using TCP/IP
2019-08-22T01:50:35.673125Z         9 Query     set autocommit=0
...
2019-08-22T01:50:35.685987Z        10 Connect   [email protected] on test_archiver2 using TCP/IP
2019-08-22T01:50:35.686278Z        10 Query     set autocommit=0
...
2019-08-22T01:50:35.708866Z         9 Query     SELECT /*!40001 SQL_NO_CACHE */ `id`,`k`,`c`,`pad` FROM `test_archiver`.`sbtest1` FORCE INDEX(`PRIMARY`) WHERE (id<100000) AND (`id` < '100000') ORDER BY `id` LIMIT 100000
...
2019-08-22T01:50:40.242371Z        10 Query     LOAD DATA LOCAL INFILE '/tmp/X5W2UemPgDpt-archiver' INTO TABLE `test_archiver2`.`sbtest1`(`id`,`k`,`c`,`pad`)
2019-08-22T01:50:43.692914Z         9 Query     SELECT 'pt-archiver keepalive'
2019-08-22T01:50:43.693411Z         9 Query     DELETE FROM `test_archiver`.`sbtest1` WHERE (((`id` >= '1'))) AND (((`id` <= '99999'))) AND (id<100000) LIMIT 100000
2019-08-22T01:50:58.603351Z         9 Query     SELECT /*!40001 SQL_NO_CACHE */ `id`,`k`,`c`,`pad` FROM `test_archiver`.`sbtest1` FORCE INDEX(`PRIMARY`) WHERE (id<100000) AND (`id` < '100000') AND ((`id` >= '99999')) ORDER BY `id` LIMIT 100000
2019-08-22T01:50:58.606390Z        10 Query     commit
2019-08-22T01:50:58.717251Z         9 Query     commit
2019-08-22T01:50:58.780614Z        10 Quit
2019-08-22T01:50:58.781480Z         9 Quit
  • 從general日誌看起來，目標庫的批量插入是在源庫的批量刪除之前，目標庫insert 操作的commit（01:50:58.606390Z） 也是在源庫delete 操作的commit（01:50:58.717251Z）之前
  • ***在目標庫的commit執行後0.11s 期間，pt-archiver發生異常終止(這概率是很小的#_#), 源庫的commit沒有執行，delete操作就會回滾，出現源庫的數據和目標庫的數據不一致的問題***

註意
MySQL8.0 執行load data infile 命令除了設置secure_file_priv 外，還需要在[client] 和[mysqld] 中設置local-infile=1，不然會出現錯誤
DBD::mysql::st execute failed: The used command is not allowed with this MySQL version

pt-archiver commit

  • 操作的相關代碼可見是在目標庫完成commit 操作後，源庫才進行commit操作的
  • 當事務中操作的數據量很大時，源庫delete的commit操作耗時也會比較長，pt-archiver發生異常終止後（源庫的commit還沒完成，delete操作會回滾），會出現目標庫已存在數據，源庫還未刪除數據不一致的情況
 7068       if ( $dst ) {
   7069          trace('commit', sub {
   7070             $dst->{dbh}->commit;
   7071          });
   7072       }
   7073       trace('commit', sub {
   7074          $src->{dbh}->commit;
   7075       });
   7076       $txn_cnt = 0;
   7077    }
   7078 }

結論

  • 在pt-archiver歸檔非commit期間，pt-archiver異常終止，源庫和目標庫都會rollback，不會出現不一致情況
  • 在commit的時刻pt-archiver異常終止，可能出現不一致情況：目標庫已經insert ，源庫還沒有delete的情況
  • pt-archiver異常終止後（沒按時歸檔完，手動kill pt進程等），需手動校驗目標庫和源庫的主鍵情況，否則再次歸檔會出現主鍵衝突的錯誤

pt-archiver歸檔工具的使用詳解

pt-archiver
pt-archiver數據歸檔


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • win10 更新之後，軟體路徑被改為*
    win 10 更新到最新版之後，軟體安裝盤符被改為* ，導致軟體打開失敗，截圖如下： 1. 首先先下載一個RegistryWorkshop 地址：https://sm.myapp.com/original/System/3617_RegistryWorkshop_4.3.0.exe 下載好之後安裝 ...
  • 解決在Linux操作系統下無法連接MySQL服務端的問題
    遇到這種問題的時候我們需要考慮的是防火牆規則，因為防火牆預設是禁止所有埠訪問的，所以我們需要添加一個訪問埠來連接MySQL。 命令如下： 允許某埠 firewall-cmd --zone=public --add-port=“MySQL埠號”/tcp --permanent 禁止某埠 fi ...
  • Linux—yum使用詳解
    https://blog.csdn.net/guohaosun/article/details/81481848 使用yum安裝軟體的時候出現：Another app is currently holding the yum lock; 其實就是yum鎖，就是你的yum被其他APP占用了。解決辦法就 ...
  • 深入理解perf報告中的swapper進程
    一、前言 1、在perf監控進程的系統調用時，會出現大量swapper進程 2、官方描述該進程是當CPU上沒有其他任務運行時，就會執行swapper。換句話說swapper意味著CPU啥事也沒乾，跑去休息去了 3、本文來觀察一下swapper在cpu上的表現 二、環境準備 | 組件 | 版本 | | ...
  • nrm的安裝和使用
    1、安裝nodejs，下載地址，http://nodejs.cn/download/，安裝過程直接點擊下一步即可 安裝完成後cmd輸入npm -v 查看當前安裝的npm的版本，如下圖提示所示則表示安裝成功。 2、查看當前npm的配置 cmd輸入npm config list 或者npm config ...
  • Linux-3.14.12記憶體管理筆記【建立內核頁表（2）】-低端記憶體的建立
    前面的前奏已經分析介紹了建立內核頁表相關變數的設置準備，接下來轉入正題分析內核頁表的建立。 建立內核頁表的關鍵函數init_mem_mapping()： init_mem_mapping()裡面關鍵操作有三個split_mem_range()、kernel_physical_mapping_init ...
  • 在Linux中安裝適用於arm64位的nodejs
    # 安裝適用於arm64位的nodejs runtime v10.16.3 mkdir /runtimes cd /runtimes wget https://nodejs.org/dist/v10.16.3/node-v10.16.3-linux-arm64.tar.xz tar -xvJf no... ...
  • 在Linux中安裝ASPNET.Core3.0運行時
    # 以下示例適用於x64位runtime v3.0.0 mkdir /runtimes cd /runtimes wget https://download.visualstudio.microsoft.com/download/pr/b0c44e05-b7a1-4221-94ec-a0c0d3a1... ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類