my2sql工具之快速入門

来源:https://www.cnblogs.com/greatsql/archive/2022/08/15/16587070.html
-Advertisement-
Play Games

GreatSQL社區原創內容未經授權不得隨意使用，轉載請聯繫小編並註明來源。 GreatSQL是MySQL的國產分支版本，使用上與MySQL一致。 my2sql工具之快速入門 1.什麼是my2sql 2.如何快速部署my2sql工具 3.如何使用my2sql工具 3.1使用my2sql工具解析bin ...


  • GreatSQL社區原創內容未經授權不得隨意使用，轉載請聯繫小編並註明來源。
  • GreatSQL是MySQL的國產分支版本，使用上與MySQL一致。

my2sql工具之快速入門

  • 1.什麼是my2sql
  • 2.如何快速部署my2sql工具
  • 3.如何使用my2sql工具
    • 3.1使用my2sql工具解析binglog文件
    • 3.2使用my2sql工具快速閃回
  • 4.遇到的問題
  • 5.使用限制
  • 6.總結

1. 什麼是my2sql？

my2sql是go版MySQL binlog解析工具，通過解析MySQL binlog ，可以生成原始SQL、回滾SQL、去除主鍵的INSERT SQL等，也可以生成DML統計信息。類似工具有binlog2sql、MyFlash、my2fback等，本工具基於my2fback、binlog_rollback工具二次開發而來。

2. 如何快速部署my2sql工具

方式一 go編譯

git clone https://github.com/liuhr/my2sql.git
cd my2sql/
go build .

方式二 已編譯好的二進位文件

二進位文件下載地址
https://github.com/liuhr/my2sql/blob/master/releases/centOS_release_7.x/my2sql

複製到我的docker中

#1、把my2sql 二進位文件複製到mysql8的容器中
 docker cp /usr/local/bin/my2sql  mysql8:/usr/local/bin

#2、進入容器
docker exec -it mysql8  bash
chmod +x /usr/local/bin/my2sql

3. 如何使用my2sql工具

3.1 使用my2sql工具解析binglog文件

step1：查詢binglog文件

mysql> show variables like 'binlog_format';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | ROW   |
+---------------+-------+
1 row in set (0.00 sec)

mysql> show master status;
+----------+----------+--------------+------------------+--------------------------------------------+
| File     | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set                            |
+----------+----------+--------------+------------------+----------------------------------------------+
| 1.000001 |     1021 |              |                  | ecd66956-f106-11ec-bb85-0242ac110005:1-19718 |
+----------+----------+--------------+------------------+----------------------------------------------+
1 row in set (0.00 sec)

mysql> flush logs;
Query OK, 0 rows affected (0.71 sec)

mysql> show master status;
+----------+----------+--------------+------------------+----------------------------------------------+
| File     | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set                            |
+----------+----------+--------------+------------------+----------------------------------------------+
| 1.000002 |      193 |              |                  | ecd66956-f106-11ec-bb85-0242ac110005:1-19718 |
+----------+----------+--------------+------------------+----------------------------------------------+
1 row in set (0.00 sec)

mysql> show variables like 'innodb_log_group_home_dir';
+---------------------------+-------+
| Variable_name             | Value |
+---------------------------+-------+
| innodb_log_group_home_dir | ./    |
+---------------------------+-------+
1 row in set (0.01 sec)

mysql> show variables like '%datadir%';
+---------------+-----------------+
| Variable_name | Value           |
+---------------+-----------------+
| datadir       | /var/lib/mysql/ |
+---------------+-----------------+
1 row in set (0.00 sec)

step2：查詢測試表：

-- 查看測試表結構
mysql> show create table sbtest.sbtest1\G;
*************************** 1. row ***************************
       Table: sbtest1
Create Table: CREATE TABLE `sbtest1` (
  `id` int NOT NULL AUTO_INCREMENT,
  `k` int NOT NULL DEFAULT '0',
  `c` char(120) COLLATE utf8mb4_0900_bin NOT NULL DEFAULT '',
  `pad` char(60) COLLATE utf8mb4_0900_bin NOT NULL DEFAULT '',
  PRIMARY KEY (`id`),
  KEY `k_1` (`k`)
) ENGINE=InnoDB AUTO_INCREMENT=100001 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_bin
1 row in set (0.00 sec)

--查看測試表行數
mysql> select count(*) from sbtest.sbtest1;
+----------+
| count(*) |
+----------+
|   100000 |
+----------+
1 row in set (0.00 sec)

--查看測試表的檢驗值
mysql> checksum table sbtest.sbtest1;
+----------------+------------+
| Table          | Checksum   |
+----------------+------------+
| sbtest.sbtest1 | 4167997150 |
+----------------+------------+
1 row in set (0.09 sec)

-- 刪除5萬行數據
mysql> delete from sbtest.sbtest1 where id<50000; 【這裡刪除了49999行數據】
Query OK, 49999 rows affected (7.72 sec)

--再次看測試表的檢驗值
mysql> checksum table sbtest.sbtest1;
+----------------+------------+
| Table          | Checksum   |
+----------------+------------+
| sbtest.sbtest1 | 1629663751 |
+----------------+------------+
1 row in set (0.04 sec)

step3：解析binglog文件

#解析binglog文件
root@29b86217f7d4:/tmp# my2sql  -user root -password ****** -host 127.0.0.1 -port 3306 -databases sbtest -tables sbtest1 -mode repl -work-type 2sql -start-file 1.000002 -output-dir /tmp
[2022/07/28 10:26:42] [info] binlogsyncer.go:144 create BinlogSyncer with config {1113306 mysql 127.0.0.1 3306 root   utf8 false false <nil> false UTC false 0 0s 0s 0 false false 0}
[2022/07/28 10:26:42] [info] events.go:60 start thread 1 to generate redo/rollback sql
[2022/07/28 10:26:42] [info] binlogsyncer.go:360 begin to sync binlog from position (1.000002, 4)
[2022/07/28 10:26:42] [info] stats_process.go:166 start thread to analyze statistics from binlog
[2022/07/28 10:26:42] [info] events.go:210 start thread to write redo/rollback sql into file
[2022/07/28 10:26:42] [info] events.go:60 start thread 2 to generate redo/rollback sql
[2022/07/28 10:26:42] [info] repl.go:16 start to get binlog from mysql
[2022/07/28 10:26:42] [info] binlogsyncer.go:777 rotate to (1.000002, 4)
[2022/07/28 10:26:50] [info] repl.go:84 deadline exceeded.
[2022/07/28 10:26:50] [info] repl.go:18 finish getting binlog from mysql
[2022/07/28 10:26:50] [info] stats_process.go:266 exit thread to analyze statistics from binlog
[2022/07/28 10:26:50] [info] events.go:185 exit thread 1 to generate redo/rollback sql
[2022/07/28 10:26:50] [info] events.go:185 exit thread 2 to generate redo/rollback sql
[2022/07/28 10:26:50] [info] events.go:274 finish writing redo/forward sql into file
[2022/07/28 10:26:50] [info] events.go:277 exit thread to write redo/rollback sql into file
root@29b86217f7d4:/tmp# ls -lrt
total 2392
-rw-r--r-- 1 root root     261 Jul 28 10:26 biglong_trx.txt
-rw-r--r-- 1 root root 2438845 Jul 28 10:26 forward.2.sql
-rw-r--r-- 1 root root     288 Jul 28 10:26 binlog_status.txt

step4：查看解析後的sql：

--文件binlog_status.txt和biglong_trx.txt是事務的統計信息
root@29b86217f7d4:/tmp# cat binlog_status.txt 
binlog            starttime           stoptime            startpos   stoppos    inserts  updates  deletes  database        table               
1.000002          2022-07-28_10:24:06 2022-07-28_10:24:06 341        9536267    0        0        49999    sbtest          sbtest1             
root@29b86217f7d4:/tmp# cat biglong_trx.txt
binlog            starttime           stoptime            startpos   stoppos    rows     duration   tables
1.000002          2022-07-28_10:24:06 2022-07-28_10:24:06 269        9536294    49999    0          [sbtest.sbtest1(inserts=0, updates=0, deletes=49999)]

--文件forward.2.sql是binlog解析之後的sql
root@29b86217f7d4:/tmp#  more -10 forward.2.sql 
DELETE FROM `sbtest`.`sbtest1` WHERE `id`=1;
DELETE FROM `sbtest`.`sbtest1` WHERE `id`=2;
DELETE FROM `sbtest`.`sbtest1` WHERE `id`=3;
DELETE FROM `sbtest`.`sbtest1` WHERE `id`=4;
DELETE FROM `sbtest`.`sbtest1` WHERE `id`=5;
DELETE FROM `sbtest`.`sbtest1` WHERE `id`=6;
DELETE FROM `sbtest`.`sbtest1` WHERE `id`=7;
DELETE FROM `sbtest`.`sbtest1` WHERE `id`=8;
DELETE FROM `sbtest`.`sbtest1` WHERE `id`=9;
DELETE FROM `sbtest`.`sbtest1` WHERE `id`=10;
--More--(0%)

3.2 使用my2sql工具快速閃回

step1：生成閃回sql文件

root@29b86217f7d4:/tmp# my2sql  -user root -password ****** -host 127.0.0.1 -port 3306 -databases sbtest -tables sbtest1 -mode repl -work-type rollback   -start-file 1.000002  -output-dir /tmp/flashback/
[2022/07/28 10:42:55] [info] events.go:60 start thread 1 to generate redo/rollback sql
[2022/07/28 10:42:55] [info] events.go:210 start thread to write redo/rollback sql into file
[2022/07/28 10:42:55] [info] binlogsyncer.go:144 create BinlogSyncer with config {1113306 mysql 127.0.0.1 3306 root   utf8 false false <nil> false UTC false 0 0s 0s 0 false false 0}
[2022/07/28 10:42:55] [info] events.go:60 start thread 2 to generate redo/rollback sql
[2022/07/28 10:42:55] [info] stats_process.go:166 start thread to analyze statistics from binlog
[2022/07/28 10:42:55] [info] binlogsyncer.go:360 begin to sync binlog from position (1.000002, 4)
[2022/07/28 10:42:55] [info] repl.go:16 start to get binlog from mysql
[2022/07/28 10:42:55] [info] binlogsyncer.go:777 rotate to (1.000002, 4)
[2022/07/28 10:43:00] [info] repl.go:84 deadline exceeded.
[2022/07/28 10:43:00] [info] repl.go:18 finish getting binlog from mysql
[2022/07/28 10:43:00] [info] stats_process.go:266 exit thread to analyze statistics from binlog
[2022/07/28 10:43:00] [info] events.go:185 exit thread 1 to generate redo/rollback sql
[2022/07/28 10:43:00] [info] events.go:185 exit thread 2 to generate redo/rollback sql
[2022/07/28 10:43:00] [info] events.go:259 finish writing rollback sql into tmp files, start to revert content order of tmp files
[2022/07/28 10:43:00] [info] rollback_process.go:15 start thread 1 to revert rollback sql files
[2022/07/28 10:43:00] [info] rollback_process.go:41 start to revert tmp file /tmp/flashback/.rollback.2.sql into /tmp/flashback/rollback.2.sql
[2022/07/28 10:43:00] [info] rollback_process.go:156 finish reverting tmp file /tmp/flashback/.rollback.2.sql into /tmp/flashback/rollback.2.sql
[2022/07/28 10:43:00] [info] rollback_process.go:25 exit thread 1 to revert rollback sql files
[2022/07/28 10:43:00] [info] events.go:272 finish reverting content order of tmp files
[2022/07/28 10:43:00] [info] events.go:277 exit thread to write redo/rollback sql into file

step2：查看生成的閃迴文件：

root@29b86217f7d4:/tmp/flashback# ls -lrt
total 12596
-rw-r--r-- 1 root root      261 Jul 28 10:42 biglong_trx.txt
-rw-r--r-- 1 root root      288 Jul 28 10:43 binlog_status.txt
-rw-r--r-- 1 root root 12888636 Jul 28 10:43 rollback.2.sql

root@29b86217f7d4:/tmp/flashback# cat  biglong_trx.txt
binlog            starttime           stoptime            startpos   stoppos    rows     duration   tables
1.000002          2022-07-28_10:24:06 2022-07-28_10:24:06 269        9536294    49999    0          [sbtest.sbtest1(inserts=0, updates=0, deletes=49999)]


root@29b86217f7d4:/tmp/flashback# cat binlog_status.txt
binlog            starttime           stoptime            startpos   stoppos    inserts  updates  deletes  database        table               
1.000002          2022-07-28_10:24:06 2022-07-28_10:24:06 341        9536267    0        0        49999    sbtest          sbtest1           


root@29b86217f7d4:/tmp/flashback# more -10 rollback.2.sql
INSERT INTO `sbtest`.`sbtest1` (`id`,`k`,`c`,`pad`) VALUES (49999,33022,'82276829554-28600016482-71437056503-67189283057-49828408020-97469013057-54486869404-00631592142
-97314346455-10619483378','14496218158-82953408254-72982060504-31493955809-57788873512');
INSERT INTO `sbtest`.`sbtest1` (`id`,`k`,`c`,`pad`) VALUES (49998,50244,'96937339387-30971064351-79066739653-24906328840-02614118448-07131634761-96921531810-30574594369
-22852947139-53163560618','11061918782-99235282357-54725926348-09882016546-43656283296');
INSERT INTO `sbtest`.`sbtest1` (`id`,`k`,`c`,`pad`) VALUES (49997,49958,'23875561992-79383179714-31844019265-78678195929-11039506986-44432953782-19018620372-45679869851
-21838821757-54316746647','72021998255-21544610411-49097617755-83325624702-67496909817');
INSERT INTO `sbtest`.`sbtest1` (`id`,`k`,`c`,`pad`) VALUES (49996,49784,'64121185719-74243968401-44193775190-53796401184-56297492349-79981936074-03057285270-03714583251
-22209198873-10937378934','77159337465-83656217977-70877234699-71552982384-42185635425');
INSERT INTO `sbtest`.`sbtest1` (`id`,`k`,`c`,`pad`) VALUES (49995,49750,'32364537835-96169411677-52025383891-99856461851-54876781624-38035712955-18254695168-34412213489
-24174915574-41228645716','40846762001-49118260546-21871620253-63339659850-56585169893');
--More--(0%)

step3：應用rollback文件進行數據恢復

mysql -uroot -p****** -P3306 -h127.0.0.1 sbtest < /tmp/flashback/rollback.2.sql

step4：最後檢查恢復情況

mysql> select count(*) from sbtest.sbtest1;
+----------+
| count(*) |
+----------+
|   100000 |
+----------+
1 row in set (0.01 sec)

mysql> checksum table sbtest.sbtest1;
+----------------+------------+
| Table          | Checksum   |
+----------------+------------+
| sbtest.sbtest1 | 4167997150 |
+----------------+------------+
1 row in set (0.08 sec)

4. 遇到的問題

問題1：Connect mysql failed this authentication plugin is not supported

my2sql  -user greatsql -password ****** -host 127.0.0.1 -port 3306  -mode repl -work-type 2sql -start-file binlog.000001
[2022/07/28 10:00:01] [fatal] context.go:575 Connect mysql failed this authentication plugin is not supported

解決

#修改
ALTER USER 'username'@'localhost' IDENTIFIED WITH mysql_native_password BY 'password';
FLUSH PRIVILEGES;

問題2：Connect mysql failed this user requires mysql native password authentication.

my2sql  -user greatsql  -password ****** 127.0.0.1 -port 3306 -mode repl -work-type 2sql -start-file binlog.000001
[2022/07/28 09:35:08] [fatal] context.go:575 Connect mysql failed this user requires mysql native password authentication.

解決

#mysql配置文件中增加以下配置項並重啟
default_authentication_plugin=mysql_native_password

5. 使用限制

  • 使用回滾/閃回功能時，binlog格式必須為row,且binlog_row_image=full， DML統計以及大事務分析不受影響。
  • 只能回滾DML， 不能回滾DDL。
  • 支持指定-tl時區來解釋binlog中time/datetime欄位的內容。開始時間-start-datetime與結束時間-stop-datetime也會使用此指定的時區， 但註意此開始與結束時間針對的是binlog event header中保存的unix timestamp。結果中的額外的datetime時間信息都是binlog event header中的unix timestamp。
  • 此工具是偽裝成從庫拉取binlog，需要連接資料庫的用戶有SELECT, REPLICATION SLAVE, REPLICATION CLIENT許可權。
  • MySQL8.0版本需要在配置文件中加入default_authentication_plugin =mysql_native_password，用戶密碼認證必須是mysql_native_password才能解析。

6.總結

my2sql除了可以用來做binlog的解析、閃回，還提供主從切換後新master丟數據的修複、大事務和長事務的分析、主從延遲分析等，後面有空繼續分享my2sql在事務方面的應用，大家也可以自己動手實踐一下。

參考文檔

https://github.com/liuhr/my2sql/blob/master/README.md

Enjoy GreatSQL

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • StoneDB 讀、寫操作的執行過程
    背景介紹 StoneDB 是一款相容 MySQL 的開源 HTAP 資料庫。StoneDB 的整體架構分為三層，分別是應用層、服務層和存儲引擎層。應用層主要負責客戶端的連接管理和許可權驗證；服務層提供了 SQL 介面、查詢緩存、解析器、優化器、執行器等組件；Tianmu 引擎所在的存儲引擎層是 Sto ...
  • 2022-8-15 資料庫 mysql 第一天
    Mysql資料庫 資料庫 資料庫【按照數據結構來組織、存儲和管理數據的倉庫】。是一個長期存儲在電腦內的、有組織的、可共用的、統一管理的大量數據的集合。 數據對於公司來說最寶貴的財富，程式員的工作就是對數據進行管理，包括運算、流轉、存儲、展示等，資料庫最重要的功能就是【存儲數據】，長期保存數據。 M ...
  • SQL 序列生成器
    本篇介紹SQL:2016（ISO/IEC 9075:2016）標準中定義的序列生成器（Sequence generator）和相關操作，以及六種主流資料庫中的實現及差異：Oracle、MySQL、Microsoft SQL Server、PostgreSQL、Db2、SQLite。 ————————... ...
  • 5.1 主鍵約束
    #主鍵約束(PRIMARY KEY) ##SQL Server PRIMARY KEY(主鍵)約束簡介 主鍵是唯一標識表中每一行的一列或一組列。您可以使用主鍵約束為表創建主鍵。 如果主鍵僅包含一列，你可以使用PRIMARY KEY約束作為列約束： CREATE TABLE table_name ( ...
  • 開源公開課丨ChunJun數據傳輸模塊介紹
    一、直播介紹 之前的內容，我們為大家分享了ChunJun數據還原的DDL模塊，以及ChunJun同步Hive事務表，本期我們為大家分享ChunJun數據傳輸模塊介紹。 本次直播我們將從ChunJun數據類型轉換，到數據傳輸過程以及ChunJun的序列化實現為大家進行詳細講解，通過本次分享，希望大家能 ...
  • 什麼是真正的HTAP？（二）挑戰篇
    上一篇文章中，我們從技術和商業角度分析了 HTAP 系統緣起的背景，本篇文章中，我們將從 HTAP 定義及其相關核心技術等方面來討論：構建一個 HTAP 所面臨的核心問題和挑戰有哪些？ HTAP 涉及技術和對產品的影響 HTAP 是將 TP 和 AP 進行高度融合的產物， 而非簡單的 TP 和 AP ...
  • 手把手教你分析MySQL查詢性能瓶頸，包教包會
    當一條SQL執行較慢，需要分析性能瓶頸，到底慢在哪？ 我們一般會使用Explain查看其執行計劃，從執行計劃中得知這條SQL有沒有使用索引？使用了哪個索引？ 但是執行計劃顯示內容不夠詳細，如果顯示用到了某個索引，查詢依然很慢，我們就無法得知具體是哪一步比較耗時？ 好在MySQL提供一個SQL性能分析... ...
  • 什麼是真正的HTAP？（一）背景篇
    To digitally transform the business, AI must be real-time. For AI to be real-time, we need real-time analytics.[1] Hybrid transaction/analytical proce ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類