db-cdc之mysql 深入瞭解並使用binlog

来源:https://www.cnblogs.com/kogel/archive/2023/10/19/17775098.html
-Advertisement-
Play Games

有時候,一些數據的錄入可能需要使用表格直接錄入會顯得更加方便快捷,這種情況有時候也是由於客戶使用習慣而提出,本篇隨筆介紹在WPF應用端上使用DataGrid來直接新增、編輯、保存數據的處理。 錄入數據的時候,我們都採用在一個窗體界面中,根據不同內容進行錄入,但是有時候涉及主從表的數據錄入,從表的數據... ...


1.什麼是binlog?

2.binlog可以用來乾什麼?

3.怎麼樣使用binlog?

 

binlog是記錄所有資料庫表結構變更(例如CREATE、ALTER TABLE…)以及表數據修改(INSERT、

UPDATE、DELETE…)的二進位日誌。實際落庫產生的日誌(事務提交後)。

我們先看一下Mysql數據更新的流程:

 

binlog可以乾什麼?

• 通過如上所述,我們知道binlog是mysql的已提交日誌,是實際落庫的,那麼如果可以監聽到binlog那麼我們可以用來處理DB主從同步,跨庫同步,數據備份,同步ES,緩存刷新等等

 

怎麼樣使用binlog?

準備工作

1.檢查binlog是否開啟

SHOW GLOBAL VARIABLES LIKE ‘log_bin%’; 結果返回不等於ON時代表關閉

可以通過my.ini配置文件(linux中為my.cnf) log-bin=mysql-bin //指定binlog日誌文件的名稱,可以根據實際需求進行命名。 binlog-format=ROW //設置binlog的格式,下麵會解釋這三種格式。

 

2.檢查binlog格式

SHOW GLOBAL VARIABLES like ' binlog_format%’;

mysql binlog 分為三種模式(STATEMENT,ROW,MIXED)

  • Statement(Statement-Based Replication,SBR):每一條會修改數據的 SQL 都會記錄在 binlog 中
  • Row(Row-Based Replication,RBR):不記錄 SQL 語句上下文信息,僅保存哪條記錄被修改
  • Mixed(Mixed-Based Replication,MBR):Statement 和 Row 的混合體

這裡我們設置Row即可

SET GLOBAL binlog_format = 'ROW’;

SET GLOBAL binlog_row_metadata = ‘FULL’;//8.0版本以下不需要設置

現在準備工作完成,可以開始寫代碼訂閱master節點去獲取binlog信息了,再次之前我們先瞭解下 binlog的存儲原理

 

3.多文件存儲

mysql 將資料庫更新操作對應的event記錄到本地的binlog文件中,顯然在一個文件中記錄所有的 event是不可能的,過大的文件會給我們的運維帶來麻煩,如刪除一個大文件,在I/O調度方面會給我們帶來不可忽視的資源開銷。

因此,目前基本上所有支持本地文件存儲的組件,如MQ、Mysql等,都會控制一個文件的大小。在數據量較多的情況下,就分配到多個文件進行存儲。

在mysql中可以通過

show binlog events;

得到binlog的log_name(文件名)和大小以及pos(偏移量位置)

這兩個會在後面發送dump到master節點去訂閱的時候用到,代表從binlog的哪處位置開始訂閱,master 就會在EventStream中發送此文件節點之後的所有資料庫變更信息

 

4.Binlog管理事件

所謂binlog管理事件,官方稱之為binlog managent events,你可以認為是一些在任何模式下都有可能會出現的事件,不管你的配置binlog_format是Row、Statement還是Mixed。

每個binlog文件總是以Format Description Event作為開始,以Rotate Event結束作為結束。如果你使用的是很古老的Mysql版本中,開始事件也有可能是START EVENT V3,而結束事件是Stop Event。在開始和結束之間,穿插著其他各種事件。

在Event_Type列中,我們看到了三個事件類型:

  • Format_desc:也就是我們所說的Format Description Event,是binlog文件的第一個事件。在Info列,我們可以看到,其標明瞭Mysql Server的版本是8.0,Binlog版本是4。
  • Previous_gtids:該事件完整名稱為,PREVIOUS_GTIDS_LOG_EVENT。熟悉Mysql 基於GTID複製的

同學應該知道,這是表示之前的binlog文件中,已經執行過的GTID。需要我們開啟GTID選項,這個事件才會有值,在後文中,將會詳細的進行介紹。

  • Rotate:Rotate Event是每個binlog文件的結束事件。在Info列中,我們看到了其指定了下一個 binlog文件的名稱是mysql-bin.000004。

5.開始發送一個dump到master節點

serverId代表此slave節點的id(不要跟master節點重覆),訂閱binlog需要模擬一個slave(從節點)去向master節點發送dump,後續就會接收的訂閱返回的事件流信息 filenameposition前面提到過的文件名偏移量

發送成功後就會接收到master節點返回的event信息

每個binlog事件都以一個事件頭(event header)開始,然後是一個binlog事件類型特定的數據部分,稱為事件體(event body)。

事件體的具體結構與事件類型相關,以QUERY_EVENT類型為例,存儲格式如下:

常見的事件類型有:

  • FORMAT_DESCRIPTION_EVENT:該部分位於整個文件的頭部,每個binlog文件都必定會有唯一一個該event
  • PREVIOUS_GTIDS_EVENT:包含在每個binlog的開頭,用於描述所有以前binlog所包含的全部*GTID*的一個集合(包括已經刪除的binlog)
  • GTID_EVENT/ANONYMOUS_GTID_EVENT:每一個Query事務前都會有這樣的一個GTID_EVENT,如果未開啟則是ANONYMOUS_GTID_EVENT。

事務開始時,執行的BEGIN操作;ROW格式中的DDL操作等

  • TABLE_MAP_EVENT:每個DML事務之前,都會有一個TABLE_MAP_EVENT,記錄操作對應的表的信息。
  • WRITE_ROW_EVENT:插入操作。
  • DELETE_ROW_EVENT:刪除操作。
  • UPDATE_ROW_EVENT:更新操作。記載的是一條記錄的完整的變化情況,即從前量變為後量的過程 • XID_EVENT:主要是事務提交的時候回在最後生成一個xid號,有這個便代表事務已經成功提交了
  • ROTATE_EVENT:Binlog結束時的事件,與一樣僅有一個

 

具體的源碼可以通過以下鏈接去下載:

https://github.com/kogel-net/Kogel.Subscribe

 

尾言

這個輪子是在前兩年時候寫的,那時候想利用mysql的cdc解決緩存刷新的問題,但是找了一圈發現只有 java開源的輪子例如canal,flinkcdc等,c#社區好像並無此類似輪子就想寫一個,完善下c#/.net社區,希望以後.net發展能夠越來越好吧。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 如何保持數據一致性 資料庫和緩存(比如:redis)雙寫數據一致性問題,是一個跟開發語言無關的公共問題。尤其在高併發的場景下,這個問題變得更加嚴重。 以下是我無意間瞭解很好的文章,分享給大家。 1. 常見方案 通常情況下,我們使用緩存的主要目的是為了提升查詢的性能。大多數情況下,我們是這樣使用緩存的 ...
  • CompletableFuture非同步編排優化代碼 我們在項目開發中,有可能遇到一個介面需要調用N個服務的介面。比如用戶請求獲取訂單信息,需要調用用戶信息、商品信息、物流信息等介面,最後再彙總數據統一返回。如果使用串列的方法按照順序挨個調用介面,這樣介面的響應的速度就很慢。如果並行調用介面,同時調用 ...
  • 本文分享自華為雲社區《從入門到精通:SimpleDateFormat類高深用法,讓你的代碼更簡潔!》,作者:bug菌。 環境說明:Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 @[toc] 前言 日期時間在開發中是非常常見的需求,尤其是在處理與時間相關的 ...
  • 鏈表(Linked List)是一種線性數據結構,它由一系列節點(Node)組成,每個節點包含兩部分:數據和指向下(上)一個節點的引用(或指針)。鏈表中的節點按照線性順序連接在一起(相鄰節點不需要存儲在連續記憶體位置),不像數組一樣存儲在連續的記憶體位置。鏈表通常由頭節點(Head)來表示整個鏈表,而尾... ...
  • Ping 使用 `Internet` 控制消息協議(`ICMP`)來測試主機之間的連接。當用戶發送一個 `ping` 請求時,則對應的發送一個 `ICMP Echo` 請求消息到目標主機,並等待目標主機回覆一個 `ICMP Echo` 回應消息。如果目標主機接收到請求並且網路連接正常,則會返回一個回... ...
  • 我們每天都在使用著文件伺服器,那你知道他其中有多少功能嗎?壓縮功能在其中占了多大的作用嗎?瀏覽器又是如何的正確識別文件的功能? ...
  • 介紹 這個項目的名稱“Fody”來源於屬於織巢鳥科(Ploceidae)的小鳥(Fody),本身意義為編織。 核心Fody引擎的代碼庫地址 :https://github.com/Fody/Fody Github上是這樣介紹的: Fody 是一個用於織制 .NET 程式集的可擴展工具。它允許在構建過 ...
  • 在 Visual Studio(VS)中,生成錯誤(build error)通常表示代碼中存在一些問題,導致編譯器無法正確編譯代碼。以下是一些常見的原因和解決方法: 語法錯誤:這是最常見的錯誤類型,包括拼寫錯誤、缺失的分號、括弧不匹配等。檢查代碼中的語法錯誤,並嘗試修複它們。 引用錯誤:如果您引用了 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...