高級程式員必知必會,一文詳解MySQL主從同步原理,推薦收藏

来源:https://www.cnblogs.com/yidengjiagou/archive/2022/07/06/16452949.html
-Advertisement-
Play Games

MySQL主從同步是基於Bin Log實現的,而Bin Log記錄的是原始SQL語句。 Bin Log共有三種日誌格式,可以binlog_format配置參數指定。 ...


1. MySQL主從同步實現方式

MySQL主從同步是基於Bin Log實現的,而Bin Log記錄的是原始SQL語句。

Bin Log共有三種日誌格式,可以binlog_format配置參數指定。

參數值 含義
Statement 記錄原始SQL語句,會導致更新時間與原庫不一致。
比如 update_time=now()
Row 記錄每行數據的變化,保證了數據與原庫一致,缺點是數據量較大。
Mixed Statement和Row的混合模式,預設採用Statement模式,涉及日期、函數相關的時候採用Row模式,既減少了數據量,又保證了數據一致性。

常見的主從同步架構有一主多從、雙主多從。

2. MySQL主從同步的作用

  1. 讀寫分離,提升資料庫性能
  2. 容災恢復,主伺服器不可用時,從伺服器提供服務,提高可用性
  3. 冗餘備份,主伺服器數據損壞丟失,從伺服器保留備份

一主多從架構:

一般是主庫負責所有讀寫請求,而從庫只負責容災恢復和冗餘備份。

如果做了讀寫分離的話,主庫負責寫請求,從庫負責讀請求,可以提升資料庫性能。

雙主多從架構:

一般是主庫1負責所有讀寫請求,主庫2不對外提供服務,只用來容災恢復。

相比一主多從架構,雙主多從架構可以減少宕機時間,更快恢複數據庫可用狀態。

3. 主動同步的原理

  1. 當主庫數據發生變更時,寫入本地Bin Log文件

  2. 從庫IO線程發起dump主庫Bin Log文件的請求

  3. 主庫IO線程推送Bin Log文件到從庫中

  4. 從庫IO線程把Bin Log內容寫入本地的Relay Log文件中

  5. 從庫SQL線程讀取Relay Log文件內容

  6. 從庫SQL線程重新執行一遍SQL語句

4. 主從同步延遲問題

主從同步最常遇到的問題就是主從同步延遲,可以通過在從庫上執行show slave status命令查看延遲時間,Seconds_Behind_Master表示延遲的秒數。

主從同步延遲的原因有哪些?

  1. 從庫機器性能較差

    主庫負責所有讀寫請求,從庫只用來備份,會用性能較差的機器,執行時間自然較慢。

  2. 從庫壓力更大

    讀寫分離後,主庫負責寫請求,從庫負責讀請求。

    互聯網應用一般讀請求更多,所以從庫讀壓力更大,占用更多CPU資源。

  3. 網路延遲

    當主庫的Bin Log文件往從庫上發送時,可能產生網路延遲,也會導致從庫數據跟不上。

  4. 主庫有大事務

    當主庫上有個大事務需要執行5分鐘,把Bin Log文件發送到從庫,從庫至少也需要執行5分鐘,所以這時候從庫就出現了5分鐘的延遲。

主從同步延遲的解決方案?

  1. 從庫機器性能較差

    把從庫換成跟主庫同等規格的機器。

  2. 從庫壓力更大

    多搞幾台從庫,分擔讀請求壓力。

  3. 網路延遲

    聯繫運維或者雲服務提供商解決。

  4. 主庫有大事務

    把大事務分割成小事務執行,大事務不但會產生從庫延遲,還可能產生死鎖,降低資料庫併發性能,所以儘量少用大事務。

5. 如何提升主從同步性能

1. 從庫開啟多線程複製

就是在主從同步的最後兩步使用多線程,修改配置 slave_parallel_workers=4,代表開啟4個複製線程。

2. 修改同步模式,改為非同步

主從同步共有三種複製方式:

  1. 全同步複製

    當主庫執行完一個事務,並且所有從庫都執行完該事務後,才給客戶端返回成功。

  2. 半同步複製

    至少有一個從庫執行完成後,就給客戶端返回成功。

  3. 非同步複製

    主庫執行完後,立即返回成功,不關心從庫是否執行完成。

如果對數據安全性要求沒那麼高,可以把同步模式改成半同步複製或者非同步複製。

3. 修改從庫Bin Log配置

修改sync_binlog配置:

sync_binlog=0 ,表示寫binlog不立即刷新磁碟,由系統決定什麼時候刷新磁碟。

sync_binlog=1,每次寫binlog都刷新磁碟,安全性高,性能差。

sync_binlog=N,寫N次binlog才刷新磁碟。

從庫對數據安全性要求沒那麼高,可以設置sync_binlog=0。

修改innodb_flush_log_at_trx_commit配置:

innodb_flush_log_at_trx_commit=0,每隔一秒鐘,把事務日誌刷新到磁碟。

innodb_flush_log_at_trx_commit=1,每次事務都刷新到磁碟。

innodb_flush_log_at_trx_commit=2,每次事務都不主動刷新磁碟,由系統決定什麼時候刷新磁碟。

從庫對數據安全性要求沒那麼高,可以設置innodb_flush_log_at_trx_commit=2。

知識點總結:

文章持續更新,可以微信搜一搜「 一燈架構 」第一時間閱讀更多技術乾貨。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Android系統日誌和工具 我們經常需要查看設備裡面的各種日誌信息。所以有必要瞭解android系統裡面有哪些日誌,以及用什麼方式可以提取這些日誌。以我手頭的紅米note4xplus為例,其基本配置為高通msm8953,android7.0。我們可以看一下根文件系統: mido:/ # ls ac ...
  • 利用jq對比兩段文本的差異,差異的內容用不同顏色表示出來。 線上參考demo:http://incaseofstairs.com/jsdiff/ 項目地址:https://github.com/kpdecker/jsdiff 先上效果圖: 左側第一列是原稿,第二列是需要對比稿,第三列是對比後的結果。 ...
  • HTML知識點概括 前端三件套分別是HTML3,CSS5,JavaScript 稍微介紹一下W3C標準: 結構化標準語言(HTML) 表現標準語言(CSS) 行為標準(DOM,JavaScript) HTML是超文本標記語言,負責網頁最基本信息的構造 HTML的優勢: 市場需求量 跨平臺使用 瀏覽器 ...
  • 學習筆記 ant_vue模態框拖拽記錄 通過自定義命令 utils文件夾中新建dragModal.js import Vue from 'vue' // 註冊自定義拖拽指令,彌補 modal 組件不能拖動的缺陷 Vue.directive('drag-modal', (el, bindings, v ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 簡單介紹 Vue Router Vue Router 是 Vue.js 官方的路由插件,它和 Vue.js 是深度集成的,適合用於構建單頁面應用。vue的單頁面應用是基於路由和組件的,路由用於設定訪問路徑,並將路徑和組件映射起來。傳統的頁 ...
  • 黑夜模式 作為一個前端學習者,自然懂得黑夜模式的重要性,可惜主題原生未提供,那就自己弄吧 個人博客作為效果參考:https://jieniyou.github.io/ 設置基礎樣式 參考其他優秀產品的黑夜模式,得出共性: 那就是黑夜模式的背景一般不會是純黑(#000);而是淡黑色,字體也不是純白(# ...
  • 文章開始之前,我給大家推薦一個人工智慧學習網站,首先說我之前是完全不涉及人工智慧領域的,但是我盡然看懂了,以後老哥我就要參與人工智慧了。如果你也想學習,點擊跳轉到網站 最近打算寫一個用於股票體檢的軟體,比如股權質押比過高的股票不合格,ROE小於10的股票不合格,PE大於80的股票不合格等等等等,就像 ...
  • 目錄 一.簡介 二.效果演示 三.源碼下載 四.猜你喜歡 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 基礎 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 轉場 零基礎 O ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...