高級程式員必知必會,一文詳解MySQL主從同步原理,推薦收藏

来源:https://www.cnblogs.com/yidengjiagou/archive/2022/07/06/16452949.html
-Advertisement-
Play Games

MySQL主從同步是基於Bin Log實現的,而Bin Log記錄的是原始SQL語句。 Bin Log共有三種日誌格式,可以binlog_format配置參數指定。 ...


1. MySQL主從同步實現方式

MySQL主從同步是基於Bin Log實現的,而Bin Log記錄的是原始SQL語句。

Bin Log共有三種日誌格式,可以binlog_format配置參數指定。

參數值 含義
Statement 記錄原始SQL語句,會導致更新時間與原庫不一致。
比如 update_time=now()
Row 記錄每行數據的變化,保證了數據與原庫一致,缺點是數據量較大。
Mixed Statement和Row的混合模式,預設採用Statement模式,涉及日期、函數相關的時候採用Row模式,既減少了數據量,又保證了數據一致性。

常見的主從同步架構有一主多從、雙主多從。

2. MySQL主從同步的作用

  1. 讀寫分離,提升資料庫性能
  2. 容災恢復,主伺服器不可用時,從伺服器提供服務,提高可用性
  3. 冗餘備份,主伺服器數據損壞丟失,從伺服器保留備份

一主多從架構:

一般是主庫負責所有讀寫請求,而從庫只負責容災恢復和冗餘備份。

如果做了讀寫分離的話,主庫負責寫請求,從庫負責讀請求,可以提升資料庫性能。

雙主多從架構:

一般是主庫1負責所有讀寫請求,主庫2不對外提供服務,只用來容災恢復。

相比一主多從架構,雙主多從架構可以減少宕機時間,更快恢複數據庫可用狀態。

3. 主動同步的原理

  1. 當主庫數據發生變更時,寫入本地Bin Log文件

  2. 從庫IO線程發起dump主庫Bin Log文件的請求

  3. 主庫IO線程推送Bin Log文件到從庫中

  4. 從庫IO線程把Bin Log內容寫入本地的Relay Log文件中

  5. 從庫SQL線程讀取Relay Log文件內容

  6. 從庫SQL線程重新執行一遍SQL語句

4. 主從同步延遲問題

主從同步最常遇到的問題就是主從同步延遲,可以通過在從庫上執行show slave status命令查看延遲時間,Seconds_Behind_Master表示延遲的秒數。

主從同步延遲的原因有哪些?

  1. 從庫機器性能較差

    主庫負責所有讀寫請求,從庫只用來備份,會用性能較差的機器,執行時間自然較慢。

  2. 從庫壓力更大

    讀寫分離後,主庫負責寫請求,從庫負責讀請求。

    互聯網應用一般讀請求更多,所以從庫讀壓力更大,占用更多CPU資源。

  3. 網路延遲

    當主庫的Bin Log文件往從庫上發送時,可能產生網路延遲,也會導致從庫數據跟不上。

  4. 主庫有大事務

    當主庫上有個大事務需要執行5分鐘,把Bin Log文件發送到從庫,從庫至少也需要執行5分鐘,所以這時候從庫就出現了5分鐘的延遲。

主從同步延遲的解決方案?

  1. 從庫機器性能較差

    把從庫換成跟主庫同等規格的機器。

  2. 從庫壓力更大

    多搞幾台從庫,分擔讀請求壓力。

  3. 網路延遲

    聯繫運維或者雲服務提供商解決。

  4. 主庫有大事務

    把大事務分割成小事務執行,大事務不但會產生從庫延遲,還可能產生死鎖,降低資料庫併發性能,所以儘量少用大事務。

5. 如何提升主從同步性能

1. 從庫開啟多線程複製

就是在主從同步的最後兩步使用多線程,修改配置 slave_parallel_workers=4,代表開啟4個複製線程。

2. 修改同步模式,改為非同步

主從同步共有三種複製方式:

  1. 全同步複製

    當主庫執行完一個事務,並且所有從庫都執行完該事務後,才給客戶端返回成功。

  2. 半同步複製

    至少有一個從庫執行完成後,就給客戶端返回成功。

  3. 非同步複製

    主庫執行完後,立即返回成功,不關心從庫是否執行完成。

如果對數據安全性要求沒那麼高,可以把同步模式改成半同步複製或者非同步複製。

3. 修改從庫Bin Log配置

修改sync_binlog配置:

sync_binlog=0 ,表示寫binlog不立即刷新磁碟,由系統決定什麼時候刷新磁碟。

sync_binlog=1,每次寫binlog都刷新磁碟,安全性高,性能差。

sync_binlog=N,寫N次binlog才刷新磁碟。

從庫對數據安全性要求沒那麼高,可以設置sync_binlog=0。

修改innodb_flush_log_at_trx_commit配置:

innodb_flush_log_at_trx_commit=0,每隔一秒鐘,把事務日誌刷新到磁碟。

innodb_flush_log_at_trx_commit=1,每次事務都刷新到磁碟。

innodb_flush_log_at_trx_commit=2,每次事務都不主動刷新磁碟,由系統決定什麼時候刷新磁碟。

從庫對數據安全性要求沒那麼高,可以設置innodb_flush_log_at_trx_commit=2。

知識點總結:

文章持續更新,可以微信搜一搜「 一燈架構 」第一時間閱讀更多技術乾貨。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Android系統日誌和工具 我們經常需要查看設備裡面的各種日誌信息。所以有必要瞭解android系統裡面有哪些日誌,以及用什麼方式可以提取這些日誌。以我手頭的紅米note4xplus為例,其基本配置為高通msm8953,android7.0。我們可以看一下根文件系統: mido:/ # ls ac ...
  • 利用jq對比兩段文本的差異,差異的內容用不同顏色表示出來。 線上參考demo:http://incaseofstairs.com/jsdiff/ 項目地址:https://github.com/kpdecker/jsdiff 先上效果圖: 左側第一列是原稿,第二列是需要對比稿,第三列是對比後的結果。 ...
  • HTML知識點概括 前端三件套分別是HTML3,CSS5,JavaScript 稍微介紹一下W3C標準: 結構化標準語言(HTML) 表現標準語言(CSS) 行為標準(DOM,JavaScript) HTML是超文本標記語言,負責網頁最基本信息的構造 HTML的優勢: 市場需求量 跨平臺使用 瀏覽器 ...
  • 學習筆記 ant_vue模態框拖拽記錄 通過自定義命令 utils文件夾中新建dragModal.js import Vue from 'vue' // 註冊自定義拖拽指令,彌補 modal 組件不能拖動的缺陷 Vue.directive('drag-modal', (el, bindings, v ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 簡單介紹 Vue Router Vue Router 是 Vue.js 官方的路由插件,它和 Vue.js 是深度集成的,適合用於構建單頁面應用。vue的單頁面應用是基於路由和組件的,路由用於設定訪問路徑,並將路徑和組件映射起來。傳統的頁 ...
  • 黑夜模式 作為一個前端學習者,自然懂得黑夜模式的重要性,可惜主題原生未提供,那就自己弄吧 個人博客作為效果參考:https://jieniyou.github.io/ 設置基礎樣式 參考其他優秀產品的黑夜模式,得出共性: 那就是黑夜模式的背景一般不會是純黑(#000);而是淡黑色,字體也不是純白(# ...
  • 文章開始之前,我給大家推薦一個人工智慧學習網站,首先說我之前是完全不涉及人工智慧領域的,但是我盡然看懂了,以後老哥我就要參與人工智慧了。如果你也想學習,點擊跳轉到網站 最近打算寫一個用於股票體檢的軟體,比如股權質押比過高的股票不合格,ROE小於10的股票不合格,PE大於80的股票不合格等等等等,就像 ...
  • 目錄 一.簡介 二.效果演示 三.源碼下載 四.猜你喜歡 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 基礎 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 轉場 零基礎 O ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...