MySQL 半同步複製+MMM架構

来源:http://www.cnblogs.com/chenmh/archive/2016/11/09/5744227.html
-Advertisement-
Play Games

介紹 上篇文章介紹了MMM架構的實現方法,但是上篇文章的MMM方案的複製是非同步複製,非同步複製的主要問題在於當主從存在延時時如果主機出現了故障導致了主從切換時這時將會存在數據丟失;mysql為瞭解決非同步複製數據丟失的問題增加了半同步複製,半同步複製存在5.5以上的版本,半同步複製的原理是客戶端在事務提 ...


介紹

    上篇文章介紹了MMM架構的實現方法,但是上篇文章的MMM方案的複製是非同步複製,非同步複製的主要問題在於當主從存在延時時如果主機出現了故障導致了主從切換時這時將會存在數據丟失;mysql為瞭解決非同步複製數據丟失的問題增加了半同步複製,半同步複製存在5.5以上的版本,半同步複製的原理是客戶端在事務提交時必須等待從庫接收到binlog的回應之後才能提交事務(當存在多個從庫時預設只需要一個從庫接受到了bInlog即可,也可以配置必須每一個從庫都必須接收到binlog但是這樣對性能影響就會很大),如果從庫宕機或者故障導致binlog沒有及時傳送到從庫(由參數rpl_semi_sync_master_timeout控制,預設是10S),這時mysql會自動轉為非同步複製,當從庫又重新啟動有新的一條binglog從主庫發送到從庫在規定的時間內得到響應mysql又會自動轉換為半同步複製,所以半同步複製對主從之間的網路要求比較高。

mysql版本:5.6

方案:MMM+半同步複製

 

一、原理

 5.6的半同步複製是在客戶端執行commit主庫寫入完binlog然後執行數據刷新到磁碟後才由dump線程將binlog記錄發送到從庫的io線程。

二、安裝配置

首先說明一下,當前的配置是基於MMM方案的配置,由於MMM方案是兩主一從,所以我在其中的雙主上面配置半同步複製,從庫上面還是原先的非同步複製。半同步複製是基於插件來實現的,主從上面各自執行不同的插件。

1.查詢是否支持動態插件

主從上面都需要查看是否支持動態插件

2.安裝動態插件

主備都執行

INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';
INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so';

註意:由於我當前的雙主模式所以主和備都需要執行主從的插件,如果只是單純的主從模式那麼主執行主的插件從執行從的插件即可。

查看插件是否安裝

3.開啟半同步複製

SET GLOBAL rpl_semi_sync_master_enabled = 1;

SET GLOBAL rpl_semi_sync_slave_enabled = 1;

同樣主和備上面都同時執行上面兩個操作,註意必須是開啟全局的變數。

4.重啟io線程

1.備庫執行

 STOP SLAVE IO_THREAD; START SLAVE IO_THREAD;

2.主庫執行

 STOP SLAVE IO_THREAD; START SLAVE IO_THREAD;

5.配置參數

show variables like '%rpl_semi%';

rpl_semi_sync_master_enabled、rpl_semi_sync_slave_enabled

 分別代表主從的半同步複製是否啟用,因為我當前是雙主模式所以即擔當了主又擔當了從,所以這裡面存在slave的參數在裡面

rpl_semi_sync_master_timeout

該參數是配置半同步複製的延時時間,當主庫發生binlog到從庫從庫在10s內還沒有返回則自動轉換為非同步複製,這個時間可以調整,預設是10S

註意:如果僅僅是作為slave那麼只有"rpl_semi_sync_slave_enable","rpl_semi_sync_trace_level"這兩個狀態,其它的4個是作為master端顯示的,由於我這裡是配置雙主模式,所有主從都存在。

6.狀態參數

show status like '%rpl_%';

 這些狀態參數比較重要,通常用來對半同步複製進行分析。

Rpl_semi_sync_master_clients:有多個個半同步複製的從庫,對於當前的主來說只有backup是半同步複製的從庫,而slave是非同步複製,所以這裡是1;

Rpl_semi_sync_master_net_avg_wait_time:master等待從庫的平均響應時間,單位微妙

Rpl_semi_sync_master_net_wait_time: master等待從庫響應的總時間,單位微妙

Rpl_semi_sync_master_net_waits:master等待從庫響應的總次數

Rpl_semi_sync_master_no_times:master關閉半同步複製的次數,也就是當主從延時超過規定的時間轉換為非同步複製的次數。

Rpl_semi_sync_master_no_tx:master提交沒有被slave響應成功的次數,也可以理解為不是同步半同步複製的次數。

Rpl_semi_sync_master_status:僅噹噹前伺服器作為主庫,是否開啟了半同步複製,如果這裡是OFF代表是非同步複製,前提是當前查詢的伺服器是主伺服器。

Rpl_semi_sync_master_timefunc_failures:master調用時間函數失敗的次數,例如:gettimeofday().

Rpl_semi_sync_master_tx_avg_wait_time:master等待每一個事務的平均時間,單位微妙

Rpl_semi_sync_master_tx_wait_time:master等待事務的總時間,單位微妙

Rpl_semi_sync_master_tx_waits:master等待事務的總次數

Rpl_semi_sync_master_wait_pos_backtraverse:發生master寫入的binlog的數量和slave響應返回的binlog數量不一致的次數。

Rpl_semi_sync_master_wait_sessions:當前等待slave響應的回話數量,該狀態可以反應當前主從延時包括壓力的情況

Rpl_semi_sync_master_yes_tx:master提交被slave成功響應的次數

Rpl_semi_sync_slave_status:僅噹噹前伺服器作為從庫,半同步複製是否開啟,on代表開啟。

註意:如果僅僅是作為slave那麼只有"rpl_semi_sync_slave_status"這1個狀態,其它的狀態是作為master端顯示的,由於我這裡是配置雙主模式,所有主從都存在。

註意:註意關註上面顏色加粗的這些狀態 

三、測試

模擬從庫宕機

stop slave;

在master執行插入操作

主庫上面等待響應的時間剛好是10S

 

從參數值也可以得到剛纔有一次半同步複製失敗

當從庫重新啟動複製之後,半同步複製也同樣開啟,剛纔的插入記錄也被非同步複製應用了過來。

 註意:開啟半同步複製要加入到my.cnf文件中才能保證重啟mysql服務後半同步複製也啟用

SET GLOBAL rpl_semi_sync_master_enabled = 1;

SET GLOBAL rpl_semi_sync_slave_enabled = 1;

 

 

參考:

http://dev.mysql.com/doc/refman/5.6/en/replication-semisync-interface.html

前面寫的複製相關文章:

主從複製:http://www.cnblogs.com/chenmh/p/5089919.html

主主複製:http://www.cnblogs.com/chenmh/p/5153184.html

MMM:http://www.cnblogs.com/chenmh/p/5563778.html

總結

 半同步複製雖然主從的binlog是同步的,但是主只是等待binlog寫入到從庫並不等待從庫應用這部分binlog,而從庫應用這部分binlog的操作則是非同步的,所以主從的數據並不是實時同步的,所以只能叫做半同步複製。在5.7版本之前作為主從的業務都會遇到主從延時比較大的情況,特別是當主是密集寫的情況這種延時就更加大,那是因為主是併發寫也從庫應用主的binlog是順序執行導致從跟不上主,在5.7引入了並行複製,所謂的並行也就是將不相關的操作放在一個組裡面這樣從庫就可以做到理論上的並行了從而提高主庫應用binlog的速率,並且在5.7的半同步複製引入了一個新的參數“rpl_semi_sync_master_wait_point=AFTER_SYNC”該參數是控制主庫響應從庫的binlog發生在flush disk之前,在5.6版本當主庫flush disk之後才發送binlog如果這時主庫由於某種原因宕機了,這時如果客戶端沒有收到從庫的響應那麼客戶端可能從新執行操作而這時主從已經做了切換客戶端連接主庫(之前是從庫)再次執行之前的操作,這樣當之前的主庫(現在變成從庫)啟動之後變成從庫後又重新應用了一次操作造成了數據寫了兩次,所以在5.7就把binlog的響應放在flush disk之前這樣就不會存在數據重覆寫的情況了,預設該參數是開啟的所以搭建方法和5.6是完全一致的不需要做什麼改變。如果將該參數的值改成“rpl_semi_sync_master_wait_point=AFTER_COMMIT”則又變成5.6一樣的方案。在後面會單獨寫一篇關於5.7複製有關的新改進的文章,歡迎關註。

 

 

 

備註:

    作者:pursuer.chen

    博客:http://www.cnblogs.com/chenmh

本站點所有隨筆都是原創,歡迎大家轉載;但轉載時必須註明文章來源,且在文章開頭明顯處給明鏈接。

《歡迎交流討論》


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 使用beans.xml文件進行bean的創建和註入通常是可行的,但在便利性上Spring提供了更簡單的方法——自動裝配 當然,我們也可以在創建bean時對它命名,在CDPlayer類中可以體會到。代碼如下: 值得註意的是,真正的實現過程與代碼主體非常複雜,@Component,@ComponScan ...
  • 一、面向對象 Java中的面向對象與C 的面向對象,本質都是一樣。所以對於學過C 的同學理解Java中面向對象的概念就比較輕鬆。 對象 定義: 萬物皆對象,客觀存在的事物都稱為 對象 。 1、面向對象 類 定義: 類是模具,確定對象將會擁有的特性(屬性)和行為(方法) 特點: A.類是對象的類型 B ...
  • 對DBA而言,不需要域就可以搭建SQL Server AlwaysOn是Windows Server 2016中最令人興奮的功能了,它不僅可以降低搭建的成本,而且還減少了部署和運維的工作量。 上篇博客已給大家分享過:要在沒有域的環境中搭建AlwaysOn需要兩個步驟, 1).搭建基於windows ...
  • 為什麼要創建索引? 在此本人也帶著相同的疑問,能夠解釋的僅僅是:為了減少資料庫查詢時所需要的速度。如果正常查詢和索引查詢所需時間相差很多倍時我們自然是需要索引的了。 想要知道結果,只能等我學得更加深入一點咯。 創建索引 創建索引有三種方法:(1)在創建表時創建索引; (2)使用ALTER TABLE ...
  • SQL Server 數據加密功能解析 轉載自: 騰雲閣 https://www.qcloud.com/community/article/194 數據加密是資料庫被破解、物理介質被盜、備份被竊取的最後一道防線,數據加密,一方面解決數據被竊取安全問題,另一方面有關法律要求強制加密數據。SQL Ser ...
  • 1,MySQL:(structured query language)用於訪問和處理資料庫的標準語言 2,什麼是 SQL? SQL 指結構化查詢語言 SQL 使我們有能力訪問資料庫(資料庫是按照數據結構來組織,存取和管理數據的倉庫) SQL 是一種 ANSI 的標準電腦語言 3,SQL 能做什麼? ...
  • 摘要: 1.閂鎖就像是記憶體上的鎖,隨著越來越多的線程參與進來,他們爭相訪問同一塊記憶體,導致堵塞。2.自旋鎖就是閂鎖,不同之處是如果訪問的記憶體不可用,它將繼續檢查輪詢一段時間。3.拴鎖和自旋鎖是我們無法控制的,由sqlserver自動維護,但是我們應積極尋找避免他們發生堵塞的方法。4。id作為聚集索引 ...
  • 1 瞭解oracle SQL profile如何工作; 2 為什麼需要SQL profile; ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...