MySQL 同步複製及高可用方案總結

来源:https://www.cnblogs.com/youkanyouxiao/archive/2020/04/09/12666280.html
-Advertisement-
Play Games

1.前言 mysql作為應用程式的數據存儲服務,要實現mysql資料庫的高可用。必然要使用的技術就是資料庫的複製,如果主節點出現故障可以手動的切換應用到從節點,這點相信運維同學都是知道,並且可以實現的。但是這種情況只是手動的切換,對可用性有要求的業務需要分別實現主庫和從庫的高可用,保障在資料庫出現d ...


1.前言

mysql作為應用程式的數據存儲服務,要實現mysql資料庫的高可用。必然要使用的技術就是資料庫的複製,如果主節點出現故障可以手動的切換應用到從節點,這點相信運維同學都是知道,並且可以實現的。但是這種情況只是手動的切換,對可用性有要求的業務需要分別實現主庫和從庫的高可用,保障在資料庫出現down機的情況下,可以自動實現資料庫的故障轉移,保障應用的可用性和用戶體驗。

本文將會對一些常用的資料庫高可用方案進行介紹,根據你不同的場景,選擇合適的高可用方案即可。

2.MMM高可用方案


2.1.Mysql-MMM介紹

MMM(Master-Master replication managerfor Mysql,Mysql主主複製管理器)是一套靈活的腳本程式,基於perl實現,用來對mysql replication進行監控和故障遷移,並能管理mysql Master-Master複製的配置(同一時間只有一個節點是可寫的)。

2.2.組件

mmm_mond:監控進程,負責所有的監控工作,決定和處理所有節點角色活動。此腳本需要在監管機上運行。

mmm_agentd:運行在每個mysql伺服器上的代理進程,完成監控的探針工作和執行簡單的遠端服務設置。此腳本需要在被監管機上運行。

mmm_control:一個簡單的腳本,提供管理mmm_mond進程的命令。

mysql-mmm的監管端會提供多個虛擬IP(VIP),包括一個可寫VIP,多個可讀VIP,通過監管的管理,這些IP會綁定在可用mysql之上,當某一臺mysql宕機時,監管會將VIP遷移至其他mysql。

在整個監管過程中,需要在mysql中添加相關授權用戶,以便讓mysql可以支持監理機的維護。授權的用戶包括一個mmm_monitor用戶和一個mmm_agent用戶,如果想使用mmm的備份工具則還要添加一個mmm_tools用戶。

2.3.架構圖

正常工作時:

主節點故障時:

2.4.MMM優點

(1)高可用性,擴展性好,出現故障自動轉移,對於主主同步,在同一時間只提供一臺資料庫寫操作,保證數據的一致性。

(2)配置簡單,容易操作。

2.5.MMM缺點

(1)需要一臺備份伺服器,浪費資源

(2)需要多個虛擬IP

(3)agent可能意外終止,引起裂腦。

3.MHA介紹


MHA(Master High Availability)目前在MySQL高可用方面是一個相對成熟的解決方案,它由日本DeNA公司youshimaton(現就職於Facebook公司)開發,是一套優秀的作為MySQL高可用性環境下故障切換和主從提升的高可用軟體。在MySQL故障切換過程中,MHA能做到在0~30秒之內自動完成資料庫的故障切換操作,並且在進行故障切換的過程中,MHA能在最大程度上保證數據的一致性,以達到真正意義上的高可用。

3.1.MHA架構介紹

該軟體由兩部分組成:MHA Manager(管理節點)和MHA Node(數據節點)。MHA Manager可以單獨部署在一臺獨立的機器上管理多個master-slave集群,也可以部署在一臺slave節點上。MHA Node運行在每台MySQL伺服器上,MHA Manager會定時探測集群中的master節點,當master出現故障時,它可以自動將最新數據的slave提升為新的master,然後將所有其他的slave重新指向新的master。整個故障轉移過程對應用程式完全透明。

在MHA自動故障切換過程中,MHA試圖從宕機的主伺服器上保存二進位日誌,最大程度的保證數據的不丟失(配合mysql半同步複製效果更佳),但這並不總是可行的。例如,如果主伺服器硬體故障或無法通過ssh訪問,MHA沒法保存二進位日誌,只進行故障轉移而丟失了最新的數據。使用MySQL 5.5的半同步複製,可以大大降低數據丟失的風險。MHA可以與半同步複製結合起來。如果只有一個slave已經收到了最新的二進位日誌,MHA可以將最新的二進位日誌應用於其他所有的slave伺服器上,因此可以保證所有節點的數據一致性。

註意:目前MHA主要支持一主多從的架構,要搭建MHA,要求一個複製集群中必須最少有三台資料庫伺服器,一主二從,即一臺充當master,一臺充當備用master,另外一臺充當從庫,因為至少需要三台伺服器,出於機器成本的考慮,淘寶也在該基礎上進行了改造,目前淘寶TMHA已經支持一主一從。

3.2.MHA架構圖

正常工作時架構圖:

主庫down機時架構:

3.3.故障轉移過程

(1)從宕機崩潰的master保存二進位日誌事件(binlog events);

(2)識別含有最新更新的slave;

(3)應用差異的中繼日誌(relay log)到其他的slave;

(4)應用從master保存的二進位日誌事件(binlog events);

(5)提升一個slave為新的master;

(6)使其他的slave連接新的master進行複製;

(7)在新的master啟動vip地址,保證前端請求可以發送到新的master。

3.4.MHA優點

(1)不需要備份伺服器

(2)不改變現有環境

(3)操作非常簡單

(4)可以進行日誌的差異修複

(5)可以將任意slave提升為master

3.5.MHA缺點

(1)需要全部節點做ssh秘鑰

(2)MHA出現故障後配置文件會被修改,如果再次故障轉移需要重新修改配置文件。

(3)自帶的腳本還需要進一步補充完善,且用perl開發,二次開發困難。

4.DRBD+(heartbeat,corosync)


4.1.方案簡介

本方案採用Heartbeat或者corosync雙機熱備軟體來保證資料庫的高穩定性和連續性,數據的一致性由DRBD這個工具來保證(如果可以儘量放到分散式存儲上面)。預設情況下只有一臺mysql在工作,當主mysql伺服器出現問題後,系統將自動切換到備機上繼續提供服務,當主資料庫修複完畢,又將服務切回繼續由主mysql提供服務。

4.2.組件

Heartbeat,corosync作為心跳檢測機制,監控primary節點的狀態。當主節點宕掉之後,迅速提升secondary節點為新的主節點,並切換IP;

drbd負責數據同步

4.3.架構圖

4.4.數據同步過程

mysql進行刷盤時,會通過不同的sync方式,最終將數據寫入disk;

drbd收到刷盤成功的信息後,將對應的磁碟塊位置,和變更動作,通過網路傳遞至secondary節點;

secondary的drbd接收到變更信息後,將這些信息落盤;

4.5.切換過程

前提:secondary節點的mysql服務不啟動;

heartbeat檢測到primary的mysql服務停止,則摘掉IP、umount掉數據盤、將primary切換為secondary;

在原來的secondary上,提升drbd同步為primary,掛載數據盤,啟動mysql服務、綁定IP;

從庫跟著IP和埠自動進行遷移;

4.6.方案優點

(1)歷史悠久、安全性高、穩定性高、可用性高、出現故障自動切換。

(2)數據一致性強

4.7.方案缺點

(1)需要一臺備份伺服器,浪費資源

(2)不方便擴展

(3)無論drbd還是headbetart,corosync都可能發生裂腦

5.Mysql route介紹


5.1.什麼是mysql route

MySQL Router是處於應用client和dbserver之間的輕量級代理程式,它能檢測,分析和轉發查詢到後端資料庫實例,並把結果返回給client。是mysql-proxy的一個替代品。其架構圖和功能如下。

(1)Router實現讀寫分離,程式不是直接連接資料庫IP,而是固定連接到mysql router。MySQL Router對前端應用是透明的。應用程式把MySQL Router當作是普通的mysql實例,把查詢發給MySQL Router,而MySQL Router會把查詢結果返回給前端的應用程式。

(2)從資料庫伺服器故障,業務可以正常運行。由MySQL Router來進行自動下線不可用伺服器。程式配置不需要任何修改。

(3)主資料庫故障,由MySQL Router來決定主從自動切換,業務可以正常訪問。程式配置不需要做任何修改。

5.2.讀寫分離原理

MySQL Router接受前端應用程式請求後,根據不同的埠來區分讀寫,把連接讀寫埠的所有查詢發往主庫,把連接只讀埠的select查詢以輪詢方式發往多個從庫,從而實現讀寫分離的目的。讀寫返回的結果會交給MySQL Router,由MySQL Router返回給客戶端的應用程式。

5.3.Mysql router用途

MySQL Router的主要用途是讀寫分離,主主故障自動切換,負載均衡,連接池等。

5.4.Mysql router主主故障自動切換的坑

Mysql router主主故障切換功能經過測試沒有問題,但是有一個比較大的坑需要註意,主庫發生切換之後,從庫的連接的master伺服器地址不會發生改變,需要自己寫腳本進行判斷。

5.5.優點

(1)基於DAL層實現mysql的高可用。

(2)可以同時實現主主故障切換和讀寫分離。

(3)插件式架構允許用戶進行額外的功能擴展。

5.6.缺點

(1)高可用功能需要進一步完善:存在主庫切換之後,從庫不會自動切換主庫地址的坑。

(2)讀寫情況使用不同埠,需要修改應用程式。

6.mysql Cluster


國內用的非常少,主要因為一下三點:

(1)需要更改存儲引擎

(2)付費

(3)國內幾乎沒有使用案例

優點:

高可用,可用率達99.999%

7.結束語

上面的高可用方案,只是我自己比較熟悉的,而且也是應用比較多的。mysql畢竟發展了有20多年了,各種高可用方案還是很多的,其他的高可用方案各位鑰匙有興趣,可以自己研究。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Linux Web伺服器集群 首先需要準備四台機器,分別為以下伺服器 NAS-Server-0 IP:192.168.254.10 Web-Server-1 IP:192.168.254.11 Web-Server-2 IP:192.168.254.12 Web-Server-3 IP:192.16 ...
  • SQL Server中STATISTICS IO物理讀和邏輯讀的誤區 大家知道,SQL Server中可以利用下麵命令查看某個語句讀寫IO的情況 SET STATISTICS IO ON 那麼這個命令的結果顯示的物理讀、邏輯讀的IO單位大小是多少,比如結果顯示有 物理讀取 1 次 是代表 對硬碟做了 ...
  • MySQL加密和解密實例詳解 有多種前端加密演算法可用於數據加密、解密,這是一種簡單的資料庫級別的數據加密、解密解決方案。 以MySQL資料庫為例,它內建了相應的加密函數(AES_ENCRYPT() )和解密函數(AES_DECRYPT())。 1.建表:建表時註意數據的類型 CREATE TABLE ...
  • SQL語言 使用Navicate圖形化界面工具 官網地址: "http://www.navicat.com.cn/download/direct download?product=navicat_mysql_cs_x64.exe&location=1&support=Y" 網盤地址: https:/ ...
  • MySql介紹 1. MySQL是一個關係型資料庫管理系統,由瑞典MySQL AB公司開發,目前屬於Oracle公司。MySQL是一種關聯資料庫管理系統,關聯資料庫將數據保存在不同的表中,而不是將所有數據放在一個大倉庫內,這樣就增加了速度並提高了靈活性。 2. Mysql是開源的,所以你不需要支付額 ...
  • 資料庫介紹 什麼是資料庫 資料庫是是按照數據結構來組織、存儲和管理數據的倉庫 資料庫的發展史 最早的資料庫: 通過大量的分類、比較和表格繪製的機器運行數百萬穿孔卡片來進行數據的處理,其運行結果在紙上列印出來或者製成新的穿孔卡片。 而數據管理就是對所有這些穿孔卡片進行物理的儲存和處理。 現在的資料庫 ...
  • 前言: 之前有朋友加好友與我探討一些問題,我覺得這些問題倒挺有價值的;於是就想在本公眾號開設一個問答專欄,方便技術交流與分享,專欄名就定為: 《讀者來信》 。歡迎關註本人微信公眾號《HBase工作筆記》,掃描文末二維碼解鎖更多姿勢! 來信人:羅 銘 小猿提問 如何判斷HBase Major Comp ...
  • Redis 在當前的技術社區里是非常熱門的。從來自 Antirez 一個小小的個人項目到成為記憶體數據存儲行業的標準,Redis已經走過了很長的一段路。 隨之而來的一系列最佳實踐,使得大多數人可以正確地使用 Redis。 下麵我們將探索正確使用 Redis 的10個技巧。 1、停止使用 KEYS * ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...