MySQL集群架構01MySQL架構的關註點

来源:https://www.cnblogs.com/coe2coe/archive/2018/10/07/9751499.html
-Advertisement-
Play Games

MySQL集群架構系列將討論MySQL集群架構的幾種最常見形式解決的問題,實現原理,存在的問題,以及環境搭建步驟。 本文主要討論MySQL架構關註的問題。 1.高可用的作用 在MySQL的高可用架構中,高可用的作用簡單來講就是保證整個架構的對外服務不會出現中斷,即通過技術手段避免單點故障引起架構整體 ...


MySQL集群架構系列將討論MySQL集群架構的幾種最常見形式解決的問題,實現原理,存在的問題,以及環境搭建步驟。

本文主要討論MySQL架構關註的問題。

 

1.高可用的作用

在MySQL的高可用架構中,高可用的作用簡單來講就是保證整個架構的對外服務不會出現中斷,即通過技術手段避免單點故障引起架構整體服務中斷,提供7x24小時不間斷的有效服務。

這個保障服務不中斷的作用具體的說,表現為:

在整個高可用架構中,對外提供讀寫服務的主機宕機或者MySQL服務崩潰後,其它主機

仍然可以繼續對外提供服務,並接管已宕機的主機的服務,從而保證整個架構的對外服務不會出現中斷。

在不同的高可用架構實現方案中,實現這個保障的機制有所不同,但目的都是相同的,就是保障高可用架構作為一個整體,對外提供7x24小時不間斷的服務。

 

2.高可用的實現方案

MySQL高可用架構的實現方案,根據實現的核心機制的不同,主要分為以下三類:

基於MySQL主從複製技術的方案。MM+Keepalived、MMM、MHA等技術方案的核心機制都是MySQL主從複製技術。最經典最常用的MHA方案的核心就是在保障沒有數據丟失的情況下實現了故障自動轉移。這種情況下所屏蔽的單點故障,通常僅僅限於對外提供讀寫服務的MySQL主節點,而不包括僅僅提供只讀服務的從節點,即使從節點出現故障,通常也不屬於管轄範圍。

 

基於PXC(Percona Xtradb Cluster)的gcache技術的方案。PXC集群中增加了管理節點的概念,同時PXC集群中任意兩個節點之間都可以建立必要的連接。PXC集群中每個MySQL節點都擁有完整的數據,新增節點使用percona xtrabackup工具進行數據的複製。PXC集群中每個MySQL節點均可以對外提供讀寫服務,天生就是一個MySQL高可用方案。

 

基於MySQL NDB 技術的MySQL NDB Cluster的方案。MySQL NDB Cluster集群中包含管理節點、SQL節點和數據節點三種節點,同時任意兩個節點之間都建立了必要的連接。集群中的數據存儲在數據節點中,每個數據節點只存儲一部分數據,每一部分數據至少保存在兩個不同的節點中。集群中每個MySQL節點均可以對外提供讀寫服務,同樣天生就是一個MySQL高可用方案。由於各種原因,這款Oracle官方的MySQL集群方案,竟然很少有企業實際應用到生產環境。

3.高可用方案做了的工作

高可用方案主要是檢測MySQL集群(多個MySQL主機的各種形式的組合,不單指PXC集群或者NDB 集群)中的單點故障,在發現單點故障的時候,將該故障主機暫時下線處理,同時將其承擔的對外服務轉移到其它主機上。

總結為三個工作:

(1)定時檢測單點故障。

 一般是通過mysql客戶端程式mysql執行一些查詢mysql服務狀態的SQL語句進行分析判斷mysql服務是否可用,同時還會判斷主從之間是否存在較大的延時。

 

(2)屏蔽故障節點。

一般是通過將故障節點做暫時下線處理,比如停止mysql服務,使得第三方中間件(比如mycat、haproxy等)不再使用故障節點,但僅此一個操作,無法讓應用程式停止對該故障節點的訪問嘗試。

 

(3)轉移故障節點的對外服務到其它節點。

如果沒有使用第三方中間件,則應用程式通常沒法自動停止對故障節點的訪問嘗試。不解決

這個問題,則這個高可用方案基本沒什麼用,因為在集群的故障節點屏蔽(停止服務)後,外部的應用程式仍然會嘗試連接和訪問這個故障節點,因為應用程式根本不知道集群的對外服務已經不是由這個故障節點來提供了。

解決這個問題的辦法通常有兩種:

一是使用第三方負載均衡中間件,這些中間件往往可以配合特定的腳本程式自動探測並屏蔽故障節點。應用程式只能訪問第三方中間件提供的對外服務埠,而並不知道集群內部各個mysql節點的IP地址。

二是使用VIP相關技術,主要原理是使用VIP代表mysql集群對外提供服務,應用程式只知道訪問VIP,而不知道集群內部各個mysql節點的IP地址。在高可用方案探測到故障節點後,去除故障節點的VIP,同時在其它可用節點之一上增加VIP,通過VIP的自動轉移實現集群對外服務地址的固定不變,從而對外屏蔽集群內部的單點故障。

 

4.高可用方案沒有做的工作

高可用方案沒做的工作包括以下幾個:

集群中多個節點對外提供服務時,各個節點之間的負載均衡工作。單純的高可用方案通常不包括負載均衡。負載均衡有專門的第三方中間件來實現。有的高可用方案已經包含了

負載均衡中間件,有些則直接使用VIP,大部分則沒有包括負載均衡,比如PXC集群、NDB集群、MHA等都沒有包括負載均衡。

 

讀寫分離的工作。單純的高可用方案通常不包括讀寫分離的工作。讀寫分離通常也有專門的中間件來做,比如HAProxy、MySQL Router、MaxScale等。

分庫分表的工作。單純的高可用方案通常不包括分庫分表的工作。分庫分表通常有專門的中間件來做,比如MyCat、OneProxy等。

 

5.負載均衡的作用

在MySQL的技術架構中,負載均衡組件的作用主要體現為將外部應用程式對多個MySQL服務主機的訪問,簡化為對負載均衡組件的特定訪問埠的訪問,簡化了外部應用程式訪問資料庫的過程。

同時,負責均衡組件通常還可以通過一些腳本程式檢測MySQL服務主機的故障從而自動屏蔽對該主機的訪問。

另外有一些負載均衡組建同時附帶擁有讀寫分離的功能,可以實現特定的讀寫分離的功能。

 

6.負載均衡的實現方案

負載均衡的實現方案,通常有以下幾種:

通用的負載均衡技術。負載均衡組件僅僅在某個網路層次負責轉發數據。收到外部應用程式的網路數據包後,根據某種策略從後端真正的服務主機中選擇出一個主機,將數據包轉發到這個主機上。可以工作在網路層,也可以工作在傳輸層。負載均衡組件不瞭解數據包的實際含義。包括ipvs等負載均衡組件。

基於協議的負載均衡技術。負載均衡組件通常工作在應用層,瞭解每個數據包的實際含義,比如HTTP協議,MySQL的客戶端協議等。包括haproxy、nginx、mysql router等負載均衡組件。

 

7.讀寫分離的作用

在應用程式中,通常都是數據的讀操作非常多,而寫操作相對少。因此讀寫分離之後,可以放置大量的用於只讀連接的MySQL伺服器,從而提高整個架構的讀性能,而且不會影響承擔寫數據功能的主MySQL伺服器。

 

8.讀寫分離的實現方案

兩種方案:

基於連接的讀寫分離。比如HAProxy,MySQL Router等。這些軟體開啟兩個埠分別用於客戶端的讀操作和寫操作的連接埠,同時會將來自這兩個埠的數據轉發到後端的兩組MySQL伺服器之一,這兩組伺服器分別是用於讀操作和寫操作。這種方式需要DBA對後端的MySQL伺服器進行配置,將只讀組配置為只讀狀態。

基於MySQL客戶端連接協議的讀寫分離。就是說這種軟體需要理解MySQL客戶端和伺服器之間的通信協議,即可以解析出傳輸的SQL語句,從而識別出是SELECT操作還是INSERT/UPDATE/DELETE操作。實現真正的讀寫分離。比如MyCat等軟體。

 

9.分表分庫的作用

分表分庫的作用主要體現在單表的記錄數特別巨大的場景中。在單表數據量巨大(超過1000萬條)的情況下,該表所在的MySQL節點容易成為性能瓶頸。如果將這個表水平分割為多張數據量相對較小的表,同時將這些表按照一定的規律,分佈到不同的MySQL節點上,那麼多個MySQL節點共同承擔讀寫負載,使得每個節點的讀寫壓力都大大降低,而且,這些MySQL節點可以使用更加廉價的硬體來搭建環境。

 

10.分表分庫的實現方案

分表分庫主要的實現方案包括以下兩種類型:

(1)使用MySQL自帶的分區表或者合併表的功能。這種方案仍然是單機部署的思路,不是分散式數據訪問的思路。

(2)使用第三方中間件,比如MyCat,MaxScale等。可以實現自動化的分表分庫功能,應用程式幾乎不需要改動即可完成。本文主要關註MyCat中間件來實現分表分庫。

 

後續博客將具體討論幾種常見架構。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • upper(字元串 | 列):輸入的字元串變為大寫返回; 將 bqh4表裡的zym欄位信息中含有字母的全部轉成大寫的方法: select * from bqh4 select upper(zym) from bqh4 lower:(字元串 | 列):輸入的字元串變為小寫返回; 將 bqh4表裡的zy ...
  • 1、在MySQL中要修改全局(global)變數,有兩種方法: 方法一,修改my.ini配置文件,如果要設置全局變數最簡單的方式是在my.ini文件中直接寫入變數配置,如下圖所示。重啟資料庫服務就可以使全局變數生效。 我們打開幾個mysql命令行,可以看到所有會話中的變數都生效了,如圖 方法二,在不 ...
  • 一、創建學生表 二、插入數據 三、查詢數據 (一)查詢所有數據 SELECT * FROM STUDENTS; (二)查詢出每個學員的姓名和考試成績 SELECT STU_NAME,STU_SCORES FROM STUDENTS; (三)查詢出考試不及格的學生的信息 SELECT STU_ID,S ...
  • [20181007]12cR2 Using SQL Patch 2.txt--//12cR2 已經把sql打補丁集成進入dbms_sqldiag,不是11g的 DBMS_SQLDIAG_INTERNAL.I_CREATE_PATCH .做一個記錄.--//以前的鏈接:http://blog.itpu ...
  • 工作不怎麼忙,搞點兒開發吧差點兒事,就想著弄點兒架構的事兒。正好前段時間看過關於keepalived+雙主實現高可用的文章,也恰好身邊的朋友所在的公司也部分用這個架構。沒什麼事兒就搞搞吧,正好對比下MMM、MHA、keepalived+雙主三種架構的優劣和DB維護的體驗感。簡單講講自己的用戶體驗感, ...
  • MySQL根據配置文件會限制Server接受的數據包大小。有時候大的插入和更新會受 max_allowed_packet 參數限制,導致大數據寫入或者更新失敗。 通過終端進入mysql控制台,輸入如下命令可以查看max_allowed_packet值的大小: 顯示結果: max_allowed_pa ...
  • [20181007]12cR2 Using SQL Patch.txt--//12cR2 已經把sql打補丁集成進入dbms_sqldiag,不是11g的 DBMS_SQLDIAG_INTERNAL.I_CREATE_PATCH .做一個記錄.--//以前的鏈接:http://blog.itpub. ...
  • 解決在將Excel表格導入到SQL Server資料庫時出現:Text was truncated or one or more characters had no match in the target code 的錯誤。將Excel表中最長的那條記錄移到第二行(即第一條記錄所在行)即可解決導入失... ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...