MySQL集群架構系列將討論MySQL集群架構的幾種最常見形式解決的問題,實現原理,存在的問題,以及環境搭建步驟。 本文主要討論MySQL架構關註的問題。 1.高可用的作用 在MySQL的高可用架構中,高可用的作用簡單來講就是保證整個架構的對外服務不會出現中斷,即通過技術手段避免單點故障引起架構整體 ...
MySQL集群架構系列將討論MySQL集群架構的幾種最常見形式解決的問題,實現原理,存在的問題,以及環境搭建步驟。
本文主要討論MySQL架構關註的問題。
1.高可用的作用
在MySQL的高可用架構中,高可用的作用簡單來講就是保證整個架構的對外服務不會出現中斷,即通過技術手段避免單點故障引起架構整體服務中斷,提供7x24小時不間斷的有效服務。
這個保障服務不中斷的作用具體的說,表現為:
在整個高可用架構中,對外提供讀寫服務的主機宕機或者MySQL服務崩潰後,其它主機
仍然可以繼續對外提供服務,並接管已宕機的主機的服務,從而保證整個架構的對外服務不會出現中斷。
在不同的高可用架構實現方案中,實現這個保障的機制有所不同,但目的都是相同的,就是保障高可用架構作為一個整體,對外提供7x24小時不間斷的服務。
2.高可用的實現方案
MySQL高可用架構的實現方案,根據實現的核心機制的不同,主要分為以下三類:
基於MySQL主從複製技術的方案。MM+Keepalived、MMM、MHA等技術方案的核心機制都是MySQL主從複製技術。最經典最常用的MHA方案的核心就是在保障沒有數據丟失的情況下實現了故障自動轉移。這種情況下所屏蔽的單點故障,通常僅僅限於對外提供讀寫服務的MySQL主節點,而不包括僅僅提供只讀服務的從節點,即使從節點出現故障,通常也不屬於管轄範圍。
基於PXC(Percona Xtradb Cluster)的gcache技術的方案。PXC集群中增加了管理節點的概念,同時PXC集群中任意兩個節點之間都可以建立必要的連接。PXC集群中每個MySQL節點都擁有完整的數據,新增節點使用percona xtrabackup工具進行數據的複製。PXC集群中每個MySQL節點均可以對外提供讀寫服務,天生就是一個MySQL高可用方案。
基於MySQL NDB 技術的MySQL NDB Cluster的方案。MySQL NDB Cluster集群中包含管理節點、SQL節點和數據節點三種節點,同時任意兩個節點之間都建立了必要的連接。集群中的數據存儲在數據節點中,每個數據節點只存儲一部分數據,每一部分數據至少保存在兩個不同的節點中。集群中每個MySQL節點均可以對外提供讀寫服務,同樣天生就是一個MySQL高可用方案。由於各種原因,這款Oracle官方的MySQL集群方案,竟然很少有企業實際應用到生產環境。
3.高可用方案做了的工作
高可用方案主要是檢測MySQL集群(多個MySQL主機的各種形式的組合,不單指PXC集群或者NDB 集群)中的單點故障,在發現單點故障的時候,將該故障主機暫時下線處理,同時將其承擔的對外服務轉移到其它主機上。
總結為三個工作:
(1)定時檢測單點故障。
一般是通過mysql客戶端程式mysql執行一些查詢mysql服務狀態的SQL語句進行分析判斷mysql服務是否可用,同時還會判斷主從之間是否存在較大的延時。
(2)屏蔽故障節點。
一般是通過將故障節點做暫時下線處理,比如停止mysql服務,使得第三方中間件(比如mycat、haproxy等)不再使用故障節點,但僅此一個操作,無法讓應用程式停止對該故障節點的訪問嘗試。
(3)轉移故障節點的對外服務到其它節點。
如果沒有使用第三方中間件,則應用程式通常沒法自動停止對故障節點的訪問嘗試。不解決
這個問題,則這個高可用方案基本沒什麼用,因為在集群的故障節點屏蔽(停止服務)後,外部的應用程式仍然會嘗試連接和訪問這個故障節點,因為應用程式根本不知道集群的對外服務已經不是由這個故障節點來提供了。
解決這個問題的辦法通常有兩種:
一是使用第三方負載均衡中間件,這些中間件往往可以配合特定的腳本程式自動探測並屏蔽故障節點。應用程式只能訪問第三方中間件提供的對外服務埠,而並不知道集群內部各個mysql節點的IP地址。
二是使用VIP相關技術,主要原理是使用VIP代表mysql集群對外提供服務,應用程式只知道訪問VIP,而不知道集群內部各個mysql節點的IP地址。在高可用方案探測到故障節點後,去除故障節點的VIP,同時在其它可用節點之一上增加VIP,通過VIP的自動轉移實現集群對外服務地址的固定不變,從而對外屏蔽集群內部的單點故障。
4.高可用方案沒有做的工作
高可用方案沒做的工作包括以下幾個:
集群中多個節點對外提供服務時,各個節點之間的負載均衡工作。單純的高可用方案通常不包括負載均衡。負載均衡有專門的第三方中間件來實現。有的高可用方案已經包含了
負載均衡中間件,有些則直接使用VIP,大部分則沒有包括負載均衡,比如PXC集群、NDB集群、MHA等都沒有包括負載均衡。
讀寫分離的工作。單純的高可用方案通常不包括讀寫分離的工作。讀寫分離通常也有專門的中間件來做,比如HAProxy、MySQL Router、MaxScale等。
分庫分表的工作。單純的高可用方案通常不包括分庫分表的工作。分庫分表通常有專門的中間件來做,比如MyCat、OneProxy等。
5.負載均衡的作用
在MySQL的技術架構中,負載均衡組件的作用主要體現為將外部應用程式對多個MySQL服務主機的訪問,簡化為對負載均衡組件的特定訪問埠的訪問,簡化了外部應用程式訪問資料庫的過程。
同時,負責均衡組件通常還可以通過一些腳本程式檢測MySQL服務主機的故障從而自動屏蔽對該主機的訪問。
另外有一些負載均衡組建同時附帶擁有讀寫分離的功能,可以實現特定的讀寫分離的功能。
6.負載均衡的實現方案
負載均衡的實現方案,通常有以下幾種:
通用的負載均衡技術。負載均衡組件僅僅在某個網路層次負責轉發數據。收到外部應用程式的網路數據包後,根據某種策略從後端真正的服務主機中選擇出一個主機,將數據包轉發到這個主機上。可以工作在網路層,也可以工作在傳輸層。負載均衡組件不瞭解數據包的實際含義。包括ipvs等負載均衡組件。
基於協議的負載均衡技術。負載均衡組件通常工作在應用層,瞭解每個數據包的實際含義,比如HTTP協議,MySQL的客戶端協議等。包括haproxy、nginx、mysql router等負載均衡組件。
7.讀寫分離的作用
在應用程式中,通常都是數據的讀操作非常多,而寫操作相對少。因此讀寫分離之後,可以放置大量的用於只讀連接的MySQL伺服器,從而提高整個架構的讀性能,而且不會影響承擔寫數據功能的主MySQL伺服器。
8.讀寫分離的實現方案
兩種方案:
基於連接的讀寫分離。比如HAProxy,MySQL Router等。這些軟體開啟兩個埠分別用於客戶端的讀操作和寫操作的連接埠,同時會將來自這兩個埠的數據轉發到後端的兩組MySQL伺服器之一,這兩組伺服器分別是用於讀操作和寫操作。這種方式需要DBA對後端的MySQL伺服器進行配置,將只讀組配置為只讀狀態。
基於MySQL客戶端連接協議的讀寫分離。就是說這種軟體需要理解MySQL客戶端和伺服器之間的通信協議,即可以解析出傳輸的SQL語句,從而識別出是SELECT操作還是INSERT/UPDATE/DELETE操作。實現真正的讀寫分離。比如MyCat等軟體。
9.分表分庫的作用
分表分庫的作用主要體現在單表的記錄數特別巨大的場景中。在單表數據量巨大(超過1000萬條)的情況下,該表所在的MySQL節點容易成為性能瓶頸。如果將這個表水平分割為多張數據量相對較小的表,同時將這些表按照一定的規律,分佈到不同的MySQL節點上,那麼多個MySQL節點共同承擔讀寫負載,使得每個節點的讀寫壓力都大大降低,而且,這些MySQL節點可以使用更加廉價的硬體來搭建環境。
10.分表分庫的實現方案
分表分庫主要的實現方案包括以下兩種類型:
(1)使用MySQL自帶的分區表或者合併表的功能。這種方案仍然是單機部署的思路,不是分散式數據訪問的思路。
(2)使用第三方中間件,比如MyCat,MaxScale等。可以實現自動化的分表分庫功能,應用程式幾乎不需要改動即可完成。本文主要關註MyCat中間件來實現分表分庫。
後續博客將具體討論幾種常見架構。