GaussDB(DWS) 業務高可靠的三大利器:CN RETRY、遠程讀、ELB

来源:https://www.cnblogs.com/huaweiyun/p/18093728
-Advertisement-
Play Games

本文分享自華為雲社區《GaussDB(DWS)業務高可靠原理》,作者: yd_291396996。 1. 前言 適用版本:【8.1.0及以上】 GaussDB(DWS)所有內部組件CN、DN、GTM、CM等採用多活或主備設計,通過集群管理進行故障檢測和切換,保證了單點故障場景下業務的可靠性。此外還採 ...


本文分享自華為雲社區《GaussDB(DWS)業務高可靠原理》,作者: yd_291396996。

1. 前言

適用版本:【8.1.0及以上】

GaussDB(DWS)所有內部組件CN、DN、GTM、CM等採用多活或主備設計,通過集群管理進行故障檢測和切換,保證了單點故障場景下業務的可靠性。此外還採用了CN RETRY、遠程讀、ELB等技術進一步對業務進行保障,下麵將對這幾種技術的原理進行詳細的介紹。

2. CN RETRY

CN Retry是提高資料庫系統HA技術中的一環,配合集群故障自恢復,實現集群實例故障業務不中斷,其要做到的是故障時業務的重試(實現業務不中斷,提高業務的連續性)。

2.1 原理介紹

對於來自gsql客戶端、JDBC、ODBC驅動的SQL語句,在SQL語句執行失敗時,CN端能夠自動識別語句執行過程中的報錯,並重新下發任務進行自動重試。CN Retry功能是預設開啟的,由GUC參數max_query_retry_times進行控制,支持範圍是0-20,預設為6,代表可語句出錯時會自動重試6次,0代表關閉該功能,GaussDB(DWS)絕大部分錯誤類型都支持CN Retry功能,比如主機單點故障,業務斷連的情況。

2.2 解決的問題

在集群故障場景為實現用戶業務不中斷,首先需要集群能夠從故障狀態恢復到可用狀態,集群HA能力實現了集群在故障時的自恢復,然後需要有重執行機制保障業務不中斷,CN Retry實現故障場景CN 端語句自動重執行,重試過程對用戶是無感知的。

2.3 技術方案

CN Retry在CN端實現故障報錯時的語句自動重執行。CN端作為語句執行的入口,在語句執行報錯時,rerty機制識別該報錯,如果是可以被retry的錯誤類型,先將報錯前已執行的操作進行回滾,而後重新執行該語句。如果能夠執行成功,則跳過執行過程中的報錯(不將執行過程中的錯誤信息上報給客戶端),重執行的動作客戶端無感知,經嘗試後如果依然無法成功執行則將錯誤信息上報給客戶端。

2.4 技術規格

3. 遠程讀

在GaussDB(DWS)中,主備DN是預設強同步的,具備一致性。當主DN遇到數據錯誤的情況時,可以去備DN請求對應的Page/CU,只要備DN已經redo完對應的數據,即可返回Page/CU給主DN。

3.1 原理介紹

遠程讀具體原理如下:

  • 主DN對行存表和列存表的數據校驗。
  • 實現主備間通信,備DN根據主DN的請求返回對應的Page/CU。
  • 主DN遇到數據錯誤時向備DN發生數據頁請求。
  • 備DN根據請求讀取數據並校驗,返回數據給主DN。
  • 主DN校驗返回的數據,校驗通過則覆蓋本地數據
  • 此外,主DN還需記錄數據錯誤,提供視圖給CM,CM向上返回告警,提示用戶更換磁碟。

3.2 規格約束

  • 由於依賴主備機制,只能處理DN上數據錯誤,並且備機處於可以查詢狀態。
  • 數據錯誤校驗,依賴有校驗信息的生成。歷史數據依賴擴容或定期Vacuum來生成校驗信息。
  • 僅針對數據靜默損壞場景,可以通過遠程讀解決;對於操作系統和文件系統上的異常,應通過節點隔離或主備倒換方式處理。
  • 從遠程讀取數據後,本地數據對本地Page/CU進行原位覆蓋。儘量進行恢復,不保證下次讀時依然正常。
  • 臨時表,Unlogged表在備機無數據,不支持遠程讀。

4. ELB

華為雲彈性負載均衡( Elastic Load Balance)將訪問流量自動分發到多台雲伺服器,擴展應用系統對外的服務能力,實現更高水平的應用容錯。消除單點故障提升應用系統的可用性。

  1. 存在負載均衡時,當出現接入點CN故障,CN1的流量會自動切換至CN2
  2. 未配置負載均衡的集群,當出現接入點CN故障,CN1的流量會被丟棄,引發業務受損

4.1 組件介紹

彈性負載均衡由以下3部分組成:

  1. 負載均衡器:接受來自客戶端的傳入流量並將請求轉發到一個或多個可用區中的後端伺服器。
  2. 監聽器:您可以向您的彈性負載均衡器添加一個或多個監聽器。監聽器使用您配置的協議和埠檢查來自客戶端的連接請求,並根據您定義的分配策略和轉發策略將請求轉發到一個後端伺服器組裡的後端伺服器。
  3. 後端伺服器:每個監聽器會綁定一個後端伺服器組,後端伺服器組中可以添加一個或多個後端伺服器。後端伺服器組使用您指定的協議和埠號將請求轉發到一個或多個後端伺服器。對應DWS集群,後端伺服器組綁定是CN節點。

4.2 功能介紹

流量調度:ELB通過監聽器檢查連接請求,根據定義的分配策略將請求流量分發至後端伺服器。

健康檢查:定期檢查後端伺服器的業務可用性,確保將請求發送到健康檢查正常的ECS,這裡的ECS指DWS集群的CN節點。

會話保持:將一定時間內來自同一用戶的訪問請求,轉發到同一後端伺服器處理,保證用戶訪問的連續性。

4.3 彈性負載均衡類型

獨享型負載均衡:獨享型負載均衡實例實例性能獨享,資源隔離,實例的性能不受其他實例的影響,單實例最高支持2kw併發,您可根據業務需要選擇不同規格的實例。

共用型負載均衡:屬於集群部署,實例資源共用,實例的性能會受其它實例的影響,不支持選擇實例規格,集群最高可支持每秒新建連接數不超過100萬,1億併發連接。共用型負載均衡就是原增強型負載均衡。

4.4 典型應用場景

潮汐效應業務:隨時在ELB上添加和移除後端伺服器,同時結合彈性伸縮服務,更好的提升業務的靈活擴展能力。

訪問量較大業務:通過ELB將訪問流量均衡的分發到多個後端雲伺服器上,確保業務快速平穩運行。

消除單點故障:通過健康檢查及時發現並屏蔽後端故障伺服器,並將流量轉發到後端其他正常的伺服器上,確保業務不中斷。

5. 總結

本文主要介紹了GaussDB(DWS)為業務高可靠保駕護航的三大利器:CN RETRY、遠程讀、ELB。CN RETRY可以實現用戶無感知的業務重試;遠程讀可以解決部分磁碟故障導致的文件損壞故障;ELB則可以在CN故障時,實現秒級的流量轉發,將請求發送給其他CN。此外還補充了當前CN RETRY與遠程讀的規格約束。

點擊關註,第一時間瞭解華為雲新鮮技術~

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 實驗介紹: 額外的域控制器,不僅他們共同管理域,分擔了負荷。 在一臺域控制器故障的時候,另一臺還能代替它繼續工作。 一:dns2安裝ad域服務 配置dns2的ip 首選dns伺服器填dns1的IP 使其能互相ping通 添加ad域服務,一直點到安裝 二:將dns2變成第二台域伺服器 如圖點擊 和安裝 ...
  • 實驗介紹: 當電腦聯入網路時,域控制器首先要鑒別這臺電腦是否是屬於這個域的,用戶使用的登錄賬號是否存在、密碼是否正確。如果以上信息有一樣不正確,那麼域控制器就會拒絕這個用戶從這臺電腦登錄,相當於一個單位的門衛一樣。 一:dns1上安裝AD域服務 打開一臺windows虛擬機,改名為dns1 添加ad ...
  • Arduino IDE 環境配置 目錄Arduino IDE 環境配置1. 安裝方式2. 操作方法(Arduino中文社區)2.1. 安裝Arduino IDE2.2. 下載固件2.3. 修改Arduino IDE語言2.4. 添加開發板管理網址2.5. 運行離線包2.6. 檢查安裝是否成功 1. ...
  • 前提 centos7系統 新建系統時選擇的預設分區 vgs等查看捲組命令無回顯 根目錄磁碟空間不足 大致流程及註意事項 處理方法:刪除再重建 不會導致其中的數據丟失 防止出現意外,請備份或者快照 1.率先在VMware中對虛擬機進行磁碟容量擴容 此處進行20g --> 40g的擴容 2.再在虛擬機中 ...
  • 問題描述 在使用VMWare17.5.0版本安裝ubuntu22.0.4.4的時候遇到問題。安裝完成ubuntu之後,我在虛擬機中點擊滑鼠左鍵沒有問題,單獨按下鍵盤也沒有問題,但是如果按下鍵盤的同時在按下滑鼠左鍵就會卡住。而且100%穩定復現。 具體的卡死按鍵: ctrl+滑鼠左鍵 alt+滑鼠左鍵 ...
  • Ubuntu Server 20.04詳細安裝教程 1. Ubuntu Server20.04啟動盤製作 1.1 下載鏡像 去Ubuntu官網找到20.04的鏡像文件(20.04下載地址),按照自己的需求下載 iso文件 1.2 製作啟動盤 用Rufus製作啟動盤,到官網下載文件(rufus官網) ...
  • 蘇州農商銀行基於GaussDB資料庫,對核心業務系統“超級網銀”進行了全面改造升級,極大提升了系統的穩定性和安全性。 ...
  • 在GreatSQL中,Binlog可以說是 GreatSQL 中比較重要的日誌了,在日常開發及運維過程中經常會遇到。Binlog即Binary Log,二進位日誌文件,也叫作變更日誌(Update Log)。 詳細Binglog日誌介紹 Binglog主要應用於數據恢復和數據複製,但是在Binlog ...
一周排行
    -Advertisement-
    Play Games
  • 前言 在我們開發過程中基本上不可或缺的用到一些敏感機密數據,比如SQL伺服器的連接串或者是OAuth2的Secret等,這些敏感數據在代碼中是不太安全的,我們不應該在源代碼中存儲密碼和其他的敏感數據,一種推薦的方式是通過Asp.Net Core的機密管理器。 機密管理器 在 ASP.NET Core ...
  • 新改進提供的Taurus Rpc 功能,可以簡化微服務間的調用,同時可以不用再手動輸出模塊名稱,或調用路徑,包括負載均衡,這一切,由框架實現並提供了。新的Taurus Rpc 功能,將使得服務間的調用,更加輕鬆、簡約、高效。 ...
  • 順序棧的介面程式 目錄順序棧的介面程式頭文件創建順序棧入棧出棧利用棧將10進位轉16進位數驗證 頭文件 #include <stdio.h> #include <stdbool.h> #include <stdlib.h> 創建順序棧 // 指的是順序棧中的元素的數據類型,用戶可以根據需要進行修改 ...
  • 前言 整理這個官方翻譯的系列,原因是網上大部分的 tomcat 版本比較舊,此版本為 v11 最新的版本。 開源項目 從零手寫實現 tomcat minicat 別稱【嗅虎】心有猛虎,輕嗅薔薇。 系列文章 web server apache tomcat11-01-官方文檔入門介紹 web serv ...
  • C總結與剖析:關鍵字篇 -- <<C語言深度解剖>> 目錄C總結與剖析:關鍵字篇 -- <<C語言深度解剖>>程式的本質:二進位文件變數1.變數:記憶體上的某個位置開闢的空間2.變數的初始化3.為什麼要有變數4.局部變數與全局變數5.變數的大小由類型決定6.任何一個變數,記憶體賦值都是從低地址開始往高地 ...
  • 如果讓你來做一個有狀態流式應用的故障恢復,你會如何來做呢? 單機和多機會遇到什麼不同的問題? Flink Checkpoint 是做什麼用的?原理是什麼? ...
  • C++ 多級繼承 多級繼承是一種面向對象編程(OOP)特性,允許一個類從多個基類繼承屬性和方法。它使代碼更易於組織和維護,並促進代碼重用。 多級繼承的語法 在 C++ 中,使用 : 符號來指定繼承關係。多級繼承的語法如下: class DerivedClass : public BaseClass1 ...
  • 前言 什麼是SpringCloud? Spring Cloud 是一系列框架的有序集合,它利用 Spring Boot 的開發便利性簡化了分散式系統的開發,比如服務註冊、服務發現、網關、路由、鏈路追蹤等。Spring Cloud 並不是重覆造輪子,而是將市面上開發得比較好的模塊集成進去,進行封裝,從 ...
  • class_template 類模板和函數模板的定義和使用類似,我們已經進行了介紹。有時,有兩個或多個類,其功能是相同的,僅僅是數據類型不同。類模板用於實現類所需數據的類型參數化 template<class NameType, class AgeType> class Person { publi ...
  • 目錄system v IPC簡介共用記憶體需要用到的函數介面shmget函數--獲取對象IDshmat函數--獲得映射空間shmctl函數--釋放資源共用記憶體實現思路註意 system v IPC簡介 消息隊列、共用記憶體和信號量統稱為system v IPC(進程間通信機制),V是羅馬數字5,是UNI ...