《分散式技術原理與演算法解析》學習筆記Day23

来源:https://www.cnblogs.com/wing011203/archive/2023/02/26/17156466.html
-Advertisement-
Play Games

這篇文章主要關註分散式系統中的數據複製,它提高了系統的可用性和可靠性,保證業務正常運行。常見的數據複製方法包括同步複製技術、非同步複製技術和半同步複製技術。 ...


分散式數據複製

我們在進行分散式數據存儲設計時,通常會考慮對數據進行備份,以提高數據的可用性和可靠性,“數據複製技術”就是實現數據備份的關鍵技術。

什麼是數據複製技術?

在分散式資料庫系統中,通常會設置主備資料庫,當主資料庫出現故障時,備資料庫可以替代主資料庫進行後續的工作,從而保證業務的正常運行。

數據複製技術就是如何讓主備資料庫保持數據一致的技術。

數據複製原理和應用

數據的一致性,是指不同節點上的數據要保持一致。對於分散式存儲系統中的數據複製技術來講,也需要在一致性和可用性之間做出權衡。

從一致性和可用性來看,數據複製技術一般分為三類:

  • 比較註重一致性,例如同步複製技術
  • 比較註重可用性,例如非同步複製技術
  • 平衡一致性和可用性,例如半同步複製技術

同步複製技術

同步複製技術是指當用戶請求更新數據時,主資料庫必須要同步到備資料庫之後才可以給用戶返回結果,即如果主資料庫沒有同步到備資料庫,用戶的更新操作會一直阻塞。

這種方式保證了數據的強一致性,但是犧牲了系統的可用性。

在一個分散式資料庫系統中,有兩個節點,分別作為主節點和備節點。通常情況下,兩個節點都可以接收用戶讀請求,然後將本節點的數據及時返回給用戶,也就是說讀請求響應比較快。如果用戶發送的事寫請求,寫操作必須由主節點進行,即使用戶將寫請求發送到備節點,備節點也會將請求轉發給主節點,因此寫請求要比讀請求慢一些。

同步複製技術要求主資料庫等待所有備資料庫都操作成功才可以響應用戶,性能不是很好,影響用戶體驗。因此同步複製技術適用於分散式資料庫主備場景或者對數據一致性有嚴格要求的場合。

非同步複製技術

非同步複製技術是指當用戶請求更新數據時,主資料庫處理完請求後可以直接給用戶響應,而不必等到備資料庫完成同步,即備資料庫會非同步進行數據同步,用戶的更新操作不會因為備資料庫未完成數據同步而導致阻塞。

這種方式保證了系統的可用性,但是犧牲了數據的一致性。

分散式資料庫主備模式場景下,如果對數據一致性要求不高,也可以採用非同步複製方法。

MySQL集群預設採用的數據複製模式就是非同步複製技術,主要流程如下:

  1. 主資料庫完成寫操作後,可以直接給用戶回覆成功,將寫操作寫入binary log中,binary log中記錄著主資料庫執行的所有更新操作,以便備資料庫獲取更新信息。
  2. 備資料庫啟動一個IO線程專門讀取binary log中的內容然後寫入relay log中。
  3. 備資料庫啟動一個SQL線程會定時檢查relay log中的內容,如果發現有新內容則會立即在備資料庫中執行,從而實現數據的一致。

非同步複製技術一般會應用在對用戶請求響應時延要求很高的場景。

半同步複製技術

半同步複製技術的核心是用戶發出寫請求後,主資料庫會執行寫操作,並給備資料庫發送同步請求,但主資料庫不用等待所有備份資料庫回覆數據同步成功便可以響應用戶,也就是說主資料庫可以等待一部分備資料庫同步完成後響應用戶寫操作執行成功。

半同步複製技術通常由兩種方式:

  1. 當主資料庫收到多個備資料庫中某一個回覆數據同步成功後,便可以給用戶響應寫操作完成。
  2. 當主資料庫收到超過一半節點回覆數據更新成功後,再給用戶響應寫操作成功。

我們之前談過的ZooKeeper集群符合CP特征,它採用的數據複製技術就是上述第二種半同步複製方案,在ZooKeeper集群中,寫請求必須由Leader節點進行處理,每次寫請求,Leader會給Follower發Proposal,等待多數節點同意後寫操作才可成功。通過這樣的方式,ZooKeeper實現了一致性。

數據複製技術選型

多數的分散式存儲系統可以通過配置來選擇不同的數據複製技術,例如

  • MySQL的資料庫集群,支持全同步複製、非同步複製和半同步複製三種模式。
  • Oracle在數據複製方面提供了最大保護模式(半同步複製技術的第一種方式)、最大性能模式(非同步複製技術)和最大可用性模式(平時採用最大保護模式,主備發生網路故障時採用最大性能模式,這樣在一致性和可用性之間做了權衡)。

三種不同的數據複製技術的詳細比較如下。

    作者:李潘     出處:http://wing011203.cnblogs.com/     本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 引言 使用Spring Innitializer創建SpringBoot項目 解決方案 引言 筆者使用的IDEA版本為2020.2.4, 在使用Spring Innitializer創建SpringBoot項目後, SpringBoot項目無法被識別IDEA正常識別, 本文將來解決這個問題. 使用S ...
  • 1、錯誤提示信息如下: com.alibaba.fastjson.JSONException: exepct '[', but string, pos 4, json : "[{"attrId":33,"attrName":"粗跟"},{"attrId":44,"attrName":"厚底"}]" ...
  • Java流程式控制制:用戶交互Scanner、選擇結構 用戶交互Scanner Scanner類用於獲取用戶的輸入 基本語法: Scanner s = new Scanner(System.in);s.close(); package com.qiu.first.scanner;​import java ...
  • 1 func absInt(x int) int { 2 if x < 0 { 3 return -x 4 } 5 return x 6 } 下麵會用到此方法, int類型值取絕對值 1 type sp_item struct { 2 x int 3 y int 4 g int 5 h int 6 ...
  • (Java刷題常用的數據結構總結) 1. 基礎運算 //int型相關操作 Integer.INT_MAX;//int型最大值 Integer.INT_MIN;//int型最小值 long name;//註意:沒有c語言裡面的long long (int)n1%(int)n2;//取餘運算,針對int ...
  • 歡迎關註個人公眾號:愛喝可可牛奶 LeetCode 39. 組合總和 40.組合總和II 131.分割迴文串 LeetCode 39. 組合總和 分析 回溯可看成對二叉樹節點進行組合枚舉,分為橫向和縱向 每次往sum添加新元素時,必須明確從can哪個位置開始,定義變數pos 返回條件 sum == ...
  • 一、m_sequencer 1、什麼是m_sequencer m_sequencer是定義在uvm_sequencer_item中的,uvm_sequencer_base類型的句柄,也就是說 m_sequencer是uvm_sequencer_item的成員變數 m_sequencer是指向uvm_ ...
  • 1、變數 推薦 駝峰體:AgeOfOldboy = 73 下劃線:age_of_oldboy = 73 # 變數的小高級: age1 = 18 age2 = age1 age3 = age2 age2 = 12 print(age1,age2,age3) 18 12 18 Process finis ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...