《分散式技術原理與演算法解析》學習筆記Day07

来源:https://www.cnblogs.com/wing011203/archive/2023/02/10/17110675.html
-Advertisement-
Play Games

這篇文章主要討論分散式系統中的分散式鎖問題,包括了三種不同的分散式鎖實現方式:基於資料庫的分散式鎖、基於緩存的分散式鎖和基於ZooKeeper的分散式鎖。 ...


分散式鎖

什麼是分散式鎖?

為了實現分散式互斥,我們需要在某個地方做個標記,這個標記是每個線程都可以看到,當標記不存在時可以設置該標記,當標記被設置後,其他線程只能等待擁有該標記的線程執行完成,並釋放該標記後,才能去設置該標記和訪問共用資源。這裡的標記就是我們討論的鎖。

鎖就是在多線程同時訪問同一資源的場景下,為了讓線程互不幹擾地訪問共用資源,從而保證操作的有效性和正確性的一種標記。

分散式鎖是指在分散式環境下,系統部署在多個機器中,實現多進程分散式互斥的一種鎖。為了保證多個進程都可以看到鎖,鎖需要通過公共存儲來管理,這樣才能實現多個進程併發訪問同一個臨界資源,同一個時刻只有一個進程可訪問共用資源,確保數據的一致性。

我們在設計分散式鎖時要考慮的因素有哪些?

以下幾點需要考慮:

  1. 互斥性,對於某一共用資源,需要保證在同一時間只能有一個線程或進程對該資源進行操作。
  2. 具備鎖失效機制,防止死鎖。
  3. 可重入性,即進程未釋放鎖時,可以多次訪問臨界資源。
  4. 有高可用的獲取鎖和釋放鎖的功能,且性能要好。

常見的分散式鎖實現方法有哪些?

實現分散式鎖有3種主流的方法:

  • 基於資料庫實現分散式鎖
  • 基於緩存實現分散式鎖
  • 基於ZooKeeper實現分散式鎖

基於資料庫實現分散式鎖

基於資料庫實現分散式鎖比較簡單,主要在於創建一張鎖表,為申請者在鎖表中建立一條記錄,記錄建立成功則獲得鎖,消除記錄則釋放鎖。

因為需要頻繁訪問磁碟,IO開銷會比較大,因此這種方式適用於併發量低、對性能要求低的場景。

這種方式有兩個缺點:

  1. 單點故障問題,一旦資料庫不可用,會導致整個系統崩潰。
  2. 死鎖問題,資料庫鎖沒有失效時間,未獲得鎖的進程只能一致等待已獲得鎖的進程主動釋放鎖,如果已獲得共用資源訪問許可權的進程忽然掛了,或者解鎖操作失敗,那麼鎖記錄會一直存儲在資料庫中,無法刪除,而其他進程也無法獲得鎖,從而造成死鎖。

基於緩存實現分散式鎖

所謂基於緩存,也就是說把數據存放在電腦記憶體中,不需要寫入磁碟,減少IO讀寫。

我們經常使用Redis來作為緩存方案,使用setnx(key, value)函數實現分散式鎖。key和value就是基於緩存的分散式鎖的兩個屬性,其中key表示鎖id,value=currentTime + timeOut,表示當前時間+超時時間。

setnx函數的返回值有0和1:

  • 返回1,說明該伺服器獲得鎖,setnx將key對應的value設置為當前時間+鎖的有效時間
  • 返回0,說明其他服務已經獲得鎖,進程不能進入臨界區

Redis通過碎裂來維持進程訪問共用資源的先後順序,Redis鎖主要基於setnx函數實現分散式鎖,當進程通過setnx<key,value>函數返回1時,表示已經獲得鎖。排在後面的進程只能等待前面的進程主動釋放鎖,或者等到時間超時才能獲得鎖。

這種方案的優點在於:

  1. 性能更好,訪問記憶體要比訪問磁碟快很多。
  2. 可以集群部署,避免了單點故障問題。
  3. 使用方便,很多緩存服務都提供了可以用來實現分散式鎖的方法。
  4. 可以直接設置超時時間來控制鎖的釋放。

這種方案的缺點是通過超時時間來控制鎖的失效時間並不是十分可靠,因為一個進程執行時間可能比較長,或受系統進程做記憶體回收等影響,導致時間超時,從而不正確的釋放了鎖。

這種方案適用於高併發、對性能要求高的場景。

基於ZooKeeper的分散式鎖

ZooKeeper的樹形數據存儲結構主要由4種節點構成:

  • 持久節點,預設節點類型。
  • 持久順序節點,在創建節點時,ZooKeeper根據節點創建的時間順序對節點進行編號處理。
  • 臨時節點,當客戶端與ZooKeeper斷開連接後,對應進程創建的臨時節點就會被刪除。
  • 臨時順序節點,按時間順序編號的臨時節點。

ZooKeeper基於臨時順序節點實現了分佈鎖。

ZooKeeper實現分散式鎖的流程:

  1. 在持久節點shared_lock目錄下,為每個進程創建一個臨時順序節點。
  2. 每個進程獲取shared_lock目錄下的所有臨時節點列表,註冊Watcher,用於監聽子節點變更的信息。當監聽到自己的臨時節點是順序最小的,則可以使用共用資源。
  3. 每個節點確定自己的編號是否是shared_lock下所有子節點中最小的,如果是最小的,就能獲得鎖。
  4. 如果進程對應的臨時節點編號不是最小的,那麼有兩種情況:
    • 本進程為讀請求,如果比自己序號小的節點中有寫請求,則等待。
    • 本進程為寫請求,如果比自己序號小的節點中有請求,則等待。

使用ZooKeeper實現的分散式鎖,可以解決前兩種方法提到的各種問題,比如單點故障、不可重入、死鎖等,但是該方法實現比較複雜,且需要頻繁的添加和刪除節點,所以性能不如基於緩存實現的分散式鎖。

這種方案適用於大部分分散式場景,但是不適用於對性能要求極高的場景。

三種不同的分散式鎖,詳細的區別如下表所示。

分散式鎖中的羊群效應

所謂羊群效應,就是在整個ZooKeeper分散式鎖的競爭過程中,大量的進程都想要獲得鎖去使用共用資源。每個進程都有自己的Watcher來通知節點消息,都會獲取整個子節點列表,使得信息冗餘,資源浪費。

當共用資源被解鎖後,ZooKeeper會通知所有監聽的進程,這些進程都會嘗試爭取鎖,但最終只能有一個進程獲得鎖,使得其他進程產生了大量的不必要的請求,造成了巨大的通信開銷,造成網路阻塞,性能下降。

如何解決?分為三步:

  1. 在與該方法對應的持久節點目錄下,為每個進程創建一個臨時順序節點。
  2. 每個進程獲取所有臨時節點列表,對比自己的編號是否最小,如最小,則獲得鎖。
  3. 若本進程對應的臨時節點編號不是最小的,則註冊Watcher,監聽自己的上一個臨時順序節點,當監聽到該節點釋放鎖後,則獲取鎖。
    作者:李潘     出處:http://wing011203.cnblogs.com/     本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1.【配置】應用版本號名稱有一個規則的字元串:1.0.0,規則是:大版本號,中版本號,小版本號。 2.【配置】應用版本號中的小版本號不能超過9,超過9的需要向上一個版本號進一(逢十進一)。 3.【配置】應用版本號是一個整數類型,最長10位,超過10位就會被自動轉化成字元串。 4.【配置】應用版本號和 ...
  • 函數: 一個被設計為執行特定任務的代碼塊 語法 通過function 關鍵詞定義,後面跟著其函數名稱,然後是一對圓括弧,圓括弧中可以定義一些函數的參數。沒有名稱的函數呢? 函數名稱可以包含字母、數字、下劃線、中劃線和美元符號(命名規則與變數命名一致)。 // 聲明一個函數 function fnNa ...
  • 回顧第一篇文章中談到的組件庫的幾個方面,只剩下最後的、也是最重要的組件庫的打包構建、本地發佈、遠程發佈了。 1 組件庫構建 組件庫的入口是 packages/yyg-demo-ui,構建組件庫有兩個步驟: 添加 TypeScript 的配置文件: tsconfig.json 添加 vite.conf ...
  • 圖片資源,在我們的業務中可謂是占據了非常大頭的一環,尤其是其對帶寬的消耗是十分巨大的。 對圖片的性能優化及體驗優化在今天就顯得尤為重要。本文,就將從各個方面闡述,在各種新特性滿頭飛的今天,我們可以如何儘可能的對我們的圖片資源,進行性能優化及體驗優化。 圖片類型的選取及 Picture 標簽的使用 首 ...
  • TypeScript入門 ​ 一、什麼是TypeScript JavaScript的超集,可以編譯成JavaScript。添加了類型系統的JavaScript,可以適用於任何規模的項目。 TypeScript特性 類型系統 從 TypeScript 的名字就可以看出來,「類型」是其最核心的特性。 我 ...
  • Gossip是一種p2p的分散式協議。它的核心是在去中心化結構下,通過將信息部分傳遞,達到全集群的狀態信息傳播,傳播的時間收斂在O(Log(N))以內,其中N是節點的數量。基於gossip協議,可以構建出狀態一致的各種解決方案。 ...
  • 學習爬蟲第N天 今天想著將爬蟲獲取到的內容放在桌面,所以去學習了下 os 的操作。 學習如下: import os, os.path (經常性喜歡將文件放在桌面來查看內容是否正確,所以先創建一個變數存儲桌面的位置) desktop = fr"C:\Users\{os.getlogin()}\Desk ...
  • SpringMVC底層機制簡單實現-02 https://github.com/liyuelian/springmvc-demo.git 4.任務3-從web.xml動態獲取容器配置文件 4.1分析 任務3:MyDispatcherServlet (自定義的前端分發器)在創建並初始化自定義的spri ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...