6000字|22張圖 帶你徹底弄懂Zookeeper分散式鎖

来源:https://www.cnblogs.com/zzyang/archive/2022/06/13/16370504.html
-Advertisement-
Play Games

前面我們剖析了Redisson的源碼,主要分析了Redisson實現Redis分散式鎖的15問,理清了Redisson是如何實現的分散式鎖和一些其它的特性。這篇文章就來接著剖析Zookeeper分散式鎖的實現框架Curator的源碼,看看Curator是如何實現Zookeeper分散式鎖的,以及它提 ...


 

 

前面我們剖析了Redisson的源碼,主要分析了Redisson實現Redis分散式鎖的15問,理清了Redisson是如何實現的分散式鎖和一些其它的特性。這篇文章就來接著剖析Zookeeper分散式鎖的實現框架Curator的源碼,看看Curator是如何實現Zookeeper分散式鎖的,以及它提供的哪些其它的特性。

Curator框架是封裝對於zk操作的api,其中就包括了對分散式鎖的實現,當然Curator框架也包括其它的功能,分散式鎖只是Curator的一部分功能。

本文的目錄跟Redisson文章的目錄比較相似,主要是為了方便大家對比redis和zk分散式鎖的實現。如需要Redisson源碼剖析的文章,請關註微信公眾號 三友的java日記,回覆 Redisson 即可。

一、ZK分散式鎖實現原理

實現Zookeeper分散式鎖,主要是基於Zookeeper的臨時順序節點來實現的。

當客戶端來加鎖的時候,會先在加鎖的節點下建立一個子節點,這個節點就有一個序號,類似 lock-000001 ,創建成功之後會返回給客戶端所創建的節點,然後客戶端會去獲取這個加鎖節點下的所有客戶端創建的子節點,當然也包括自己創建的子節點。拿到所有節點之後,給這些節點進行排序,然後判斷自己創建的節點在這些節點中是否排在第一位,如果是的話,那麼就代表當前客戶端就算加鎖成功了,如果不是的話,那麼就代表當前客戶端加鎖失敗。

加鎖失敗的節點並不會不停地迴圈去嘗試加鎖,而是在自己創建節點的前一個節點上加一個監聽器,然後就進行等待。當前面一個節點釋放了鎖,就會反過來通知等待的客戶端,然後客戶端就加鎖成功了。

為什麼需要在前一個節點加個監聽器?

假設有很多客戶端來加鎖,然後加鎖失敗的都對前一個節點加一個監聽。那麼一旦第一個加鎖成功的客戶端線程釋放了鎖,那麼被喚醒的就是第二個客戶端線程,第二個客戶端線程就會加鎖成功,執行完任務之後就釋放了鎖,那麼就會喚醒第三個客戶端線程,第三個客戶端線程加鎖成功,執行完任務之後就釋放了鎖,喚醒第四個客戶端線程,以此類推,所以每次釋放鎖都會喚醒下一個節點,這樣每個加鎖的線程都會加鎖成功,所以監聽器的作用是喚醒加鎖失敗阻塞等待的客戶端。

二、為什麼使用臨時順序節點

下麵介紹一下臨時節點、持久化節點、順序節點的特性。 

1)臨時節點

臨時節點,指的是節點創建後,如果創建節點的客戶端和 Zookeeper 服務端的會話失效(例如斷開連接),那麼節點就會被刪除。

2)持久化節點

持久化節點指的是節點創建後,即使創建節點的客戶端和 Zookeeper 服務端的會話失效(例如斷開連接),節點也不會被刪除,只有客戶端主動發起刪除節點的請求,節點才會被刪除。

3)有序節點

有序節點,這種節點在創建時會有一個序號,這個序號是自增的。有序節點既可以是有序臨時節點,也可以是有序持久化節點。

從上面節點的特性可以知道,臨時節點相比持久節點,最主要的是對會話失效的情況處理不一樣,如果使用臨時節點的話,如果客戶端發生異常的話,沒有來得及主動釋放鎖,就能避免鎖無法釋放導致死鎖的情況。因為一旦客戶端異常,那麼客戶端和服務端之間的會話就會失效,然後臨時節點就會被刪除,這樣就釋放了鎖;而持久化節點在由於會話失效無法被刪除,那麼就不會去釋放鎖,這樣就會產生死鎖的問題。

從這裡可以看出redis和zk防止死鎖的實現是不同的,redis是通過過期時間來防止死鎖,而zk是通過臨時節點來防止死鎖的。

為什麼使用順序節點?其實為了防止羊群效應。如果沒有使用順序節點,假設很多客戶端都會去加鎖,那麼加鎖就會都失敗,都會對加鎖的節點加個監聽器,那麼一旦鎖釋放,那麼所有的加鎖客戶端都會被喚醒來加鎖,那麼一瞬間就會造成很多加鎖的請求,增加服務端的壓力。

所以綜上,臨時順序節點是個比較好的選擇。

三、加鎖的邏輯是如何實現的 

前面關於ZK分散式鎖實現原理已經說過了,接下來就來看一下代碼的實現。

加鎖的使用方法如下,接下來幾節會著重講解這段代碼背後的邏輯

圖片

 acquire方法的實現 

圖片

 acquire方法會去調用internalLock方法,傳入超時時間 -1 和單位 null,也就代表瞭如果加鎖不成功會一直阻塞直至加鎖成功,不會超時。

圖片

internalLock方法會先去獲取當前線程,然後從threadData中獲取當前線程對應的LockData,這裡面封裝了加鎖的信息和次數,是實現可重入鎖的關鍵,當然第一次加鎖這裡肯定是沒有的,會繼續下走 internals.attemptLock 加鎖。

attemptLock方法

圖片

 先通過driver的createsTheLock去創建節點。

圖片

 從這裡看出,創建的節點類型是臨時順序節點,創建成功之後,就會返回當前創建的節點。

節點創建成功之後,會調用internalLockLoop方法來加鎖。

圖片

 通過getSortedChildren方法獲取排好序的子節點,然後獲取當前的節點名稱,再通過 driver.getsTheLock判斷當前的節點有沒有加鎖成功,返回一個PredicateResults判斷的結果,這裡面存的就是否加鎖成功的信息。 

第一次加鎖,那麼到這裡就加鎖成功了。之後就會封裝一個LockData對象,放入threadData 的map中。

加鎖的流程如下圖:

 

圖片

四、如何實現可重入加鎖 

上文加鎖的時候提到了,當第一次加鎖成功之後,會往threadData放入該加鎖的線程對應的LockData。 

圖片

LockData主要封裝了當前線程、加鎖的次數、加鎖的節點。 

此時如果第二次來加鎖,那麼就會從threadData中獲取到加鎖的信息,然後將加鎖次數加1,就代表了加鎖成功,然後直接返回。

圖片

所以可重入加鎖的實現很簡單,就是在客戶端中判斷有沒有加過鎖,加過的話就將加鎖次數累加1,壓根就跟服務端沒有交互。

註意Redisson可重入加鎖的實現跟的Curator是不一樣的,Redisson的加鎖次數是存在Redis的服務端的,而Curator是存在客戶端的。

 

圖片

 五、加鎖失敗之後如何實現阻塞等待加鎖

前面加鎖的邏輯主要是說了加鎖成功的情況,這裡就來說一下加鎖失敗的情況。

繼續來看internalLockLoop方法。

圖片

 前面說過,判斷有沒有加鎖成功,會返回一個PredicateResults,這裡麵包含了有沒有加鎖成功的信息,同時如果沒有加鎖成功,就會返回需要監聽的節點,也就是當前創建的節點的前一個節點。

所以沒有加鎖成功,就會走else的邏輯,對上一個節點加一個監聽器 watcher

圖片

 然後就會調用 wait 方法,進行等待。

圖片

 當前一個節點被刪除了,也就是釋放了鎖,那麼就會回調這個監聽器watcher的方法。

圖片

 

圖片

所以,這個watcher的作用就是調用notifyAll方法喚醒調用wait方法的線程,這樣線程就會繼續嘗試加鎖,因為是在一個while的迴圈中。 

六、如何實現阻塞等待一定時間還未加鎖成功就放棄加鎖

可通過下麵這個方法來實現實現阻塞等待一定時間還未加鎖成功就放棄加鎖。

boolean acquire(long time, TimeUnit unit) throws Exception 

這個方法相比不指定等待時間的方法最主要的區別就是加鎖失敗之後,調用的阻塞的方法不一樣。當不指定超時時間就會調用wait()方法,不會傳入等待時間,不被喚醒就會一直阻塞;指定超時時間的時候,就會調用wait(long timeout)指定等待的時間,這樣如果等待時間一到,線程就會醒過來,然後再次嘗試加鎖,一旦加鎖失敗,就會放棄加鎖。

圖片

七、如何主動釋放鎖和避免其它線程釋放鎖 

釋放鎖release方法 

圖片

釋放鎖其實很簡單,就是拿出當前線程對應的LockData,如果沒有,就說明當前線程沒有加過鎖,就會拋出異常,所以Curator就是通過這個判斷來防止其它線程釋放了自己線程加的鎖。 

如果加鎖了,那麼LockData就不會為null,然後將加鎖次數遞減1,得到newLockCount,代表了剩下的加鎖次數。

  • 如果newLockCount > 0,說明鎖沒釋放完,有可重入加鎖,然後什麼事都不幹,直接返回了。

  • 如果newLockCount < 0,就拋異常,但是一般不會出現。

  • 剩下的一種情況就是newLockCount == 0 ,說明鎖已經完完全全釋放完了,然後通過internals.releaseLock刪除加鎖的節點。 

服務端刪除節點之後,就會通知監聽該節點的客戶端,然後客戶端就會回調watcher監聽器,喚醒阻塞等待的線程,線程被喚醒後再進行一次判斷就能加鎖成功。

到這裡,就講完了加鎖和釋放鎖的過程,整個加鎖和釋放鎖的過程就如下圖所示。

八、如何實現公平鎖

其實使用臨時順序節點實現的分散式鎖就是公平鎖。所謂的公平鎖就是加鎖的順序跟成功加鎖的順序是一樣的。

因為節點的順序就是被喚醒的順序,所以也就是加鎖的順序,所以天生就是公平鎖。

九、如何實現讀寫鎖 

讀寫鎖使用如下。 

圖片

創建節點的時候,節點的內容中會有一個標記來代表當前節點加的是什麼類型的鎖。

圖片

當需要加寫鎖時,需要判斷自己創建的節點是否排在第一位,如果是就能加鎖成功,所以一旦前面有節點,不論前面加是讀鎖還是寫鎖,那麼都是加鎖失敗,實現了讀寫互斥和寫寫互斥。當然寫鎖和讀鎖都是可以重入加鎖的。 

當需要加讀鎖的時候,會去判斷自己創建節點的前面有沒有寫鎖,如果沒寫鎖,那麼說明前面加的都是讀鎖,那麼讀鎖就能加鎖成功,讀讀不互斥,如果前面有寫鎖,那麼就加鎖失敗(自己加的寫鎖除外),讀寫互斥。

十、如何實現批量加鎖

批量加鎖的意思就是同時加幾個鎖,只有這些鎖都算加成功了,才是真正的加鎖成功。 

Redisson也實現了批量加鎖的功能,Redisson的實現通過RedissonMultiLock類實現的,RedissonMultiLock會去遍歷需要加的鎖,然後每個都加成功之後才算加鎖成功。Curator是封裝了InterProcessMultiLock類來實現的批量加鎖的,那麼InterProcessMultiLock如何實現的呢? 

使用代碼如下。

圖片

 InterProcessMultiLock的acquire的方法實現。

圖片

從這裡可以看出,InterProcessMultiLock也是遍歷傳入的鎖,然後每個鎖都加鎖成功了,InterProcessMultiLock才算加鎖成功。 

所以從這裡可以看出,跟Redisson實現的批量加鎖的實現思想上基本是一樣的,都是遍歷加鎖。

十一、ZK分散式鎖和Redis分散式鎖到底該選誰

這是一個比較常見的面試題。

redis分散式鎖:

  • 優點:性能高,能保證AP,保證其高可用,

  • 缺點:正如Redisson的那篇文章所言,主要是如果出現主節點宕機,從節點還未來得及同步主節點的加鎖信息,可能會導致重覆加鎖。雖然Redis官網提供了RedLock演算法來解決這個問題,Redisson也實現了,但是RedLock演算法其實本身是有一定的爭議的,有大佬質疑該演算法的可靠性;同時因為需要的機器過多,也會浪費資源,所以RedLock也不推薦使用。

zk分散式鎖:

  • 優點:zk本身其實就是CP的,能夠保證加鎖數據的一致性。每個節點的創建都會同時寫入leader和follwer節點,半數以上寫入成功才返回,如果leader節點掛了之後選舉的流程會優先選舉zxid(事務Id)最大的節點,就是選數據最全的,又因為半數寫入的機制這樣就不會導致丟數據

  • 缺點:性能沒有redis高 

所以通過上面的對比可以看出,redis分散式鎖和zk分散式鎖的側重點是不同的,這是redis和zk本身的定位決定的,redis分散式鎖側重高性能,zk分散式鎖側重高可靠性。所以一般項目中redis分散式鎖和zk分散式鎖的選擇,是基於業務來決定的。如果你的業務需要保證加鎖的可靠性,不能出錯,那麼zk分散式鎖就比較符合你的要求;如果你的業務對於加鎖的可靠性沒有那麼高的要求,那麼redis分散式鎖是個不錯的選擇。

最後,希望通過這兩篇文章,讓大家對於zookeeper分散式鎖和redis分散式鎖的實現有個更好的認識。如需要Redisson源碼剖析的文章,請關註微信公眾號 三友的java日記,回覆 Redisson 即可。

 

往期熱門文章推薦

掃碼或者搜索關註公眾號 三友的java日記 ,及時乾貨不錯過,公眾號致力於通過畫圖加上通俗易懂的語言講解技術,讓技術更加容易學習。 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 今天給大家分享 3 個比較冷門的知識 第一個:神奇的字典鍵 Python學習交流Q群:906715085#### some_dict = {} some_dict[5.5] = "Ruby" some_dict[5.0] = "JavaScript" some_dict[5] = "Python" ...
  • 面試的時候,總會遇到這麼一個場景。 1. 場景分析 面試官:你們的服務的QPS是多少? 我:我們的服務高峰期訪問量還挺大的,大約是3萬吧。 面試官:這麼大的訪問量,你們的伺服器能撐住嗎?有加緩存嗎? 我:有的,我們使用了Redis做緩存,介面優先查詢緩存,緩存不存在,才訪問資料庫。這樣可以減少資料庫 ...
  • 前言 本文摘自清華大學出版《深入淺出Python量化交易實戰》一書的讀書筆記,這裡把作者用KNN模式做的交易策略,換成了邏輯回歸模型,試 試看策略的業績會有怎樣的變化。 二話不說,上梯子,導庫拉數據: Python學習交流Q群:906715085### import pandas as pd imp ...
  • 一個工作2年的粉絲,被問到一個Mybatis裡面的基礎問題。 他跑過來調戲我,說Mic老師,你要是能把這個問題回答到一定高度,請我和一個月奶茶。 這個問題是: ”Mybatis裡面#{}和${}的區別是什麼“ 下麵看看普通人和高手對這個問題的回答。 普通人: Mybatis裡面#{}和${}的區別: ...
  • 前言 前幾天小編在抖音上刷到一個慢慢變老的視頻,播放量居然有 30W+,當時就在想這視頻 Python 可不可以做?經過一番搜索,小編找到了 騰訊雲的人臉年齡變化 API,上面介紹說只要用戶上傳一張人臉圖片,基於人臉編輯與生成演算法,就可以輸出一張人臉變老或變年輕的圖 片,並支持實現人臉不同年齡的變化 ...
  • 我們以識別詩詞為例下麵是我們要識別的圖片 先看下效果圖 我們運行代碼後識別的結果,有幾個字沒有正確識別,但是大多數字都能識別出來。 一行代碼就能識別圖片,我們背後要做些準備工作的 •這裡我們需要用到兩個庫:pytesseract和PIL •同時我們還需要安裝識別引擎tesseract-ocr 下麵就 ...
  • UML系統建模 1 概述 1.1 課程概述 彙集UML及其相關的一些話題 回顧UML相關的符號與概念 以電商訂單相關業務為例,藉助UML完成系統建模 將UML變成提升建模效率,表達架構思想的工具 1.2 什麼是UML ​ Unified Modeling Language 統一建模語言,又稱標準建模 ...
  • 前言 周末到了,不想給大家太多的壓力,今天就給大家分享一個比較簡單的彈球小游戲吧。這無聊的周末又有事可以做了,nice… 先看一下我們的最終效果圖 我們分9步來講解如何寫這個小游戲 1.創建游戲的主界面 我們用Python的內置模塊Tkinter來完成了,它是Python的標準GUI工具包,可以非常 ...
一周排行
    -Advertisement-
    Play Games
  • 基於.NET Framework 4.8 開發的深度學習模型部署測試平臺,提供了YOLO框架的主流系列模型,包括YOLOv8~v9,以及其系列下的Det、Seg、Pose、Obb、Cls等應用場景,同時支持圖像與視頻檢測。模型部署引擎使用的是OpenVINO™、TensorRT、ONNX runti... ...
  • 十年沉澱,重啟開發之路 十年前,我沉浸在開發的海洋中,每日與代碼為伍,與演算法共舞。那時的我,滿懷激情,對技術的追求近乎狂熱。然而,隨著歲月的流逝,生活的忙碌逐漸占據了我的大部分時間,讓我無暇顧及技術的沉澱與積累。 十年間,我經歷了職業生涯的起伏和變遷。從初出茅廬的菜鳥到逐漸嶄露頭角的開發者,我見證了 ...
  • C# 是一種簡單、現代、面向對象和類型安全的編程語言。.NET 是由 Microsoft 創建的開發平臺,平臺包含了語言規範、工具、運行,支持開發各種應用,如Web、移動、桌面等。.NET框架有多個實現,如.NET Framework、.NET Core(及後續的.NET 5+版本),以及社區版本M... ...
  • 前言 本文介紹瞭如何使用三菱提供的MX Component插件實現對三菱PLC軟元件數據的讀寫,記錄了使用電腦模擬,模擬PLC,直至完成測試的詳細流程,並重點介紹了在這個過程中的易錯點,供參考。 用到的軟體: 1. PLC開發編程環境GX Works2,GX Works2下載鏈接 https:// ...
  • 前言 整理這個官方翻譯的系列,原因是網上大部分的 tomcat 版本比較舊,此版本為 v11 最新的版本。 開源項目 從零手寫實現 tomcat minicat 別稱【嗅虎】心有猛虎,輕嗅薔薇。 系列文章 web server apache tomcat11-01-官方文檔入門介紹 web serv ...
  • 1、jQuery介紹 jQuery是什麼 jQuery是一個快速、簡潔的JavaScript框架,是繼Prototype之後又一個優秀的JavaScript代碼庫(或JavaScript框架)。jQuery設計的宗旨是“write Less,Do More”,即倡導寫更少的代碼,做更多的事情。它封裝 ...
  • 前言 之前的文章把js引擎(aardio封裝庫) 微軟開源的js引擎(ChakraCore))寫好了,這篇文章整點js代碼來測一下bug。測試網站:https://fanyi.youdao.com/index.html#/ 逆向思路 逆向思路可以看有道翻譯js逆向(MD5加密,AES加密)附完整源碼 ...
  • 引言 現代的操作系統(Windows,Linux,Mac OS)等都可以同時打開多個軟體(任務),這些軟體在我們的感知上是同時運行的,例如我們可以一邊瀏覽網頁,一邊聽音樂。而CPU執行代碼同一時間只能執行一條,但即使我們的電腦是單核CPU也可以同時運行多個任務,如下圖所示,這是因為我們的 CPU 的 ...
  • 掌握使用Python進行文本英文統計的基本方法,並瞭解如何進一步優化和擴展這些方法,以應對更複雜的文本分析任務。 ...
  • 背景 Redis多數據源常見的場景: 分區數據處理:當數據量增長時,單個Redis實例可能無法處理所有的數據。通過使用多個Redis數據源,可以將數據分區存儲在不同的實例中,使得數據處理更加高效。 多租戶應用程式:對於多租戶應用程式,每個租戶可以擁有自己的Redis數據源,以確保數據隔離和安全性。 ...