分散式鎖探討

来源:https://www.cnblogs.com/catchmydream/archive/2019/03/26/10603822.html
-Advertisement-
Play Games

一、分散式鎖背景 a、什麼是鎖? 從使用場景定義:當存在多個線程可以同時改變某個變數時,就需要對變數或代碼塊做同步,使其在修改這種變數時能夠線性執行消除併發修改變數。 鎖的實現方式有多種,只要能滿足所有線程都能看得到這個鎖標記即可。 Java中常見的鎖: synchronized Reentrant ...


一、分散式鎖背景

a、什麼是鎖?

從使用場景定義:當存在多個線程可以同時改變某個變數時,就需要對變數或代碼塊做同步,使其在修改這種變數時能夠線性執行消除併發修改變數。

鎖的實現方式有多種,只要能滿足所有線程都能看得到這個鎖標記即可。

Java中常見的鎖:
synchronized
ReentrantLock
ReentrantReadWriteLock

b、什麼是分散式?

定義:分散式系統一定是由多個節點(電腦伺服器)組成的系統,這些互通的節點上部署了各個服務,並且操作需要協同。

分散式系統對於終端用戶而言,他們面對的就好像是一個伺服器,提供用戶需要的服務而已。

什麼是CAP?

定義:任何一個分散式系統都無法同時滿足一致性Consistency、可用性Availability、和分區容錯性Partition Tolerance,最多只能同時滿足兩項。

因為單個伺服器偶爾宕機不可避免(或者因為停電或者自然災害導致單機房不可用),網路狀況不穩定,時而會有網路抖動,時而延時比較高,所以必須滿足P,所以一般會出現AP系統和CP系統。

c、a+b==》什麼是分散式鎖?

定義:在分散式環境下,一個共用的可見的公共資源,各個線程通過對這個公共資源的搶占,能夠使得一個代碼塊在同一時間只能被一個機器的一個線程執行,那這個公共資源就是分散式鎖,或者說這整個機制就是分散式鎖。

或者從使用場景定義:分散式鎖主要用於在分散式環境中保護跨進程、跨主機、跨網路的共用資源實現互斥訪問,以達到保證數據的一致性

二、分散式鎖實現方式

 鎖的實現方式有多種,只要能滿足所有線程都能看得到這個鎖標記即可。

常見的方式是使用資料庫、緩存或者zookeeper來實現分散式鎖,除了這些,其實一個網路中的共用可見的可讀寫的資源就可以用作實現鎖。

鎖的操作主要有兩個,即lock和unlock。

a、資料庫

我們可以利用資料庫的特性,lock即插入一條數據到資料庫,unlock即刪除該條數據。直接看圖

1、建mysql表,lock_name上建立唯一性索引;

2、server1開始獲取分散式鎖"aaa";

3、server1調用lock("aaa"),資料庫中沒有"aaa",插入"aaa"成功,server1成功獲得分散式鎖"aaa";

4、server2調用lock("aaa"),插入"aaa"失敗,獲取鎖失敗;

5、server1調用unlock("aaa"),刪除數據行"aaa";

6、server2調用lock("aaa"),插入"aaa"成功,獲取鎖成功;

 

熟悉java鎖的同學發現問題了,這個鎖也太簡陋了,鎖都不阻塞的。

好,我們嚴格地來討論下鎖的特性,

首先,我們羅列下鎖的特性,我能想到的有以下這些,歡迎留言補充:

分散式鎖的需求
1、在分散式環境下,一個代碼塊在同一時間只能被一個機器的一個線程執行
2、高可用地獲取鎖和釋放鎖
3、高性能的獲取鎖和釋放鎖
4、具備鎖失效機制,防止死鎖
5、是否可重入
6、是否非阻塞
7、自旋鎖
8、樂觀鎖/悲觀鎖
9、是否公平
10、獨享鎖/共用鎖
11、分段鎖

 剛纔提到的問題,鎖最基本的應該具有阻塞特性,我們修正一下,如下圖

在插入數據失敗後,我們通過不斷地重試來達到阻塞的特性。

 下麵我們來逐條討論下以上提到的特性:

分散式鎖的需求
1、在分散式環境下,一個代碼塊在同一時間只能被一個機器的一個線程執行

基本的,所有的鎖都應該滿足
2、高可用地獲取鎖和釋放鎖                                                                                 

可用性受資料庫單點限制,如果要提高可用性,使用主備庫,通過數據同步主備切換達到在主庫宕機時的高可用
3、高性能的獲取鎖和釋放鎖 資料庫讀寫性能

鎖的獲取和釋放就是資料庫的插入和刪除,性能因具體資料庫不同而不同,表的行數的規模大小也影響著性能,性能還受網路的影響,在筆者的網路中插入大概耗時約80ms
4、具備鎖失效機制,防止死鎖

如果節點在獲取鎖之後釋放鎖之前宕機,會發生死鎖。可以在表中加入時間欄位,用一個定時任務,定期地清理時間過期的鎖,但是這個過期時間的大小值得探討,很深入地探討。
5、是否可重入

如果想獲得類似ReentrantLock的特性,可以在表中寫入線程的信息(IP地址+進程號+線程號),可以先查詢,如果是線程自己擁有的鎖,直接返回成功並計數count
6、是否非阻塞

如果要獲得阻塞特性,通過不斷自旋重試
7、自旋鎖

同上
8、樂觀鎖/悲觀鎖

分散式鎖就是悲觀鎖。如果不想用分散式鎖,對數據不上鎖,在表中加入列version,通過CAS版本號來控制併發寫
9、是否公平

首先解釋下公平鎖:公平鎖即是根據lock()的時間順序,先到先得,即FIFO,這個是常見的規則。

單機情況下非公平鎖的好處:公平鎖忽略了線程之間切換以及線程內核態和用戶態轉換的耗時,其實可以利用線程切換的間隙,讓其它正在被調度執行的線程插隊去獲取鎖,然後釋放鎖,還給等待線程。這樣不耽誤事的前提下,提高了鎖的性能。請自行去瞭解下非公平鎖。

言歸正傳,如果需要實現公平鎖,設計一張排隊表,讓lock()的線程首先在排隊表中排隊,當發現自身排在隊頭才有資格去真正獲取鎖。當然引入複雜性,必然會導致其它問題,兵來將擋,水來土掩。
10、獨享鎖/共用鎖

以上的分散式鎖,是定義的一把獨享鎖(獨占鎖、互斥鎖、排它鎖)。

ReentrantLock就是一種排它鎖。CountDownLatch是一種共用鎖。這兩類都是單純的一類,即,要麼是排它鎖,要麼是共用鎖。
ReentrantReadWriteLock是同時包含排它鎖和共用鎖特性的一種鎖,這裡主要以ReentrantReadWriteLock為例來進行分析學習。

如果要實現共用鎖,鎖類型+排隊表

 

 

e、結論

分散式鎖可以根據業務需要,量身定製。 

 

三、存在的問題

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1.本地倉庫和apache-mavenbin.zip的下載與解壓 <1.apache-mavenbin.zip下載網址 2.Maven環境變數配置 <1.MAVEN_HOME <2.PATH 3.環境搭建驗證 4自定義數據倉庫的位置(apache-maven.setting.xml)的配置 ...
  • Spring ioc 叫控制反轉,也就是把創建Bean的動作交給Spring去完成。 spring ioc 流程大致為 定位-> 載入->註冊 先說幾個比較有意思的點 1.Spring中的通過IOC生成的Bean是存放在ConcurrentHashMap中的 2.通過xml配置SpringBean時 ...
  • 一、python中如何創建類? 1. 直接定義類 2. 通過type對象創建 在python中一切都是對象 在上面這張圖中,A是我們平常在python中寫的類,它可以創建一個對象a。其實A這個類也是一個對象,它是type類的對象,可以說type類是用來創建類對象的類,我們平常寫的類都是type類創建 ...
  • 題意 "題目鏈接" 題目鏈接 一種做法是直接用歐拉降冪算出$2^p \pmod{p 1}$然後矩陣快速冪。 但是今天學習了一下二次剩餘,也可以用通項公式+二次剩餘做。 就是我們猜想$5$在這個模數下有二次剩餘,拉個板子發現真的有。 然求出來直接做就行了 cpp include define Pair ...
  • 前幾天工作忙得焦頭爛額時,同事問了一下關於Map的特性,剎那間懵了一下,緊接著就想起來了一些關於Map的一些知識,因為只要涉及到Collection集合類時,就會談及Map類,因此理解好Map相關的知識是灰常重要的。 Collection集合類 與 Map類的層次結構,如下圖: Map是用來存儲 K ...
  • Mybatis-持久層的框架,功能是非常強大的,對於移動互聯網的高併發 和 高性能是非常有利的,相對於Hibernate全自動的ORM框架,Mybatis簡單,易於學習,sql編寫在xml文件中,和代碼分離,易於維護,屬於半ORM框架,對於面向用戶層面的互聯網業務性能和併發,可以通過sql優化解決一 ...
  • 題目: 給定一個單鏈表 L​1​​→L​2​​→⋯→L​n−1​​→L​n​​,請編寫程式將鏈表重新排列為 L​n​​→L​1​​→L​n−1​​→L​2​​→⋯。例如:給定L為1→2→3→4→5→6,則輸出應該為6→1→5→2→4→3。 輸入格式: 每個輸入包含1個測試用例。每個測試用例第1行給出 ...
  • java方法返回值與參數 例: public void a(int c){ //void 說明此方法沒有返回值,括弧里的叫參數,有數據類型和變數名組成,在方法里叫做形式參數簡稱形參。 } public int a(){ //這裡說明返回值是int整型,4位元組。 //返回關鍵字是return retu ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...