基於緩存或zookeeper的分散式鎖實現

来源:https://www.cnblogs.com/jmcui/archive/2019/07/14/11186224.html
-Advertisement-
Play Games

緩存鎖  我們常常將緩存作為分散式鎖的解決方案,但是卻不能單純的判斷某個 key 是否存在 來作為鎖的獲得依據,因為無論是 exists 和 get 命名都不是線程安全的,都無法保證只有一個線程可以獲得鎖,存線上程爭搶,可能會有多個線程同時拿到鎖的情況(經典的 Redis “讀後寫”的問題 ...


緩存鎖

 我們常常將緩存作為分散式鎖的解決方案,但是卻不能單純的判斷某個 key 是否存在 來作為鎖的獲得依據,因為無論是 exists 和 get 命名都不是線程安全的,都無法保證只有一個線程可以獲得鎖,存線上程爭搶,可能會有多個線程同時拿到鎖的情況(經典的 Redis “讀後寫”的問題)。

incr 緩存鎖

@Component
public class LockClient {

    private StringRedisTemplate stringRedisTemplate;

    private ValueOperations<String, String> valueOperations;

    @Autowired
    public void setStringRedisTemplate(StringRedisTemplate stringRedisTemplate) {
        this.stringRedisTemplate = stringRedisTemplate;
        this.valueOperations = stringRedisTemplate.opsForValue();
    }

    public void lockIncr() {
        Long lockIncr = valueOperations.increment("lockIncr", 1);
        // 說明拿到了鎖
        if (lockIncr == 1) {
            // 業務操作
        }
    }
}    
  1. incr:遞增指定鍵對應的數值,如果不存在 key 對應的值,那麼會先將 key 的值設置為 0,然後執行 incr 操作,返回遞增的值。
  2. 這種鎖的實現原理主要是利用 incr 命令的原子性,同一時間只會有一個線程操作這個命令。
  3. 這種鎖的實現方式,不在乎結果數據。保證只有唯一線程能夠執行到業務代碼。

setnx 緩存鎖

 上面的鎖實現方式,我們對資源做了隔離,保證只有唯一線程可以拿到資源並執行操作。但是如果資源並不是唯一線程執行的呢?存在多個線程爭搶的情況下呢?

    public void lockSetnx() {
        String lock = "lockSetnx";
        long millis = System.currentTimeMillis();
        long timeout = millis + 3000L + 1;
        try {
            while (true) {
                boolean setnx = valueOperations.setIfAbsent(lock, timeout + "");
                if (setnx == true) {
                    break;
                }
                String oldTimeout = valueOperations.get(lock);
                // 這一步是為瞭解決客戶端異常宕機,鎖沒有被正常釋放的時候。
                // 當 p1、p2 同時執行到這裡,發現鎖的時間過期了。p1、p2 同時執行 getSet 命令。
                // 假設 p1 先執行成功了,那麼 p1 得到的值就是原來鎖的過期時間(可以符合下麵的判斷式),表示爭搶鎖成功。
                // 假設 p2 後執行成功了,那麼 p2 得到的值就是 p1 set 進去的值(不會符合下麵的表達式),表示爭搶鎖失敗。
                String oldValue = valueOperations.getAndSet(lock, timeout + "");
                if (millis > Long.valueOf(oldTimeout) && millis > Long.valueOf(oldValue)) {
                    break;
                }
                // 休眠 100 毫秒,再去爭搶鎖
                Thread.sleep(100);
            }

            // 執行業務代碼
        } catch (InterruptedException e) {
            e.printStackTrace();
        } finally {
            if (millis < timeout) {
                stringRedisTemplate.delete(lock);
            }
        }

    }
  1. setnx:只有第一個線程會執行成功,返回 true,其餘線程執行失敗,返回 false。
  2. getSet:返回 key 中的舊值,並把新的值 set 進去。
  3. 細細看來,好像似乎 setnx 命令就能夠實現分散式鎖了,為什麼還要 getSet 命名呢?getSet 命令是為瞭解決客戶端異常宕機,鎖沒有被正常釋放的情況下,結合過期時間來保證線程安全。可以看看官網的介紹,有詳細解釋這個問題。

zookeeper 鎖

zookeeper,天生的分散式協調工具,生來就是為瞭解決各種分散式的難題,比如分散式鎖、分散式計數器、分散式隊列等等。

zookeeper 分散式鎖,如果自己實現的話,大抵的實現方式如下:

公平鎖:

  • 在 zookeeper 的指定節點(locks)下創建臨時順序節點 node_n ;
  • 獲取 locks 下麵的所有子節點 children。
  • 對子節點按節點自增序號從小到大排序。
  • 判斷本節點是不是第一個子節點,如果是,則獲取到鎖。如果不是,則監聽比該節點小的那個節點的刪除事件。
  • 若監聽事件生效,則回到第二步重新判斷,直到獲取到鎖。

不公平鎖

  • 在 zookeeper 的某個節點(lock)上創建臨時節點 znode。
  • 創建成功,就表示獲取到了這個鎖;其他客戶端來創建鎖會失敗,只能註冊對這個鎖的監聽。
  • 其他客戶端監聽到這個鎖被釋放(znode節點被刪除),就會嘗試加鎖(創建節點),繼續執行第二步。

幸運的是,zookeeper recipes 客戶端為我們提供了多種分散式鎖實現:

  • InterProcessMutex(可重入排他鎖)
  • InterProcessSemaphoreMutex(不可重入排他鎖)
  • InterProcessReadWriteLock(分散式讀寫鎖)
  • InterProcessSemaphore(共用信號量 —— 設置最大並行數量)

zookeeper recipes 鎖的簡單使用:

        <dependency>
            <groupId>org.apache.zookeeper</groupId>
            <artifactId>zookeeper</artifactId>
            <version>3.4.14</version>
        </dependency>
        <dependency>
            <groupId>org.apache.curator</groupId>
            <artifactId>curator-framework</artifactId>
            <version>4.0.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.curator</groupId>
            <artifactId>curator-recipes</artifactId>
            <version>4.0.1</version>
        </dependency>
    public InterProcessMutex interProcessMutex(String lockPath) {
        CuratorFramework client = CuratorFrameworkFactory.newClient(zookeeper, new ExponentialBackoffRetry(1000, 3));
        // 啟用命名空間,做微服務間隔離
        client.usingNamespace(namespace);
        client.start();
        return new InterProcessMutex(client, lockPath);
    }
    public void lockUse() {
        InterProcessMutex interProcessMutex = interProcessMutex("/lockpath");
        try {
            // 獲取鎖
            if (interProcessMutex.acquire(100, TimeUnit.MILLISECONDS)) {
                // 執行業務代碼
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            // 釋放鎖
            try {
                interProcessMutex.release();
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }

比較

  • 緩存分散式鎖,必須採用輪詢的方式去嘗試加鎖,對性能浪費很大;zookeeper 分散式鎖,可以通過監聽的方式等待通知或超時,當有鎖釋放,通知使用者即可。
  • 如果緩存獲取鎖的那個客戶端宕機了,鎖不會被釋放,只能通過其它方式解決(上面的 getSet 判斷);而 zookeeper 的話,因為創建的是臨時 znode,只要客戶端掛了,znode 就沒了,此時就自動釋放鎖。

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、標識符 1.標識符定義:在java源程式中凡是可以自己命名的單詞 2.標識符可以標識什麼元素? (1)類名(2)方法名(3)變數名(4)介面名(5)常量名 等等 3.標識符的命名要求 (1)一個合法的標識符只能由“數字、字母、下劃線、美元符號”來組成,不能含有其他符號。 (2)不能數字開頭 (3 ...
  • 一、Shiro簡介 1、基礎概念 Apache Shiro是一個強大且易用的Java安全框架,執行身份驗證、授權、密碼和會話管理。作為一款安全框架Shiro的設計相當巧妙。Shiro的應用不依賴任何容器,它不僅可以在JavaEE下使用,還可以應用在JavaSE環境中。 2、核心角色 1)Subjec ...
  • 總結理解的模板方法設計模式及抽象類 (菜鳥一隻,若有什麼侵權或者不足之處,請指出,謝謝) 模板方法設計模式: 在父類中定義一個總體的演算法骨架,而將一些具體的實現步驟放在到子類中,因為不同的子類實現細節不同 模板方法使得子類可以在不改變演算法框架的情況下,只需要重新定義演算法的某些實現步驟(藉助於抽象類實 ...
  • 1.JWT簡介 JSON Web Token(縮寫 JWT),是目前最流行的跨域認證解決方案。 2.JWT的原理 JWT的原理是,伺服器認證以後,生成一個JSON格式的對象,發回給客戶端,就像下麵這樣. 以後,客戶端與服務端通信的時候,都要發回這個 JSON 對象。伺服器完全只靠這個對象認定用戶身份 ...
  • 本篇基於centos7伺服器進行部署開發 代碼地址:https://github.com/chukaihong/docker-compose.喜歡的點個start 一.拉取redis鏡像,使用如下命令 1.查看鏡像是否拉取成功,使用如下命令 顯示如下則證明拉取成功 二.編寫docker-compos ...
  • 新聞 "FableConf門票開始販售" "Bolero的HTML模板支持熱載入" "Bolero從v0.4到v0.5的升級指南" "完整的SAFE Chat遷移至了Fable 2" "為純函數式3D圖形生成領域專用語言" "使用Roslyn分析器更快捷地寫出更好的代碼" 視頻及幻燈片 "介紹用F ...
  • 聲明引用的同時必須對其初始化,否則系統會報錯,所以我們是無法這樣使用 vector<int &> vec; 這條語句會報錯,同時引用不是定義一個新的變數或對象,因此記憶體不會為引用開闢新的空間存儲這個引用 而vector將無法開闢存儲空間。 參考博客: https://www.cnblogs.com/ ...
  • 使用Mybatis完成的CRUD操作 個人總結的一些小規律 學習過程中碰到的錯誤: 雖然報錯信息提示的 很明顯是sql語法報錯,不過我一時之間沒有沒有看出sql語句錯在哪裡,後來才發現是插入sql語句的括弧寫錯了,不是小括弧,而是大括弧 JavaBean類 dao層 配置文件 測試類 typeAli ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...