併發情況如何實現加鎖來保證數據一致性？

来源:https://www.cnblogs.com/Jcloud/archive/2023/12/05/17876895.html
-Advertisement-
Play Games

單體架構下鎖的實現方案 1. ReentrantLock全局鎖 ReentrantLock（可重入鎖），指的是一個線程再次對已持有的鎖保護的臨界資源時，重入請求將會成功。 簡單的與我們常用的Synchronized進行比較： ReentrantLock Synchronized 鎖實現機制 依賴AQ ...


單體架構下鎖的實現方案

1. ReentrantLock全局鎖

ReentrantLock（可重入鎖），指的是一個線程再次對已持有的鎖保護的臨界資源時，重入請求將會成功。

簡單的與我們常用的Synchronized進行比較：

ReentrantLock Synchronized
鎖實現機制 依賴AQS 監視器模式
靈活性 支持響應超時、中斷、嘗試獲取鎖 不靈活
釋放形式 必須顯示調用unlock()釋放鎖 自動釋放監視器
鎖類型 公平鎖 & 非公平鎖 非公平鎖
條件隊列 可關聯多個條件隊列 關聯一個條件隊列
可重入性 可重入 可重入

AQS機制：如果被請求的共用資源空閑，那麼就當前請求資源的線程設置為有效的工作線程，將共用資源通過CAScompareAndSetState設置為鎖定狀態；如果共用資源被占用，就採用一定的阻塞等待喚醒機制（CLH變體的FIFO雙端隊列）來保證鎖分配。

可重入性：無論是公平鎖還是非公平鎖的情況，加鎖過程會利用一個state值

private volatile int state
  • state值初始化的時候為0，表示沒有任何線程持有鎖
  • 當有線程來請求該鎖時，state值會自增1，同一個線程多次獲取鎖，就會多次+1，這就是可重入的概念
  • 解鎖也是對state值自減1，一直到0，此線程對鎖釋放。
public class LockExample {

    static int count = 0;
    static ReentrantLock lock = new ReentrantLock();

    public static void main(String[] args) throws InterruptedException {

        Runnable runnable = new Runnable() {
            @Override
            public void run() {

                try {
                    // 加鎖
                    lock.lock();
                    for (int i = 0; i < 10000; i++) {
                        count++;
                    }
                } catch (Exception e) {
                    e.printStackTrace();
                }
                finally {
                    // 解鎖，放在finally子句中，保證鎖的釋放
                    lock.unlock();
                }
            }
        };

        Thread thread1 = new Thread(runnable);
        Thread thread2 = new Thread(runnable);
        thread1.start();
        thread2.start();
        thread1.join();
        thread2.join();
        System.out.println("count: " + count);
    }
}

/**
 * 輸出
 * count: 20000
 */

2. Mysql行鎖、樂觀鎖

樂觀鎖即是無鎖思想，一般都是基於CAS思想實現的，而在MySQL中通過version版本號 + CAS無鎖形式實現樂觀鎖；例如T1，T2兩個事務一起併發執行時，當T2事務執行成功提交後，會對version+1，所以T1事務執行的version條件就無法成立了。

對sql語句進行加鎖以及狀態機的操作，也可以避免不同線程同時對count值訪問導致的數據不一致問題。

// 樂觀鎖 + 狀態機
update
    table_name
set
    version = version + 1,
    count = count + 1
where
    id = id AND version = version AND count = [修改前的count值];

// 行鎖 + 狀態機
 update
    table_name
set
    count = count + 1
where
    id = id AND count = [修改前的count值]
for update;

3. 細粒度的ReetrantLock鎖

如果我們直接採用ReentrantLock全局加鎖，那麼這種情況是一條線程獲取到鎖，整個程式全部的線程來到這裡都會阻塞；但是我們在項目裡面想要針對每個用戶在操作的時候實現互斥邏輯，所以我們需要更加細粒度的鎖。

public class LockExample {
    private static Map<String, Lock> lockMap = new ConcurrentHashMap<>();
    
    public static void lock(String userId) {
        // Map中添加細粒度的鎖資源
        lockMap.putIfAbsent(userId, new ReentrantLock());
        // 從容器中拿鎖並實現加鎖
        lockMap.get(userId).lock();
    }
    public static void unlock(String userId) {
        // 先從容器中拿鎖，確保鎖的存在
        Lock locak = lockMap.get(userId);
        // 釋放鎖
        lock.unlock();
    }
}

弊端：如果每一個用戶請求共用資源，就會加鎖一次，後續該用戶就沒有在登錄過平臺，但是鎖對象會一直存在於記憶體中，這等價於發生了記憶體泄漏，所以鎖的超時和淘汰機制機制需要實現。

4. 細粒度的Synchronized全局鎖

上面的加鎖機制使用到了鎖容器ConcurrentHashMap，該容易為了線程安全的情況，多以底層還是會用到Synchronized機制，所以有些情況，使用lockMap需要加上兩層鎖。

那麼我們是不是可以直接使用Synchronized來實現細粒度的鎖機制

public class LockExample {
    public static void syncFunc1(Long accountId) {
        String lock = new String(accountId + "").intern();

        synchronized (lock) {

            System.out.println(Thread.currentThread().getName() + "拿到鎖了");
            // 模擬業務耗時
            try {
                Thread.sleep(1000);
            } catch (InterruptedException e) {
                throw new RuntimeException(e);
            }

            System.out.println(Thread.currentThread().getName() + "釋放鎖了");
        }
    }

    public static void syncFunc2(Long accountId) {
        String lock = new String(accountId + "").intern();

        synchronized (lock) {

            System.out.println(Thread.currentThread().getName() + "拿到鎖了");
            // 模擬業務耗時
            try {
                Thread.sleep(1000);
            } catch (InterruptedException e) {
                throw new RuntimeException(e);
            }

            System.out.println(Thread.currentThread().getName() + "釋放鎖了");
        }
    }

    // 使用 Synchronized 來實現更加細粒度的鎖
    public static void main(String[] args) {
        new Thread(()-> syncFunc1(123456L), "Thread-1").start();
        new Thread(()-> syncFunc2(123456L), "Thread-2").start();
    }
}

/**
 * 列印
 * Thread-1拿到鎖了
 * Thread-1釋放鎖了
 * Thread-2拿到鎖了
 * Thread-2釋放鎖了
 */
  • 從代碼中我們發現實現加鎖的對象其實就是一個與用戶ID相關的一個字元串對象，這裡可能會有疑問，我每一個新的線程進來，new的都是一個新的字元串對象，只不過字元串內容一樣，怎麼能夠保證可以安全的鎖住共用資源呢；
  • 這其實需要歸功於後面的intern()函數的功能；
  • intern()函數用於在運行時將字元串添加到堆空間中的字元串常量池中，如果字元串已經存在，返回字元串常量池中的引用。

分散式架構下鎖的實現方案

核心問題：我們需要找到一個多個進程之間所有線程可見的區域來定義這個互斥量。

一個優秀的分散式鎖的實現方案應該滿足如下幾個特性：

  1. 分散式環境下，可以保證不同進程之間的線程互斥
  2. 同一時刻，同時只允許一條線程成功獲取到鎖資源
  3. 保證互斥量的地方需要保證高可用性
  4. 要保證可以高性能的獲取鎖和釋放鎖
  5. 可以支持同一線程的鎖重入性
  6. 具備合理的阻塞機制，競爭鎖失敗的線程要有相應的處理方案
  7. 支持非阻塞式的獲取鎖。獲取鎖失敗的線程可以直接返回
  8. 具備合理的鎖失效機制，如超時失效等，可以確保避免死鎖情況出現

Redis實現分散式鎖

  • redis屬於中間件，可獨立部署；
  • 對於不同的Java進程來說都是可見的，同時性能也非常可觀
  • 依賴與redis本身提供的指令setnx key value來實現分散式鎖；區別於普通set指令的是只有當key不存在時才會設置成功，key存在時會返回設置失敗

代碼實例：

// 扣庫存介面
@RequestMapping("/minusInventory")
public String minusInventory(Inventory inventory) {
    // 獲取鎖
    String lockKey = "lock-" + inventory.getInventoryId();
    int timeOut = 100;
    Boolean flag = stringRedisTemplate.opsForValue()
            .setIfAbsent(lockKey, "竹子-熊貓",timeOut,TimeUnit.SECONDS);
    // 加上過期時間，可以保證死鎖也會在一定時間內釋放鎖
    stringRedisTemplate.expire(lockKey,timeOut,TimeUnit.SECONDS);
    
    if(!flag){
        // 非阻塞式實現
        return "伺服器繁忙...請稍後重試！！！";
    }
    
    // ----只有獲取鎖成功才能執行下述的減庫存業務----        
    try{
        // 查詢庫存信息
        Inventory inventoryResult =
            inventoryService.selectByPrimaryKey(inventory.getInventoryId());
        
        if (inventoryResult.getShopCount() <= 0) {
            return "庫存不足，請聯繫賣家....";
        }
        
        // 扣減庫存
        inventoryResult.setShopCount(inventoryResult.getShopCount() - 1);
        int n = inventoryService.updateByPrimaryKeySelective(inventoryResult);
    } catch (Exception e) { // 確保業務出現異常也可以釋放鎖，避免死鎖
        // 釋放鎖
        stringRedisTemplate.delete(lockKey);
    }
    
    if (n > 0)
        return "埠-" + port + ",庫存扣減成功！！！";
    return "埠-" + port + ",庫存扣減失敗！！！";
}

作者：竹子愛熊貓
鏈接：https://juejin.cn/post/7038473714970656775

過期時間的合理性分析：

因為對於不同的業務，我們設置的過期時間的長短都會不一樣，太長了不合適，太短了也不合適；

所以我們想到的解決方案是設置一條子線程，給當前鎖資源續命。具體實現是，子線程間隔2-3s去查詢一次key是否過期，如果還沒有過期則代表業務線程還在執行業務，那麼則為該key的過期時間加上5s。

但是為了避免主線程意外死亡後，子線程會一直為其續命，造成“長生鎖”的現象，所以將子線程變為主（業務）線程的守護線程，這樣子線程就會跟著主線程一起死亡。

// 續命子線程
public class GuardThread extends Thread { 
    private static boolean flag = true;

    public GuardThread(String lockKey, 
        int timeOut, StringRedisTemplate stringRedisTemplate){
        ……
    }

    @Override
    public void run() {
        // 開啟迴圈續命
        while (flag){
            try {
                // 先休眠一半的時間
                Thread.sleep(timeOut / 2 * 1000);
            }catch (Exception e){
                e.printStackTrace();
            }
            // 時間過了一半之後再去續命
            // 先查看key是否過期
            Long expire = stringRedisTemplate.getExpire(
                lockKey, TimeUnit.SECONDS);
            // 如果過期了，代表主線程釋放了鎖
            if (expire <= 0){
                // 停止迴圈
                flag = false;
            }
            // 如果還未過期
            // 再為則續命一半的時間
            stringRedisTemplate.expire(lockKey,expire
                + timeOut/2,TimeUnit.SECONDS);
        }
    }
}


// 創建子線程為鎖續命
GuardThread guardThread = new GuardThread(lockKey,timeOut,stringRedisTemplate);
// 設置為當前 業務線程 的守護線程
guardThread.setDaemon(true);
guardThread.start();

作者：竹子愛熊貓 
鏈接：https://juejin.cn/post/7038473714970656775

Redis主從架構下鎖失效的問題

為了在開發過程保證Redis的高可用，會採用主從複製架構做讀寫分離，從而提升Redis的吞吐量以及可用性。但是如果一條線程在redis主節點上獲取鎖成功之後，主節點還沒有來得及複製給從節點就宕機了，此時另一條線程訪問redis就會在從節點上面訪問，同時也獲取鎖成功，這時候臨界資源的訪問就會出現安全性問題了。

解決辦法：

  • 紅鎖演算法（官方提出的解決方案）：多台獨立的Redis同時寫入數據，在鎖失效時間之內，一半以上的機器寫成功則返回獲取鎖成功，失敗的時候釋放掉那些成功的機器上的鎖。但這種做法缺點是成本高需要獨立部署多台Redis節點。
  • 額外記錄鎖狀態：再額外通過其他獨立部署的中間件（比如DB）來記錄鎖狀態，在新線程獲取鎖之前需要先查詢DB中的鎖持有記錄，只要當鎖狀態為未持有時再嘗試獲取分散式鎖。但是這種情況缺點顯而易見，獲取鎖的過程實現難度複雜，性能開銷也非常大；另外還需要配合定時器功能更新DB中的鎖狀態，保證鎖的合理失效機制。
  • 使用Zookepper實現

Zookeeper實現分散式鎖

Zookeeper數據區別於redis的數據，數據是實時同步的，主節點寫入後需要一半以上的節點都寫入才會返回成功。所以如果像電商、教育等類型的項目追求高性能，可以放棄一定的穩定性，推薦使用redis實現；例如像金融、銀行、政府等類型的項目，追求高穩定性，可以犧牲一部分性能，推薦使用Zookeeper實現。

分散式鎖性能優化

上面加鎖確實解決了併發情況下線程安全的問題，但是我們面對100w個用戶同時去搶購1000個商品的場景該如何解決呢？

  • 可與將共用資源做一下提前預熱，分段分散存儲一份。搶購時間為下午15：00，提前再14：30左右將商品數量分成10份，並將每一塊數據進行分別加鎖，來防止併發異常。
  • 另外也需要在redis中寫入10個key，每一個新的線程進來先隨機的分配一把鎖，然後進行後面的減庫存邏輯，完成之後釋放鎖，以便之後的線程使用。
  • 這種分散式鎖的思想就是，將原先一把鎖就可以實現的多線程同步訪問共用資源的功能，為了提高瞬時情況下多線程的訪問速度，還需要保證併發安全的情況下一種實現方式。

參考文章：

  1. https://juejin.cn/post/7236213437800890423

  2. https://juejin.cn/post/7038473714970656775

  3. https://tech.meituan.com/2019/12/05/aqs-theory-and-apply.html

作者：京東科技 焦澤斌

來源：京東雲開發者社區 轉載請註明來源


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 【資料庫概論】第五章 資料庫完整性
    資料庫完整性包括正確性和相容性，DBMS通過提供約束條件機制、檢查方法和違約處理功能維護資料庫完整性，其中實體完整性通過主鍵確保唯一標識，參照實體性通過外鍵關聯，用戶定義完整性滿足特定應用需求，而觸發器和斷言提供事件驅動和複雜約束支持，共同構成資料庫保持一致性的關鍵機制。 ...
  • 【資料庫概論】第三章 SQL簡述、數據定義和索引
    SQL（結構化查詢語言）的演變從IBM的SystemR開始，經過ANSI的標準化，近年來SQL標準變得更加豐富和複雜。SQL的特點包括綜合統一、高度非過程化、面向集合的操作方式以及提供多種使用方式的統一語法結構。在資料庫實例中，基本表獨立存在，而視圖是基本表導出的虛表，用於供人查看。資料庫模式結構包... ...
  • SQL ALTER TABLE 語句- 靈活修改表結構和數據類型
    SQL ALTER TABLE 語句 SQL ALTER TABLE 語句用於在現有表中添加、刪除或修改列，也可用於添加和刪除各種約束。 ALTER TABLE - 添加列 要在表中添加列，請使用以下語法： ALTER TABLE 表名 ADD 列名 數據類型; 以下 SQL 向 "Customer ...
  • 細說SQL與ETL之間的小秘密
    本文分享自華為雲社區《GaussDB資料庫SQL系列-SQL與ETL淺談》，作者：Gauss松鼠會小助手2。 一、前言 在SQL語言中，ETL（抽取、轉換和載入）是一種用於將數據從源系統抽取到目標系統的過程。ETL過程通常包括三個階段：抽取（Extract）、轉換（Transform）和載入（Loa ...
  • 數據資產入表在即，企業如何把握機遇，進行數據資產管理？
    數據作為新時代重要的生產要素之一，數據資產化的相關工作正在提速。自今年10月1日起，中國資產評估協會制定的《數據資產評估指導意見》正式施行。同時，《企業數據資源相關會計處理暫行規定》近期轉為正式稿，也將於明年1月1日起施行。 《暫行規定》規定：企業使用的數據資源，符合《企業會計準則第6號——無形資產 ...
  • 掃盲Kafka？看這一篇就夠了！
    解耦、削峰：傳統的方式上游發送數據下游需要實時接收，如果上游在某些業務場景：例如上午十點會流量激增至頂峰，那麼下游資源可能會扛不住壓力。但如果使用消息隊列，就可以將消息暫存在消息管道中，下游可以按照自己的速度逐步處理； ...
  • 聊聊大數據框架的數據更新解決方案: COW, MOR, MOW
    大數據框架下，常用的數據更新策略有三種: COW: copy-on-write, 寫時複製; MOR: merge-on-read, 讀時合併; MOW: merge-on-write, 寫時合併; hudi等數據湖倉框架，常用的是前兩種實現數據更新。而Doris則主要用後兩種更新數據。 COW 在 ...
  • 【資料庫概論】第二章 關係型資料庫
    資料庫關係模型是數據組織的核心，以關係為基礎，表達實體和實體關係。關係模型通過域、笛卡爾積、關係模式構建二維表，形成資料庫。完整性約束確保數據有效性，實體完整性、參照完整性和用戶定義完整性保證數據質量。關係操作包括基本操作和數據語言，而關係代數提供了強大的查詢手段。資料庫關係模型為信息管理提供了結構... ...
一周排行
    -Advertisement-
    Play Games
  • （開源）都進來！簡單易懂、功能強大的許可權+可視化流程管理系統
    1、預覽地址：http://139.155.137.144:9012 2、qq群:801913255 一、前言 隨著網路的發展，企業對於信息系統數據的保密工作愈發重視，不同身份、角色對於數據的訪問許可權都應該大相徑庭。 列如 1、不同登錄人員對一個數據列表的可見度是不一樣的，如數據列、數據行、數據按鈕 ...
  • 設計模式-C#實現簡單工廠模式
    前言 上一篇文章寫瞭如何使用RabbitMQ做個簡單的發送郵件項目，然後評論也是比較多，也是準備去學習一下如何確保RabbitMQ的消息可靠性，但是由於時間原因，先來說說設計模式中的簡單工廠模式吧！ 在瞭解簡單工廠模式之前，我們要知道C#是一款面向對象的高級程式語言。它有3大特性，封裝、繼承、多態。 ...
  • Nodify學習 一：介紹與使用
    Nodify學習 一：介紹與使用 - 可樂_加冰 - 博客園 (cnblogs.com) Nodify學習 二：添加節點 - 可樂_加冰 - 博客園 (cnblogs.com) 介紹 Nodify是一個WPF基於節點的編輯器控制項，其中包含一系列節點、連接和連接器組件，旨在簡化構建基於節點的工具的過程 ...
  • 使用C#/.NET解析Wiki百科數據實現獲取歷史上的今天
    創建一個webapi項目做測試使用。 創建新控制器，搭建一個基礎框架，包括獲取當天日期、wiki的請求地址等 創建一個Http請求幫助類以及方法，用於獲取指定URL的信息 使用http請求訪問指定url，先運行一下，看看返回的內容。內容如圖右邊所示，實際上是一個Json數據。我們主要解析 大事記 部 ...
  • .NET科普：.NET簡史、.NET Standard以及C#和.NET Framework之間的關係
    最近在不少自媒體上看到有關.NET與C#的資訊與評價，感覺大家對.NET與C#還是不太瞭解，尤其是對2016年6月發佈的跨平臺.NET Core 1.0，更是知之甚少。在考慮一番之後，還是決定寫點東西總結一下，也回顧一下.NET的發展歷史。 首先，你沒看錯，.NET是跨平臺的，可以在Windows、 ...
  • Nodify學習 二：添加節點
    Nodify學習 一：介紹與使用 - 可樂_加冰 - 博客園 (cnblogs.com) Nodify學習 二：添加節點 - 可樂_加冰 - 博客園 (cnblogs.com) 添加節點（nodes） 通過上一篇我們已經創建好了編輯器實例現在我們為編輯器添加一個節點 添加model和viewmode ...
  • 論如何直接用EF Core實現創建更新時間、用戶審計，自動化樂觀併發、軟刪除和樹形查詢（上）
    前言 資料庫併發，數據審計和軟刪除一直是數據持久化方面的經典問題。早些時候，這些工作需要手寫複雜的SQL或者通過存儲過程和觸發器實現。手寫複雜SQL對軟體可維護性構成了相當大的挑戰，隨著SQL字數的變多，用到的嵌套和複雜語法增加，可讀性和可維護性的難度是幾何級暴漲。因此如何在實現功能的同時控制這些S ...
  • C# 使用模式匹配的好處,因為好用所以推薦~
    類型檢查和轉換：當你需要檢查對象是否為特定類型，並且希望在同一時間內將其轉換為那個類型時，模式匹配提供了一種更簡潔的方式來完成這一任務，避免了使用傳統的as和is操作符後還需要進行額外的null檢查。 複雜條件邏輯：在處理複雜的條件邏輯時，特別是涉及到多個條件和類型的情況下，使用模式匹配可以使代碼更 ...
  • 推薦一種批量判斷文件是否存在的快速辦法
    在日常開發中，我們經常需要和文件打交道，特別是桌面開發，有時候就會需要載入大批量的文件，而且可能還會存在部分文件缺失的情況，那麼如何才能快速的判斷文件是否存在呢？如果處理不當的，且文件數量比較多的時候，可能會造成卡頓等情況，進而影響程式的使用體驗。今天就以一個簡單的小例子，簡述兩種不同的判斷文件是否... ...
  • 論如何直接用EF Core實現創建更新時間、用戶審計，自動化樂觀併發、軟刪除和樹形查詢（中）
    前言 資料庫併發，數據審計和軟刪除一直是數據持久化方面的經典問題。早些時候，這些工作需要手寫複雜的SQL或者通過存儲過程和觸發器實現。手寫複雜SQL對軟體可維護性構成了相當大的挑戰，隨著SQL字數的變多，用到的嵌套和複雜語法增加，可讀性和可維護性的難度是幾何級暴漲。因此如何在實現功能的同時控制這些S ...
所有分類