延時任務-基於redis zset的完整實現

来源:https://www.cnblogs.com/zimug/archive/2022/08/23/16615879.html
-Advertisement-
Play Games

所謂的延時任務給大家舉個例子:你買了一張火車票,必須在30分鐘之內付款,否則該訂單被自動取消。訂單30分鐘不付款自動取消,這個任務就是一個延時任務。 我之前已經寫過2篇關於延時任務的文章: 《完整實現-通過DelayQueue實現延時任務》 《延時任務(二)-基於netty時間輪演算法實戰》 這兩種方 ...


所謂的延時任務給大家舉個例子:你買了一張火車票,必須在30分鐘之內付款,否則該訂單被自動取消。訂單30分鐘不付款自動取消,這個任務就是一個延時任務。 我之前已經寫過2篇關於延時任務的文章:

這兩種方法都有一個缺點:都是基於單體應用的記憶體的方式運行延時任務的,一旦出現單點故障,可能出現延時任務數據的丟失。所以此篇文章給大家介紹實現延時任務的第三種方式,結合redis zset實現延時任務,可以解決單點故障的問題。給出實現原理、完整實現代碼,以及這種實現方式的優缺點。

一、實現原理

首先來介紹一下實現原理,我們需要使用redis zset來實現延時任務的需求,所以我們需要知道zset的應用特性。zset作為redis的有序集合數據結構存在,排序的依據就是score。


所以我們可以利用zset score這個排序的這個特性,來實現延時任務

  • 在用戶下單的時候,同時生成延時任務放入redis,key是可以自定義的,比如:delaytask:order
  • value的值分成兩個部分,一個部分是score用於排序,一個部分是member,member的值我們設置為訂單對象(如:訂單編號),因為後續延時任務時效達成的時候,我們需要有一些必要的訂單信息(如:訂單編號),才能完成訂單自動取消關閉的動作。
  • 延時任務實現的重點來了,score我們設置為:訂單生成時間 + 延時時長。 這樣redis會對zset按照score延時時間進行排序。
  • 開啟redis掃描任務,獲取"當前時間 > score"的延時任務並執行。即: 當前時間 > 訂單生成時間 + 延時時長的時候 ,執行延時任務。

二、準備工作

使用 redis zset 這個方案來完成延時任務的需求,首先肯定是需要redis,這一點毫無疑問。redis的搭建網上有很多的文章,我這裡就不贅述了。

其次,筆者長期的java類應用系統開發都是使用SpringBoot來完成,所以也是習慣使用SpringBoot的redis集成方案。首先通過maven坐標引入spring-boot-starter-data-redis

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-pool2</artifactId>
</dependency>

其次需要在Spring Boot的application.yml配置文件中,配置redis資料庫的鏈接信息。我這裡配置的是redis的單例,如果大家的生產環境是哨兵模式、或者是集群模式的redis,這裡的配置方式需要進行微調。其實這部分內容在我的個人博客裡面都曾經系統的介紹過,感興趣的朋友可以關註我的個人博客。

spring:
  redis:
    database: 0 # Redis 資料庫索引(預設為 0)
    host: 192.168.161.3 # Redis 伺服器地址
    port: 6379 # Redis 伺服器連接埠
    password: 123456 # Redis 伺服器連接密碼(預設為空)
    timeout:  5000  # 連接超時,單位ms
    lettuce:
      pool:
        max-active: 8 # 連接池最大連接數(使用負值表示沒有限制) 預設 8
        max-wait: -1 # 連接池最大阻塞等待時間(使用負值表示沒有限制) 預設 -1
        max-idle: 8 # 連接池中的最大空閑連接 預設 8
        min-idle: 0 # 連接池中的最小空閑連接 預設 0

三、代碼實現

下麵的這個類就是延時任務的核心實現了,一共包含三個核心方法,我們來一一說明一下:

  • produce方法,用於生成訂單-order為訂單信息,可以是訂單流水號,用於延時任務達到時效後關閉訂單
  • afterPropertiesSet方法是InitializingBean介面的方法,之所以實現這個介面,是因為我們需要在應用啟動的時候開啟redis掃描任務。即:當OrderDelayService bean初始化的時候,開啟redis掃描任務迴圈獲取延時任務數據。
  • consuming函數,用於從redis獲取延時任務數據,消費延時任務,執行超時訂單關閉等操作。為了避免阻塞for迴圈,影響後面延時任務的執行,所以這個consuming函數一定要做成非同步的,參考Spring Boot非同步任務及Async註解的使用方法。我之前寫過一個SpringBoot的可觀測、易配置的非同步任務線程池開源項目,源代碼地址:https://gitee.com/hanxt/zimug-monitor-threadpool 。我的這個zimug-monitor-threadpool開源項目,可以做到對線程池使用情況的監控,我自己平時用的效果還不錯,向大家推薦一下!
@Component
public class OrderDelayService  implements InitializingBean {
  //redis zset key
  public static final String ORDER_DELAY_TASK_KEY = "delaytask:order";

  @Resource
  private StringRedisTemplate stringRedisTemplate;

  //生成訂單-order為訂單信息,可以是訂單流水號,用於延時任務達到時效後關閉訂單
  public void produce(String orderSerialNo){
    stringRedisTemplate.opsForZSet().add(
            ORDER_DELAY_TASK_KEY,     // redis key
            orderSerialNo,    // zset  member
            //30分鐘延時
            System.currentTimeMillis() + (30 * 60 * 1000)    //zset score
    );
  }

  //延時任務,也是非同步任務,延時任務達到時效之後關閉訂單,並將延時任務從redis zset刪除
  @Async("test")
  public void consuming(){
       
      Set<ZSetOperations.TypedTuple<String>> orderSerialNos = stringRedisTemplate.opsForZSet().rangeByScoreWithScores(
              ORDER_DELAY_TASK_KEY,
              0,  //延時任務score最小值
              System.currentTimeMillis() //延時任務score最大值(當前時間)
      );
      if (!CollectionUtils.isEmpty(orderSerialNos)) {
        for (ZSetOperations.TypedTuple<String> orderSerialNo : orderSerialNos) {
          //這裡根據orderSerialNo去檢查用戶是否完成了訂單支付
          //如果用戶沒有支付訂單,去執行訂單關閉的操作
          System.out.println("訂單" + orderSerialNo.getValue() + "超時被自動關閉");
          //訂單關閉之後,將訂單延時任務從隊列中刪除
          stringRedisTemplate.opsForZSet().remove(ORDER_DELAY_TASK_KEY, orderSerialNo.getValue());
        }
      }
  }

  //該類對象Bean實例化之後,就開啟while掃描任務
  @Override
  public void afterPropertiesSet() throws Exception {
    new Thread(() -> {  //開啟新的線程,否則SpringBoot應用初始化無法啟動
      while(true){
        try {
          Thread.sleep(5 * 1000);   //每5秒掃描一次redis庫獲取延時數據,不用太頻繁沒必要
        } catch (InterruptedException e) {
          e.printStackTrace();  //本文只是示例,生產環境請做好相關的異常處理
        }
        consuming();
      }
    }).start();
  }
}

更多的內容參考代碼中的註釋,需要關註的點是:

  • 上文中的rangeByScoreWithScores方法用於從redis中獲取延時任務,score大於0小於當前時間的所有延時任務,都將被從redis裡面取出來。每5秒執行一次,所以延時任務的誤差不會超過5秒。
  • 上文中的訂單信息,我只保留了訂單唯一流水號,用於關閉訂單。如果你的業務需要傳遞更多的訂單信息,請使用RedisTemplate操作訂單類對象,而不是StringRedisTemplate操作訂單流水號字元串。

訂單下單的時候,使用如下的方法,將訂單序列號放入redis zset中即可實現延時任務

orderDelayService.produce("這裡填寫訂單編號");

四、優缺點

使用redis zset來實現延時任務的優點是:相對於本文開頭介紹的兩種方法,我們的延時任務是保存在redis裡面的,redis具有數據持久化的機制,可以有效的避免延時任務數據的丟失。另外,redis還可以通過哨兵模式、集群模式有效的避免單點故障造成的服務中斷。
至於缺點嘛,我覺得沒什麼缺點。如果非要勉強的說一個缺點的話,那就是我們需要額外維護redis服務,增加了硬體資源的需求和運維成本。但是現在隨著微服務的興起,redis幾乎已經成了應用系統的標配,redis復用即可,所以我感覺這也算不上什麼缺點吧!

碼文不易,如果您覺得有幫助,請幫忙點擊在看或者分享,沒有您的支持我可能無法堅持下去!
歡迎關註我的公告號:字母哥雜談,回覆003贈送作者專欄《docker修煉之道》的PDF版本,30餘篇精品docker文章。字母哥博客:zimug.com


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Java集合07 14.HashMap底層機制 (k,v)是一個Node,實現了Map.Entry<K,V>,查看HashMap的源碼可以看到 jdk7.0 的HashMap底層實現[數組+鏈表],jdk8.0底層[數組+鏈表+紅黑樹] 14.1HashMap擴容機制(和HashSet完全相同) 詳 ...
  • 《 Python神經網路編程》PDF高清版免費下載地址 內容簡介 · · · · · · 本書首先從簡單的思路著手,詳細介紹了理解神經網路如何工作所必須的基礎知識。第一部分介紹基本的思路,包括神經網路底層的數學知識,第2部分是實踐,介紹了學習 Python 編程的流行和輕鬆的方法,從而逐漸使用該語言 ...
  • 眾所周知,通過唯一的鏈路id來追蹤一次請求的所有日誌,對於排查生產問題來說,會是非常給力的。這個比較容易實現。我之前的博客也有多次提及。那麼,如果涉及到非同步線程處理的話,我們知道,由於非同步線程與工作線程是兩個不同的線程,因此,這時的線程名會發生變化。一次請求的完整日誌就無法通過唯一的標識來過濾了。 ...
  • 前言 嗨嘍,大家好呀~這裡是愛看美女的茜茜吶 環境使用: Python 3.8 Pycharm [模塊使用]: requests >>> 數據請求模塊 parsel >>> 數據解析模塊 re 正則表達式 在CMD裡面進行安裝 輸入安裝命令 pip install 模塊名 思路基本流程: 一. 分析 ...
  • 因為get方式只是用於查詢,不需要和資料庫進行交互,同時一個get請求發送後,會在瀏覽器中留下緩存,下次訪問同一url的話,get請求為了節省時間和空間就會直接走緩存,更加方便快捷。 get請求不會對伺服器數據資源進行修改,而post請求會,所以很少對post請求緩存(因為get請求會被瀏覽器主動緩 ...
  • 《流暢的python》PDF高清版|百度雲盤|免費下載 內容簡介 · · · · · · 【技術大咖推薦】 “很榮幸擔任這本優秀圖書的技術審校。這本書能幫助很多中級Python程式員掌握這門語言,我也從中學到了相當多的知識!”——Alex Martelli,Python軟體基金會成員 “對於想要擴充 ...
  • 在學習Java高級之前的一些想說的話 1.將會學到什麼? IO流 線程 網路編程 XML解析 設計模式 當然,真正的JAVA高級對於每個人或者每個組織的定義可能都不太一樣,這裡所講的java高級內容指的是Java裡面比較深層次一些的基礎內容,一個是學習起來可能難理解一些(難理解不代表難以學會來用,意 ...
  • 1. CS架構 CS架構其實在我們身邊比比皆是,手機里的app大多都是CS架構,比如騰訊作為服務端為你提供視頻,你得下個騰訊視頻客戶端才能看它的視頻。 這裡的騰訊視頻是客服端client,騰訊也有一個自己的服務端server 這種自己開創一個客服端的方式叫做CS架構。 CS架構的好處是:可以自定義發 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...