怎麼處理消息重發的問題?

来源:https://www.cnblogs.com/wing011203/archive/2023/03/10/17202116.html
-Advertisement-
Play Games

這篇文章主要描述如何解決消息重發的問題,目前主流的消息隊列產品都採用了At least once的服務質量,這就導致了很難避免消息重發的情況,我們可以將消費者業務邏輯設計成冪等服務來解決消息重發問題。 ...


消息隊列在消息傳遞的過程中,如果出現傳遞失敗的情況,發送方會重試,在重試的過程中,可能會產生重覆的消息。

消息重覆的情況必然存在

關於傳遞消息時能夠提供的服務質量標準,MQTT協議給出了三種不同的標準:

  1. At most once:至多一次,消息在傳遞時,最多會被送達一次,一般適用於對消息可靠性要求不高的監控場景。
  2. At least once:至少一次,消息在傳遞時,至少會被送達一次,不允許丟消息,但是允許有少量重覆消息。
  3. Exactly once:恰好一次,消息在傳遞時,只會被送達一次,不允許丟失也不允許重覆。

我們常用的大部分消息隊列提供的服務質量都是At least once,包括RocketMQ、RabbitMQ和Kafka。所以說消息隊列很難保證消息不重覆。

怎麼解決消息重發的問題

既然消息隊列不可避免的會有消息重發的問題,那麼我們應該怎麼去解決呢?

一般解決重覆消息的辦法是在消費端,讓我們的消費消息的操作具有冪等性

一個冪等操作的特點是將其任意多次執行所產生的影響與一次執行的響應相同。一個冪等的方法, 使用同樣的參數,對它進行多次調用和一次調用,對系統產生的影響是樣的。所以我們不需要擔心針對冪等的方法執行多次會對系統造成任何改變。

從對系統的影響結果來看:At least once + 冪等消費 = Exactly once。

如何實現冪等操作呢?可以從業務邏輯設計上少,將消費的業務邏輯設計成具有冪等性的操作。

接下來,我們來看三種不同方式來實現冪等。

利用資料庫的唯一約束實現冪等

首先,我們可以限定,對於每個轉賬單每個賬戶只可以執行一次變更操作,在分散式系統中,這個限制實現的方法非常多,最簡單的是我們在資料庫中建一張轉賬流水錶,這個表有三個欄位:轉賬單 ID、賬戶 ID 和變更金額,然後給轉賬單 ID 和賬戶 ID 這兩個欄位聯合起來創建一個唯一約束,這樣對於相同的轉賬單 ID 和賬戶 ID,表裡至多只能存在一條記錄。

這樣,我們消費消息的邏輯可以變為:“在轉賬流水錶中增加一條轉賬記錄,然後再根據轉賬記錄,非同步操作更新用戶餘額即可。”在轉賬流水錶增加一條轉賬記錄這個操作中,由於我們在這個表中預先定義了“賬戶ID轉賬單ID”的唯一約束,對於同一個轉賬單同一個賬戶只能插入一條記錄,後續重覆的插入操作都會失敗,這樣就實現了一個冪等的操作。我們只要寫一個 SQL,正確地實現它就可以了。

只要是支持類似“INSERT IF NOT EXIST”語義的存儲類系統都可以用於實現冪等操作。

為更新的數據設置前置條件

這種方式的思路是:給數據變更設置一個前置條件,如果滿足條件就更新數據,否則就拒絕更新數據,在更新數據的同時,變更前置條件中需要判斷的數據。這樣在重覆執行這個操作時,由於第一次更新數據的時候已經變更了前置條件中需要判斷的依據,不滿足前置條件,則不會重覆執行數據更新操作。

如果我們更新的是一個複雜的業務相關數據,我們可以為數據增加一個版本號屬性,,每次更新之前,比較當前數據版本號是否和消息中的版本號一致,如果不一致就拒絕更新數據,更新數據的同時將版本號加1。

記錄並檢查操作

這種方式的思路是:在發送消息的時候,給每條消息指定一個全局唯一ID,消費時,先根據這個ID檢查這條消息是否有被消費過,如果沒有消費過,才更新數據,不然就將消費狀態置為已消費。

    作者:李潘     出處:http://wing011203.cnblogs.com/     本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 生活中存在同時使用兩個微信的情況,一個工作一個生活,這時希望同時在電腦上登錄兩個賬號。如何做到呢?步驟如下: 右鍵單擊“微信”圖標,選擇屬性,目標框內的路徑就是微信安裝路徑,複製目標框里的內容。 將如下命令複製到 TXT 文件保存,再將該文件重命名,主要是將尾碼名改成“.bat”文件。 @echo ...
  • 好家伙,本篇為做題思考 書接上文 題目如下: 1.請給出下列代碼的輸出結果,並配合"消息隊列"寫出相關解釋 async function foo() { console.log(2); console.log(await Promise.resolve(8)); console.log(9); } ...
  • 一般來說,項目由子模塊組成,拿到後端提供過來的介面,一般也是按照子模塊來分類提供的.請教一下各位,你們前端項目是如何管理api的? 希望各位貼點你們的優秀代碼段上來學習學習. 常見: 各個模塊的api存放到單獨的js文件里,返回一個請求實例promise對象 使用的時候根據需求引入相應的請求方法 / ...
  • 其他章節請看: webgl 系列 變換矩陣和動畫 動畫就是不停地將某個東西變換(transform)。例如將三角形不停地旋轉就是一個動畫 和 CSS transform 類似,變換有三種形式:平移、縮放和旋轉。 簡單的變換用普通表達式容易實現,如果事情複雜,比如旋轉後平移,這時就可以使用變換矩陣。 ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 網站效果演示:ashuai.work:8888/#/myLoad GitHub倉庫地址代碼:github.com/shuirongshu… 載入中思路分析 實現載入中效果,一般有兩種方式: 第一種是:搞一個load組件,然後使用Vue.e ...
  • <!-- * @description 表格組件 * @fileName TableList.vue * @authorQ * @date 2021/05/15 15:13:45 --> <template> <div class="table-container"> <el-table v-if= ...
  • 定義 使用原型實例指定創建對象的種類,並且通過拷貝這些原型創建新的對象。原型模式是一種對象創建型模式 百科。 通俗的說就是原型模式是一種創建型設計模式,指定某個對象(通過某種方式)得到一個新的對象,在記憶體中擁有新的地址,得到的對象與原對象是是相互獨立的,即得到跟原對象一樣的對象 當我們需要兩個一模一 ...
  • 前端中介者模式(Mediator Pattern),用於將對象之間的通信解耦並集中管理。它通過引入一個中介者對象,將對象之間的交互轉移到中介者對象中,從而避免對象之間直接相互通信。 在前端開發中,中介者模式常常被用於管理複雜的用戶界面或組件之間的交互,比如 GUI 組件、聊天室、游戲等等。通過引入一 ...
一周排行
    -Advertisement-
    Play Games
  • 1、預覽地址:http://139.155.137.144:9012 2、qq群:801913255 一、前言 隨著網路的發展,企業對於信息系統數據的保密工作愈發重視,不同身份、角色對於數據的訪問許可權都應該大相徑庭。 列如 1、不同登錄人員對一個數據列表的可見度是不一樣的,如數據列、數據行、數據按鈕 ...
  • 前言 上一篇文章寫瞭如何使用RabbitMQ做個簡單的發送郵件項目,然後評論也是比較多,也是準備去學習一下如何確保RabbitMQ的消息可靠性,但是由於時間原因,先來說說設計模式中的簡單工廠模式吧! 在瞭解簡單工廠模式之前,我們要知道C#是一款面向對象的高級程式語言。它有3大特性,封裝、繼承、多態。 ...
  • Nodify學習 一:介紹與使用 - 可樂_加冰 - 博客園 (cnblogs.com) Nodify學習 二:添加節點 - 可樂_加冰 - 博客園 (cnblogs.com) 介紹 Nodify是一個WPF基於節點的編輯器控制項,其中包含一系列節點、連接和連接器組件,旨在簡化構建基於節點的工具的過程 ...
  • 創建一個webapi項目做測試使用。 創建新控制器,搭建一個基礎框架,包括獲取當天日期、wiki的請求地址等 創建一個Http請求幫助類以及方法,用於獲取指定URL的信息 使用http請求訪問指定url,先運行一下,看看返回的內容。內容如圖右邊所示,實際上是一個Json數據。我們主要解析 大事記 部 ...
  • 最近在不少自媒體上看到有關.NET與C#的資訊與評價,感覺大家對.NET與C#還是不太瞭解,尤其是對2016年6月發佈的跨平臺.NET Core 1.0,更是知之甚少。在考慮一番之後,還是決定寫點東西總結一下,也回顧一下.NET的發展歷史。 首先,你沒看錯,.NET是跨平臺的,可以在Windows、 ...
  • Nodify學習 一:介紹與使用 - 可樂_加冰 - 博客園 (cnblogs.com) Nodify學習 二:添加節點 - 可樂_加冰 - 博客園 (cnblogs.com) 添加節點(nodes) 通過上一篇我們已經創建好了編輯器實例現在我們為編輯器添加一個節點 添加model和viewmode ...
  • 前言 資料庫併發,數據審計和軟刪除一直是數據持久化方面的經典問題。早些時候,這些工作需要手寫複雜的SQL或者通過存儲過程和觸發器實現。手寫複雜SQL對軟體可維護性構成了相當大的挑戰,隨著SQL字數的變多,用到的嵌套和複雜語法增加,可讀性和可維護性的難度是幾何級暴漲。因此如何在實現功能的同時控制這些S ...
  • 類型檢查和轉換:當你需要檢查對象是否為特定類型,並且希望在同一時間內將其轉換為那個類型時,模式匹配提供了一種更簡潔的方式來完成這一任務,避免了使用傳統的as和is操作符後還需要進行額外的null檢查。 複雜條件邏輯:在處理複雜的條件邏輯時,特別是涉及到多個條件和類型的情況下,使用模式匹配可以使代碼更 ...
  • 在日常開發中,我們經常需要和文件打交道,特別是桌面開發,有時候就會需要載入大批量的文件,而且可能還會存在部分文件缺失的情況,那麼如何才能快速的判斷文件是否存在呢?如果處理不當的,且文件數量比較多的時候,可能會造成卡頓等情況,進而影響程式的使用體驗。今天就以一個簡單的小例子,簡述兩種不同的判斷文件是否... ...
  • 前言 資料庫併發,數據審計和軟刪除一直是數據持久化方面的經典問題。早些時候,這些工作需要手寫複雜的SQL或者通過存儲過程和觸發器實現。手寫複雜SQL對軟體可維護性構成了相當大的挑戰,隨著SQL字數的變多,用到的嵌套和複雜語法增加,可讀性和可維護性的難度是幾何級暴漲。因此如何在實現功能的同時控制這些S ...