怎麼處理消息重發的問題?

来源:https://www.cnblogs.com/wing011203/archive/2023/03/10/17202116.html
-Advertisement-
Play Games

這篇文章主要描述如何解決消息重發的問題,目前主流的消息隊列產品都採用了At least once的服務質量,這就導致了很難避免消息重發的情況,我們可以將消費者業務邏輯設計成冪等服務來解決消息重發問題。 ...


消息隊列在消息傳遞的過程中,如果出現傳遞失敗的情況,發送方會重試,在重試的過程中,可能會產生重覆的消息。

消息重覆的情況必然存在

關於傳遞消息時能夠提供的服務質量標準,MQTT協議給出了三種不同的標準:

  1. At most once:至多一次,消息在傳遞時,最多會被送達一次,一般適用於對消息可靠性要求不高的監控場景。
  2. At least once:至少一次,消息在傳遞時,至少會被送達一次,不允許丟消息,但是允許有少量重覆消息。
  3. Exactly once:恰好一次,消息在傳遞時,只會被送達一次,不允許丟失也不允許重覆。

我們常用的大部分消息隊列提供的服務質量都是At least once,包括RocketMQ、RabbitMQ和Kafka。所以說消息隊列很難保證消息不重覆。

怎麼解決消息重發的問題

既然消息隊列不可避免的會有消息重發的問題,那麼我們應該怎麼去解決呢?

一般解決重覆消息的辦法是在消費端,讓我們的消費消息的操作具有冪等性

一個冪等操作的特點是將其任意多次執行所產生的影響與一次執行的響應相同。一個冪等的方法, 使用同樣的參數,對它進行多次調用和一次調用,對系統產生的影響是樣的。所以我們不需要擔心針對冪等的方法執行多次會對系統造成任何改變。

從對系統的影響結果來看:At least once + 冪等消費 = Exactly once。

如何實現冪等操作呢?可以從業務邏輯設計上少,將消費的業務邏輯設計成具有冪等性的操作。

接下來,我們來看三種不同方式來實現冪等。

利用資料庫的唯一約束實現冪等

首先,我們可以限定,對於每個轉賬單每個賬戶只可以執行一次變更操作,在分散式系統中,這個限制實現的方法非常多,最簡單的是我們在資料庫中建一張轉賬流水錶,這個表有三個欄位:轉賬單 ID、賬戶 ID 和變更金額,然後給轉賬單 ID 和賬戶 ID 這兩個欄位聯合起來創建一個唯一約束,這樣對於相同的轉賬單 ID 和賬戶 ID,表裡至多只能存在一條記錄。

這樣,我們消費消息的邏輯可以變為:“在轉賬流水錶中增加一條轉賬記錄,然後再根據轉賬記錄,非同步操作更新用戶餘額即可。”在轉賬流水錶增加一條轉賬記錄這個操作中,由於我們在這個表中預先定義了“賬戶ID轉賬單ID”的唯一約束,對於同一個轉賬單同一個賬戶只能插入一條記錄,後續重覆的插入操作都會失敗,這樣就實現了一個冪等的操作。我們只要寫一個 SQL,正確地實現它就可以了。

只要是支持類似“INSERT IF NOT EXIST”語義的存儲類系統都可以用於實現冪等操作。

為更新的數據設置前置條件

這種方式的思路是:給數據變更設置一個前置條件,如果滿足條件就更新數據,否則就拒絕更新數據,在更新數據的同時,變更前置條件中需要判斷的數據。這樣在重覆執行這個操作時,由於第一次更新數據的時候已經變更了前置條件中需要判斷的依據,不滿足前置條件,則不會重覆執行數據更新操作。

如果我們更新的是一個複雜的業務相關數據,我們可以為數據增加一個版本號屬性,,每次更新之前,比較當前數據版本號是否和消息中的版本號一致,如果不一致就拒絕更新數據,更新數據的同時將版本號加1。

記錄並檢查操作

這種方式的思路是:在發送消息的時候,給每條消息指定一個全局唯一ID,消費時,先根據這個ID檢查這條消息是否有被消費過,如果沒有消費過,才更新數據,不然就將消費狀態置為已消費。

    作者:李潘     出處:http://wing011203.cnblogs.com/     本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 生活中存在同時使用兩個微信的情況,一個工作一個生活,這時希望同時在電腦上登錄兩個賬號。如何做到呢?步驟如下: 右鍵單擊“微信”圖標,選擇屬性,目標框內的路徑就是微信安裝路徑,複製目標框里的內容。 將如下命令複製到 TXT 文件保存,再將該文件重命名,主要是將尾碼名改成“.bat”文件。 @echo ...
  • 好家伙,本篇為做題思考 書接上文 題目如下: 1.請給出下列代碼的輸出結果,並配合"消息隊列"寫出相關解釋 async function foo() { console.log(2); console.log(await Promise.resolve(8)); console.log(9); } ...
  • 一般來說,項目由子模塊組成,拿到後端提供過來的介面,一般也是按照子模塊來分類提供的.請教一下各位,你們前端項目是如何管理api的? 希望各位貼點你們的優秀代碼段上來學習學習. 常見: 各個模塊的api存放到單獨的js文件里,返回一個請求實例promise對象 使用的時候根據需求引入相應的請求方法 / ...
  • 其他章節請看: webgl 系列 變換矩陣和動畫 動畫就是不停地將某個東西變換(transform)。例如將三角形不停地旋轉就是一個動畫 和 CSS transform 類似,變換有三種形式:平移、縮放和旋轉。 簡單的變換用普通表達式容易實現,如果事情複雜,比如旋轉後平移,這時就可以使用變換矩陣。 ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 網站效果演示:ashuai.work:8888/#/myLoad GitHub倉庫地址代碼:github.com/shuirongshu… 載入中思路分析 實現載入中效果,一般有兩種方式: 第一種是:搞一個load組件,然後使用Vue.e ...
  • <!-- * @description 表格組件 * @fileName TableList.vue * @authorQ * @date 2021/05/15 15:13:45 --> <template> <div class="table-container"> <el-table v-if= ...
  • 定義 使用原型實例指定創建對象的種類,並且通過拷貝這些原型創建新的對象。原型模式是一種對象創建型模式 百科。 通俗的說就是原型模式是一種創建型設計模式,指定某個對象(通過某種方式)得到一個新的對象,在記憶體中擁有新的地址,得到的對象與原對象是是相互獨立的,即得到跟原對象一樣的對象 當我們需要兩個一模一 ...
  • 前端中介者模式(Mediator Pattern),用於將對象之間的通信解耦並集中管理。它通過引入一個中介者對象,將對象之間的交互轉移到中介者對象中,從而避免對象之間直接相互通信。 在前端開發中,中介者模式常常被用於管理複雜的用戶界面或組件之間的交互,比如 GUI 組件、聊天室、游戲等等。通過引入一 ...
一周排行
    -Advertisement-
    Play Games
  • 1. 說明 /* Performs operations on System.String instances that contain file or directory path information. These operations are performed in a cross-pla ...
  • 視頻地址:【WebApi+Vue3從0到1搭建《許可權管理系統》系列視頻:搭建JWT系統鑒權-嗶哩嗶哩】 https://b23.tv/R6cOcDO qq群:801913255 一、在appsettings.json中設置鑒權屬性 /*jwt鑒權*/ "JwtSetting": { "Issuer" ...
  • 引言 集成測試可在包含應用支持基礎結構(如資料庫、文件系統和網路)的級別上確保應用組件功能正常。 ASP.NET Core 通過將單元測試框架與測試 Web 主機和記憶體中測試伺服器結合使用來支持集成測試。 簡介 集成測試與單元測試相比,能夠在更廣泛的級別上評估應用的組件,確認多個組件一起工作以生成預 ...
  • 在.NET Emit編程中,我們探討了運算操作指令的重要性和應用。這些指令包括各種數學運算、位操作和比較操作,能夠在動態生成的代碼中實現對數據的處理和操作。通過這些指令,開發人員可以靈活地進行算術運算、邏輯運算和比較操作,從而實現各種複雜的演算法和邏輯......本篇之後,將進入第七部分:實戰項目 ...
  • 前言 多表頭表格是一個常見的業務需求,然而WPF中卻沒有預設實現這個功能,得益於WPF強大的控制項模板設計,我們可以通過修改控制項模板的方式自己實現它。 一、需求分析 下圖為一個典型的統計表格,統計1-12月的數據。 此時我們有一個需求,需要將月份按季度劃分,以便能夠直觀地看到季度統計數據,以下為該需求 ...
  • 如何將 ASP.NET Core MVC 項目的視圖分離到另一個項目 在當下這個年代 SPA 已是主流,人們早已忘記了 MVC 以及 Razor 的故事。但是在某些場景下 SSR 還是有意想不到效果。比如某些靜態頁面,比如追求首屏載入速度的時候。最近在項目中回歸傳統效果還是不錯。 有的時候我們希望將 ...
  • System.AggregateException: 發生一個或多個錯誤。 > Microsoft.WebTools.Shared.Exceptions.WebToolsException: 生成失敗。檢查輸出視窗瞭解更多詳細信息。 內部異常堆棧跟蹤的結尾 > (內部異常 #0) Microsoft ...
  • 引言 在上一章節我們實戰了在Asp.Net Core中的項目實戰,這一章節講解一下如何測試Asp.Net Core的中間件。 TestServer 還記得我們在集成測試中提供的TestServer嗎? TestServer 是由 Microsoft.AspNetCore.TestHost 包提供的。 ...
  • 在發現結果為真的WHEN子句時,CASE表達式的真假值判斷會終止,剩餘的WHEN子句會被忽略: CASE WHEN col_1 IN ('a', 'b') THEN '第一' WHEN col_1 IN ('a') THEN '第二' ELSE '其他' END 註意: 統一各分支返回的數據類型. ...
  • 在C#編程世界中,語法的精妙之處往往體現在那些看似微小卻極具影響力的符號與結構之中。其中,“_ =” 這一組合突然出現還真不知道什麼意思。本文將深入剖析“_ =” 的含義、工作原理及其在實際編程中的廣泛應用,揭示其作為C#語法奇兵的重要角色。 一、下劃線 _:神秘的棄元符號 下劃線 _ 在C#中並非 ...