怎麼處理消息重發的問題?

来源:https://www.cnblogs.com/wing011203/archive/2023/03/10/17202116.html
-Advertisement-
Play Games

這篇文章主要描述如何解決消息重發的問題,目前主流的消息隊列產品都採用了At least once的服務質量,這就導致了很難避免消息重發的情況,我們可以將消費者業務邏輯設計成冪等服務來解決消息重發問題。 ...


消息隊列在消息傳遞的過程中,如果出現傳遞失敗的情況,發送方會重試,在重試的過程中,可能會產生重覆的消息。

消息重覆的情況必然存在

關於傳遞消息時能夠提供的服務質量標準,MQTT協議給出了三種不同的標準:

  1. At most once:至多一次,消息在傳遞時,最多會被送達一次,一般適用於對消息可靠性要求不高的監控場景。
  2. At least once:至少一次,消息在傳遞時,至少會被送達一次,不允許丟消息,但是允許有少量重覆消息。
  3. Exactly once:恰好一次,消息在傳遞時,只會被送達一次,不允許丟失也不允許重覆。

我們常用的大部分消息隊列提供的服務質量都是At least once,包括RocketMQ、RabbitMQ和Kafka。所以說消息隊列很難保證消息不重覆。

怎麼解決消息重發的問題

既然消息隊列不可避免的會有消息重發的問題,那麼我們應該怎麼去解決呢?

一般解決重覆消息的辦法是在消費端,讓我們的消費消息的操作具有冪等性

一個冪等操作的特點是將其任意多次執行所產生的影響與一次執行的響應相同。一個冪等的方法, 使用同樣的參數,對它進行多次調用和一次調用,對系統產生的影響是樣的。所以我們不需要擔心針對冪等的方法執行多次會對系統造成任何改變。

從對系統的影響結果來看:At least once + 冪等消費 = Exactly once。

如何實現冪等操作呢?可以從業務邏輯設計上少,將消費的業務邏輯設計成具有冪等性的操作。

接下來,我們來看三種不同方式來實現冪等。

利用資料庫的唯一約束實現冪等

首先,我們可以限定,對於每個轉賬單每個賬戶只可以執行一次變更操作,在分散式系統中,這個限制實現的方法非常多,最簡單的是我們在資料庫中建一張轉賬流水錶,這個表有三個欄位:轉賬單 ID、賬戶 ID 和變更金額,然後給轉賬單 ID 和賬戶 ID 這兩個欄位聯合起來創建一個唯一約束,這樣對於相同的轉賬單 ID 和賬戶 ID,表裡至多只能存在一條記錄。

這樣,我們消費消息的邏輯可以變為:“在轉賬流水錶中增加一條轉賬記錄,然後再根據轉賬記錄,非同步操作更新用戶餘額即可。”在轉賬流水錶增加一條轉賬記錄這個操作中,由於我們在這個表中預先定義了“賬戶ID轉賬單ID”的唯一約束,對於同一個轉賬單同一個賬戶只能插入一條記錄,後續重覆的插入操作都會失敗,這樣就實現了一個冪等的操作。我們只要寫一個 SQL,正確地實現它就可以了。

只要是支持類似“INSERT IF NOT EXIST”語義的存儲類系統都可以用於實現冪等操作。

為更新的數據設置前置條件

這種方式的思路是:給數據變更設置一個前置條件,如果滿足條件就更新數據,否則就拒絕更新數據,在更新數據的同時,變更前置條件中需要判斷的數據。這樣在重覆執行這個操作時,由於第一次更新數據的時候已經變更了前置條件中需要判斷的依據,不滿足前置條件,則不會重覆執行數據更新操作。

如果我們更新的是一個複雜的業務相關數據,我們可以為數據增加一個版本號屬性,,每次更新之前,比較當前數據版本號是否和消息中的版本號一致,如果不一致就拒絕更新數據,更新數據的同時將版本號加1。

記錄並檢查操作

這種方式的思路是:在發送消息的時候,給每條消息指定一個全局唯一ID,消費時,先根據這個ID檢查這條消息是否有被消費過,如果沒有消費過,才更新數據,不然就將消費狀態置為已消費。

    作者:李潘     出處:http://wing011203.cnblogs.com/     本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 生活中存在同時使用兩個微信的情況,一個工作一個生活,這時希望同時在電腦上登錄兩個賬號。如何做到呢?步驟如下: 右鍵單擊“微信”圖標,選擇屬性,目標框內的路徑就是微信安裝路徑,複製目標框里的內容。 將如下命令複製到 TXT 文件保存,再將該文件重命名,主要是將尾碼名改成“.bat”文件。 @echo ...
  • 好家伙,本篇為做題思考 書接上文 題目如下: 1.請給出下列代碼的輸出結果,並配合"消息隊列"寫出相關解釋 async function foo() { console.log(2); console.log(await Promise.resolve(8)); console.log(9); } ...
  • 一般來說,項目由子模塊組成,拿到後端提供過來的介面,一般也是按照子模塊來分類提供的.請教一下各位,你們前端項目是如何管理api的? 希望各位貼點你們的優秀代碼段上來學習學習. 常見: 各個模塊的api存放到單獨的js文件里,返回一個請求實例promise對象 使用的時候根據需求引入相應的請求方法 / ...
  • 其他章節請看: webgl 系列 變換矩陣和動畫 動畫就是不停地將某個東西變換(transform)。例如將三角形不停地旋轉就是一個動畫 和 CSS transform 類似,變換有三種形式:平移、縮放和旋轉。 簡單的變換用普通表達式容易實現,如果事情複雜,比如旋轉後平移,這時就可以使用變換矩陣。 ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 網站效果演示:ashuai.work:8888/#/myLoad GitHub倉庫地址代碼:github.com/shuirongshu… 載入中思路分析 實現載入中效果,一般有兩種方式: 第一種是:搞一個load組件,然後使用Vue.e ...
  • <!-- * @description 表格組件 * @fileName TableList.vue * @authorQ * @date 2021/05/15 15:13:45 --> <template> <div class="table-container"> <el-table v-if= ...
  • 定義 使用原型實例指定創建對象的種類,並且通過拷貝這些原型創建新的對象。原型模式是一種對象創建型模式 百科。 通俗的說就是原型模式是一種創建型設計模式,指定某個對象(通過某種方式)得到一個新的對象,在記憶體中擁有新的地址,得到的對象與原對象是是相互獨立的,即得到跟原對象一樣的對象 當我們需要兩個一模一 ...
  • 前端中介者模式(Mediator Pattern),用於將對象之間的通信解耦並集中管理。它通過引入一個中介者對象,將對象之間的交互轉移到中介者對象中,從而避免對象之間直接相互通信。 在前端開發中,中介者模式常常被用於管理複雜的用戶界面或組件之間的交互,比如 GUI 組件、聊天室、游戲等等。通過引入一 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...