消息隊列失敗經驗總結(冪等性概念以及影響)

来源:https://www.cnblogs.com/zydj333/archive/2020/04/11/12682704.html
-Advertisement-
Play Games

新冠疫情結束在即,各位小伙伴想必也開始工作了吧...... 2020年伊始,世界仿佛開了一個大玩笑。好在天佑中華,武漢也解封了,一切都在向好的地方發展。希望小伙伴們的工作和生活沒有受到太大的影響。 據我7年以來的開發經驗,工業級別的代碼,幾乎三分之二都是在處理異常情況。而且我們去面試,面試官考察應試 ...


  新冠疫情結束在即,各位小伙伴想必也開始工作了吧......

  2020年伊始,世界仿佛開了一個大玩笑。好在天佑中華,武漢也解封了,一切都在向好的地方發展。希望小伙伴們的工作和生活沒有受到太大的影響。

 

  據我7年以來的開發經驗,工業級別的代碼,幾乎三分之二都是在處理異常情況。而且我們去面試,面試官考察應試者的最好的方法,就是考察他是否能夠思考周全,想到所有異常情況的處理方案。

相信大家都使用過消息MQ,他可以很好地進行系統解耦,減低變成的複雜度,又可以進行削峰,增加系統在高併發的穩定性。那麼使用MQ有哪些註意事項呢?是不是MQ就是萬無一失呢?一條MQ消息從產生到消費,有沒有可能失敗?在哪些環節可能失敗,如何處理?

 

1.消息生產失敗

 

  一般來說,從生產者到MQ中間件是通過網路調用的,是網路調用就有可能存在失敗。下麵這些原因,都有可能造成MQ生產失敗,例如網路波動,儘管生產者到MQ伺服器之間是內網調用,並不意味著網路調用的成功率就是百分之百,內網調用也會遇到網路波動,造成調用超時或者失敗。又如調用的MQ機器瞬間Crash掉,這也是有可能造成調用失敗的。面對生產者調用MQ的失敗,我們是容易比較容易處理的我們只要簡單地進行重試即可,如果重試2-3次失敗,那麼非常有可能是出現大問題,這個時候再重試意義不大,需要進行告警並處理。

 

2.MQ處理存儲失敗

  消息到達消息中間件之後,通常是會被存儲起來的,只有被寫入到磁碟中,消息才是真正地被存儲,不會丟失。但是,大部分MQ中間件並不是收到消息就立馬寫入磁碟的,只是由於磁碟的寫入速度相對於記憶體,現得慢得多得多,所以,像Kafka這樣的消息系統,是會把消息寫到緩衝區中,非同步寫入磁碟,如果機器在中途突然斷電,是有可能會丟失消息的。為瞭解決這個問題,大部分的MQ都是採用分散式部署,消息會在多台機器上寫入緩存中成功才會返回給業務方成功,由於多台機器同時斷電的可能性較低,我們可以認為這是比較低成本又可靠的方案。

 

3.消費者處理失敗

  一般的MQ都有MQ重試機制,如果處理失敗,就會嘗試重覆消費這個MQ。這個帶來的問題就是,MQ可能已經成功消費了,但是在通知MQ中間件的時候失敗了,這個時候帶來的結果就是消息重覆消費。同理,在生產者重試的時候,也會遇到消息重覆消費的問題。這個時候,就要求我們儘量把介面設計得有冪等性,這個時候即便是重覆消費,也不用擔心什麼問題了。基本上做好這三點,我們就能夠大大地提高我們地系統地可用性了!

 

 

這裡需要關註幾個重點:

  1. 冪等不僅僅只是一次(或多次)請求對資源沒有副作用(比如查詢資料庫操作,沒有增刪改,因此沒有對資料庫有任何影響)。

  2. 冪等還包括第一次請求的時候對資源產生了副作用,但是以後的多次請求都不會再對資源產生副作用。

  3. 冪等關註的是以後的多次請求是否對資源產生的副作用,而不關註結果。

冪等性是系統服務對外一種承諾(而不是實現),承諾只要調用介面成功,外部多次調用對系統的影響是一致的。聲明為冪等的服務會認為外部調用失敗是常態,並且失敗之後必然會有重試。

什麼情況下需要冪等

業務開發中,經常會遇到重覆提交的情況,無論是由於網路問題無法收到請求結果而重新發起請求,或是前端的操作抖動而造成重覆提交情況。 在交易系統,支付系統這種重覆提交造成的問題有尤其明顯,比如:

  1. 用戶在APP上連續點擊了多次提交訂單,後臺應該只產生一個訂單;

  2. 向支付系統發起支付請求,由於網路問題或系統BUG重發,支付系統應該只扣一次錢。 很顯然,聲明冪等的服務認為,外部調用者會存在多次調用的情況,為了防止外部多次調用對系統數據狀態的發生多次改變,將服務設計成冪等。

冪等VS防重

上面例子中遇到的問題,只是重覆提交的情況,和服務冪等的初衷是不同的。重覆提交是在第一次請求已經成功的情況下,人為的進行多次操作,導致不滿足冪等要求的服務多次改變狀態。而冪等更多使用的情況是第一次請求不知道結果(比如超時)或者失敗的異常情況下,發起多次請求,目的是多次確認第一次請求成功,卻不會因多次請求而出現多次的狀態變化。

什麼情況下需要保證冪等性

以SQL為例,有下麵三種場景,只有第三種場景需要開發人員使用其他策略保證冪等性:

  1. SELECT col1 FROM tab1 WHER col2=2,無論執行多少次都不會改變狀態,是天然的冪等。

  2. UPDATE tab1 SET col1=1 WHERE col2=2,無論執行成功多少次狀態都是一致的,因此也是冪等操作。

  3. UPDATE tab1 SET col1=col1+1 WHERE col2=2,每次執行的結果都會發生變化,這種不是冪等的。

為什麼要設計冪等性的服務

冪等可以使得客戶端邏輯處理變得簡單,但是卻以服務邏輯變得複雜為代價。滿足冪等服務的需要在邏輯中至少包含兩點:

  1. 首先去查詢上一次的執行狀態,如果沒有則認為是第一次請求

  2. 在服務改變狀態的業務邏輯前,保證防重覆提交的邏輯

冪等的不足

冪等是為了簡化客戶端邏輯處理,卻增加了服務提供者的邏輯和成本,是否有必要,需要根據具體場景具體分析,因此除了業務上的特殊要求外,儘量不提供冪等的介面。

  1. 增加了額外控制冪等的業務邏輯,複雜化了業務功能;

  2. 把並行執行的功能改為串列執行,降低了執行效率。

保證冪等策略

冪等需要通過唯一的業務單號來保證。也就是說相同的業務單號,認為是同一筆業務。使用這個唯一的業務單號來確保,後面多次的相同的業務單號的處理邏輯和執行效果是一致的。 下麵以支付為例,在不考慮併發的情況下,實現冪等很簡單:

①先查詢一下訂單是否已經支付過,

②如果已經支付過,則返回支付成功;如果沒有支付,進行支付流程,修改訂單狀態為‘已支付’。

防重覆提交策略

上述的保證冪等方案是分成兩步的,第②步依賴第①步的查詢結果,無法保證原子性的。在高併發下就會出現下麵的情況:第二次請求在第一次請求第②步訂單狀態還沒有修改為‘已支付狀態’的情況下到來。既然得出了這個結論,餘下的問題也就變得簡單:把查詢和變更狀態操作加鎖,將並行操作改為串列操作。

樂觀鎖

如果只是更新已有的數據,沒有必要對業務進行加鎖,設計表結構時使用樂觀鎖,一般通過version來做樂觀鎖,這樣既能保證執行效率,又能保證冪等。例如: UPDATE tab1 SET col1=1,version=version+1 WHERE version=#version# 不過,樂觀鎖存在失效的情況,就是常說的ABA問題,不過如果version版本一直是自增的就不會出現ABA的情況。

防重表

使用訂單號orderNo做為去重表的唯一索引,每次請求都根據訂單號向去重表中插入一條數據。第一次請求查詢訂單支付狀態,當然訂單沒有支付,進行支付操作,無論成功與否,執行完後更新訂單狀態為成功或失敗,刪除去重表中的數據。後續的訂單因為表中唯一索引而插入失敗,則返回操作失敗,直到第一次的請求完成(成功或失敗)。可以看出防重表作用是加鎖的功能。

分散式鎖

這裡使用的防重表可以使用分散式鎖代替,比如Redis。訂單發起支付請求,支付系統會去Redis緩存中查詢是否存在該訂單號的Key,如果不存在,則向Redis增加Key為訂單號。查詢訂單支付已經支付,如果沒有則進行支付,支付完成後刪除該訂單號的Key。通過Redis做到了分散式鎖,只有這次訂單訂單支付請求完成,下次請求才能進來。相比去重表,將放併發做到了緩存中,較為高效。思路相同,同一時間只能完成一次支付請求。 

token令牌

這種方式分成兩個階段:申請token階段和支付階段。 第一階段,在進入到提交訂單頁面之前,需要訂單系統根據用戶信息向支付系統發起一次申請token的請求,支付系統將token保存到Redis緩存中,為第二階段支付使用。 第二階段,訂單系統拿著申請到的token發起支付請求,支付系統會檢查Redis中是否存在該token,如果存在,表示第一次發起支付請求,刪除緩存中token後開始支付邏輯處理;如果緩存中不存在,表示非法請求。 實際上這裡的token是一個信物,支付系統根據token確認,你是你媽的孩子。不足是需要系統間交互兩次,流程較上述方法複雜。 

支付緩衝區

把訂單的支付請求都快速地接下來,一個快速接單的緩衝管道。後續使用非同步任務處理管道中的數據,過濾掉重覆的待支付訂單。優點是同步轉非同步,高吞吐。不足是不能及時地返回支付結果,需要後續監聽支付結果的非同步返回。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、Java註解 1.引入起始:Java5.0開始引入; 2.該功能可用於類、構造方法、成員變數、方法、參數 3.註解功能的影響範圍:不影響程式的正常執行,但是會對編譯器等輔助工具產生影響。 4.定義:註解又可以稱為標註,是程式的元數據,也是程式代碼的標記。 5.獲取方式:在編譯、載入類和運行時。 ...
  • PHP常用設計模式詳解 單例模式: php交流群:159789818 特性:單例類只能有一個實例 類內__construct構造函數私有化,防止new實例 類內__clone私有化,防止複製對象 設置一個$instance私有靜態屬性,為了保存當前類的實例 設置一個getInstance公有方法,為 ...
  • 寫在前面 在JDK中,提供了這樣一種功能:它能夠將複雜的邏輯拆分成一個個簡單的邏輯來並行執行,待每個並行執行的邏輯執行完成後,再將各個結果進行彙總,得出最終的結果數據。有點像Hadoop中的MapReduce。 ForkJoin是由JDK1.7之後提供的多線程併發處理框架。ForkJoin框架的基本 ...
  • 線程池原理和使用在面試中被高頻問到,比如阿裡的面試題。下麵我們針對問題來進行回答。 為什麼要使用線程池? 線程池的使用場景有2: 1, 高併發場景:比如tomcat的處理機制,內置了線程池處理http請求; 2,非同步任務處理:比如spring的非同步方法改造,增加@Asyn註解對應了一個線程池; 使用 ...
  • 基本介紹 基數排序屬於“分配式排序”,它通過元素的各個位的值,將元素放置對應的“桶”中 基數排序屬於穩定性排序,效率高,但是過多的元素會出現虛擬機運行記憶體的不足(千萬個元素) 基本思想 把元素統一為同樣長度的數組長度 元素較短的數前面補0,比如(1 15 336 看成 001 015 336) 然後 ...
  • 下麵是 Go 支持的基本類型: bool 數字類型 int8, int16, int32, int64, int uint8, uint16, uint32, uint64, uint float32, float64 complex64, complex128 byte rune string b ...
  • 小學生都能用的編程語言,雖然簡單,卻是專家系統中領域專家表達專家知識的強力工具。 ...
  • Flask 藍圖進行路由分發Flask雖然說是一個輕型web框架,但也總不能用一個py文件寫完全部view吧,所以我們要把路由分到不同的py文件中。這就需要用到藍圖了。 一 創建一個py文件 用於處理分過來的url,如創建music.py from flask import Blueprint mu ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...