如何在不依賴於Mq的形式下更優雅地實現非同步任務處理!!!

来源:https://www.cnblogs.com/nihaoyx/p/17993830
-Advertisement-
Play Games

一、定義 定義一個操作中演算法的框架,而將一些步驟延遲到子類中。模板方法模式使得子類不改變一個演算法的結構即可重定義該演算法的特定步驟。模板方法是一種類行為型模式 二、描述 模板方法模式結構比較簡單,其核心是抽象類和其中的模板方法的設計,包含以下兩個角色: 1、AbstractClass(抽象類):在抽象 ...


背景

考慮到現有業務很多依賴於MQ的方式進行,這種方式需要依賴於MQ,發送消息到mq和消費mq消息時需要瞭解mq消息結構進行相應處理;

對於後續對同樣的事件做其他處理的人如不能提前瞭解到已有相應消息發到了mq就得再發一次消息到mq等。

                    圖1.1 消息中間件

現需要考慮在不依賴於Mq的形式下如何更優雅地實現非同步任務處理!!!

一.消息任務

1.1 現有輪詢方式

輪詢:針對每一個業務記錄一張輪詢中間表,通過輪詢掃描消費。

優點:

1. 時間性把控粒度高。

2. 每個業務彼此分離,互不幹涉。

缺點:

1. 每次創建業務都要建立一張屬於自己的輪詢表,也要建立一個新的輪詢配置。

2. 資源消耗大。

3. 研發效率低。

1.2優化方式

模擬RabbitMq的ACK方式建立一張共性表解決通用性業務的消息體存儲,共性化業務通用一個輪詢。

模擬RabbitMq的ACK模式,使用輪詢的方式替代mq的消息發送機制。制定專屬表欄位Table_Name模擬RabbitMq的RoutingKey。

每個業務處理通過Table_Name方式實現介面進行派發處理。每個實現了輪詢邏輯派發介面的類即可以認為是一個隊列。

以這種方式可以有效的實現消息的非同步處理。

優點:

1. 代碼規範化,每個服務中心只需要建立集中的一個輪詢業務;

2. 符合開閉原則,每增加一個輪詢處理只要多實現一個介面類即可;

3.可以減少資料庫資源的消耗;

4.減少無用代碼的增加,提高開發效率。

缺點:

1.由於數據量的增加,輪詢壓力增大,對特殊業務的輪詢時間性無法針對性的把控,需要建立特殊業務輪詢處理(增加輪詢)。

二.演變模型

2.1演化方向:模型由圖1.2 ——》 圖1.3

                    圖1.2 RabbitMQ

                    圖1.3 定時任務模擬圖

三.ACK模式

3.1什麼是ack模式?

RabbitMQ 的 ACK 模式是指消息確認機制,即消費者消費消息後需要向 RabbitMQ 伺服器發送一個 ACK(acknowledgement)信號來告訴伺服器該消息已經被處理。

ACK 模式主要有以下兩種:

1.自動確認模式(autoAck)

在自動確認模式下,消費者在收到消息後會立即向RabbitMQ 伺服器發送一個 ACK 信號,表示該消息已經被消費。

這種模式適用於對於消息的可靠性要求不高的場景,比如日誌處理等。

2.手動確認模式(manualAck)

手動確認模式下,消費者需要在處理完消息後,主動向RabbitMQ 伺服器發送 ACK 信號。

如果消費者沒有發送 ACK 信號,RabbitMQ 認為該消息沒有被正確處理,並將該消息重新分發給其他消費者。

此外,在手動確認模式下,如果消費者在處理消息時出現異常,可以通過拒絕消息(NACK)來告訴 RabbitMQ 伺服器該消息不能被處理,

此時 RabbitMQ 將會將該消息重新分發給其他消費者或保存到死信隊列中。

四.表結構

4.1建立合適的表結構

1. Uid,table_name,msg,remark,ack

2. Hisid,Uid,table_name,msg,remark,ack (歷史表,用於記錄處理過的消息)

(表名稱和欄位名稱可根據業務自行命名,以上數據結構供參考,可自行根據業務外拓欄位)

五.消息體

1.規範化msg的輸入形式。可以走切麵或者監聽的方式非同步記錄。寫一個公用方法寫入(特殊業務可調用該方法寫入)。

2.規範化Table_Name欄位:採用駝峰名稱,代表哪個表寫進來的數據。

3.規範化ack,預設設置為0;消費完成,寫入2表(歷史表)。

如有特殊要處理的,可以增加業務邏輯通過ack模式處理,這裡ack預設值為0;

預設輪詢處理失敗一次ack自增1 。通用輪詢方法只掃ack預設為0或者1的。

Ack不等於0,1的,通過二次輪詢,第二個特殊輪詢業務處理。(減少通用輪詢的壓力,避免造成輪詢卡單。消息消費延緩等問題)。

如有特殊業務申請對應輪詢:需要申請ack預設值處理。比如特殊業務1,ack值設置100。(0-9不建議,給預設通用輪詢留下可用空間;

每次申請的特殊輪詢ack預設在原先基礎最大值上增加100,每次建立輪詢通過這個方案執行的ack都要走申請,避免ack重覆)。

六.實現類圖

方案一:

                                            圖1.4 類圖

方案二:

  

                                   圖1.5 類圖

以上類圖開發自行根據習慣可自行選用哪種模式。
如有更好的方式請留言指教,以上供參考。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 各位朋友聽我一句勸,寫代碼提供方法給別人調用時,不管是內部系統調用,還是外部系統調用,還是被動觸發調用(比如MQ消費、回調執行等),一定要加上必要的條件校驗。千萬別信某些同事說的這個條件肯定會傳、肯定有值、肯定不為空等等。這不,臨過年了我就被坑了一波,弄了個生產事故,年終獎基本是涼了半截。 為了保障 ...
  • 最近有同事看到位元組跳動產品設計文檔里有資料庫表er圖。就想問問又沒有現成的工具也給直接生成一個er圖,經查找驗證發現並沒有。因為現在表關係都是用的邏輯外鍵而非物理外鍵約束的,所以像navicat等工具就算生成了也沒有描述關係的連接線。那麼為了滿足需求,這邊就略微出手寫了個代碼實現er關係的工具。(註 ...
  • 促銷業務概述 什麼是促銷? 促銷是商家用來吸引消費者購物的一種手段,目的是讓更多的人知道併購買他們的產品,這樣就能賣得更多。促銷的方法有很多種,比如,價格優惠、贈品、優惠券、折扣、買一贈一等形式。 特別是在新零售行業,促銷更加重要,由於新零售是線上和線下結合的,顧客可以線上上看到促銷信息,然後在實體 ...
  • 近年來,越來越多的開發者會選擇使用無代碼/低代碼平臺進行業務系統的開發。原因很簡單:不用從零開始研發一整套系統,並且有易用的模板和可視化的操作界面,大大減少了業務開發的難度和所需時間。 然而,真正嘗試過的開發者會發現,無代碼/低代碼確實能讓開發變“簡單”,但新的挑戰也隨之而來。 ...
  • 類/方法的封裝、職責,這些跟誰用沒關係。而是跟類/方法本身有關。我們分析類、分析方法,要看它的職責。面向對象編程不是面向人編程。 ...
  • 目錄使用Docker部署Tomcat1. 獲取鏡像2. 第一次啟動tomcat3.帶參數啟動4.查看tomcat日誌5.時區問題 使用Docker部署Tomcat 1. 獲取鏡像 docker pull tomcat:8.5.38 docker images 2. 第一次啟動tomcat 該步驟作用 ...
  • 轉載至我的博客 https://www.infrastack.cn ,公眾號:架構成長指南 當我們使用 Mysql資料庫到達一定量級以後,性能就會逐步下降,而解決此類問題,常用的手段就是引入資料庫中間件進行分庫分表處理,比如使用 Mycat、ShadingShpere、tddl,但是這種都是過去式了 ...
  • 一、定義 表示一個作用於某對象結構中的各個元素的操作。訪問者模式讓你可以在不改變各元素的類的前提下定義作用於這些元素的新操作。訪問者模式是一種對象行為型模式 二、描述 訪問者模式是一種較為複雜的行為型模式,它包含訪問者和被訪問元素兩個主要組成部分,這些被訪問的元素通常具有不同的類型,且不同的訪問者可 ...
一周排行
    -Advertisement-
    Play Games
  • 1、預覽地址:http://139.155.137.144:9012 2、qq群:801913255 一、前言 隨著網路的發展,企業對於信息系統數據的保密工作愈發重視,不同身份、角色對於數據的訪問許可權都應該大相徑庭。 列如 1、不同登錄人員對一個數據列表的可見度是不一樣的,如數據列、數據行、數據按鈕 ...
  • 前言 上一篇文章寫瞭如何使用RabbitMQ做個簡單的發送郵件項目,然後評論也是比較多,也是準備去學習一下如何確保RabbitMQ的消息可靠性,但是由於時間原因,先來說說設計模式中的簡單工廠模式吧! 在瞭解簡單工廠模式之前,我們要知道C#是一款面向對象的高級程式語言。它有3大特性,封裝、繼承、多態。 ...
  • Nodify學習 一:介紹與使用 - 可樂_加冰 - 博客園 (cnblogs.com) Nodify學習 二:添加節點 - 可樂_加冰 - 博客園 (cnblogs.com) 介紹 Nodify是一個WPF基於節點的編輯器控制項,其中包含一系列節點、連接和連接器組件,旨在簡化構建基於節點的工具的過程 ...
  • 創建一個webapi項目做測試使用。 創建新控制器,搭建一個基礎框架,包括獲取當天日期、wiki的請求地址等 創建一個Http請求幫助類以及方法,用於獲取指定URL的信息 使用http請求訪問指定url,先運行一下,看看返回的內容。內容如圖右邊所示,實際上是一個Json數據。我們主要解析 大事記 部 ...
  • 最近在不少自媒體上看到有關.NET與C#的資訊與評價,感覺大家對.NET與C#還是不太瞭解,尤其是對2016年6月發佈的跨平臺.NET Core 1.0,更是知之甚少。在考慮一番之後,還是決定寫點東西總結一下,也回顧一下.NET的發展歷史。 首先,你沒看錯,.NET是跨平臺的,可以在Windows、 ...
  • Nodify學習 一:介紹與使用 - 可樂_加冰 - 博客園 (cnblogs.com) Nodify學習 二:添加節點 - 可樂_加冰 - 博客園 (cnblogs.com) 添加節點(nodes) 通過上一篇我們已經創建好了編輯器實例現在我們為編輯器添加一個節點 添加model和viewmode ...
  • 前言 資料庫併發,數據審計和軟刪除一直是數據持久化方面的經典問題。早些時候,這些工作需要手寫複雜的SQL或者通過存儲過程和觸發器實現。手寫複雜SQL對軟體可維護性構成了相當大的挑戰,隨著SQL字數的變多,用到的嵌套和複雜語法增加,可讀性和可維護性的難度是幾何級暴漲。因此如何在實現功能的同時控制這些S ...
  • 類型檢查和轉換:當你需要檢查對象是否為特定類型,並且希望在同一時間內將其轉換為那個類型時,模式匹配提供了一種更簡潔的方式來完成這一任務,避免了使用傳統的as和is操作符後還需要進行額外的null檢查。 複雜條件邏輯:在處理複雜的條件邏輯時,特別是涉及到多個條件和類型的情況下,使用模式匹配可以使代碼更 ...
  • 在日常開發中,我們經常需要和文件打交道,特別是桌面開發,有時候就會需要載入大批量的文件,而且可能還會存在部分文件缺失的情況,那麼如何才能快速的判斷文件是否存在呢?如果處理不當的,且文件數量比較多的時候,可能會造成卡頓等情況,進而影響程式的使用體驗。今天就以一個簡單的小例子,簡述兩種不同的判斷文件是否... ...
  • 前言 資料庫併發,數據審計和軟刪除一直是數據持久化方面的經典問題。早些時候,這些工作需要手寫複雜的SQL或者通過存儲過程和觸發器實現。手寫複雜SQL對軟體可維護性構成了相當大的挑戰,隨著SQL字數的變多,用到的嵌套和複雜語法增加,可讀性和可維護性的難度是幾何級暴漲。因此如何在實現功能的同時控制這些S ...