基於RocketMQ實現分散式事務

来源:https://www.cnblogs.com/ayic/p/18067431
-Advertisement-
Play Games

背景 在一個微服務架構的項目中,一個業務操作可能涉及到多個服務,這些服務往往是獨立部署,構成一個個獨立的系統。這種分散式的系統架構往往面臨著分散式事務的問題。為了保證系統數據的一致性,我們需要確保這些服務中的操作要麼全部成功,要麼全部失敗。通過使用RocketMQ實現分散式事務,我們可以協調這些服務 ...


image

背景

在一個微服務架構的項目中,一個業務操作可能涉及到多個服務,這些服務往往是獨立部署,構成一個個獨立的系統。這種分散式的系統架構往往面臨著分散式事務的問題。為了保證系統數據的一致性,我們需要確保這些服務中的操作要麼全部成功,要麼全部失敗。通過使用RocketMQ實現分散式事務,我們可以協調這些服務的操作,保證數據的一致性。

功能原理

RocketMQ的分散式事務消息功能,在普通消息基礎上,支持二階段的提交。將二階段提交和本地事務綁定,實現全局提交結果的一致性。

整個事務消息的詳細交互流程如下圖所示:

image

1、生產者將消息發送至RocketMQ服務端。

2、RocketMQ服務端將消息持久化成功之後,向生產者返回Ack確認消息已經發送成功,此時消息被標記為"暫不能投遞",這種狀態下的消息即為半事務消息。

3、生產者開始執行本地事務邏輯。

4、生產者根據本地事務執行結果向服務端提交二次確認結果(Commit或是Rollback),服務端收到確認結果後處理邏輯如下:

  • 二次確認結果為Commit:服務端將半事務消息標記為可投遞,並投遞給消費者。

  • 二次確認結果為Rollback:服務端將回滾事務,不會將半事務消息投遞給消費者。

5、在斷網或者是生產者應用重啟的特殊情況下,若服務端未收到生產者提交的二次確認結果,或服務端收到的二次確認結果為Unknown未知狀態,經過固定時間後,服務端將對消息生產者集群中任一生產者實例發起消息回查。

6、生產者收到消息回查後,需要檢查對應消息的本地事務執行的最終結果。

7、生產者根據檢查到的本地事務的最終狀態再次提交二次確認,服務端仍按照步驟4對半事務消息進行處理。

註意問題

消息類型
事務消息僅支持在MessageType為Transaction的主題使用,即事務消息只能發送至類型為事務消息的主題中。

消息消費
RocketMQ事務消息保證生產者本地事務和下游消息發送事務的一致性,但不保證消息消費結果和上游事務的一致性。因此需要下游業務自行保證消息正確處理,建議消費端做好消費重試。

中間狀態
RocketMQ事務消息一致性為最終一致性,即在消息提交到下游消費端處理完成之前,下游和上游事務之間的狀態會不一致。因此,事務消息僅適合能接受非同步執行的場景。

事務超時
RocketMQ事務消息的生命周期存在超時機制,即半事務消息被生產者發送服務端後,如果在指定時間內服務端無法確認提交或者回滾狀態,則消息預設會被回滾。

示例代碼

以下為RocketMQ 4.x版本事務消息示例代碼,

import org.apache.rocketmq.client.producer.LocalTransactionState;
import org.apache.rocketmq.client.producer.TransactionListener;
import org.apache.rocketmq.client.producer.TransactionMQProducer;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.common.message.MessageExt;

import java.util.concurrent.*;

public class RocketMqTransactionDemo {
	public static void main(String[] args) throws Exception {
		// 創建事務消息生產者
		TransactionMQProducer producer = new TransactionMQProducer("transaction_producer");
		producer.setNamesrvAddr("127.0.0.1:9876");

		// 設置事務監聽器
		TransactionListener transactionListener = new MyTransactionListener();
		producer.setTransactionListener(transactionListener);

		// 設置事務回查的線程池,可以不必設置,如果不設置也會預設生成一個
		ExecutorService executorService = new ThreadPoolExecutor(2, 5, 100, TimeUnit.SECONDS, new ArrayBlockingQueue <Runnable> (2000), new ThreadFactory() {
			@Override
			public Thread newThread(Runnable r) {
				Thread thread = new Thread(r);
				thread.setName("client-transaction-msg-check-thread");
				return thread;
			}
		});
		producer.setExecutorService(executorService);

		// 啟動生產者
		producer.start();

		// 發送事務消息
		Message message = new Message("transaction_topic", "test_tag", "test_key", "Hello RocketMQ".getBytes());
		producer.sendMessageInTransaction(message, null);

		// 關閉生產者
		producer.shutdown();
	}
}

/**
 * 事務監聽器
 */
class MyTransactionListener implements TransactionListener {
	@Override
	public LocalTransactionState executeLocalTransaction(Message msg, Object arg) {
		// 執行本地事務操作
		System.out.println("執行本地事務操作,消息內容:" + new String(msg.getBody()));
		return LocalTransactionState.COMMIT_MESSAGE; // 提交事務,允許消費者消費該消息
		// return LocalTransactionState.ROLLBACK_MESSAGE;// 回滾事務,消息將被丟棄不允許消費。
		// return LocalTransactionState.UNKNOW;// 暫時無法判斷狀態,等待固定時間以後Broker端根據回查規則向生產者進行消息回查。
	}

	@Override
	public LocalTransactionState checkLocalTransaction(MessageExt msg) {
		// 檢查本地事務狀態
		System.out.println("檢查本地事務狀態,消息內容:" + new String(msg.getBody()));
		return LocalTransactionState.COMMIT_MESSAGE;
	}
}

代碼解釋:
1、事務消息的生產者使用TransactionMQProducer創建。
2、MyTransactionListener作為事務監聽器,實現了介面TransactionListener,該介面有兩個方法,分別是:

  • executeLocalTransaction
    半事務消息發送成功後,執行本地事務的方法,具體執行完本地事務後,可以在該方法中返回以下三種狀態:
    LocalTransactionState.COMMIT_MESSAGE: 提交事務,允許消費者消費該消息。
    LocalTransactionState.ROLLBACK_MESSAGE: 回滾事務,消息將被丟棄不允許消費。
    LocalTransactionState.UNKNOW: 暫時無法判斷狀態,等待固定時間以後RocketMQ服務端根據回查規則向生產者進行消息回查。

  • checkLocalTransaction
    二次確認消息沒有收到,RocketMQ服務端回查生產者端事務結果的方法。回查規則:本地事務執行完成後,若RocketMQ服務端收到的本地事務返回狀態為LocalTransactionState.UNKNOW,或生產者應用退出導致本地事務未提交任何狀態。則RocketMQ服務端會向消息生產者發起事務回查,第一次回查後仍未獲取到事務狀態,則之後每隔一段時間會再次回查。

本文來自博客園,作者:Y00,轉載請註明原文鏈接:https://www.cnblogs.com/ayic/p/18067431

聊聊技術,聊聊人生。歡迎關註我的公眾號!^_^


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 本文詳細介紹了Libcomm通信庫及其原理,讓我們更好的理解GaussDB(DWS)集群通信中的具體邏輯,對於GaussDB(DWS)通信運維也具備一定的參考意義。 ...
  • 本文主要講解了 Compose 中狀態的概念。最後做個小結, - Compose UI 依賴狀態變化,觸發重組,驅動界面更新。 - 使用 remember 和 rememberSaveable 進行狀態持久化。remember 保證在 recompose 過程中狀態穩定,rememberSaveab... ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 一、介紹 模塊,(Module),是能夠單獨命名並獨立地完成一定功能的程式語句的集合(即程式代碼和數據結構的集合體)。 兩個基本的特征:外部特征和內部特征 外部特征是指模塊跟外部環境聯繫的介面(即其他模塊或程式調用該模塊的方式,包括有輸入 ...
  • 隨著 Vue 3 的發佈,組件通信成為了前端開發中一個值得關註的話題。本文介紹了 Vue 3 中幾種常見的組件通信方式,包括 Props 和 Events、事件匯流排、Provide 和 Inject,以及 Vuex 狀態管理。每種方式都有其適用場景和優缺點,開發者需要根據具體情況選擇最合適的方式。 ... ...
  • "node-sass": "^4.12.0", "sass-loader": "^8.0.2", 本地和local環境正常,pre和生產環境編譯報錯 local、pre、生產的編譯環境一樣,node版本都是14.16.1。拷貝本地node_modules文件夾到pre同樣報錯。 應該是node-sa ...
  • v-model 是 Vue.js 框架中用於實現雙向數據綁定的指令。它充分體現了 MVVM(Model-View-ViewModel)模式中的雙向數據綁定特性。下麵我們將詳細解釋 v-model 如何體現 MVVM 和雙向綁定: 1.MVVM 模式 MVVM 模式是一種軟體架構設計模式,它將應用程式 ...
  • 在你的 TypeScript 代碼中,當調用 nextPage_TopSelling() 或 prevPage_TopSelling() 方法時,雖然你更新了 currentPage_TopSelling 的值並調用了 reloadTopSelling() 方法,但是 Angular 並不會自動檢測 ...
  • 零售商家為什麼要建設線上商城 傳統的實體門店服務範圍有限,只能吸引周邊500米內的消費者。因此,如何拓展服務範圍,吸引更多消費者到店,成為了店家迫切需要解決的問題。 缺乏忠實顧客,客戶基礎不穩,往往是一次性購物,門店無法形成有效的顧客迴流。在當前的市場環境下,構建並維護粉絲群體,成為了商家的核心競爭 ...
一周排行
    -Advertisement-
    Play Games
  • GoF之工廠模式 @目錄GoF之工廠模式每博一文案1. 簡單說明“23種設計模式”1.2 介紹工廠模式的三種形態1.3 簡單工廠模式(靜態工廠模式)1.3.1 簡單工廠模式的優缺點:1.4 工廠方法模式1.4.1 工廠方法模式的優缺點:1.5 抽象工廠模式1.6 抽象工廠模式的優缺點:2. 總結:3 ...
  • 新改進提供的Taurus Rpc 功能,可以簡化微服務間的調用,同時可以不用再手動輸出模塊名稱,或調用路徑,包括負載均衡,這一切,由框架實現並提供了。新的Taurus Rpc 功能,將使得服務間的調用,更加輕鬆、簡約、高效。 ...
  • 本章將和大家分享ES的數據同步方案和ES集群相關知識。廢話不多說,下麵我們直接進入主題。 一、ES數據同步 1、數據同步問題 Elasticsearch中的酒店數據來自於mysql資料庫,因此mysql數據發生改變時,Elasticsearch也必須跟著改變,這個就是Elasticsearch與my ...
  • 引言 在我們之前的文章中介紹過使用Bogus生成模擬測試數據,今天來講解一下功能更加強大自動生成測試數據的工具的庫"AutoFixture"。 什麼是AutoFixture? AutoFixture 是一個針對 .NET 的開源庫,旨在最大程度地減少單元測試中的“安排(Arrange)”階段,以提高 ...
  • 經過前面幾個部分學習,相信學過的同學已經能夠掌握 .NET Emit 這種中間語言,並能使得它來編寫一些應用,以提高程式的性能。隨著 IL 指令篇的結束,本系列也已經接近尾聲,在這接近結束的最後,會提供幾個可供直接使用的示例,以供大伙分析或使用在項目中。 ...
  • 當從不同來源導入Excel數據時,可能存在重覆的記錄。為了確保數據的準確性,通常需要刪除這些重覆的行。手動查找並刪除可能會非常耗費時間,而通過編程腳本則可以實現在短時間內處理大量數據。本文將提供一個使用C# 快速查找並刪除Excel重覆項的免費解決方案。 以下是實現步驟: 1. 首先安裝免費.NET ...
  • C++ 異常處理 C++ 異常處理機制允許程式在運行時處理錯誤或意外情況。它提供了捕獲和處理錯誤的一種結構化方式,使程式更加健壯和可靠。 異常處理的基本概念: 異常: 程式在運行時發生的錯誤或意外情況。 拋出異常: 使用 throw 關鍵字將異常傳遞給調用堆棧。 捕獲異常: 使用 try-catch ...
  • 優秀且經驗豐富的Java開發人員的特征之一是對API的廣泛瞭解,包括JDK和第三方庫。 我花了很多時間來學習API,尤其是在閱讀了Effective Java 3rd Edition之後 ,Joshua Bloch建議在Java 3rd Edition中使用現有的API進行開發,而不是為常見的東西編 ...
  • 框架 · 使用laravel框架,原因:tp的框架路由和orm沒有laravel好用 · 使用強制路由,方便介面多時,分多版本,分文件夾等操作 介面 · 介面開發註意欄位類型,欄位是int,查詢成功失敗都要返回int(對接java等強類型語言方便) · 查詢介面用GET、其他用POST 代碼 · 所 ...
  • 正文 下午找企業的人去鎮上做貸後。 車上聽同事跟那個司機對罵,火星子都快出來了。司機跟那同事更熟一些,連我在內一共就三個人,同事那一手指桑罵槐給我都聽愣了。司機也是老社會人了,馬上聽出來了,為那個無辜的企業經辦人辯護,實際上是為自己辯護。 “這個事情你不能怪企業。”“但他們總不能讓銀行的人全權負責, ...