Seata 全局鎖等待超時 問題排查

来源:https://www.cnblogs.com/cjsblog/archive/2023/03/28/17266281.html
-Advertisement-
Play Games

生產環境，一個簡單的事務方法，提交失敗，報 Global lock wait timeout 偽代碼如下： @GlobalTransactional(rollbackFor = Exception.class,timeoutMills = 30000,lockRetryInternal=3000,l ...


生產環境，一個簡單的事務方法，提交失敗，報 Global lock wait timeout

偽代碼如下：

@GlobalTransactional(rollbackFor = Exception.class,timeoutMills = 30000,lockRetryInternal=3000,lockRetryTimes=10)
@Override
public Boolean cancel(Long id, Long userId, Long companyId) {
    // 保存業務數據
    ...
    // 啟動工作流
    wkflAppServiceProvider.startProcess(....);
    ...
}

 異常如下：

org.springframework.dao.QueryTimeoutException: JDBC commit; Global lock wait timeout; nested exception is io.seata.rm.datasource.exec.LockWaitTimeoutException: Global lock wait timeout
                                                                                             
Caused by: io.seata.rm.datasource.exec.LockWaitTimeoutException: Global lock wait timeout
        at io.seata.rm.datasource.exec.LockRetryController.sleep(LockRetryController.java:63)
        at io.seata.rm.datasource.ConnectionProxy$LockRetryPolicy.doRetryOnLockConflict(ConnectionProxy.java:346)
        at io.seata.rm.datasource.ConnectionProxy$LockRetryPolicy.execute(ConnectionProxy.java:335)
        at io.seata.rm.datasource.ConnectionProxy.commit(ConnectionProxy.java:187)
        at org.springframework.jdbc.datasource.DataSourceTransactionManager.doCommit(DataSourceTransactionManager.java:333)
        ... 57 more
Caused by: io.seata.rm.datasource.exec.LockConflictException: get global lock fail, xid:10.222.248.60:8091:2900686326154883760, lockKeys:wkfl_app_auth:12326192,12326193;act_ge_bytearray:6515890,6515891;act_re_procdef:rediscountClickSubmitCancel_UserTask_0yze6zf_5:1:6515892;act_re_deployment:6515889
        at io.seata.rm.datasource.ConnectionProxy.recognizeLockKeyConflictException(ConnectionProxy.java:159)
        at io.seata.rm.datasource.ConnectionProxy.processGlobalTransactionCommit(ConnectionProxy.java:252)
        at io.seata.rm.datasource.ConnectionProxy.doCommit(ConnectionProxy.java:230)
        at io.seata.rm.datasource.ConnectionProxy.lambda$commit$0(ConnectionProxy.java:188)
        at io.seata.rm.datasource.ConnectionProxy$LockRetryPolicy.doRetryOnLockConflict(ConnectionProxy.java:343)
        ... 60 more

看到“LockWaitTimeoutException: Global lock wait timeout” 我以為是有資源競爭，導致加鎖等待超時。但這個疑慮很快被打消了，因為這是必現的一個問題，每次執行到這個方法都報錯，甚至在下班後系統沒有人使用的情況下，我一點，還是報這個錯，這個時候可以確定就我一個人在用，而且查了資料庫沒有被鎖定的數據和事務，所以應該不是資源競爭導致的獲取鎖等待超時。

於是，我開始翻源碼

數據源被代理，本地事務提交走的是io.seata.rm.datasource.ConnectionProxy#commit()

doCommit()方法是放在io.seata.rm.datasource.ConnectionProxy.LockRetryPolicy#execute()中執行的

由於我們這裡client.rm.lock.retryPolicyBranchRollbackOnConflict配置的是false，所以這裡失敗後會重試，如果是true，則不重試

看到這裡，我們找到了“Global lock wait timeout”的出處了，原來是因為doCommit()執行過程中拋異常了，再重試次數用完後就會拋出LockWaitTimeoutException。因此，LockWaitTimeoutException只是表象，並不是最根本的原因，根本原因是doCommit()報錯了。

接著doCommit()看，我們知道，分支事務提交要先註冊，註冊成功後才能提交。而註冊就是要獲取全局鎖。

通過觀察DEBUG日誌，發現保存業務數據部分的分支註冊都是成功的

日誌太多，截取關鍵部分，如圖所示

結合代碼，發現真正的報錯發生在調用遠程服務啟動工作流那裡

查看工作流相關服務的日誌，發現一開始分支註冊就失敗了，部分關鍵日誌如下

工作流那個服務裡面，分支註冊返回的信息是：Global lock acquire failed xid = ....

幸好之前讀過Seata的源碼，不然此時肯定手足無措

於是，翻開Seata Server的源碼，看看為什麼返回的消息是這樣的

直接快進到io.seata.server.transaction.at.ATCore#branchSessionLock()

具體參見我的另一篇博文 https://www.cnblogs.com/cjsblog/p/16878067.html

在這裡，我們找到了“Global lock acquire failed”這個報錯信息的出處

證明，在執行branchSession.lock(autoCommit, skipCheckLock)的時候要麼失敗返回false，要麼拋異常了

根據配置，這裡是db，所以是DataBaseLockManager

接下來進入到LockStoreDataBaseDAO#acquireLock()開始真正加鎖了（往表裡插數據）

io.seata.server.storage.db.lock.LockStoreDataBaseDAO#acquireLock(java.util.List<io.seata.core.store.LockDO>, boolean, boolean)

方法太長，不細看了，重點看加鎖的SQL語句

由於用的MySQL，所以是io.seata.core.store.db.sql.lock.MysqlLockStoreSql

最終拼接好的SQL是這樣的：

insert into lock_table (xid, transaction_id, branch_id, resource_id, table_name, pk, row_key, gmt_create, gmt_modified) values (?, ?, ?, ?, ?, ?, ?, now(), now(), ?)

如果插入成功，則返回true，表示加鎖成功，對應的分支事務獲取鎖成功，分支事務註冊成功，皆大歡喜

補充一下，這裡面有很多地方配置項

至此，整個分支事務獲取鎖的邏輯我們都清楚了

接下來，再回頭看看lock_table表的各個列，首先看看怎麼從客戶端傳過來的一個lockKey變成List<LockDO>的

因此，假設客戶端發過來的lockKey是這樣：

offer message: xid=10.222.248.60:8091:2900686326154883760,branchType=AT,resourceId=jdbc:mysql://xxx.xxx.com:23306/newdraft_workflow,lockKey=wkfl_app_auth:12326192,12326193;act_ge_bytearray:6515890,6515891;act_re_procdef:rediscountClickSubmitCancel_UserTask_0yze6zf_5:1:6515892;act_re_deployment:6515889

 那麼這裡得到的List<LockDO>就是這樣的：

LockDO(xid=10.222.248.60:8091:2900686326154883760, transactionId=153490553438167612, branchId=153490553438162971, resourceId=jdbc:mysql://xxx.xxx.com:23306/newdraft_workflow, tableName=wkfl_app_auth, pk=12326192, status=0, rowKey=jdbc:mysql://xxx.xxx.com:23306/newdraft_workflow^^^wkfl_app_auth^^^12326192)
LockDO(xid=10.222.248.60:8091:2900686326154883760, transactionId=153490553438167612, branchId=153490553438162971, resourceId=jdbc:mysql://xxx.xxx.com:23306/newdraft_workflow, tableName=wkfl_app_auth, pk=12326193, status=0, rowKey=jdbc:mysql://xxx.xxx.com:23306/newdraft_workflow^^^wkfl_app_auth^^^12326193)
LockDO(xid=10.222.248.60:8091:2900686326154883760, transactionId=153490553438167612, branchId=153490553438162971, resourceId=jdbc:mysql://xxx.xxx.com:23306/newdraft_workflow, tableName=act_ge_bytearray, pk=6515890, status=0, rowKey=jdbc:mysql://xxx.xxx.com:23306/newdraft_workflow^^^act_ge_bytearray^^^6515890)
LockDO(xid=10.222.248.60:8091:2900686326154883760, transactionId=153490553438167612, branchId=153490553438162971, resourceId=jdbc:mysql://xxx.xxx.com:23306/newdraft_workflow, tableName=act_ge_bytearray, pk=6515891, status=0, rowKey=jdbc:mysql://xxx.xxx.com:23306/newdraft_workflow^^^act_ge_bytearray^^^6515891)
LockDO(xid=10.222.248.60:8091:2900686326154883760, transactionId=153490553438167612, branchId=153490553438162971, resourceId=jdbc:mysql://xxx.xxx.com:23306/newdraft_workflow, tableName=act_re_procdef, pk=rediscountClickSubmitCancel_UserTask_0yze6zf_5:1:6515892, status=0, rowKey=jdbc:mysql://xxx.xxx.com:23306/newdraft_workflow^^^act_re_procdef^^^rediscountClickSubmitCancel_UserTask_0yze6zf_5:1:6515892)
LockDO(xid=10.222.248.60:8091:2900686326154883760, transactionId=153490553438167612, branchId=153490553438162971, resourceId=jdbc:mysql://xxx.xxx.com:23306/newdraft_workflow, tableName=act_re_deployment, pk=6515889, status=0, rowKey=jdbc:mysql://xxx.xxx.com:23306/newdraft_workflow^^^act_re_deployment^^^6515889)

往lock_table表裡就會插入這6條數據，最後查看Seata服務端日誌發現，是由於欄位長度問題，導致插入失敗，於是加鎖失敗

原來pk欄位長度只有32，row_key欄位長度只有128，修改後的只讀長度如上圖所示

 

最後的最後，補充一個知識點

1、在整個全局事務中，每條SQL語句執行的時候都是一樣的流程，先註冊獲取全局鎖，然後才能提交，註意是每條SQL

2、所有的RM在執行本地操作的時候都是一樣的流程，因為數據源被Seata代理，所以在執行各自本地的邏輯時，設計到資料庫操作的，都是首先更改連接為非自動提交，然後進行分支註冊，註冊成功後連接可以提交了，最後報告分支狀態。

3、分支註冊會傳lockKey，註冊的過程就是獲取全局鎖的過程，也就是對這些lockKey包含的數據加鎖的過程。如果store.lock.mode=db的話，就是向lock_table表插數據。

4、在整個全局事務執行過程中，有多少次資料庫操作就有多少次分支註冊、提交、報告。因為每次跟資料庫的交互都要先獲取Connection，最終獲取到的都是ConnectionProxy

5、 所有RM（Resource Manager）本地事務都提交成功的話，整個全局事務算是提交成功了

Connection conn = dataSource.getConnection();
PreparedStatement ps = conn.prepareStatement(sql);
ResultSet rs = ps.executeUpdate();

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Spring Boot 中的 ApplicationRunner 和 CommandLineRunner
    Spring Boot 應用，在啟動的時候，如果想做一些事情，比如預先載入並緩存某些數據，讀取某些配置等等。總而言之，做一些初始化的操作時，那麼 Spring Boot 就提供了兩個介面幫助我們實現。 ...
  • L2-001-緊急救援*C++(使用Dijkstra演算法附帶全詳細註釋）
    L2-001 緊急救援 分數 25 作為一個城市的應急救援隊伍的負責人，你有一張特殊的全國地圖。在地圖上顯示有多個分散的城市和一些連接城市的快速道路。每個城市的救援隊數量和每一條連接兩個城市的快速道路長度都標在地圖上。當其他城市有緊急求助電話給你的時候，你的任務是帶領你的救援隊儘快趕往事發地，同時， ...
  • 【Visual Leak Detector】配置項 ReportFile
    使用 VLD 記憶體泄漏檢測工具輔助開發時整理的學習筆記。本篇介紹 VLD 配置文件中配置項 ReportFile 的使用方法。 ...
  • day01-項目介紹和功能實現
    項目練習01 1.項目介紹 這是一個簡單的項目練習，用於掌握新學習的SpringBoot技術。 項目操作界面 ● 技術棧 Vue3+ElementPlus+Axios+MyBatisPlus+SpringBoot 前後端分離 前後端分離開發，前端主體框架 Vue3 + 後端基礎框架 SpringBo ...
  • 關於自定義Base64編解碼的實現
    什麼是Base64 Base64編碼是將字元串以每3個8比特(bit)的位元組子序列拆分成4個6比特(bit)的位元組(6比特有效位元組，最左邊兩個永遠為0，其實也是8比特的位元組)子序列，再將得到的子序列查找Base64的編碼索引表，得到對應的字元拼接成新的字元串的一種編碼方式。 每個3位8比特數據拆分成 ...
  • Django筆記十之values_list指定欄位取值及distinct去重處理
    藍橋杯【答疑】 題目描述 分析 這是一個貪心演算法，要所得的時刻之和最小，而且下一個同學需要等上一個同學結束以後才能進行，因此需要對所耗總時間進行有小到大的排序，總時間相同的同學則對前兩步時間之和有小到大進行排序，最後算出時間之和即可。 代碼 import java.util.Arrays; impo ...
  • FastDFS併發問題的排查經歷
    附件用的fastdf上傳和下載的， 本地開發時就沒考慮過多文件上傳就會有併發的問題，比如多個只上傳成功了一個或者上傳了但是文檔內容缺失了，變成0位元組。 呵。。都是一次難忘的經歷。 經過本地模擬大批量的上傳下載， 發現fastdf是在啟動時就初始化了tracker和stroge, 每次調用過他的介面後 ...
  • Jx9 虛擬機
    一、Jx9 虛擬機的生命周期 載入 Jx9 腳本 jx9_compile() 或 jx9_compile_file()，載入編譯成功後，Jx9 引擎將自動創建一個實例 （jx9_vm） 並且返回指向此虛擬機的指針用於後續調用。 如載入編譯 Jx9 腳本時出現問題，也就是編譯時出錯，可調用jx9_co ...
一周排行
    -Advertisement-
    Play Games
  • Dapr Outbox 執行流程
    Dapr Outbox 是1.12中的功能。 本文只介紹Dapr Outbox 執行流程，Dapr Outbox基本用法請閱讀官方文檔 。本文中appID=order-processor，topic=orders 本文前提知識：熟悉Dapr狀態管理、Dapr發佈訂閱和Outbox 模式。 Outbo ...
  • Advanced .Net Debugging 7：托管堆與垃圾收集
    引言 在前幾章我們深度講解了單元測試和集成測試的基礎知識，這一章我們來講解一下代碼覆蓋率,代碼覆蓋率是單元測試運行的度量值,覆蓋率通常以百分比表示，用於衡量代碼被測試覆蓋的程度，幫助開發人員評估測試用例的質量和代碼的健壯性。常見的覆蓋率包括語句覆蓋率（Line Coverage）、分支覆蓋率（Bra ...
  • C#S7.NET實現西門子PLCDB塊數據採集的完整步驟
    前言 本文介紹瞭如何使用S7.NET庫實現對西門子PLC DB塊數據的讀寫，記錄了使用電腦模擬，模擬PLC，自至完成測試的詳細流程，並重點介紹了在這個過程中的易錯點，供參考。 用到的軟體： 1.Windows環境下鏈路層網路訪問的行業標準工具（WinPcap_4_1_3.exe）下載鏈接：http ...
  • WPF控制項：密碼框綁定MVVM
    從依賴倒置原則（Dependency Inversion Principle, DIP）到控制反轉（Inversion of Control, IoC）再到依賴註入（Dependency Injection, DI）的演進過程，我們可以理解為一種逐步抽象和解耦的設計思想。這種思想在C#等面向對象的編 ...
  • Python中的私有屬性與私有方法
    關於Python中的私有屬性和私有方法 Python對於類的成員沒有嚴格的訪問控制限制，這與其他面相對對象語言有區別。關於私有屬性和私有方法，有如下要點： 1、通常我們約定，兩個下劃線開頭的屬性是私有的（private）。其他為公共的（public）； 2、類內部可以訪問私有屬性（方法）； 3、類外 ...
  • C++ 訪問說明符詳解：封裝數據，控制訪問，提升安全性
    C++ 訪問說明符 訪問說明符是 C++ 中控制類成員（屬性和方法）可訪問性的關鍵字。它們用於封裝類數據並保護其免受意外修改或濫用。 三種訪問說明符： public：允許從類外部的任何地方訪問成員。 private：僅允許在類內部訪問成員。 protected：允許在類內部及其派生類中訪問成員。 示 ...
  • static_cast與dynamic_cast到底是什麼？
    寫這個隨筆說一下C++的static_cast和dynamic_cast用在子類與父類的指針轉換時的一些事宜。首先，【static_cast，dynamic_cast】【父類指針，子類指針】，兩兩一組，共有4種組合：用 static_cast 父類轉子類、用 static_cast 子類轉父類、使用 ...
  • C語言數據結構：雙向鏈表的增刪操作
    /******************************************************************************************************** * * * 設計雙向鏈表的介面 * * * * Copyright (c) 2023-2 ...
  • @ComponentScan註解的實現，Spring掃描包的過程
    相信接觸過spring做開發的小伙伴們一定使用過@ComponentScan註解 @ComponentScan("com.wangm.lifecycle") public class AppConfig { } @ComponentScan指定basePackage，將包下的類按照一定規則註冊成Be ...
  • opensips開啟python支持
    操作系統 ：CentOS 7.6_x64 opensips版本： 2.4.9 python版本：2.7.5 python作為腳本語言，使用起來很方便，查了下opensips的文檔，支持使用python腳本寫邏輯代碼。今天整理下CentOS7環境下opensips2.4.9的python模塊筆記及使用 ...
所有分類