GreatSQL 中 Insert 慢是什麼情況?

来源:https://www.cnblogs.com/greatsql/p/18285186
-Advertisement-
Play Games

GreatSQL中 Insert 慢是什麼情況? 背景概述 客戶反映,業務上某張表的 Insert 操作速度很慢,單條 Insert 語句的最大執行時間超過了 5 秒。在收到客戶問題後,我們仔細檢查了資料庫狀態以及主機的負載情況,發現目前一切正常,並沒有發現資料庫故障或主機負載過高導致 insert ...


GreatSQL中 Insert 慢是什麼情況?

背景概述

客戶反映,業務上某張表的 Insert 操作速度很慢,單條 Insert 語句的最大執行時間超過了 5 秒。在收到客戶問題後,我們仔細檢查了資料庫狀態以及主機的負載情況,發現目前一切正常,並沒有發現資料庫故障或主機負載過高導致 insert 操作變慢的問題。

因此,我們分析了慢日誌,希望從中找出問題。經過分析,發現這條插入語句的query_timelock_time幾乎相同,因此懷疑是由於鎖等待導致插入操作變慢。隨後,我們捕獲了通用日誌,幾乎同一時間這張表有update,insert操作,發現由於更新操作阻塞了插入操作,導致插入速度下降的問題。這個更新操作所在的事務包含了多條 SQL 語句,因此如果該事務執行時間較長,就會阻塞插入操作,導致插入操作的執行時間延長。

問題復現

本次測試基於 GreatSQL-8.0.32-25,隔離級別為 RR

2.1 創建測試表

greatsql> CREATE TABLE `t11` (
 `id` int NOT NULL,
 `c1` int DEFAULT NULL,
 `c2` int DEFAULT NULL,
 `c3` int DEFAULT NULL,
 `c4` int DEFAULT NULL,
 PRIMARY KEY (`id`),
 KEY `c2` (`c2`,`c3`),
 KEY `c4` (`c4`)
);

greatsql> insert into t11 values (1,1,1,1,1),(2,2,2,2,2),(3,3,3,3,3),(5,5,5,5,5);

2.2 事務執行順序

時間 事務1 事務2
T1 BEGIN; BEGIN;
T2 update t10 set c2=20 where c4=2;
T3 insert into t10 values (6,2,2,2,2);
T4 -- hang住,處於鎖等待
T5 commit; -- 鎖等待結束
T6 commit;

2.3 事務1執行

greatsql> begin;
greatsql> update t11 set c2=20 where c4=2;

查看加鎖情況:

greatsql> select THREAD_ID,EVENT_ID,ENGINE_LOCK_ID,OBJECT_SCHEMA,OBJECT_NAME,INDEX_NAME,LOCK_TYPE,LOCK_MODE,LOCK_STATUS,LOCK_DATA from performance_schema.data_locks;
+-----------+----------+-------------------------------------------+---------------+-------------+------------+-----------+---------------+-------------+-----------+
| THREAD_ID | EVENT_ID | ENGINE_LOCK_ID               | OBJECT_SCHEMA | OBJECT_NAME | INDEX_NAME | LOCK_TYPE | LOCK_MODE   | LOCK_STATUS | LOCK_DATA |
+-----------+----------+-------------------------------------------+---------------+-------------+------------+-----------+---------------+-------------+-----------+
|     55 |    20 | 140531661278568:44172:140531678523168   | test      | t11     | NULL    | TABLE   | IX       | GRANTED   | NULL    |
|     55 |    20 | 140531661278568:43110:6:3:140531678129184 | test      | t11     | c4     | RECORD   | X       | GRANTED   | 2, 2    |
|     55 |    20 | 140531661278568:43110:4:3:140531678129528 | test      | t11     | PRIMARY   | RECORD   | X,REC_NOT_GAP | GRANTED   | 2     |
|     55 |    20 | 140531661278568:43110:6:4:140531678129872 | test      | t11     | c4     | RECORD   | X,GAP     | GRANTED   | 3, 3    |
+-----------+----------+-------------------------------------------+---------------+-------------+------------+-----------+---------------+-------------+-----------+
4 rows in set (0.01 sec)

可以看到此時給【3, 3】這條數據加加了X,GAP鎖

2.4 事務2執行

greatsql> begin;
greatsql> insert into t11 values (6,2,2,2,2);

查看加鎖情況:

greatsql> select THREAD_ID,EVENT_ID,ENGINE_LOCK_ID,OBJECT_SCHEMA,OBJECT_NAME,INDEX_NAME,LOCK_TYPE,LOCK_MODE,LOCK_STATUS,LOCK_DATA from performance_schema.data_locks;
+-----------+----------+-------------------------------------------+---------------+-------------+------------+-----------+------------------------+-------------+-----------+
| THREAD_ID | EVENT_ID | ENGINE_LOCK_ID               | OBJECT_SCHEMA | OBJECT_NAME | INDEX_NAME | LOCK_TYPE | LOCK_MODE        | LOCK_STATUS | LOCK_DATA |
+-----------+----------+-------------------------------------------+---------------+-------------+------------+-----------+------------------------+-------------+-----------+
|     56 |    14 | 140531661279416:44172:140531678523936   | test      | t11     | NULL    | TABLE   | IX           | GRANTED   | NULL    |
|     56 |    14 | 140531661279416:43110:6:4:140531678132256 | test      | t11     | c4     | RECORD   | X,GAP,INSERT_INTENTION | WAITING   | 3, 3    |
|     55 |    20 | 140531661278568:44172:140531678523168   | test      | t11     | NULL    | TABLE   | IX           | GRANTED   | NULL    |
|     55 |    20 | 140531661278568:43110:6:3:140531678129184 | test      | t11     | c4     | RECORD   | X            | GRANTED   | 2, 2    |
|     55 |    20 | 140531661278568:43110:4:3:140531678129528 | test      | t11     | PRIMARY   | RECORD   | X,REC_NOT_GAP      | GRANTED   | 2     |
|     55 |    20 | 140531661278568:43110:6:4:140531678129872 | test      | t11     | c4     | RECORD   | X,GAP          | GRANTED   | 3, 3    |
+-----------+----------+-------------------------------------------+---------------+-------------+------------+-----------+------------------------+-------------+-----------+
6 rows in set (0.00 sec)

greatsql> select REQUESTING_THREAD_ID,REQUESTING_EVENT_ID,REQUESTING_ENGINE_LOCK_ID,BLOCKING_THREAD_ID,BLOCKING_EVENT_ID,BLOCKING_ENGINE_LOCK_ID from performance_schema.data_lock_waits;
+----------------------+---------------------+-------------------------------------------+--------------------+-------------------+-------------------------------------------+
| REQUESTING_THREAD_ID | REQUESTING_EVENT_ID | REQUESTING_ENGINE_LOCK_ID         | BLOCKING_THREAD_ID | BLOCKING_EVENT_ID | BLOCKING_ENGINE_LOCK_ID          |
+----------------------+---------------------+-------------------------------------------+--------------------+-------------------+-------------------------------------------+
|          56 |          14 | 140531661279416:43110:6:4:140531678132256 |         55 |         20 | 140531661278568:43110:6:4:140531678129872 |
+----------------------+---------------------+-------------------------------------------+--------------------+-------------------+-------------------------------------------+
1 row in set (0.00 sec)

通過上面2張表,可以看到 X,GAP鎖 阻塞了 X,GAP,INSERT_INTENTION 鎖

2.5 結論

此次insert慢的原因就是update語句所在的事務執行時間較長,update語句產生了GAP鎖;

insert 語句在執行時此update語句所在事務還沒有執行完成,因此insert處於鎖等待階段,待update所在事務提交後insert才提交;

總結

導致此次問題的原因是 GAP鎖阻塞了 INSERT_INTENTION 鎖;因此建議客戶在執行update操作時,where條件用主鍵列,這樣可以避免加GAP鎖。


Enjoy GreatSQL

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 各位熱愛Apache DolphinScheduler的小伙伴們,社區6月月報更新啦!這裡將記錄Apache DolphinScheduler社區每月的重要更新,歡迎關註。 月度Merge Stars 感謝以下小伙伴上個月為Apache DolphinScheduler所做的精彩貢獻(排名不分先後) ...
  • 各位熱愛Apache SeaTunnel的小伙伴們,社區6月份月報來啦!這裡將記錄Apache SeaTunnel社區每月的重要更新,歡迎關註。 月度Merge Stars 感謝以下小伙伴上個月為Apache SeaTunnel所做的精彩貢獻(排名不分先後): @baicie,@TaoZex,@lo ...
  • 設想我們在一家很大的互聯網公司做IT方面的規劃、開發和維護,有以下這樣的應用場景: 公司里有若幹個不同的開發團隊,開發語言有Java、.net、Python、C++....十來種,還有很多外包團隊對項目進行開發,大中小系統已經多的數不過來;並且各個團隊、系統間都需要進行海量數據的交換(比如搜索引擎實 ...
  • GaussDB(DWS)成功將Greenplum上數萬個數據模型、數萬個代碼腳本、數百萬行代碼全部遷移至安全可控的數據倉庫平臺。 ...
  • MySql 1. 事務的四大特性? 事務特性ACID:原子性(Atomicity)、一致性(Consistency)、隔離性(Isolation)、持久性(Durability)。 1.原子性是指事務包含的所有操作要麼全部成功,要麼全部失敗回滾。 2.一致性是指一個事務執行之前和執行之後都必須處於一 ...
  • 《Spark 快速大數據分析》是一本為 Spark 初學者準備的書,它沒有過多深入實現細節,而是更多關註上層用戶的具體用法。不過,本書絕不僅僅限於 Spark 的用法,它對 Spark 的核心概念和基本原理也有較為全面的介紹,讓讀者能夠知其然且知其所以然。 Spark快速大數據分析PDF下載 本書作 ...
  • 二、MySQL基礎操作 1. 資料庫操作 顯示所有資料庫 SHOW DATABASES; 創建資料庫 CREATE DATABASE MyDb; 刪除資料庫 -- 直接刪除庫,不檢查是否存在 DROP DATABASE MyDb; -- 或檢查是否存在 DROP DATABASE [IF EXIST ...
  • 引言 這篇文章將給大家講解關於DolphinScheduler與AWS的EMR和Redshift的集成實踐,通過本文希望大家能更深入地瞭解AWS智能湖倉架構,以及DolphinScheduler在實際應用中的重要性。 AWS智能湖倉架構 首先,我們來看一下AWS經典的智能湖倉架構圖。 這張圖展示了以 ...
一周排行
    -Advertisement-
    Play Games
  • 通過WPF的按鈕、文本輸入框實現了一個簡單的SpinBox數字輸入用戶組件並可以通過數據綁定數值和步長。本文中介紹了通過Xaml代碼實現自定義組件的佈局,依賴屬性的定義和使用等知識點。 ...
  • 以前,我看到一個朋友在對一個系統做初始化的時候,通過一組魔幻般的按鍵,調出來一個隱藏的系統設置界面,這個界面在常規的菜單或者工具欄是看不到的,因為它是一個後臺設置的關鍵界面,不公開,同時避免常規用戶的誤操作,它是作為一個超級管理員的入口功能,這個是很不錯的思路。其實Winform做這樣的處理也是很容... ...
  • 一:背景 1. 講故事 前些天有位朋友找到我,說他的程式每次關閉時就會自動崩潰,一直找不到原因讓我幫忙看一下怎麼回事,這位朋友應該是第二次找我了,分析了下 dump 還是挺經典的,拿出來給大家分享一下吧。 二:WinDbg 分析 1. 為什麼會崩潰 找崩潰原因比較簡單,用 !analyze -v 命 ...
  • 在一些報表模塊中,需要我們根據用戶操作的名稱,來動態根據人員姓名,更新報表的簽名圖片,也就是電子手寫簽名效果,本篇隨筆介紹一下使用FastReport報表動態更新人員簽名圖片。 ...
  • 最新內容優先發佈於個人博客:小虎技術分享站,隨後逐步搬運到博客園。 創作不易,如果覺得有用請在Github上為博主點亮一顆小星星吧! 博主開始學習編程於11年前,年少時還只會使用cin 和cout ,給單片機點點燈。那時候,類似async/await 和future/promise 模型的認知還不是 ...
  • 之前在阿裡雲ECS 99元/年的活動實例上搭建了一個測試用的MINIO服務,以前都是直接當基礎設施來使用的,這次準備自己學一下S3相容API相關的對象存儲開發,因此有了這個小工具。目前僅包含上傳功能,後續計劃開發一個類似圖床的對象存儲應用。 ...
  • 目錄簡介快速入門安裝 NuGet 包實體類User資料庫類DbFactory增刪改查InsertSelectUpdateDelete總結 簡介 NPoco 是 PetaPoco 的一個分支,具有一些額外的功能,截至現在 github 星數 839。NPoco 中文資料沒多少,我是被博客園群友推薦的, ...
  • 前言 前面使用 Admin.Core 的代碼生成器生成了通用代碼生成器的基礎模塊 分組,模板,項目,項目模型,項目欄位的基礎功能,本篇繼續完善,實現最核心的模板生成功能,並提供生成預覽及代碼文件壓縮下載 準備 首先清楚幾個模塊的關係,如何使用,簡單畫一個流程圖 前面完成了基礎的模板組,模板管理,項目 ...
  • 假設需要實現一個圖標和文本結合的按鈕 ,普通做法是 直接重寫該按鈕的模板; 如果想作為通用的呢? 兩種做法: 附加屬性 自定義控制項 推薦使用附加屬性的形式 第一種:附加屬性 創建Button的附加屬性 ButtonExtensions 1 public static class ButtonExte ...
  • 在C#中,委托是一種引用類型的數據類型,允許我們封裝方法的引用。通過使用委托,我們可以將方法作為參數傳遞給其他方法,或者將多個方法組合在一起,從而實現更靈活的編程模式。委托類似於函數指針,但提供了類型安全和垃圾回收等現代語言特性。 基本概念 定義委托 定義委托需要指定它所代表的方法的原型,包括返回類 ...