MySQL 筆記整理(7) --行鎖功能:怎麼減少行鎖對性能的影響?

来源:https://www.cnblogs.com/dogtwo0214/archive/2019/03/03/10459652.html
-Advertisement-
Play Games

筆記記錄自林曉斌(丁奇)老師的《MySQL實戰45講》 7) --行鎖功能:怎麼減少行鎖對性能的影響? MySQL的行鎖是在引擎層由各個引擎自己實現的。因此,並不是所有的引擎都支持行鎖,如MyISAM引擎就不支持行鎖。對於不支持行鎖的引擎,只能使用表鎖來進行併發控制。對於這種引擎的表,同一張表上任何 ...


筆記記錄自林曉斌(丁奇)老師的《MySQL實戰45講》

7) --行鎖功能:怎麼減少行鎖對性能的影響?

  MySQL的行鎖是在引擎層由各個引擎自己實現的。因此,並不是所有的引擎都支持行鎖,如MyISAM引擎就不支持行鎖。對於不支持行鎖的引擎,只能使用表鎖來進行併發控制。對於這種引擎的表,同一張表上任何時刻只能有一個更新在執行,這就會影響到業務併發度。InnoDB是支持行鎖的,這也是MyISAM被它替代的一個重要原因。

  顧名思義,行鎖就是針對數據表中行記錄的鎖。比如事務A要更新某一行,同時事務B也要更新這一行,則B必須等待A的操作完成後才能進行更新。

兩階段鎖協議:

  在InnoDB事務中,行鎖是在需要的時候才加上的,但並不是不需要了就立刻釋放,而是要等到事務結束時才釋放。這個就是兩階段鎖協議。因此,如果你的事務中需要鎖多個行,要把最可能造成鎖衝突,最可能影響併發度的鎖儘量往後放。

  舉一個具體的例子:

  客戶A要在電影院B購買電影票,這可能涉及三個操作:

  1. 在A的賬戶餘額中扣除電影票的票價
  2. 在影院B的餘額中增加這張電影票的票價
  3. 記錄一條交易記錄。

  當然為了保證交易的原子性,我們要把這三個操作放在同一個事務中。那麼你應該怎樣安排上面的語句呢?(兩條Update,一條Insert)。根據兩階段鎖協議,不管你怎樣安排順序,所有的鎖都是在需要時加上,事務提交時釋放。因此,如果你把更新影院B餘額的操作放在最後,那麼影院餘額這一行的鎖的時間就最少,最大程度地減少了事務直接的鎖等待,提升了併發度。

死鎖和死鎖檢測:

  當併發系統中不同線程出現迴圈資源依賴,涉及的線程都在等待別的線程釋放資源時,就會導致幾個線程都在進入無限等待的狀態,稱為死鎖。當出現死鎖後我們有兩種策略:

  • 直接進入等待,直到超時,這個超時時間可以通過參數innodb_lock_wait_timeout來設置。
  • 另一種策略是,發起死鎖監測,發現死鎖後,主動回滾死鎖鏈條中的某一個事務,讓其他事務得以繼續執行。將參數innodb_deadlock_detect設置為on,表示開啟這個邏輯。

  第一種策略的預設值是50s,顯然在生產環境這個值是無法接受的。但如果你把這個值設置的很小,如1s,當出現死鎖時確實可以很快解開,但也會出現很多誤傷。因此我們常採用第二種策略:主動死鎖檢測。並且,innodb_deadlock_detect的預設值本身就是on。主動死鎖檢測在發生死鎖的時候能夠快速發現併進行處理,但是它也有額外負擔。例如有1000個線程併發更新同一行,那麼死鎖檢測會這樣工作,這1000個線程每個的事務被鎖的時候都要去看一下它所依賴的線程有沒有被別人鎖住,如此迴圈來判斷是否出現了迴圈等待。那麼此時死鎖檢測的就會消耗大量CPU資源,你就會看到CPU利用率很高,但是每秒執行不了幾個事務。

  那麼怎麼解決這種熱點行更新導致的性能問題呢?問題的根源在於,死鎖檢測要耗費大量的CPU資源。一種治標的方式是,如果你能確保事務一定不會出現死鎖,可以臨時把死鎖檢測關掉。當然這個操作伴隨著一定的風險,另一個思路是控制併發度。根據上面的分析,你會發現如果併發能夠控制住,比如同一行在同一時間最多只有10個線程在更新,那麼死鎖檢測的成本就是可以接受的。當然你也可以從設計上來優化這裡的邏輯。

上篇問題:

  備份一般都會在備庫上執行,你在用-single-transaction方法做邏輯備份的過程中,如果主庫上的一個小表做了一個DDL,比如給一個表上加了一列。這時候,從備庫上會看到什麼現象呢?

  (DML: Data manipulation language,數據操縱語言,增刪改查等;DDL:Data definition language,資料庫定義語言,修改表結構等;DCL:Data control language資料庫控制語言,修改用戶許可權等)

  假設這個DDL是針對錶t1的,這裡把備份過程中幾個關鍵的語句列出來:

Q1:SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ;
Q2:START TRANSACTION  WITH CONSISTENT SNAPSHOT;
/* other tables */
Q3:SAVEPOINT sp;
/* 時刻 1 */
Q4:show create table `t1`;
/* 時刻 2 */
Q5:SELECT * FROM `t1`;
/* 時刻 3 */
Q6:ROLLBACK TO SAVEPOINT sp;
/* 時刻 4 */
/* other tables */

  在備份開始的時候,為了確保可重覆讀隔離級別,再設置一次隔離級別(Q1時刻)。啟動事務,使用with consistent snapshot確保這個語句執行完成後就可以得到一個一致性視圖。(Q2時刻)設置一個保存點.(Q3時刻)。拿到t1的表結構(Q4時刻)。正式導數據(Q5時刻)。回滾到SAVEPOINT sp,在這裡的作用是釋放t1的MDL鎖。

我們題目設定中t1是小表,假定DDL到達後如果開始執行則很快就能執行完成。

參考答案如下:

  1. 如果在Q4語句執行之前主庫的DDL到達,現象:沒有影響,備份拿到的是DDL後的表結構。
  2. 如果在‘時刻2’到達,則表結構被改過,Q5執行的時候,報Table defination has changed,please retry transaction,現象mysqldump終止。
  3. 如果在“時刻2”和“時刻3”之間到達,mysqldump占著t1的MDL讀鎖,binlog被阻塞,現象:主從延遲,直到Q6執行完成。
  4. 從“時刻4”開始,mysqldump釋放了MDL讀鎖,現象:沒有影響,備份拿到的是DDL之前的表結構。

問題:

  如果你要刪除一個表裡面的10000行數據,有以下三種方式:

  1. 直接執行 delete from T limit 10000;
  2. 在一個連接中迴圈執行20次delete from T limit 500;
  3. 在20個連接中同時執行delete from T limilt 500;

  你會選擇哪種方式,為什麼呢?

  

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在MySQL 5.6版本中引入參數explicit_defaults_for_timestamp設置,該參數會影響Timestamp的預設屬性。 同時在MySQL 5.6版本中中,去除一張表只能有一個TIMESTAMP列的限制,允許單表中使用多個時間戳列。 在MySQL 5.6中,當參數explic ...
  • Timestarmp列可以設置兩個屬性:1、DEFAULT CURRENT_TIMESTAMP 表示插入記錄行時,如果未對該列指定值,則使用當前時間來為該欄位賦值2、ON UPDATE CURRENT_TIMESTAMP 表示在更新記錄時,如果為更新該事件戳列,使用當前時間來更新該欄位 如果在定義時 ...
  • 下麵以存儲過程查詢所有為例,非存儲過程(或不是查詢所有將*替換為你想要查詢的列即可)更為簡單, 語法:select * from 表名 where 列名 like'%條件%' 拼接後的set @變數名 = 'select * from 表名 where ' + @條件 + ' like ' + '' ...
  • MySQL基本語法 資料庫操作 增 格式: create database 表名; 示例: 刪 格式: drop database 表名; 示例: 改 直接在文件夾中修改 查 格式: show databases; 示例: 數據表操作 註意:刪、改、查等操作是在使用use 表名之後進行的 增 格式: ...
  • [toc] 前言 操作系統使用 頁面緩存 來填補記憶體和磁碟訪問的差距 對磁碟文件的寫入會先寫入道頁面緩存中 由操作系統來 決定何時 將修改過的臟頁刷新到磁碟 確保修改已經持久化到磁碟,須調用 fsyn c或者 fdatasync 資料庫在事務提交過程中調用fsync將數據持久化到磁碟,才滿足 ACI ...
  • 模擬Oracle+spring.net+NHibernate+MVC 對DLL文件引用問題得註意,庫文件最好放在固定目錄,否則嚴重影響項目遷移的成功, 由此可見,“代碼規範”的重要性(自己大部分時間耽誤在項目部署這點上,可以說是亂引用,導致很多BUG), 還有調試,註意分析,自己獨立解決。 謝謝蘇工 ...
  • https://blog.csdn.net/qq_36173194/article/details/79104171 ...
  • 公司窮,硬碟少,感測數據多,時不時就需要壓縮資料庫,這周都在乾這個事,就稍微專註的看了下[DBCC SHRINKFILE ]和[DBCC SHRINKDataBase ]的區別,發現還是沒看懂,而且有文章說做過多次試驗後發現msdn中的說法也不是完全正確。 那這次就只記錄一些比較關鍵的東西。首先[D ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...