MySQL高級11-後臺進程

来源:https://www.cnblogs.com/Se7eN-HOU/archive/2023/09/20/17715597.html
-Advertisement-
Play Games

一、前言 MySQL的服務實現通過後臺多個線程、記憶體池、文件交互來實現對外服務的,不同線程實現不同的資源操作,各個線程相互協助,共同來完成資料庫的服務。MySQL常用的後臺線程概括如下,分為Master Thread,IO Thread,Purge Thread,Page Cleaner Threa ...


一、前言

  MySQL的服務實現通過後臺多個線程、記憶體池、文件交互來實現對外服務的,不同線程實現不同的資源操作,各個線程相互協助,共同來完成資料庫的服務。MySQL常用的後臺線程概括如下,分為Master Thread,IO Thread,Purge Thread,Page Cleaner Thread

二、Master Thread

  在MySQL中,Master Thread(主線程)是一個重要的後臺線程,負責處理複製和恢復相關的任務。它是MySQL Replication(MySQL複製)架構中的核心組件之一。   Master Thread主要的責任包括:
  • 複製事件的寫入:當有新的事務被提交到主資料庫時,Master Thread負責將複製事件寫入到二進位日誌(Binary Log)中。這些複製事件是描述對主資料庫進行的數據修改操作的邏輯記錄。
  • 二進位日誌文件的輪詢:Master Thread負責輪詢二進位日誌文件,以確定是否有新的複製事件添加到日誌中。它會定期檢查是否需要創建新的二進位日誌文件,以限制單個日誌文件的大小。
  • 與從資料庫進行通信:Master Thread與從資料庫進行網路通信,將複製事件傳輸給從庫。它將複製事件以事件流的形式發送給從資料庫,確保從資料庫可以獲取到主庫上所有的數據更改操作。
  • 複製相關的線程管理:Master Thread管理其他複製相關的線程,如IO Thread和SQL Thread。IO Thread負責從從庫讀取和處理複製請求,SQL Thread負責執行複製事件。
  • Master Thread在MySQL啟動時啟動,並一直運行在後臺,直到MySQL關閉。它是MySQL複製架構中非常重要的一部分,保證了數據的可靠複製和同步
  對於複製環境中的故障排除和監控,理解和瞭解Master Thread的運行和行為非常重要。例如,可以通過檢查Master Thread的狀態和錯誤日誌,來瞭解複製是否正常工作,以及是否存在任何問題或延遲。   總結:Master Thread是MySQL中負責處理複製和恢復任務的重要後臺線程,它負責將複製事件寫入到二進位日誌中,並與從資料庫進行通信,確保數據的可靠複製和同步。瞭解Master Thread的運行和行為對於複製環境的故障排除和監控非常重要。

三、IO Thread    

  在MySQL中,IO Thread(輸入/輸出線程)是複製架構中的一個核心組件。它是負責與複製的從庫進行通信的後臺線程,負責從從庫讀取並處理複製請求。在InnoDB存儲引擎中大量使用了AIO非同步非阻塞來處理IO請求。   IO Thread的主要任務包括:  
  • 與從庫建立連接:IO Thread負責與一個或多個從庫建立連接,並保持與從庫的持久連接。通過這些連接,從庫可以向主庫發送複製請求,請求複製主庫中的數據。
  • 從從庫讀取複製事件:一旦與從庫建立了連接,IO Thread會定期從從庫讀取複製事件。這些複製事件是由Master Thread將主庫上的數據更改操作以二進位格式寫入到二進位日誌中,並通過IO Thread傳輸給從庫的。
  • 處理複製事件:IO Thread讀取複製事件後,會將這些事件發送給SQL Thread處理。SQL Thread將複製事件解析並執行相應的數據更改操作,保證從庫中的數據與主庫保持同步。

  IO Thread是在MySQL啟動時啟動的,並一直運行在後臺,直到MySQL關閉。它與Master Thread緊密合作,共同完成複製架構中主從之間的數據傳輸和同步。通過IO Thread,從庫能夠從主庫獲取數據更改併進行複製,確保從庫和主庫之間的數據保持一致性。

  IO Thread 主要負責下麵IO請求的回調

  

  使用指令: show engine innodb status; 可以查看

  

  總結:IO Thread是MySQL複製架構中的核心組件,負責與從庫建立連接,並處理從庫的複製請求。它從主庫讀取複製事件,並將這些事件發送給SQL Thread進行處理。IO Thread在MySQL啟動時啟動,與Master Thread緊密合作,實現主從資料庫之間的數據傳輸和同步。瞭解IO Thread的運行和行為對於複製環境的監控和故障排除非常重要。

四、Purge Thread

  在MySQL中,Purge Thread(清理線程)是複製架構中的一個重要組件。它負責刪除不再需要的二進位日誌文件,以釋放磁碟空間並維護二進位日誌的大小。

  Purge Thread的主要任務包括:

  • 刪除過期的二進位日誌:當從庫成功複製了主庫上的數據更改後,它會通知主庫上的Purge Thread,以刪除已經不再需要的二進位日誌。這些已經複製到從庫並且不再需要的二進位日誌會占用寶貴的磁碟空間。Purge Thread會根據從庫的狀態信息,刪除這些過期的二進位日誌,並釋放磁碟空間。
  • 維護二進位日誌的大小:Purge Thread還負責維護和管理二進位日誌的大小。它會檢查當前的二進位日誌文件是否已經達到了指定的大小限制。如果已經達到了限制,Purge Thread會關閉當前的二進位日誌文件,並開始寫入新的日誌文件。舊的日誌文件將被重命名和壓縮,以節省磁碟空間。

   Purge Thread是在MySQL啟動時啟動的,並一直運行在後臺,直到MySQL關閉。它會定期檢查並刪除不再需要的二進位日誌文件,以及維護二進位日誌的大小。通過這些操作,在複製過程中保持磁碟空間的有效利用,並防止二進位日誌文件無限增長。

  總結:Purge Thread是MySQL複製架構中的一個組件,負責刪除不再需要的二進位日誌文件,並維護二進位日誌的大小。它會根據從庫的狀態信息,刪除已經複製到從庫並且不再需要的二進位日誌,並釋放磁碟空間。此外,Purge Thread還會檢查並維護二進位日誌的大小,以防止它們無限增長。瞭解Purge Thread的運行和行為對於複製環境的監控和故障排除非常重要。

五、Page cleaner thread

  在MySQL中,Page Cleaner Thread是InnoDB存儲引擎的一個重要後臺線程,用於管理和維護臟頁(已被修改但尚未寫入磁碟的頁)的刷新工作。它在InnoDB存儲引擎啟動時自動啟動,並持續運行以處理臟頁的刷新需求。

  Page cleaner thread的主要職責包括:

  • 掃描臟頁:Page Cleaner Thread周期性地掃描InnoDB緩衝池,檢查其中的臟頁。臟頁是指已被修改的頁面,它們的內容需要被刷新到磁碟上的數據文件中,以確保數據的持久性。
  • 臟頁刷新:當找到臟頁時,Page Cleaner Thread會將這些臟頁的數據寫回到對應的數據文件中,使其變成乾凈頁。這個過程稱為臟頁刷新。
  • 決定刷新速率:根據系統的負載情況和磁碟IO能力,Page Cleaner Thread會根據需要自動調整臟頁刷新的速率,以避免對系統性能造成過大的負擔。

  Page Cleaner Thread的存在和正常運行對於保證資料庫的數據持久性和性能起著重要作用。如果Page Cleaner Thread無法及時刷新臟頁,會導致臟頁積壓在記憶體中,可能導致緩衝池不足,影響資料庫性能。因此,在監控和優化MySQL性能時,需要關註Page Cleaner Thread的運行狀況以及相關配置參數的調整。


侯哥語錄:我曾經是一個職業教育者,現在是一個自由開發者。我希望我的分享可以和更多人一起進步。分享一段我喜歡的話給大家:"我所理解的自由不是想乾什麼就乾什麼,而是想不幹什麼就不幹什麼。當你還沒有能力說不得時候,就努力讓自己變得強大,擁有說不得權利。"
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 上傳Git的忽略文件下載 千萬不能忘記配置忽略文件,不然可能會搞得你一個項目10多個G,很煩人 先梳理下我們需要新建的項目如下。介面層一般I(i)開頭,實現層不需要。後面還會增加擴展類或者其他的。 API程式層:FastEasyAPI 服務介面層:FastEasy.IService 服務實現層:Fa ...
  • 一、Linux 的介紹 1)常見的操作系統 Windows,它微軟公司開發的一款桌面操作系統(閉源系統)。版本有dos、win98、win NT、win XP、win 7、win vista、win 8、win 10。伺服器操作系統:win server 2003、win server 2008、w ...
  • 你要退出終端會話時,要是存在被停止的進程,會出現警告信息。但如果使用了後臺進程,只有某些終端模擬器會在你退出終端會話前提醒你還有後臺作業在運行。 如果希望運行在後臺模式的腳本在登出控制台後能夠繼續運行,我再一篇文章中看到,有方法可以實現。 有時你會想在終端會話中啟動shell腳本,然後讓腳本一直以後 ...
  • 1. “快速、精確和實現簡單” 1.1. 三者永遠只能滿足其二,必須舍掉一個 2. 排序優化 2.1. 無論如何排序都是一個成本很高的操作,所以從性能角度考慮,應儘可能避免排序或者儘可能避免對大量數據進行排序 2.2. 文件排序(filesort) 2.2.1. MySQL需要自己進行排序,如果數據 ...
  • 一、事務概念 事務是一組操作的集合,他是一個不可分割的工作單位,事務會把所有操作作為一個整體一起向系統提交或者撤銷請求操作,即這些操作要麼同時成功,要麼同時失敗。 二、事務特性 原子性(Atomicity):事務是不可分割的最小操作單元,要麼全部成功,要麼全部失敗 一致性(Consistency): ...
  • 一、InnoDB行格式 行格式 緊湊的存儲特性 增強的可變長度列存儲 大型索引鍵首碼支持 壓縮支持 支持的表空間類型 REDUNDANT N N N N system, file-per-table, general COMPACT Y N N N system, file-per-table, g ...
  • 前言 ProxySQL ProxySQL 是基於 MySQL 的一款開源的中間件的產品,是一個靈活的 MySQL 代理層,可以實現讀寫分離,支持 Query 路由功能,支持動態指定某個 SQL 進行緩存,支持動態載入(無需重啟 ProxySQL 服務),故障切換和一些 SQL 的過濾功能。 Grea ...
  • 查詢SQL語句執行頻率 查詢 mysql 服務啟動時長 SHOW STATUS LIKE 'uptime'; 下列輸出表示服務啟動了276324秒 + + + | Variable_name | Value | + + + | Uptime | 276324 | + + + 查詢全局SQL執行的頻率 ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...