MySQL高級11-後臺進程

来源:https://www.cnblogs.com/Se7eN-HOU/archive/2023/09/20/17715597.html
-Advertisement-
Play Games

一、前言 MySQL的服務實現通過後臺多個線程、記憶體池、文件交互來實現對外服務的,不同線程實現不同的資源操作,各個線程相互協助,共同來完成資料庫的服務。MySQL常用的後臺線程概括如下,分為Master Thread,IO Thread,Purge Thread,Page Cleaner Threa ...


一、前言

  MySQL的服務實現通過後臺多個線程、記憶體池、文件交互來實現對外服務的,不同線程實現不同的資源操作,各個線程相互協助,共同來完成資料庫的服務。MySQL常用的後臺線程概括如下,分為Master Thread,IO Thread,Purge Thread,Page Cleaner Thread

二、Master Thread

  在MySQL中,Master Thread(主線程)是一個重要的後臺線程,負責處理複製和恢復相關的任務。它是MySQL Replication(MySQL複製)架構中的核心組件之一。   Master Thread主要的責任包括:
  • 複製事件的寫入:當有新的事務被提交到主資料庫時,Master Thread負責將複製事件寫入到二進位日誌(Binary Log)中。這些複製事件是描述對主資料庫進行的數據修改操作的邏輯記錄。
  • 二進位日誌文件的輪詢:Master Thread負責輪詢二進位日誌文件,以確定是否有新的複製事件添加到日誌中。它會定期檢查是否需要創建新的二進位日誌文件,以限制單個日誌文件的大小。
  • 與從資料庫進行通信:Master Thread與從資料庫進行網路通信,將複製事件傳輸給從庫。它將複製事件以事件流的形式發送給從資料庫,確保從資料庫可以獲取到主庫上所有的數據更改操作。
  • 複製相關的線程管理:Master Thread管理其他複製相關的線程,如IO Thread和SQL Thread。IO Thread負責從從庫讀取和處理複製請求,SQL Thread負責執行複製事件。
  • Master Thread在MySQL啟動時啟動,並一直運行在後臺,直到MySQL關閉。它是MySQL複製架構中非常重要的一部分,保證了數據的可靠複製和同步
  對於複製環境中的故障排除和監控,理解和瞭解Master Thread的運行和行為非常重要。例如,可以通過檢查Master Thread的狀態和錯誤日誌,來瞭解複製是否正常工作,以及是否存在任何問題或延遲。   總結:Master Thread是MySQL中負責處理複製和恢復任務的重要後臺線程,它負責將複製事件寫入到二進位日誌中,並與從資料庫進行通信,確保數據的可靠複製和同步。瞭解Master Thread的運行和行為對於複製環境的故障排除和監控非常重要。

三、IO Thread    

  在MySQL中,IO Thread(輸入/輸出線程)是複製架構中的一個核心組件。它是負責與複製的從庫進行通信的後臺線程,負責從從庫讀取並處理複製請求。在InnoDB存儲引擎中大量使用了AIO非同步非阻塞來處理IO請求。   IO Thread的主要任務包括:  
  • 與從庫建立連接:IO Thread負責與一個或多個從庫建立連接,並保持與從庫的持久連接。通過這些連接,從庫可以向主庫發送複製請求,請求複製主庫中的數據。
  • 從從庫讀取複製事件:一旦與從庫建立了連接,IO Thread會定期從從庫讀取複製事件。這些複製事件是由Master Thread將主庫上的數據更改操作以二進位格式寫入到二進位日誌中,並通過IO Thread傳輸給從庫的。
  • 處理複製事件:IO Thread讀取複製事件後,會將這些事件發送給SQL Thread處理。SQL Thread將複製事件解析並執行相應的數據更改操作,保證從庫中的數據與主庫保持同步。

  IO Thread是在MySQL啟動時啟動的,並一直運行在後臺,直到MySQL關閉。它與Master Thread緊密合作,共同完成複製架構中主從之間的數據傳輸和同步。通過IO Thread,從庫能夠從主庫獲取數據更改併進行複製,確保從庫和主庫之間的數據保持一致性。

  IO Thread 主要負責下麵IO請求的回調

  

  使用指令: show engine innodb status; 可以查看

  

  總結:IO Thread是MySQL複製架構中的核心組件,負責與從庫建立連接,並處理從庫的複製請求。它從主庫讀取複製事件,並將這些事件發送給SQL Thread進行處理。IO Thread在MySQL啟動時啟動,與Master Thread緊密合作,實現主從資料庫之間的數據傳輸和同步。瞭解IO Thread的運行和行為對於複製環境的監控和故障排除非常重要。

四、Purge Thread

  在MySQL中,Purge Thread(清理線程)是複製架構中的一個重要組件。它負責刪除不再需要的二進位日誌文件,以釋放磁碟空間並維護二進位日誌的大小。

  Purge Thread的主要任務包括:

  • 刪除過期的二進位日誌:當從庫成功複製了主庫上的數據更改後,它會通知主庫上的Purge Thread,以刪除已經不再需要的二進位日誌。這些已經複製到從庫並且不再需要的二進位日誌會占用寶貴的磁碟空間。Purge Thread會根據從庫的狀態信息,刪除這些過期的二進位日誌,並釋放磁碟空間。
  • 維護二進位日誌的大小:Purge Thread還負責維護和管理二進位日誌的大小。它會檢查當前的二進位日誌文件是否已經達到了指定的大小限制。如果已經達到了限制,Purge Thread會關閉當前的二進位日誌文件,並開始寫入新的日誌文件。舊的日誌文件將被重命名和壓縮,以節省磁碟空間。

   Purge Thread是在MySQL啟動時啟動的,並一直運行在後臺,直到MySQL關閉。它會定期檢查並刪除不再需要的二進位日誌文件,以及維護二進位日誌的大小。通過這些操作,在複製過程中保持磁碟空間的有效利用,並防止二進位日誌文件無限增長。

  總結:Purge Thread是MySQL複製架構中的一個組件,負責刪除不再需要的二進位日誌文件,並維護二進位日誌的大小。它會根據從庫的狀態信息,刪除已經複製到從庫並且不再需要的二進位日誌,並釋放磁碟空間。此外,Purge Thread還會檢查並維護二進位日誌的大小,以防止它們無限增長。瞭解Purge Thread的運行和行為對於複製環境的監控和故障排除非常重要。

五、Page cleaner thread

  在MySQL中,Page Cleaner Thread是InnoDB存儲引擎的一個重要後臺線程,用於管理和維護臟頁(已被修改但尚未寫入磁碟的頁)的刷新工作。它在InnoDB存儲引擎啟動時自動啟動,並持續運行以處理臟頁的刷新需求。

  Page cleaner thread的主要職責包括:

  • 掃描臟頁:Page Cleaner Thread周期性地掃描InnoDB緩衝池,檢查其中的臟頁。臟頁是指已被修改的頁面,它們的內容需要被刷新到磁碟上的數據文件中,以確保數據的持久性。
  • 臟頁刷新:當找到臟頁時,Page Cleaner Thread會將這些臟頁的數據寫回到對應的數據文件中,使其變成乾凈頁。這個過程稱為臟頁刷新。
  • 決定刷新速率:根據系統的負載情況和磁碟IO能力,Page Cleaner Thread會根據需要自動調整臟頁刷新的速率,以避免對系統性能造成過大的負擔。

  Page Cleaner Thread的存在和正常運行對於保證資料庫的數據持久性和性能起著重要作用。如果Page Cleaner Thread無法及時刷新臟頁,會導致臟頁積壓在記憶體中,可能導致緩衝池不足,影響資料庫性能。因此,在監控和優化MySQL性能時,需要關註Page Cleaner Thread的運行狀況以及相關配置參數的調整。


侯哥語錄:我曾經是一個職業教育者,現在是一個自由開發者。我希望我的分享可以和更多人一起進步。分享一段我喜歡的話給大家:"我所理解的自由不是想乾什麼就乾什麼,而是想不幹什麼就不幹什麼。當你還沒有能力說不得時候,就努力讓自己變得強大,擁有說不得權利。"
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 上傳Git的忽略文件下載 千萬不能忘記配置忽略文件,不然可能會搞得你一個項目10多個G,很煩人 先梳理下我們需要新建的項目如下。介面層一般I(i)開頭,實現層不需要。後面還會增加擴展類或者其他的。 API程式層:FastEasyAPI 服務介面層:FastEasy.IService 服務實現層:Fa ...
  • 一、Linux 的介紹 1)常見的操作系統 Windows,它微軟公司開發的一款桌面操作系統(閉源系統)。版本有dos、win98、win NT、win XP、win 7、win vista、win 8、win 10。伺服器操作系統:win server 2003、win server 2008、w ...
  • 你要退出終端會話時,要是存在被停止的進程,會出現警告信息。但如果使用了後臺進程,只有某些終端模擬器會在你退出終端會話前提醒你還有後臺作業在運行。 如果希望運行在後臺模式的腳本在登出控制台後能夠繼續運行,我再一篇文章中看到,有方法可以實現。 有時你會想在終端會話中啟動shell腳本,然後讓腳本一直以後 ...
  • 1. “快速、精確和實現簡單” 1.1. 三者永遠只能滿足其二,必須舍掉一個 2. 排序優化 2.1. 無論如何排序都是一個成本很高的操作,所以從性能角度考慮,應儘可能避免排序或者儘可能避免對大量數據進行排序 2.2. 文件排序(filesort) 2.2.1. MySQL需要自己進行排序,如果數據 ...
  • 一、事務概念 事務是一組操作的集合,他是一個不可分割的工作單位,事務會把所有操作作為一個整體一起向系統提交或者撤銷請求操作,即這些操作要麼同時成功,要麼同時失敗。 二、事務特性 原子性(Atomicity):事務是不可分割的最小操作單元,要麼全部成功,要麼全部失敗 一致性(Consistency): ...
  • 一、InnoDB行格式 行格式 緊湊的存儲特性 增強的可變長度列存儲 大型索引鍵首碼支持 壓縮支持 支持的表空間類型 REDUNDANT N N N N system, file-per-table, general COMPACT Y N N N system, file-per-table, g ...
  • 前言 ProxySQL ProxySQL 是基於 MySQL 的一款開源的中間件的產品,是一個靈活的 MySQL 代理層,可以實現讀寫分離,支持 Query 路由功能,支持動態指定某個 SQL 進行緩存,支持動態載入(無需重啟 ProxySQL 服務),故障切換和一些 SQL 的過濾功能。 Grea ...
  • 查詢SQL語句執行頻率 查詢 mysql 服務啟動時長 SHOW STATUS LIKE 'uptime'; 下列輸出表示服務啟動了276324秒 + + + | Variable_name | Value | + + + | Uptime | 276324 | + + + 查詢全局SQL執行的頻率 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...