Mysql實戰45講學習詳情----一條SQL更新語句是如何執行的?

来源:https://www.cnblogs.com/lvzhenhua/archive/2020/04/07/12621158.html
-Advertisement-
Play Games

相關詞語: redo log:日誌模塊(臨時記錄,類似於便簽),InnoDB 引擎特有日誌 WAL(Write-Ahead Logging):寫入方式 binlog:日誌模塊(歸檔日誌),Server 層的日誌 crash-safe:redo log帶來的好處(MySQL 可以恢復到固定時間內任意一 ...


相關詞語:

  redo log:日誌模塊(臨時記錄,類似於便簽),InnoDB 引擎特有日誌

  WAL(Write-Ahead Logging):寫入方式

  binlog:日誌模塊(歸檔日誌),Server 層的日誌

  crash-safe:redo log帶來的好處(MySQL 可以恢復到固定時間內任意一秒的狀態)

 

WAL執行過程(redo log日誌的存儲方式):

 

 

write pos 是當前記錄的位置,checkpoint 是當前要擦除的位置,它們之間的是“便簽”上還空著的部分。如果 write pos 追上 checkpoint,表示“粉板”滿了,這時候不能再執行新的更新,得停下來先擦掉一些記錄,把 checkpoint 推進一下。

redo log 與binlog的不同點:

  redo log 是 InnoDB 引擎特有的;binlog 是 MySQL 的 Server 層實現的,所有引擎都可以使用。

  redo log 是物理日誌,記錄的是“在某個數據頁上做了什麼修改”;binlog 是邏輯日誌,記錄的是這個語句的原始邏輯,比如“給 ID=2 這一行的 c 欄位加 1 ”。

  redo log 是迴圈寫的,空間固定會用完;binlog 是可以追加寫入的。“追加寫”是指 binlog 文件寫到一定大小後會切換到下一個,並不會覆蓋以前的日誌。

首先update語句會把查詢語句的流程先走一遍,區別就在與涉及到的兩個日誌模塊:

  update T set c=c+1 where ID=2;

  1.連接資料庫(連接器工作)

  2.清空查詢緩存(查詢緩存工作)--》更新語句會清空更新表的查詢緩存

  3.分析詞法和語法(分析器工作)--》得到這是一條更新語句

  4.優化器決定使用ID這個索引(優化器工作)--》決定執行方案

  5.執行器開始執行(執行器工作)--》找到這一行,進行更新

  更新過程中,執行器與引擎的交互:

    

      此處將redo log 的寫入拆成了兩個步驟:prepare 和 commit,這就是"兩階段提交"。

為什麼需要“兩階段提交“呢?

是為了讓兩份日誌之間的邏輯保持一致。

  這裡就可以說說crash-safe功能是怎麼實行的了。

  crash-safe(例如):怎樣讓資料庫恢復到半個月內任意一秒的狀態?

  binlog 會記錄所有的邏輯操作,並且是採用“追加寫”的形式。如果需要半個月內可以恢復,那麼備份系統中一定會保存最近半個月的所有 binlog,同時系統會定期做整庫備份。這裡的“定期”取決於系統的重要性,可以是一天一備,也可以是一周一備。

     當需要恢復到指定的某一秒時,比如某天下午兩點發現中午十二點有一次誤刪表,需要找回數據,那你可以這麼做:

      1.找到最近的一次全量備份

      2.從這個備份恢復到臨時庫

      3.從備份的時間點開始,將備份的 binlog 依次取出來,重放到中午誤刪表之前的那個時刻。

  而redo log 和 binlog 是兩個獨立的邏輯,如果不用兩階段提交,要麼就是先寫完 redo log 再寫 binlog,或者採用反過來的順序。我們看看這兩種方式會有什麼問題。

    ①,先寫 redo log 後寫 binlog。

      假設在 redo log 寫完,binlog 還沒有寫完的時候,MySQL 進程異常重啟。由於我們前面說過的,redo log 寫完之後,系統即使崩潰,仍然能夠把數據恢復回來,所以恢復後這一行 c 的值是 1。但是由於 binlog 沒寫完就 crash 了,這時候 binlog 裡面就沒有記錄這個語句。因此,之後備份日誌的時候,存起來的 binlog 裡面就沒有這條語句。然後你會發現,如果需要用這個 binlog 來恢復臨時庫的話,由於這個語句的 binlog 丟失,這個臨時庫就會少了這一次更新,恢復出來的這一行 c 的值就是 0,與原庫的值不同。

    ②,先寫 binlog 後寫 redo log。

      如果在 binlog 寫完之後 crash,由於 redo log 還沒寫,崩潰恢復以後這個事務無效,所以這一行 c 的值是 0。但是 binlog 裡面已經記錄了“把 c 從 0 改成 1”這個日誌。所以,在之後用 binlog 來恢復的時候就多了一個事務出來,恢復出來的這一行 c 的值就是 1,與原庫的值不同。

  簡單說,redo log 和 binlog 都可以用於表示事務的提交狀態,而兩階段提交就是讓這兩個狀態保持邏輯上的一致。

總結:

  redo log 用於保證 crash-safe 能力。

  nnodb_flush_log_at_trx_commit 這個參數設置成 1 的時候,表示每次事務的 redo log 都直接持久化到磁碟。(可以保證 MySQL 異常重啟之後數據不丟失)

  sync_binlog 這個參數設置成 1 的時候,表示每次事務的 binlog 都持久化到磁碟。(可以保證 MySQL 異常重啟之後 binlog 不丟失)

  兩階段提交是跨系統維持數據邏輯一致性時常用的一個方案,即使你不做資料庫內核開發,日常開發中也有可能會用到。   

【附加問題】

  定期全量備份的周期“取決於系統重要性,有的是一天一備,有的是一周一備”。那麼在什麼場景下,一天一備會比一周一備更有優勢呢?或者說,它影響了這個資料庫系統的哪個指標?

【個人理解】

  首先我理解的數據備份是為了恢複數據,假如需要恢復的是上周的數據,那麼一周一備份就需要整周全備+需要恢復的數據時間點binlog來恢復,一天一備的話只需要當天的全備+這天某個時間段的binlog來恢復,那麼一天已備份的優勢就在於恢復丟失數據時的工作量。

  其次就是數據丟失時的確認時間,天備只需要確認當天的binlog完好無損,而周備需要確認一整周的binlog完好。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 依賴 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> 配置文件 #使用springboot,未 ...
  • 一、redis 簡介 1、什麼是 redis? redis 是一個開源免費的高性能的 key - value 資料庫。 支持數據持久化,即可以將記憶體的數據存儲在磁碟中,重啟服務後可以再次載入磁碟中的數據並使用。 支持多種類型,比如:String(字元串)、List(列表)、Set(集合)、zset( ...
  • MySQL複雜查詢使用實例 By:授客 QQ:1033553122 表結構設計 SELECT id, `name`, parent_id FROM `tb_testcase_suite` 說明: parent_id值關聯表自身id列的值,如果其值為-1,則表示該記錄不存在父級記錄,否則表示該記錄存在 ...
  • 原因:在數據查詢中replace函數無法對錶table中text/ntext類型的欄位colname進行了字元串操作。 解決方法:將text當作varchar(實際內容長度低於8000位元組時)或把ntext當作nvarchar(實際內容長度低於4000位元組時)。 但是當text欄位內容長度超過800 ...
  • 11. 獲取所有員工當前的manager 獲取所有員工當前的manager,如果當前的manager是自己的話結果不顯示,當前表示to_date='9999 01 01'。結果第一列給出當前員工的emp_no,第二列給出其manager對應的manager_no。 sql CREATE TABLE ...
  • 1. 查找最晚入職員工的所有信息 sql CREATE TABLE ( int(11) NOT NULL, date NOT NULL, varchar(14) NOT NULL, varchar(16) NOT NULL, char(1) NOT NULL, date NOT NULL, PRIM ...
  • SET key value [EX seconds] [PX milliseconds] [NX|XX] EX seconds : 將鍵的過期時間設置為 seconds 秒。 執行 SET key value EX seconds 的效果等同於執行 SETEX key seconds value 。 ...
  • 大數據技術開篇之Hadoop入門【hdfs】 學習都是從瞭解到熟悉的過程,而學習一項新的技術的時候都是從這個技術是什麼?可以乾什麼?怎麼用?如何優化?這幾點開始。今天這篇文章分為兩個部分。一、hadoop概述 二、hadoop核心技術之一的hdfs的講解。 【hadoop概述】 一、hadoop是什 ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...