MySQL從庫實用技能(一)--巧用slave_exec_mode參數

来源:https://www.cnblogs.com/gjc592/archive/2020/04/11/12679326.html
-Advertisement-
Play Games

想必從庫異常中斷的情況不在少數,其中報錯信息中1032及1062的錯誤占了不少的比重 錯誤1032指的是從庫中找不到對應行的記錄 錯誤1062指的是主鍵衝突 遇到此報錯時,大多DBA會使用如下方法進行處理 1 手動處理 方法一: 找出引起異常的數據然後手動在從庫處理後重啟SQL線程繼續觀察; 根據報 ...


想必從庫異常中斷的情況不在少數,其中報錯信息中1032及1062的錯誤占了不少的比重

錯誤1032指的是從庫中找不到對應行的記錄

錯誤1062指的是主鍵衝突

遇到此報錯時,大多DBA會使用如下方法進行處理

1 手動處理

方法一: 找出引起異常的數據然後手動在從庫處理後重啟SQL線程繼續觀察;

根據報錯的信息,通過mysqlbinlog解析binlog日誌,找到對應的數據,然後查看從庫是否缺失數據或者已存在對應主鍵的數據,然後手動在從庫處理對應記錄的數據。處理完畢後再次開啟同步。

但是,後續還得觀察是否再次出現錯誤

方法二: 手動跳過1個或更多個事務,然後繼續觀察。

/* 傳統點位模式複製 */
SQL>set global sql_slave_skip_counter=1;
SQL>start sql_thread;

/* GTID模式複製 */
SQL>set gtid_next='e29d3917-9dbb-11e9-8b64-e4434b6e2c80:11103335-16054791';
SQL>begin;commit;
SQL>set gtid_next='AUTOMATIC';

註意,手動跳過事務的方式存在一個很大的缺點: 1個事務中存在多個sql,用此方式,本事務中的其他SQL也會被跳過(具體的和binlog-format有關,對於當前常用的ROW格式均有影響)。

2  持續跳過錯誤

但是,如果一直報錯,但是,這些報錯又可以忽略可以怎麼處理,此時也有很多方法,通常使用的是如下幾種:

方法一:  使用pt-slave-restart工具跳過對應錯誤

但是使用pt-slave-restart工具跳過報錯時,必須關閉多線程複製,因為工具分不清到底哪個線程複製出了問題,然後會報類似如下的報錯:

Cannot skip transactions properly because GTID is enabled and slave_parallel_workers > 0.  See 'GLOBAL TRANSACTION IDS' in the tool's documentation

處理步驟為:

/*  暫停並行複製  */
SQL> set global slave_parallel_workers=0;

/*  使用pt-slave-restart工具跳過錯誤(填寫錯誤號)*/
pt-slave-restart  --user=root --password='Admin@123' --socket=/data/mysql3306/tmp/mysql.sock  --error-numbers=1062

/* 不再報錯時,再開啟並行複製 */
mysql> set global slave_parallel_workers=8;

方法二:  在配置文件里配置跳過指定錯誤

在配置文件[mysqld]項裡加入參數slave-skip-errors

slave-skip-errors=1032,1062

但是,此方法存在一個致命缺點:該參數是靜態參數,無法動態修改,需要修改配置文件後重啟資料庫方可生效。

3  冪等模式

因為手動跳過事務時,會忽略相同事務下的其他正常的SQL在從庫的應用;pt-slave-restart工具需要停止多線程複製,影響從庫應用速度;配置slave-skip-errors又需要重啟資料庫方可生效。那麼有沒有一種方式既不會跳過多餘的SQL,又無需重啟資料庫也不影響從庫應用SQL的速度呢?答案是有的,也就是將slave_exec_mode參數設置為IDEMPOTENT,即冪等模式(預設為嚴格模式STRICT)。

/*  線上動態修改 */
SQL > set global slave_exec_mode='IDEMPOTENT';

改為冪等模式後,可以忽略1032及1062的錯誤,對同一事務內的其他SQL無影響,依舊能正常執行。

 

4. 結語

本文中沒有舉具體案例進行實戰演示,不過建議大家還是自行搭建環境進行場景復現的演示(在從庫先插入部分數據或先更新部分數據),然後再在主庫執行,即可出現1062或1032的錯誤。

很多初學者或實戰經驗不足的同學可能不知道該參數,因此,更加建議在多種場景下測試。

如想和更多的資料庫技術愛好者及時交流,可以關註公眾號:資料庫乾貨鋪  回覆“加群”,進入技術交流群進行溝通。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在直接記憶體回收過程中,有可能會造成當前需要分配記憶體的進程被加入一個等待隊列,當整個node的空閑頁數量滿足要求時,由kswapd喚醒它重新獲取記憶體。這個等待隊列頭就是node結點描述符pgdat中的pfmemalloc_wait。如果當前進程加入到了 這個等待隊列中,那麼進程就不會進行直接記憶體回收, ...
  • 錄製終端視頻 [root@localhost ~]# asciinema rec first.cast [root@localhost ~]# asciinema rec /www/wwwroot/first.cast # rec後面跟錄製文件的保存位置 [root@localhost ~]# as ...
  • ubuntu18.04離線 安裝jdk8環境 下載離線安裝包 Jdk oracle官方下載地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8 downloads 2133151.html 解壓 習慣上會將解壓後的文件放在/ ...
  • 一 統一日誌管理 1.1 日誌管理 在Kubernetes集群環境中,一個完整的應用或服務都會涉及為數眾多的組件運行,各組件所在的Node及實例數量都是可變的。日誌子系統如果不做集中化管理,則會給系統的運維支撐造成很大的困難,因此建議在集群層面對日誌進行統一收集和檢索等工作。 在容器中輸出到控制台的 ...
  • 一、key與primary key區別 解析: KEY wh_logrecord_user_name (user_name) 本表的 欄位與 表`user_name`欄位建立外鍵 括弧外是建立外鍵的對應表,括弧內是對應欄位 類似還有 KEY user(userid) 當然,key未必都是外鍵 總結: ...
  • 為什麼要學習Oracle技術? 眾所周知,Oracle占據著企業資料庫領域超過48.1%的市場份額,成為高端企業資料庫軟體的絕對領導者。隨著時間的推移,企業資料庫的規模不斷擴大,富有經驗的資深OracleDBA越來越受到企業的歡迎。我們從著名的找工作網站上的職位需求可以很清楚地看到這一點。 Orac ...
  • 一、需求背景 首先,我們來看一下需求:網站統計用戶登錄的次數,具體如下: 網站有1億個用戶,有經常登錄的,也有不經常登錄的 如何來記錄用戶的登錄信息 如何查詢活躍用戶:比如:一周內,登錄3次的 二、使用傳統的關係型資料庫 我們使用傳統的關係型資料庫(比如:Oracle)來存儲這樣的數據,如下圖所示。 ...
  • Spark Streaming 是核心Spark API的擴展,可實現實時數據流的可伸縮,高吞吐量,容錯流處理。可以從許多數據源(例如Kafka,Flume,Kinesis或TCP sockets)中提取數據,並且可以使用複雜的演算法處理數據,這些演算法用高級函數表示,如map、reduce、join和 ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...