MySQL從庫實用技能(一)--巧用slave_exec_mode參數

来源:https://www.cnblogs.com/gjc592/archive/2020/04/11/12679326.html
-Advertisement-
Play Games

想必從庫異常中斷的情況不在少數,其中報錯信息中1032及1062的錯誤占了不少的比重 錯誤1032指的是從庫中找不到對應行的記錄 錯誤1062指的是主鍵衝突 遇到此報錯時,大多DBA會使用如下方法進行處理 1 手動處理 方法一: 找出引起異常的數據然後手動在從庫處理後重啟SQL線程繼續觀察; 根據報 ...


想必從庫異常中斷的情況不在少數,其中報錯信息中1032及1062的錯誤占了不少的比重

錯誤1032指的是從庫中找不到對應行的記錄

錯誤1062指的是主鍵衝突

遇到此報錯時,大多DBA會使用如下方法進行處理

1 手動處理

方法一: 找出引起異常的數據然後手動在從庫處理後重啟SQL線程繼續觀察;

根據報錯的信息,通過mysqlbinlog解析binlog日誌,找到對應的數據,然後查看從庫是否缺失數據或者已存在對應主鍵的數據,然後手動在從庫處理對應記錄的數據。處理完畢後再次開啟同步。

但是,後續還得觀察是否再次出現錯誤

方法二: 手動跳過1個或更多個事務,然後繼續觀察。

/* 傳統點位模式複製 */
SQL>set global sql_slave_skip_counter=1;
SQL>start sql_thread;

/* GTID模式複製 */
SQL>set gtid_next='e29d3917-9dbb-11e9-8b64-e4434b6e2c80:11103335-16054791';
SQL>begin;commit;
SQL>set gtid_next='AUTOMATIC';

註意,手動跳過事務的方式存在一個很大的缺點: 1個事務中存在多個sql,用此方式,本事務中的其他SQL也會被跳過(具體的和binlog-format有關,對於當前常用的ROW格式均有影響)。

2  持續跳過錯誤

但是,如果一直報錯,但是,這些報錯又可以忽略可以怎麼處理,此時也有很多方法,通常使用的是如下幾種:

方法一:  使用pt-slave-restart工具跳過對應錯誤

但是使用pt-slave-restart工具跳過報錯時,必須關閉多線程複製,因為工具分不清到底哪個線程複製出了問題,然後會報類似如下的報錯:

Cannot skip transactions properly because GTID is enabled and slave_parallel_workers > 0.  See 'GLOBAL TRANSACTION IDS' in the tool's documentation

處理步驟為:

/*  暫停並行複製  */
SQL> set global slave_parallel_workers=0;

/*  使用pt-slave-restart工具跳過錯誤(填寫錯誤號)*/
pt-slave-restart  --user=root --password='Admin@123' --socket=/data/mysql3306/tmp/mysql.sock  --error-numbers=1062

/* 不再報錯時,再開啟並行複製 */
mysql> set global slave_parallel_workers=8;

方法二:  在配置文件里配置跳過指定錯誤

在配置文件[mysqld]項裡加入參數slave-skip-errors

slave-skip-errors=1032,1062

但是,此方法存在一個致命缺點:該參數是靜態參數,無法動態修改,需要修改配置文件後重啟資料庫方可生效。

3  冪等模式

因為手動跳過事務時,會忽略相同事務下的其他正常的SQL在從庫的應用;pt-slave-restart工具需要停止多線程複製,影響從庫應用速度;配置slave-skip-errors又需要重啟資料庫方可生效。那麼有沒有一種方式既不會跳過多餘的SQL,又無需重啟資料庫也不影響從庫應用SQL的速度呢?答案是有的,也就是將slave_exec_mode參數設置為IDEMPOTENT,即冪等模式(預設為嚴格模式STRICT)。

/*  線上動態修改 */
SQL > set global slave_exec_mode='IDEMPOTENT';

改為冪等模式後,可以忽略1032及1062的錯誤,對同一事務內的其他SQL無影響,依舊能正常執行。

 

4. 結語

本文中沒有舉具體案例進行實戰演示,不過建議大家還是自行搭建環境進行場景復現的演示(在從庫先插入部分數據或先更新部分數據),然後再在主庫執行,即可出現1062或1032的錯誤。

很多初學者或實戰經驗不足的同學可能不知道該參數,因此,更加建議在多種場景下測試。

如想和更多的資料庫技術愛好者及時交流,可以關註公眾號:資料庫乾貨鋪  回覆“加群”,進入技術交流群進行溝通。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在直接記憶體回收過程中,有可能會造成當前需要分配記憶體的進程被加入一個等待隊列,當整個node的空閑頁數量滿足要求時,由kswapd喚醒它重新獲取記憶體。這個等待隊列頭就是node結點描述符pgdat中的pfmemalloc_wait。如果當前進程加入到了 這個等待隊列中,那麼進程就不會進行直接記憶體回收, ...
  • 錄製終端視頻 [root@localhost ~]# asciinema rec first.cast [root@localhost ~]# asciinema rec /www/wwwroot/first.cast # rec後面跟錄製文件的保存位置 [root@localhost ~]# as ...
  • ubuntu18.04離線 安裝jdk8環境 下載離線安裝包 Jdk oracle官方下載地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8 downloads 2133151.html 解壓 習慣上會將解壓後的文件放在/ ...
  • 一 統一日誌管理 1.1 日誌管理 在Kubernetes集群環境中,一個完整的應用或服務都會涉及為數眾多的組件運行,各組件所在的Node及實例數量都是可變的。日誌子系統如果不做集中化管理,則會給系統的運維支撐造成很大的困難,因此建議在集群層面對日誌進行統一收集和檢索等工作。 在容器中輸出到控制台的 ...
  • 一、key與primary key區別 解析: KEY wh_logrecord_user_name (user_name) 本表的 欄位與 表`user_name`欄位建立外鍵 括弧外是建立外鍵的對應表,括弧內是對應欄位 類似還有 KEY user(userid) 當然,key未必都是外鍵 總結: ...
  • 為什麼要學習Oracle技術? 眾所周知,Oracle占據著企業資料庫領域超過48.1%的市場份額,成為高端企業資料庫軟體的絕對領導者。隨著時間的推移,企業資料庫的規模不斷擴大,富有經驗的資深OracleDBA越來越受到企業的歡迎。我們從著名的找工作網站上的職位需求可以很清楚地看到這一點。 Orac ...
  • 一、需求背景 首先,我們來看一下需求:網站統計用戶登錄的次數,具體如下: 網站有1億個用戶,有經常登錄的,也有不經常登錄的 如何來記錄用戶的登錄信息 如何查詢活躍用戶:比如:一周內,登錄3次的 二、使用傳統的關係型資料庫 我們使用傳統的關係型資料庫(比如:Oracle)來存儲這樣的數據,如下圖所示。 ...
  • Spark Streaming 是核心Spark API的擴展,可實現實時數據流的可伸縮,高吞吐量,容錯流處理。可以從許多數據源(例如Kafka,Flume,Kinesis或TCP sockets)中提取數據,並且可以使用複雜的演算法處理數據,這些演算法用高級函數表示,如map、reduce、join和 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...