mysqldump備份表中有大欄位失敗的排錯過程

来源:https://www.cnblogs.com/liyingxiao/archive/2018/08/15/9482471.html
-Advertisement-
Play Games

幾天前收到某個業務項目,MySQL資料庫邏輯備份mysqldump備份失敗的郵件,本是在休假,但本著工作認真負責,7*24小時不間斷運維的高尚職業情操,開始了DBA的排錯之路(一開始資料庫的備份都是成功的,巧的是我休假就出問題,懷疑是數據量又有增長) 首先我們瞭解下mysqldump備份,數據流向的 ...


       幾天前收到某個業務項目,MySQL資料庫邏輯備份mysqldump備份失敗的郵件,本是在休假,但本著工作認真負責,7*24小時不間斷運維的高尚職業情操,開始了DBA的排錯之路(一開始資料庫的備份都是成功的,巧的是我休假就出問題,懷疑是數據量又有增長)

       首先我們瞭解下mysqldump備份,數據流向的一個過程:MySQL Server端從數據文件中檢索出數據,然後分批將數據返回給mysqldump客戶端,然後mysqldump再把數據寫入到NFS上。一般情況下存儲不是SSD或者是普通磁碟,那麼向NFS上寫入數據比Server端檢索完數據發送給mysqldump客戶端要慢得多,這就有可能mysqldump無法及時接收MySQL Server端發送過來的數據,導致Server端檢索出來的數據在記憶體中積壓等待發送。當超過等待的時間net_write_timeout(預設60s)時就連接斷開,同時拋出錯誤。

 1、定位問題

       登錄到機器上,先查看了備份文件的邏輯,再查看備份的日誌和備份文件大小,確認備份失敗並定位到是備份命令mysqldump行執行一半失敗(根據備份文件較之前的幾天減少了一半且腳本運行日誌來斷定)。凌晨的備份無效,因而手動觸發腳本執行備份,發現了報錯如下:

[root@mysql_query hk_sa]# bash /opt/shells/mysqldump.sh    
Warning: Using a password on the command line interface can be insecure.
mysqldump: Error 2013: Lost connection to MySQL server during query when dumping table `rrd_api_log` at row: 2821866

2、排查問題

      查看備份失敗的表的行數為4982704,查看手動備份失敗處的行信息是2017-02-05 04:03:18寫入,之前都沒有出現過這個備份失敗的問題。於是開始懷疑是不是最近數據增長太大或者表的欄位太寬的問題(其他資料庫的表更大,有的甚至達到400G也沒有出現過這個問題,表數據量太大的可能性不大,但單行備份失敗,懷疑大欄位的問題)

      查看表結構如下:

[root@localhost] | 08:42:21 | [heika0516] > desc rrd_api_log;
+---------------+-------------+------+-----+---------+----------------+
| Field         | Type        | Null | Key | Default | Extra          |
+---------------+-------------+------+-----+---------+----------------+
| id            | bigint(20)  | NO   | PRI | NULL    | auto_increment |
| api_command   | varchar(30) | NO   |     | NULL    |                |
| request_info  | text        | NO   |     | NULL    |                |
| response_info | text        | NO   |     | NULL    |                |
| create_time   | datetime    | NO   |     | NULL    |                |
+---------------+-------------+------+-----+---------+----------------+
5 rows in set (0.01 sec) 

     方向定了剩下的就是驗證自己的猜想了,於是我開始查找資料,果然被我百度到了一些有價值的東西,包括MySQL官方的一些說法:https://bugs.mysql.com/bug.php?id=46103。其中大概的意思就是這個問題老版本會出現,可以調整兩個參數net_write_timeout或者max_allowed_packet的值大一些。net_write_timeout的預設值是60s,而max_allowed_packet的預設值是67108864,又是一通查資料後發現,有些前輩調整max_allowed_packet無效,而調整net_write_timeout才有效,於是我也站著巨人的肩膀上搞了一把,果然備份成功了,挺過了休假時被煩惱的問題。

     然而新的問題又出來了,很多前輩都講增大net_write_timeout的值,Server端會消耗更多的記憶體甚至導致swap的使用影響性能,但又不確定是不是參數調整所致,存在潛在的風險。不過這種說法我並不同意,因為我執行的過程中發現,MEM的free反而變多了,你沒有聽錯真的變多了。

#mysqldump備份執行前
[root@mysql_query hk_sa]# free -m
             total       used       free     shared    buffers     cached
Mem:         16080      13305       2775          0        121       3729
-/+ buffers/cache:       9454       6626
Swap:         8191        349       7842

#增大了net_write_timeout的值
[root@localhost] | 08:51:53 | [(none)] > set @@global.net_write_timeout=500;
Query OK, 0 rows affected (0.01 sec)

#bash完腳本發現備份OK的
[root@mysql_query hk_sa]# ls -lh /opt/app/mysql/data/heika0516/rrd_api_log.ibd 
-rw-r--r-- 1 mysql mysql 4.1G Aug  7 22:03 /opt/app/mysql/data/heika0516/rrd_api_log.ibd

#mysqldump備份執行後
[root@mysql_query hk_sa]# free -m
             total       used       free     shared    buffers     cached
Mem:         16080      12434       3646          0         93       2890
-/+ buffers/cache:       9450       6630
Swap:         8191        349       7842

  到此為止,mysqldump備份失敗確實是解決,但是前輩們反映的問題是消耗更多的記憶體,到我這反而釋放了更多的記憶體,這樣修改參數終究是會存在安全隱患,且這個參數會影響所有的會話連接。那就先不管了,過個好假期再搞。不過我始終有個疑問,我這維護的400G的大表,且部分表比這更大,也有大欄位就沒出現過這個問題,怎麼會突然出現呢,因此我懷疑不是表數據過多的問題,還是大欄位的問題。

       休假回來後,立馬開始test排錯的工作,先分析確認好切入點,我就把net_write_timeout的值改為預設60,但這樣備份肯定會失敗的,於是想到了max_allowed_packet參數,但全局調整這個參數,對網路發包和各個會話也有影響,繼續對mysqldump這個備份進行調研,居然讓我發現了一個牛逼的可接參數max_allowed_packet,在mysqldump後面加了這個選項,值大小大家可以根據表的大小進行設置,我這裡給的500M,至此問題徹底解決了,也沒有改變參數的全局值影響會話。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 很多小伙伴不會使用好系統重裝助手給愛機裝系統,一旦電腦出現了問題,還要去電腦店花錢請人來裝,這樣不僅費錢還麻煩,今天小編就帶大家來學習一下如何使用好系統重裝助手給華碩筆記本一鍵重裝系統 使用好系統重裝助手給華碩筆記本安裝系統 首頁我們打開好系統重裝助手官網https://hzhushou.com下載 ...
  • 1.背景 windows server 2008 下 每天會有 *.sql數據文件 需要上傳到linux 中的mysql資料庫中 而運維人員是在 windows server 下使用 xshell 連接 linux 下進行導入導出來進行操作 客戶要求:1.點擊桌面上的程式達成 上傳到linux下的m ...
  • 一、需要重啟 @echo offset /p pcnanme=請輸入電腦的名字:reg add HKEY_LOCAL_MACHINE\SYSTEM\ControlSet001\Control\ComputerName\ComputerName /v ComputerName /t REG_SZ / ...
  • 占座 ...
  • decode函數在Oracle SQL查詢語句中的使用非常廣泛,也經常應用到PL/SQL語句塊中。 1,decode()函數語句的基本表達式是: decode(expr1,expr2,expr3,[expr4]) 這個表達式個人理解,可以稱之為decode的比較運算,可以對比 nvl()函數和 co ...
  • 在MySQL當中,有可能遇到表名大小寫敏感的問題。其實這個跟平臺(操作系統)有關,也跟系統變數lower_case_table_names有關係。下麵總結一下,有興趣可以查看官方文檔“Identifier Case Sensitivity” In MySQL, databases correspon... ...
  • mysql的主從配置沿用上一篇博客的配置:https://www.cnblogs.com/MasterSword/p/9434169.html mycat下載地址:http://www.mycat.io/ 試驗版本:Mycat-server-1.6-release <!-- mycat的預設用戶配置 ...
  • 通過GO 命令 來達到語句迴圈效果 也叫批迴圈 也可用來新增 語句 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...