MySQL誤操作後如何快速恢複數據

来源:http://www.cnblogs.com/dfcao/archive/2016/12/09/6147970.html
-Advertisement-
Play Games

基本上每個跟資料庫打交道的程式員(當然也可能是你同事)都會碰一個問題,MySQL誤操作後如何快速回滾?比如,delete一張表,忘加限制條件,整張表沒了。假如這還是線上環境核心業務數據,那這事就鬧大了。誤操作後,能快速回滾數據是非常重要的。 binlog2sql快速回滾 首先,確認你的MySQL s ...


基本上每個跟資料庫打交道的程式員(當然也可能是你同事)都會碰一個問題,MySQL誤操作後如何快速回滾?比如,delete一張表,忘加限制條件,整張表沒了。假如這還是線上環境核心業務數據,那這事就鬧大了。誤操作後,能快速回滾數據是非常重要的。

binlog2sql快速回滾

首先,確認你的MySQL server開啟了binlog,設置了以下參數:

[mysqld]
server-id = 1
log_bin = /var/log/mysql/mysql-bin.log
max_binlog_size = 1000M
binlog-format = row

如果沒有開啟binlog,也沒有預先生成回滾SQL,那真的無法快速回滾了。對存放重要業務數據的MySQL,強烈建議開啟binlog。

 

隨後,安裝開源工具binlog2sql。binlog2sql是一款簡單易用的binlog解析工具,其中一個功能就是生成回滾SQL。

git clone https://github.com/danfengcao/binlog2sql.git
pip install -r requirements.txt

 

然後,我們就可以生成回滾SQL了。

背景:誤刪了test庫tbl整張表的數據,需要緊急回滾。

test庫tbl表原有數據
mysql> select * from tbl;
+----+--------+---------------------+
| id | name   | addtime             |
+----+--------+---------------------+
|  1 | 小趙   | 2016-12-10 00:04:33 |
|  2 | 小錢   | 2016-12-10 00:04:48 |
|  3 | 小孫   | 2016-12-10 00:04:51 |
|  4 | 小李   | 2016-12-10 00:04:56 |
+----+--------+---------------------+
4 rows in set (0.00 sec)

mysql> delete from tbl;
Query OK, 4 rows affected (0.00 sec)

tbl表被清空
mysql> select * from tbl;
Empty set (0.00 sec)

恢復步驟

  1. 登錄mysql,查看目前的binlog文件

    mysql> show master logs;
    +------------------+-----------+
    | Log_name         | File_size |
    +------------------+-----------+
    | mysql-bin.000046 |  12262268 |
    | mysql-bin.000047 |      3583 |
    +------------------+-----------+ 
  2. 最新的binlog文件是mysql-bin.000047,我們再定位誤操作SQL的binlog位置

    $ python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -ttbl --start-file='mysql-bin.000047'
    
    輸出:
        DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-10 00:04:33' AND `id`=1 AND `name`='小趙' LIMIT 1; #start 3346 end 3556
        DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-10 00:04:48' AND `id`=2 AND `name`='小錢' LIMIT 1; #start 3346 end 3556
        DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-10 00:04:51' AND `id`=3 AND `name`='小孫' LIMIT 1; #start 3346 end 3556
        DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-10 00:04:56' AND `id`=4 AND `name`='小李' LIMIT 1; #start 3346 end 3556 
  3. 生成回滾sql,並檢查回滾sql是否正確

    $ python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -ttbl --start-file='mysql-bin.000047' --start-pos=3346 --end-pos=3556 -B
    
    輸出:
    INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-10 00:04:56', 4, '小李'); #start 3346 end 3556
    INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-10 00:04:51', 3, '小孫'); #start 3346 end 3556
    INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-10 00:04:48', 2, '小錢'); #start 3346 end 3556
    INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-10 00:04:33', 1, '小趙'); #start 3346 end 3556
  4. 確認回滾sql正確,執行回滾語句。登錄mysql確認,數據回滾成功。

    $ python binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -ttbl --start-file='mysql-bin.000047' --start-pos=3346 --end-pos=3556 -B | mysql -h127.0.0.1 -P3306 -uadmin -p'admin'
    
    mysql> select * from tbl;
    +----+--------+---------------------+
    | id | name   | addtime             |
    +----+--------+---------------------+
    |  1 | 小趙   | 2016-12-10 00:04:33 |
    |  2 | 小錢   | 2016-12-10 00:04:48 |
    |  3 | 小孫   | 2016-12-10 00:04:51 |
    |  4 | 小李   | 2016-12-10 00:04:56 |
    +----+--------+---------------------+

至此,不用再擔心被炒魷魚了。

常見問題

  • 有人會問,我DDL誤操作了怎麼快速回滾?比如drop了一張大表。

    很難做到。因為即使在在row模式下,DDL操作也不會把每行數據的變化記錄到binlog,所以DDL無法通過binlog回滾。實現DDL回滾,必須要在執行DDL前先備份老數據。確實有人通過修改mysql server源碼實現了DDL的快速回滾,我找到阿裡的xiaobin lin提交了一個patch。但據我所知,國內很少有互聯網公司應用了這個特性。原因的話,我認為最主要還是懶的去折騰,沒必要搞這個低頻功能,次要原因是會增加一些額外存儲。

    所以,DDL誤操作的話一般只能通過備份來恢復。如果公司連備份也不能用了,那真的建議去買張飛機票了。幹啥?跑唄

  • mysql除了binlog2sql,是否還有其他回滾工具?

    當然有。阿裡彭立勛對mysqlbinlog增加了flashback的特性,這應該是mysql最早有的flashback功能,彭解決的是DML的回滾,並說明瞭利用binlog進行DML閃回的設計思路。DDL回滾特性也是由阿裡團隊提出並實現的。這兩個功能是有創新精神的,此後出現的閃回工具基本都是對上面兩者的模仿。另外,去哪兒開源的Inception是一套MySQL自動化運維工具,這個就比較重了,支持DML回滾,還不是從binlog回滾的,是從備份回滾的,也支持DDL回滾表結構,數據是回滾不了滴~

如有mysql回滾相關的優秀工具優秀文章遺漏,更煩請告知~

我的郵箱 [email protected]

參考資料

[1] 彭立勛, MySQL下實現閃回的設計思路

[2] Lixun Peng, Provide the flashback feature by binlog

[3] 丁奇, MySQL閃回方案討論及實現

[4] xiaobin lin, flashback from binlog for MySQL

[5] 王竹峰, 去哪兒inception

[6] danfengcao, binlog2sql: Parse MySQL binlog to SQL you want


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 最近在做一個活動頁面:用戶上傳一張圖片進行縮放、旋轉後點擊下一步填寫內容後生成圖片! 做好後經過各種測試是沒有問題的,基本沒有什麼明顯BUG,流程都能走通,但是嵌入到APP後,問題就來了! 在IOS上基本還可以,在Android上有明顯問題,下麵就是我要講的: 在Android中,當我們通過WebV ...
  • 一、鎖卡背景介紹 鎖卡即SIMLock,當手機開機啟動或者插入SIM卡時,手機modem側預置在NV項中的配置信息會與SIM卡中的信息做比對,檢測是否匹配。若匹配,則SIM卡可以正常使用。若不匹配,則SIM卡相關功能均無法正常使用,例如撥打電話、發送簡訊及上網等;或者是只能註冊2G網,不能註冊4G。 ...
  • 前記 公司內部使用的是MapR版本的Hadoop生態系統,因而從MapR的官網看到了這篇文文章:An In-Depth Look at the HBase Architecture,原本想翻譯全文,然而如果翻譯就需要各種咬文嚼字,太麻煩,因而本文大部分使用了自己的語言,並且加入了其他資源的參考理解以 ...
  • 註:1、本文未經博主同意,不得轉載! 2、所有終端語句都分行顯示,以免大家看錯; 直接開始,過程中對每一步可能出現的錯誤都進行了說明。 1、安裝好xampp,然後打開終端,輸入: mysql -u root -p 成功進入了,擦,你運氣真好,後面不用看了。 2、如果提示command not fou ...
  • 下麵操作預設在安裝Oralce資料庫的伺服器上運行。 1)確保Oracle 基本服務都已啟動 OracleDBConsoleorcl OracleOraDb11g_home1TNSListener OracleServiceORCL 2)打開命令行,使用 sqlplus nokia_user/ora ...
  • VS在安裝之前需要安裝.NET Framework,我安裝的是4.0版本。但是安裝進度條到一半左右時就卡住不動了。前前後後重試多次,還有幾次重新開機,但都沒用。 開始還以為是安裝的系統有問題。後來在網上求助,嘗試幾次之後終於找到瞭解決方案。這裡記下來,方便以後使用。以下為主要的操作步驟: 1. 需要 ...
  • 前言 最近幫客戶做資料庫優化的時候發現客戶系統使用了很多函數,自己竟然不知道是幹啥的,好歹做過好幾年開發的我必然不能忍!於是翻了翻資料自己學習了一下隨便也分享給群友。 巧用函數的霸氣作用———我做開發的時候就深深的體會到知道一個簡單的函數要省去多少代碼量,讓功能很簡單的就能實現。 註:以下提及的方法 ...
  • SQL 中的 substring 函數是用來截取一個欄位資料中的其中一部分。 例如,我們需要將字元串'abdcsef'中的‘abd’給提取出來,則可用substring 來實現: 結果: 括弧中數字‘1’表示截取的起始位置是從該字元串第一個字元開始,‘3’表示截取後得到的字元串長度為3個字元。 這是 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...