pt-archiver數據歸檔

来源:https://www.cnblogs.com/wsl222000/archive/2018/05/11/9025216.html
-Advertisement-
Play Games

可以使用percona-toolkit包中的pt-archiver工具來進行歷史數據歸檔 1、清理線上過期數據。 2、清理過期數據,並把數據歸檔到本地歸檔表中,或者遠端歸檔伺服器。 3、兩張表之間的數據不完全相同,希望合併。此時加上–ignore或–replace選項,可以輕鬆實現。 4、導出線上數 ...


可以使用percona-toolkit包中的pt-archiver工具來進行歷史數據歸檔

pt-archiver使用的場景:

1、清理線上過期數據。

2、清理過期數據,並把數據歸檔到本地歸檔表中,或者遠端歸檔伺服器。

3、兩張表之間的數據不完全相同,希望合併。此時加上–ignore或–replace選項,可以輕鬆實現。

4、導出線上數據,到線下數據作處理。

例子:

pt-archiver --source h=127.0.0.1,P=3306,D=database,t=table,u=root,p=123456 --dest h=127.0.0.1,P=3306,D=database,t=new_table,u=root,p=123456 --no-check-charset --where 'id>100' --progress 1000 --no-delete --limit=1000 --statistics

參數說明:

--statistics:結束的時候給出統計信息:開始的時間點,結束的時間點,查詢的行數,歸檔的行數,刪除的行數,以及各個階段消耗的總的時間和比例,便於以此進行優化。
--where:給出表中要處理的數據的查詢條件。
--progress:每處理progress指定的行數後,就列印一次信息。
--no-delete:表示不刪除原來的數據,註意:如果不指定此參數,所有處理完成後,都會清理原表中的數據。
--limit:表示每次事務刪除多少條數據,預設1條(註意:如果數據比較多時,也可以設置大一些,減少迴圈次數)。
--txn-size:每個事務提交的數據行數(包括讀寫操作),批量提交,增加該值可以提升歸檔性能。
--file:數據存放的文件,最好指定絕對路徑,文件名可以靈活地組合(另外,我測試過寫文件與不寫文件速度幾乎差不多,原本以為不寫文件速度會快)。
--charset=UTF8 指定字元集為UTF8
--no-check-charset 不指定字元集
--bulk-delete 批量刪除source上的舊數據(例如每次1000行的批量刪除操作)
--bulk-insert 批量插入數據到dest主機 (看dest的general log發現它是通過在dest主機上LOAD DATA LOCAL INFILE插入數據的)
--replace 將insert into 語句改成replace寫入到dest庫
--sleep120 每次歸檔了limit個行記錄後的休眠120秒(單位為秒)
--local 不把optimize或analyze操作寫入到binlog裡面(防止造成主從延遲巨大)
--retries 超時或者出現死鎖的話,pt-archiver進行重試的間隔(預設1s)
--no-version-check 目前為止,發現部分pt工具對阿裡雲RDS操作必須加這個參數
--analyze=ds 操作結束後,優化表空間(d表示dest,s表示source)
--purge 刪除source資料庫的相關匹配記錄,不歸檔刪除數據

參考:http://www.ywnds.com/?p=8379http://www.mamicode.com/info-detail-1903758.html

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • ind是我們很常用的一個Linux命令,但是我們一般查找出來的並不僅僅是看看而已,還會有進一步的操作,這個時候exec的作用就顯現出來了。 exec解釋:-exec 參數後面跟的是command命令,它的終止是以;為結束標誌的,所以這句命令後面的分號是不可缺少的,考慮到各個系統中分號會有不同的意義, ...
  • 1、pipe 本質: 匿名管道 內核緩衝區 偽文件(偽文件和操作文件類似) 創建方式: fd[0] 表示讀端 fd[1] 表示寫端 返回值: 成功返回0,失敗返回-1 特點: 有讀端和寫端,對應兩個文件描述符,數據從寫端流入,讀端流出 操作管道的進程掛掉後管道自動釋放 管道預設是阻塞的 管道原理: ...
  • 效果圖: 1.增加命令提示符 2.增加PowerShell 以上內容保存為綴名為OpenCmdHere.reg,雙擊OpenCmdHere.reg文件運行,彈出的提示點確認,修改註冊表就大功告成了! 下載鏈接:https://files.cnblogs.com/files/dyj057/opencm ...
  • 一、樹形結構例子分析: 以360問答頁面為例:http://wenda.so.com/c/ 我們通過觀察URL,可以明確該頁面的數據以樹形結構存儲,下麵三塊模塊分別為: ①根節點 ②根節點的第一層子節點 ③為左側所選擇節點的下一層子節點 (圖1) 該例簡化的樹形結構圖如下: (圖2) 我們不難發現, ...
  • 一 、介紹 二 、多表連接查詢 三 、符合條件連接查詢 四 、子查詢 一、介紹 本節主題 多表連接查詢 複合條件連接查詢 子查詢 準備表 #建表 create table dep( id int, name varchar(20) ); create table emp( id int primar ...
  • CURL的操作 curl是利用URL語法在命令行方式下工作的開源文件傳輸工具,使用curl可以簡單實現常見的get/post請求。簡單的認為是可以在命令行下麵訪問url的一個工具。在centos的預設庫裡面是有curl工具的,如果沒有請yum安裝即可。 curl -X 指定http的請求方法 有HE ...
  • 一、 單表查詢的語法 二 、關鍵字的執行優先順序(重點) 三 、簡單查詢 四 、WHERE約束 五、 分組查詢:GROUP BY 六 、HAVING過濾 七 、查詢排序:ORDER BY 八 、限制查詢的記錄數:LIMIT 九、 使用正則表達式查詢 一 、單表查詢的語法 基本語法格式: 二、 關鍵字的 ...
  • 告警提示其實已經很明顯了OGG-02803 Encountered a Data Guard role transition. Alter Extract to SCN 15,756,246 and restart Extract, or recreate Extract with the corr ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...