mysql大表修改工具: pt-online-schame-change

来源:https://www.cnblogs.com/raok/archive/2023/01/13/17037226.html
-Advertisement-
Play Games

在表數據量很大的時候直接添加欄位,以及其他表結構修改,會嚴重影響線上使用,而且耗費時間很長;使用這個工具可以很好的線上修改表結構。 好處: 降低主從延時的風險 可以限速、限資源,避免操作時MySQL負載過高 建議: 在業務低峰期做,將影響降到最低 直接原表修改缺點: 當表的數據量很大的時候,如果直接 ...


在表數據量很大的時候直接添加欄位,以及其他表結構修改,會嚴重影響線上使用,而且耗費時間很長;使用這個工具可以很好的線上修改表結構。

好處:

降低主從延時的風險

可以限速、限資源,避免操作時MySQL負載過高

建議:

在業務低峰期做,將影響降到最低

直接原表修改缺點:

當表的數據量很大的時候,如果直接線上修改表結構,嚴重影響線上環境,而且耗時不可預估

註意:

需要確認表必須包含主鍵或者唯一索引

工具會創建觸發器,所以原表上不能有觸發器

有外鍵的表需要註意使用參數--alter-foreign-keys-method(現在業務上不建議表中外鍵關聯,建議在業務中控制)

原理:

  • 首先它會新建一張一模一樣的表,表名一般是_new尾碼
  • 然後在這個新表執行更改欄位操作
  • 然後在原表上加三個觸發器,DELETE/UPDATE/INSERT,將原表中要執行的語句也在新表中執行
  • 最後將原表的數據拷貝到新表中,然後替換掉原表

1.數據備份

無論操作多麼有把握,也要把備份做好(萬一很可怕)**

2.安裝

下載安裝包:

wget  https://downloads.percona.com/downloads/percona-toolkit/3.3.1/source/tarball/percona-toolkit-3.3.1.tar.gz

解壓:

tar -xvf percona-toolkit-3.3.1.tar.gz

安裝一些依賴包:

yum install perl-DBIyum install perl-DBD-MySQLyum install perl-Time-HiResyum install perl-IO-Socket-SSLyum -y install perl-Digest-MD5

3.測試可用

在解壓包的bin目錄下執行,看是否正常,查看命令

./pt-online-schema-change --help

4.參數欄位及含義

參數 含義
--user= 連接用戶名
--password= 連接密碼
--host= 連接IP
P=
--alter= 執行表變更的語句
D= database 庫名
t= table 表名
--charset=utf8 使用utf8編碼,避免中文亂碼
--no-check-alter 不檢查alter語句
--print 列印操作日誌
--execute 執行修改表結構,真正的執行alter,–dry-run與–execute必須指定一個,二者相互排斥
–dry-run 創建和修改新表,但不會創建觸發器、複製數據、和替換原表。並不真正執行,與--print配合查看執行細節

5.具體操作

  1. 添加一個欄位

如果執行失敗,檢查alter語句,如果確認無誤 可以避免檢查 --no-check-alter

./pt-online-schema-change --user=xxxx --password=xxxx --host=xxx.xxx.xxx.xxxx --alter "add column group_id bigint(20) not NULL default '0' comment 'test' " P=30306,D=h_pushcenter,t=h_message --charset=utf8 --no-version-check --print --execute
  1. 修改欄位

    sql語句:

ALTER TABLE `h_message` MODIFY COLUMN `group_id` int(20)  NOT NULL DEFAULT '1';ALTER TABLE `h_message` MODIFY COLUMN `group_id` int(20)  NOT NULL DEFAULT '1';

pt命令:

--alter "MODIFY COLUMN group_id int(20) NOT NULL DEFAULT '1'"
  1. 修改欄位名

sql語句:

ALTER TABLE `h_message` CHANGE column group_id group_id_0 bigint(20);

pt命令:

--alter "CHANGE group_id group_id_0 bigint(20)"
  1. 添加索引

sql語句:

ALTER TABLE `h_message` ADD INDEX h_message_n1(group_id);

pt命令:

--alter "ADD INDEX h_message_n1(group_id)"

6.操作日誌

  • 創建new結尾的新表
Creating new table...CREATE TABLE `h_pushcenter`.`_h_message_new` .....Created new table h_pushcenter._h_message_new OK.
  • 新表執行alter操作
Altering new table...
ALTER TABLE `h_pushcenter`.`_h_message_new` add column  group_id bigint(20) not NULL default '0'  comment 'test'
Altered `h_pushcenter`.`_h_message_new` OK.
  • 原表上創建3個觸發器
Creating triggers...
Event : DELETE
Event : UPDATE
Event : INSERTCreated triggers OK.
  • 複製數據到新表
Copying approximately 8187 rows...
Copied rows OK.
  • 重命名新舊兩個表,然後替換,刪除舊表
2021-05-19T10:33:08 Swapping tables...RENAME TABLE `h_pushcenter`.`h_message` TO `h_pushcenter`.`_h_message_old`, `h_pushcenter`.`_h_message_new` TO `h_pushcenter`.`h_message`2021-05-19T10:33:09 Swapped original and new tables OK.2021-05-19T10:33:09 Dropping old table...DROP TABLE IF EXISTS `h_pushcenter`.`_h_message_old`2021-05-19T10:33:09 Dropped old table `h_pushcenter`.`_h_message_old` OK.
  • 刪除觸發器
2021-05-19T10:33:09 Dropping triggers...DROP TRIGGER IF EXISTS `h_pushcenter`.`pt_osc_h_pushcenter_h_message_del`DROP TRIGGER IF EXISTS `h_pushcenter`.`pt_osc_h_pushcenter_h_message_upd`DROP TRIGGER IF EXISTS `h_pushcenter`.`pt_osc_h_pushcenter_h_message_ins`2021-05-19T10:33:09 Dropped triggers OK.
  • 完成

傳送門:https://raokun.top/raokun/archives/mysql-da-biao-xiu-gai-gong-ju-pt-online-schame-change

鏈接:
mysql好用工具: pt-online-schame-change


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 需求效果:文本的高度為50dp,並且文字垂直居中 根據需求寫出如下代碼: Text(text = "你好,世界!", modifier = Modifier.height(50.dp), textAlign = TextAlign.Center) 運行後發現Text文字沒有垂直居中,設置textAl ...
  • 摘要:跨域,對後端工程師來說,可謂既熟悉又陌生。 本文分享自華為雲社區《後端老司機的跨域之旅》,作者: 勇哥java實戰分享。 跨域,對後端工程師來說,可謂既熟悉又陌生。 這兩個月我以架構師的角色參與一款教育產品的孵化,有了一段難忘的跨域之旅。 寫這篇文章,我想分享我在跨域這個知識點的經歷和思考,希 ...
  • 原文鏈接: 工作流引擎架構設計 最近開發的安全管理平臺新增了很多工單申請流程需求,比如加白申請,開通申請等等。最開始的兩個需求,為了方便,也沒多想,就直接開發了對應的業務代碼。 但隨著同類需求不斷增多,感覺再這樣寫可要累死人,於是開始了工作流引擎的開發之路。查找了一些資料之後,開發了現階段的工作流引 ...
  • 混沌工程是通過主動製造故障場景並根據系統在各種壓力下的行為表現確定優化策略的一種系統穩定性保障手段,簡單說就是通過主動註入故障的方式、提前發現問題,然後解決問題規避風險。 ...
  • 視頻格式就是通常所說的.mp4,.flv,.ogv,.webm等。簡單來說,它其實就是一個盒子,用來將實際的視頻流以一定的順序放入,確保播放的有序和完整性。 ...
  • ​01 前言 筆者在嘗試擴容C盤時,程式出錯導致D盤無法正常使用,最後誤將其格式化的悲傷故事。(低級錯誤) 02 竇娥冤 前天晚上十點左右,看著電腦里的C盤已經空間不足好幾天了,便想著擴容一下。 因為我的電腦是雙系統, Windows10+MacOS(黑蘋果) 所以硬碟的磁碟分區比較複雜, 一些引導 ...
  • 假設要在centos7.6防火牆上開啟443埠 前言:文章內容可能會因環境不同而有所差異,所謂集思廣益說不定靈感就來了呢; 文章初衷旨在交流學習、記錄個人成長,如果能幫助到您,那就點個贊噢。 1、查看防火牆是否開啟,如果沒有開啟防火牆,預設開放所有埠。 註意:如果是生產環境有業務在運行,開啟防火 ...
  • 簡述 本篇文章主要介紹如何使用 CloudCanal 構建一條 Oracle 到 PostgreSQL 的數據同步鏈路 技術要點 縮小的資料庫許可權要求 CloudCanal 對 Oracle 資料庫的高許可權要求,主要來自兩個面向 DBA 的操作,自動構建字典和 自動切換歸檔日誌,這兩個操作主要是讓用 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...