本文分享自華為雲社區《GaussDB(DWS)的cgroup、資源池、用戶的關係》，作者： nullptr_。 1. 前言 本文主要展示了DWS中cgroup、資源池、用戶之間的關係，從而對DWS的資源設置情況有個初步瞭解。 2. 相關對象創建腳本 gs_ssh -c "gs_cgroup -cS ...
一、前言
說起MySQL的邏輯備份，一般大家用的最多的是mysqldump，MySQL官方提供的邏輯導出的工具，簡單易用，可以產生一致性備份。但是mysqldump只能單線程導出，導出速度有限。為了提升邏輯備份速度，MySQL官方推出了mysqlpump，支持多線程導出，一定程度上提升了導出速度。但是，mysqlpump只支持表級別的並行導出，並且對於導入的場景無法多線程並行，速度提升有限。mydumper/myloader是由MySQL、Facebook等公司開發的開源mysql數據導出導入工具，多線程導出的並行度不再局限於表，導入時同樣也支持多線程，大大提升了數據導出和導入的速度。作為進階的MySQL DBA，不能只會用mysqldump了，mydumper也應該熟練掌握，本文將分享mydumper的實戰技巧。
二、下載安裝
mydumper採用C語言編寫，可以基於源碼編譯安裝。此外，官方也提供了rpm包安裝。
mydumper源碼編譯安裝： 1. 源碼包下載 https://github.com/mydumper/mydumper/tags 2. 依賴安裝 yum install -y cmake gcc gcc-c++ git make yum install -y glib2-devel openssl-devel pcre-devel zlib-devel libzstd-devel yum install -y mysql-devel 3. 編譯安裝 cmake . make && make install 4. 編譯好後缺少庫文件 ln -s /usr/local/mysql/lib/libmysqlclient.so.21.2.31 /usr/lib/libmysqlclient.so.21 ln -s /usr/local/mysql/lib/private/libssl.so.1.1 /usr/lib64/libssl.so.1.1 ln -s /usr/local/mysql/lib/private/libcrypto.so.1.1 /usr/lib64/libcrypto.so.1.1 5.安裝成功 #mydumper -V mydumper v0.15.1-3, built against MySQL 8.0.31 with SSL support
三、常用參數
mydumper常用參數 -B 指定資料庫 -G 導出trigger -E 導出event -R 導出routine -m 只導出數據，不導出建庫建表語句 -d 僅僅導出建表結構和建庫語句 -c 壓縮（gzip） -x 正則，比如備份多個指定的庫：-x 'test|mysql'，比如指定某些庫不參與備份：-x '^(?!(sys|mysql))' -T 指定表，如-T test.t1 -t 併發線程數，預設4 -r 定義行數，按此行數對錶進行分塊並行導出，該選項會使-F失效 -F 定義將表導出文件進行分塊的大小，預設單位是 MB -l 設置長查詢的閾值，單位s，預設60s -K 超過-l設定的時間閾值，則kill阻塞備份進程的會話 --less-locking 減少對InnoDB表的加鎖時間 -k, --no-locks 不執行臨時的只讀鎖，會導致備份不一致 --trx-consistency-only 代表本次備份只對事務表做一致性保證 --skip-tz-utc 不加的話，會在dump的時候加上SET TIME_ZONE='+00:00'，對於timestamp欄位需要加上該選項
myloader常用參數 -e 導入的時候會記錄binlog -t 併發線程數，預設也是4 -o 導入時如果表已存在則drop掉
四、數據遷移實戰
以下是mydumper/myloader在幾個常用數據遷移場景的命令，可以直接複製使用。mydumper預設按表導出sql文件，也可以直接拿導出的sql文件到資料庫中使用source命令導入。
1. 全實例導出與導入 mydumper -h $host -u $user -p $password -G -E -R -o /backup/dumpfile --less-locking myloader -h $host -u $user -p $password -d /backup/dumpfile 2. 單庫導出與導入 mydumper -h $host -u $user -p $password -B test2 -o /backup/shemafile --less-locking myloader -h $host -u $user -p $password -d /backup/schemafile 3. 指定表導出與導入 mydumper -h $host -u $user -p $password -T test.sbtest1 -o /backup/tablefile --less-locking myloader -h $host -u $user -p $password -d /backup/tablefile 4. 只導表結構，不導數據 mydumper -h $host -u $user -p $password -B test2 -d -o /backup/ddlfile --less-locking myloader -h $host -u $user -p $password -d /backup/ddlfile 5. 只導數據，不導表結構 mydumper -h $host -u $user -p $password -T test.sbtest1 -m -o /backup/datafile --less-locking myloader -h $host -u $user -p $password -d /backup/datafile 6. 單表分塊並行導出，併發度8，按一千萬行對錶分塊並行導出 mydumper -h $host -u $user -p $password -T test2.sbtest1 -r 10000000 -t 8 -o /backup/tablefile --less-locking myloader -h $host -u $user -p $password -d /backup/tablefile
五、其他註意事項
以下是我在使用和研究這個工具中總結的幾點註意事項：
1. 實際應用中線上環境大部分都是主從或mgr架構，在主庫導入時需要加上-e參數，否則預設是不會記錄binlog，主庫導入的數據也就不會同步到備庫；
2. -t參數可以設置併發的線程數，預設是4。需要註意的是，不加-r或-F參數的情況下，也是按表進行並行導出導入。使用-r或-F參數可以將單表進行分塊並行導出導入；
3. 導出時可以加上-c參數對導出結果進行壓縮，預設是gizp壓縮方式，但會消耗一定的壓縮時間；
4. 實際使用中建議加上--less-locking參數，這將把innodb表和非innodb表的導出分開，非innodb表導完後先unlock tables再導innodb表，由於實際使用中幾乎很少非innodb表，
這將大大減少全局讀鎖FTWRL的鎖定時間；
5. mydumper提供了-k參數不加FTWRL鎖，會導致備份不一致。但實際上導出的時候會把會話的隔離級別設置為REPEATABLE READ，所以理論上對於innodb表的導出仍然是一致性的；
6. 線上環境建議到備庫操作，畢竟FTWRL對業務可能產生較大的影響；
