OB導數工具使用經驗分享

一、前言

OBDUMPER/OBLOADER是OceanBase官方推出的數據導出導入工具，可以用於OB租戶間的數據遷移，對OB租戶進行邏輯備份。不同於MySQL的MyDumper是C語言開發，OBDUMPER/OBLOADER是由java語言開發，因此它具備跨平臺相容性（x86/arm）。關於OBDUMPER/OBLOADER是一個功能非常豐富的工具，其使用方法在官方文檔上面描述的已經很詳細了，包括命令行選項、使用示例、參數調優等。如何使用該工具本文就不再贅述了，可以參考官方文檔，本文主要想分享一些我使用這個工具的一些經驗和踩過的坑。

二、旁路導入

旁路導入的原理就是使用LOAD DATA /*+ direct */而非INSERT導入數據，所以需要設置用戶file許可權，開啟secure_file_priv參數，具體可以參考OCEANBASE官方文檔的load data部分：https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000000218027。加--direct 代表開啟旁路導入，旁路導入可以繞過 SQL 層的介面，直接在 data 文件中直接分配空間並插入數據，從而提高數據導入的效率。這個和MySQL的load data有點相似，但又不太一樣，OB的load的其實是轉換為insert插入，只有加上hint語法/*+ direct */ 才會開啟旁路導入。

導入時遇到一個報錯：'no files are available'，需要檢查目錄是否掛載在每個observer下，以及目錄的許可權。

三、表結構導出

對於obdumper428之前的版本，在對oracle租戶下大量表的表結構進行導出時，需要查詢系統視圖反拼語句，而對於ob的系統視圖的性能一直是一個問題，所以這種場景下很容易出現卡死或導出慢等性能問題。從obdumper428版本開始，支持使用show create table導出，解決了之前版本需要進行複雜的系統視圖查詢而帶來的性能問題。對於oceanbase oracle 4.0.0之前的版本，使用--no-sys 選項將開啟使用show create table方式導出；對於oceanbase oracle 4.0.0 及之後的版本，使用新增選項--compact-schema 開啟show create table方式導出。但需要註意的是使用show create table方式導出，對於oceanbase oracle 2.2.7~4.0.0版本，無法導出分區表的唯一索引定義。雖然ob的oracle租戶也支持show create table語法，但只能導出表結構，對於創建索引的語句還是需要通過查詢系統視圖反拼語句。

四、其他註意事項

1. 對於大數據量的表如果要先清除，使用--truncate-table而不用--delete-from-table，避免造成大事務刪除緩慢。生產環境建議手動清空；

2. 導入導出時報錯timeout，可以在配置文件conf里修改sql執行超時參數：{ob-loader-dumper}/conf/session.config.json ；

3. --all與--table '*'的區別，--all表示所有對象、包括視圖等，--table表示僅導出表；

4. --thread參數用於設置導出時的併發數，預設會使用本機的CPU 乘以 2，所以如果是在observer上進行導出，那一定要設置這個參數在一個合理的值，避免打爆observer的cpu；

下麵是在數據遷移時常用的幾個命令：

表結構導出與導入
./obdumper -h xx.x.x.x -P 2883 -u test@mysql#cluster_a -p ****** --no-sys -D USERA --ddl --table '*' --thread=8 -f /output
./obloader -h xx.x.x.x -P 2883 -u test@mysql#cluster_a -p ****** --no-sys -D USERA --ddl --table '*' --thread=8 -f /output

數據導出與導入
./obdumper -h xx.x.x.x -P 2883 -u test@mysql#cluster_a -p ****** --no-sys -D USERA --csv --table '*' --thread=8 -f /output
./obloader -h xx.x.x.x -P 2883 -u test@mysql#cluster_a -p ****** --no-sys -D USERA --csv --table '*' --thread=8 -f /output

表結構與數據導出導入
./obdumper -h xx.x.x.x -P 2883 -u test@mysql#cluster_a -p ****** -D USERA --ddl --csv --no-sys --table '*' --thread=8 -f /output
./obloader -h xx.x.x.x -P 2883 -u test@mysql#cluster_a -p ****** -D USERA --ddl --csv --no-sys --table '*' --thread=8 -f /output