前陣子遷移zabbix到tokudb，整理部分操作筆記到這篇博文。

 1 tokudb引擎介紹

1. 特性：高壓縮，可支持多個聚集索引，支持ACID、MVCC，使用 Fractal Tree 索引
2. 優點：

• • fractal tree 可以再瞭解下，對隨機IO有非常大的改善作用
    • fractal tree 可以快速插入及刪除，在隨機IO方面的性能比 B-tree的性能更優
  • 高壓縮，官網給出最大25倍
    • 對數據及索引進行壓縮，根據數據的可壓縮性，官網給出的最大壓縮比是 25 倍
  • 線上索引創建，創建期間，insert delete的DML支持，update呢 ？
  • 線上列增加刪除重命名，修改期間，insert delete的DML支持，update呢 ？
  • 線上備份
  • 多個聚集索引
  • 無io讀複製
    • TokuDB slave可以配置，讓來自master修改可以最小化。通過記錄fractal tree索引：
    • Insert/update/delete操作可以控制取消read-modify-write的行為，然後註入消息到合適的fractal tree。
    • Update/delete操作可以配置取消需要io的一致性檢查。
    • 為了使用使用無io讀複製，服務需要配置：
    • 在replication master：
    • 設置為binlog行模式:BINLOG_FORMAT=ROW
    • 在replication slave:
    • Slave必須為只讀：read_only=1
    • 取消一致性檢查：tokudb_rpl_unique_checks=0
    • 關閉查找(read-modify-write) ：tokudb_rpl_lookup_rows=0
    • 可以在一個或者多個slave上配置。只要master使用了基於行的複製，優化在tokudb slave就可用。也就是說如果master使用innodb或者myisam表也是可用的。
  • 無損化，少碎片
    • 4Mb為單位進行存儲
  • 快速恢復
    • 恢復時長少於1min

2 Tokudb安裝

2.1 percona mysql安裝

1 下載最新percona mysql二進位包

2 解壓

tar zvxf Percona-Server-5.7.17-13-Linux.x86_64.ssl101.tar.gz

3 軟連接

ln -s /opt/percona/Percona-Server-5.7.17-13-Linux.x86_64.ssl101 /usr/local/pmysql

4 建立用戶及用戶組

groupadd mysql

useradd -g mysql -s /sbin/nologin -d /usr/local/mysql/ -M mysql

5 建立文件夾

mkdir -p /data/mysql/pmysql3330/{data,tmp,logs}

6 資料庫配置文件

pmysql3330.cnf

7 授權
[root@sutest242 percona]# chown -R mysql:mysql /usr/local/pmysql/
[root@sutest242 percona]# chown -R mysql:mysql /opt/percona/Percona-Server-5.7.17-13-Linux.x86_64.ssl101
[root@sutest242 percona]# chown -R mysql:mysql /data/mysql/pmysql3330/

8 看是否需要配置環境變數

vim /etc/profile

PATH=$PATH:/usr/local/pmysql/bin

source profile

9 初始化實例

/usr/local/pmysql/bin/mysqld --defaults-file=/data/mysql/pmysql3330.cnf --initialize

10 檢查是否安裝有問題

vim /data/mysql/pmysql3330/data/error.log

11 啟動資料庫實例

/usr/local/pmysql/bin/mysqld --defaults-file=/data/mysql/pmysql3330.cnf &

12 修改密碼

cat /data/mysql/pmysql3330/data/error.log | grep password

/usr/local/pmysql/bin/mysql --socket=/tmp/pmysql3330.sock -uroot -p

alter user root@localhost idnetified by '******';

flush privileges;

2.2 安裝 jemalloc，管理記憶體

2.3 修改transparent_hugepage

tokudb引擎需要啟動透明大頁，更好的提供記憶體管理。

2.4 安裝tokudb引擎跟percona client 

2.5 啟用tokudb存儲引擎

3 文件管理及分析

3.1 安裝tokudb引擎後的新增文件

1. tokudb.environment：tokudb贏取的環境變數存儲文件，像創建時間、當前版本號
2. tokudb.rollback：每一個tokudb的事務，都有自己的回滾日誌，具體回滾日誌分配相關信息記錄在這裡
3. tokudb.directory：映射文件夾的名字

3.2 tokudb文件管理

• 如何遷移：

1. 1. 關閉資料庫服務
   2. 配置文件中添加或者修改 tokudb_data_dir、tokudb_tmp_dir、、、
   3. 創建 tokudb 文件的存儲目錄
   4. 移動文件
      1. 移動 *.tokudb 文件 跟 __tokudb_lock_dont_delete_me_data 到新的存儲目錄
      2. 移動 __tokudb_lock_dont_delete_me_temp 到新的 存儲目錄
      3. 移動 到新的 log*.tokulog* files and your __tokudb_lock_dont_delete_me_logs file 存儲目錄
   5. 啟動資料庫伺服器
   6. 查看文件的存放位置
      1. SELECT dictionary_name, internal_file_name FROM INFORMATION_SCHEMA.TokuDB_file_map;

3.3 問題分析

4 備份

4.1 安裝備份引擎

4.2 備份tokudb

• 配置前提
• • 如果實例含有innodb引擎的表格，需要關閉 innodb非同步io的變數 innodb_use_native_aio，避免出現數據不一致，無法恢復的備份。這個變數只能在配置文件中添加，屬於readonly變數
  • 建立備份文件夾，這個文件夾必須是為空、授權備份文件夾可寫，因為備份的時候，需要寫入及創建文件夾，所以對其所在的文件夾需要有許可權
  • 註意，tokudb_back對本身引擎的表格，支持對單獨存儲的 tokudb_data_dir\ tokudb_log_dir \binary log備份，但是，不支持不支持不支持 innodb或者myisam引擎的表格另外存儲，也就是 所有的InnoDB存儲引擎，MyISAM，及其他文件必須在MySQL datadir
  • tokubackup不備份MySQL的配置文件（S）
  • tokubackup不支持增量備份

• 配置
• • 在配置文件中設置 innodb_use_native_aio = OFF，重啟資料庫實例，這裡註意，啟動資料庫需要到 /usr/local/pmysql 目錄下，執行 ./bin/mysqld_safe --defaults-file=/data/mysql/pmysql3330.cnf
  • 建立文件夾 /data/backup/pmysql3330 ，並授權
  • • chown -R mysql:mysql /data/backup

• 實例備份
• • set tokudb_backup_dir='/data/backup/pmysql3330';
  • 執行這個指令則開始備份，備份過程中，支持讀寫，
• 備份出錯驗證

• 表格備份

• 實例備份後還原
• • tokudbback沒有特定的函數進行數據恢復，可以使用cp或者sync到 數據目錄，或者直接使用備份目錄
  • 註意許可權修改