在centos環境下編譯安裝myrocksdb

rocksdb（https://rocksdb.org.cn/）是臉書（facebook）公司開源的一個key-value存儲引擎，基於leveldb開發。rocksdb使用的是LSM存儲引擎，純c++編寫。rocksdb具有很好的讀寫性能。但是rocksdb的實際操作需要很好的閱讀rocksdb ...

rocksdb（https://rocksdb.org.cn/）是臉書（facebook）公司開源的一個key-value存儲引擎，基於leveldb開發。rocksdb使用的是LSM存儲引擎，純c++編寫。rocksdb具有很好的讀寫性能。但是rocksdb的實際操作需要很好的閱讀rocksdb api文檔，很多實現要自己編寫代碼來執行，還要考慮諸如線程安全等問題。Myrocks是rocksdb和mysql結合的結果，它將mysql的innodb引擎替換為rocksdb引擎，剝離實際操作底層rocksdb的方式，通過熟悉的操作mysql的方式進行資料庫的連接、數據的存儲讀取等操作，方便很多。

參考頁面http://myrocks.io/docs/getting-started/

1. 執行前兩步安裝必要的包

sudo yum install cmake gcc-c++ bzip2-devel libaio-devel bison \
zlib-devel snappy-devel
sudo yum install gflags-devel readline-devel ncurses-devel \
openssl-devel lz4-devel gdb git

2. 下載facebook的mysql-5.6源碼包

初始化init和更新submodule因為很耗時間，我採用在本地（windows）下載和執行。

git clone https://github.com/facebook/mysql-5.6.git
cd mysql-5.6
git submodule init
git submodule update

執行過後將這些文件上傳至centos，我設置的接收目錄是/usr/local/myrocksdb。

3. 處理dos文件(*)

如果上一步都在linux中執行，則可以忽略這一步。

這一步執行的原因是git在windows上執行上一步的一系列操作之後，執行/產生的文件是dos文件格式，和centos 的unix文件格式存在不同，不執行的話，會出現一系列未知錯誤。

通過如下命令對mysql-5.6中的所有文件進行轉碼：

cd /usr/local/myrocksdb/mysql-5.6
find . -type f -exec dos2unix {} \;

如果不存在dos2unix命令，執行：

yum install –y dos2unix

4. 安裝zstd

zstd是zstandard數據壓縮工具，由Facebook開發。該工具如果不安裝，執行第14步時會提示缺少zstd的問題。

參考頁面：https://www.howtoing.com/zstd-fast-data-compression-algorithm-used-by-facebook

執行如下幾步：

cd /usr/local
git clone https://github.com/facebook/zstd.git
cd zstd
make
sudo make install

編譯和安裝（make install）後的zstd文件產生的文件在 /usr/local/lib 下，我們需要將該目錄下的文件拷貝至 /usr/lib64 目錄下。

cd /usr/local/lib
cp * /usr/lib64

5. 下載‪googletest-release-1.8.0.zip文件

到 https://codeload.github.com/google/googletest/zip/release-1.8.0 頁面下下載googletest-release-1.8.0.zip文件。

將該文件存放到如下目錄，

/usr/local/myrocksdb/mysql-5.6/source_downloads/

6. 安裝boost

boost是c++的標準庫，編譯過程中會用到。

yum install boost
yum install boost-devel
yum install boost-doc

7. 執行make操作

7.1. cmake操作

在 /usr/local/myrocksdb/mysql-5.6 目錄下執行，

cmake . -DCMAKE_BUILD_TYPE=RelWithDebInfo -DWITH_SSL=system \
-DWITH_ZLIB=bundled -DMYSQL_MAINTAINER_MODE=0 -DENABLED_LOCAL_INFILE=1 \
-DENABLE_DTRACE=0 -DCMAKE_CXX_FLAGS="-march=native"

出現如下結果表示執行成功。

7.2. make操作

make -j8

這一步要求centos環境至少要有3G的記憶體，而且執行時間很長，出現以下結果表示執行成功。

8. 添加壓縮軟體庫（*）

這一步沒怎麼看明白，也可以不執行。

# assume libsnappy.a is located at /usr/lib/
export WITH_SNAPPY=/usr
cmake ...
make ...

9. 執行MTR 測試（*）

這一步是對mysql資料庫做一個測試，也可以不執行。

cd mysql-test
./mysql-test-run.pl --mem --async-client --parallel=16 --fast \
--max-test-fail=1000 --retry=0 --force --mysqld=--rocksdb \
--mysqld=--default-storage-engine=rocksdb --mysqld=--skip-innodb \
--mysqld=--default-tmp-storage-engine=MyISAM --suite=rocksdb

出現如下結果，表示MTR測試執行完畢。

10. 安裝Linkbench（*）

Linkbench是對mysql進行性能測試的一個工具，這裡可以不安裝。

確保全裝JDK 和maven，如果沒有要安裝上，如下，

sudo apt-get install openjdk-7-jdk maven
git clone https://github.com/facebook/linkbench.git
cd linkbench;
mvn clean package -P fast-test

出現如下結果表示執行成功。

11. 安裝mysql資料庫

執行以下命令安裝資料庫。

make install

出現以下結果表示執行安裝完成。

成功之後會在 /usr/local/ 目錄下生成 /mysql 文件，這個就是我們熟知的mysql安裝目錄。

12.創建mysql用戶並賦權

useradd -d /home/mysql -m mysql

將mysql目錄的許可權賦給mysql用戶。

cd /usr/localchown -R mysql:mysql mysql

13. 創建my.cnf文件

對mysql的配置文件 /etc/my.cnf 填入以下內容。

[client]
default-character-set=utf8
[mysqld]

#skip-grant-tables
character_set_server=utf8
basedir=/usr/local/mysql
datadir=/usr/local/mysql/data
user=mysql
port=3306
default_authentication_plugin=mysql_native_password

rocksdb
default-storage-engine=rocksdb
skip-innodb
default-tmp-storage-engine=MyISAM
collation-server=utf8_bin

log-bin
binlog-format=ROW

14. 初始化資料庫服務

cd /usr/local/mysql/scripts
./mysql_install_db --user=mysql --defaults-file=/etc/my.cnf --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data

出現如下結果表示執行成功。

15. 啟動資料庫服務

切換到 /usr/local/mysql/bin 目錄下，執行mysql服務的啟動。

cd /usr/local/mysql/bin
./mysqld_safe --defaults-file=/usr/local/mysql/my.cnf &

通過 ps -ef | grep mysql 命令查看，出現mysql的啟動進程表示啟動成功。

16. mysql的登錄和賦權。

在 /usr/local/mysql/bin 目錄下，執行，

use mysql;
insert into mysql.user(Host,User,Password) values ("%","root",password("123456"));
grant all privileges on *.* to root@'%' identified by '123456';
flush privileges;

17.開放防火牆埠

這裡防火牆是cetos預設的firewall防火牆。

打開設置的埠，重啟防火牆。

firewall-cmd --zone=public --add-port=3306/tcp --permanent
systemctl restart firewalld.service

18. 嘗試創建庫和表

創建資料庫

create database myrocks;

創建表

CREATE TABLE `linktable` (
  `id1` bigint(20) unsigned NOT NULL DEFAULT '0',
  `id1_type` int(10) unsigned NOT NULL DEFAULT '0',
  `id2` bigint(20) unsigned NOT NULL DEFAULT '0',
  `id2_type` int(10) unsigned NOT NULL DEFAULT '0',
  `link_type` bigint(20) unsigned NOT NULL DEFAULT '0',
  `visibility` tinyint(3) NOT NULL DEFAULT '0',
  `data` varchar(255) NOT NULL DEFAULT '',
  `time` bigint(20) unsigned NOT NULL DEFAULT '0',
  `version` int(11) unsigned NOT NULL DEFAULT '0',
PRIMARY KEY (link_type, `id1`,`id2`) COMMENT 'cf_link_pk',
KEY `id1_type` (`id1`,`link_type`,`visibility`,`time`,`version`,`data`) COMMENT 'rev:cf_link_id1_type'
) ENGINE=RocksDB DEFAULT COLLATE=utf8_bin;