GreatSQL里也能用上RocksDB引擎 1. 前言 RocksDB 是基於Facebook 開源的一種支持事務的、高度可壓縮、高性能的MyRocks存儲引擎，特別適用於高度壓縮和大容量的數據。以下是一些關鍵特點： 高性能： LSM 樹結構使得RocksDB在寫入密集型負載下表現卓越。它能夠處理 ...
GreatSQL里也能用上RocksDB引擎
1. 前言
RocksDB 是基於Facebook 開源的一種支持事務的、高度可壓縮、高性能的MyRocks存儲引擎，特別適用於高度壓縮和大容量的數據。以下是一些關鍵特點：
- 高性能： LSM 樹結構使得RocksDB在寫入密集型負載下表現卓越。它能夠處理大量的寫入操作，並且在寫入操作上有較低的延遲。
- 可壓縮存儲： 具有高度可壓縮的特性，可以有效減小數據在磁碟上的占用空間。
- 事務支持： 支持 MySQL 的事務語義，這使得它適用於要求事務性支持的應用場景。
- 定製化存儲格式： 允許用戶通過定製化存儲格式來滿足其特定需求。
- 相容性： 相容 MySQL 的 API 和協議。用戶可以將 Percona RocksDB 作為替代存儲引擎，以滿足特定的性能和壓縮需求。
總體而言，RocksDB是為了應對大規模、寫入密集型的工作負載而設計的，尤其適用於像 Facebook 這樣需要高度可壓縮、高性能、事務支持的應用場景。
GreatSQL是從Percona Server For MySQL fork過來的，因此也能在GreatSQL中用上RocksDB引擎。但是因為在GreatSQL中進行了MGR優化，部分代碼和RocksDB引擎有衝突，因此在預設啟用MGR的時候就得關閉RocksDB引擎。在需要RocksDB引擎但不需要MGR的場景下，可以採用本文的方法自行編譯以支持RocksDB引擎。
2. 構建編譯環境
下載GreatSQL-Docker倉庫，並參考其中的GreatSQL-Build項目代碼，進行本地編譯工作。
$ mkdir -p /opt && cd /opt
$ git clone [email protected]:GreatSQL/GreatSQL-Docker.git
$ cd GreatSQL-Docker
$ ls
deppkgs GreatSQL GreatSQL-Build GreatSQL-Shell GreatSQL-Shell-Build LICENSE README.md
這其中的 GreatSQL-Build 是我們這次要用到的項目。
3. 編譯GreatSQL with RocksDB
先修改 Dockerfile中的部分代碼，部分文件改成本地COPY，不再從伺服器上下載：
$ cd GreatSQL-Docker/GreatSQL-Build/
$ vim Dockerfile
# 在第19行附近，增加一行
...
18 openssl openssl-devel pam-devel readline-devel wget zlib-devel"
19 COPY ${ENTRYPOINT} /
20 RUN (cd /lib/systemd/system/sysinit.target.wants/; for i in *; do [ $i == \
...
# 刪除原來第44行
...
43 curl -o ${OPT_DIR}/${GREATSQL_ENV} ${GREATSQL_BUILD_DOWNLOAD_URL}/${GREATSQL_ENV} > /dev/null 2>&1 && \
44 chmod +x /*sh ${OPT_DIR}/*sh
...
修改完後，將不再從伺服器上下載 docker-entrypoint.sh 腳本，改用本地文件。
再修改 docker-entrypoint.sh 中的部分代碼，啟用 RocksDB 編譯支持：
# 在第14行後增加一行，最後變成類似下麵這樣
$ vim docker-entrypoint.sh +14
...
14 wget -c -O ${GREATSQL_MAKESH} ${GREATSQL_MAKESH_DOWNLOAD_URL}/${GREATSQL_MAKESH} >> ${MAKELOG} 2>&1 && \
15 sed -i 's/DWITH_ROCKSDB=.*/DWITH_ROCKSDB=ON \\/ig' ${GREATSQL_MAKESH} >> ${MAKELOG} 2>&1 && \
16 wget -c -O ${RPCGEN} ${GREATSQL_BUILD_DOWNLOAD_URL}/${RPCGEN} >> ${MAKELOG} 2>&1 && \
...
這個改動是修改 greatsql-automake.sh 腳本，使其啟用 RocksDB 編譯支持。
然後執行下麵的命令，開始構建一個GreatSQL編譯環境的Docker鏡像：
$ docker build -t greatsql_build .
Sending build context to Docker daemon 20.48kB
Step 1/8 : FROM centos:8
---> 5d0da3dc9764
Step 2/8 : ENV LANG en_US.utf8
...
構建完Docker鏡像後，新建一個Docker容器，即可自動完成GreatSQL編譯：
# 創建容器
$ docker run -itd --name greatsql greatsql_build bash
# 查看編譯進展
$ docker logs greatsql
0. touch logfile /tmp/greatsql-automake.log
1. downloading sourcecode tarballs and extract
1.1 downloading sourcecode tarballs ...
1.2 extract tarballs ...
2. compile patchelf
3. compile GreatSQL
3.1 compiling GreatSQL
3.2 remove mysql-test from GreatSQL
3.3 make dynamic link for GreatSQL
4. greatsql build completed!
drwxrwxr-x 13 mysql mysql 293 Feb 22 01:33 GreatSQL-8.0.32-25-centos-glibc2.28-x86_64
/opt/GreatSQL-8.0.32-25-centos-glibc2.28-x86_64/bin/mysqld Ver 8.0.32-25 for Linux on x86_64 (GreatSQL, Release 25, Revision 79f57097e3f)
5. remove files and clean up
如果能看到這個字樣，就表示GreatSQL已經編譯完成了，再執行下麵命令確認是否編譯產生RocksDB動態庫文件：
$ docker exec -it greatsql bash -c "find /opt/GreatSQL-8.0.32-25-centos-glibc2.28-x86_64/ -name ha_rocksdb.so"
/opt/GreatSQL-8.0.32-25-centos-glibc2.28-x86_64/lib/plugin/ha_rocksdb.so
可以看到成功編譯出RocksDB動態庫文件，可以將編譯生成的GreatSQL二進位文件拷貝到宿主機上使用。
如果還想同時用上GreatSQL Rapid引擎，可以下載GreatSQL二進位包，解壓縮，提取其中的 lib/plugin/ha_rapid.so 和 lib/private/libduckdb.so 動態庫文件，放置到相應目錄下即可。
接下來就可以體驗在GreatSQL下使用更穩定可靠的MGR，以及壓縮率很高的RocksDB引擎和查詢性能更高的Rapid引擎。
Enjoy GreatSQL
