Rocksdb作為當下nosql中性能的代表被各個存儲組件（mysql、tikv、pmdk、bluestore）作為存儲引擎底座，其基於LSM tree的核心存儲結構（將隨機寫通過數據結構轉化為順序寫）來提供高性能的寫吞吐時保證了讀性能。同時大量的併發性配置來降低compaction的影響。 ...
本文分享自天翼雲開發者社區《Rocksdb原理簡介》，作者:l****n
Rocksdb作為當下nosql中性能的代表被各個存儲組件（mysql、tikv、pmdk、bluestore）作為存儲引擎底座，其基於LSM tree的核心存儲結構（將隨機寫通過數據結構轉化為順序寫）來提供高性能的寫吞吐時保證了讀性能。同時大量的併發性配置來降低compaction的影響。
涉及到的幾個核心文件：
WAL
WriteAheadLog，rocksdb的日誌，保存memtable中的信息。當memtable轉化為immutable memtable並且Flush到L0層之後，之前WAL的會被清理，即於刪除DB目錄下的log文件。
在RocksDB中每一次數據的更新都會涉及到兩個結構，一個是記憶體中的memtable(後續會刷新到磁碟成為SST)，第二個是WAL。
WAL主要的功能是當RocksDB異常退出後，能夠恢復出錯前的記憶體中(memtable)數據,因此RocksDB預設是每次用戶寫都會刷新數據到WAL。每次噹噹前WAL對應的記憶體數據(memtable)刷新到磁碟之後，都會新建一個WAL。
所有的WAL文件都是保存在WAL目錄(options.wal_dir)，為了保證數據的狀態，所有的WAL文件的名字都是按照順序的(log_number)。
MANIFEST
在RocksDB中MANIFEST保存了存儲引擎的內部的一些狀態元數據，簡單來說當系統異常重啟，或者程式異常被退出之後，RocksDB需要有一種機制能夠恢復到一個一致性的狀態， 而這個一致性的狀態就是靠MANIFEST來保證的.
MANIFEST在RocksDB中是一個單獨的文件，而這個文件所保存的數據基本是來自於VersionEdit這個結構.
MANIFEST包含了兩個文件，一個log文件一個包含最新MANIFEST文件名的文件，Manifest的log文件名是這樣 MANIFEST-(seq number),這個seq會一直增長.只有當 超過了指定的大小之後，MANIFEST會刷新一個新的文件,當新的文件刷新到磁碟（並且文件名更新）之後，老的文件會被刪除掉。這裡可以認為每一次MANIFEST的更新都代表一次snapshot。
CURRENT
記錄當前最新的MANIFEST文件編號
Memtable
常駐於記憶體中，在WAL寫之後，記錄具體的key-value數據。在RocksDB中，每個ColumnFamily都有自己的Memtable，Column Family之間互不影響。而在RocksDB中Memtable有多種實現，SkipList/HashSkipList/HashLinkList/Vector，預設的實現為SkipList（只有skiplist可以併發插入）。memtable大小以及個數可以由指定的參數進行控制：
write_buffer_size表示memtable的大小
max_write_buffer_number表示記憶體中最多可以同時存在多少個memtable的個數
Immutable memtable
當memtable被寫滿之後會生成一個新的memtable繼續接受IO，舊的memtable就會變成immutable memtable，為只讀的狀態，且開始由後臺線程Flush到磁碟的L0層sst。
SST
核心key-value的存儲文件，比如DB目錄下的000023.sst文件。預設分為L0~L7層，當滿足一定條件時（本層sst總大小超過配置大小、WAL文件超過一定值）後臺開啟compaction任務，從當前層和下一層選取若幹sst，做合併，並寫入新的sst文件。
CcolumnFamily
RocksDB 3.0中加入了Column Family特性，加入這個特性之後，每一個KV對都會關聯一個Column Family，其中預設的Column Family是 "default"。Column Family主要是提供給RocksDB一個邏輯的分區。從實現上來看不同的Column Family共用WAL，而都有自己的memtable和SST，同時擁有自己的配置。這就意味著我們可以快速方便的設置不同的屬性的Column Family以及快速刪除對應的Column Family。但是因為Column Family共用WAL，可能會咬住WAL，讓WAL快速增長從而觸發memtable的強制Flush。
