我設計的redis9.0方案：redis自帶中間件

基於ssd磁碟，此我設計了比redis更好的緩存方案。此方案：沒有緩存擊穿問題。沒有緩存雪崩問題。沒有緩存污染問題。沒有熱key問題。
不需要snap和aof。支持任何sql庫，sql庫不需要帶有任何分散式功能。

 基於ssd磁碟，此我設計了比redis更好的緩存方案：在ssd上增加key的lru信息。從ssd到網路存儲，到sql。

redis 好10倍 一統kv 1.0 博客園
2023-0503，這個方案目前是1.0，方案會持續修補更新，版本號也會變。

世界上為什麼沒有這種3級資料庫?

cpu3級緩存，大家都知道吧。
cpu3級緩存的作用，大家都知道吧。就是分冷熱數據，冷數據淘汰。

那麼為什麼世界上，沒有一種【3級，冷熱數據自動分層，資料庫】？

--------【1級=記憶體級。lru隊列。】--------

記憶體級。lru隊列。隊列有容量限制。存儲redis相容的數據類型。隊列中的每個鍵值，都有一個熱度值。
客戶端來讀，已有數據：已有數據直接返回。
客戶端來讀，但本級無數據：絕不會去讀下級隊列，而是返回本級沒有數據。解決緩存污染問題。

整理隊列：只在沒有客戶端讀請求時做。
超出lru隊列的冷數據：放入寫隊列。寫後移除。
當記憶體空餘超過多少mb時，讀下級隊列中，最熱的100條數據。把下級熱度值一併讀取。

記憶體中，永遠只有最熱的key。不支持客戶端，把key寫入記憶體。

記憶體中的某些key，有個屬性，此屬性阻止key寫入到ssd磁碟。這樣的key斷電將丟失。

--------【2級=ssd磁碟級。】--------

直讀請求：
1本級已有數據，返回數據，不寫入上級隊列。支持限制併發數。
2本級無數據：則放入讀取下級隊列。定時從下級讀取。比如每隔2秒。讀取每個數據時，相鄰的16k數據一同讀取。返回數據，不寫入上級隊列。
支持對客戶端ip，限制併發數。比如，建立一個以客戶端ip為key。ip｛k1=v1； k2=v2｝把已經向下級查找，但未返回的數據，寫入到這個key中。
給這個key設置警告容量=50，最大容量=100。則超過100，返回：太頻繁的查詢。
支持對一批客戶端ip，設定限制警告，最大併發數。

寫請求：維護一個很小的緩衝區，基本每秒寫入。

整理隊列：
lru隊列：隊列有容量限制。隊列中的每個鍵值，都有一個熱度值。
超出lru隊列的冷數據：放入寫隊列。定時寫入下級，寫後移除。
幾乎必須要有這個功能：從kv到非kv，比如到sql，到存儲。
定時計算出本級最熱的100個key，算出幾個，以供上級讀取。

1級2級lru之間，有一個邊緣。這個邊緣記錄在一個變數中。臨近此邊緣的數據，會被頻繁移出，移入。
有一個設定值：
上級寫下來的冷數據：標記為最冷-2。
上級寫下來的冷數據：標記為最熱-100。

ssd中的某些key，有個屬性，此屬性阻止key寫入到下級存儲。這樣的key斷電不會丟失。但遷移時會被丟棄，導致丟失。

通過半夜運行的統計功能插件，實現熱key分門別類統計，為數據分片，分集群提供建議。
提供一個管理員命令，手動變更key的熱度。

還可以在這個中間件中實現：
1對後端3級庫分庫分表。
2對後端3級庫讀寫分離。
3對後端3級庫：從未分庫分表，到分庫分表，讀寫分離轉換。
4對後端3級庫：從1種分庫分表，讀寫分離，轉換到另一種分庫分表，讀寫分離的轉換。
5分散式cap，做在此中間件上。不需要後端資料庫，帶有任何分散式功能。不需要後端資料庫，帶有主從功能。

問：不需要後端資料庫，帶有任何分散式功能。為什麼？
問：它用什麼實現的cap？
答：
中間件自己，通過客戶端2步提交，實現了對資料庫的cap。
2步提交是一種傳統cap的手藝，並不神奇。

6這種庫（你叫中間件也可以），支持多種後端nosql,sql庫。只需要，用各種語言開發插件即可。
7
* 功能以腳本為介面，採用插件的方式。
* 支持各種語言編寫的插件。
* 插件運行後是獨立進程。支持各種資料庫的客戶端。
* 熱變更。沒有停服的概念。隨時啟動，停止所有功能。

集群:
通過一個標簽，如ip，或功能變數名稱，或項目名，來標識集群peer，最終寫入文件名。
對於集群，提供如下管理功能：
1 收。把ssd上的信息，丟棄掉不需要保存的後，從每個集群peer，按照項目備份。
2 放。把備份的恢復到ssd上。
3 整理熱key。根據key的熱度，在每個peer上平均key。通過這一點，可以達到熱key永遠平均分佈在每個peer。
經過熱key重新分佈後，在每個peer上的鍵值對，和項目無法一一對應。即節點1上，有項目125的熱key。

沒有人能事先知道哪些key熱。我的方案通過在ssd上存儲key的熱度，通過一個每天半夜運行的熱key移動程式，達到了熱key平均分佈在各個集群peer。

--------【3級=網路存儲。】--------

不分冷熱，存有所有數據。

--------【3級=任意sql，nosql資料庫。資料庫不需要帶cap，資料庫不需要帶主從。】--------

不分冷熱，存有所有數據。與上述3互斥。

--------【此資料庫的特性：】--------

1必須有2級存儲。即必須使用ssd。

2程式永遠只操作redis的kv對象，不關心是否有sql。
後端庫sql庫不關心kv功能。
因為所有的活，都被這個庫中的2級緩存中的，中間件幹了。

3對於一個冷讀取，至少需要等待3秒：即從3級庫hdd磁碟到2級磁碟等2秒，從2級磁碟到1級ssd等1秒。

4對於每個寫請求：可選寫入：4-1記憶體表示寫入成功，4-2寫入ssd表示寫入成功，4-3寫入hdd磁碟表示成功，4-4寫入分散式庫表示成功。
4-1會丟數據。丟數據情況為：斷電，進程死機，數據被列入隊列拋棄。234不會。這其中，最不重要的數據寫入4-1，其次大多數寫入4-2，剩下所有重要的數據寫入4-4。
從4-2，到4-3，或到4-4，只能管理員手動操作。給管理員提供一個命令即可。

5不需要redis的snap，和aof，落盤功能。因為上述234保證了數據安全。

ssd2級磁碟，相當於redis的snap。
hdd3級磁碟，相當於redis的snap的snap。但又不是單純的snap。這裡面有很多種玩法。

5-1 hsnap比ssnap更大。是資料庫，這樣就不需要任何sql資料庫，nosql庫。
5-2 hsnap文件的大小，格式，都可以自定義。
5-3 hsnap可以帶上功能變數名稱，伺服器ip。這樣就成了分散式緩存。如此一來只需要網路上的2個副本，redis3主3從集群也沒必要了。

6redis只是緩存，不能當庫用。redis不存冷數據，但這個庫可以。redis存儲空間有限，但這個庫可以看做空間無限。

6沒有緩存擊穿問題。沒有緩存雪崩問題。沒有緩存污染問題。沒有熱key問題。

--------【結論】--------

記憶體緩存 ---> ssd硬碟 ---> 網路存儲上的文件
記憶體緩存 ---> ssd硬碟 ---> nosql，sql資料庫 <--- 數據分析工具

問：為什麼說redis集群沒必要了？為什麼說redis集群錯了？

答：

網路磁碟分為：【單台】，【冗餘】。對於自帶冗餘的網路磁碟，我們只需要簡單的寫入1台即可。
這裡我們只談：【單台】。單台需要從ssd讀取，寫入到所有2台【單台】網路磁碟。這裡採用2步提交即可。
對於從【ssd】到【nosql，sql資料庫】也是採用2步提交。
也就是說redis的集群，維持心跳，都沒必要。
我再說明白點：
1客戶端給ab提交，帶著uuid，和寫入時間，只要成功寫入其中1台ssd即可。
2讀的時候，任意1台客戶機讀成功即可。

redis集群特色：
每個集群節點，只有部分數據。
通過分插槽的方法，儘量平均讀寫壓力。

本架構集群特色：

集群伺服器不需要選主。沒有raft。不需要3，5節點。支持1-4節點。

每個節點【最多】只需要2台網路副本，簡稱網路raid1。不分主，從。
基於2級磁碟ssd，可以人為手動，或配置文件自動，分庫，分表，合庫，合表。
繼而實現：分節點，合節點。

集群客戶端：

每個集群節點記憶體中，內有個key，含有所有集群的節點的ip，埠，版本。此key永遠存在記憶體中。
客戶端來讀，非本集群的key，返回錯誤。
客戶端來寫，非本集群的key，返回錯誤。
或者說從客戶端，選擇返回數據的伺服器。即，假如客戶端不知道某key所在的節點，客戶端首次讀寫某key，需要遍歷所有伺服器。
得到某個key所在的伺服器後，會把本key的伺服器ip，埠，寫在本地。
也就是說，客戶端維持每個key的伺服器屬性。這個屬性，保存到磁碟上。
當伺服器上的key，遷移到其他伺服器後，不會通知客戶端，只會返回錯誤。此時，客戶端將從新遍歷伺服器，以查找key的所在。

假設集群有10個節點，那麼客戶端最多讀10次，才能讀到key值。
為了給這個操作提速，可以增加一個【key索引伺服器】。
【key索引伺服器】也是一個記憶體kv庫。它頻繁從10個節點上的ssd中，讀key，然後建立索引。
有了【key索引伺服器】，客戶端只需要2次，即可讀到key值：
1讀key索引伺服器，返回此key所在的peer的ip，記錄在本地。
2從peer的ip，讀取值。
很顯然，集群節點少的情況，不需要【key索引伺服器】。

問：為什麼說redis的snap錯了？

答：
客戶端進來的數據，直接寫入ssd，相當於aof。
因為本架構不需要snap。本架構沒有snap過程。
在本架構中，1級緩存寫入數據到ssd，必須經過lru。分buffer，分時段，寫入。這個過程最多耗時1-2秒。即分片寫入。
而進程重啟後，從下級ssd緩存讀取，也只選擇ssd盤上lru隊列中的topn條數據，塞滿記憶體緩存的95%即可。
或者說redis的缺點是：snap保存到磁碟時，丟失了lru隊列信息。

--------【關於名字】--------

中文名字：一統kv
英文名字：kvAIO

這個資料庫架構，我看不但能夠一統kv，還能一統db。