Redis集群

之前我們講了以下Redis的知識技術四部曲，點擊回顧：
《Redis的sentinel（哨兵）機制》、
《解密Redis的持久化和主從複製機制》、
《Redis安裝和實際應用》、
《深入淺出Redis》；接下來我們在看看Redis第五部曲：Redis集群。

Redis集群簡介
Redis 集群是一個可以在多個 Redis 節點之間進行數據共用的設施（installation）。
Redis 集群不支持那些需要同時處理多個鍵的 Redis 命令， 因為執行這些命令需要在多個 Redis 節點之間移動數據， 並且在高負載的情況下， 這些命令將降低 Redis 集群的性能， 並導致不可預測的行為。比如：有name1 和name2 兩個節點，命令del name1 name2要同時刪除這個key,就不能寫在一起，得分開寫。
Redis 集群通過分區（partition）來提供一定程度的可用性（availability）： 即使集群中有一部分節點失效或者無法進行通訊， 集群也可以繼續處理命令請求。
Redis 集群提供了以下兩個好處：
將數據自動切分（split）到多個節點的能力。
當集群中的一部分節點失效或者無法進行通訊時， 仍然可以繼續處理命令請求的能力。

Redis集群數據共用
Redis 集群使用數據分片（sharding）而非一致性哈希（consistency hashing）來實現： 一個 Redis 集群包含 16384 個哈希槽（hash slot）， 資料庫中的每個鍵都屬於這 16384 個哈希槽的其中一個， 集群使用公式 CRC16(key) % 16384 來計算鍵 key 屬於哪個槽， 其中 CRC16(key) 語句用於計算鍵 key 的 CRC16 校驗和。

集群中的每個節點負責處理一部分哈希槽。 舉個例子， 一個集群可以有三個哈希槽， 其中：
節點 A 負責處理 0 號至 5500 號哈希槽。
節點 B 負責處理 5501 號至 11000 號哈希槽。
節點 C 負責處理 11001 號至 16384 號哈希槽。

這種將哈希槽分佈到不同節點的做法使得用戶可以很容易地向集群中添加或者刪除節點。 比如說：
如果用戶將新節點 D 添加到集群中， 那麼集群只需要將節點 A 、B 、 C 中的某些槽移動到節點 D 就可以了。與此類似， 如果用戶要從集群中移除節點 A ， 那麼集群只需要將節點 A 中的所有哈希槽移動到節點 B 和節點 C ， 然後再移除空白（不包含任何哈希槽）的節點 A 就可以了。

因為將一個哈希槽從一個節點移動到另一個節點不會造成節點阻塞， 所以無論是添加新節點還是移除已存在節點， 又或者改變某個節點包含的哈希槽數量， 都不會造成集群下線。

Redis集群的主從複製：
為了使得集群在一部分節點下線或者無法與集群的大多數（majority）節點進行通訊的情況下， 仍然可以正常運作， Redis 集群對節點使用了主從複製功能： 集群中的每個節點都有 1 個至 N 個複製品（replica）， 其中一個複製品為主節點（master）， 而其餘的 N-1 個複製品為從節點（slave）。

在之前列舉的節點 A 、B 、C 的例子中， 如果節點 B 下線了， 那麼集群將無法正常運行， 因為集群找不到節點來處理 5501 號至 11000號的哈希槽。

另一方面，假如在創建集群的時候（或者至少在節點 B 下線之前）， 我們為主節點 B 添加了從節點 B1 ， 那麼當主節點 B 下線的時候， 集群就會將 B1 設置為新的主節點， 並讓它代替下線的主節點 B ， 繼續處理 5501 號至 11000 號的哈希槽， 這樣集群就不會因為主節點 B 的下線而無法正常運作了。不過如果節點 B 和 B1 都下線的話， Redis 集群還是會停止運作。

Redis集群的一致性保證

Redis 集群不保證數據的強一致性（strong consistency）： 在特定條件下， Redis 集群可能會丟失已經被執行過的寫命令。
使用非同步複製（asynchronous replication）是 Redis 集群可能會丟失寫命令的其中一個原因。

考慮以下這個寫命令的例子：
客戶端向主節點 B 發送一條寫命令。
主節點 B 執行寫命令，並向客戶端返回命令回覆。
主節點 B 將剛剛執行的寫命令複製給它的從節點 B1 、 B2 和 B3 。
如你所見， 主節點對命令的複製工作發生在返回命令回覆之後， 因為如果每次處理命令請求都需要等待複製操作完成的話， 那麼主節點處理命令請求的速度將極大地降低 —— 我們必須在性能和一致性之間做出權衡。

如果真的有必要的話， Redis 集群可能會在將來提供同步地（synchronou）執行寫命令的方法。
Redis 集群另外一種可能會丟失命令的情況是， 集群出現網路分裂（network partition）， 並且一個客戶端與至少包括一個主節點在內的少數（minority）實例被孤立。

舉個例子， 假設集群包含 A 、 B 、 C 、 A1 、 B1 、 C1 六個節點， 其中 A 、B 、C 為主節點， 而 A1 、B1 、C1 分別為三個主節點的從節點， 另外還有一個客戶端 Z1 。

假設集群中發生網路分裂， 那麼集群可能會分裂為兩方， 大多數（majority）的一方包含節點 A 、C 、A1 、B1 和 C1 ， 而少數（minority）的一方則包含節點 B 和客戶端 Z1 。

在網路分裂期間， 主節點 B 仍然會接受 Z1 發送的寫命令：
如果網路分裂出現的時間很短， 那麼集群會繼續正常運行；但是，如果網路分裂出現的時間足夠長， 使得大多數一方將從節點 B1 設置為新的主節點， 並使用 B1 來代替原來的主節點 B ， 那麼 Z1 發送給主節點 B 的寫命令將丟失。

註意，在網路分裂出現期間， 客戶端 Z1 可以向主節點 B 發送寫命令的最大時間是有限制的， 這一時間限制稱為節點超時時間（node timeout），是 Redis 集群的一個重要的配置選項：
對於大多數一方來說，如果一個主節點未能在節點超時時間所設定的時限內重新聯繫上集群， 那麼集群會將這個主節點視為下線， 並使用從節點來代替這個主節點繼續工作。
對於少數一方， 如果一個主節點未能在節點超時時間所設定的時限內重新聯繫上集群， 那麼它將停止處理寫命令， 並向客戶端報告錯誤。

Redis集群搭建
要讓集群正常運作至少需要3個主節點， 不過在剛開始試用集群功能時， 強烈建議使用六個節點： 其中三個為主節點， 而其餘三個則是各個主節點的從節點。
集群規劃：3個主節點，3個從節點。

配置文件：

port 7000
 cluster-enabled yes
 cluster-config-file nodes.conf
 cluster-node-timeout 5000
 appendonly yes
 daemonize yes
 protected-mode no

文件中的 cluster-enabled 選項用於開實例的集群模式， 而 cluster-conf-file 選項則設定了保存節點配置文件的路徑， 預設值為 nodes.conf.

首先準備三台機器，計劃每台機器運行兩個redis實例，集群一共運行6個實例。在每台機器上創建個redis-cluster的目錄，創建兩個以埠號為名字的子目錄， 稍後我們在將每個目錄中運行一個 Redis 實例。

mkdir cluster-test
 cd cluster-test
 mkdir 7000 7001

在文件夾 7000 和7001 中， 各創建一個 redis.conf 文件， 文件的內容可以使用上面的示例配置文件， 但記得將配置中的埠號從 7000 改為與文件夾名字相同的號碼。

在每台機器的7000和7001文件夾下，使用redis-server redis.conf啟動實例。

現在我們已經有了六個正在運行中的 Redis 實例， 接下來我們需要使用這些實例來創建集群， 併為每個節點編寫配置文件。

通過使用 Redis 集群命令行工具 redis-trib ， 編寫節點配置文件的工作可以非常容易地完成： redis-trib 位於 Redis 源碼的 src 文件夾中， 它是一個 Ruby 程式， 這個程式通過向實例發送特殊命令來完成創建新集群， 檢查集群， 或者對集群進行重新分片（reshared）等工作。

安裝ruby相關的程式：

1.yum install ruby
 2.yum install rubygems  
 3.gem install redis --version 3.0.0

註意： 
gem install redis --version 3.0.0 失敗的話，需要修改一下gem的源
gem sources --remove https://rubygems.org/
gem sources -a https://ruby.taobao.org/

安裝完之後用執行以下命令來創建集群：

./redis-trib.rb create --replicas 1 ip1:7000 ip1:7001
 Ip2:7000 ip2:7001 ip3:7000 ip3:7001

命令的意義如下：
給定 redis-trib.rb 程式的命令是 create ， 這表示我們希望創建一個新的集群。
選項 --replicas 1 表示我們希望為集群中的每個主節點創建一個從節點。
之後跟著的其他參數則是實例的地址列表， 我們希望程式使用這些地址所指示的實例來創建新集群。
簡單來說， 以上命令的意思就是讓 redis-trib 程式創建一個包含三個主節點和三個從節點的集群。
創建完之後用 redis-clie –c –p 7000來鏈接集群

好了，Redis暫時為大家講解到這裡，感興趣的同學可以繼續關註上海尚學堂，後續有關大數據技術知識文章陸續放送。。。