Redis 高可用集群

来源:http://www.cnblogs.com/itdragon/archive/2017/12/02/7955198.html
-Advertisement-
Play Games

Redis 高可用集群 Redis 的集群主從模型是一種高可用的集群架構。本章主要內容有：高可用集群的搭建，Jedis連接集群，新增集群節點，刪除集群節點，其他配置補充說明。 高可用集群搭建 集群（cluster）技術是一種較新的技術，通過集群技術，可以在付出較低成本的情況下獲得在性能、可靠性、靈活 ...


Redis 高可用集群

Redis 的集群主從模型是一種高可用的集群架構。本章主要內容有：高可用集群的搭建，Jedis連接集群，新增集群節點，刪除集群節點，其他配置補充說明。

高可用集群搭建

集群（cluster）技術是一種較新的技術，通過集群技術，可以在付出較低成本的情況下獲得在性能、可靠性、靈活性方面的相對較高的收益，其任務調度則是集群系統中的核心技術。

Redis 3.0 之後便支持集群。Redis 集群中內置了 16384 個哈希槽。Redis 會根據節點數量大致均等的將哈希槽映射到不同的節點。
所有節點之間彼此互聯(PING-PONG機制)，當超過半數的主機認為某台主機掛了，則該主機就是真的掛掉了，整個集群就不可用了。
若給集群中的每台主機分配多台從機。主機掛了，從機上位，依然能正常工作。但是若集群中超過半數的主機掛了，無論是否有從機，該集群也是不可用的。

搭建前的準備工作

搭建ruby環境

redis集群管理工具 redis-trib.rb 是依賴 ruby 環境。

[root@itdragon ~]# yum install ruby
[root@itdragon ~]# yum install rubygems
[root@itdragon ~]# gem install redis
[root@itdragon ~]# cd redis-4.0.2/src/
[root@itdragon src]# cp redis-trib.rb /usr/local/redis-4/bin/

第一步：安裝 ruby 環境
第二步：安裝 gem 軟體包（gem是用來擴展或修改Ruby應用程式的）。參考地址：https://rubygems.org/gems/redis/versions/
第三步：在redis解壓目錄中找到 redis-trib.rb 文件，將其拷貝到啟動redis服務的目錄下，方便管理。

可能存在的問題
1 redis requires Ruby version >= 2.2.2，解決方法如下
2 沒有/usr/local/rvm/scripts/rvm 這個目錄.可能是上一步執行失敗

[root@itdragon ~]# ruby --version
ruby 1.8.7 (2013-06-27 patchlevel 374) [x86_64-linux]
[root@itdragon ~]# yum install curl
[root@itdragon ~]# curl -L get.rvm.io | bash -s stable
[root@itdragon ~]# source /usr/local/rvm/scripts/rvm 
[root@itdragon ~]# rvm list known
[root@itdragon ~]# rvm install 2.3.3
[root@itdragon ~]# rvm use 2.3.3
[root@itdragon ~]# gem install redis

準備六台redis伺服器

和上一章節主從複製邏輯一樣，將redis.conf文件拷貝6次，埠從6000~6005

[root@itdragon bin]# cp redis.conf redis6000.conf
[root@itdragon bin]# vim redis6000.conf  
port xxxx                           #修改埠
cluster-enabled yes                 #打開註釋，開啟集群模式
cluster-config-file nodes-xxxx.conf #集群的配置文件
pidfile /var/run/redis_xxxx.pid     #pidfile文件
logfile "xxxx.log"                  #日誌文件
dbfilename dump_xxxx.rdb            #rdb持久化文件
cluster-node-timeout 5000           #請求超時，單位毫秒
appendonly yes                      #開啟aof持久化方式
[root@itdragon bin]# vim start-all.sh
./redis-server redis6000.conf
./redis-server redis6001.conf
./redis-server redis6002.conf
./redis-server redis6003.conf
./redis-server redis6004.conf
./redis-server redis6005.conf
[root@itdragon bin]# chmod u+x start-all.sh
[root@itdragon bin]# ./start-all.sh 
[root@itdragon bin]# ps aux | grep redis
root     28001  0.0  0.9 145964  9696 ?        Ssl  17:45   0:00 ./redis-server 112.74.83.71:6000 [cluster]
root     28003  0.0  0.9 145964  9696 ?        Ssl  17:45   0:00 ./redis-server 112.74.83.71:6001 [cluster]
root     28008  0.0  0.9 145964  9656 ?        Ssl  17:45   0:00 ./redis-server 112.74.83.71:6002 [cluster]
root     28013  0.0  0.9 145964  9656 ?        Ssl  17:45   0:00 ./redis-server 112.74.83.71:6003 [cluster]
root     28018  0.1  0.9 145964  9652 ?        Ssl  17:45   0:00 ./redis-server 112.74.83.71:6004 [cluster]
root     28023  0.0  0.9 145964  9656 ?        Ssl  17:45   0:00 ./redis-server 112.74.83.71:6005 [cluster]

第一步：複製六個redis.conf 並修改相關配置，如果覺得麻煩可以用我配置的文件：https://github.com/ITDragonBlog/daydayup/tree/master/Redis/reids.conf
第二步：新增批量開啟redis服務程式，並增加執行許可權
第三步：查看六台redis服務是否啟動成功

主從集群搭建

集群創建命令： ./redis-trib.rb create 創建集群，--replicas 1 給每個主機分配一個從機，後面其他參數都是redis服務的ip:port。最後輸入yes來接受建議的配置

[root@itdragon bin]# ./redis-trib.rb create --replicas 1 112.74.83.71:6000 112.74.83.71:6001 112.74.83.71:6002 112.74.83.71:6003 112.74.83.71:6004 112.74.83.71:6005
>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
112.74.83.71:6000
112.74.83.71:6001
112.74.83.71:6002
Adding replica 112.74.83.71:6003 to 112.74.83.71:6000
Adding replica 112.74.83.71:6004 to 112.74.83.71:6001
Adding replica 112.74.83.71:6005 to 112.74.83.71:6002
...... #省略
Can I set the above configuration? (type 'yes' to accept): yes
...... #省略
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered. #有16384個可用的插槽提供服務說明搭建成功

[root@itdragon bin]# ./redis-cli -h 112.74.83.71 -p 6002 -c
112.74.83.71:6002> set testKey value
-> Redirected to slot [5203] located at 112.74.83.71:6000
OK

112.74.83.71:6000> cluster info
cluster_state:ok
......

112.74.83.71:6000> cluster nodes
0968ef8f5ca96681da4abaaf4ca556c2e6dd0242 112.74.83.71:6002@16002 master - 0 1512035804722 3 connected 10923-16383
13ddd4c1b8c00926f61aa6daaa7fd8d87ee97830 112.74.83.71:6005@16005 slave 0968ef8f5ca96681da4abaaf4ca556c2e6dd0242 0 1512035803720 6 connected
a3bb22e04deec2fca653c606edf5b02b819f924f 112.74.83.71:6003@16003 slave 1d4779469053930f30162e89b6711d27a112b601 0 1512035802000 4 connected
1d4779469053930f30162e89b6711d27a112b601 112.74.83.71:6000@16000 myself,master - 0 1512035802000 1 connected 0-5460
a3b99cb5d22f5cbd293179e262f5eda931733c88 112.74.83.71:6001@16001 master - 0 1512035802719 2 connected 5461-10922
915a47afc4f9b94389676b4e14f78cba66be9e5d 112.74.83.71:6004@16004 slave a3b99cb5d22f5cbd293179e262f5eda931733c88 0 1512035801717 5 connected

第一步：搭建集群 ./redis-trib.rb create ，選擇yes接受建議的配置
第二步：進入集群客戶端 ./redis-cli -h 任意主機host -p 任意主機port -c，-c表示以集群方式連接redis
第三步：保存數據
第四步：cluster info 查詢集群狀態信息
第五步：cluster nodes 查詢集群結點信息，這裡有一個坑，後面會介紹

可能存在的問題

Sorry, the cluster configuration file nodes.conf is already used by a different Redis Cluster node. Please make sure that different nodes use different cluster configuration files.

說的很明確，修改cluster-config-file nodes.conf 文件避免重名，或者刪除該文件重新創建集群。

cluster nodes 查詢集群節點信息
這是很重要的命令，我們需要關心的信息有：
第一個參數：節點ID
第二個參數：IP:PORT@TCP 這裡一個坑，jedis-2.9.0之前的版本解析@出錯
第三個參數：標誌（Master，Slave，Myself，Fail...）
第四個參數：如果是從機則是主機的節點ID
最後兩個參數：連接的狀態和槽的位置。

Jedis 連接集群

首先要配置防火牆

[root@itdragon ~]# vim /etc/sysconfig/iptables
-A INPUT -p tcp -m tcp --dport 6000 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 6001 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 6002 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 6003 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 6004 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 6005 -j ACCEPT
[root@itdragon ~]# service iptables restart

最後是整合Spring

<!-- jedis集群版配置 -->
<bean id="redisClient" class="redis.clients.jedis.JedisCluster">
    <constructor-arg name="nodes">
        <set>
            <bean class="redis.clients.jedis.HostAndPort">
                <constructor-arg name="host" value="${redis.host}"></constructor-arg>
                <constructor-arg name="port" value="6000" />
            </bean>
            <bean class="redis.clients.jedis.HostAndPort">
                <constructor-arg name="host" value="${redis.host}"></constructor-arg>
                <constructor-arg name="port" value="6001" />
            </bean>
            <bean class="redis.clients.jedis.HostAndPort">
                <constructor-arg name="host" value="${redis.host}"></constructor-arg>
                <constructor-arg name="port" value="6002" />
            </bean>
            <bean class="redis.clients.jedis.HostAndPort">
                <constructor-arg name="host" value="${redis.host}"></constructor-arg>
                <constructor-arg name="port" value="6003" />
            </bean>
            <bean class="redis.clients.jedis.HostAndPort">
                <constructor-arg name="host" value="${redis.host}"></constructor-arg>
                <constructor-arg name="port" value="6004" />
            </bean>
            <bean class="redis.clients.jedis.HostAndPort">
                <constructor-arg name="host" value="${redis.host}"></constructor-arg>
                <constructor-arg name="port" value="6005" />
            </bean>
        </set>
    </constructor-arg>
    <constructor-arg name="poolConfig" ref="jedisPoolConfig" />
</bean>
<bean id="jedisClientCluster" class="com.itdragon.service.impl.JedisClientCluster"></bean>

單元測試

/**
 * 集群版測試
 * 若提示以下類似的錯誤：
 * java.lang.NumberFormatException: For input string: "6002@16002"
 * 若安裝的redis 版本大於4，則可能是jedis 的版本低了。選擇 2.9.0
 * 因為 cluster nodes 列印的信息中，4版本之前的是沒有 @16002 tcp埠信息
 * 0968ef8f5ca96681da4abaaf4ca556c2e6dd0242 112.74.83.71:6002@16002 master - 0 1512035804722 3 connected 10923-16383
 */
@Test
public void testJedisCluster() throws IOException {
    HashSet<HostAndPort> nodes = new HashSet<>();
    nodes.add(new HostAndPort(HOST, 6000));
    nodes.add(new HostAndPort(HOST, 6001));
    nodes.add(new HostAndPort(HOST, 6002));
    nodes.add(new HostAndPort(HOST, 6003));
    nodes.add(new HostAndPort(HOST, 6004));
    nodes.add(new HostAndPort(HOST, 6005));
    JedisCluster cluster = new JedisCluster(nodes);
    cluster.set("cluster-key", "cluster-value");
    System.out.println("集群測試 ： " + cluster.get("cluster-key"));
    cluster.close();
}

可能存在的問題

java.lang.NumberFormatException: For input string: "6002@16002"

若redis 的版本在4.0.0之上，建議使用jedis-2.9.0以上。

源碼：
https://github.com/ITDragonBlog/daydayup/tree/master/Redis/ssm-redis

集群節點操作

添加主節點

[root@itdragon bin]# cp redis6005.conf redis6006.conf
[root@itdragon bin]# ./redis-server redis6006.conf
[root@itdragon bin]# ./redis-trib.rb add-node 112.74.83.71:6006 112.74.83.71:6000
[root@itdragon bin]# ./redis-cli -h 112.74.83.71 -p 6000 cluster nodes
916d26e9638dc51e168f32969da11e19c875f48f 112.74.83.71:6006@16006 master - 0 1512115612162 0 connected   # 沒有分配槽
[root@itdragon bin]# ./redis-trib.rb reshard 112.74.83.71:6000
How many slots do you want to move (from 1 to 16384)? 500
What is the receiving node ID? 916d26e9638dc51e168f32969da11e19c875f48f
Please enter all the source node IDs.
  Type 'all' to use all the nodes as source nodes for the hash slots.
  Type 'done' once you entered all the source nodes IDs.
Source node #1:all
Do you want to proceed with the proposed reshard plan (yes/no)? yes
[root@itdragon bin]# ./redis-cli -h 112.74.83.71 -p 6000 cluster nodes
916d26e9638dc51e168f32969da11e19c875f48f 112.74.83.71:6006@16006 master - 0 1512116047897 7 connected 0-165 5461-5627 10923-11088

第一步：創建 redis6006.conf 的新主機，並啟動Redis服務
第二步：新增主機節點，若列印"[OK] New node added correctly." 表示添加成功
第三步：查詢集群節點信息，發現6006埠的主機雖然已經添加，但連接狀態後面沒有內容，即沒分配槽
第四步：給6006埠主機分配槽，

  • 第一個參數：需要移動槽的個數，
  • 第二個參數：接受槽的節點ID，
  • 第三個參數：輸入"all"表示從所有原節點中獲取槽，
  • 第四個參數：輸入"yes"開始移動槽到目標結點id

第五步：查詢集群節點信息，發現6006埠的主機已經分配了槽

核心命令：
./redis-trib.rb add-node 新增主機ip:port 集群任意節點ip:port
./redis-trib.rb reshard 集群任意節點ip:port

可能存在的問題
[ERR] Sorry, can't connect to node 112.74.83.71:6006
說明：新增的主機必須要是啟動狀態。

添加從節點

[root@itdragon bin]# cp redis6006.conf redis6007.conf
[root@itdragon bin]# vim redis6007.conf 
[root@itdragon bin]# ./redis-server redis6007.conf
[root@itdragon bin]# ./redis-trib.rb add-node --slave --master-id 916d26e9638dc51e168f32969da11e19c875f48f 112.74.83.71:6007 112.74.83.71:6006
[root@itdragon bin]# ./redis-cli -h 112.74.83.71 -p 6000 cluster nodes
80315a4dee2d0fa46b8ac722962567fc903e797a 112.74.83.71:6007@16007 slave 916d26e9638dc51e168f32969da11e19c875f48f 0 1512117377000 7 connected

第一步：創建 redis6007.conf 的新主機，並啟動Redis服務
第二步：新增從機節點，在原來的命令上多了 --slave --master-id 主節點ID
第三步：查詢集群節點信息

刪除結點

刪除節點前，要確保該節點沒有值，否則提示：is not empty! Reshard data away and try again. 若該節點有值，則需要把槽分配出去

./redis-trib.rb del-node 112.74.83.71:6006 916d26e9638dc51e168f32969da11e19c875f48f

配置文件補充

前幾章Redis教程中介紹了以下配置
1 開啟Redis 的守護進程 ：daemonize yes
2 指定pid文件寫入文件名 ：pidfile /var/run/redis.pid
3 指定Redis 埠：port 6379
4 綁定的主機地址 ：bind 127.0.0.1
5 Redis持久化預設開啟壓縮數據：rdbcompression yes
6 指定rdb文件名：dbfilename dump.rdb
7 指定rdb文件位置：dir ./
8 從機啟動時，它會自動從master進行數據同步：slaveof < masterip> < masterport>
9 開啟aof持久化方式：appendonly yes
10 指定aof文件名：appendfilename appendonly.aof
11 觸發aof快照機制：appendfsync everysec (no/always)

本章節是Redis教程中的最後一章，把剩下的配置也一起說了吧
1 設置客戶端連接超時時間，0表示關閉 ：timeout 300
2 設置Redis日誌級別，debug、verbose(預設)、notice、warning：loglevel verbose
3 設置資料庫的數量：databases 16
4 設置Redis連接密碼：requirepass foobared
5 設置同一時間最大客戶端連接數，預設無限制：maxclients 128
6 指定Redis最大記憶體限制：maxmemory < bytes>
7 指定是否啟用虛擬記憶體機制：vm-enabled no
8 指定虛擬記憶體文件路徑：vm-swap-file /tmp/redis.swap
9 指定包含其它的配置文件：include /path/to/local.conf

到這裡Redis 的教程就結束了，還有其他知識可以訪問官網學習。有什麼不對的地方請指正。謝謝！

更多內容可學習官網：https://redis.io/topics/cluster-tutorial


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • JavaScript嚴格模式下this指向
    一般認為：嚴格模式下this不允許指向全局對象。 如：http://www.ruanyifeng.com/blog/2013/01/javascript_strict_mode.html 需要說明的是：本身指向全局的this是沒有問題的。 示例代碼： 控制台輸出為window對象（全局對象）： 嚴格 ...
  • 詳解BST(二叉排序樹)
    查找基本分類如下： 1. 線性表的查找 順序查找 折半查找 分塊查找 2. 樹表的查找 二叉排序樹 平衡二叉樹 B樹 B+樹 3. 散列表的查找 今天介紹 二叉排序樹 。 二叉排序樹 ( Binary Sort Tree ) 又稱為 二叉查找樹 ，它是一種對排序和查找都很有用的特殊二叉樹。 1. 二 ...
  • js常用事件
    常用無返回值的事件 onabort圖像載入被中斷 onblur 元素失去焦點 onfocus 元素獲得焦點 onreset 重置按鈕被點擊 onselect 文本被選中 onsubmit 確認按鈕被點擊 onchange 域的內用被改變 onclick 當用戶點擊某個對象時調用的事件 ondblcl ...
  • 常見函數錯誤引發的思考.
    今天在寫代碼的時候，我犯了一個很low的錯誤，廢話不多說，直接上代碼： 大家看到之後，第一反應肯定會認為是個語法錯誤，可是自己仔細想想，這是什麼原因？似乎還不能解釋清楚，好奇寶寶模式立即啟動，經過查閱相關資料得到了答案，接下來我們一起來探討下其中的原理。 疑惑解答 大家有沒有考慮過為什麼上面這種寫法 ...
  • fetch知識點彙總
    使用XHR發送一個json請求一般是這樣: 使用fetch的實例: Fetch參數 fetch(input [,init]) input(必須) 定義要獲取的資源(請求地址) init(可選) 參數 | 描述 method 請求使用的方法，如GET、POST headers http請求頭（user ...
  • js導出excel
    js導出Excel的方法 利用html的table表格的格式書寫想要的excel格式 獲取table的內容並組裝成一個xls格式的字元串 利用Blob對象生成一個xls格式的文件 利用a標簽的download屬性創建文件名，並下載到本地 例子： "js導出Excel" table表格內容 先寫一個正 ...
  • 表單<form></form>提交方式的區別
    <form action="" method="get/post"> 表單<form></form>的提交方式有兩種：post，get post 方式 指交互信息 放入到請求體裡面 get 方式 指交互信息 放入到請求頭裡面 區別： 1.發送請求的空間大小不一致: get請求存放的數據不能超過500 ...
  • 全記憶體的redis用習慣了？那能突破記憶體限制類redis產品ssdb呢？
    首先說一下背景，在雙十一的時候，我們系統接受X寶的訂單推送，同事原先的實現方式是使用redis的List作為推送數據的承載，在非大促的場景下， 一切運行正常，記憶體占用大概3-4G，機器是16G記憶體。由於提前預計不足，在雙十一來臨的時候，訂單瞬時量達到了平時的10X倍，記憶體非常吃緊，情況算 是非常緊急 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類