5000+字硬核乾貨!Redis 分散式集群部署實戰

来源:https://www.cnblogs.com/youkanyouxiao/archive/2020/07/03/13229812.html
-Advertisement-
Play Games

原理: Redis集群採用一致性哈希槽的方式將集群中每個主節點都分配一定的哈希槽,對寫入的數據進行哈希後分配到某個主節點進行存儲。 集群使用公式(CRC16 key)& 16384計算鍵key數據那個槽。 16384個slot均勻分佈在各個節點上。 集群中每個主節點將承擔一部分槽點的維護,而槽點中存 ...


原理:

  • Redis集群採用一致性哈希槽的方式將集群中每個主節點都分配一定的哈希槽,對寫入的數據進行哈希後分配到某個主節點進行存儲。

  • 集群使用公式(CRC16 key)& 16384計算鍵key數據那個槽。

  • 16384個slot均勻分佈在各個節點上。

  • 集群中每個主節點將承擔一部分槽點的維護,而槽點中存儲著數據,每個主節點都有至少一個從節點用於高可用。

節點通信方式:
  • 開啟一個埠 設置的埠號+10000,用於集群之間節點通信交換信息。

  • 每個節點預設每秒10次選擇隨機5個節點發送ping消息,將自身信息和知道的集群信息傳遞,收到ping消息後返回pong消息做回覆,最後通過這種隨機的消息交換,最終每個節點將獲得所有信息。

  • 當某個主節點掛掉,所有節點將會發現主節點掛掉了,作為主節點的從節點,就會接替主節點的工作,然後告訴所有其它節點,他成為了主。這樣其它存活節點,就將它們維護的信息表更新從節點將接任做主,如果都掛掉集群將報錯。當從一個節點操作,根據一致性哈希計算後將存儲在其中一個主節點中,從節點將同步主的數據。

 

 

  • redis cluster是去中心化的,集群中的每個節點都是平等的關係,每個節點都保存各自的數據和整個集群的狀態。每個節點都和其他所有節點連接,而且這些連接保持活躍。

  • 搭建集群時,會為每一個分片的主節點,對應一個從節點。實現slaveof功能,同時當主節點down,實現sentinel哨兵的自動failover切換功能

Redis分散式集群(部署):

埠號:7000-7005

本次分散式分片集群在一臺LInux系統即可,只需要安裝多個實例作為集群配置。

安裝ruby環境支持:
yum -y install ruby rubygems
 

yum安裝2.0.0版本,但是gem需要2.2.2版本以上,所以選擇編譯

下載並安裝ruby環境:
wget https://cache.ruby-lang.org/pub/ruby/2.6/ruby-2.6.1.tar.gz
tar xf ruby-2.6.1.tar.gz && cd ruby-2.6.1/
./configure --prefix=/usr/local/ruby
make && make install && echo $?
echo 'export PATH=$PATH:/usr/local/ruby/bin' >> /etc/profile
source /etc/profile

 

修改gem工具國內源:
# 查看gem工具源地址
gem sources -l
# 添加一個阿裡雲的gem工具源
gem sources -a http://mirrors.aliyun.com/rubygems/
# 刪除gem工具預設國外源
gem sources --remove https://rubygems.org/
# 下載當前最新版本集群插件
gem install redis -v 4.1.0

 

集群節點準備:
mkdir /data/700{0..5}
配置7000埠實例:
vim /data/7000/redis.conf
port 7000
daemonize yes
pidfile /data/7000/redis.pid
loglevel notice
logfile "/data/7000/redis.log"
dbfilename dump.rdb
dir /data/7000
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes

 

拷貝其他埠實例:
# 拷貝配置文件
cp /data/7000/redis.conf /data/7001/
cp /data/7000/redis.conf /data/7002/
cp /data/7000/redis.conf /data/7003/
cp /data/7000/redis.conf /data/7004/
cp /data/7000/redis.conf /data/7005/

# 修改配置文件內容
sed -i 's#7000#7001#g' /data/7001/redis.conf
sed -i 's#7000#7002#g' /data/7002/redis.conf
sed -i 's#7000#7003#g' /data/7003/redis.conf
sed -i 's#7000#7004#g' /data/7004/redis.conf
sed -i 's#7000#7005#g' /data/7005/redis.conf

 

啟動所有實例:
redis-server /data/7000/redis.conf
redis-server /data/7001/redis.conf
redis-server /data/7002/redis.conf
redis-server /data/7003/redis.conf
redis-server /data/7004/redis.conf
redis-server /data/7005/redis.conf

 

創建命令軟鏈接:
(這個命令過期了,現在使用redis-cli命令)(可選執行命令)
ln -s /usr/local/redis-5.0.2/src/redis-trib.rb /usr/sbin/

 

查看進程:
ps -ef |grep redis-server

 

 

 

加入所有實例節點到集群管理:
# --replicas 1",1是代表每一個主有一個從,後面的是所有節點的地址與埠信息
redis-cli --cluster create --cluster-replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005

 

分散式主從規則為,前三個實例節點是主,對應的後面三個實例節點為從節點,如果replicas 2,那就多加3個實例節點

查看主節點狀態:
redis-cli -p 7000 cluster nodes|grep master

 

 

 

 

查看從節點狀態:
redis-cli -p 7000 cluster nodes|grep slave

 

 

 

Redis-分散式集群(管理)

集群節點增加準備:

mkdir /data/700{6..7}

拷貝其他埠實例:

# 拷貝配置文件
cp /data/7000/redis.conf /data/7006/
cp /data/7000/redis.conf /data/7007/

# 修改配置文件內容
sed -i 's#7000#7006#g' /data/7006/redis.conf
sed -i 's#7000#7007#g' /data/7007/redis.conf

 

啟動新節點實例:

redis-server /data/7006/redis.conf
redis-server /data/7007/redis.conf

 

查看進程:
ps -ef |grep redis-server

 

 

 

添加主節點:(7000實例是管理節點)
#'把7006實例添加到7000實例這個主節點所在集群內(此時已經有了4個主節點)
redis-cli --cluster add-node 127.0.0.1:7006 127.0.0.1:7000

 

 

查看主節點狀態:
redis-cli -p 7000 cluster nodes|grep master

 

 

 

轉移slot(重新分片):
#'操作集群管理節點從新分配,併在交互界面指定分片大小、選擇接收分片的節點ID
redis-cli --cluster reshard 127.0.0.1:7000

How many slots do you want to move (from 1 to 16384)? 4096
#通過人工手動計算數據分片總大小除以主節點後的數字

What is the receiving node ID? 2129d28f0a86fc89571e49a59a0739812cff7953
#選擇接收數據分片的節點ID,(這是新增節點7006實例的ID號)

Source node #1: all
#選擇從哪些源主節點重新分片給新主節點)(all是所有節點)

Do you want to proceed with the proposed reshard plan (yes/no)? yes           
#確認修改以上的操作

 

 

重新查看主節點狀態:(可以看到集群數據的重新分片)
redis-cli -p 7000 cluster nodes|grep master

 

 

 

添加從節點:
#'把7007實例節點添加到7006實例主節點內,並指定對應7006實例主節點坐在集群的管理節點
redis-cli --cluster add-node 127.0.0.1:7007 127.0.0.1:7000 --cluster-slave --cluster-master-id 2129d28f0a86fc89571e49a59a0739812cff7953

 

查看從節點狀態:
redis-cli -p 7000 cluster nodes|grep slave

 

 

 

集群節點刪除準備:

移動要刪除節點的數據分片:
#'操作集群管理節點從新分配,併在交互界面指定分片大小、選擇接收分片的節點ID
redis-cli --cluster reshard 127.0.0.1:7000

#方法是根據要刪除master節點的分片位置,然後一個組分一個節點 , 也可以直接移動所有數據片到一個節點

How many slots do you want to move (from 1 to 16384)? 1365                    
#通過人工手動查看數據分片總大小

What is the receiving node ID? e64f9074a3733fff7baa9a4848190e56831d5447
#選擇接收數據分片的節點ID,(這是新增節點7006實例的ID號)

Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953
#選擇從哪些源主節點重新分片給新主節點(這是要刪除的主節點的ID號)

Source node #2: done
#這是結束命令

Do you want to proceed with the proposed reshard plan (yes/no)? yes           
#確認修改以上的操作

 

 

重新查看主節點狀態:(可以看到集群數據的重新分片)
redis-cli -p 7000 cluster nodes|grep master

 

 

 

繼續移動數據片:
#'操作集群管理節點從新分配,併在交互界面指定分片大小、選擇接收分片的節點ID
redis-cli --cluster reshard 127.0.0.1:7000

# 方法是根據要刪除master節點的分片位置,然後一個組分一個節點 , 也可以直接移動所有數據片到一個節點

How many slots do you want to move (from 1 to 16384)? 1366                    
#通過人工手動查看數據分片總大小

What is the receiving node ID? f6c1aaea3a8c56e0c7dee8ad7ae17e26dd04244c
#選擇接收數據分片的節點ID,(這是新增節點7006實例的ID號)

Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953
#選擇從哪些源主節點重新分片給新主節點(這是要刪除的主節點的ID號)

Source node #2: done
#這是結束命令

Do you want to proceed with the proposed reshard plan (yes/no)? yes           
#確認修改以上的操作

 

重新查看主節點狀態:(可以看到集群數據的重新分片)
redis-cli -p 7000 cluster nodes|grep master

 

 

 

最後一次移動數據片:
#'操作集群管理節點從新分配,併在交互界面指定分片大小、選擇接收分片的節點ID
redis-cli --cluster reshard 127.0.0.1:7000

#方法是根據要刪除master節點的分片位置,然後一個組分一個節點 , 也可以直接移動所有數據片到一個節點

How many slots do you want to move (from 1 to 16384)? 1365                    
#通過人工手動查看數據分片總大小

What is the receiving node ID? 5a0df4ea0af5f35c1248e45e88d44c3f2e10169f
Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953
Source node #2: done

 

重新查看主節點狀態:(可以看到集群數據的重新分片)
redis-cli -p 7000 cluster nodes|grep master

 

 

 

刪除清空數據片的主節點:
#'刪除已經清空數據的7006實例
redis-cli --cluster del-node 127.0.0.1:7006 2129d28f0a86fc89571e49a59a0739812cff7953

#刪除沒有主庫的7007實例
redis-cli --cluster del-node 127.0.0.1:7007 821bcf78c5e4c0b08aa7a5d514214b657ebec4ab

 

 

 

其他配置管理:

#記憶體信息查看
redis-cli -p 6382 -a redhat info memory

#設置最大隻能使用100MB的記憶體
redis-cli -p 6382 -a redhat config set maxmemory 102400000

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • CentOS 7/8修改系統運行級別 CentOS 5、 CentOS 6可以通過修改配置文件/etc/inittab 參數,從而修改系統運行級別,切換系統的runlevel,但是從CentOS 7開始,不能用這個命令了,只能由systemd統一管理,並且減少到了兩個等級(當然這裡不包含powero... ...
  • 之前民工哥也給大家介紹過一款Nginx配置生成器:強大!Nginx 配置線上一鍵生成“神器”,不太瞭解的人可以去看一看。 最近民工哥又發現一款好用的網頁版開源工具,同樣它的功能也是Nginx配置生成器,功能非常強大,方便實用,它是:NginxWebUI。 NginxWebUI介紹 NginxWebU ...
  • 華為5月中旬首次向上汽的量產車型EUNIQ系列供應電機控制器,引起汽車電子行業人士高度關註。華為提供的電機控制器,可以3%的高精度調整電機扭矩和輸出控制。經過上汽MAXUS與華為的聯合調教,EUNIQ系列純電版車型0~50km/h加速成績小於5秒。優異的表現來源於車規級MCU的性能以及華為在電機控制 ...
  • SQL基礎隨記3 範式 鍵 什麼是範式?哈,自己設計會使用但是一問還真說不上來。遂將不太明晰的概念整體下 什麼是 & 分類 範式(NF),一種規範,設計資料庫模型時對關係內部各個屬性之間的聯繫的合理化程度的不同等級的規範要求。 分類: 1NF、2NF、3NF、BCNF(巴斯科德範式)、4NF、5NF ...
  • 1. 背景描述和需求 數據分析程式部署在Docker中,有一些分析計算需要使用Spark計算,需要把任務提交到Spark集群計算。 接收程式部署在Docker中,主機不在Hadoop集群上。與Spark集群網路互通。 需求如下 1、在Docker中可程式化向Spark集群提交任務 2、在Docker ...
  • HDFS 文件操作命令 註,其實常用命令不用網上搜,和linux下的命令很類似,觸類旁通,直接在linux 上 hadoop fs 看一下就行了,不需要刻意去記 我把 linux 上的 help 列舉下,方便直接看吧,hdfs dfs 與 hadoop fs 效果一樣 常用的就是 hdfs dfs ...
  • 7月2日消息:近2.3萬個MongoDB資料庫遭黑客攻擊勒索特幣贖金,幾乎占MongoDB資料庫的47%。黑客要求每個資料庫2天內支付0.015 BTC(約合140美元),否則泄露其數據。如何解決此類數據安全問題?本文為您帶來“資料庫遭比特幣勒索的解密與恢復實戰”。 ...
  • MySQL調優 優化需要考慮哪些方面 優化目標與方向定位 總體目標:使得響應時間更快,吞吐量更大。 (throughout 吞吐量:單位時間內處理事務的數量) 如何找到需要優化的地方 使用反饋。比如做出一些操作後導致效率降低 分析日誌。 監控伺服器資源。系統,記憶體,I/O 監控資料庫運行狀況 可優化 ...
一周排行
    -Advertisement-
    Play Games
  • 1. 說明 /* Performs operations on System.String instances that contain file or directory path information. These operations are performed in a cross-pla ...
  • 視頻地址:【WebApi+Vue3從0到1搭建《許可權管理系統》系列視頻:搭建JWT系統鑒權-嗶哩嗶哩】 https://b23.tv/R6cOcDO qq群:801913255 一、在appsettings.json中設置鑒權屬性 /*jwt鑒權*/ "JwtSetting": { "Issuer" ...
  • 引言 集成測試可在包含應用支持基礎結構(如資料庫、文件系統和網路)的級別上確保應用組件功能正常。 ASP.NET Core 通過將單元測試框架與測試 Web 主機和記憶體中測試伺服器結合使用來支持集成測試。 簡介 集成測試與單元測試相比,能夠在更廣泛的級別上評估應用的組件,確認多個組件一起工作以生成預 ...
  • 在.NET Emit編程中,我們探討了運算操作指令的重要性和應用。這些指令包括各種數學運算、位操作和比較操作,能夠在動態生成的代碼中實現對數據的處理和操作。通過這些指令,開發人員可以靈活地進行算術運算、邏輯運算和比較操作,從而實現各種複雜的演算法和邏輯......本篇之後,將進入第七部分:實戰項目 ...
  • 前言 多表頭表格是一個常見的業務需求,然而WPF中卻沒有預設實現這個功能,得益於WPF強大的控制項模板設計,我們可以通過修改控制項模板的方式自己實現它。 一、需求分析 下圖為一個典型的統計表格,統計1-12月的數據。 此時我們有一個需求,需要將月份按季度劃分,以便能夠直觀地看到季度統計數據,以下為該需求 ...
  • 如何將 ASP.NET Core MVC 項目的視圖分離到另一個項目 在當下這個年代 SPA 已是主流,人們早已忘記了 MVC 以及 Razor 的故事。但是在某些場景下 SSR 還是有意想不到效果。比如某些靜態頁面,比如追求首屏載入速度的時候。最近在項目中回歸傳統效果還是不錯。 有的時候我們希望將 ...
  • System.AggregateException: 發生一個或多個錯誤。 > Microsoft.WebTools.Shared.Exceptions.WebToolsException: 生成失敗。檢查輸出視窗瞭解更多詳細信息。 內部異常堆棧跟蹤的結尾 > (內部異常 #0) Microsoft ...
  • 引言 在上一章節我們實戰了在Asp.Net Core中的項目實戰,這一章節講解一下如何測試Asp.Net Core的中間件。 TestServer 還記得我們在集成測試中提供的TestServer嗎? TestServer 是由 Microsoft.AspNetCore.TestHost 包提供的。 ...
  • 在發現結果為真的WHEN子句時,CASE表達式的真假值判斷會終止,剩餘的WHEN子句會被忽略: CASE WHEN col_1 IN ('a', 'b') THEN '第一' WHEN col_1 IN ('a') THEN '第二' ELSE '其他' END 註意: 統一各分支返回的數據類型. ...
  • 在C#編程世界中,語法的精妙之處往往體現在那些看似微小卻極具影響力的符號與結構之中。其中,“_ =” 這一組合突然出現還真不知道什麼意思。本文將深入剖析“_ =” 的含義、工作原理及其在實際編程中的廣泛應用,揭示其作為C#語法奇兵的重要角色。 一、下劃線 _:神秘的棄元符號 下劃線 _ 在C#中並非 ...