搭建Redis集群

来源:https://www.cnblogs.com/wf-skylark/archive/2018/07/13/9307549.html
-Advertisement-
Play Games

為什麼要有集群 上一篇隨筆說了基本的主從概念以及搭建，一主可以有多從，如果同時訪問的量過大(1000w)或者發生自然災難,主服務肯定就會掛掉，數據服務就掛掉了 大公司都會有很多的伺服器(華東地區、華南地區、華中地區、華北地區、西北地區、西南地區、東北地區、台港澳地區機房) 集群的概念 集群是一組相互 ...


為什麼要有集群　

  • 上一篇隨筆說了基本的主從概念以及搭建，一主可以有多從，如果同時訪問的量過大(1000w)或者發生自然災難,主服務肯定就會掛掉，數據服務就掛掉了
  • 大公司都會有很多的伺服器(華東地區、華南地區、華中地區、華北地區、西北地區、西南地區、東北地區、台港澳地區機房)

集群的概念

  • 集群是一組相互獨立的、通過高速網路互聯的電腦，它們構成了一個組，並以單一系統的模式加以管理。一個客戶與集群相互作用時，集群像是一個獨立的伺服器。集群配置是用於提高可用性和可縮放性。 

　　　　

當請求到來首先由負載均衡伺服器處理，把請求轉發到另外的一臺伺服器上。

redis集群

  • 分類
    • 軟體層面
    • 硬體層面
  • 軟體層面：只有一臺電腦，在這一臺電腦上啟動了多個redis服務。

　　　　

  • 硬體層面：存在多台實體的電腦，每臺電腦上都啟動了一個redis或者多個redis服務。

　　　　

搭建集群

  • 當前擁有兩台主機172.16.179.130、172.16.179.131，這⾥的IP在使⽤時要改為實際值

參考閱讀

接下來我們開始搭建，大家可以跟著我一起搭建試試，關鍵步驟我都會貼出來：

配置機器1

  • 在演示中，172.16.179.130為當前ubuntu機器的ip
  • 在172.16.179.130上進⼊Desktop⽬錄，創建conf⽬錄

  • 在conf⽬錄下創建⽂件7000.conf，編輯內容如下

 

port 7000
bind 172.16.179.130
daemonize yes
pidfile 7000.pid
cluster-enabled yes
cluster-config-file 7000_node.conf
cluster-node-timeout 15000
appendonly yes
  • 在conf⽬錄下創建⽂件7001.conf，編輯內容如下
port 7001
bind 172.16.179.130
daemonize yes
pidfile 7001.pid
cluster-enabled yes
cluster-config-file 7001_node.conf
cluster-node-timeout 15000
appendonly yes
  • 在conf⽬錄下創建⽂件7002.conf，編輯內容如下
port 7002
bind 172.16.179.130
daemonize yes
pidfile 7002.pid
cluster-enabled yes
cluster-config-file 7002_node.conf
cluster-node-timeout 15000
appendonly yes

  • 總結：三個⽂件的配置區別在port、pidfile、cluster-config-file三項

  • 使⽤配置⽂件啟動redis服務

redis-server 7000.conf
redis-server 7001.conf
redis-server 7002.conf
  • 查看進程如下圖

　　

配置機器2

  • 在演示中，172.16.179.131為當前ubuntu機器的ip
  • 在172.16.179.131上進⼊Desktop⽬錄，創建conf⽬錄

  • 在conf⽬錄下創建⽂件7003.conf，編輯內容如下

port 7003
bind 172.16.179.131
daemonize yes
pidfile 7003.pid
cluster-enabled yes
cluster-config-file 7003_node.conf
cluster-node-timeout 15000
appendonly yes
  • 在conf⽬錄下創建⽂件7004.conf，編輯內容如下
port 7004
bind 172.16.179.131
daemonize yes
pidfile 7004.pid
cluster-enabled yes
cluster-config-file 7004_node.conf
cluster-node-timeout 15000
appendonly yes
  • 在conf⽬錄下創建⽂件7005.conf，編輯內容如下
port 7005
bind 172.16.179.131
daemonize yes
pidfile 7005.pid
cluster-enabled yes
cluster-config-file 7005_node.conf
cluster-node-timeout 15000
appendonly yes

  • 總結：三個⽂件的配置區別在port、pidfile、cluster-config-file三項，同上一臺機器

  • 使⽤配置⽂件啟動redis服務

redis-server 7003.conf
redis-server 7004.conf
redis-server 7005.conf
  • 查看進程如下圖 

　　

所以說，配置了一個第二個自然就可以水到渠成了，然後就是創建了

創建集群

  • redis的安裝包中包含了redis-trib.rb，⽤於創建集群
  • 接下來的操作在172.16.179.130機器上進⾏

  • 將命令複製，這樣可以在任何⽬錄下調⽤此命令

sudo cp /usr/share/doc/redis-tools/examples/redis-trib.rb /usr/local/bin/

  • 安裝ruby環境，因為redis-trib.rb是⽤ruby開發的

    sudo apt-get install ruby

  • 在提示信息處輸⼊y，然後回⻋繼續安裝 

　　

  • 運⾏如下命令創建集群
redis-trib.rb create --replicas 1 172.16.179.130:7000 172.16.179.130:7001 172.16.179.130:7002 172.16.179.131:7003 172.16.179.131:7004 172.16.179.131:7005

　

  • 執⾏上⾯這個指令在某些機器上可能會報錯,主要原因是由於安裝的 ruby 不是最 新版本!

  • 天朝的防⽕牆導致⽆法下載最新版本,所以需要設置 gem 的源

  • 解決辦法如下

-- 先查看⾃⼰的 gem 源是什麼地址
gem source -l -- 如果是https://rubygems.org/ 就需要更換
-- 更換指令為
gem sources --add https://gems.ruby-china.org/ --remove https://rubygems.org/
-- 通過 gem 安裝 redis 的相關依賴
sudo gem install redis
-- 然後重新執⾏指令

　　

redis-trib.rb create --replicas 1 172.16.179.130:7000 172.16.179.130:7001 172.16.179.130:7002 172.16.179.131:7003 172.16.179.131:7004 172.16.179.131:7005
  • 　　提示如下主從信息，輸⼊yes後回⻋ 

　　

  • 提示完成，集群搭建成功

數據驗證

  • 根據上圖可以看出，當前搭建的主伺服器為7000、7001、7003，對應的從伺服器是7004、7005、7002

  • 在172.16.179.131機器上連接7002，加參數-c表示連接到集群

    redis-cli -h 172.16.179.131 -c -p 7002

  • 寫⼊數據

    set name itheima

  • ⾃動跳到了7003伺服器，並寫⼊數據成功

　　

  • 在7003可以獲取數據，如果寫入數據又重定向到7000(負載均衡) 

　　

在哪個伺服器上寫數據：CRC16

  • redis cluster在設計的時候，就考慮到了去中⼼化，去中間件，也就是說，集群中 的每個節點都是平等的關係，都是對等的，每個節點都保存各⾃的數據和整個集 群的狀態。每個節點都和其他所有節點連接，⽽且這些連接保持活躍，這樣就保 證了我們只需要連接集群中的任意⼀個節點，就可以獲取到其他節點的數據
  • Redis集群沒有並使⽤傳統的⼀致性哈希來分配數據，⽽是採⽤另外⼀種叫做哈希 槽 (hash slot)的⽅式來分配的。redis cluster 預設分配了 16384 個slot，當我們 set⼀個key 時，會⽤CRC16演算法來取模得到所屬的slot，然後將這個key 分到哈 希槽區間的節點上，具體演算法就是：CRC16(key) % 16384。所以我們在測試的 時候看到set 和 get 的時候，直接跳轉到了7000端⼝的節點
  • Redis 集群會把數據存在⼀個 master 節點，然後在這個 master 和其對應的salve 之間進⾏數據同步。當讀取數據時，也根據⼀致性哈希演算法到對應的 master 節 點獲取數據。只有當⼀個master 掛掉之後，才會啟動⼀個對應的 salve 節點，充 當 master
  • 需要註意的是：必須要3個或以上的主節點，否則在創建集群時會失敗，並且當存 活的主節點數⼩於總節點數的⼀半時，整個集群就⽆法提供服務了

與Python交互

from rediscluster import *
if __name__ == '__main__':
  try:
    # 構建所有的節點，Redis會使⽤CRC16演算法，將鍵和值寫到某個節點上
    startup_nodes = [
        {'host': '192.168.26.128', 'port': '7000'},
        {'host': '192.168.26.130', 'port': '7003'},
        {'host': '192.168.26.128', 'port': '7001'},
    ]
    # 構建StrictRedisCluster對象
    src=StrictRedisCluster(startup_nodes=startup_nodes,decode_responses=True)
    # 設置鍵為name、值為skylark的數據
    result=src.set('name','skylark')
    print(result)
    # 獲取鍵為name
    name = src.get('name')
    print(name)
  except Exception as e:
    print(e)

　　

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 怎麼從Linux伺服器上下載超過4G的文件？
    使用sz命令下載文件時，超過4G下載不了，如何下載呢？ 本文介紹的方法是先對該文件進行拆分，拆分成多個小於4G的文件，然後分別下載，下載到本地後再進行合併或直接解壓，具體操作如下： 1.分拆為多個文件的命令： 命令解釋： workspace_20150624230059.tar.gz 是待下載的21 ...
  • 如何吧linux純命令行界面變為圖形界面
    使用版本為6.x 1， 連接網路 沒網路就下載不了哦 2，設置下yum源，我本機原來的yum源是網易的但是我用不了，我設置阿裡雲可以下載， 你們有這問題的可以試試 3， yum groupinstall "Desktop" -y -->安裝基本桌面系統 不過這個文件太大了！！！ 我這個網路。。。 。 ...
  • nginx 配置簡單網站項目（linux下）
    1.新建html2與html3兩個網站項目測試，而html是本身就有，記得到/etc/hosts 添加dns記錄 2.修改nginx.conf文件 3.測試訪問 中間用到一些nginx的命令，就不截圖，可以查看下麵 ****************************************** ...
  • Docker 搭建 ELK 收集並展示 tomcat 日誌
    架構 前端展示 索引搜索 日誌緩存 Elastash redis Waiting for set levelDesc [ERROR] [2018 06 30 17:41:56][com.iba.boss.pubsub.listener.core.ListenerTemplate]BmcLevelDe ...
  • Oracle資料庫從入門到精通 多表查詢知識以及範例
    視頻課程：李興華 Oracle從入門到精通視頻課程 學習者：陽光羅諾 視頻來源：51CTO學院 總體內容： 一、認識多表查詢 所謂的多表查詢就是同時從多張表中取出數據並且顯示的一種操作。語法只是做了一些簡單的修改。 語法格式： 於是我們就可以按照這樣子的語法結構來實現多表查詢。本次將會使用emp和d ...
  • Sql 基礎：編程理論 (一)
    SQL代表結構化查詢語言，是一種在關係資料庫系統中查詢和管理數據的標準語言。sql語句也有幾個類別，包括定義語言（DDL），數據操作語言（DML），數據控制語言（DCL）。 DDL包括create，alter,drop等語句，DML用於查詢和修改包括select,insert,update,dele ...
  • [20180713]關於hash join 測試中一個疑問.txt
    [20180713]關於hash join 測試中一個疑問.txt--//上個星期做的測試,鏈接: http://blog.itpub.net/267265/viewspace-2157424/--//前幾天在家裡12c上重覆測試,才發現自己沒註意細節問題.1.環境:SCOTT@test01p> @ ...
  • MySQL上機實習報告（一）
    這次上機實習其實是比較順利的，因為之前在上課時就已經下載安裝好了的，在課後也有自己試驗過。但是在實習時還是有一些小小的麻煩，在查看資料庫，輸入指令show databases時少打了一個‘s’,導致一直錯誤，問了同學也沒解決，後面到網上查閱時才發現了這個問題。另外，在上機時，因為粗心將指令打錯而導致... ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類