Redis 生產架構選型對比,一文整治選擇困難症

来源:https://www.cnblogs.com/88223100/archive/2022/09/18/Comparison-of-Redis-production-architecture-selection.html
-Advertisement-
Play Games

在寫開源項目的時候,想到了要支持多種redis部署方式,於是對於這塊的生產環境的架構選型展開調研。 推薦使用更新的引擎版本以支持更多的特性, Redis 6.0新特性說明 模塊系統新增多個API。 支持SSL/TLS加密。 支持新的Redis協議:RESP3。 服務端支持多模式的客... ...


 

前言

 

在寫開源項目的時候,想到了要支持多種redis部署方式,於是對於這塊的生產環境的架構選型展開調研。

 

一、引擎版本

 

推薦使用更新的引擎版本以支持更多的特性,

 

Redis 6.0新特性說明

 

  • 模塊系統新增多個API。

  • 支持SSL/TLS加密。

  • 支持新的Redis協議:RESP3。

  • 服務端支持多模式的客戶端緩存。

  • 支持多線程IO。

  • 副本中支持無盤複製(diskless replication)。

  • Redis-benchmark新增了Redis集群模式。

  • 支持重寫Systemd。

  • 支持Disque模塊。

 

Redis 5.0新特性說明

 

  • 雲資料庫Redis 5.0版本大幅度優化內核,運行更加穩定,同時新增Stream、賬號管理、審計日誌等多種特性,滿足您更多場景下的使用需求。

  • 新的數據類型:流數據(Stream)。詳細說明請參見Redis Streams。

  • 新增賬號管理功能。

  • 新增日誌管理功能,支持審計日誌、運行日誌和慢日誌,您可以通過日誌管理查詢讀寫操作、敏感操作(如KEYS、FLUSHALL)和管理類命令的使用記錄以及慢日誌。

  • 新增基於快照的緩存分析功能。

  • 新的定時器(Timers)、集群( Cluster)和字典(Dictionary)模塊的API。

  • RDB中增加LFU和LRU信息。

  • 集群管理器從Ruby (redis-trib.rb)移植到了redis-cli中的C語言代碼。

  • 新增有序集合(Sorted Set)命令ZPOPMIN、ZPOPMAX、BZPOPMIN和BZPOPMAX。

  • 升級Active Defragmentation至v2版本。

  • 增強HyperLogLog的實現。

  • 優化記憶體統計報告。

  • 為許多有子命令的命令增加了HELP子命令。

  • 提高了客戶端頻繁連接和斷開連接時的性能表現。

  • 升級Jemalloc至5.1版本。

  • 新增命令CLIENT ID和CLIENT UNBLOCK。

  • 新增了為藝術而生的LOLWUT命令。

  • 棄用slave術語(需要API向後相容的情況例外)。

  • 對網路層進行了多處優化。

  • 進行了一些Lua相關的改進。

  • 新增動態HZ(Dynamic HZ)以平衡空閑CPU使用率和響應性。

  • 對Redis核心代碼進行了重構併在許多方面進行了改進。

 

二、架構

 

您需要根據業務需求選擇:

 

  • 集群架構可輕鬆突破Redis自身單線程瓶頸,滿足大容量、高性能的業務需求。

  • 主從架構,提供高性能的緩存服務和數據高可靠。

  • 讀寫分離架構提供高可用、高性能、高靈活的讀寫分離服務,解決熱點數據集中及高併發讀取的業務需求,最大化地節約用戶運維成本。

 

1、主從架構-雙副本

 

採用主從(master-replica)模式搭建。主節點提供日常服務訪問,備節點提供HA高可用,當主節點發生故障,系統會自動在30秒內切換至備節點,保證業務平穩運行。

 

1)可靠性

 

  • 服務可靠採用雙機主從(master-replica)架構,主從節點位於不同物理機。主節點對外提供訪問,用戶可通過Redis命令行和通用客戶端進行數據的增刪改查操作。當主節點出現故障,HA系統會自動進行主從切換,保證業務平穩運行。

  • 數據可靠預設開啟數據持久化功能,數據全部落盤。支持數據備份功能,用戶可以針對備份集回滾實例或者克隆實例,有效地解決數據誤操作等問題。

 

2)使用場景

 

  • Redis作為持久化數據存儲使用的業務標準版提供持久化機制及備份恢復機制,極大地保證數據可靠性。

 

  • 單個Redis性能壓力可控的業務由於Redis原生採用單線程機制,性能在10萬QPS以下的業務建議使用。如果需要更高的性能要求,請選用集群版本。

 

  • Redis命令相對簡單,排序、計算類命令較少的業務由於Redis的單線程機制,CPU會成為主要瓶頸。如排序、計算類較多的業務建議選用集群版配置。

 

2、主從架構-單副本

 

可以在沒有數據可靠性要求的純緩存場景充分發揮性能優勢。

 

1)使用場景

 

①純緩存類業務場景

 

單副本版本只有一個資料庫節點,節點出現故障時,系統會重新拉起一個Redis進程(沒有數據),當節點故障業務自動切換完成後,應用程式需要將數據重新預熱,以免對後端資料庫產生訪問壓力衝擊。單副本架構不能提供數據可靠性,如果發生節點故障,您需要重新對業務進行預熱,因此,在對數據可靠性要求較高的敏感性業務中,建議選用雙副本架構。

 

②單個Redis性能壓力可控

 

由於Redis原生採用單線程機制,CPU為單核能力,性能在8萬QPS的業務建議使用。如果需要更高的性能要求,請選用集群版配置。

 

③Redis命令相對簡單,排序、計算類命令較少

 

由於Redis的單線程機制,CPU為主要瓶頸。如排序、計算類較多的業務建議選用集群版配置。

 

3、集群版-雙副本

 

可輕鬆突破Redis自身單線程瓶頸,滿足大容量、高性能的業務需求。雙副本集群版實例採用集群架構,每個分片伺服器採用主從(master-replica)雙副本模式。集群版支持代理和直連兩種連接模式,您可以根據本章節的說明,選擇適合業務需求的連接模式。

 

1)代理模式

 

集群架構的本地盤實例預設採用代理(proxy)模式,支持通過一個統一的連接地址(功能變數名稱)訪問Redis集群,客戶端的請求通過代理伺服器轉發到各數據分片,代理伺服器、數據分片和配置伺服器均不提供單獨的連接地址,降低了應用開發難度和代碼複雜度。代理模式的服務架構圖和組件說明如下。

 

 

 

 

2)直連模式

 

因所有請求都要通過代理伺服器轉發,代理模式在降低業務開發難度的同時也會小幅度影響Redis服務的響應速度。如果業務對響應速度的要求非常高,您可以使用直連模式,繞過代理伺服器直接連接後端數據分片,從而降低網路開銷和服務響應時間。直連模式的服務架構和說明如下。

 

 

前提條件:使用Jedis、PhpRedis等支持Redis Cluster的客戶端。

 

  • 使用不支持Redis Cluster的客戶端,可能因客戶端無法重定向請求到正確的分片而獲取不到需要的數據。

 

  • Jedis對於Redis Cluster的支持是基於JedisCluster這個類,詳細說明請參見Jedis文檔。

 

  • 您可以在Redis官網的客戶端列表裡查找更多支持Redis Cluster的客戶端。

 

使用自定義連接池的示例代碼 `import redis.clients.jedis.*;

 

import java.util.HashSet;

import java.util.Set;

public class main {

private static final int DEFAULT_TIMEOUT = 2000;

private static final int DEFAULT_REDIRECTIONS = 5;

private static final JedisPoolConfig DEFAULT_CONFIG = new JedisPoolConfig();

 

public static void main(String args[]){
    JedisPoolConfig config = new JedisPoolConfig();
    // 最大空閑連接數, 根據業務需要設置,不能超過實例規格規定的最大的連接數
    config.setMaxIdle(200);
    // 最大連接數, 根據業務需要設置,不能超過實例規格規定的最大的連接數
    config.setMaxTotal(300);
    config.setTestOnBorrow(false);
    config.setTestOnReturn(false);
    // 開通直連訪問時申請到的直連地址
    String host = "r-bp1xxxxxxxxxxxx.redis.rds.aliyuncs.com"; 
    int port = 6379;
    // 實例的密碼
    String password = "xxxxx";

    Set<HostAndPort> jedisClusterNode = new HashSet<HostAndPort>();
    jedisClusterNode.add(new HostAndPort(host, port));
    JedisCluster jc = new JedisCluster(jedisClusterNode, DEFAULT_TIMEOUT, DEFAULT_TIMEOUT,
            DEFAULT_REDIRECTIONS,password, "clientName", config);
}
}`

4、集群版-單副本

 

 

 

 

 5、讀寫分離版

 

針對讀多寫少的業務場景,提供高可用、高性能、靈活的讀寫分離服務,滿足熱點數據集中及高併發讀取的業務需求,最大化地節約運維成本。讀寫分離版主要由主備節點、只讀節點、Proxy(代理)節點和高可用系統組成。

 

 

 

 

1)特點

 

①高可用

 

  • 通過自研的高可用系統自動監控所有數據節點的健康狀態,為整個實例的可用性保駕護航。主節點不可用時自動選擇新的主節點並重新搭建複製拓撲。某個只讀節點異常時,高可用系統能夠自動探知並重新啟動新節點完成數據同步,下線異常節點。

 

  • Proxy節點實時感知每個只讀實例的服務狀態。在某個只讀實例異常期間,Proxy會自動降低該節點的服務權重,發現只讀節點連續失敗超過一定次數以後,會停止異常節點的服務權利,並具備繼續監控後續重新啟動節點服務的能力。

 

②高性能

 

讀寫分離版採取鏈式複製架構,可以通過擴展只讀實例個數使整體實例性能呈線性增長,同時基於源碼層面對Redis複製流程的定製優化,可以最大程度地提升線性複製的系統穩定性,充分利用每一個只讀節點的物理資源。

 

2)使用場景

 

讀取請求QPS(Queries Per Second)壓力較大

 

標準版Redis無法支撐較大的QPS,如果業務類型是讀多寫少類型,需要採用多個只讀節點的部署方式來突破Redis單線程的性能瓶頸。Redis集群版提供1個、3個、5個只讀節點的配置,相比標準版可以將QPS提升近5倍。

 

對Redis協議相容性要求較高的業務 讀寫分離版完全相容Redis協議命令,可將自建Redis資料庫遷移至讀寫分離版,同時支持從Redis標準版(雙副本)一鍵平滑升級至讀寫分離版。

 

3)建議與使用須知

 

當一個只讀節點發生故障時,請求會轉發到其他節點;如果所有隻讀節點均不可用,請求會全部轉發到主節點。只讀節點異常可能導致主節點負載提高、響應時間變長,因此在讀負載高的業務場景建議使用多個只讀節點。

 

某些場景會觸發只讀節點的全量同步,例如在主節點觸發高可用切換後。全量同步期間只讀節點不提供服務並返回-LOADING Redis is loading the dataset in memory\r\n信息。

 

 

作者丨小熱愛

本文來自博客園,作者:古道輕風,轉載請註明原文鏈接:https://www.cnblogs.com/88223100/p/Comparison-of-Redis-production-architecture-selection.html


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 成本核算程式執行某個存儲過程一直阻塞,排查發現類似以下語句阻塞: select tbl1.product_id,sum(isnull(tbl1.qty,0) * isnull(tbl2.unit_other_cost,0)) as other_cost from [email protected] and ...
  • MySQL的通用日誌: 用來記錄對資料庫的通用操作,包括錯誤的sql語句等信息。 通用日誌可以保存在:file(預設值)或 table(mysql.general_log表) mysql通用日誌的設置: general_log=ON|OFF 是否啟用通用日誌 general_log_file=HOS ...
  • 1 - 編程語言 1.1 編程 編程: 就是讓電腦為解決某個問題而使用某種程式設計語言編寫程式代碼,並最終得到結果的過程。 電腦程式: 就是電腦所執行的一系列的指令集合,而程式全部都是用我們所掌握的語言來編寫的,所以人們要控制電腦一定要通過電腦語言向電腦發出命令。 1.2 電腦語言 計 ...
  • 移動web開發之rem佈局 rem基礎 rem單位 rem (root em)是一個相對單位,類似於em,em是父元素字體大小。 不同的是rem的基準是相對於html元素的字體大小。 比如,根元素(html)設置font-size=12px; 非根元素設置width:2rem; 則換成px表示就是2 ...
  • 這個系列的目的是通過使用 JS 實現“乞丐版”的 React,讓讀者瞭解 React 的基本工作原理,體會 React 帶來的構建應用的優勢 1 HTML 構建靜態頁面 使用 HTML 和 CSS,我們很容易可以構建出上圖中的頁面 <!DOCTYPE html> <html lang="en"> < ...
  • 原型(prototype)是函數特有的屬性。只要創建了一個函數,這個函數就會自動創建一個prototype屬性(顯式原型),並指向該函數的原型對象。原型對象上都有一個constructor屬性,指向prototype屬性所在的函數(即函數本身)。而對於每一個構造函數創建出的實例對象,內部都會有一個[... ...
  • 移動端中的元素內容超出時,對容器設置overflow-x: auto就可以通過手勢水平移動。但是 PC 端只能通過滑鼠滾輪上下滑動,而不能水平移動。 只需要給元素添加一個監聽滑鼠滾輪事件,上下滑動時修改其 scrollLeft 屬性值就可以實現。直接貼上代碼: <div class="horizon ...
  • 我的設計模式之旅,本節學習原型模式。從複製原有對象出現的兩大問題思考原型模式存在的必要性。探討原型模式的實現方法。 ...
一周排行
    -Advertisement-
    Play Games
  • 一:背景 1.講故事 在分析的眾多dump中,經常會遇到各種奇葩的問題,僅通過dump這種快照形式還是有很多問題搞不定,而通過 perfview 這種粒度又太粗,很難找到問題之所在,真的很頭疼,比如本篇的 短命線程 問題,參考圖如下: 我們在 t2 時刻抓取的dump對查看 短命線程 毫無幫助,我根 ...
  • 在日常後端Api開發中,我們跟前端的溝通中,通常需要協商好入參的數據類型,和參數是通過什麼方式存在於請求中的,是表單(form)、請求體(body)、地址欄參數(query)、還是說通過請求頭(header)。 當協商好後,我們的介面又需要怎麼去接收這些數據呢?很多小伙伴可能上手就是直接寫一個實體, ...
  • 許多情況下我們需要用到攝像頭獲取圖像,進而處理圖像,這篇博文介紹利用pyqt5、OpenCV實現用電腦上連接的攝像頭拍照並保存照片。為了使用和後續開發方便,這裡利用pyqt5設計了個相機界面,後面將介紹如何實現,要點包括界面設計、邏輯實現及完整代碼。 ...
  • 思路分析 註冊頁面需要對用戶提交的數據進行校驗,並且需要對用戶輸入錯誤的地方進行提示! 所有我們需要使用forms組件搭建註冊頁面! 平時我們書寫form是組件的時候是在views.py裡面書寫的, 但是為了接耦合,我們需要將forms組件都單獨寫在一個地方,需要用的時候導入就行! 例如,在項目文件 ...
  • 思路分析 登錄頁面,我們還是採用ajax的方式提交用戶數據 唯一需要學習的是如何製作圖片驗證碼! 具體的登錄頁面效果圖如下: 如何製作圖片驗證碼 推導步驟1:在img標簽的src屬性里放上驗證碼的請求路徑 補充1.img的src屬性: 1.圖片路徑 2.url 3.圖片的二進位數據 補充2:字體樣式 ...
  • 哈嘍,兄弟們! 最近有許多小伙伴都在吐槽打工好難。 每天都是執行許多重覆的任務 例如閱讀新聞、發郵件、查看天氣、打開書簽、清理文件夾等等, 使用自動化腳本,就無需手動一次又一次地完成這些任務, 非常方便啊有木有?! 而在某種程度上,Python 就是自動化的代名詞。 今天就來和大家一起學習一下, 用 ...
  • 作者:IT王小二 博客:https://itwxe.com 前面小二介紹過使用Typora+PicGo+LskyPro打造舒適寫作環境,那時候需要使用水印功能,但是小二在升級LskyPro2.x版本發現有很多不如人意的東西,遂棄用LskyPro使用MinIO結合代碼實現自己需要的圖床功能,也適合以後 ...
  • OpenAI Gym是一款用於研發和比較強化學習演算法的工具包,本文主要介紹Gym模擬環境的功能和工具包的使用方法,並詳細介紹其中的經典控制問題中的倒立擺(CartPole-v0/1)問題。最後針對倒立擺問題如何建立控制模型並採用爬山演算法優化進行了介紹,並給出了相應的完整python代碼示例和解釋。要... ...
  • python爬蟲瀏覽器偽裝 #導入urllib.request模塊 import urllib.request #設置請求頭 headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, l ...
  • 前端代碼搭建 主要利用的是bootstrap3中js插件里的模態框版塊 <li><a href="" data-toggle="modal" data-target=".bs-example-modal-lg">修改密碼</a></li> <div class="modal fade bs-exam ...