Redis全方位講解--主從複製和哨兵模式

前言前面介紹了redis持久化和容災備份，這篇會介紹redis主從複製和redis持久化在主從複製中的一些應用。因為本人沒有那麼多伺服器或機器，所以這裡主要介紹下如何在docker容器中搭建主從複製以及搭建過程中遇到的一些問題。關於redis的深入講解，這邊博客《深入學習Redis(3)：主從複製 ...

前言

　　前面介紹了redis持久化和容災備份，這篇會介紹redis主從複製和redis持久化在主從複製中的一些應用。因為本人沒有那麼多伺服器或機器，所以這裡主要介紹下如何在docker容器中搭建主從複製以及搭建過程中遇到的一些問題。關於redis的深入講解，這邊博客《深入學習Redis(3)：主從複製》介紹的非常詳細，有興趣的可以學習一下。

主從複製運行的機制

當一個 master 實例和一個 slave 實例連接正常時， master 會發送一連串的命令流來保持對 slave 的更新，以便於將自身數據集的改變複製給 slave ：包括客戶端的寫入、key 的過期或被逐出等等。
當 master 和 slave 之間的連接斷開之後，因為網路問題、或者是主從意識到連接超時， slave 重新連接上 master 並會嘗試進行部分重同步：這意味著它會嘗試只獲取在斷開連接期間內丟失的命令流。
當無法進行部分重同步時， slave 會請求進行全量重同步。這會涉及到一個更複雜的過程，例如 master 需要創建所有數據的快照，將之發送給 slave ，之後在數據集更改時持續發送命令流到 slave 。

關於全量重同步和部分重同步，在文章開頭介紹的那篇博客中都有詳細的介紹。在搭建之前，讓我們先瞭解關於redis的幾個重要的事實。

Redis 使用非同步複製，slave 和 master 之間非同步地確認處理的數據量。也正是因為非同步複製，所以有可能會造成數據延遲或不同步。
一個 master 可以擁有多個 slave，slave也可以有sub-slave，但從 Redis 4.0 起，所有的 sub-slave 將會從 master 收到完全一樣的複製流。
Redis 複製在 master 側是非阻塞的。這意味著 master 在一個或多個 slave 進行初次同步或者是部分重同步時，可以繼續處理查詢請求。
複製在 slave 側大部分也是非阻塞的。當 slave 進行初次同步時，它可以使用舊數據集處理查詢請求，假設你在 redis.conf 中配置了讓 Redis 這樣做的話。否則，你可以配置如果複製流斷開， Redis slave 會返回一個 error 給客戶端。但是，在初次同步之後，舊數據集必須被刪除，同時載入新的數據集。 slave 在這個短暫的時間視窗內（如果數據集很大，會持續較長時間），會阻塞到來的連接請求。自 Redis 4.0 開始，可以配置 Redis 使刪除舊數據集的操作在另一個不同的線程中進行，但是，載入新數據集的操作依然需要在主線程中進行並且會阻塞 slave 。
複製既可以被用在可伸縮性，以便只讀查詢可以有多個 slave 進行（例如 O(N) 複雜度的慢操作可以被下放到 slave ），或者僅用於數據安全。
可以使用複製來避免 master 將全部數據集寫入磁碟造成的開銷：一種典型的技術是配置你的 master Redis.conf 以避免對磁碟進行持久化，然後連接一個 slave ，其配置為不定期保存或是啟用 AOF。但是，這個設置必須小心處理，因為重新啟動的 master 程式將從一個空數據集開始：如果一個 slave 試圖與它同步，那麼這個 slave 也會被清空。

關於最後一點，一般主從複製一般會採用讀寫分離，master都用來接受所有的寫操作，這樣為了減少master的壓力，就不會開啟數據持久化，而是在slave中開啟數據持久化。

redis主從複製在docker中搭建

redis.conf文件配置

　　這裡需要註意的一點是，最好所有的主從redis要麼沒有設置密碼，要麼設置的密碼都一樣。

master:https://github.com/Johnson19900110/johnsondock/blob/master/redis/config/redis-master.conf 這裡需要註意的是，如果你的redis設有密碼，那麼 masterauth yourpassword 這個配置一定要配置，因為在哨兵模式下，如果master出現宕機，當它重啟後就變成slave了。
slave1:https://github.com/Johnson19900110/johnsondock/blob/master/redis/config/redis-slave1.conf
slave2:https://github.com/Johnson19900110/johnsondock/blob/master/redis/config/redis-slave2.conf

　　兩個slave需要配置的是

################################# REPLICATION #################################

# Master-Slave replication. Use slaveof to make a Redis instance a copy of
# another Redis server. A few things to understand ASAP about Redis replication.
#
# 1) Redis replication is asynchronous, but you can configure a master to
#    stop accepting writes if it appears to be not connected with at least
#    a given number of slaves.
# 2) Redis slaves are able to perform a partial resynchronization with the
#    master if the replication link is lost for a relatively small amount of
#    time. You may want to configure the replication backlog size (see the next
#    sections of this file) with a sensible value depending on your needs.
# 3) Replication is automatic and does not need user intervention. After a
#    network partition slaves automatically try to reconnect to masters
#    and resynchronize with them.
#
slaveof redis 6379 　　# redis是master的容器名

# If the master is password protected (using the "requirepass" configuration
# directive below) it is possible to tell the slave to authenticate before
# starting the replication synchronization process, otherwise the master will
# refuse the slave request.
#
masterauth 123455

slave-read-only yes　　# slave只讀

三個配置文件配置好後，就可以配置docker-composer.yml文件了

version: "3.7"

networks:
  backend:
    driver: bridge

services:

### Redis ################################################
  # master
  redis:
    image: johnson19900110/redis:latest
    restart: always
    volumes:
      - ${DATA_PATH_HOST}/redis/master:/data
      - ./redis/config/redis-master.conf:/usr/local/etc/redis/redis.conf
    ports:
      - 6379:6379
    networks:
      - backend

  # slave 1
  redis-slave1:
    image: johnson19900110/redis:latest
    restart: always
    volumes:
      - ${DATA_PATH_HOST}/redis/slave1:/data
      - ./redis/config/redis-slave1.conf:/usr/local/etc/redis/redis.conf
    ports:
      - 6380:6379
    networks:
      - backend
    depends_on:
      - redis

  # slave 2
  redis-slave2:
    image: johnson19900110/redis:latest
    restart: always
    volumes:
      - ${DATA_PATH_HOST}/redis/slave2:/data
      - ./redis/config/redis-slave2.conf:/usr/local/etc/redis/redis.conf
    ports:
      - 6381:6379
    networks:
      - backend
    depends_on:
      - redis
      - redis-slave1