redis 數據備份持久化方案

来源:https://www.cnblogs.com/zhenghongxin/archive/2018/05/17/9050219.html
-Advertisement-
Play Games

本文鏈接:http://www.cnblogs.com/zhenghongxin/p/9050219.html 使用兩種備份方案 備份方案選擇RDB和AOF同時進行備份,必須打開AOF的持久化機制,除非能接受在故障環境下丟失幾分鐘的數據。 在redis重啟的時候,是優先通過AOF進行數據恢復的,因為 ...


本文鏈接:http://www.cnblogs.com/zhenghongxin/p/9050219.html

  • 使用兩種備份方案

備份方案選擇RDB和AOF同時進行備份,必須打開AOF的持久化機制,除非能接受在故障環境下丟失幾分鐘的數據。

在redis重啟的時候,是優先通過AOF進行數據恢復的,因為AOF數據比較完整。

  • RDB的生成策略

要修改的是該條命令:

save 60 10000

該條命令是60秒內,如果有1萬條命令執行,那麼就進行快照備份。這個值略大,可以根據自己的業務量而定,可以調小至1000。但也同時意味著,在一分鐘內,如果命令執

行了999條,且在最後一秒redis掛掉,該分鐘內的命令將會全部丟失。

註意不要用:redis-cli SHUTDOWN
這樣的方式去測試,這是一種安全退出的模式,redis會安全生成dump.rdb

它的工作流程:

1)redis根據配置自己嘗試去生成rdb快照文件
(2)fork一個子進程出來
(3)子進程嘗試將數據dump到臨時的rdb快照文件中
(4)完成rdb快照文件的生成之後,就替換之前的舊的快照文件dump.rdb,每次生成一個新的快照,都會覆蓋之前的老快照
  • AOF的生成策略

當AOF開啟之後,redis每次接收到一條寫命令,就會寫入日誌文件中,先寫入系統的 os cache中,然後隔一段時間再fsync一下。

 fsync的策略有三種:

always: 每次寫入一條數據,立即將這個數據對應的寫日誌fsync到磁碟上去,性能非常非常差,吞吐量很低; 
     如果說確保說redis里的數據一條都不丟,那就只能這樣了 everysec: 每秒將os cache中的數據fsync到磁碟,這個最常用的,生產環境一般都這麼配置,性能很高,QPS還是可以上萬的 no:就是直接寫入os cache就不管了,讓linux自帶的機制去將數據刷入磁碟,這樣很不可控

因此我們要配置為everysec。

 接著配置兩條命令:

auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb

redis 2.4之前,還需要手動,開發一些定時任務腳本,通過BGREWRITEAOF命令去執行AOF rewrite,但是redis 2.4之後,會自動進行rewrite操作

也就是說在上一次AOF rewrite之後,日誌大小是128mb,接著再往裡面寫日誌,當總日誌大小增長的比例,超過了之前的100%,即達到256mb後,就會觸發rewrite操作。

註意,此時還要跟 auto-aof-rewrite-min-size 比較大小,256M 大於 64m,可以觸發rewrite操作。這兩條命令,可以根據業務進行調節大小,或者保持預設值

  •  定時任務備份方案(重要)

並不是說讓redis自動進行持久化備份就可以的,而是要另開腳本,進行更細緻的備份。

1 )每小時都copy一份rdb的備份,到一個目錄中去,僅僅保留最近48小時的備份

0 * * * * sh /usr/local/redis/copy/redis_rdb_copy_hourly.sh

redis_rdb_copy_hourly.sh

#!/bin/sh 

cur_date=`date +%Y%m%d%k`       # 年月日時進行備份
rm -rf /usr/local/redis/snapshotting/$cur_date  # 先刪除原有日期底下的備份目錄文件
mkdir /usr/local/redis/snapshotting/$cur_date   # 創建該目錄
cp /var/redis/6379/dump.rdb /usr/local/redis/snapshotting/$cur_date #將快照備份

del_date=`date -d -48hour +%Y%m%d%k`  # 48小時前的目錄文件名
rm -rf /usr/local/redis/snapshotting/$del_date # 刪除48小時前的目錄

 2 )每天copy一次備份

0 0 * * * sh /usr/local/redis/copy/redis_rdb_copy_daily.sh

redis_rdb_copy_daily.sh

#!/bin/sh 

cur_date=`date +%Y%m%d`  #年月日進行備份
rm -rf /usr/local/redis/snapshotting/$cur_date  #先刪除原有的目錄
mkdir /usr/local/redis/snapshotting/$cur_date   #創建該目錄
cp /var/redis/6379/dump.rdb /usr/local/redis/snapshotting/$cur_date  //備份cp

del_date=`date -d -1month +%Y%m%d`  #僅保留近一個月的數據
rm -rf /usr/local/redis/snapshotting/$del_date #刪除

3)每天一次將所有數據上傳一次到遠程的雲伺服器上去

 原理跟第2點一樣,只是不是用cp,而是用scp或rsync等命令將文件備份到遠程安全伺服器

 以上只給了rdb的備份,aof的備份腳本基本一致。

  •  數據恢復方案(重要)

 (1)如果是redis進程掛掉,那麼重啟redis進程即可,直接基於AOF日誌文件恢複數據

 (2)如果是redis進程所在機器掛掉,那麼重啟機器後,嘗試重啟redis進程,嘗試直接基於AOF日誌文件進行數據恢復

   如果AOF沒有破損,可以直接基於AOF恢復的

   AOF append-only,順序寫入,如果AOF文件破損,那麼用redis-check-aof fix

 (3)如果redis當前最新的AOF和RDB文件出現了丟失/損壞,那麼可以嘗試基於該機器上當前的某個最新的RDB數據副本進行數據恢復

     找到RDB最新的一份備份,小時級的備份可以了,小時級的肯定是最新的,copy到redis裡面去,就可以恢復到某一個小時的數據 

 (4)如果當前機器上的所有RDB文件全部損壞,那麼從遠程的雲服務上拉取最新的RDB快照回來恢複數據

恢復的過程:

(1)優先用appendonly.aof去恢複數據

(2)停止redis,關閉aof (為什麼要關閉?如果不關閉,啟動redis後,redis會生成一份新的可能為空的aof強行覆蓋目錄下的aof,導致恢復失敗)

(3)拷貝備份文件,重啟redis

(4)命令行修改redis配置,開啟aof (redis config set )


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 最近線上系統突然出現匯出資料超過 10 筆時,查詢逾時的狀況,在仔細查找之後。 發現了問題原因,透過應用端與數據端兩邊同時調整,將查詢的效率提昇了約數百倍以上 首先,原本應用端的商務邏輯為每一分頁筆數固定為10筆,所以使用者最多可以匯出 10 筆資料 而且原本的商務邏輯是寫成這樣的 這段語法在 SQ ...
  • 使用AWS DMS(Database Migration Service)將SQL Server資料庫同步到AWS的Data Lake上,需要在本地源資料庫上配置複製,在配置分發嚮導最後一步時,遇到下麵錯誤: TITLE: Microsoft.SqlServer.ConnectionInfo----... ...
  • 作者: "zyl910" 一、緣由 BLOB是指二進位大對象,也就是英文Binary Large Object的縮寫。 在很多時候,我們是通過其他編程語言(如Java)訪問BLOB的位元組數據,進行位元組級的操作的。 但是有些時候工作量很小,感覺專門為BLOB位元組級操作而專門開發個程式,是比較麻煩的。於 ...
  • 參考文檔:MongoDB官方文檔 版本:3.6.4 從版本3.6開始,MongoDB需要Windows Server 2008 R2,Windows 7或更高版本。 第一步,在下載中心下載最新版本的MongoDB的.msi安裝文件並安裝 下載中心:https://www.mongodb.com/do ...
  • 一、瞭解SQL 資料庫的應用場景 sql 簡介 二、 檢索數據 SELECT語句 檢索單個、多及所有列的方法分享 檢索不同的值 限制結果 sqlserver註釋編寫方法 三、排序檢索數據 排序數據 按多個列排序 按列位置排序 指定排序方向 四、過濾數據 使用WHERE子句 WHERE子句操作符 五、 ...
  • 1、安裝mysql-server的命令:sudo apt-get install mysql-server 安裝mysql-client客戶端:sudo apt-get install mysql-client 查是否安裝成功並且啟用:sudo netstat -tap | grep mysql 關 ...
  • 本文是分散式資料庫的總綱文章的第一部分,列舉了三類不同技術方案(MPP/Hadoop/Mesa),主要探討分析性分散式資料庫的發展和技術差異;後續的第二部分則是交易性資料庫的一些關鍵特性分析。Ivan開始計劃的分散式資料庫是不含分析場景的,所以嚴格來說本篇算是番外篇,後續待條件具備將以獨立主題的方式... ...
  • 什麼是存儲過程: 存儲過程是一組為了完成特定功能的sql語言集,存儲過程經過編譯後儲存在資料庫服務端中,類似oracle創建自增長SEQUENCE。 存儲過程的功能及優點: 儲存過程只在創建時編譯一次存儲在資料庫服務端中,以後調用無需再編譯,可以重覆使用,比一般的sql語句執行效率快,並且可以設定某 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...