redis 系列16 持久化 RDB

来源:https://www.cnblogs.com/MrHSR/archive/2018/11/22/9999957.html
-Advertisement-
Play Games

一.概述 Redis是記憶體資料庫,一旦伺服器進程退出,伺服器中的資料庫記憶體數據狀態也會消失。為瞭解決這個問題,Redis提供了RDB 持久化功能,這個功能可以將redis在記憶體中的資料庫狀態保存到磁碟中,避免數據意外丟失。 RDB持久化可以手動執行,也可以根據伺服器配置選項定期執行,是在指定的時間間 ...


一.概述

  Redis是記憶體資料庫,一旦伺服器進程退出,伺服器中的資料庫記憶體數據狀態也會消失。為瞭解決這個問題,Redis提供了RDB 持久化功能,這個功能可以將redis在記憶體中的資料庫狀態保存到磁碟中,避免數據意外丟失。

  RDB持久化可以手動執行,也可以根據伺服器配置選項定期執行,是在指定的時間間隔,對你的數據進行快照存儲。該RDB文件快照是一個經過壓縮的二進位文件。文件名為dump.rdb,該文件保存在redis目錄下,當redis伺服器停機後,只要RDB文件存在,下次重啟Redis服務時就會自動還原資料庫數據狀態。

 

  1.1 RDB文件的創建

    通過Redis兩個命令來生成RDB文件,一是SAVE,另一個是BGSAVE。SAVE命令是會阻塞Redis伺服器進程,直到RDB文件創建完畢為止,在阻塞期間,伺服器不能處理任何命令請求。

    127.0.0.1:6379> save   -- 等待RDB文件創建完畢
    OK    

    與SAVE不同,BGSAVE命令會派生出一個子進程,然後由子進程負責創建RDB文件,伺服器進程(父進程)繼續處理命令請求。當BGSAVE命令在執行期間,客戶端再發送BGSAVE命令會被伺服器拒絕,因為同時執行兩個GBSAVE命令也會產生競爭條件。最後BGREWRITEAOF和GBSAVE兩個命令也不能同時執行。

    127.0.0.1:6379> bgsave  --派生子進程,並由子進程創建RDB文件
    Background saving started

  

  1.2 RDB文件載入

    和創建文件不同,RDB文件的載入是在伺服器啟動時自動執行的,並沒有用於載入RDB文件的命令,只要Redis伺服器在啟動時檢測到RDB文件的存在,它就會自動載入RDB文件。能過啟動時日誌記錄可以查看。需要註意的是,如果打開了AOF持久化,那麼伺服器會優先使用AOF文件來還原資料庫狀態。

  

  1.3 自動間隔性保存

    文件的創建除了SAVE和GBSAVE保存RDB 文件,還可以通過配置SAVE選項,讓伺服器每隔一段時間自動執行一次BGSAVE命令。可以配置SAVE選項設置多個保存條件,只要任意一個條件被滿足,伺服器就會執行BGSAVE命令。

    --預設配置的SAVE選項,保存方式有三種條件,滿足任意一種就可以,如下:
    127.0.0.1:6379> config get save
    1) "save"
    2) "900 1 300 10 60 10000"

    (1) 伺服器在900秒之內,對資料庫進行了至少1次修改。

    (2) 伺服器在300秒之內,對資料庫進行了至少10次修改。

    (3) 伺服器在60秒之內,對資料庫進行了至少10000次修改。

  1.4 檢查保存條件是否滿足

    Redis的伺服器周期性操作預設每隔100毫秒就會檢查執行一次,用於對正在運行的伺服器進行維護,其中一項工作是檢查save 選項所設置的保存條件是否已經滿足,如果滿足就調用BGSAVE命令。

 

  1.5  RDB工作方式

    當Redis需要保存dump.rdb文件時,伺服器執行以下操作:

    (1)Redis調用forks. 同時擁有父進程和子進程。

    (2)子進程將數據集寫入到一個臨時 RDB 文件中。

    (3)當子進程完成對新 RDB 文件的寫入時,Redis用新 RDB 文件替換原來的 RDB 文件,並刪除舊的 RDB 文件。

  

  1.6  RDB 文件結構

    下麵簡單瞭解一下RDB文件結構,這裡不再深入瞭解。下麵腳本顯示了本機dump.rdb文件的位置。該rdb文件結構中各部分 如下圖表格所示:

    [root@xuegod64 redis]# pwd
    /usr/local/redis
    [root@xuegod64 redis]# ls -l
    -rwxrwxrwx 1 root root    1687 11月 22 10:03 dump.rdb

文件結構各部份

描述

redis

RDB文件最開頭是REDIS部分,保存五個字元,程式在載入文件時,快速檢查所載入的文件是否是RDB文件

Db_version

一個字元串表示的整數,4個位元組,記錄了RDB文件的版本號

databases

該部份包含著0個或任意多個資料庫,以及各資料庫中的鍵值對數據

Eof

占1個位元組,標志著RDB文件正文內容的結束,當程式遇到這個值的時候,就知道所有資料庫的所有鍵值對都已經載入完畢了

Check_sum

占8位元組的無符號整數,保存一個校驗和,通過前四部分內容進行計算得出。用來檢查RDB文件是否出錯或者損壞

    下麵通過linux的od命令來查看redis伺服器產生的RDB 文件,並指定-c參數可以以ASCII編碼方式列印信息。信息中能直接看到的信息是:第一部分是redis,  Db_version部分是0008, Eof部分是372 。

  

  1.7  RDB優勢

    (1) RDB是一個非常緊湊的文件,它保存了某個時間點得數據集,非常適用於數據集的備份,比如你可以在每個小時報保存一下過去24小時內的數據,同時每天保存過去30天的數據,這樣即使出了問題你也可以根據需求恢復到不同版本的數據集。

    (2)RDB是一個緊湊的單一文件,很方便傳送到另一個遠端數據中心,非常適用於災難恢復。

    (3)RDB在保存RDB文件時父進程唯一需要做的就是fork出一個子進程,接下來的工作全部由子進程來做,父進程不需要再做其他IO操作,所以RDB持久化方式可以最大化redis的性能。

    (4)與AOF相比,在恢復大的數據集的時候,RDB方式會更快一些。

  

  1.8  RDB缺點

    (1)如果數據不允許任何丟失,那麼RDB不適合(雖然可以配置不同的save時間點)。

    (2)經常fork子進程來保存數據集到硬碟上,當數據集比較大的時候,fork的過程是非常耗時的,可能會導致Redis在一些毫秒級內不能響應客戶端的請求。

 

二. RDB持久化測試

    (1) 首先關閉redis服務。當關閉服務時報錯,首先檢查一下是否是許可權的問題,因為在shutdown命令的時候,會進行save操作,而save需要操作dump.rdb文件,如果沒有許可權則會報這個錯。

    [root@xuegod64 redis]# redis-cli shutdown
    (error) ERR Errors trying to SHUTDOWN. Check logs
    -- 需要放開對dump.rdb文件的寫入許可權,服務關閉成功
    [root@xuegod64 redis]# redis-cli shutdown
    [root@xuegod64 redis]# redis-cli

    (2) 服務啟動,首先set 寫入一條數據,然後關閉服務進程。

    [hsr@xuegod64 redis]$ redis-serverredis.conf
    127.0.0.1:6379> set name "test"
    OK
    127.0.0.1:6379> get name
    "test"
    127.0.0.1:6379> exit
    [hsr@xuegod64 redis]$ redis-cli shutdown

    (3)重次重啟服務,查看持久化

    查看剛纔的鍵值對,發現鍵值對已存在,說明數據持久化保存到了磁碟中,原理是在關閉服務時,會先調用save操作,保存到dump.rdb文件中,在重啟服務後,載入dump.rdb文件。

    [hsr@xuegod64 redis]$ redis-serverredis.conf
    [hsr@xuegod64 redis]$ redis-cli
    127.0.0.1:6379> get name
    "test"

   

  總結:作為RDB快照持久化,如果是正常關閉redis服務,再重啟後數據是不會丟失的,但如果系統崩潰或者強殺,用戶將會丟失最近一次生成快照之後更改的所有數據。

  

  


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 表值函數創建註意事項 用戶定義表值函數返回 table 數據類型。 對於內聯表值函數,沒有函數主體,表是單個 SELECT 語句的結果集。 表值函數主要用於數據計算出來返回結果集。 使用SSMS資料庫管理工具和T-SQL腳本創建表值函數語法相同。 使用T-SQL腳本創建表值函數 語法: 語法一: - ...
  • [20181122]模擬ORA-08103錯誤.txt$ oerr ora 810308103, 00000, "object no longer exists"// *Cause: The object has been deleted by another user since the oper ...
  • 這兩觸發器比較精簡,容易理解 1、簡單觸發器 CREATE TRIGGER [dbo].[TriggerLog] ON [dbo].[Users] AFTER UPDATEAS BEGIN SET NOCOUNT ON; Insert into dbo.[log](LogContent) selec ...
  • 前陣子一資料庫伺服器的事務日誌開始暴增,當時使用下麵腳本檢查發現該資料庫的log_reuse_wait_desc 一直處於REPLICATION狀態, 也就是說在事務複製過程中,與發佈相關的事務仍未傳遞到分發資料庫。剛好前一天有個同事配置了AWS的DMS相關作業。 SELECT name, log_... ...
  • DCL (Data Control Language,資料庫控制語言)用於定義資料庫許可權 一、用戶許可權 1.1 建立用戶以及授權: Eg :CREATE USER 用戶名 IDENTIFIED BY 密碼 ; 1.2 GRANT 許可權 TO 用戶名 ; Eg:GRANT CREATE SESSION ...
  • 學習方式,有很多種,有的人會選擇提前去預習,提前去學習,將很多知識都自己去提前學習一步,他將時間用在將來要學的知識上。而有些人則是循序漸進,一步一個腳印的學習,雖然節奏慢,但很穩,大學留給每個人的學習時間都是足夠的,只要你能夠堅持,也必定能夠站在和他人一樣的高度。 我還是要推薦下我自己創建的大數據資 ...
  • ThinkerPop Apache 頂級項目 概述 TinkerPop是一個面向實時事務處理(OLAP)以及批量、分析型(OLTP)的開源的圖計算框架。TinkerPop是一個可以應用於不同圖形資料庫的抽象層,避免應用程式與特定資料庫高度依賴。 目標 提供通用的API和工具,使開發人員可以基於不同圖 ...
  • 前幾天,我在論壇溜達。看到一個人發帖說 做了6年的企業級開發,總是被互聯網行業的人認為沒技術含量,不就是CRUD麽 先解釋下 CRUD 是什麼。CRUD 就是我們常說的增刪改查(Create,Retrieve,Update,Delete) 其實,對這個問題,我也思考過。我們所有的業務流程,最終都會抽 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...