Redis持久化過程的監控及優化

来源:https://www.cnblogs.com/a609251438/archive/2020/05/23/12944386.html
-Advertisement-
Play Games

Redis持久化過程一直是影響redis性能的常見因素,如何監控持久化以及如何優化持久化過程呢?下麵我們就一起來看看吧。 fork的監控及優化 不管是使用哪種持久化,RDB持久化或AOF重寫,主進程都會fork出一個子進程,在子進程里完成rdb文件的生成或aof的重寫。fork操作對於操作系統來說屬 ...


Redis持久化過程一直是影響redis性能的常見因素,如何監控持久化以及如何優化持久化過程呢?下麵我們就一起來看看吧。

 

fork的監控及優化

不管是使用哪種持久化,RDB持久化或AOF重寫,主進程都會fork出一個子進程,在子進程里完成rdb文件的生成或aof的重寫。fork操作對於操作系統來說屬於比較重的操作。fork階段,redis會阻塞一段時間。阻塞時間和redis數據占用的記憶體大小成正比關係,每1G記憶體fork耗時在20毫秒。

如想知道fork階段的阻塞時間,可以使用info stats命令,查看latest_fork_usec選項的值,單位是微秒。記住是微秒,不是毫秒。

# redis-cli info stats | grep latest
latest_fork_usec:323

  

優化fork的方法:

  • 控制redis占用的記憶體大小。若占用記憶體過大的話,可以將應用拆分開,在多個伺服器上部署,分攤redis的記憶體占用。
  • 適當降低fork的操作頻率。

記憶體的監控

RDB持久化的日誌如下:

……
21692:C 15 May 2020 14:17:06.935 * DB saved on disk
21692:C 15 May 2020 14:17:06.936 * RDB: 2 MB of memory used by copy-on-write
……

  

可以看到RDB持久化過程消耗了2M記憶體。

AOF持久化日誌如下:

……
15786:C 23 May 2020 07:39:59.145 * AOF rewrite: 2MB of memory used by copy-on-write
10679:M 23 May 2020 07:39:59.201 * Background AOF rewrite terminated with success
10679:M 23 May 2020 07:39:59.201 * Residual parent diff successfully flushed to the rewritten AOF (0.02 MB)
10679:M 23 May 2020 07:39:59.201 * Background AOF rewrite finished successfully

  

可以看到,aof重寫占用的記憶體為2MB+0.02MB=2.02MB

如想監控持久化過程中記憶體占用情況,可以編寫shell腳本,統計出redis日誌里相關信息。

硬碟的監控

Redis持久化過程會對硬碟造成壓力,因為持久化後,記憶體的數據會保存到硬碟中。

linux系統監控硬碟的命令有sar、iostat等,如發現硬碟io壓力超過閥值,再根據redis的日誌對比下持久化的時間,看看是不是由於redis持久化造成的壓力。

優化方法這裡提兩點:

  • 使用性能好的磁碟,機械硬碟肯定比不了固態硬碟。
  • 如果是單機上配置了好幾個redis實例,可以分別寫入不同的磁碟里,減輕磁碟的寫入壓力。

單機多實例部署

因為redis是單線程架構,如果一個伺服器上只部署一個redis實例,那麼對於多核cpu來說是一種浪費。所以,通常會在一個伺服器上部署多個redis應用,比如開啟三個redis服務,埠號分別為6379,6380,6381。6379用來做緩存服務,6380用來做消息隊列,6381用來做標簽及推薦系統。

這樣確實可以充分利用cpu,但會容易產生問題。如果多個實例同時在進行持久化,那麼對於cpu、記憶體及影片的壓力是非常大的。好的做法是將他們隔離開來,同一時間只有一個實例在進行持久化。

實現該效果的偽代碼如下:

while (true)
{
 $redisObj = [6379,6380,……];
  
 foreach ($redisObj as $obj) {
 // 該實例是否構成重寫的要求
 if (rewriteConf($ojb)) {
 // 該實例進行持久化
 }
 }
}

  

foreach用來遍歷每一個redis實例,然後對該實例是否達到重寫的條件做判斷,滿足就開始進行重寫。這樣就可以將多redis實例持久化進行隔離。

更多學習內容請訪問:

八重櫻:騰訊T3-T4標準精品PHP架構師教程目錄大全,只要你看完保證薪資上升一個臺階(持續更新)

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 從C++98到C++17,表達式類別與時俱進地改變著。引用綁定、auto、decltype、拷貝省略等功能與表達式類別息息相關。 ...
  • 1.安裝 netaddr 組件 pip install netaddr -i https://mirrors.aliyun.com/pypi/simple/ from netaddr import IPNetwork print('https://ipjisuanqi.com/#121.224.14 ...
  • 因為一個變數命名的關係中斷了一個while 迴圈,有點意思,什麼原因? IDE: Pycharm Community Edition 一、變數命名為 input , 中斷了while 迴圈,不能迴圈提示輸入: def isNum(x): if isinstance(x,int): return Tr ...
  • 實操才能去感受自己的缺陷所在,雖然在演算法這一塊很弱勢,但不斷堅持,改變自己。 ...
  • 狀態模式: 根據狀態決定動作 當動作一定但是狀態可擴展適合使用狀態模式 當動作變化不適合 當狀態不會擴展也沒有必要使用使用傳統的switch即可。 先看一個沒有使用狀態模式的例子: package com.srr.dp.state; /** * 我的女朋友有很多種狀態 * 當給我的女朋友添加新的狀態 ...
  • Spring Boot 教程 swagger ui 1. 什麼是Swagger? Swagger™的目標是為REST APIs 定義一個標準的,與語言無關的介面,使人和電腦在看不到源碼或者看不到文檔或者不能通過網路流量檢測的情況下能發現和理解各種服務的功能。當服務通過Swagger定義,消費者就能 ...
  • Spring Boot 教程 RESTful 1. RESTful風格 1.1 簡介與特點 RESTful是一種網路應用程式的設計風格和開發方式,基於 "HTTP" ,可以使用 "XML" 格式定義或 "JSON" 格式定義。RESTful適用於移動互聯網廠商作為業務使能介面的場景,實現第三方 "O ...
  • 眾所周知,升級某個庫(假設為 xxx),可以用 命令,或者簡寫成 。 如果有多個庫,可以依次寫在 xxx 後面,以空格間隔。那麼,如何簡單優雅地批量更新系統中全部已安裝的庫呢? 接下來我們直奔主題,帶大家學習幾種方法/騷操作吧! 方法一:pip list 結合 Linux 命令 命令可以查詢已安裝的 ...
一周排行
    -Advertisement-
    Play Games
  • Dapr Outbox 是1.12中的功能。 本文只介紹Dapr Outbox 執行流程,Dapr Outbox基本用法請閱讀官方文檔 。本文中appID=order-processor,topic=orders 本文前提知識:熟悉Dapr狀態管理、Dapr發佈訂閱和Outbox 模式。 Outbo ...
  • 引言 在前幾章我們深度講解了單元測試和集成測試的基礎知識,這一章我們來講解一下代碼覆蓋率,代碼覆蓋率是單元測試運行的度量值,覆蓋率通常以百分比表示,用於衡量代碼被測試覆蓋的程度,幫助開發人員評估測試用例的質量和代碼的健壯性。常見的覆蓋率包括語句覆蓋率(Line Coverage)、分支覆蓋率(Bra ...
  • 前言 本文介紹瞭如何使用S7.NET庫實現對西門子PLC DB塊數據的讀寫,記錄了使用電腦模擬,模擬PLC,自至完成測試的詳細流程,並重點介紹了在這個過程中的易錯點,供參考。 用到的軟體: 1.Windows環境下鏈路層網路訪問的行業標準工具(WinPcap_4_1_3.exe)下載鏈接:http ...
  • 從依賴倒置原則(Dependency Inversion Principle, DIP)到控制反轉(Inversion of Control, IoC)再到依賴註入(Dependency Injection, DI)的演進過程,我們可以理解為一種逐步抽象和解耦的設計思想。這種思想在C#等面向對象的編 ...
  • 關於Python中的私有屬性和私有方法 Python對於類的成員沒有嚴格的訪問控制限制,這與其他面相對對象語言有區別。關於私有屬性和私有方法,有如下要點: 1、通常我們約定,兩個下劃線開頭的屬性是私有的(private)。其他為公共的(public); 2、類內部可以訪問私有屬性(方法); 3、類外 ...
  • C++ 訪問說明符 訪問說明符是 C++ 中控制類成員(屬性和方法)可訪問性的關鍵字。它們用於封裝類數據並保護其免受意外修改或濫用。 三種訪問說明符: public:允許從類外部的任何地方訪問成員。 private:僅允許在類內部訪問成員。 protected:允許在類內部及其派生類中訪問成員。 示 ...
  • 寫這個隨筆說一下C++的static_cast和dynamic_cast用在子類與父類的指針轉換時的一些事宜。首先,【static_cast,dynamic_cast】【父類指針,子類指針】,兩兩一組,共有4種組合:用 static_cast 父類轉子類、用 static_cast 子類轉父類、使用 ...
  • /******************************************************************************************************** * * * 設計雙向鏈表的介面 * * * * Copyright (c) 2023-2 ...
  • 相信接觸過spring做開發的小伙伴們一定使用過@ComponentScan註解 @ComponentScan("com.wangm.lifecycle") public class AppConfig { } @ComponentScan指定basePackage,將包下的類按照一定規則註冊成Be ...
  • 操作系統 :CentOS 7.6_x64 opensips版本: 2.4.9 python版本:2.7.5 python作為腳本語言,使用起來很方便,查了下opensips的文檔,支持使用python腳本寫邏輯代碼。今天整理下CentOS7環境下opensips2.4.9的python模塊筆記及使用 ...