Redis持久化過程的監控及優化

来源:https://www.cnblogs.com/a609251438/archive/2020/05/23/12944386.html
-Advertisement-
Play Games

Redis持久化過程一直是影響redis性能的常見因素,如何監控持久化以及如何優化持久化過程呢?下麵我們就一起來看看吧。 fork的監控及優化 不管是使用哪種持久化,RDB持久化或AOF重寫,主進程都會fork出一個子進程,在子進程里完成rdb文件的生成或aof的重寫。fork操作對於操作系統來說屬 ...


Redis持久化過程一直是影響redis性能的常見因素,如何監控持久化以及如何優化持久化過程呢?下麵我們就一起來看看吧。

 

fork的監控及優化

不管是使用哪種持久化,RDB持久化或AOF重寫,主進程都會fork出一個子進程,在子進程里完成rdb文件的生成或aof的重寫。fork操作對於操作系統來說屬於比較重的操作。fork階段,redis會阻塞一段時間。阻塞時間和redis數據占用的記憶體大小成正比關係,每1G記憶體fork耗時在20毫秒。

如想知道fork階段的阻塞時間,可以使用info stats命令,查看latest_fork_usec選項的值,單位是微秒。記住是微秒,不是毫秒。

# redis-cli info stats | grep latest
latest_fork_usec:323

  

優化fork的方法:

  • 控制redis占用的記憶體大小。若占用記憶體過大的話,可以將應用拆分開,在多個伺服器上部署,分攤redis的記憶體占用。
  • 適當降低fork的操作頻率。

記憶體的監控

RDB持久化的日誌如下:

……
21692:C 15 May 2020 14:17:06.935 * DB saved on disk
21692:C 15 May 2020 14:17:06.936 * RDB: 2 MB of memory used by copy-on-write
……

  

可以看到RDB持久化過程消耗了2M記憶體。

AOF持久化日誌如下:

……
15786:C 23 May 2020 07:39:59.145 * AOF rewrite: 2MB of memory used by copy-on-write
10679:M 23 May 2020 07:39:59.201 * Background AOF rewrite terminated with success
10679:M 23 May 2020 07:39:59.201 * Residual parent diff successfully flushed to the rewritten AOF (0.02 MB)
10679:M 23 May 2020 07:39:59.201 * Background AOF rewrite finished successfully

  

可以看到,aof重寫占用的記憶體為2MB+0.02MB=2.02MB

如想監控持久化過程中記憶體占用情況,可以編寫shell腳本,統計出redis日誌里相關信息。

硬碟的監控

Redis持久化過程會對硬碟造成壓力,因為持久化後,記憶體的數據會保存到硬碟中。

linux系統監控硬碟的命令有sar、iostat等,如發現硬碟io壓力超過閥值,再根據redis的日誌對比下持久化的時間,看看是不是由於redis持久化造成的壓力。

優化方法這裡提兩點:

  • 使用性能好的磁碟,機械硬碟肯定比不了固態硬碟。
  • 如果是單機上配置了好幾個redis實例,可以分別寫入不同的磁碟里,減輕磁碟的寫入壓力。

單機多實例部署

因為redis是單線程架構,如果一個伺服器上只部署一個redis實例,那麼對於多核cpu來說是一種浪費。所以,通常會在一個伺服器上部署多個redis應用,比如開啟三個redis服務,埠號分別為6379,6380,6381。6379用來做緩存服務,6380用來做消息隊列,6381用來做標簽及推薦系統。

這樣確實可以充分利用cpu,但會容易產生問題。如果多個實例同時在進行持久化,那麼對於cpu、記憶體及影片的壓力是非常大的。好的做法是將他們隔離開來,同一時間只有一個實例在進行持久化。

實現該效果的偽代碼如下:

while (true)
{
 $redisObj = [6379,6380,……];
  
 foreach ($redisObj as $obj) {
 // 該實例是否構成重寫的要求
 if (rewriteConf($ojb)) {
 // 該實例進行持久化
 }
 }
}

  

foreach用來遍歷每一個redis實例,然後對該實例是否達到重寫的條件做判斷,滿足就開始進行重寫。這樣就可以將多redis實例持久化進行隔離。

更多學習內容請訪問:

八重櫻:騰訊T3-T4標準精品PHP架構師教程目錄大全,只要你看完保證薪資上升一個臺階(持續更新)

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 從C++98到C++17,表達式類別與時俱進地改變著。引用綁定、auto、decltype、拷貝省略等功能與表達式類別息息相關。 ...
  • 1.安裝 netaddr 組件 pip install netaddr -i https://mirrors.aliyun.com/pypi/simple/ from netaddr import IPNetwork print('https://ipjisuanqi.com/#121.224.14 ...
  • 因為一個變數命名的關係中斷了一個while 迴圈,有點意思,什麼原因? IDE: Pycharm Community Edition 一、變數命名為 input , 中斷了while 迴圈,不能迴圈提示輸入: def isNum(x): if isinstance(x,int): return Tr ...
  • 實操才能去感受自己的缺陷所在,雖然在演算法這一塊很弱勢,但不斷堅持,改變自己。 ...
  • 狀態模式: 根據狀態決定動作 當動作一定但是狀態可擴展適合使用狀態模式 當動作變化不適合 當狀態不會擴展也沒有必要使用使用傳統的switch即可。 先看一個沒有使用狀態模式的例子: package com.srr.dp.state; /** * 我的女朋友有很多種狀態 * 當給我的女朋友添加新的狀態 ...
  • Spring Boot 教程 swagger ui 1. 什麼是Swagger? Swagger™的目標是為REST APIs 定義一個標準的,與語言無關的介面,使人和電腦在看不到源碼或者看不到文檔或者不能通過網路流量檢測的情況下能發現和理解各種服務的功能。當服務通過Swagger定義,消費者就能 ...
  • Spring Boot 教程 RESTful 1. RESTful風格 1.1 簡介與特點 RESTful是一種網路應用程式的設計風格和開發方式,基於 "HTTP" ,可以使用 "XML" 格式定義或 "JSON" 格式定義。RESTful適用於移動互聯網廠商作為業務使能介面的場景,實現第三方 "O ...
  • 眾所周知,升級某個庫(假設為 xxx),可以用 命令,或者簡寫成 。 如果有多個庫,可以依次寫在 xxx 後面,以空格間隔。那麼,如何簡單優雅地批量更新系統中全部已安裝的庫呢? 接下來我們直奔主題,帶大家學習幾種方法/騷操作吧! 方法一:pip list 結合 Linux 命令 命令可以查詢已安裝的 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...