持久化的一些問題

来源:https://www.cnblogs.com/dwvfw855/archive/2019/05/14/10860500.html
-Advertisement-
Play Games

fork操作 fork操作是一個同步操作,若執行較慢會阻塞redis主線程 執行時間與記憶體量相關:記憶體越大,耗時越長;虛擬機較慢,真機較快。 查看fork執行時間,可做監控 info : latest_fork_usec 上一次執行fork的微秒數 優先使用物理機或者高效支持fork操作的虛擬化技術 ...


fork操作

  • fork操作是一個同步操作,若執行較慢會阻塞redis主線程

  • 執行時間與記憶體量相關:記憶體越大,耗時越長;虛擬機較慢,真機較快。

  • 查看fork執行時間,可做監控

    • info : latest_fork_usec 上一次執行fork的微秒數

  • 優先使用物理機或者高效支持fork操作的虛擬化技術

  • 控制Redis實際最大可用記憶體

  • 合理配置Linux記憶體分配策略 vm.overcommit_memory = 1

    • 預設這個值為0,在記憶體比較低的時候,會發生fork阻塞

  • 降低fork頻率:例如放寬AOF重寫自動觸發時機,不必要的全量複製

 

 

進程外開銷

  • CPU開銷

    • RDB和AOF都會生成文件,屬於CPU密集型

    • 優化1:不做CPU綁定,不和CPU密集型的應用部署在同一臺伺服器上

    • 優化2:避免在單機多部署的場景大量發生AOF重寫

  • 記憶體

    • 開銷:fork記憶體開銷,copy-on-write,子進程會共用父進程的物理記憶體頁,當父進程執行寫請求的時候會創建一個副本,此時會消耗記憶體。即父進程在大量寫入的時候,子進程開銷會比較大,創建副本。

    • 優化1:防止單機多部署的時候發生大量的重寫

    • 優化2:echo never > /sys/kernel/mm/transparent_hugepage/enabled

      • Linux內核的2.6.38版本中增加以上配置,支持大的記憶體頁的分配

      • 記憶體頁分配越大,會提高創建副本頁的大小,影響性能

  • 硬碟

    • 開銷:RDB與AOF文件寫入的場景,可以集合iostat、iotop進行分析

    • 優化1:不要和高硬碟負載服務部署在一起,例如存儲服務、消息隊列

    • 配置:no-appendfsync-on-rewrite = yes

    • 根據寫入量決定磁碟類型:SSD

    • 單機多實例持久化目錄可以考慮分盤以及做資源限制,例如cgroup

 

 

AOF追加阻塞

Redis在執行fsync的時候,redis為了保證AOF文件安全性,會校驗上次fsync的時間是否大於2秒。若超過2秒,會發生阻塞。

可以通過Redis日誌進行定位:Asynchronous AOF fsync is taking too long (disk is busy?)

也可以通過info persistence命令進行查看:每發生一次,aof_delayed_fsync 會增1

優化方法可以參考硬碟優化策略

 

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • SQL常用函數說明以及使用 以下補充以下常用的函數,更多的請看oracle函數API文檔 to_char to_date to_number nvl 空值賦值 字元串處理 ltrim 刪除左邊空白符或指定字元 rtrim 刪除右邊空白符或指定字元,與上面類似 trim 刪除空白符或制定字元,與上面類 ...
  • SQL SERVER 資料庫日誌占用很大的空間 ,如果長時間不清除,就會影響數據存儲。 一、工具 sql server 二 方法步驟 1、打開sql server 資料庫,找到要清除日誌的庫。 2、滑鼠選中對應的資料庫名稱,右鍵——屬性,將選項里的恢復模式改成【簡單】。 3、右鍵——任務——收縮—— ...
  • 從sysindexes和sysobjects系統,可以獲取用戶表的一些數據,如果表名,創建時間,表存儲的記錄數等。 下麵代碼,是代碼運行的當前資料庫的用戶表數據。 SELECT o.[name],[crdate],MAX(i.[rows]) AS [rows] FROM sysindexes AS ...
  • SparkSql 是架構在 Spark 計算框架之上的分散式 Sql 引擎,使用 DataFrame 和 DataSet 承載結構化和半結構化數據來實現數據複雜查詢處理,提供的 DSL可以直接使用 scala 語言完成 Sql 查詢,同時也使用 thriftserver 提供服務化的 Sql 查詢... ...
  • 自定義函數,獲取存儲過程參數,可以先參考這篇《SQL Server INFORMATION_SCHEMA》https://www.cnblogs.com/insus/archive/2010/12/31/1923047.html SET ANSI_NULLS ON GO SET QUOTED_IDE ...
  • innodb_flush_log_at_trx_commit 該參數控制重做日誌寫入磁碟的過程。我們知道 InnoDB 使用“Write Ahead Log”策略來避免數據丟失問題,即依靠重做日誌來保證數據能在丟失後進行恢復。因此,InnoDB 重做日誌的持久化非常重要。這個參數的預設值為1 首先需 ...
  • sql得到當前系統時間得 日期部分 CONVERT(varchar(10),getDate(),120) 昨天 select convert(varchar(10),getdate() - 1,120) 明天 select convert(varchar(10),getdate() + 1,120) ...
  • 【問題描述】 開發反饋有個應用在後端資料庫某次計劃性重啟後經常會出現資料庫連接異常問題,通過監控系統的埋點數據,發現應用連接資料庫異常有兩類表現:   其一:連接超時   131148.00ms Tomcat Connection Pool  &en ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...