Redis變慢?深入淺出Redis性能診斷系列文章(四)

来源:https://www.cnblogs.com/databasepub/archive/2022/09/20/16710046.html
-Advertisement-
Play Games

本篇為Redis性能問題診斷系列的第四篇,也是最後一篇,主要從應用程式、系統、伺服器硬體及網路系統等層面上進行講解,重點分享了哪些配置需要重點關註和調整優化,才能最大程度的發揮Redis的處理能力; ...


(本文首發於“資料庫架構師”公號,訂閱“資料庫架構師”公號,一起學習資料庫技術,助力職業發展)   本篇為Redis性能問題診斷系列的第四篇,也是最後一篇,主要從應用程式、系統、伺服器硬體及網路系統等層面上進行講解,重點分享了哪些配置需要重點關註和調整優化,才能最大程度的發揮Redis的處理能力;   一、伺服器預留足夠記憶體,監控SWAP使用 Swap是操作系統層面行為,指當伺服器記憶體不足時,會將原本在記憶體中的一部分數據拿出放入磁碟,如果再次訪問這部分數據就會響應很慢,因為磁碟的訪問速度是遠遠不如記憶體的。 Redis作為記憶體資料庫,有個常識一定要記住:所有的數據預設都是在記憶體中,不存在一部分在記憶體一部分在磁碟中的情況,除非被迫發生了SWAP。 說明:Redis在2.6版本之前有個VM【虛擬記憶體】特性,可以支持數據存放在記憶體和磁碟中,不過帶來的性能波動影響太大,就被廢棄了。但現在網上還有不少人在傳抄相關VM特性的文章,太有誤導性! 官方VM廢棄說明:https://redis.io/docs/reference/internals/internals-vm/   可以通過以下方式來查看 Redis 進程是否使用到了 Swap: 1.獲取redis對應的進程id shell> redis-cli info | grep process_id 2.查看 Swap 使用情況 shell>cat /proc/$pid/smaps | egrep '^(Swap|Size)' 輸出結果如下: Size: 1492 kB Swap: 0 kB Size: 32 kB Swap: 0 kB Size: 2196 kB Swap: 0 kB Size: 2048 kB Swap: 0 kB Size: 4 kB Swap: 0 kB Size: 1576 kB 上圖中size代表Redis進程占用的一塊記憶體空間大小,並對應一個Swap。 Swap後的數字表示該記憶體空間有多少已經被換到磁碟上了,如果兩者相等,則代表這塊記憶體空間的數據全都被換到了上了。 針對使用swap的解決方案可以參考如下: a.提高Redis所在伺服器的記憶體並預留可用記憶體,建議剩餘可用記憶體至少保留20%以上; b.Redis單獨部署或降低單機部署實例數量,不和其他應用程式混合部署,避免多服務爭用記憶體導致Redis數據被swap到磁碟上。 平時對Redis所在伺服器的剩餘可用記憶體及Swap 使用情況進行監控,在記憶體不足或使用到 Swap 時報警出來,及時干預處理。   二、.使用萬兆網卡,避免網路帶寬打滿 Redis 的高性能,除了數據都在記憶體之外,就在於網路 IO 了,如果網路存在瓶頸,那麼也會嚴重影響 Redis 的性能。 網路帶寬過載的情況下,比如帶寬被打滿,那麼伺服器在 TCP 層和網路層就會出現數據包發送延遲、丟包等情況。 如果確實出現這種情況,我們需要及時核對原因,主要有以下幾個: a.某個Redis服務訪問量過大,可能QPS高疊加操作的Key過大,導致網路滿載; b.所在伺服器網卡上限過小,如千兆網卡或者虛擬機限速200MB等; c.伺服器網卡/網線/驅動等問題,導致萬兆的網卡降頻為千兆或者被限流。   查看網卡速度:ethtool eth0   針對網路過載可以採用以下方案來解決: a.降低單機部署Redis實例個數,打散重度使用網路帶寬的Redis服務到多台伺服器; b.對Redis服務使用的網路帶寬進行監控,可以關註性能指標:instantaneous_input_kbps、instantaneous_output_kbps c.使用萬兆網卡的伺服器,並添加對帶寬上限【警惕網卡從萬兆降為千兆】、網路帶寬使用、丟包情況的監控; d.遵守Redis使用規範,比如控制寫入Redis中的VALUE大小、限制使用smembers或hgetall等操作的集合成員個數等。   三、根據場景選擇是否使用SSD磁碟 大家要根據自己的實際場景判斷,比如使用單節點且用於緩存服務的情形,就不需要使用SSD磁碟。 但是如果希望使用Redis的持久化能力來保證數據安全,那麼磁碟IO能力就不得不重視了。 這裡對於Redis的持久化不做詳細介紹,具體可以參考上篇文章。 Redis中對IO比較敏感的操作主要有下麵幾類: a.AOF持久化,相關磁碟操作有: AOF命令落盤、AOF文件重寫; b.RDB持久化,相關磁碟操作有:主從複製主節點RDB生成快照、從節點載入RDB文件、備份觸發RDB快照、配置觸發自動RDB快照 上面列出的都會嚴重依賴磁碟IO能力,特別是單機部署多Redis實例的情況,如果磁碟IO能力一般,那麼就會嚴重影響Redis的性能。   四、系統參數配置 1.記憶體分配策略參數vm.overcommit_memory Redis啟動給出Warning提示: WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add ‘vm.overcommit_memory = 1’ to /etc/sysctl.conf and then reboot or run the command ‘sysctl vm.overcommit_memory=1’ for this to take effect. 這裡首先解答下什麼是Overcommit? Linux對大部分申請記憶體的請求都回覆"yes",以便能跑更多更大占用記憶體的程式。因為申請記憶體後,並不會馬上使用記憶體。這種技術叫做Overcommit。 當linux發現記憶體不足時,會發生OOM killer(OOM=out-of-memory)。它會選擇殺死一些進程(用戶態進程,不是內核線程),以便釋放記憶體。 overcommit_memory的幾個主要值的說明: 0:表⽰內核將檢查是否有⾜夠的可⽤記憶體供應⽤進程使⽤;如果有⾜夠的可⽤記憶體,記憶體申請允許;否則,記憶體申請失敗,並把錯誤返回給應⽤進程; 1: 表⽰內核允許分配所有的物理記憶體,⽽不管當前的記憶體狀態如何; 2: 表⽰內核允許分配超過所有物理記憶體和交換空間總和的記憶體。 這裡建議調整為1,相關調整方式: 永久生效: 編輯vim /etc/sysctl.conf ,改vm.overcommit_memory=1,然後sysctl -p 使配置文件生效 臨時生效: echo 1 > /proc/sys/vm/overcommit_memory     上述日誌中的Background save代表的是bgsave和bgrewriteaof, 如果當前可用記憶體不足, 操作系統應該如何處理fork操作呢? 如果vm.overcommit_memory=0, 代表如果沒有可用記憶體, 就申請記憶體失敗, 對應到Redis就是執行fork失敗, 在Redis的日誌會出現: Cannot allocate memory Redis建議把這個值設置為1, 是為了讓fork操作能夠在低記憶體下也執行成功。   2.操作系統記憶體大頁參數配置 Redis啟動給出Warning提示: WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Redis. To fix this issue run the command 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' as root, and add it to your /etc/rc.local in order to retain the setting after a reboot. Redis must be restarted after THP is disabled. 意思是:你的Redis所在伺服器當前使用的是記憶體大頁機制,可能導致Redis訪問延遲和記憶體使用問題。 那什麼是記憶體大頁呢? 應用程式向操作系統申請記憶體空間時,是按記憶體頁為單位進行申請的,預設大小是4KB。不過Linux從 2.6.38內核版本開始,支持了記憶體大頁機制,可以允許向操作系統一次申請 2MB 大小的記憶體。由於申請的記憶體單位變大,也意味著申請耗時相對變長。   那對於 Redis服務會有什麼影響呢? 當 Redis 在執行後臺 RDB 和 AOF rewrite 時,採用 fork 子進程的方式來處理。但主進程 fork 子進程後,此時的主進程依舊是可以接收寫請求的,而進來的寫請求,會採用 Copy On Write(寫時複製)的方式操作記憶體數據。 也就是說,主進程一旦有數據需要修改,Redis 並不會直接修改現有記憶體中的數據,而是先將這塊記憶體數據拷貝出來,再修改這塊新記憶體的數據,這就是所謂的「寫時複製」。 寫時複製可以理解為:需要發生寫操作哪個Key,就需要先拷貝這個Key,然後再修改。 這裡註意,主進程在修改拷貝記憶體數據時,這個階段就涉及到新記憶體的申請。如果此時操作系統開啟了記憶體大頁,那麼在此期間,應用程式即便只修改 10B 的數據,Redis 在申請記憶體時也會以 2MB 為單位向操作系統申請,申請記憶體的耗時變長,進而導致每個寫請求的延遲增加,影響到 Redis 性能。   所以為了避免過多的記憶體申請,我們需要關閉記憶體大頁機制: cat /sys/kernel/mm/transparent_hugepage/enabled [always] madvise never 如果輸出選項是 always,就表示目前開啟了記憶體大頁機制,我們需要關掉它: echo never > /sys/kernel/mm/transparent_hugepage/enabled   其實,操作系統提供的記憶體大頁機制,其優勢是可以在一定程式上降低應用程式申請記憶體的次數。 比如針對大數據、對象存儲相關的服務來說可能會更好,但是對於 Redis 這種對性能和延遲極其敏感的資料庫來說,我們希望 Redis 在每次申請記憶體時,耗時儘量短,建議關閉這個參數。   五、其他影響訪問Redis的性能的因素 1.應用程式配置不合理 a.應配置合理的連接數等相關參數,比如jedis,預設MaxActive最大連接數只有8個,在高QPS時就會出現無法獲取新連接的提示: redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool … Caused by: java.util.NoSuchElementException: Timeout waiting for idle object at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:449) b.驅動版本過低。低版本的Driver連接高版本Redis,除了無法使用最新的特性外,還會經常出現連接不釋放、記憶體泄露、訪問緩慢等問題。 2.使用連接池,避免使用短連接模式.特別是使用PHP的應用,頻繁的連接創建與銷毀,在高QPS訪問時網路開銷巨大; 3.CPU綁核及主頻影響 Redis是單線程模型處理處理用戶需求,那麼處理的吞吐、效率就會極度依賴CPU的處理能力,所以選型CPU時,如果部署的Redis平時QPS較高,可以採購主頻高些的CPU. 另外現在的CPU都是多核處理,為了提高服務性能,降低應用程式在多個 CPU 核心之間的上下文切換帶來的性能損耗,通常採用的方案是進程綁定 CPU 的方式提高性能。 但是Redis的綁核操作過於複雜,對於單機多實例的管理挑戰過高,再加上Redis 的性能已經足夠優秀,不建議綁定 CPU來處理,這裡也不做深入說明。   最後總結: 本篇為Redis性能診斷的完結篇,通過總結常見的可能導致訪問響應延遲、甚至阻塞的問題的各種場景,以及如何定位及分析針對性地提供瞭解決方案。 但是由於篇幅限制,關於 Redis 的很多細節也無法全部展開,後續也會對Redis使用的各種技巧、架構及內部的工作原理深入分享,歡迎保持關註。   如果這篇文章對你有幫助,還請幫忙點贊、在看、轉發 一下,你的支持會激勵我們輸出更多高質量的文章,非常感謝! 如果你還想看更多優質文章,歡迎關註我的公眾號「資料庫架構師」,提升資料庫技能。  
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • EndNote X9 for Mac是一款非常值得推薦的文獻管理軟體,不僅可以讓您免於手動收集和整理您的研究資料和格式化書目的繁瑣工作,還可以讓您在與同事協調時更加輕鬆自如。讓你的團隊專註科研,更高效的共用文獻開展協作。 詳情:EndNote X9 for Mac(最好用的文獻管理軟體) 引文報告 ...
  • 提起標準 IO 庫,第一印象就是 printf/scanf,這有什麼可說的?但是一個流是如何處理寬窄字元集、緩存方式的?如何在程式內部將標準輸出重定向到文件?FILE* 與 fd 是如何相互轉換的?在處理大文件時 fseek/fseeko/fsetpos 有何區別?創建臨時文件時 tmpnam/te... ...
  • RedisInsight 是一個直觀而高效的 Redis GUI (可視化工具),它提供了設計、開發和優化 Redis 應用程式的功能,查詢、分析您的 Redis 數據並與之交互,簡化您的 Redis 應用程式開發 。(必備) RedisInsight 現在採用了基於流行的 Electron 框架的... ...
  • 2022-09-20 Redis——select Redis資料庫中的資料庫的個數為: 16個,使用0號資料庫開始的,到第15個資料庫結束。 在ubantu中,進入Redis客戶端的命令: redis-cli 在ubantu中,如果選擇第0-15個資料庫中的一個的命令,例如第0個: select 0 ...
  • 一、直播介紹 前幾期,我們為大家分享了ChunJun的數據還原、Hive事務表及傳輸模塊的一些內容,本期我們為大家分享ChunJun類載入原理與實現。 本次直播我們將從Java 類載入器解決類衝突基本思想、Flink 類載入器隔離的方案、ChunJun如何實現類載入器隔離及問題排查等方面為大家進行介 ...
  • 1.創建容器併進行持久化處理 #拉取鏡像 docker pull mysql:8.0.20 #啟動鏡像,用於拷貝配置文件到宿主機 docker run -p 3306:3306 --name mysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql:8.0.20 #查 ...
  • 更多技術交流、求職機會,歡迎關註位元組跳動數據平臺微信公眾號,回覆【1】進入官方交流群 摘要 位元組數據中台DataLeap的Data Catalog系統通過接收MQ中的近實時消息來同步部分元數據。Apache Atlas對於實時消息的消費處理不滿足性能要求,內部使用Flink任務的處理方案在ToB場景 ...
  • 2022 年 9 月 16 日,由中國信息通信研究院(以下簡稱“信通院”)主辦的“2022 OSCAR 開源產業大會"活動於北京成功舉辦。會上宣佈,StoneDB 發起廠商杭州石原子科技有限公司正式加入信通院“科技製造開源社區(TMOSC)”,未來石原子將與信通院及各成員單位一起聚焦可信開源全景,推 ...
一周排行
    -Advertisement-
    Play Games
  • 下麵是一個標準的IDistributedCache用例: public class SomeService(IDistributedCache cache) { public async Task<SomeInformation> GetSomeInformationAsync (string na ...
  • 這個庫提供了在啟動期間實例化已註冊的單例,而不是在首次使用它時實例化。 單例通常在首次使用時創建,這可能會導致響應傳入請求的延遲高於平時。在註冊時創建實例有助於防止第一次Request請求的SLA 以往我們要在註冊的時候實例單例可能會這樣寫: //註冊: services.AddSingleton< ...
  • 最近公司的很多項目都要改單點登錄了,不過大部分都還沒敲定,目前立刻要做的就只有一個比較老的項目 先改一個試試手,主要目標就是最短最快實現功能 首先因為要保留原登錄方式,所以頁面上的改動就是在原來登錄頁面下加一個SSO登錄入口 用超鏈接寫的入口,頁面改造後如下圖: 其中超鏈接的 href="Staff ...
  • Like運算符很好用,特別是它所提供的其中*、?這兩種通配符,在Windows文件系統和各類項目中運用非常廣泛。 但Like運算符僅在VB中支持,在C#中,如何實現呢? 以下是關於LikeString的四種實現方式,其中第四種為Regex正則表達式實現,且在.NET Standard 2.0及以上平... ...
  • 一:背景 1. 講故事 前些天有位朋友找到我,說他們的程式記憶體會偶發性暴漲,自己分析了下是非托管記憶體問題,讓我幫忙看下怎麼回事?哈哈,看到這個dump我還是非常有興趣的,居然還有這種游戲幣自助機類型的程式,下次去大玩家看看他們出幣的機器後端是不是C#寫的?由於dump是linux上的程式,剛好win ...
  • 前言 大家好,我是老馬。很高興遇到你。 我們為 java 開發者實現了 java 版本的 nginx https://github.com/houbb/nginx4j 如果你想知道 servlet 如何處理的,可以參考我的另一個項目: 手寫從零實現簡易版 tomcat minicat 手寫 ngin ...
  • 上一次的介紹,主要圍繞如何統一去捕獲異常,以及為每一種異常添加自己的Mapper實現,並且我們知道,當在ExceptionMapper中返回非200的Response,不支持application/json的響應類型,而是寫死的text/plain類型。 Filter為二方包異常手動捕獲 參考:ht ...
  • 大家好,我是R哥。 今天分享一個爽飛了的面試輔導 case: 這個杭州兄弟空窗期 1 個月+,面試了 6 家公司 0 Offer,不知道問題出在哪,難道是杭州的 IT 崩盤了麽? 報名面試輔導後,經過一個多月的輔導打磨,現在成功入職某上市公司,漲薪 30%+,955 工作制,不咋加班,還不捲。 其他 ...
  • 引入依賴 <!--Freemarker wls--> <dependency> <groupId>org.freemarker</groupId> <artifactId>freemarker</artifactId> <version>2.3.30</version> </dependency> ...
  • 你應如何運行程式 互動式命令模式 開始一個互動式會話 一般是在操作系統命令行下輸入python,且不帶任何參數 系統路徑 如果沒有設置系統的PATH環境變數來包括Python的安裝路徑,可能需要機器上Python可執行文件的完整路徑來代替python 運行的位置:代碼位置 不要輸入的內容:提示符和註 ...