談緩存和Redis

来源:https://www.cnblogs.com/supersnowyao/archive/2018/01/01/8159607.html
-Advertisement-
Play Games

自從上次分享《Redis到底該如何利用?》已經有1年多了,這1年經歷了不少。從碼了我們網站的第一行開始到現在,我們的緩存模塊也不斷在升級,這之中確實略有心得,最近也有朋友探討緩存,覺得可以總結並分享一下拙見,期待能有更深入的研究。 緩存是什麼? 我時常在群里或者在社區里看到有人對緩存有諸多疑問,搞不 ...


    自從上次分享《Redis到底該如何利用?》已經有1年多了,這1年經歷了不少。從碼了我們網站的第一行開始到現在,我們的緩存模塊也不斷在升級,這之中確實略有心得,最近也有朋友探討緩存,覺得可以總結並分享一下拙見,期待能有更深入的研究。

緩存是什麼?

    我時常在群里或者在社區里看到有人對緩存有諸多疑問,搞不清緩存的用途,分不清.NET Redis各驅動、中間件的區別和選擇。緩存其實並不是什麼看起來很深奧或者很難駕馭的東西,它一般是用來保存一些常用的數據到記憶體,以加快數據讀取,減少直接訪問DB流量以降低DB壓力。

    比較常用的場景比如:

        靜態的維表類數據,比如地址庫,單位之類。
        用戶Session
        一些實時性高,訪問頻率高的計算數據,比如用戶訪問次數,文章閱讀量,用戶黑名單之類。

    傳統的架構里,緩存純粹是DB數據的一份Copy,就像上面所說是為了程式能更快的讀取數據的。既然是Copy,其實就不必關心丟失,甚至微小的誤差。一定是最先保證DB,然後才是考慮緩存。另外現在分散式大行其道,集群比比皆是,緩存的應用就分成了多級,從單機記憶體到集中式緩存到最後穿透到DB。

    但是現在很多大型互聯網架構里緩存是有不一樣的應用的,比如新浪微博,他們使用Redis並不是簡單的緩存,而是直接作為第一層的Storage,然後再非同步寫回DB。可以參考《新浪微博關係服務與Redis的故事》。

    最近遇到一次很有意思的討論,說到用戶黑名單功能的設計。有朋友DB依賴性超強,上來就是用戶表裡加欄位呀?讀取太慢?加索引啊之類之類。我覺得這個挺有意思的,以前我也是想當然的這樣想。為什麼?一開始做項目都是設計資料庫開始,建模就是ER圖,上來就是DB 三範式。以至於其實現在我都很難改變這樣的思維。導致學習OO,DDD之類建模時,思想始終繞不過DB First的思維。如果繞開DB,思考緩存去設計這樣的功能,可行性和性能都能提高不少。

    (緩存穿透:一般的緩存系統,都是按照key去緩存查詢,如果不存在對應的value,就應該去後端系統查找(比如DB)。如果key對應的value是一定不存在的(資料庫裡面沒有此值,也無法更新緩存,但DB也要被執行),並且對該key併發請求量很大,就會對後端系統造成很大的壓力。這就叫做緩存穿透。

       解決方案:對查詢結果為空的情況也進行緩存,緩存時間設置短一點,或者該key對應的數據insert了之後清理緩存。

.NET下的緩存應用

    針對單機應用,記憶體緩存(System.Runtime.Caching)就足夠,集群環境應該上集中式緩存,比較常用的是memcached和Redis,這兩者的區別倒是可以好好說道說道。

    memcached更加的像記憶體緩存,功能單一,只能做普通的緩存操作(Put/Get/Remove...)

    Redis功能更加豐富一些,也支持更多的數據結構,更多的計算命令,因此例如Session等緩存模塊更加的適合memcached,而帶實時計算性質的更加適合Redis。不過同時用上兩種服務,也只有大公司能幹了,一般人像我,還是比較喜歡Redis,畢竟功能豐富。

    關於Redis的驅動,我也經常看到SeviceStack.Redis/StackExchange.Redis搞得大家不知道取捨。

    兩個我都用,因為ServiceStack本來是開源免費後來為了支撐發展吧,人家順便就在V4之後開始加入限制,開始收錢了。不過V3依然免費,使用的時候需要註意所有的依賴都要用V3以下哦。V3版本很遺憾,很多功能並不能很好的支持,比如Pub/Sub.

    StackExchange.Redis源自鼎鼎大名的StackOverFlow,他們有網站的收入,自然熱衷開源免費。不過質量還是非常靠譜的,新功能支持的很好。

    以上在GitHub上一搜便有。

    另外一個開源項目CacheManager.NET最近也是很火,可參考GitHub相關開源代碼很多人搞不懂它是什麼樣的定位,它實際上是一個中間件,本身並不直接提供與緩存(Redis\mem)的對接API,當前的版本它是使用了StackExchange.Redis來作為驅動的,博客園裡已經有了很詳細的介紹,如《.Net緩存管理框架CacheManager》。它致力於屏蔽各種緩存服務的複雜度,提供簡單一致的API,讓開發者能夠用一套代碼,只要稍加配置就能使用MemroyCache/集中式緩存(redis/mem)。最強大的是它提供了多層緩存的方案(基於Redis Pub/Sub),只要簡單的配置就達到了多層之間的緩存同步。(內部的原理是,通過Redis Pub/Sub,每當緩存變動就通知sub們自動remove掉響應的緩存)。我們公司最近的一次更新也切換到了CacheManager.NET,不得不說它真的很好用。

    “集中式緩存"與"分散式緩存"的區別其實就在於“集中”與"非集中"的概念,其對象可能是伺服器、記憶體條、硬碟等。

        比如:----1.伺服器版本:

                ----.----緩存集中在一臺伺服器上,為集中式緩存。

                ----.----緩存分散在不同的伺服器上,為分散式緩存。

                ----2.記憶體條版本:

                ----.----緩存集中在一臺伺服器的一條記憶體條上,為集中式緩存。

                ----.----緩存分散在一臺伺服器的不同記憶體條上,為分散式緩存。

                ----3.硬碟版本:

                ----.----緩存集中在一臺伺服器的一個硬碟上,為集中式緩存。

                ----.----緩存分散在一臺伺服器的不同硬碟上,為分散式緩存。


合理設計緩存

1. 合理設計Key

    緩存最重要的特點的是其Key-Value形式,即使Redis的多樣數據結構也是。Key-Value是保證其快速的根本原因,所以合理的Key,會讓搜索更方便。

    這也會讓一份數據根據場景被設計成多份不同的Key-Value,例如:我之前的文章中提到的模糊匹配功能,就會把name設計進key,而如果是簡單的根據userid取用戶信息,則會把userid設計進key。從這裡也可以看出緩存並不介意保存很多一樣的數據。

2. 合理的使用緩存失效時間

    上面提到緩存是可以丟失的,的確如果是記憶體緩存,它會隨著應用的進程的終止而釋放。除了這樣的釋放,緩存還可以被設置過期時間。為什麼要如此設計呢?試想機器記憶體一定不會比硬碟大呀,空間有效,珍貴的資源自然是要保存儘可能常用的數據(熱數據)。

    所以合理的設計失效時間會保持數據始終是最活躍的那一部分。當然失效時間也會引起,緩存雪崩等一系列問題,這裡有一篇深入的文章值得去看看《Web開發基本準則-55實錄-緩存策略

    緩存雪崩:當緩存伺服器重啟或者大量緩存集中在某一個時間段失效,這樣在失效的時候,也會給後端系統(比如DB)帶來很大壓力。

       解決方案:

       1:在緩存失效後,通過加鎖或者隊列來控制讀資料庫寫緩存的線程數量。比如對某個key只允許一個線程查詢數據和寫緩存,其他線程等待。        2:不同的key,設置不同的過期時間,讓緩存失效的時間點儘量均勻。        3:做二級緩存,A1為原始緩存,A2為拷貝緩存,A1失效時,可以訪問A2,A1緩存失效時間設置為短期,A2設置為長期(此點為補充)   原文地址:http://www.cnblogs.com/capqueen/p/CacheAgain.html
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一.什麼是CSS: CSS是Cascading Style Sheets的縮寫,通常為級聯樣式表。 CSS已經是網路不可或缺的元素,為瀏覽者呈現五彩繽紛的頁面效果起到了重要作用。 CSS是一種標記語言,不需要進行編譯,直接就可以在瀏覽器中執行。 二.使用CSS的優勢: (1).能夠極大提高代碼的簡潔 ...
  • 事件可以是瀏覽器行為也可以是用戶行為。 比如頁面文檔內容載入完成或者用戶滑鼠點擊等。 當一個事件發生的時候,需要特定的行為來響應這個事件,所以要為事件註冊事件處理函數。 代碼實例: 為按鈕註冊click事件處理函數,當點擊按鈕的時候,此函數就會執行。 本章節只是簡單介紹一下JavaScript事件的 ...
  • 一.HTML簡單介紹: HTML是Hypertext Markup Language的英文縮寫,即超文本標記語言。 它是一種標記語言而非編程語言,由瀏覽器解釋支持。 html文件是一種文本文件,可以用記事本打開,當然也可以用其他開發工具,比如dreamweaver和VS等等。通過在文本中添加各種標簽 ...
  • 現在我們的Redux和React Redux已經基本實現了,在Redux中,觸發一個action,reducer立即就能算出相應的state,如果我要過一會才讓reducer計算state呢怎麼辦?也就是我們如何實現非同步的action呢?這裡就要用到中間件(middleware) 1. 中間件(mi ...
  • CSS vs. JS Animation: 哪個更快? CSS vs. JS Animation: 哪個更快? 基於JavaScript的動畫竟然已經默默地比CSS的transition動畫快了?而且,Adobe和 Google竟然一直在發佈可以媲美原生應用的富媒體移動站點? 這篇文章將會逐點講解基 ...
  • 使用WebGL + Three.js製作動畫場景 3D圖像,技術,打造產品,還有互聯網:這些只是我愛好的一小部分。 現在,感謝WebGL的出現-一個新的JavaScriptAPI,它可以在不依賴任何插件的情況下渲染瀏覽器中的3D圖像-這讓3D渲染操作變得異常簡單。 隨著虛擬現實和增強現實應用的發展, ...
  • MobX入門 本文嘗試解釋MobX是如何運作的。我們將用MobX創建一個小案例。如果你正在找靠譜的MobX文檔,可以去看 "官方文檔" 。 什麼是MobX 官方文檔的解釋:簡潔,易擴展的狀態管理。簡單來說,MobX可以很好的管理應用程式的狀態/數據,同時又簡潔,易擴展。先來看一張圖: 我們通過上圖的 ...
  • 七牛雲儲存 nodejs qiniu 模塊 信息配置 文件路徑formUploader.putFile方法 文件位元組方法formUploader.put ** 該方法七牛不支持 buffer類,可使用Buffer.toString()進行轉換 可讀流上傳方式formUploader.putStrea ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...