再談緩存和Redis

来源:http://www.cnblogs.com/capqueen/archive/2016/03/13/CacheAgain.html
-Advertisement-
Play Games

自從上次分享《Redis到底該如何利用?》已經有1年多了,這1年經歷了不少。從碼了我們網站的第一行開始到現在,我們的緩存模塊也不斷在升級,這之中確實略有心得,最近也有朋友探討緩存,覺得可以總結下分享下拙見,期待能有更深入的研究。 緩存是什麼? 我時常在群里或者在社區里看到有人對緩存有諸多疑問,搞不清


自從上次分享《Redis到底該如何利用?》已經有1年多了,這1年經歷了不少。從碼了我們網站的第一行開始到現在,我們的緩存模塊也不斷在升級,這之中確實略有心得,最近也有朋友探討緩存,覺得可以總結下分享下拙見,期待能有更深入的研究。

緩存是什麼?

我時常在群里或者在社區里看到有人對緩存有諸多疑問,搞不清緩存的用途,分不清.NET Redis各驅動、中間件的區別和選擇。緩存其實並不是什麼看起來很深奧或者很難駕馭的東西,它一般是用來保存一些常用的數據到記憶體,以加快數據讀取,減少直接訪問DB流量以降低DB壓力。比較常用的場景比如:

  1. 靜態的維表類數據,比如地址庫,單位之類。
  2. 用戶Session
  3. 一些實時性高,訪問頻率高的計算數據,比如用戶訪問次數,文章閱讀量,用戶黑名單之類。

傳統的架構里,緩存純粹是DB數據的一份Copy,就像上面所說是為了程式能更快的讀取數據的。既然是Copy,其實就不必關心丟失,甚至微小的誤差。一定是最先保證DB,然後才是考慮緩存。另外現在分散式大行其道,集群比比皆是,緩存的應有就分成了多級,從單機記憶體到集中式緩存最後穿透的DB

但是現在很多大型互聯網架構里緩存是有不一樣的應用的,比如新浪微博,他們使用Redis並不是簡單的緩存,而是直接作為第一層的Storage,然後再非同步寫回DB。可以參考這篇

最近遇到一次很有意思的討論,說到用戶黑名單功能的設計。有朋友DB依賴性超強,上來就是用戶表裡加欄位呀?讀取太慢?加索引啊之類之類。我覺得這個挺有意思的,以前我也是想當然的這樣想。為什麼?一開始做項目都是設計資料庫開始,建模就是ER圖,上來就是DB 三範式。以至於其實現在我都很難改變這樣的思維。導致學習OO,DDD之類建模思想始終繞不過DB First的思維。如果繞開DB,思考緩存去設計這樣的功能,可行性和性能都能提高不少。

.NET下的緩存應用

針對單機應用,記憶體緩存(System.Runtime.Caching)就足夠,集群環境應該上集中式緩存,比較常用的是memcached和Redis,這兩者的區別倒是可以好好說到說到。

memcached更加的像記憶體緩存,功能單一,只能做普通的緩存操作(Put/Get/Remove...)

Redis功能更加豐富一些,也支持更多的數據結構,更多的計算命令,因此例如Session等緩存模塊更加的適合memcached,而帶實時計算性質的更加適合Redis。不過同時用上兩種服務,也只有大公司能幹了,一般人像我,還是比較喜歡Redis,畢竟功能豐富。

關於Redis的驅動,我也經常看到SeviceStack.Redis/StackExchange.Redis搞得大家不知道取捨。

兩個我都用,因為ServiceStack本來是開源免費後來為了支撐發展吧,人家順便就在V4之後開始加入限制,開始收錢了。不過V3依然免費,使用的時候需要註意所有的依賴都要用V3以下哦。V3版本很遺憾,很多功能並不能很好的支持,比如Pub/Sub.

StackExchange.Redis源自鼎鼎大名的StackOverFlow,他們有網站的收入,自然熱衷開源免費。不過質量還是非常靠譜的,新功能支持的很好。

以上在GitHub上一搜便有。

另外一個開源項目CacheManager.NET最近也是很火,戳這裡。很多人搞不懂它是什麼樣的定位,它實際上是一個中間件,本身並不直接提供與緩存(Redis\mem)的對接API,當前的版本它是使用了StackExchange.Redis來作為驅動的,博客園裡已經有了很詳細的介紹(這裡)。它致力於屏蔽各種緩存服務的複雜度,提供簡單一致的API,讓開發者能夠用一套代碼,只要稍加配置就能使用MemroyCache/集中式緩存(redis/mem)。最強大的是它提供了多層緩存的方案(基於Redis Pub/Sub),只要簡單的配置就達到了多層之間的緩存同步。(內部的原理是,通過Redis Pub/Sub,每當緩存變動就通知sub們自動remove掉響應的緩存)。我們公司最近的一次更新也切換到了CacheManager.NET,不得不說它真的很好用。

 

合理設計緩存

1. 合理設計Key

緩存最重要的特點的是其Key-Value形式,即使Redis的多樣數據結構也是。Key-Value是保證其快速的根本原因,所以合理的Key,會讓搜索更方便。

這也會讓一份數據根據場景被設計成多分不同的Key-Value,例如:我之前的文章中提到的模糊匹配功能,就會把name設計進key,而如果是簡單的根據userid取用戶信息,則會把userid設計進key。從這裡也可以看出緩存並不介意保存很多一樣的數據。

2. 合理的使用緩存失效時間

上面提到緩存是可以丟失的,的確如果是記憶體緩存,它會隨著應用的進程的終止而釋放。除了這樣的釋放,緩存還可以被設置過期時間。為什麼要如此設計呢?試想機器記憶體一定不會比硬碟大呀,空間有效,珍貴的資源自然是要保存儘可能常用的數據(熱數據)。所以合理的設計失效時間會保持數據始終是最活躍的那一部分。當然失效時間也會引起,緩存雪崩等一系列問題,這裡有一篇深入的文章值得去看看(戳這裡

 

未完待續。。。下一篇會繼續分享目前我所使用的緩存模塊,《.NET的緩存模塊設計》,涉及到ServiceStack.Redis的特性利用,CacheManager.NET的利用。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • GC記憶體回收的時機的確具有不確定性,所以GC不是救命稻草,請一定不要忘記發佈程式的時候,使用Release編譯模式!
  • 給Model中變數賦初始值就OK了。
  •   本篇體驗擴展StringBuilder使之支持鏈式方法。這裡有一個根據鍵值集合生成select元素的方法。     以上,html.AppendFormat("<select id=\"{0}\" name=\"{0}\">", id);html.AppendLine();可以對這兩個語句封裝,
  • 每一種編程語言,要想執行,就必須要轉換為目標操作系統能夠理解的語言才能執行,這種語言叫做本機代碼(native code)。C#也是一樣的,也要做這樣的轉換,但是它不是一處到位的,在.NET Framework這個平臺下,該過程分為兩個階段。 (1)C#代碼編譯為中間語言代碼的階段 在編譯C#代碼時
  • 年後回來,跟之前和幾個同事和朋友聊天,發現有兩個.net的和一個php的朋友都轉到了前端,真是出乎意料。自從之前的webapp興起後,前端感覺比後端吃香很多,總結朋友們轉的原因,大概就幾點 1.易上手,相對其他語言來說,作為後端人員,轉到前端,其實已經有了很好的底子和基礎了,畢竟以前多少都會和js,
  •   使用C#實現加減乘除演算法經常被用作新手練習。本篇來分別體驗通過委托、介面、匿名方法、泛型委托來實現。 加減乘除擁有相同的參數個數、類型和返回類型,首先想到了使用委托實現。     以上,委托用在了方法層面。如果在類層面,也可用介面封裝加減乘除的共性。     委托還可以結合匿名方法一起使用。  
  • 角色是網站中都有的一個功能,用來區分用戶的類型、劃分用戶的許可權,這次實現角色列表瀏覽、角色添加、角色修改和角色刪除。 目錄 奔跑吧,代碼小哥! MVC5網站開發之一 總體概述 MVC5 網站開發之二 創建項目 MVC5 網站開發之三 數據存儲層功能實現 MVC5 網站開發之四 業務邏輯層的架構和基本...
  • WebApi2上進行依賴註入,在百度里能搜到的的完整解決方案的文章少之又少,缺胳膊斷腿。 和MVC5依賴註入的不同之處,並且需要註意的地方,標記在註釋當中。上Global代碼: 也沒有太多需要解釋的地方,Controller中還是構造器註入。開發中已經親測有效。    可以收藏,以後查看。  
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...