大型網站架構系列:緩存在分散式系統中的應用(三)

来源:http://www.cnblogs.com/itfly8/archive/2016/06/19/5597639.html
-Advertisement-
Play Games

本文是《緩存在分散式系統中的應用》第三篇文章。上次主要給大家分享了,緩存在分散式系統中的應用,主要從不同的場景,介紹了CDN,反向代理,分散式緩存,本地緩存的常規架構和基本原理。因為時間關於,原計劃分享《緩存常見問題》的內容,沒有講。本次主要針對緩存的常見個問題,做一個介紹。 ...


本文是《緩存在分散式系統中的應用》第三篇文章。

上次主要給大家分享了,緩存在分散式系統中的應用,主要從不同的場景,介紹了CDN,反向代理,分散式緩存,本地緩存的常規架構和基本原理。

因為時間關於,原計劃分享《緩存常見問題》的內容,沒有講。本次主要針對緩存的常見個問題,做一個介紹。主要有以下議題:

一、分享大綱

  1. 分享大綱
  2. 數據一致性
  3. 緩存高可用
  4. 緩存雪崩
  5. 緩存穿透
  6. 參考資料
  7. 分享總結

二、數據一致性

緩存是在數據持久化之前的一個節點,主要是將熱點數據放到離用戶最近或訪問速度更快的介質中,加快數據的訪問,減小響應時間。

因為緩存屬於持久化數據的一個副本,因此不可避免的會出現數據不一致問題。導致臟讀或讀不到數據的情況。數據不一致,一般是因為網路不穩定或節點故障導致。根據數據的操作順序,主要有以下幾種情況。

2.1場景介紹

(1)先寫緩存,再寫資料庫

         如下圖:

 

假如緩存寫成功,但寫資料庫失敗或響應延遲,則下次讀取(併發讀)緩存時,就出現臟讀;

 

(2)先寫資料庫,再寫緩存

         如下圖:

        

         假如寫資料庫成功,但寫緩存失敗,則下次讀取(併發讀)緩存時,則讀不到數據;

 

(3)緩存非同步刷新

         指資料庫操作和寫緩存不在一個操作步驟中,比如在分散式場景下,無法做到同時寫緩存或需要非同步刷新(補救措施)時候。

 

         此種情況,主要考慮數據寫入和緩存刷新的時效性。比如多久內刷新緩存,不影響用戶對數據的訪問。

2.2解決方法

第一個場景:

這個寫緩存的方式,本身就是錯誤的,需要改為先寫持久化介質,再寫緩存的方式。

第二個場景:

(1)根據寫入緩存的響應來進行判斷,如果緩存寫入失敗,則回滾資料庫操作;此種方法增加了程式的複雜度,不建議採用;

(2)緩存使用時,假如讀緩存失敗,先讀資料庫,再回寫緩存的方式實現。

第三個場景:

(1)首先確定,哪些數據適合此類場景;

(2)根據經驗值確定合理的數據不一致時間,用戶數據刷新的時間間隔;

2.3 其他方法

(1)超時:設置合理的超時時間;

(2)刷新:定時刷新一定範圍內(根據時間,版本號)的數據;

 

         以上是簡化數據讀寫場景,實際中會分為:

         (1)緩存與資料庫之間的一致性;

         (2)多級緩存之前的一致性;

         (3)緩存副本之前的一致性。

三、緩存高可用

業界有兩種理論,第一套緩存就是緩存,臨時存儲數據的,不需要高可用。第二種緩存逐步演化為重要的存儲介質,需要做高可用。

本人的看法是,緩存是否高可用,需要根據實際的場景而定。臨界點是是否對後端的資料庫造成影響。

具體的決策依據需要根據,集群的規模(數據,緩存),成本(伺服器,運維),系統性能(併發量,吞吐量,響應時間)等方面綜合評價。

3.1解決方法

         緩存的高可用,一般通過分散式和複製實現。分散式實現數據的海量緩存,複製實現緩存數據節點的高可用。架構圖如下:

        

         其中,分散式採用一致性Hash演算法,複製採用非同步複製。

3.2其他方法

(1)複製雙寫:緩存節點的複製,由非同步改為雙寫,只有兩份都寫成功,才算成功。

(2)虛擬層:一致性Hash存在,假如其中一個HASH環不可用,數據會寫入臨近的環,當HASH可用時,數據又寫入正常的HASH環,會導致數據偏移問題。這種情況,可以考慮在HASH環前面加一個虛擬層實現。

(3)多級緩存:比如一級使用本地緩存,二級採用分散式Cahce,三級採用分散式Cache+本地持久化;

 

         方式很多,需要根據業務場景靈活選擇。

四、緩存雪崩

         雪崩是指當大量緩存失效時,導致大量的請求訪問資料庫,導致資料庫伺服器,無法抗住請求或掛掉的情況。

         解決方法:

         (1)合理規劃緩存的失效時間;

         (2)合理評估資料庫的負載壓力;

         (3)對資料庫進行過載保護或應用層限流;

         (4)多級緩存設計,緩存高可用;

五、緩存穿透

         緩存一般是Key,value方式存在,當某一個Key不存在時會查詢資料庫,假如這個Key,一直不存在,則會頻繁的請求資料庫,對資料庫造成訪問壓力。

解決方法:

(1)對結果為空的數據也進行緩存,當此key有數據後,清理緩存;

(2)一定不存在的key,採用布隆過濾器,建立一個大的Bitmap中,查詢時通過該bitmap過濾;

六、參考資料

以下是本次分享參考的資料和推薦大家參考的資料。

 

MemCache超詳細解讀:http://www.mamicode.com/info-detail-1120932.html

緩存與資料庫一致性保證:http://www.36dsj.com/archives/43950

HASH環和虛擬節點:http://www.111cn.net/sys/linux/58748.htm

讓memcached分散式:http://blog.csdn.net/cutesource/article/details/5848253

七、分享總結

以上是本周的分享,主要講解了緩存常見的問題,包括數據一致性,緩存高可用,緩存雪崩,緩存穿透等知識。 

我們的分享只是介紹一下知識結構,希望可以起到一個拋磚引玉的作用。因為,每個知識點都有一些細化的地方,需要學習的知識點很多,需要大家不斷深入學習。也歡迎大家把好的內容,即時的分享到群內(知識鏈接或參加周知識分享,參加周知識分享的同學可以直接聯繫我哈~~)

下次分享《分散式系統服務化架構(一)》,2016年6月26日。

本次是分享規則調整後的第一次,歡迎大家積極提出問題。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 上節我們用方向控制函數寫了個小畫圖程式,它雖然簡單好玩,但我們不應該止步於此。革命尚未成功,同志還需努力。 開始擼代碼之前,我們先理清一下思路。和前面畫圖程式不同,貪吃蛇可以有很多節,可以用一個足夠大的結構體數組來儲存它。 還需要一個食物坐標。定義如下: 之前的畫圖程式是四個方向都可以走,可蛇是不能 ...
  • 本篇淺析java中static的用法,主要五個方面:靜態成員變數,靜態方法,靜態塊,靜態內部類,靜態導包。 首先還是一張表格說一下靜態對象和非靜態對象的區別: 1 靜態變數,靜態方法,靜態塊 靜態對象,靜態方法都是在原對象和方法上加上static關鍵字修飾,表示類可以直接調用這些,而不需要實例化後再 ...
  • 作者:Sungeek 出處:http://www.cnblogs.com/Sungeek/ 歡迎轉載,也請保留這段聲明。謝謝! 簡介: Nginx ("engine x") 是一個高性能的 HTTP 和 反向代理 伺服器,也是一個 IMAP/POP3/SMTP 伺服器。 Nginx 是由 Igor ...
  • 1、 打開eclipse,在File上New,然後選擇Dynamic Web Project 2、 彈出的頁面中如下圖,在Project name中輸入項目名稱JavaWeb01,點擊Next 3、 Eclipse新建web項目時編譯輸出目錄跟MyEclipse是不一樣的,eclipse中新建的we ...
  • 以上是try...catch的語法; try語句嘗試執行一個語句塊,遇到錯誤則退出try語句塊而不是中斷aardio程式。如果使用了catch語句塊就可以捕獲異常(catch語句塊是可選的)。 以上是在aardio使用手冊中的一段話。 也許在使用try catch的過程中我們常常想出現錯誤的時候直接 ...
  • 1.自定義模板 在IAR系統中,edit->code templates 可以編輯與使用自定義模板 通過使用生成 H文件與C文件來生成各個功能模塊 2.模塊文件 #####################################################################... ...
  • 棧(stack)是一種線性存儲結構,有以下特點: 1.棧中數據是按照先進後出的方式進出棧的 2.向棧中添加刪除元素時,只能從棧頂進行操作 使用數組實現棧 定義一個類ArrayStack 實現入棧方法push() 實現出棧方法pop() 實現返回棧頂元素方法peek() ...
  • 隊列是一種線性存儲結構,他有以下特點: 1.隊列中數據是按照“先進先出”方式進出隊列的 2.隊列只允許在“隊首”進行刪除操作,在“隊尾”進行插入操作 3.隊列通常包含兩種操作:入隊列和出隊列 使用數組實現隊列 定義一個類ArrayQueue 實現入隊列方法push() 實現出隊列方法pop() 實現 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...