緩存是分散式系統中的重要組件，主要解決高併發，大數據場景下，熱點數據訪問的性能問題。提供高性能的數據快速訪問。 一、緩存概述 緩存是分散式系統中的重要組件，主要解決高併發，大數據場景下，熱點數據訪問的性能問題。提供高性能的數據快速訪問。 1.1緩存的原理 （1） 將數據寫入/讀取速度更快的存儲（設備 ...
緩存是分散式系統中的重要組件，主要解決高併發，大數據場景下，熱點數據訪問的性能問題。提供高性能的數據快速訪問。
一、緩存概述
緩存是分散式系統中的重要組件，主要解決高併發，大數據場景下，熱點數據訪問的性能問題。提供高性能的數據快速訪問。
1.1緩存的原理
（1） 將數據寫入/讀取速度更快的存儲（設備）；
（2）將數據緩存到離應用最近的位置；
（3） 將數據緩存到離用戶最近的位置。
1.2緩存分類
在分散式系統中，緩存的應用非常廣泛，從部署角度有以下幾個方面的緩存應用。
（1） CDN緩存；
（2） 反向代理緩存；
（3）分散式Cache；
（4）本地應用緩存；
1.3緩存媒介
常用中間件：Varnish，Ngnix，Squid，Memcache，Redis，Ehcache等；
緩存的內容：文件，數據，對象；
緩存的介質：CPU，記憶體（本地，分散式），磁碟（本地，分散式）
1.3緩存設計
緩存設計需要解決以下幾個問題：
（1） 緩存什麼？
哪些數據需要緩存：1.熱點數據；2.靜態資源；
（2） 緩存的位置？
CDN，反向代理，分散式緩存伺服器，本機（記憶體，硬碟）
（3）如何緩存的問題？
-
過期策略
1.固定時間：比如指定緩存的時間是30分鐘；
2.相對時間：比如最近10分鐘內沒有訪問的數據；
-
同步機制
-
實時寫入；（推）
-
非同步刷新；（推拉）
二、CDN緩存
CDN主要解決將數據緩存到離用戶最近的位置，一般緩存靜態資源文件（頁面，腳本，圖片，視頻，文件等）。國內網路異常複雜，跨運營商的網路訪問會很慢。為瞭解決跨運營商或各地用戶訪問問題，可以在重要的城市，部署CDN應用。使用戶就近獲取所需內容，降低網路擁塞，提高用戶訪問響應速度和命中率。
2.1CND原理
CDN的基本原理是廣泛採用各種緩存伺服器，將這些緩存伺服器分佈到用戶訪問相對集中的地區或網路中，在用戶訪問網站時，利用全局負載技術將用戶的訪問指向距離最近的工作正常的緩存伺服器上，由緩存伺服器直接響應用戶請求。
（1）未部署CDN應用前
網路請求路徑：
請求：本機網路（區域網）——》運營商網路——》應用伺服器機房
響應：應用伺服器機房——》運營商網路——》本機網路（區域網）
在不考慮複雜網路的情況下，從請求到響應需要經過3個節點，6個步驟完成一次用戶訪問操作。
（2）部署CDN應用後
網路路徑：
請求：本機網路（區域網）——》運營商網路
響應：運營商網路——》本機網路（區域網）
在不考慮複雜網路的情況下，從請求到響應需要經過2個節點，2個步驟完成一次用戶訪問操作。
與不部署CDN服務相比，減少了1個節點，4個步驟的訪問。極大的提高的系統的響應速度。
2.2 CDN優缺點
（1）優點（摘自百度百科）
1、本地Cache加速：提升訪問速度，尤其含有大量圖片和靜態頁面站點；
2、鏡像服務：消除了不同運營商之間互聯的瓶頸造成的影響，實現了跨運營商的網路加速，保證不同網路中的用戶都能得到良好的訪問質量；
3、遠程加速：遠程訪問用戶根據DNS負載均衡技術智能自動選擇Cache伺服器，選擇最快的Cache伺服器，加快遠程訪問的速度；
4、帶寬優化：自動生成伺服器的遠程Mirror（鏡像）cache伺服器，遠程用戶訪問時從cache伺服器上讀取數據，減少遠程訪問的帶寬、分擔網路流量、減輕原站點WEB伺服器負載等功能。
5、集群抗攻擊：廣泛分佈的CDN節點加上節點之間的智能冗餘機制，可以有效地預防黑客入侵以及降低各種D.D.o.S攻擊對網站的影響，同時保證較好的服務質量。
（2）缺點
1.動態資源緩存，需要註意實時性；
解決：主要緩存靜態資源，動態資源建立多級緩存或準實時同步；
2.如何保證數據的一致性和實時性需要權衡考慮；
解決：
-
設置緩存失效時間（1個小時，最終一致性）；
-
數據版本號；
2.3CND架構參考
摘自《雲宙視頻CDN系統》
2.4 CND技術實踐
目前，中小型互聯網公司，綜合成本考慮，一般租用第三方CDN服務，大型互聯網公司，採用自建或第三方結合的方式。比如淘寶剛開始使用第三方的，當流量很大後，第三方公司無法支撐其CDN流量，淘寶最後採用自建CDN的方式實現。
淘寶CDN，如下圖（來自網路）：
三、反向代理緩存
反向代理是指在網站伺服器機房部署代理伺服器，實現負載均衡，數據緩存，安全控制等功能。
3.1緩存原理
反向代理位於應用伺服器機房，處理所有對WEB伺服器的請求。如果用戶請求的頁面在代理伺服器上有緩衝的話，代理伺服器直接將緩衝內容發送給用戶。如果沒有緩衝則先向WEB伺服器發出請求，取回數據，本地緩存後再發送給用戶。通過降低向WEB伺服器的請求數，從而降低了WEB伺服器的負載。
反向代理一般緩存靜態資源，動態資源轉發到應用伺服器處理。常用的緩存應用伺服器有Varnish，Ngnix，Squid。
3.2 Squid示例
Squid 反向代理一般只緩存靜態資源，動態程式預設不緩存。根據從 WEB 伺服器返回的 HTTP 頭標記來緩衝靜態頁面。有四個最重要 HTTP 頭標記：
Last-Modified: 告訴反向代理頁面什麼時間被修改
Expires: 告訴反向代理頁面什麼時間應該從緩衝區中刪除
Cache-Control: 告訴反向代理頁面是否應該被緩衝
Pragma: 用來包含實現特定的指令，最常用的是 Pragma:no-cache
Squid 反向代理加速網站實例
（1） 通過DNS的輪詢技術，將客戶端的請求分發給其中一臺 Squid 反向代理伺服器處理；
（2） 如果這台 Squid 緩存了用戶的請求資源，則將請求的資源直接返回給用戶；
（3）否則這台 Squid 將沒有緩存的請求根據配置的規則發送給鄰居 Squid 和後臺的 WEB 伺服器處理；
（4）這樣既減輕後臺 WEB 伺服器的負載，又提高整個網站的性能和安全性。
3.2 代理緩存比較
常用的代理緩存有Varnish，Squid，Ngnix，簡單比較如下：
（1） varnish和squid是專業的cache服務，nginx需要第三方模塊支持；
（2） Varnish採用記憶體型緩存，避免了頻繁在記憶體、磁碟中交換文件，性能比Squid高；
（3） Varnish由於是記憶體cache，所以對小文件如css,js,小圖片啥的支持很棒，後端的持久化緩存可以採用的是Squid或ATS；
（4）Squid功能全而大，適合於各種靜態的文件緩存，一般會在前端掛一個HAProxy或nginx做負載均衡跑多個實例；
（5）Nginx採用第三方模塊ncache做的緩衝，性能基本達到varnish，一般作為反向代理使用，可以實現簡單的緩存。
四、分散式緩存
CDN,反向代理緩存，主要解決靜態文件，或用戶請求資源的緩存，數據源一般為靜態文件或動態生成的文件（有緩存頭標識）。
分散式緩存，主要指緩存用戶經常訪問數據的緩存，數據源為資料庫。一般起到熱點數據訪問和減輕資料庫壓力的作用。
目前分散式緩存設計，在大型網站架構中是必備的架構要素。常用的中間件有Memcache，Redis。
4.1Memcache
Memcache是一個高性能，分散式記憶體對象緩存系統，通過在記憶體里維護一個統一的巨大的hash表，它能夠用來存儲各種格式的數據，包括圖像、視頻、文件以及資料庫檢索的結果等。簡單的說就是將數據調用到記憶體中，然後從記憶體中讀取，從而大大提高讀取速度。
Memcache特性：
（1）使用物理記憶體作為緩存區，可獨立運行在伺服器上。每個進程最大2G，如果想緩存更多的數據，可以開闢更多的memcache進程（不同埠）或者使用分散式memcache進行緩存，將數據緩存到不同的物理機或者虛擬機上。
（2）使用key-value的方式來存儲數據，這是一種單索引的結構化數據組織形式，可使數據項查詢時間複雜度為O(1)。
（3）協議簡單：基於文本行的協議，直接通過telnet在memcached伺服器上可進行存取數據操作，簡單，方便多種緩存參考此協議；
（4）基於libevent高性能通信：Libevent是一套利用C開發的程式庫，它將BSD系統的kqueue,Linux系統的epoll等事件處理功能封裝成一個介面，與傳統的select相比，提高了性能。
（5）內置的記憶體管理方式：所有數據都保存在記憶體中，存取數據比硬碟快，當記憶體滿後，通過LRU演算法自動刪除不使用的緩存，但沒有考慮數據的容災問題，重啟服務，所有數據會丟失。
（6）分散式：各個memcached伺服器之間互不通信，各自獨立存取數據，不共用任何信息。伺服器並不具有分散式功能，分散式部署取決於memcache客戶端。
（7）緩存策略：Memcached的緩存策略是LRU（最近最少使用）到期失效策略。在memcached記憶體儲數據項時，可以指定它在緩存的失效時間，預設為永久。當memcached伺服器用完分配的內時，失效的數據被首先替換，然後也是最近未使用的數據。在LRU中，memcached使用的是一種Lazy Expiration策略，自己不會監控存入的key/vlue對是否過期，而是在獲取key值時查看記錄的時間戳，檢查key/value對空間是否過期，這樣可減輕伺服器的負載。
4.1.1Memcache工作原理
MemCache的工作流程如下：
（1）先檢查客戶端的請求數據是否在memcached中，如有，直接把請求數據返回，不再對資料庫進行任何操作；
（2） 如果請求的數據不在memcached中，就去查資料庫，把從資料庫中獲取的數據返回給客戶端，同時把數據緩存一份到memcached中（memcached客戶端不負責，需要程式實現）；
（3）每次更新資料庫的同時更新memcached中的數據，保證一致性；
（4） 當分配給memcached記憶體空間用完之後，會使用LRU（Least Recently Used，最近最少使用）策略加上到期失效策略，失效數據首先被替換，然後再替換掉最近未使用的數據。
4.1.2Memcache集群
memcached 雖然稱為 “ 分散式 ” 緩存伺服器，但伺服器端並沒有 “ 分散式 ” 功能。每個伺服器都是完全獨立和隔離的服務。 memcached 的分散式，是由客戶端程式實現的。
當向memcached集群存入/取出key value時，memcached客戶端程式根據一定的演算法計算存入哪台伺服器，然後再把key value值存到此伺服器中。
存取數據分二步走，第一步，選擇伺服器，第二步存取數據。
分散式演算法(Consistent Hashing)：
選擇伺服器演算法有兩種，一種是根據餘數來計算分佈，另一種是根據散列演算法來計算分佈。
餘數演算法：
先求得鍵的整數散列值，再除以伺服器台數，根據餘數確定存取伺服器。
優點：計算簡單，高效；
缺點：在memcached伺服器增加或減少時，幾乎所有的緩存都會失效。
散列演算法：（一致性Hash）
先算出memcached伺服器的散列值，並將其分佈到0到2的32次方的圓上，然後用同樣的方法算出存儲數據的鍵的散列值並映射至圓上，最後從數據映射到的位置開始順時針查找，將數據保存到查找到的第一個伺服器上，如果超過2的32次方，依然找不到伺服器，就將數據保存到第一臺memcached伺服器上。
如果添加了一臺memcached伺服器，只在圓上增加伺服器的逆時針方向的第一臺伺服器上的鍵會受到影響。
一致性Hash演算法：解決了餘數演算法增加節點命中大幅額度降低的問題，理論上，插入一個實體節點，平均會影響到：虛擬節點數 /2 的節點數據的命中。
4.2Redis
Redis 是一個開源（BSD許可）的，基於記憶體的，多數據結構存儲系統。可以用作資料庫、緩存和消息中間件。 支持多種類型的數據結構，如 字元串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 與範圍查詢， bitmaps， hyperloglogs 和 地理空間（geospatial） 索引半徑查詢。
內置了 複製（replication），LUA腳本（Lua scripting）， LRU驅動事件（LRU eviction），事務（transactions） 和不同級別的 磁碟持久化（persistence）， 並通過 Redis哨兵（Sentinel）和自動分區（Cluster）提供高可用性（high availability）。
4.2.1Redis常用數據類型
1、String
常用命令：set,get,decr,incr,mget 。
應用場景：String是最常用的一種數據類型，與Memcache的key value存儲方式類似。
實現方式：String在redis內部存儲預設就是一個字元串，被redisObject所引用，當遇到incr,decr等操作時會轉成數值型進行計算，此時redisObject的encoding欄位為int。
2、Hash
常用命令：hget,hset,hgetall 。
應用場景：以存儲一個用戶信息對象數據，為例：
實現方式：
Redis Hash對應的Value，內部實際就是一個HashMap，實際這裡會有2種不同實現。
（1） Hash的成員比較少時Redis為了節省記憶體會採用類似一維數 組的方式來緊湊存儲，而不會採用真正的HashMap結構，對應的value redisObject的encoding為zipmap；
（2） 當成員數量增大時會自動轉成真正的HashMap,此時encoding為ht。
3、List
常用命令：lpush,rpush,lpop,rpop,lrange。
應用場景：
Redis list的應用場景非常多，也是Redis最重要的數據結構之一，比如twitter的關註列表，粉絲列表等都可以用Redis的list結構來實現。
實現方式：
Redis list的實現為一個雙向鏈表，可以支持反向查找和遍歷，方便操作。不過帶來了部分額外的記憶體開銷，Redis內部的很多實現，包括發送緩衝隊列等也都是用的這個數據結構。
4、Set
常用命令：sadd,spop,smembers,sunion。
應用場景：
Redis set對外提供的功能與list類似是一個列表的功能，特殊之處在於set是可以自動排重的，當你需要存儲一個列表數據，又不希望出現重覆數據時，set 是一個很好的選擇，並且set提供了判斷某個成員是否在一個set集合內的重要介面，這個也是list所不能提供的。
實現方式：
set 的內部實現是一個 value永遠為null的HashMap，實際就是通過計算hash的方式來快速排重的，這也是set能提供判斷一個成員是否在集合內的原因。
5、Sorted set
常用命令：zadd,zrange,zrem,zcard；
使用場景：
Redis sorted set的使用場景與set類似，區別是set不是自動有序的，而sorted set可以通過用戶額外提供一個優先順序(score)的參數來為成員排序，並且是插入有序的，即自動排序。當你需要一個有序的並且不重覆的集合列表，可以選擇sorted set數據結構，比如twitter 的public timeline可以以發表時間作為score來存儲，這樣獲取時就是自動按時間排好序的。
實現方式：
Redis sorted set的內部使用HashMap和跳躍表(SkipList)來保證數據的存儲和有序，HashMap里放的是成員到score的映射，而跳躍表裡存放的 是所有的成員，排序依據是HashMap里存的score,使用跳躍表的結構可以獲得比較高的查找效率，並且在實現上比較簡單。
4.2.2Redis集群
（1）通過keepalived實現的高可用方案
切換流程：
1. 當Master掛了後，VIP漂移到Slave；Slave 上keepalived 通知redis 執行：slaveof no one ,開始提供業務
2. 當Master起來後，VIP 地址不變，Master的keepalived 通知redis 執行slaveof slave IP host ，開始作為從同步數據
3. 依次類推
主從同時Down機情況：
1. 非計劃性，不做考慮，一般也不會存在這種問題
2.、計劃性重啟，重啟之前通過運維手段SAVE DUMP 主庫數據；需要註意順序：
1. 關閉其中一臺機器上所有redis，是得master全部切到另外一臺機器（多實例部署，單機上既有主又有從的情況）；並關閉機器
2. 依次dump主上redis服務
3. 關閉主
4. 啟動主，並等待數據load完畢
5. 啟動從
6.刪除DUMP 文件（避免重啟載入慢）
（2）使用Twemproxy 實現集群方案
由twitter開源的c版本proxy，同時支持memcached和redis，目前最新版本為：0.2.4，持續開發中;https://github.com/twitter/twemproxy .twitter用它主要減少前端與緩存服務間網路連接數。
特點：快、輕量級、減少後端Cache Server連接數、易配置、支持ketama、modula、random、常用hash 分片演算法。
這裡使用keepalived實現高可用主備方案，解決proxy單點問題；
優點：
1. 對於客戶端而言，redis集群是透明的，客戶端簡單，遍於動態擴容
2. Proxy為單點、處理一致性hash時，集群節點可用性檢測不存在腦裂問題
3. 高性能，CPU密集型，而redis節點集群多CPU資源冗餘，可部署在redis節點集群上，不需要額外設備
4.3Memcache與Redis的比較
（1）數據結構：Memcache只支持key value存儲方式，Redis支持更多的數據類型，比如Key value，hash，list，set，zset；
（2）多線程：Memcache支持多線程，redis支持單線程；CPU利用方面Memcache優於redis；
（3）持久化：Memcache不支持持久化，Redis支持持久化；
（4）記憶體利用率：memcache高，redis低（採用壓縮的情況下比memcache高）；
（5）過期策略：memcache過期後，不刪除緩存，會導致下次取數據數據的問題，Redis有專門線程，清除緩存數據；
五、本地緩存
本地緩存是指應用內部的緩存，標準的分散式系統，一般有多級緩存構成。本地緩存是離應用最近的緩存，一般可以將數據緩存到硬碟或記憶體。
3.1硬碟緩存
將數據緩存到硬碟到，讀取時從硬碟讀取。原理是直接讀取本機文件，減少了網路傳輸消耗，比通過網路讀取資料庫速度更快。可以應用在對速度要求不是很高，但需要大量緩存存儲的場景。
3.2 記憶體緩存
直接將數據存儲到本機記憶體中，通過程式直接維護緩存對象，是訪問速度最快的方式。
六、緩存架構示例
職責劃分：
-
CDN：存放HTML,CSS,JS等靜態資源；
-
反向代理：動靜分離，只緩存用戶請求的靜態資源；
-
分散式緩存：緩存資料庫中的熱點數據；
-
本地緩存：緩存應用字典等常用數據；
請求過程：
（1） 瀏覽器向客戶端發起請求，如果CDN有緩存則直接返回；
（2） 如果CDN無緩存，則訪問反向代理伺服器；
（3） 如果反向代理伺服器有緩存則直接返回；
（4） 如果反向代理伺服器無緩存或動態請求，則訪問應用伺服器；
（5） 應用伺服器訪問本地緩存；如果有緩存，則返回代理伺服器，並緩存數據；（動態請求不緩存）
（6） 如果本地緩存無數據，則讀取分散式緩存；並返回應用伺服器；應用伺服器將數據緩存到本地緩存（部分）；
（7） 如果分散式緩存無數據，則應用程式讀取資料庫數據，並放入分散式緩存；
七、數據一致性
緩存是在數據持久化之前的一個節點，主要是將熱點數據放到離用戶最近或訪問速度更快的介質中，加快數據的訪問，減小響應時間。
因為緩存屬於持久化數據的一個副本，因此不可避免的會出現數據不一致問題。導致臟讀或讀不到數據的情況。數據不一致，一般是因為網路不穩定或節點故障導致。根據數據的操作順序，主要有以下幾種情況。
2.1場景介紹
（1）先寫緩存，再寫資料庫
如下圖：
假如緩存寫成功，但寫資料庫失敗或響應延遲，則下次讀取（併發讀）緩存時，就出現臟讀；
（2）先寫資料庫，再寫緩存
如下圖：
假如寫資料庫成功，但寫緩存失敗，則下次讀取（併發讀）緩存時，則讀不到數據；
（3）緩存非同步刷新
指資料庫操作和寫緩存不在一個操作步驟中，比如在分散式場景下，無法做到同時寫緩存或需要非同步刷新（補救措施）時候。
此種情況，主要考慮數據寫入和緩存刷新的時效性。比如多久內刷新緩存，不影響用戶對數據的訪問。
2.2解決方法
第一個場景：
這個寫緩存的方式，本身就是錯誤的，需要改為先寫持久化介質，再寫緩存的方式。
第二個場景：
（1）根據寫入緩存的響應來進行判斷，如果緩存寫入失敗，則回滾資料庫操作；此種方法增加了程式的複雜度，不建議採用；
（2）緩存使用時，假如讀緩存失敗，先讀資料庫，再回寫緩存的方式實現。
第三個場景：
（1）首先確定，哪些數據適合此類場景；
（2）根據經驗值確定合理的數據不一致時間，用戶數據刷新的時間間隔；
2.3 其他方法
（1）超時：設置合理的超時時間；
（2）刷新：定時刷新一定範圍內（根據時間，版本號）的數據；
以上是簡化數據讀寫場景，實際中會分為：
（1）緩存與資料庫之間的一致性；
（2）多級緩存之前的一致性；
（3）緩存副本之前的一致性。
八、緩存高可用
業界有兩種理論，第一套緩存就是緩存，臨時存儲數據的，不需要高可用。第二種緩存逐步演化為重要的存儲介質，需要做高可用。
本人的看法是，緩存是否高可用，需要根據實際的場景而定。臨界點是是否對後端的資料庫造成影響。
具體的決策依據需要根據，集群的規模（數據，緩存），成本（伺服器，運維），系統性能（併發量，吞吐量，響應時間）等方面綜合評價。
3.1解決方法
緩存的高可用，一般通過分散式和複製實現。分散式實現數據的海量緩存，複製實現緩存數據節點的高可用。架構圖如下：
其中，分散式採用一致性Hash演算法，複製採用非同步複製。
3.2其他方法
（1）複製雙寫：緩存節點的複製，由非同步改為雙寫，只有兩份都寫成功，才算成功。
（2）虛擬層：一致性Hash存在，假如其中一個HASH環不可用，數據會寫入臨近的環，當HASH可用時，數據又寫入正常的HASH環，會導致數據偏移問題。這種情況，可以考慮在HASH環前面加一個虛擬層實現。
（3）多級緩存：比如一級使用本地緩存，二級採用分散式Cahce，三級採用分散式Cache+本地持久化；
方式很多，需要根據業務場景靈活選擇。
九、緩存雪崩
雪崩是指當大量緩存失效時，導致大量的請求訪問資料庫，導致資料庫伺服器，無法抗住請求或掛掉的情況。
解決方法：
（1）合理規劃緩存的失效時間；
（2）合理評估資料庫的負載壓力；
（3）對資料庫進行過載保護或應用層限流；
（4）多級緩存設計，緩存高可用；
十、緩存穿透
緩存一般是Key，value方式存在，當某一個Key不存在時會查詢資料庫，假如這個Key，一直不存在，則會頻繁的請求資料庫，對資料庫造成訪問壓力。
解決方法：
（1）對結果為空的數據也進行緩存，當此key有數據後，清理緩存；
（2）一定不存在的key，採用布隆過濾器，建立一個大的Bitmap中，查詢時通過該bitmap過濾；
