SpringCache - 請求級別緩存的簡易實現

来源:https://www.cnblogs.com/imyijie/archive/2019/10/11/11651679.html
-Advertisement-
Play Games

前言 在SpringCache緩存初探中我們研究瞭如何利用spring cache已有的幾種實現快速地滿足我們對於緩存的需求。這一次我們有了新的更個性化的需求,想在一個請求的生命周期里實現緩存。 需求背景是:一次數據的組裝需要調用多個方法,然而在這多個方法里又會調用同一個IO介面,此時多浪費了一次I ...


前言

SpringCache緩存初探中我們研究瞭如何利用spring cache已有的幾種實現快速地滿足我們對於緩存的需求。這一次我們有了新的更個性化的需求,想在一個請求的生命周期里實現緩存

需求背景是:一次數據的組裝需要調用多個方法,然而在這多個方法里又會調用同一個IO介面,此時多浪費了一次IO的資源。首先想到的解決方案是將這次IO介面提出來調用,然後將結果作為參數傳遞到多個方法中,但是這樣一來,每個調用這些方法的地方都得添加額外的代碼。那麼第二個方案就是,我們還是分別調用,只不過將這個結果緩存起來,就像我們之前做的那樣。

這時候問題來了,這個數據結果我們希望儘可能實時,即使只緩存了一秒,導致在不同的請求里用了同一份數據也不太好。看來不得不自己實現一個只保持在一次請求過程中的緩存了。

方案分析

要將數據緩存在一次請求周期內,那我們先得區分是什麼環境下的請求,以分析我們如何存儲數據。

1. Web

Web環境下的有個絕佳的數據存儲位置 HttpServletRequestAttribute 。調用setAttributegetAttribute方法就能輕易地將我們的數據用key-value的形式存儲在請求上,而且每次請求都自動擁有一個乾凈的Request 。想要獲取到HttpServletRequest 也非常簡單,在web請求中隨時隨地調用((ServletRequestAttributes) RequestContextHolder.getRequestAttributes()).getRequest() 即可。

2. RPC框架

我司所使用的rpc框架是基於finagle自研的,對外提供服務時使用線程池進行處理請求,即對於一次完整的請求,會使用同一個線程進行處理。首先想到的辦法還是改動這個rpc框架服務端,增加一個可以對外暴露的、可以key-value存儲的請求上下文。為了能在方便的地方獲取到這個請求上下文,得將其存儲在ThreadLocal中。


綜合這兩種環境考慮,我們最好還是實現一個統一的方案以減少維護和開發成本。Spring的RequestContextHolder.getRequestAttributes()其實也是使用ThreadLocal來實現的,那我們可以統一將數據存到ThreadLocal<Map<Object,Object>>,自己來維護緩存的清理

存儲位置有了,接下來實現SpringCache思路就比較清晰了。

實現SpringCache

要實現SpringCache需要一個CacheManager,介面定義如下

     
xxxxxxxxxx
       
public interface CacheManager {    
           Cache getCache(String name); 
           Collection<String> getCacheNames();
}
   

可以看到其實只需要實現Cache介面就行了。 在上一篇文章中提到的SimpleCacheManager,它的Cache實現ConcurrentMapCache內部的存儲是依賴ConcurrentMap<Object, Object>。我們的實現跟它非常類似,最主要的不同是我們需要使用ThreadLocal<Map<Object, Object>> 下麵給出幾處關鍵的實現,其他部分簡單看下ConcurrentMapCache就能明白。

1 extends  

我們選擇不直接繼承Cache而是AbstractValueAdaptingCache,其被大多數緩存實現所繼承,它的作用主要是包裝value值以區分是沒有命中緩存還是緩存的null值。

2 store

     
xxxxxxxxxx
       
private final ThreadLocal<Map<Object, Object>> store = ThreadLocal.withInitial(() -> new HashMap<>(128));
   

我們的緩存數據存儲的地方,ThreadLocal保證緩存只會存在於這一個線程中。同時又因為只有一個線程能夠訪問,我們簡單地使用HashMap即可。 

3 get

     
xxxxxxxxxx
       
public <T> T get(Object key, Callable<T> valueLoader) {
    return (T) fromStoreValue(this.store.get().computeIfAbsent(key, r -> {        
        try {           
            return toStoreValue(valueLoader.call());        
        } catch (Throwable ex) {            
            throw new ValueRetrievalException(key, valueLoader, ex);     
        }  
     }));
 }   

至此我們即將大功告成,只差一個步驟,ThreadLocal的清理:使用AOP實現即可。

     
xxxxxxxxxx
       
    @After("bean(server)")
    public void clearThreadCache() {
        threadCacheManager.clear();
    }
   

記得將Cache的clear方法通過我們自定義的CacheManager暴露出來。同時也要確保切麵能覆蓋每個請求的結束。

總結與擴展

從以上一個簡單的ThreadLocalCacheManager實現,我們對CacheManager又有了更多的理解。

同時可能也會有更多的疑問。

1. 我們實現的這些方法,從方法名和邏輯上看起來都很簡單,那他們是如何配合使用的?跟@Cacheable上的sync又有什麼關係呢?

再回顧Spring Cache為我們提供的@Cacheable中的sync的註釋,它提到此功能的作用是: 同步化對被註解方法的調用,使得多個線程試圖調用此方法時,只有一個線程能夠成功調用,其他線程直接取這次調用的返回值。同時也提到這僅僅只是個hint,是否真的能成還是要看緩存提供者。

我們找到Spring Cache處理緩存調用的關鍵方法org.springframework.cache.interceptor.CacheAspectSupport#execute(org.springframework.cache.interceptor.CacheOperationInvoker, java.lang.reflect.Method, org.springframework.cache.interceptor.CacheAspectSupport.CacheOperationContexts) (spring-context-5.1.5.RELEASE)

經過分析,當sync = true 時, 只會調用如下代碼

     
xxxxxxxxxx
       
return wrapCacheValue(method, cache.get(key, () -> unwrapReturnValue(invokeOperation(invoker))))
   

即我們上文實現的T get(Object key, Callable<T> valueLoader) 方法,回頭一看一切都清晰了。 只要我們的this.store.get().computeIfAbsent是同步的,那這個sync = true就起作用了。 當然我們這裡使用的HashMap不支持,但是我們如果換成ConcurrentMap就能夠實現同步化的功能。另外簡單粗暴地讓方法同步也是可以的(RedisCache就是這樣做的)。

sync = false時,會組合Cache中其他的方法進行緩存的處理。邏輯較為簡單清晰,自行閱讀源碼即可。

2. 用ThreadLocal嚴格來說實現的只是線程內的緩存,萬一一次請求中有非同步操作怎麼辦?

非同步操作分兩種情況,直接創建線程或者使用線程池。對於第一種情況我們可以簡單地使用java.lang.InheritableThreadLocal 來替代ThreadLocal,創建的子進程會自然而然地共用父進程的InheritableThreadLocal;第二種情況就相對比較複雜了,建議可以參考 alibaba/transmittable-thread-local ,它實現了線程池下的ThreadLocal值傳遞功能。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 替代方案 如果您不希望下載並存放 jQuery,那麼也可以通過 CDN(內容分髮網絡) 引用它。 Staticfile CDN、百度、又拍雲、新浪、谷歌和微軟的伺服器都存有 jQuery 。 如果你的站點用戶是國內的,建議使用百度、又拍雲、新浪等國內CDN地址,如果你站點用戶是國外的可以使用谷歌和微 ...
  • 1.什麼是playbook playbook :定義一個文本文件,以yml為尾碼結尾,那playbook組成如下、 play:定義的是主機的角色 task: 定義的是具體執行的任務 總結:playbook是由一個或多個play組成,一個play可以包含多個task任務。 可以理解為:使用不同的模塊來 ...
  • 備忘錄模式(Memento): 後悔藥來啦!!!備忘錄模式在不破壞封裝性的前提下,捕獲一個對象的內部狀態,併在該對象之外保存這個狀態,以便在需要時能將該對象恢復到原先保存的狀態。 備忘錄模式的角色: 1)發起人(Originator):記錄當前時刻的內部狀態信息,提供創建備忘錄和恢復備忘錄數據的功能 ...
  • ELK Elasticsearch Logstash Kibana ...
  • 前言 今天我們一起看看行為模式中的迭代器模式,迭代是重覆反饋過程的活動,其目的通常是為了接近併到達所需的目標或結果。在系統開發中簡單說可以理解成遍歷。這種模式用於順序訪問集合對象的元素,不需要知道集合對象的底層或者內部表示。 迭代器模式介紹 一、來由 在系統開發中,集合對象內部表示各不相同。底層構造 ...
  • 前言 在之前的 "設計模式 單例模式(詳解)看看和你理解的是否一樣?" 一文中,我們提到了通過 開發工具進行多線程調試、單例模式的暴力破壞的問題;由於篇幅原因,現在單獨開一篇文章進行演示:線程不安全的單例在多線程情況下為何被創建多個、如何破壞單例。 如果還不知道如何使用IDEA工具進行線程模式的調試 ...
  • 訪問者模式(Vistor): 訪問者模式的官方定義是這樣的:表示一個作用於某對象結構中的各元素的操作,它使你可以在不改變各元素類的前提下定義作用於這些元素的新操作。官方的東西總是晦澀難懂的,那麼我們現在就來拆解一下:首先"一個作用於某對象結構中的各元素的操作",提到了三個東西:對象結構、元素、操作。 ...
  • Java中使用SimpleDateFormat 進行日期格式化類 SimpleDateFormat 日期格式化類 示例 1 : 日期轉字元串 y 代表年 M 代表月 d 代表日 H 代表24進位的小時 h 代表12進位的小時 m 代表分鐘 s 代表秒 S 代表毫秒 package date; imp ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...