Ehcache 3.7文檔—基礎篇—Tiering Options

Ehcache支持分層緩存的概念，這節主要介紹不同的配置選項，同時也解釋了規則和最佳實踐。一. 數據緩存到堆外當在cache中除了有heap層之外，有一些需要註意的：添加一個key-value到cache時，意味著key和value要被序列化。從cache中讀取key-value時，意味著k ...

Ehcache支持分層緩存的概念，這節主要介紹不同的配置選項，同時也解釋了規則和最佳實踐。

一. 數據緩存到堆外

當在cache中除了有heap層之外，有一些需要註意的：

添加一個key-value到cache時，意味著key和value要被序列化。
從cache中讀取key-value時，意味著key和value能被反序列化。

基於上述兩點，你需要認識到數據應該使用二進位表示，並且考慮何如進行序列化和反序列化，因為他在cache性能中是重要的指標。你可以參考Seializers章節來瞭解序列化和反序列化。

這也說明瞭某些配置在紙面上說有意義，但是在實際使用中可能不能提供最佳性能。

二. 單層設置

所有的層級配置都可以是單獨使用的，例如你可以單獨使用offheap或者clustered的cache。

下麵列出一些單層配置：

heap
offheap
disk
clustered

簡單的定義一個單層配置：

CacheConfigurationBuilder.newCacheConfigurationBuilder(Long.class, String.class, (1)
  ResourcePoolsBuilder.newResourcePoolsBuilder().offheap(2, MemoryUnit.GB)).build();(2)

(1). 在configuration builder中首先配置key和value的類型。

(2). 指定想使用哪個存儲層，這裡我們只使用offheap層。

1. Heap層

The starting point of every cache and also the faster since no serialization is necessary. You can optionally use copiers (see the section Serializers and Copiers) to pass keys and values by-value, the default being by-reference.

Heap層的大小可以按照entries或者位元組來分配。

ResourcePoolsBuilder.newResourcePoolsBuilder().heap(10, EntryUnit.ENTRIES); (1)
//or
ResourcePoolsBuilder.heap(10); (2)
//or
ResourcePoolsBuilder.newResourcePoolsBuilder().heap(10, MemoryUnit.MB); (3)

(1). heap中只允許存儲10個entries，當超出時會刪除某些entry。

(2). 一個簡版的指定10個entries。

(3). 指定heap大小為10MB，超出時會刪除某些entry。

按照位元組來分配heap大小存在的問題：

除了heap層外，其他層計算cache的大小是很容易的。你可以通過計算序列化後entries的大小來增加或減少緩存的大小。

但是當heap層使用位元組大小來代替entries個數來設置heap size時，就有點複雜了。

緩存數據的大小和數據結構影響了運行時性能。

CacheConfiguration<Long, String> usesConfiguredInCacheConfig = CacheConfigurationBuilder.newCacheConfigurationBuilder(Long.class, String.class,
  ResourcePoolsBuilder.newResourcePoolsBuilder()
    .heap(10, MemoryUnit.KB) (1)
    .offheap(10, MemoryUnit.MB)) (2)
  .withSizeOfMaxObjectGraph(1000)
  .withSizeOfMaxObjectSize(1000, MemoryUnit.B) (3)
  .build();

CacheConfiguration<Long, String> usesDefaultSizeOfEngineConfig = CacheConfigurationBuilder.newCacheConfigurationBuilder(Long.class, String.class,
  ResourcePoolsBuilder.newResourcePoolsBuilder()
    .heap(10, MemoryUnit.KB))
  .build();

CacheManager cacheManager = CacheManagerBuilder.newCacheManagerBuilder()
  .withDefaultSizeOfMaxObjectSize(500, MemoryUnit.B)
  .withDefaultSizeOfMaxObjectGraph(2000) (4)
  .withCache("usesConfiguredInCache", usesConfiguredInCacheConfig)
  .withCache("usesDefaultSizeOfEngine", usesDefaultSizeOfEngineConfig)
  .build(true);

(1). 這將會限制heap層使用的記憶體的大小，並且又會有一個計算對象大小的成本。

(2). 設置offheap大小為10MB。

(3). 可以通過額外兩個參數更進一步的設置大小，第一個參數是指定了當遍歷對象圖時最大的對象數量(預設是1000)，第二個參數定義了單個對象大小的最大值(預設是Long.MAX_VALUE)，如果超過任何一個配置的大小，那麼entry將不能被存進cache。

(4). 提供了預設的配置給CacheManager，如果有顯示定義的，那麼將覆蓋這兩個值。

2. Off-heap層

如果你想使用off-heap，你需要定義Resuource Pool並且指定你想要分配的空間大小。

ResourcePoolsBuilder.newResourcePoolsBuilder().offheap(10, MemoryUnit.MB);(1)

(1). 只分配了10MB給off-heap，當超出時會刪除某些entry。

上面的例子只分配很小的off-heap空間，你可以分配更多的空間來使用。

記住數據存儲在off-heap，需要進行序列化和反序列化，所以他的速度會比heap層慢。

你可以把在heap中影響GC性能的數據，存儲在off-heap。

不要忘了設置java 運行時參數 -XX:MaxDirectMemorySize選項，他的大小根據off-heap的大小來設置。

3. Disk層

對於Disk層，數據存儲在磁碟上，這個磁碟越快那麼訪問的數據也就越快

PersistentCacheManager persistentCacheManager = CacheManagerBuilder.newCacheManagerBuilder() (1)
  .with(CacheManagerBuilder.persistence(new File(getStoragePath(), "myData"))) (2)
  .withCache("persistent-cache", CacheConfigurationBuilder.newCacheConfigurationBuilder(Long.class, String.class,
    ResourcePoolsBuilder.newResourcePoolsBuilder().disk(10, MemoryUnit.MB, true)) (3)
  )
  .build(true);

persistentCacheManager.close();

(1). 獲得一個PersistentCacheManager，它比普通的CacheManager多了destory caches。

(2). 提供數據存儲的位置

(3). 給cache中使用的Disk，定義一個resource pool，第三個參數是一個boolean類型的，它用來決定是否將Disk pool持久化。如果設置成true，那麼就持久化存儲。當使用兩個參數的版本時disk(long，MemoryUnit)這個pool不會被持久化。

上面的例子分配了很小的記憶體空間，你可以分配更多的空間來使用。

持久化意味著，當JVM重啟時，cache中所有的東西都會保存下來，並且啟動後會在相同的位置創建持久化的CacheManager。

註意：Disk層不能在CahceManager之間共用，在同一時間一個CacheManager只能有一個持久化目錄。

記住數據存儲在磁碟，必須要序列化/反序列化並且要讀/寫到磁碟中，所以他的速度要比heap和off-heap慢很多。所以在以下情況使用磁碟存儲：

有大量的數據，不適合在off-heap中儲存。
磁碟的速度大於正在緩存的速度。
數據需要持久化

註意：Ehcache 3只提供了在正常調用關閉時(close())才會持久化數據，如果jvm崩潰那麼數據就不能完整性，在重啟後，Ehcache會檢測到CacheManager沒有正常的關閉並且會在使用前清除磁碟存儲的數據。

磁碟存儲被分成多段，提供併發訪問的能力，所以持有以打開文件的指針，預設是16。有時你可能需要減小併發量，節省資源你就需要減小段的數量。

String storagePath = getStoragePath();
PersistentCacheManager persistentCacheManager = CacheManagerBuilder.newCacheManagerBuilder()
  .with(CacheManagerBuilder.persistence(new File(storagePath, "myData")))
  .withCache("less-segments",
    CacheConfigurationBuilder.newCacheConfigurationBuilder(Long.class, String.class,
      ResourcePoolsBuilder.newResourcePoolsBuilder().disk(10, MemoryUnit.MB))
    .add(new OffHeapDiskStoreConfiguration(2)) (1)
  )
  .build(true);

persistentCacheManager.close();

(1). 定義一個OffHeapDiskStoreConfiguration實例指定段的數量。

4. 集群存儲

集群層意味著客戶端連接到Terracotta服務組，那裡存儲著cahe，這也可以作為jvms之間的共用cache。

二. 多層配置

如果你想使用多層存儲，那麼你必須遵守一些約定：

必須要有heap層，這是當前實現的限制
Disk層和Clustered層不能共存，這個限制是必須的，因為包含兩層的jvm生命周期比包含單個的jvm生命周期長，在重啟時會導致相容性問題。
各個層級之間應該按照大小排成金字塔形狀，這是因為層之間相互依賴，最快的層在最頂上，最慢的層在最底下。通常來說heap比機器中所有記憶體(off-heap)受到的限制更多，而off-heap比disk或cluster受到的限制多。所以就有了金字塔型的設置。

Ehcache要求，heap大小 < off-heap大小 < disk大小，雖然Ehcache無法驗證基於count-entry配置的heap 和基於位元組配置的off-heap和cluster大小關係，但是在測試時用戶要保證這點。

根據上面的說明，如下配置是有效的：

heap + offheap
heap + offheap + disk
heap + offheap + clustered
heap + disk
heap + clustered

如下是使用heap，offheap和clustered的例子

PersistentCacheManager persistentCacheManager = CacheManagerBuilder.newCacheManagerBuilder()
  .with(cluster(CLUSTER_URI).autoCreate()) (1)
  .withCache("threeTierCache",
    CacheConfigurationBuilder.newCacheConfigurationBuilder(Long.class, String.class,
      ResourcePoolsBuilder.newResourcePoolsBuilder()
        .heap(10, EntryUnit.ENTRIES) (2)
        .offheap(1, MemoryUnit.MB) (3)
        .with(ClusteredResourcePoolBuilder.clusteredDedicated("primary-server-resource", 2, MemoryUnit.MB)) (4)
    )
  ).build(true);

(1). 指定集群信息，告訴怎麼去連接Terracotta服務集群。

(2). 定義一個heap層，這是最小最快的存儲層。

(3). Define the offheap tier. Next in line as cacheing tier.

(4). Define the Clustered tier. The authoritative tier for this cache.

三. Resource pools

層的設置是通過使用resource pools，大多數使用ResourcePoolsBuilder。來看一下之前的一個例子

PersistentCacheManager persistentCacheManager = CacheManagerBuilder.newCacheManagerBuilder()
  .with(CacheManagerBuilder.persistence(new File(getStoragePath(), "myData")))
  .withCache("threeTieredCache",
    CacheConfigurationBuilder.newCacheConfigurationBuilder(Long.class, String.class,
      ResourcePoolsBuilder.newResourcePoolsBuilder()
        .heap(10, EntryUnit.ENTRIES)
        .offheap(1, MemoryUnit.MB)
        .disk(20, MemoryUnit.MB, true)
    )
  ).build(true);

這個cache使用了3層(heap，offheap，disk)。這些層被創建並連接起來都是通過使用ResourcePoolsBuilder。層的聲明順序是沒有關係的，因為每個層都有一個height，層的高度越高，客戶就會越會先使用該層。

resource pool只是一個配置信息，它不是一個真正的pool，不可以在多個cache之間共用，對於理解這點非常重要。考慮下麵的這段代碼：

ResourcePools pool = ResourcePoolsBuilder.heap(10).build();

CacheManager cacheManager = CacheManagerBuilder.newCacheManagerBuilder()
  .withCache("test-cache1", CacheConfigurationBuilder.newCacheConfigurationBuilder(Integer.class, String.class, pool))
  .withCache("test-cache2", CacheConfigurationBuilder.newCacheConfigurationBuilder(Integer.class, String.class, pool))
  .build(true);

最終你會得到兩個cache，每個都包含了10個entries。而不是這兩個cache共用10個entries。pool從來都不會在cache之間共用，除了clustered cache，它是可以被共用或獨立使用的。

更新ResourcePools

可以給正在運行中的cache，調整大小。

註意：updateResourcePools()只允許你調整heap的大小，而不許調整pool的類型。所以你不能改變off-heap和disk層的大小。

ResourcePools pools = ResourcePoolsBuilder.newResourcePoolsBuilder().heap(20L, EntryUnit.ENTRIES).build(); (1)
cache.getRuntimeConfiguration().updateResourcePools(pools); (2)
assertThat(cache.getRuntimeConfiguration().getResourcePools()
  .getPoolForResource(ResourceType.Core.HEAP).getSize(), is(20L));

(1). 你需要創建一個新的ResourcePools對象，並使用ResourcePoolsBuilder設置heap的大小，然後將該對象傳給上述方法來觸發更新機制。

(2). 為了更新ResourcePools的容量，可以使用RuntimeConfiguration中的updateResourcePools(ResourcePools)方法，然後將ResourcePools對象傳進去觸發更新操作。

四. Destory Persistent Tiers

Disk層和Clustered層是兩個持久層，那就意味著當JVM停止時所有的數據仍然會保存在磁碟或集群中。

但是你可能想將他們全都刪除掉，你可以使用PersistentCacheManager類，他有如下方法：

destory()

這個方法銷毀所有與cache manager相關的數據(包括cache)。一定關閉這個CacheManager或者這個CacheManager沒有初始化才可以調用該方法。同樣，對於clustered層，不能有其他的CacheManager連接到當前要被關閉的CacheManager上。

destoryCache(String cacheName)

這個方法銷毀了給定的cache，同樣這個被銷毀的cache不能正在被其他的CacheManager使用。

五. Sequence Flow for Cache Operations with Multiple Tiers(多層cache的操作順序流)

為了理解在使用多層存儲時，不同的緩存層發生了什麼。下麵有個Put和Get操作的例子。下麵的序列圖雖然簡單但是仍然顯示最重要的部分。

你需要註意一下幾點：

當你添加一條數據時，它直接進入到authoritative層，它是最低的層。
下麵的get操作會將該數據向上層推。
當然，只要一有數據添加到authoritative層，更高的層會使相應的數據無效。
如果高緩衝層中沒有命中數據，那麼就會一直查找到authoritative層。

註意：如果你的authoritative層越慢，那麼你的put操作就會越慢。對於正常cache的要使用，這是沒問題的。因為get操作的頻率要大於put操作的頻率。但是如果相反put頻率大於get頻率那可能意味著一開始你就不應該考慮使用cache。