簡介Varnish 是一款高性能且開源的反向代理伺服器和 HTTP 加速器，其採用全新的軟體體系機構，和現在的硬體體繫緊密配合，與傳統的 squid 相比，varnish 具有性能更高、速度更快、管理更加方便等諸多優點；目前最新版本是4.0.0，而3.x的版本也是可以生產環境下使用的穩定版本，但y... ...

簡介

Varnish 是一款高性能且開源的反向代理伺服器和 HTTP 加速器，其採用全新的軟體體系機構，和現在的硬體體繫緊密配合，與傳統的 squid 相比，varnish 具有性能更高、速度更快、管理更加方便等諸多優點；
目前最新版本是4.0.0，而3.x的版本也是可以生產環境下使用的穩定版本，但yum源中的2.x版本過於陳舊，不建議使用；

Varnish與Squid的對比

相同點
都是一個反向代理伺服器；
都是開源軟體；

Varnish的優勢

Varnish的穩定性很高，兩者在完成相同負荷的工作時，Squid伺服器發生故障的幾率要高於Varnish，因為使用Squid要經常重啟；
Varnish訪問速度更快，因為採用了“Visual Page Cache”技術，所有緩存數據都直接從記憶體讀取，而squid是從硬碟讀取，因而Varnish在訪問速度方面會更快；
Varnish可以支持更多的併發連接，因為Varnish的TCP連接釋放要比Squid快，因而在高併發連接情況下可以支持更多TCP連接；
Varnish可以通過管理埠，使用正則表達式批量的清除部分緩存，而Squid是做不到的；
squid屬於是單進程使用單核CPU，但Varnish是通過fork形式打開多進程來做處理，所以可以合理的使用所有核來處理相應的請求；

Varnish的劣勢

varnish進程一旦Hang、Crash或者重啟，緩存數據都會從記憶體中完全釋放，此時所有請求都會發送到後端伺服器，在高併發情況下，會給後端伺服器造成很大壓力；
在varnish使用中如果單個url的請求通過HA/F5等負載均衡，則每次請求落在不同的varnish伺服器中，造成請求都會被穿透到後端；而且同樣的請求在多台伺服器上緩存，也會造成varnish的緩存的資源浪費，造成性能下降；
Varnish劣勢的解決方案
針對劣勢一：在訪問量很大的情況下推薦使用varnish的記憶體緩存方式啟動，而且後面需要跟多台squid伺服器。主要為了防止前面的varnish服務、伺服器被重啟的情況下，大量請求穿透varnish，這樣squid可以就擔當第二層CACHE，而且也彌補了varnish緩存在記憶體中重啟都會釋放的問題；
針對劣勢二：可以在負載均衡上做url哈希，讓單個url請求固定請求到一臺varnish伺服器上;

架構及文件緩存的工作流程

程式架構：

Manager進程管理進程

Cacher進程，包含多種類型的線程：

accept, worker, expiry, ...

shared memory log：

統計數據：計數器；

日誌區域：日誌記錄；

varnishlog, varnishncsa, varnishstat...

配置介面：VCL

Varnish Configuration Language, DSL(Domain Specific Language) 域專用語言

過程：vcl complier --> c complier --> bin shared object

VCL complier

1 轉成C語言代碼

2 編譯成C語言模塊

3 被varnish cache主進程裝載使用

varnish配置文件

varnish配置由varnishadm工具來管理port:6081：6082(Management)

HTTP請求的方法：

HTTP/1.1協議中共定義了八種方法（有時也叫“動作”），來表明Request-URL指定的資源不同的操作方式

1、OPTIONS

返回伺服器針對特定資源所支持的HTTP請求方法，也可以利用向web伺服器發送‘*’的請求來測試伺服器的功能性

2、HEAD

向伺服器索與GET請求相一致的響應，只不過響應體將不會被返回。這一方法可以再不必傳輸整個響應內容的情況下，就可以獲取包含在響應小消息頭中的元信息。

3、GET

向特定的資源發出請求。它本質就是發送一個請求來取得伺服器上的某一資源。資源通過一組HTTP頭和呈現數據（如HTML文本，或者圖片或者視頻等）返回給客戶端。GET請求中，永遠不會包含呈現數據。

4、POST

向指定資源提交數據進行處理請求（例如提交表單或者上傳文件）。數據被包含在請求體中。POST請求可能會導致新的資源的建立和/或已有資源的修改。 Loadrunner中對應POST請求函數：web_submit_data,web_submit_form

5、PUT

向指定資源位置上傳其最新內容

6、DELETE

請求伺服器刪除Request-URL所標識的資源

7、TRACE

回顯伺服器收到的請求，主要用於測試或診斷

8、CONNECT

HTTP/1.1協議中預留給能夠將連接改為管道方式的代理伺服器。

註意：

1）方法名稱是區分大小寫的，當某個請求所針對的資源不支持對應的請求方法的時候，伺服器應當返回狀態碼405（Mothod Not Allowed）；當伺服器不認識或者不支持對應的請求方法時，應返回狀態碼501（Not Implemented）。

2）HTTP伺服器至少應該實現GET和HEAD/POST方法，其他方法都是可選的，此外除上述方法，特定的HTTP伺服器支持擴展自定義的方法。

varnish只緩存get head

Varnish 處理 HTTP 請求的過程如下

Receive 狀態（vcl_recv）：也就是請求處理的入口狀態，根據 VCL 規則判斷該請求應該 pass（vcl_pass）或是 pipe（vcl_pipe），還是進入 lookup（本地查詢）；
Lookup 狀態：進入該狀態後，會在 hash 表中查找數據，若找到，則進入 hit（vcl_hit）狀態，否則進入 miss（vcl_miss）狀態；
Pass（vcl_pass）狀態：在此狀態下，會直接進入後端請求，即進入 fetch（vcl_fetch）狀態；
Fetch（vcl_fetch）狀態：在 fetch 狀態下，對請求進行後端獲取，發送請求，獲得數據，並根據設置進行本地存儲；
Deliver（vcl_deliver）狀態：將獲取到的數據發給客戶端，然後完成本次請求；

註：Varnish4中在vcl_fetch部分略有出入，已獨立為vcl_backend_fetch和vcl_backend_response2個函數；

內置函數(也叫子常式)

vcl_recv：用於接收和處理請求；當請求到達併成功接收後被調用，通過判斷請求的數據來決定如何處理請求；
vcl_pipe：此函數在進入pipe模式時被調用，用於將請求直接傳遞至後端主機，並將後端響應原樣返回客戶端；
vcl_pass：此函數在進入pass模式時被調用，用於將請求直接傳遞至後端主機，但後端主機的響應並不緩存直接返回客戶端；
vcl_hit：在執行 lookup 指令後，在緩存中找到請求的內容後將自動調用該函數；
vcl_miss：在執行 lookup 指令後，在緩存中沒有找到請求的內容時自動調用該方法，此函數可用於判斷是否需要從後端伺服器獲取內容；
vcl_hash：在vcl_recv調用後為請求創建一個hash值時，調用此函數；此hash值將作為varnish中搜索緩存對象的key；
vcl_purge：pruge操作執行後調用此函數，可用於構建一個響應；
vcl_deliver：將在緩存中找到請求的內容發送給客戶端前調用此方法；
vcl_backend_fetch：向後端主機發送請求前，調用此函數，可修改發往後端的請求；
vcl_backend_response：獲得後端主機的響應後，可調用此函數；
vcl_backend_error：當從後端主機獲取源文件失敗時，調用此函數；
vcl_init：VCL載入時調用此函數，經常用於初始化varnish模塊(VMODs)
vcl_fini：當所有請求都離開當前VCL，且當前VCL被棄用時，調用此函數，經常用於清理varnish模塊；

varnish程式的運行具有局部性特征：

時間局部性：一個數據被訪問過之後，可能很快會被再次訪問到；

空間局部性：一個數據被訪問時，其周邊的數據也有可能被訪問到

cache：命中

熱區：局部性；

時效性：

緩存空間耗盡：LRU，最近最少使用；

過期：緩存清理

緩存命中率：hit/(hit+miss)

(0,1)

頁面命中率：基於頁面數量進行衡量

位元組命中率：基於頁面的體積進行衡量

緩存與否：

私有數據：private，private cache；

公共數據：public, public or private cache;

Cache-related Headers Fields

The most important caching header fields are:

Expires：過期時間；

Expires:Thu, 22 Oct 2026 06:34:30 GMT

Cache-Control：max-age=

Etag

If-None-Match

Last-Modified

If-Modified-Since

Vary

Age

緩存有效性判斷機制：

過期時間：Expires

HTTP/1.0

Expires：過期

HTTP/1.1

Cache-Control: maxage=
Cache-Control: s-maxage=

條件式請求：

Last-Modified/If-Modified-Since：基於文件的修改時間戳來判別；
Etag/If-None-Match：基於文件的校驗碼來判別；

  1 Expires:Thu, 13 Aug 2026 02:05:12 GMT
  2 
  3 Cache-Control:max-age=315360000
  4 
  5 ETag:"1ec5-502264e2ae4c0"
  6 
  7 Last-Modified:Wed, 03 Sep 2014 10:00:27 GMT
  8

緩存層級：

私有緩存：用戶代理附帶的本地緩存機制；

公共緩存：反向代理伺服器的緩存功能；

User-Agent <--> private cache <--> public cache <--> public cache 2 <--> Original Server

Cache-Control: key=value, key=value

請求報文用於通知緩存服務如何使用緩存響應請求：

  1 cache-request-directive =
  2 
  3 "no-cache"， //不能直接用緩存響應
  4 
  5 | "no-store" //不能直接用緩存響應，要去遠程伺服器去取新的。 
  6 
  7 | "max-age" "=" delta-seconds
  8 
  9 | "max-stale" [ "=" delta-seconds ] //過期的緩存，最大允許過期多長時間的緩存來響應
 10 
 11 | "min-fresh" "=" delta-seconds //指示客戶機可以接收響應時間小於當前時間加上指定時間的min-fresh。
 12 
 13 | "no-transform"
 14 
 15 | "only-if-cached"
 16 
 17 | cache-extension
 18

響應報文用於通知緩存伺服器如何存儲上級伺服器響應的內容：

  1 cache-response-directive =
  2 
  3 "public"
  4 
  5 | "private" [ "=" <"> 1#field-name <"> ]
  6 
  7 | "no-cache" [ "=" <"> 1#field-name <"> ]，//可緩存，但響應給客戶端之前需要revalidation，即必鬚髮出條件式請求進行緩存有效性驗正；
  8 
  9 | "no-store" ，//不允許存儲響應內容於緩存中； 
 10 
 11 | "no-transform"
 12 
 13 | "must-revalidate"
 14 
 15 | "proxy-revalidate"
 16 
 17 | "max-age" "=" delta-seconds //私有緩存能緩存多長時間
 18 
 19 | "s-maxage" "=" delta-seconds //公共緩存能緩存多長時間
 20 
 21 | cache-extension
 22

Linux–varnish(一)

簡介