WEB緩存系統之varnish狀態引擎

来源:https://www.cnblogs.com/qiuhom-1874/archive/2020/04/06/12643549.html
-Advertisement-
Play Games

varnish的狀態引擎分前端工作線程或者客戶端狀態引擎和後端工作線程或者服務端狀態引擎;客戶端狀態引擎,主要處理客戶端請求和響應相關的處理,比如是否可查緩存,是否命中,是否修剪緩存,是否識別用戶請求的方法有或者直接交給vcl_pass,又或者說怎樣響應客戶端等等,可以看到客戶端狀態引擎vcl_p... ...


  前文我們聊了下varnish的VCL配置以及語法特點,怎樣去編譯載入varnish的vcl配置,以及命令行管理工具varnishadm怎麼去連接varnish管理介面進行管理varnish,回顧請參考https://www.cnblogs.com/qiuhom-1874/p/12626134.html;今天我們來說一下varnish的狀態引擎;首先我們來回顧下iptables報文的走向,在iptables里報文的走向有三種,第一種是從別的主機發送過來的報文,首先它會到達網卡,然後進入prerouting鏈,然後經過路由決策後,如果是發往本機的,則就走input鏈,從而把報文送給本機上的應用程式;第二種是從prerouting鏈通過路由決策後,不是發往本機的報文而是發往其他主機,通過本機轉發的,它會從prerouting鏈到forward鏈,然後從postrouting鏈把報文發送給其他主機;第三種是從本機發往其他主機的報文,它的報文走向是從output鏈到postrouting鏈,然後從網卡發送出去;我們說iptables的原因是類比varnish的狀態引擎;varnish的狀態引擎就類似iptables里的這5鏈;我們寫的vcl配置就相當於iptables里的規則;他倆有個共同點就是在每個鏈上的規則只對當前鏈上的表或者被自定義鏈引用才會生效,而varnish里的狀態引擎也是同樣的邏輯,我們寫的vcl配置只對當前狀態引擎生效,不同的狀態引擎處有著不同的意義,對其他狀態引擎互不幹擾;這樣描述相信大家對varnish的狀態引擎有了初步的概念,這也是我們在上一篇文中說到的,發送給客戶端的響應報文,為什麼要配置在vcl_deliver里,而不是其他位置;接下來我們看看varnish的狀態引擎;

   提示:以上這張圖上varnish4.0的狀態引擎圖,每個狀態引擎彼此的關係,以及varnish內部緩存處理邏輯;首先當varnish伺服器收到來自客戶端的請求報文,最先到達的狀態引擎是vcl_recv,我們可以在vcl_recv裡面對客戶端的請求報文做修改,或者其他操作,然後交給vcl_hash這個狀態引擎,這個狀態引擎主要是看是否可查緩存,如果可以查緩存,會判斷是否命中,命中就交給vcl_hit處理,vcl_hit處理後,就直接交給vcl_deliver處理,最後響應給客戶端,當然緩存命中後也可以將請求交給vcl_pass處理;如果vcl_hash處理後不能查緩存,就把報文發送給vcl_miss處理,意思是不能查緩存,或者緩存未能命中;當然我們也可以直接把報文交給vcl_pass處理;即便它可以被緩存命中,我們也是可以強行讓該請求不查緩存,直接交給vcl_pass處理或者vcl_miss直接交給vcl_backend_fatch處理;vcl_backend_fetch就是去後端真正的伺服器上取對應資源,然後它會對後端伺服器的響應報文頭部進行讀的操作,如果沒有什麼錯誤,就把響應報文發送給vcl_backend_response,vcl_backend_response在處理響應報文時,會判斷是否可緩存,如果可以緩存,就在本地緩存一份,然後通過vcl_deliver響應給客戶端,如果不可緩存,在本地就不緩存,直接將響應報文發送給vcl_deliver響應給客戶端;如果vcl_backend_fetch讀後端伺服器發來的響應報文是錯誤響應(或者vcl_backend_fatch未取到對應資源,或者後端主機宕機等等),它就會把該處理邏輯交給vcl_backend_error處理;如果用戶的請求經過vcl_hash處理後,發現緩存內容變了或者說緩存過期了需要修剪緩存,它會把請求發往vcl_purge,vcl_purge主要處理緩存修剪相關的操作,然後把請求報文發送給vcl_synth處理,合成一響應發送給客戶端;如果通過vcl_hash處理後發現用戶請求的方法我們壓根就不認識,這個時候會將請求報文交給vcl_pipe處理;

  從上面的圖來看,我們大概可以總結為兩點,varnish的狀態引擎分前端工作線程或者客戶端狀態引擎和後端工作線程或者服務端狀態引擎;客戶端狀態引擎,主要處理客戶端請求和響應相關的處理,比如是否可查緩存,是否命中,是否修剪緩存,是否識別用戶請求的方法有或者直接交給vcl_pass,又或者說怎樣響應客戶端等等,可以看到客戶端狀態引擎vcl_pass,是一個額外處理機制,不管是否可查緩存,是否命中,都可以交給它處理;對於服務端狀態引擎主要是處理和後端伺服器請求和響應相關操作,比如怎樣去後端伺服器取資源,對伺服器的響應報文是否可緩存,怎麼緩存,對後端伺服器的響應報文錯誤怎麼處理等;

  varnish的前端狀態引擎有vcl_recv,vcl_pass, vcl_hit, vcl_miss, vcl_pipe, vcl_purge, vcl_synth, vcl_deliver;vcl_recv處理後可以通過return來指定下一跳處理的狀態引擎是那個,如果是return(hash)就表示交給vcl_hash處理;return(pass)就表示交給vcl_pass處理;return(pipe)就表示交給vcl_pipe處理;return(synth)就表示交給vcl_synth處理;return(purge)就表示交給vcl_purge處理;對於vcl_hash來說,return(hit)就表示緩存命中交給vcl_hit處理,return(miss)表示緩存未能命中交給vcl_miss處理,return(pass)或者return(hit_for_pass)就表示即便緩存命中也交給vcl_pass處理,return(purge)就表示交給vcl_purge處理;

  varnish的後端狀態引擎有vcl_backend_fetch, vcl_backend_response, vcl_backend_error;vcl_backend_fetch處理去後端取資源的操作,vcl_backend_response處理後端伺服器響應回來的報文,vcl_backend_error處理後端伺服器錯誤;除此以外varinsh4.0還有兩個特殊的狀態引擎,分別是vcl_init和vcl_fini;vcl_init:在處理任何請求之前要執行的vcl代碼:主要用於初始化VMODs;vcl_fini:所有的請求都已經結束,在vcl配置被丟棄時調用;主要用於清理VMODs;

  瞭解了上面的狀態引擎,我們在說一說varnish的變數,在前文我們大概說了下varnish的變數大概可以分5類,一類是客戶端請求報文相關的,req.*;一類是varnish伺服器請求後端伺服器報文,bereq.*;一類是後端伺服器響應varnish伺服器的beresp.*;一類是varnish伺服器響應客戶端的resp.*;還有一類是obj.*,這類變數主要是儲存緩存空間中的緩存對象的屬性;結合上面說的狀態引擎,不難里接在不同的狀態引擎里,對應變數是有限的,比如bereq.*這類變數就不能用於vcl_recv,因為vcl_recv是接收用戶請求相關的,而bereq.* 是varnish請求後端伺服器的變數,這兩者很明顯是不再一個級別的,所以通常不同類的變數對應能夠用於哪些狀態引擎中是有限制的;而對應變數的屬性也是有要求的,比如obj.hit這個變數是存儲緩存項命中次數的,通常可用在vcl_hit和vcl_deliver狀態引擎中,表示應用緩存命中次數,相對於這個變數來說,我們是不能修改的,所以obj.hits這個變數在vcl_hit和vcl_deliver狀態引擎中只可讀,不可修改;而對於obj.ttl這個值就不一樣了;obj.ttl記錄緩存項可緩存的時間;很顯然obj.ttl這個變數只能用於可緩存的狀態引擎上,比如vcl_hit,對於告訴客戶端可緩存的時間,很明顯它不能是一個不可修改的值;所以對於obj.ttl這個變數在vcl_hit狀態引擎中就具有可讀可寫許可權(即我們可以修改該變數的值);說這麼多無外乎就是表達一個意思,不同類型的變數受限狀態引擎,不同變數在不同的狀態引擎上不是都可讀可寫,有的變數只可讀;如下圖

   說明:以上這張表就是對於不同類型的變數對應varnish的狀態引擎是否可讀寫的,沒有讀寫就表示該類型變數不能用於對應狀態引擎中;比如resp.*只能在error和deliver狀態引擎中使用;beresp.*這類變數只能用於後端主機響應varnish伺服器的過程中使用,比如fetch這個狀態引擎就是處理後端伺服器響應varnish伺服器請求的;所以beresp.*這類變數只能用於fetch;當然這裡的fetch是早期狀態引擎的名稱。在varnish4.0它不叫fetch,而叫vcl_backend_fatch;

  瞭解了以上內容,我們接下來看幾個示例

  示例:強制對某類資源的請求不檢查緩存

   提示:以上配置表示對客戶端請求的url進行判斷,如果能夠被.jpg、.jpeg、.png、.gif、.js、.css、.html匹配到,那麼就把用戶請求交給pass狀態引擎處理;pass狀態引擎處理就是不查緩存;所以對於客戶端請求.jpg的資源,其對應obj.hits的值會一直為0;因為我們明確指定了不查緩存;

  測試:用瀏覽器訪問伺服器上的.jpg資源,看看響應報文中我們自定義的X-Cache 首部是否是 miss via 192.168.0.99;

   提示:可以看到我們訪問/day.jpg這個資源時,不管怎麼刷新瀏覽器,對應響應首部X-Cache的值都是 miss via 192.168.0.99,說明我們請求.jpg的資源的確沒有查緩存;

  示例:把客戶端IP傳到後端伺服器

   提示:以上vcl表示判斷客戶端請求首部X-Forwarded-For是否為空,如果不為空就把它的值在原有的值的基礎上和客戶端ip地址做字元串連接,並用逗號隔開;如果該首部為空或者沒有這個首部就把這個首部的值設置成客戶端ip地址;

  更改後端web 服務的日誌格式

   提示:以上配置表示在日誌格式中應用X-Forwarded-For這個首部的值;

  測試:重新編譯載入vcl,然後用瀏覽器訪問,看看是否能夠把瀏覽器所在主機的ip地址傳到後端httpd伺服器日誌中做記錄?

   提示:從上面的日誌結果看,我們分別用不同的瀏覽器去訪問,在日誌中可以看到不同瀏覽器所在主機的IP地址,說明我們通過判斷用戶請求報文X-Forwarded-For首部是否為空,從而實現對於非空和空值對應設置該首部值,繼而實現把對應請求首部值記錄到後端伺服器日誌中的目的;

  示例:對於特定類型的資源,例如公開的圖片等,取消其私有標識,並強行設定其可以由varnish緩存的時長;

   提示:首先我們要清楚在那個位置去對報文操作,取消私有標識,是需要在後端伺服器響應varnish這個過程中把對應響應首部的值給撤銷了;所以我們需要在vcl_backend_response這個狀態引擎中來設置,取消set-cookie首部,這個首部主要是給對應客戶端設置一個cookie;以上配置表示判斷後端伺服器響應varnish伺服器的響應報文首部cache-control的值是否匹配“s-maxage”,如果不匹配說明該資源不允許被共有緩存系統所緩存,如果匹配,則說明該資源允許被公有緩存系統所緩存;如果不匹配再繼續判斷varnish向後端請求的首部url的值是否匹配.jpg|jpeg|png|gif|css|js結尾的資源,如果匹配則取消後端伺服器響應varnish伺服器的響應首部set-cookie的值,並設置後端伺服器響應varnish的資源緩存時長為1小時;簡單講就是判斷後端伺服器響應首部的cache-control的值是否匹配到“s-maxage”,如果不能匹配到在判斷向後端伺服器請求的首部url是否是匹配指定結尾的資源,如果是,就取消後端伺服器響應首部set-cookie這個首部,同時把後端伺服器響應資源的緩存時長設定為1小時;

  測試:為了驗證以上vcl配置正確性,我們把beresp.ttl的值通過cache-control這個首部傳遞到瀏覽器響應首部,從而來判斷set-cookie首部是被撤銷了;

   提示:在上面的配置中加入了set beresp.http.cache-control = beresp.ttl;表示把後端響應給varnish的響應首部beresp.ttl的值 通過beresp.http.cache-control首部保存;這樣客戶端訪問.jpg的資源就會在響應首部中把cache-control的值給顯示出來,如果該值是我們設置的3600s,就說明我們撤銷set-cookie這個首部的vcl語句是生效的;

   提示:從上面的結果看,cache-control的值為3600是我們設置beresp.ttl的值;說明撤銷set-cookie的vcl配置生效了;同時這也告訴我們如果後端伺服器響應varnish的報文中沒有的首部,在varnish響應客戶端中就沒有;簡單說就是varnish會把後端伺服器響應給varnish中首部的值通過響應客戶端首部傳遞出來;比如我在後端響應報文中自定義一個aaa的報文首部,其值為bbb,那麼在客戶端的響應報文首部中就會有對應aaa首部和對應的值;如下

   測試:

   提示:做以上測試需要考慮varnish上的緩存,如果你始終訪問同一個url可能會看到對應首部的值不會發生變化,需要重啟varnish或者換個其他符合vcl定義的url去訪問試試看;


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • VS2019+MVC+EF6 CodeFirst 連接MySQL 1、準備環境(通過NuGet獲取) EntityFramework MySql.Data.Entity 安裝後確認 2、在MVC Model文件夾下添加一個學生類,後面用它通過[數據遷移]在MySQL中創建一個表 3、創建數據上下文 ...
  • 關於 Blazor Server Side 的開篇 , Blazor與 C/S , B/S 有什麼不一樣 , Blazor有什麼優缺點? ...
  • 這篇文章,我們一起學習ASP.NET Core InProcess Hosting.這篇文章主要討論下麵幾個觀點:CreateDefaultBuilder方法執行什麼任務?什麼是ASP.NET Core InProcess Hosting?怎麼使用InProcess hosting Model來托管... ...
  • 在上一篇文章abp(net core)+easyui+efcore實現倉儲管理系統——入庫管理之六(四十二)中我們實現了新增入庫單的功能。結合之前的五篇文章,今天我們來測試一下入庫單新增功能。 ...
  • EF Core 數據變更自動審計設計 Intro 有的時候我們需要知道每個數據表的變更記錄以便做一些數據審計,數據恢復以及數據同步等之類的事情, EF 自帶了對象追蹤,使得我們可以很方便的做一些審計工作,每次變更發生了什麼變化都變得很清晰,於是就基於 EF 封裝了一層數據變更自動審計 使用效果 測試 ...
  • IViewLocationExpander API ExpandViewLocations Razor視圖路徑,視圖引擎會搜索該路徑. PopulateValues 每次調用都會填充路由 項目目錄如下所示 創建區域擴展器,其實我並不需要多區域,我目前只需要達到一個區域中有多個文件夾進行存放我的視圖. ...
  • 在這篇文章中,我將帶領大家詳細學習ASP.NET Core 中的Main方法。在這篇文章中,我將向大家詳細介紹下麵幾個問題:ASP.NET Core Main方法的重要性為什麼我們在ASP.NET Core中會有一個Main方法?當你運行一個ASP.NET Core應用程式的時候,背後發生了什麼?為... ...
  • .NET 走向開源,MIT許可協議。 微軟為了推動.NET開源社區的發展,2014年聯合社區成立了.NET基金會。 一年前 .NET 基金會完成第一次全面改選,2014年 .NET基金會的創始成員中有六位創始人,均非微軟公司員工,隨著微軟的收購動作,Miguel 也成了微軟員工,Migel一直在努力 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...