fasthttp + `page partial gziped cache`: 頁面輸出服務性能提升20%

来源:https://www.cnblogs.com/ahfuzhang/archive/2023/10/10/17755400.html
-Advertisement-
Play Games

作者:張富春(ahfuzhang),轉載時請註明作者和引用鏈接,謝謝! cnblogs博客 zhihu Github 公眾號:一本正經的瞎扯 接上一篇:http 中使用 gzip 輸出內容時,如何預先壓縮前一半頁面? 經過實測,對線上一個輸出 html 的服務進行了改造,通過預先壓縮頁面前半部分的方 ...


作者:張富春(ahfuzhang),轉載時請註明作者和引用鏈接,謝謝!


接上一篇:http 中使用 gzip 輸出內容時,如何預先壓縮前一半頁面?

經過實測,對線上一個輸出 html 的服務進行了改造,通過預先壓縮頁面前半部分的方法,此介面的性能提升了 20%.

對比項 無 gzip 壓縮 gzip 壓縮+前半部分預壓縮
輸出位元組數 4399 2246
每核 qps 14052.63 16924.75

具體的寫法如下:
1.獲取改造後的庫

go get github.com/ahfuzhang/[email protected]

2.在 go.mod 中修改:

replace (
	github.com/klauspost/compress => github.com/ahfuzhang/compress v1.17.2
)

require (
	github.com/klauspost/compress v1.16.3
    github.com/valyala/bytebufferpool v1.0.0
	github.com/valyala/fasthttp v1.50.0
)

3.代碼:

package main

import (
	"bytes"
	_ "embed"
	"fmt"
	"log"
	"os"

	"github.com/klauspost/compress/gzip"
	"github.com/valyala/bytebufferpool"
	"github.com/valyala/fasthttp"
)

//go:embed raw.html
var html string

//go:embed raw.js
var js string


func testGzipedHttp() {
    topHalf, digest := gzip.GetGzipedData([]byte(html))  // cache 頁面的前一半, digest 是這些內容的 crc32 的校驗和
	requestHandler := func(ctx *fasthttp.RequestCtx) {
		ctx.Response.Header.Add("Content-Type", "text/plain")
		ctx.Response.Header.Add("Content-Encoding", "gzip")

		switch string(ctx.Request.URI().RequestURI()) {
		case "/1":   // direct output
			w, _ := gzip.NewWriterLevel(ctx, gzip.BestCompression)
			w.Write([]byte(html))
			w.Write([]byte(js))
			w.Close()
		case "/2":
			w := gzip.GetWriter(ctx)  // 使用對象池
		    w.WriteHeader()  // 寫 gzip 的頭部信息,10 位元組
            w.WriteGzipedData([]byte(html), topHalf, digest)  
            // 當這個緩存是第一次輸出的時候,可以傳入 digest 值,這樣可以少算一次  crc32
            // 當不是第一次輸出的時候, 第三個參數 digest 填  0

            w.Write([]byte(js))
            gzip.PutWriter(w)  // 必須調用,寫入尾部信息,並放回對象池
		}
	}

	s := &fasthttp.Server{
		Handler: requestHandler,
	}
	if err := s.ListenAndServe(":8080"); err != nil {
		log.Fatalf("error in ListenAndServe: %v", err)
	}
}

func main() {
	testGzipedHttp()
}

希望對你有用

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在我們日常的網頁中,尤其是新聞類的網頁會遇到許多類似於這樣的樣式 多行甚至單行的文本隱藏+上省略號標題。 解決這一辦法,需要利用css的樣式進行改變 如下代碼的演示: 單行文本隱藏: 多行文本隱藏: 主要知識點: 1、單行文本隱藏省略:文本不能換行、超出部分隱藏、超出部分省略 2、多行文本隱藏省略: ...
  • 最近,在 Steam 玩一款老游戲(生化危機 4 重置版),其中,每當游戲轉場的過程中,都有這麼一個有趣的 Loading 動畫: 整個效果有點類似於日食效果,中間一圈黑色,向外散髮著太陽般的光芒。 本文,我們將嘗試使用 CSS,還原這個效果。 整個效果做出來,類似於如下兩個動畫效果這樣: 實現主體 ...
  • 本篇文章主要是使用 NestJs + Sequelize + MySQL 完成基礎運行, 帶大家瞭解 Node 服務端的基礎搭建,也可以順便看看 Java SpringBoot 項目的基礎結構,它倆真的非常相似,不信你去問服務端開發同學。 ...
  • 本文從系統建設的背景、設計細節、已支撐案例及適用業務場景多個層面進行詳細闡述。讀者可以關註文中所講的系統實踐過程,進而對結算領域系統設計能力提升,具有一定的參考價值。 ...
  • 今天我們來談一談TDD 和 BDD 兩項實踐。我們先來說說 TDD,也就是測試驅動開發(Test Drvien Development)。 TDD 的節奏 或許你已經迫不及待地要舉手了:“TDD 我知道,就是先寫測試,後寫代碼。”但真的是這樣嗎?嚴格地說,“先寫測試、後寫代碼”的做法叫測試先行開發( ...
  • C源程式需要經過預處理、編譯、彙編幾個階段,得到各自源文件對應的可重定位目標文件,可重定位目標文件就是各個源文件的二進位機器代碼,一般是.o格式。比如:util1.c、util2.c及main.c三個C源文件,經過預處理器、編譯器、彙編器的處理,就可以得到各自的目標文件util1.o,util2.o ...
  • 案例一 20萬的項目,已經花了六十萬了,客戶突然又新提要求做一套百度的搜索系統,我尿了,一頓冥思苦想,然後做了一個搜索頁面,把幾百張表的每個欄位都like一遍在搜索頁面輸入的查詢內容,一次搜索要半小時才出結果,再告訴客戶百度能秒出結果是因為他們有一套幾十億的超級電腦,咱只有一臺不到十個大不溜的服務 ...
  • 組合,反射,魔術方法 組合 反射 魔術方法 組合 什麼是組合? 組合就是,一個對象擁有一個屬性,該屬性的值是另外一個對象. """什麼場景下使用繼承? 什麼場景下使用組合?""" 繼承一般情況用在:什麼是什麼的情況 is 組合一般用在:什麼有什麼的情況 has class Foo: def __in ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...