28. 乾貨系列從零用Rust編寫正反向代理,項目日誌的源碼實現

来源:https://www.cnblogs.com/wmproxy/archive/2023/11/17/wmproxy28.html
-Advertisement-
Play Games

wmproxy wmproxy已用Rust實現http/https代理, socks5代理, 反向代理, 靜態文件伺服器,四層TCP/UDP轉發,內網穿透,後續將實現websocket代理等,會將實現過程分享出來,感興趣的可以一起造個輪子 項目地址 國內: https://gitee.com/tic ...


wmproxy

wmproxy已用Rust實現http/https代理, socks5代理, 反向代理, 靜態文件伺服器,四層TCP/UDP轉發,內網穿透,後續將實現websocket代理等,會將實現過程分享出來,感興趣的可以一起造個輪子

項目地址

國內: https://gitee.com/tickbh/wmproxy

github: https://github.com/tickbh/wmproxy

項目中的使用

目前需要將每條請求數據進入的日誌,如access_log,或者項目相關的錯誤日誌error_log記錄下來。

以下將介紹項目中如何進行記錄並格式化日誌的

文件配置

當前需要根據項目中的配置進行相應的初始化,需要用代碼將當前的配置進行初始化。

[http]
# 訪問列表的寫入文件及格式
access_log = "access main debug"
# 錯誤列表的寫入文件及格式,錯誤的第二個是錯誤等級。
error_log = "error debug"

# 日誌格式
[http.log_format]
main = "{d(%Y-%m-%d %H:%M:%S)} {client_ip} {l} {url} path:{path} query:{query} host:{host} status: {status} {up_status} referer: {referer} user_agent: {user_agent} cookie: {cookie}"

[http.log_names]
access = "logs/access.log trace"
error = "logs/error.log"
default = "logs/default.log"

日誌的組成部分

日誌的組成分為三個部分

  1. access_log及error_log的寫入文件、格式及日誌等級
  2. log_names日誌的別名,包含日誌文件及可能包含日誌等級,沒有等級預設Info
  3. 日誌格式,記錄日誌攜帶的相關消息,如訪問的客戶端ip{client_ip}或者訪問Url{url}等,遵循Rust的列印結構,用{}裡面包含要列印的相關消息

以下是訪問信息列印的數據

2023-11-16 15:02:00 127.0.0.1:55922 INFO http://127.0.0.1:82/root/?aaa=1 path:/root/ query:aaa=1 host:127.0.0.1 status: ???  referer:  user_agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/119.0 cookie: 

註意點

因為access_logerror_log可以在[http]的層級下任意配置,第一步我們需要收集到合適的log_names進行初始化,我們用的是一個HashMap做鍵值對,防止重覆:

/// http.rs
pub fn get_log_names(&self, names: &mut HashMap<String, String>) {
    self.comm.get_log_names(names);
    for s in &self.server {
        s.get_log_names(names);
    }
}
/// server.rs
pub fn get_log_names(&self, names: &mut HashMap<String, String>)  {
    self.comm.get_log_names(names);
    for l in &self.location {
        l.get_log_names(names);
    }
}
/// common.rs
pub fn get_log_names(&self, names: &mut HashMap<String, String>)  {
    for val in &self.log_names         {
        if !names.contains_key(val.0) {
            names.insert(val.0.clone(), val.1.clone());
        }
    }
}

收集好正確的log文件後,我們需要對其初始化或者重載入,其中重新載入需要擁有上次初始化的Handle那麼我們需對基進行存儲:

lazy_static! {
    /// 用靜態變數存儲log4rs的Handle
    static ref LOG4RS_HANDLE: Mutex<Option<log4rs::Handle>> = Mutex::new(None);
}

/// 嘗試初始化, 如果已初始化則重新載入
pub fn try_init_log(option: &ConfigOption) {
    let log_names = option.get_log_names();
    let mut log_config = log4rs::config::Config::builder();
    let mut root = Root::builder();
    for (name, path) in log_names {
        let (path, level) = {
            let vals: Vec<&str> = path.split(' ').collect();
            if vals.len() == 1 {
                (path, Level::Info)
            } else {
                (
                    vals[0].to_string(),
                    Level::from_str(vals[1]).ok().unwrap_or(Level::Info),
                )
            }
        };
        // 設置預設的匹配類型列印時間信息
        let parttern =
            log4rs::encode::pattern::PatternEncoder::new("{d(%Y-%m-%d %H:%M:%S)} {m}{n}");
        let appender = FileAppender::builder()
            .encoder(Box::new(parttern))
            .build(path)
            .unwrap();
        if name == "default" {
            root = root.appender(name.clone());
        }
        log_config =
            log_config.appender(Appender::builder().build(name.clone(), Box::new(appender)));
        log_config = log_config.logger(
            Logger::builder()
                .appender(name.clone())
                // 當前target不在輸出到stdout中
                .additive(false)
                .build(name.clone(), level.to_level_filter()),
        );
    }

    if !option.disable_stdout {
        let stdout: ConsoleAppender = ConsoleAppender::builder().build();
        log_config = log_config.appender(Appender::builder().build("stdout", Box::new(stdout)));
        root = root.appender("stdout");
    }

    let log_config = log_config.build(root.build(LevelFilter::Info)).unwrap();
    // 檢查靜態變數中是否存在handle可能在多線程中,需加鎖
    if LOG4RS_HANDLE.lock().unwrap().is_some() {
        LOG4RS_HANDLE
            .lock()
            .unwrap()
            .as_mut()
            .unwrap()
            .set_config(log_config);
    } else {
        let handle = log4rs::init_config(log_config).unwrap();
        *LOG4RS_HANDLE.lock().unwrap() = Some(handle);
    }
}

我們需要在初始化參數的時候在重新調用該函數,保證新的日誌信息能正確的初始化。

下麵是將訪問日誌的數據列印下來:

/// 記錄HTTP的訪問數據並將其格式化
pub fn log_acess(
    log_formats: &HashMap<String, String>,
    access: &Option<ConfigLog>,
    req: &Request<RecvStream>,
) {
    if let Some(access) = access {
        if let Some(formats) = log_formats.get(&access.format) {
            // 需要先判斷是否該日誌已開啟, 如果未開啟直接寫入將浪費性能
            if log_enabled!(target: &access.name, access.level) {
                // 將format轉化成pattern會有相當的性能損失, 此處緩存pattern結果
                let pw = FORMAT_PATTERN_CACHE.with(|m| {
                    if !m.borrow().contains_key(&**formats) {
                        let p = PatternEncoder::new(formats);
                        m.borrow_mut()
                            .insert(Box::leak(formats.clone().into_boxed_str()), Arc::new(p));
                    }
                    m.borrow()[&**formats].clone()
                });

                // 將其轉化成Record然後進行encode
                let record = ProxyRecord::new_req(Record::builder().level(Level::Info).build(), req);
                let mut buf = vec![];
                pw.encode(&mut SimpleWriter(&mut buf), &record).unwrap();
                log::info!(target: &access.name, "{}", String::from_utf8_lossy(&buf[..]))
            }
        }
    }
}

其中緩存pattern的結果性能損失的要求不高,但需要訪問速度要高:

thread_local! {
    static FORMAT_PATTERN_CACHE: RefCell<HashMap<&'static str, Arc<PatternEncoder>>> = RefCell::new(HashMap::new());
}

加RefCell是因為預設是不可變的,如果有新的數據,需要將其變成可變數據,從而進行緩存。
HashMap中的key用&'static str是可以不必要將一些數據轉化成String避免不必要的拷貝。
如果將String變成&'static str那麼意味著這段記憶體將會變成不可回收的數據,意味著記憶體泄漏,所以我們需要用Box::leak

Box::leak(formats.clone().into_boxed_str()

HashMap中的value中用Arc,因為我們是一個全部變數,我們要儘量的減少其訪問的時間,但是我們又需要持有Pattern,所以我們在這裡應用了一個引用計數Arc,拷貝的時候僅僅消耗加減引用計數。

m.borrow()[&**formats].clone()

分析Pattern

以下代碼大部分來自log4rs

pub struct PatternEncoder {
    chunks: Vec<Chunk>,
    pattern: String,
}

首先會將一個字元串拆成若幹個Chunk信息,

enum Chunk {
    Text(String),
    Formatted {
        chunk: FormattedChunk,
        params: Parameters,
    },
    Error(String),
}

以下用date: {d(%Y-%m-%d %H:%M:%S)} url: {url}{n}做示範,我們在解析這字元串的時候將會得到以下五個部分:

  1. date: 這是一個常量數據也就是Text將原樣輸出
  2. {d(%Y-%m-%d %H:%M:%S)}將會轉化成Formatted::FormattedChunk::Time(String, Timezone),然後根據數組遍歷,若為這個,那邊將寫入時間信息2023-11-16 15:02:00
  3. url:常量,原樣輸出
  4. {url}將會轉成FormattedChunk::Url如果存在Request將從其中獲取url地址,若沒有則輸出???
  5. {N}將會轉成FormattedChunk::Newline,將會根據平臺輸出換行符。

此時我們的輸出只需要進行一次遍歷即可O(n),也不必replace等造成字元串的數據重排導致時間的變化。

此外還有額外參數:

  • {client_ip} 客戶端IP
  • {url} 訪問Url
  • {path} 訪問路徑,如/user/login
  • {query} 訪問請求參數,如user=wmproxy&password=wmproxy
  • {host} 訪問Host
  • {referer} 訪問的referer
  • {user_agent} 客戶端Agent
  • {cookie} 當前訪問的cookie

小結

日誌在程式中必不可少,那麼需要儘可能的高效,所以儘可能的提升日誌的效率是必須處理的一環。

點擊 [關註][在看][點贊] 是對作者最大的支持


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 反面單例 代碼 import java.util.ArrayList; import java.util.List; /** * @since : 2023/11/17 **/ public class StupidSingleton { private static final StupidSin ...
  • C++ 指針學習筆記 引入 指針是什麼 指針是一個變數,其值為另一個變數的地址。 指針聲明的一般形式為: type *ptr_name; type 是指針的基類型,ptr_name 是指針的名稱,* 用來指定一個變數是指針 對於一個指針,需要明確四個方面的內容:指針的類型、指針所指向的類型、指針的值 ...
  • Hi i,m JinXiang ⭐ 前言 ⭐ 本篇文章主要介紹單元測試工具Junit使用以及部分理論知識 🍉歡迎點贊 👍 收藏 ⭐留言評論 📝私信必回喲😁 🍉博主收將持續更新學習記錄獲,友友們有任何問題可以在評論區留言 什麼是Junit單元測試? JUnit 是一個 Java 編程語言的單 ...
  • 聊聊Flink的必知必會(三) 聊聊Flink必知必會(四) 從源碼中,根據關鍵的代碼,梳理一下Flink中的時間與視窗實現邏輯。 WindowedStream 對數據流執行keyBy()操作後,再調用window()方法,就會返回WindowedStream,表示分區後又加窗的數據流。如果數據流沒 ...
  • 大家好,我是棧長。 今天給大家宣佈一個重大消息,又一國產項目宣佈加入 Apache,那就是 Alibaba 開源的分散式事務開源項目:Seata,Apache Seata 來了! 恭喜 Seata 成功加入 Apache 孵化器,走向全球。 說到 Seata,相信使用 Spring Cloud Al ...
  • 學習視頻:【孫哥說Spring5:從設計模式到基本應用到應用級底層分析,一次深入淺出的Spring全探索。學不會Spring?只因你未遇見孫哥】 第十章、對象的生命周期 1.什麼是對象的生命周期 指的是一個對象創建、存活、消亡的一個完整過程 2.為什麼要學習對象的生命周期 由Spring負責對象的創 ...
  • 一、概述 生成PDF文檔通常涉及使用模板引擎、PDF庫以及數據填充。常見以下幾種方法: iText:iText是一個強大的PDF庫,支持創建和操作PDF文檔。使用場景: 您可以使用iText來直接構建PDF文檔,也可以將其與模板引擎結合使用,通過數據填充來生成PDF。 Apache PDFBox: ...
  • Go語言中的上下文(Context)是一種用於在 Goroutines 之間傳遞取消信號、截止時間和其他請求範圍值的標準方式。context 包提供了 Context 類型和一些相關的函數,用於在併發程式中有效地傳遞上下文信息。 在Go語言中,上下文通常用於以下場景: 請求的傳遞:當一個請求從客戶端 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...