Nginx map 實現時間格式轉換

来源:https://www.cnblogs.com/edisonfish/archive/2023/09/14/17702456.html
-Advertisement-
Play Games

哈嘍大家好,我是鹹魚 最近我們需要把 Nginx 的日誌接入到自研的日誌採集平臺上,但是這個平臺只支持 JSON 格式,所以需要把 Nginx 日誌格式改成 JSON 格式 例如下麵這樣的效果 剛開始在主配置文件 nginx.conf 中定義了一個名叫 json 的日誌格式欄位 驗證的時候其他內容沒 ...


哈嘍大家好,我是鹹魚

最近我們需要把 Nginx 的日誌接入到自研的日誌採集平臺上,但是這個平臺只支持 JSON 格式,所以需要把 Nginx 日誌格式改成 JSON 格式

例如下麵這樣的效果
image
剛開始在主配置文件 nginx.conf 中定義了一個名叫 json 的日誌格式欄位
image
驗證的時候其他內容沒啥問題,但是時間是2023-09-12T13:54:22+08:00 這樣子的,不太符合預期

image
鹹魚想著把 $time_iso8601 變數中的年月日時分秒分別提取出來然後用變數去接受它,如下所示:

我自定義了一個時間格式 $year-$month-$day $hour:$minutes:$seconds:000,然後接著用了一個 if 語句用於檢查請求的時間是否匹配 ISO8601 時間格式(例如:2023-09-12T13:54:22+08:00

如果匹配,它將執行其中的代碼塊。在代碼塊中,使用正則表達式提取時間的年、月、日、小時、分鐘和秒,並將它們賦值給變數 $year$month$day$hour$minutes$seconds

    log_format json '{  "SYS_NO":"my_nginx",
                        "OS_TIME":"$year-$month-$day $hour:$minutes:$seconds",
                        "LOG_TYPE":"",
                        "RESULT":"$status",
                        "SPENT_TIME":"$request_time",
                        "CLIENT_IP":"$remote_addr",
                        "SERVER_IP":"$server_addr",
                        "O_CHANNEL":"$http_user_agent",
                        "UID":"$http_host",
                        "VALUE1":$body_bytes_sent,
                        "INFO1":"$http_referer",
					}';
	  if ($time_iso8601 ~ "^(\d{4})-(\d{2})-(\d{2})T(\d{2}):(\d{2}):(\d{2})") {
                        set $year $1;
                        set $month $2;
                        set $day $3;
                        set $hour $4;
                        set $minutes $5;
                        set $seconds $6;
                        }

但是 nginx -t 檢測的時候我發現 if 語句不能夠放在 http 塊內,否則會報錯

在 Nginx 中,if 語句主要用於在 serverlocation 塊內設置條件,以便根據請求的屬性來執行不同的配置。if 語句通常應該包含在 serverlocation 塊內,而不是直接放在 http 塊中

如果將 if 語句放在一個一個 server 塊中,這不得累死我(有很多個 server 塊),而且後期維護也不方便

所以如何將自定義變數在全局配置中生效則成為了一個問題

map

map 指令是由 ngx_http_map_module 模塊提供的,是 Nginx 配置文件中的一種用於創建變數映射的指令

模塊鏈接:Module ngx_http_map_module (nginx.org)

它允許我們將一個或多個輸入值映射到一個輸出值,類似於字典或哈希表的概念。map 指令通常用於根據特定條件為請求設置自定義變數,或者執行基於請求屬性的條件控制

比較常見的 map 用法是通過 map 來實現允許多個功能變數名稱跨域訪問的問題

語法如下:

map $variable $new_variable {
    value1   result1;
    value2   result2;
    ...
    default  default_result;
}

其中:

  • $variable 輸入變數,通常是 nginx 的內置變數。
  • $new_variable 輸出變數,它將根據輸入值的映射設置為特定的結果。
  • value1, value2, ... 輸入值,可以列出多個值。
  • result1, result2, ... 與相應輸入值相關聯的輸出結果。
  • default 一個可選項,表示如果沒有匹配的輸入值,將使用預設結果

需要註意的是,map 只能放在 http 塊中

有了 map,我們就可以輕易的把 $time_iso8601 變數中的 ISO 8601 格式的時間戳轉換為指定的時間格式,然後存儲到自定義變數 $log_time

# nginx.conf
	map $time_iso8601 $log_time {
        default "";
        "~^(?<year>\d{4})-(?<month>\d{2})-(?<day>\d{2})T(?<hour>\d{2}):(?<minutes>\d{2}):(?<seconds>\d{2})" "${year}-${month}-${day} ${hour}:${minutes}:${seconds}";
    }

我們可以看到:

  • 輸入變數為 $time_iso8601,輸出變數為 $log_time
  • default "":如果沒有匹配任何條件,將使用空字元串作為 $log_time 的值
  • "~^(?<year>\d{4})-(?<month>\d{2})-(?<day>\d{2})T(?<hour>\d{2}):(?<minutes>\d{2}):(?<seconds>\d{2})":這是一個正則表達式條件,它用於匹配 ISO 8601 格式的時間戳。該正則表達式包含了多個捕獲組(使用 ?<name> 語法),用於從時間戳中提取年、月、日、小時、分鐘和秒的值
  • "${year}-${month}-${day} ${hour}:${minutes}:${seconds}":這是與正則表達式條件匹配時設置的輸出值。當正則表達式條件匹配時,它會將捕獲組中提取的年、月、日、小時、分鐘和秒的值組合成一個自定義的時間格式,然後將該值設置為 $log_time 變數的值

例如,如果 $time_iso8601 的值是 "2023-09-09T14:30:00",則 $log_time 將被設置為 "2023-09-09 14:30:00"

然後我們再把 $log_time 放進我們自定義的日誌格式裡面,完整配置如下

    log_format json '{  "SYS_NO":"my_nginx",
                        "OS_TIME":"$log_time",
                        "LOG_TYPE":"",
                        "RESULT":"$status",
                        "SPENT_TIME":"$request_time",
                        "CLIENT_IP":"$remote_addr",
                        "SERVER_IP":"$server_addr",
                        "O_CHANNEL":"$http_user_agent",
                        "UID":"$http_host",
                        "VALUE1":$body_bytes_sent,
                        "INFO1":"$http_referer",
		}';
					
	map $time_iso8601 $log_time {
    	default "";
        "~^(?<year>\d{4})-(?<month>\d{2})-(?<day>\d{2})T(?<hour>\d{2}):(?<minutes>\d{2}):(?<seconds>\d{2})" "${year}-${month}-${day} ${hour}:${minutes}:${seconds}";
    }

最後我們驗證一下
image


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 作者:美得讓人心動 來源:https://blog.csdn.net/gu131007416553/article/details/120934738 面試官在面試候選人時,如果發現候選人的簡歷中寫了在項目中使用了 MQ 技術(如 Kafka、RabbitMQ、RocketMQ),基本都會拋出一個問 ...
  • 以下內容均來自Gitee的開源倉庫,具體的使用請移步Gitee:https://gitee.com/pojianbing/lazy-captcha 以下是我自己使用的具體方式 首先安裝NuGet包: Microsoft.Extensions.Caching.StackExchangeRedis La ...
  • 首先需要安裝的NuGet包有: Microsoft.AspNetCore.Authentication.JwtBearer Swashbuckle.AspNetCore Swashbuckle.AspNetCore.Filters jose-jwt 大致是這些代碼放到項目中如果有報錯信息再去具體解決 ...
  • 在我們創建界面元素的時候,不管在Vue3+ElementPlus的前端上,還是Winform桌面端上,都是會利用自定義用戶控制項來快速重用一些自定義的界面內容,對自定義用戶控制項的封裝處理,也是我們開發WPF應用需要熟悉的一環。本篇隨筆繼續深入介紹介紹基於CommunityToolkit.Mvvm 和H... ...
  • 開發中偶爾會用到使用c#代碼給控制項賦值,這裡需要通過F12找到控制項的賦值類型,然後在看控制項可以使用那種方式賦值,花點時間研究一下,基本都可以通過c#代碼給控制項賦值的。 頁面代碼: <StackPanel> <Path Data="M0 0 10 10" Stroke="Red" StrokeThic ...
  • 最近項目中需要對接釘釘,有些釘釘 API 的訪問需要使用舊版服務端 SDK 才能搞定,但是這個 SDK 使用的還是 .NET Framework 2.0 框架,不能跨平臺部署,也不支持 async\await 的非同步操作方法,Nuget 上也有其它用戶改造的 .NET Core 版本,但是都不支持異 ...
  • 第1個虛擬項目 1. 前言 點燈開啟了我們的FPGA之路,那麼我們來繼續沙盤演練。 用一個虛擬項目,來入門練習,以此步入數字邏輯的大門。 Key Words:FIFO 、SOF 、EOF、計數器、緩存、時序圖、方案設計 2. 項目要求 1) 輸入報文長度64~2048位元組; 2) 輸入報文之間最小間 ...
  • 在本次討論中,我們確實只是提到了DMA技術在文件傳輸過程中的重要作用,並對零拷貝技術進行了簡要介紹。然而,網路傳輸中存在的問題和優化方法是一個龐大的話題,涉及到諸多方面。因此,我決定將這些問題的詳細討論留到下一篇文章中,以便更全面地探討網路傳輸的優化。我希望通過這樣的討論,能夠為讀者提供有益的信息和... ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...