概述首先同步下項目概況:上篇文章分享了,規劃項目目錄和參數驗證,其中參數驗證使用的是 validator.v8 版本,現已更新到 validator.v9 版本,最新代碼查看 github 即可。這篇文章咱們分享:路由中間件 - 日誌記錄。日誌是特別重要的一個東西,方便我們對問題進行排查,這篇文章我 ...
概述
首先同步下項目概況:
上篇文章分享了,規劃項目目錄和參數驗證,其中參數驗證使用的是 validator.v8 版本,現已更新到 validator.v9 版本,最新代碼查看 github 即可。
這篇文章咱們分享:路由中間件 - 日誌記錄。
日誌是特別重要的一個東西,方便我們對問題進行排查,這篇文章我們實現將日誌記錄到文本文件中。
這是我規劃的,需要記錄的參數:
- request 請求數據 - request_time - request_method - request_uri - request_proto - request_ua - request_referer - request_post_data - request_client_ip - response 返回數據 - response_time - response_code - response_msg - response_data - cost_time 花費時間
Gin 框架中自帶 Logger 中間件,我們瞭解下框架中自帶的 Logger 中間件是否滿足我們的需求?
gin.Logger()
我們先使用 gin.Logger() 看看效果。
在 route.go SetupRouter 方法中增加代碼:
engine.Use(gin.Logger())
運行後多請求幾次,日誌輸出在命令行中:
[GIN] 2019/08/30 - 21:24:16 | 200 | 178.072µs | ::1 | GET /ping [GIN] 2019/08/30 - 21:24:27 | 200 | 367.997µs | ::1 | POST /product [GIN] 2019/08/30 - 21:24:28 | 200 | 2.521592ms | ::1 | POST /product
先解決第一個問題,怎麼將日誌輸出到文本中?
在 route.go SetupRouter 方法中增加代碼:
f, _ := os.Create(config.AppAccessLogName) gin.DefaultWriter = io.MultiWriter(f) engine.Use(gin.Logger())
運行後多請求幾次,日誌輸出在文件中:
[GIN] 2019/08/30 - 21:36:07 | 200 | 369.023µs | ::1 | GET /ping [GIN] 2019/08/30 - 21:36:08 | 200 | 27.585µs | ::1 | GET /ping [GIN] 2019/08/30 - 21:36:10 | 200 | 14.302µs | ::1 | POST /product
雖然記錄到文件成功了,但是記錄的參數不是我們想要的樣子。
怎麼辦呢?
我們需要自定義一個日誌中間件,按照我們需要的參數進行記錄。
自定義 Logger()
middleware/logger/logger.go package logger import ( "bytes" "encoding/json" "fmt" "github.com/gin-gonic/gin" "go-gin-api/app/config" "go-gin-api/app/util" "log" "os" ) type bodyLogWriter struct { gin.ResponseWriter body *bytes.Buffer } func (w bodyLogWriter) Write(b []byte) (int, error) { w.body.Write(b) return w.ResponseWriter.Write(b) } func (w bodyLogWriter) WriteString(s string) (int, error) { w.body.WriteString(s) return w.ResponseWriter.WriteString(s) } func SetUp() gin.HandlerFunc { return func(c *gin.Context) { bodyLogWriter := &bodyLogWriter{body: bytes.NewBufferString(""), ResponseWriter: c.Writer} c.Writer = bodyLogWriter //開始時間 startTime := util.GetCurrentMilliTime() //處理請求 c.Next() responseBody := bodyLogWriter.body.String() var responseCode int var responseMsg string var responseData interface{} if responseBody != "" { response := util.Response{} err := json.Unmarshal([]byte(responseBody), &response) if err == nil { responseCode = response.Code responseMsg = response.Message responseData = response.Data } } //結束時間 endTime := util.GetCurrentMilliTime() if c.Request.Method == "POST" { c.Request.ParseForm() } //日誌格式 accessLogMap := make(map[string]interface{}) accessLogMap["request_time"] = startTime accessLogMap["request_method"] = c.Request.Method accessLogMap["request_uri"] = c.Request.RequestURI accessLogMap["request_proto"] = c.Request.Proto accessLogMap["request_ua"] = c.Request.UserAgent() accessLogMap["request_referer"] = c.Request.Referer() accessLogMap["request_post_data"] = c.Request.PostForm.Encode() accessLogMap["request_client_ip"] = c.ClientIP() accessLogMap["response_time"] = endTime accessLogMap["response_code"] = responseCode accessLogMap["response_msg"] = responseMsg accessLogMap["response_data"] = responseData accessLogMap["cost_time"] = fmt.Sprintf("%vms", endTime - startTime) accessLogJson, _ := util.JsonEncode(accessLogMap) if f, err := os.OpenFile(config.AppAccessLogName, os.O_WRONLY|os.O_APPEND|os.O_CREATE, 0666); err != nil { log.Println(err) } else { f.WriteString(accessLogJson + "\n") } } }
運行後多請求幾次,日誌輸出在文件中:
{"cost_time":"0ms","request_client_ip":"::1","request_method":"GET","request_post_data":"","request_proto":"HTTP/1.1","request_referer":"","request_time":1567172568233,"request_ua":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36","request_uri":"/ping","response_code":1,"response_data":null,"response_msg":"pong","response_time":1567172568233} {"cost_time":"0ms","request_client_ip":"::1","request_method":"GET","request_post_data":"","request_proto":"HTTP/1.1","request_referer":"","request_time":1567172569158,"request_ua":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36","request_uri":"/ping","response_code":1,"response_data":null,"response_msg":"pong","response_time":1567172569158} {"cost_time":"0ms","request_client_ip":"::1","request_method":"POST","request_post_data":"name=admin","request_proto":"HTTP/1.1","request_referer":"","request_time":1567172629565,"request_ua":"PostmanRuntime/7.6.0","request_uri":"/product","response_code":-1,"response_data":null,"response_msg":"Key: 'ProductAdd.Name' Error:Field validation for 'Name' failed on the 'NameValid' tag","response_time":1567172629565}
OK,咱們想要的所有參數全都記錄了!
拋出幾個問題吧:
1、有沒有開源的日誌記錄工具?
當然有,其中 logrus 是用的最多的,這個工具功能強大,原來我也分享過,可以看下原來的文章《使用 logrus 進行日誌收集》。
2、為什麼將日誌記錄到文本中?
因為,日誌平臺可以使用的是 ELK。
使用 Logstash 進行收集文本文件,使用 Elasticsearch 引擎進行搜索分析,最終在 Kibana 平臺展示出來。
3、當大量請求過來時,寫入文件會不會出問題?
可能會,這塊可以使用非同步,咱們可以用下 go 的 chan,具體實現看代碼吧,我就不貼了。