欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

[系列] go-gin-api 路由中间件 - 日志记录(三)

程序员文章站 2022-10-09 14:00:18
[TOC] 概述 首先同步下项目概况: 上篇文章分享了,规划项目目录和参数验证,其中参数验证使用的是 validator.v8 版本,现已更新到 validator.v9 版本,最新代码查看 github 即可。 这篇文章咱们分享:路由中间件 日志记录。 日志是特别重要的一个东西,方便我们对问题进行 ......

概述

首先同步下项目概况:

[系列] go-gin-api 路由中间件 - 日志记录(三)

上篇文章分享了,规划项目目录和参数验证,其中参数验证使用的是 validator.v8 版本,现已更新到 validator.v9 版本,最新代码查看 github 即可。

这篇文章咱们分享:路由中间件 - 日志记录。

日志是特别重要的一个东西,方便我们对问题进行排查,这篇文章我们实现将日志记录到文本文件中。

这是我规划的,需要记录的参数:

- request 请求数据
    - request_time
    - request_method
    - request_uri
    - request_proto
    - request_ua
    - request_referer
    - request_post_data
    - request_client_ip
    
- response 返回数据
    - response_time
    - response_code
    - response_msg
    - response_data
    
- cost_time 花费时间

gin 框架中自带 logger 中间件,我们了解下框架中自带的 logger 中间件是否满足我们的需求?

gin.logger()

我们先使用 gin.logger() 看看效果。

在 route.go setuprouter 方法中增加代码:

engine.use(gin.logger())

运行后多请求几次,日志输出在命令行中:

[gin] 2019/08/30 - 21:24:16 | 200 |     178.072µs |             ::1 | get      /ping
[gin] 2019/08/30 - 21:24:27 | 200 |     367.997µs |             ::1 | post     /product
[gin] 2019/08/30 - 21:24:28 | 200 |    2.521592ms |             ::1 | post     /product

先解决第一个问题,怎么将日志输出到文本中?

在 route.go setuprouter 方法中增加代码:

f, _ := os.create(config.appaccesslogname)
gin.defaultwriter = io.multiwriter(f)
engine.use(gin.logger())

运行后多请求几次,日志输出在文件中:

[gin] 2019/08/30 - 21:36:07 | 200 |     369.023µs |             ::1 | get      /ping
[gin] 2019/08/30 - 21:36:08 | 200 |      27.585µs |             ::1 | get      /ping
[gin] 2019/08/30 - 21:36:10 | 200 |      14.302µs |             ::1 | post     /product

虽然记录到文件成功了,但是记录的参数不是我们想要的样子。

怎么办呢?

我们需要自定义一个日志中间件,按照我们需要的参数进行记录。

自定义 logger()

middleware/logger/logger.go

package logger

import (
    "bytes"
    "encoding/json"
    "fmt"
    "github.com/gin-gonic/gin"
    "go-gin-api/app/config"
    "go-gin-api/app/util"
    "log"
    "os"
)

type bodylogwriter struct {
    gin.responsewriter
    body *bytes.buffer
}
func (w bodylogwriter) write(b []byte) (int, error) {
    w.body.write(b)
    return w.responsewriter.write(b)
}
func (w bodylogwriter) writestring(s string) (int, error) {
    w.body.writestring(s)
    return w.responsewriter.writestring(s)
}

func setup() gin.handlerfunc {
    return func(c *gin.context) {
        bodylogwriter := &bodylogwriter{body: bytes.newbufferstring(""), responsewriter: c.writer}
        c.writer = bodylogwriter

        //开始时间
        starttime := util.getcurrentmillitime()

        //处理请求
        c.next()

        responsebody := bodylogwriter.body.string()

        var responsecode int
        var responsemsg  string
        var responsedata interface{}

        if responsebody != "" {
            response := util.response{}
            err := json.unmarshal([]byte(responsebody), &response)
            if err == nil {
                responsecode = response.code
                responsemsg  = response.message
                responsedata = response.data
            }
        }

        //结束时间
        endtime := util.getcurrentmillitime()

        if c.request.method == "post" {
            c.request.parseform()
        }

        //日志格式
        accesslogmap := make(map[string]interface{})

        accesslogmap["request_time"]      = starttime
        accesslogmap["request_method"]    = c.request.method
        accesslogmap["request_uri"]       = c.request.requesturi
        accesslogmap["request_proto"]     = c.request.proto
        accesslogmap["request_ua"]        = c.request.useragent()
        accesslogmap["request_referer"]   = c.request.referer()
        accesslogmap["request_post_data"] = c.request.postform.encode()
        accesslogmap["request_client_ip"] = c.clientip()

        accesslogmap["response_time"] = endtime
        accesslogmap["response_code"] = responsecode
        accesslogmap["response_msg"]  = responsemsg
        accesslogmap["response_data"] = responsedata

        accesslogmap["cost_time"] = fmt.sprintf("%vms", endtime - starttime)

        accesslogjson, _ := util.jsonencode(accesslogmap)

        if f, err := os.openfile(config.appaccesslogname, os.o_wronly|os.o_append|os.o_create, 0666); err != nil {
            log.println(err)
        } else {
            f.writestring(accesslogjson + "\n")
        }
    }
}

运行后多请求几次,日志输出在文件中:

{"cost_time":"0ms","request_client_ip":"::1","request_method":"get","request_post_data":"","request_proto":"http/1.1","request_referer":"","request_time":1567172568233,"request_ua":"mozilla/5.0 (macintosh; intel mac os x 10_13_6) applewebkit/537.36 (khtml, like gecko) chrome/75.0.3770.142 safari/537.36","request_uri":"/ping","response_code":1,"response_data":null,"response_msg":"pong","response_time":1567172568233}
{"cost_time":"0ms","request_client_ip":"::1","request_method":"get","request_post_data":"","request_proto":"http/1.1","request_referer":"","request_time":1567172569158,"request_ua":"mozilla/5.0 (macintosh; intel mac os x 10_13_6) applewebkit/537.36 (khtml, like gecko) chrome/75.0.3770.142 safari/537.36","request_uri":"/ping","response_code":1,"response_data":null,"response_msg":"pong","response_time":1567172569158}
{"cost_time":"0ms","request_client_ip":"::1","request_method":"post","request_post_data":"name=admin","request_proto":"http/1.1","request_referer":"","request_time":1567172629565,"request_ua":"postmanruntime/7.6.0","request_uri":"/product","response_code":-1,"response_data":null,"response_msg":"key: 'productadd.name' error:field validation for 'name' failed on the 'namevalid' tag","response_time":1567172629565}

ok,咱们想要的所有参数全都记录了!

抛出几个问题吧:

1、有没有开源的日志记录工具?

当然有,其中 logrus 是用的最多的,这个工具功能强大,原来我也分享过,可以看下原来的文章《使用 logrus 进行日志收集》

2、为什么将日志记录到文本中?

因为,日志平台可以使用的是 elk。

使用 logstash 进行收集文本文件,使用 elasticsearch 引擎进行搜索分析,最终在 kibana 平台展示出来。

3、当大量请求过来时,写入文件会不会出问题?

可能会,这块可以使用异步,咱们可以用下 go 的 chan,具体实现看代码吧,我就不贴了。

源码地址

go-gin-api 系列文章