ELK开发日记(2) - 超坑爹的Filebeat 7.2.0时区漂移 (UTC+16) 解决方案

我是一个生活在东八区（UTC+8)的孩子，阿里云的服务器时区在部署时也默认设置为东八区
但我万万没想到，有一天会看到东十六区的存在...

一、问题复现

原始问题我已记录在 Filebeat cannot recognize timezone in syslog

一切坑的起源，来自于最新的modules命令，该命令以组件的形式管理配置文件，非常快捷：

filebeat modules enable system elasticsearch kibana

modules命令是filebeat的组件化管理命令，具体使用方法参考 Quick start: modules for common log formatsedit

filebeat 7.2.0把面向不同对象的采集器视为不同的Modules，通过控制modules的开关来快速管理不同对象的日志采集状态。

启用模组后，使用setup命令配置环境：

filebeat setup -e
service filebeat start #使用service启动filebeat

启动之后一切就开始正常工作了，然而接下来神奇的事情出现了

在我打开kibana进行可视化分析的时候，所有的日志时间往前漂移了8个小时，也就是UTC+8再+8！

神奇的时间漂移日志，红线是当前时间，绿色直方图是日志时间分布
可以看到所有日志的时间都比真实时间快了8个小时

二、问题溯源

我起初怀疑filebeat二次解析，把utc+8时间再加了个8

然而日志原始JSON数据告诉我并不是这样

filebeat的文档中@timestamp的记录值和系统时间相同（UTC+8)，但@timestamp本身记录的应该是UTC值

于是kibana将其解析为UTC值，并在此之上把时区又加了一个8。

于是UTC+16出现了...

系统时间

UTC+8 2019/07/29 20:56:14

日志时间

Jul 29 20:56:14

@timestamp 记录的时间

2019-07-29T20:56:14.000Z

@timestamp 应该记录的时间

2019-07-29T12:56:14.000Z

三、解决方案

在我调了一天bug，在github上翻阅无数个Pull Request，整个人接近崩溃的时候，一个帖子点亮了我：

[官方论坛] Filebeat 6.4.2 the timestamp is not right

这是我第一次在帖子里看到有人讨论covert_timezone配置，这个配置项一看就是跟时区有关的

只需要在path/to/conf/module.d/目录里所有的.yml开启var.convert_timezone就行！！！

但是这也太尼玛不显眼了吧！！

四、附录

日志文档原始JSON数据，@timstamp被记录成了UTC+8时区（@timestamp应该是UTC记录）:

{
  "_index": "filebeat-7.2.0-2019.07.28-000001",
  "_type": "_doc",
  "_id": "qRLNPWwBaHGrHZ27tQUU",
  "_version": 1,
  "_score": null,
  "_source": {
    "agent": {
      "hostname": "bigiron",
      "id": "3eb06835-b68e-4b25-9ec1-1ebf0bac83a3",
      "ephemeral_id": "fd8648df-4eab-4fd2-b915-97fb631211b6",
      "type": "filebeat",
      "version": "7.2.0"
    },
    "process": {
      "name": "filebeat",
      "pid": 28369
    },
    "log": {
      "file": {
        "path": "/var/log/syslog"
      },
      "offset": 1964308
    },
    "fileset": {
      "name": "syslog"
    },
    "message": "2019-07-29T20:56:14.994+0800#011INFO#011log/harvester.go:253#011Harvester started for file: /var/log/apache2/access.log",
    "cloud": {
      "availability_zone": "cn-beijing-a",
      "instance": {
        "id": "i-2ze74ci7j8m68giheosd"
      },
      "provider": "ecs",
      "region": "cn-beijing"
    },
    "input": {
      "type": "log"
    },
    "@timestamp": "2019-07-29T20:56:14.000Z",
    "system": {
      "syslog": {}
    },
    "ecs": {
      "version": "1.0.0"
    },
    "service": {
      "type": "system"
    },
    "host": {
      "hostname": "bigiron",
      "os": {
        "kernel": "4.4.0-146-generic",
        "codename": "xenial",
        "name": "Ubuntu",
        "family": "debian",
        "version": "16.04.6 LTS (Xenial Xerus)",
        "platform": "ubuntu"
      },
      "containerized": false,
      "name": "bigiron",
      "id": "a76d0b1176a3140a8e07cb725964722b",
      "architecture": "x86_64"
    },
    "event": {
      "timezone": "+08:00",
      "module": "system",
      "dataset": "system.syslog"
    }
  },
  "fields": {
    "@timestamp": [
      "2019-07-29T20:56:14.000Z"
    ],
    "suricata.eve.timestamp": [
      "2019-07-29T20:56:14.000Z"
    ]
  },
  "sort": [
    1564433774000
  ]
}