利用ELK可视化日志

ELK是elasticsearch，logstash, kibana的简称，是基于elasticsearch的日志收集、分析工具。在实际的生产中被许多公司作为日志方案而应用。

首先介绍一下基本的概念
elasticsearch是一款全文搜索引擎，其底层是java生态圈中著名的搜索引擎Lucene，但elasticsearch对Lucene进行了封装，提供了Rest API，开箱即用。
logstash是一个事件处理的管道(pipeline)，我们可以将事件推送给它，并且可以对其进行操作之后将其推送到不同的后端（对于我们来说就是elasticsearch）。
Kibana是一个可视化的页面，我们可以方便的在页面上进行数据的基础、高级查询，也可以对数据进行分析。在本文中日志分析处理后的结果都会在Kibana中体现。

image.png

需求分析

在服务的运行过程中，我们需要一些指标来衡量服务当前的性能、健康状况等。由于某型指标与具体的业务息息相关，因此单单依靠一些系统的监控（如jvm，内存）是无法全景展现服务的真实运行情况的，而如果能有效利用elasticsearch的特性就有可能做到对服务做到完整的监控。

准备工作

首先我们需要知道的是，elasticsearch并不仅仅是一款全文搜索引擎，它还有许多其它的功能及应用场景，实时的计算统计数值型数据就是其中一个重要功能，而Kibana可以直观的将我们的统计结果以图表的方式展现给我们。但这有一个前提是，我们必须使用数值型数据，否则elasticsearch将无法计算。

使用Grok filter 插件

Grok插件是一个将非结构化日志数据解析为结构化和可查询数据的插件。

grok语法是%{SYNTAX:SEMANTIC}
SYNTAX是需要匹配的语法模式，比如3.44是一个数字，则我们可将其匹配为NUMBER模式，192.168.1.10是IP地址，那么我们可以将其匹配为IP。
SEMANTIC是需要匹配的文本的标识符， 比如刚才的3.44指的是调用接口的耗时，那么我们可以将其命名为duration，192.168.1.10是调用的服务端的IP, 我们将其命名为server_host，那么最终处理的结果就是就是

{
    "duration":3.44,
    "server_host":"192.168.1.10"
}

现在我们举一个更贴近实际使用的例子。

我们有一个记录服务请求的日志，所有请求都会记录为以下格式

request: stopActivity, cost: 121

我们可以设置以下匹配规则

filter {
    grok {
        match => {"message" => "request: %{WORD:method} cost: %{NUMBER:elapsed:int}"}
        overwrite => ["message"]
        named_captures_only => true
    }
}

match 中设置了我们匹配了request: 后的文本以及cost: 后的数字，我们最终在可以得到method field与cost field中的值。
解释一下cost: %{NUMBER:cost:int}是什么意思。
在grok的文档中有这么一段，

Optionally you can add a data type conversion to your grok pattern. By default all semantics are saved as strings. If you wish to convert a semantic’s data type, for example change a string to an integer then suffix it with the target data type. For example %{NUMBER:num:int} which converts the num semantic from a string to an integer. Currently the only supported conversions are int and float.

named_captures_only => true 这个函数用来告诉filter我们只对符合匹配规则的字段进行处理，不符合匹配规则的日志会增加一个名为_grokparsefailure的tag

可视化展现

image.png

Kibana为我们准备多种可视化的工具，包括饼图，折线图，数据表等，下面将对我们常用的可视化工具进行介绍。

1. 折线图(Line chart)
   折线图可以直观的看出数据的走势。
   选择折线图后会提示使用新的查询还是使用已保存的查询，可以根据自己的需要选择

折线图.png

在本文中我们选择From a New Search, Select Index

image.png

在折线图设置中我们可以分别配置Y轴与X轴的数据，在上图的例子中我在Y轴中使用了上一节中通过grok插件获取的elapsed并展现其每分钟的平均值与最大值。

参考文档

http://www.ruanyifeng.com/blog/2017/08/elasticsearch.html
https://www.elastic.co/blog/little-logstash-lessons-part-using-grok-mutate-type-data
https://www.jianshu.com/p/9170a7a65dd4
https://discuss.elastic.co/t/grok-number-field-type-creating-field-as-string-and-not-number/98906
https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.html