三分钟搭建ELK日志分析平台

三分钟搭建ELK日志分析平台

初步认识ELK

所谓的ELK就是指三个组件的首字母集合：

Elasticsearch 是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎，使用 Java 语言编写。

Logstash 是一个具有实时渠道能力的数据收集引擎，主要用于日志的收集与解析，并将其存入 ElasticSearch中。

Kibana 是一款基于 Apache 开源协议，使用 JavaScript 语言编写，为 Elasticsearch 提供分析和可视化的 Web 平台。它可以在 Elasticsearch 的索引中查找，交互数据，并生成各种维度的表图。

由于这种架构下，Logstash的压力过大，所以在Logstash的前端加了一层轻量级的日志收集中间件：

引入Filebeat作为日志搜集器，主要是为了解决Logstash开销大的问题。相比Logstash，Filebeat 所占系统的 CPU 和内存几乎可以忽略不计。

因而最终形成的架构图如下：

image

开始搭建

本手册base在你已经有一定的Java编程基础

基础环境

系统环境：Centos6.8（使用vmware12虚拟机）

Java环境：1.8.0_161(由于ELK5.X和6.X版本最低要求是Java8，所以建议配置8以上版本)

软件包相关信息

软件版本：6.5.4

下载地址：

[官网下载地址] https://www.elastic.co/downloads

下载软件集合：Elasticsearch、Kibana、Logstash、FileBeat（都选择linux版的tar包进行下载）

下载后将安装包传输到虚拟机中。

安装开始

解压缩

首先安装解压缩到一个目录下面，个人习惯放在/opt下面

创建用户

因为ElasticSerach运行时不允许以root用户身份的，所以这里需要手动创建用户并分配权限，具体如下：

1. 创建用户组：groupadd elasticsearch

2. 创建用户加入用户组：useradd elasticsearch -g elasticsearch

3. 设置ElasticSerach文件夹为用户elasticsearch所有：

   chown -R elasticsearch.elasticsearch /opt/elasticsearch-6.5.4

修改系统环境

1. 打开文件/etc/security/limits.conf，添加下面4处内容：

   • soft nofile 65536

   • hard nofile 131072

   • soft nproc 2048

   • hard nproc 4096

2. 打开文件/etc/sysctl.conf，添加下面内容：vm.max_map_count=65536

3. 加载sysctl配置，执行命令：sysctl -p

4. 重启电脑，执行命令：reboot

启动ES

1. 切换到用户elasticsearch：su elasticsearch

2. 进入目录/opt/elasticsearch-6.5.4

3. 执行启动命令：bin/elasticsearch -d，此时会在后台启动elasticsearch（如果启动报错没有权限的话，重新执行上面的chown那部分命令设置权限）

4. 查看启动日志可执行命令：tail -f /opt/elasticsearch-6.5.4/logs/elasticsearch.log

5. 执行curl命令检查服务是否正常响应：curl 127.0.0.1:9200，如果成功会有Json报文返回

注：6版本内核的linux系统启动es中会报错，可以通过修改config/elasticsearch.yml来纠正，在文件末尾添加

bootstrap.memory_lock: false
 bootstrap.system_call_filter: false

配置启动Logstash

1. 在目录/opt/elasticsearch-6.5.4下创建文件default.conf，内容如下

   # 监听5044端口作为输入
    input {
    beats {
    port => "5044"
    }
    }
    
   数据过滤
    
   filter {
    grok {
    match => {
    "message" => "%{COMBINEDAPACHELOG}"
    }
    }
    geoip {
    source => "clientip"
    }
    }
    
   输出配置为本机的9200端口，这是ElasticSerach服务的监听端口
    
   output {
    elasticsearch {
    hosts => ["127.0.0.1:9200"]
    }
    }

2. 后台启动Logstash服务nohup bin/logstash -f default.conf –config.reload.automatic &

3. 查看启动日志：tail -f nohup.out,看到successfully就表明启动成功

配置启动FileBeat

1. 修改配置文件filebeat.yml，主要修改两个部分：日志存放位置以及输出

   - type: log
    
   Change to true to enable this prospector configuration.
    
   enabled: True
    
   Paths that should be crawled and fetched. Glob based paths.
    
   读取 Nginx 的日志
    
   paths:
   
   /var/logs/*.log
    
   输出到本机的 LogStash
    
   output.logstash:
    
   The Logstash hosts
    
   hosts: ["localhost:5044"]
    ​

2. 配置完成后，启动Filebeat

   # FileBeat 需要以 root 身份启动，因此先更改配置文件的权限
    sudo chown root filebeat.yml
    sudo ./filebeat -e -c filebeat.yml -d "publish"

配置启动Kibana

1. 进入Kibana的目录：/opt/kibana-6.5.4-linux-x86_64

2. 修改配置文件config/kibana.yml，修改服务器主机名为相应的ip或者域名

   server.host: "192.168.21.128"

3. 执行启动命令：nohup bin/kibana &

4. 查看启动日志：tail -f nohup.out

5. 在浏览器访问http://[ip]:5601

汉化Kibana

1. 下载

   [汉化包] https://github.com/anbai-inc/Kibana_Hanization

2. 上传至服务器然后解压unzip kibana-hanhua.zip

3. 开始汉化，注意python的版本不能过高，3.6的版本我试过是汉化不了的，换成2.7的可以了

   python main.py /home/kibana-6.2.3/

最后启动Kibana就可以看到汉化的界面