ELK日志分析系统
一：ELK平台介绍
1.ELK概述
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的 syslog，将所有服务器上的日志收集汇总。
集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用 grep、awk 和 wc 等 Linux 命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
开源实时日志分析 ELK 平台能够完美的解决我们上述的问题，ELK 由 ElasticSearch、Logstash 和 Kiabana 三个开源工具组成。
- Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful 风格接口，多数据源，自动搜索负载等。
- Logstash 是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。
- Kibana 也是一个开源和免费的工具，它 Kibana 可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。
进行日志管理分析，一般要经过以下几个几节：
（1）将日志进行集中化管理
（2）将日志格式化（Logstash）并输出到 Elasticsearch
（3）对格式化后的数据进行搜索和分析（Elasticsearch）
（4）前端数据的展示（Kibana）
2.Elasticserch
2.1Elasticserch概述
Elasticsearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于 RESTful web 接口。Elasticsearch 是用 Java 开发的，并作为 Apache 许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
2.2Elasticserch核心概念
（1）接近实时（NRT）
Elasticsearch 是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是 1 秒）。
（2）集群（cluster）
一个集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能。一个集群由一个唯一的名字标识，这个名字默认就是 “elasticsearch”。这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入这个集群。
在一个产品环境中，你应该给集群一个恰当的名字，而不要使用这个默认值。
Elasticsearch 的集群名称是大小写敏感的，并且当我们想要对于多个集群进行操作的时候，这个名字就显得非常重要。
（3）节点（node）
一个节点是集群中的一个服务器，作为集群的一部分，它存储数据，参与集群的索引和搜索功能。和集群类似，一个节点也是由一个名字标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的时候赋予节点。这个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的哪些服务器对应于 Elasticsearch 集群中的哪些节点。
一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫做 “elasticsearch” 的集群中，这意味着，如果你在你的网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做 “elasticsearch” 的集群中。在这种情况下，最好使用多个节点。而且，如果你当前的网络中没有运行任何 Elasticsearch 节点，这时启动一个节点，那么这个节点会默认创建并加入到一个叫做 “elasticsearch” 的集群中。
（4）索引（index）
一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。在一个集群中，你可以创建任意多的索引。
（5）类型（type）
在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类 / 分区，其语义完全由你来定。通常，会为具有一组共同字段的文档定义一个类型。比如说，我们假设你运营一个博客平台并且将所有的数据存储到一个索引中，在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可以为评论数据定义另一个类型。
（6）文档（document）
一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。文档以 JSON（Javascript Object Notation）格式来表示，而 JSON 是一个到处存在的互联网数据交互格式。
在一个 index/type 里面，你可以存储任意多的文档。注意，尽管一个文档，物理上存在于一个索引之中，文档必须被索引 / 分配给一个索引的 type。
（7）分片和复制（shards&replicas）
一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有 10 亿文档的索引占据 1TB 的磁盘空间，而任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢。
为了解决这个问题，Elasticsearch 提供了将索引划分成多份的能力，这些份就叫做分片。当你创建一个索引的时候，你可以指定你想要的分片的数量。每个分片本身是一个全功能的、独立的 “索引”，可以被放置到集群中的任何节点上。分片很重要，主要有两方面的原因：
1）允许你水平分割 / 扩展你的内容容量。
2）允许你在分片（潜在地，位于多个节点上）之上进行分布式的、并行的操作，进而提高性能 / 吞吐量。
至于一个分片怎样分布，它的文档怎样聚合回搜索请求，是完全由 Elasticsearch 管理的，对于作为用户的你来说，这些都是透明的。
在一个网络 / 云的环境里，失败随时都可能发生，在某个分片 / 节点不知怎么的就处于离线状态，或者由于任何原因消失了，这种情况下，有一个故障转移机制是非常有用且是强烈推荐的。为此目的，Elasticsearch 允许你创建分片的一份或多份拷贝，这些拷贝叫做副本或复制分片（replica shards），或者直接叫复制（replicas）。
复制之所以重要，有两个主要原因：
在分片 / 节点失败的情况下，提供了高可用性。因为这个原因，注意到复制分片从不与原 / 主要（original/primary）分片置于同一节点上是非常重要的。
扩展你的搜索量 / 吞吐量，因为搜索可以在所有的副本上并行运行。
默认情况下，Elasticsearch 中的每个索引被分片 5 个主分片和 1 个副本分片，这意味着，如果你的集群中至少有两个节点，你的索引将会有 5 个主分片和另外 5 个复制分片（1 个完全拷贝），这样的话每个索引总共就有 10 个分片。
3.Logstash
3.1Logstash介绍
Logstash 由 Java 语言编写，运行在 Java 虚拟机 JVM 上，是一款强大的数据处理工具；可以实现数据传输、格式处理、格式输出。Logstash 具有强大的插件功能，常用于日志处理。
Logstash 的设计理念：Logstash 只做三件事，数据输入、数据加工、数据输出
3.2Logstash工作的三个阶段
（1）input 数据输入源，可以接收来自任何地方的数据。
Files：从文件系统的文件中读取数据，判断标准是按行读取。
Syslog：在 514 端口上监听系统日志消息，并解析成 RFC3164 格式。
Redis：从 Redis server 的列表中获取。
Beats：从 Beats 框架的组件中获取。
（2）Filter 数据中转部，主要进行格式处理，数据类型转换、数据过滤、字段添加、修改等，常用的过滤器如下。
grok：通过正则解析和结构化任何文本。
mutate：在事件中执行一般的转换。可以重命名、删除、替换和修改事件字段。
drop：丢弃事件，例如调试时用。
clone：复制事件，可能添加或删除字段。
geoip：添加有关 IP 地址地理位置的信息。
（3）output 是 Logstash 工作的最后一个阶段，负责将数据输出到指定位置，兼容大多数常用的输出。
elasticsearch：发送事件数据到 Elasticsearch，便于查询、分析、绘图。
File：将事件数据写入到指定文件。
Graphite：将事件数据发送到 Graphite。Graphite 是一个用于存储和绘制图表的工具，常用于中间层临时缓存。
redis：将数据发送到 redis provider。
stdout：发送事件数据到标准输出。
4.Kibana
4.1Kibana介绍
Kibana 是一个设计用于和 Elasticsearch 配合工作的开源分析和可视化平台。可以用它进行搜索、查看、 交互存于 Elasticsearch 中的数据索引，可以利用各种图表、报表、地图对数据进行可视化分析
4.2Kibana主要功能
Elasticsearch 无缝集成
整合数据
复杂数据分析
让更多团队成员及成员
配置简单
可视化多数据源
简单数据导出
实验环境
| 主机 | ip 地址 | 操作系统 | 软件包 |
| elk1 | 192.168.10.101 | OpenEuler24 | Elasticsearch、logstash、kibana |
| elk2 | 192.168.10.102 | OpenEuler24 | Elasticsearch、filebeat、httpd |
| elk3 | 192.168.10.103 | OpenEuler24 | Elasticsearch |
二：部署ES群集
设置 3 台 ES 主机的系统环境（以 elk1 为例，其它两台操作类似）
1.基本配置
1.1 设置主机名
按照主机清单为每一台主机设置主机名 (elk1、elk2、elk3)
1.2 在两台 ES 主机上设置 hosts 文件
[root@elk1 ~]# cat <>/etc/hosts
192.168.10.101 elk1
192.168.10.102 elk2
192.168.10.103 elk3
EOF
1.3 关闭所有节点的防火墙
[root@elk1 ~]# systemctl stop firewalld
[root@elk1 ~]# systemctl disable firewalld
[root@elk1 ~]# setenforce 0
[root@elk1 ~]# sed -i "s/SELINUX=enforcing/SELINUX=disabled/" /etc/selinux/config
1.4 创建 es 运行用户
[root@elk1 ~]# useradd es
1.5 安装 java 环境
[root@elk1 ~]# dnf -y install java-11
[root@elk1 ~]$ java -version
openjdk version "11.0.9.1" 2020-11-04 LTS
OpenJDK Runtime Environment 18.9 (build 11.0.9.1+1-LTS)
OpenJDK 64-Bit Server VM 18.9 (build 11.0.9.1+1-LTS, mixed mode, sharing)
1.6 为用户设置资源访问限制
[root@elk1 ~]# vim /etc/security/limits.conf
es soft nofile 65535
es hard nofile 65535
es soft nproc 65535
es hard nproc 65535
es soft memlock unlimited
es hard memlock unlimited
备注：
- es soft nofile 65535：一个进程最多能打开的文件数
- es hard nofile 65535
- es soft nproc 65535：一个用户最多能创建的进程数
- es hard nproc 65535
- es soft memlock unlimited：最大锁定内存地址空间（unlimited 不限制）
- es hard memlock unlimited
[root@elk1 ~]# vim /etc/sysctl.conf
vm.max_map_count=655360
[root@elk1 ~]# sysctl -p
备注：
它的默认值是 65536
限制一个进程可以拥有的 VMA（虚拟内存区域 ）的数量 。
虚拟内存区域是一个连续的虚拟地址空间区域。在进程的生命周期中，每当程序尝试在内存中映射文件，链接到共享内存段，或者分配堆空间的时候，这些区域将被创建。
这个参数会影响中间件可以开启的线程数量，如果值过小，有时可能会导致有些中间件无法开启足够的线程，进而报错。
2.安装Elasticsearch
[root@elk1 ~]# tar zxvf elasticsearch-7.10.0-linux-x86_64.tar.gz
[root@elk1 ~]# mv elasticsearch-7.10.0 /usr/local/elasticsearch
[root@elk1 ~]# vim /etc/elasticsearch/config/jvm.options
-Xms2g
-Xmx2g
备注：
JVM（java 虚拟机）提供了大量的参数配置，可以通过配置这些参数对 JVM 进行调优。
Xms
2.1 更改 Elasticsearch 主配置文件
[root@elk1 ~]# vim /usr/local/elasticsearch/config/elasticsearch.yml
cluster.name: kgc-elk-cluster ##17行，群集名称
node.name: elk1 ##23行，本节点主机名，以 elk1 节点为例，其它节点请改成相对应的节点名称
path.data: /elk/data ##33行，数据文件路径
path.logs: /elk/logs ##37行，日志文件路径
bootstrap.memory_lock: false ##43行，锁定物理内存
network.host: 0.0.0.0 ##55行，监听地址
http.port: 9200 ##59行，监听端口
discovery.seed_hosts: ["elk1", "elk2", "elk3"] ##68行，群集中的主机列表
cluster.initial_master_nodes: ["elk1"] ##72，master 主机名称，群集的初始化会将此节点选举为 master
2.2 创建数据存放路径并授权
[root@elk1 ~]# mkdir -p /elk/data
[root@elk1 ~]# mkdir -p /elk/logs
[root@elk1 ~]# chown -R es:es /elk/
[root@elk1 ~]# chown -R es:es /usr/local/elasticsearch/
2.3 启动 es
[root@elk1 ~]# su - es #es 限制使用 root 启动，需要切换至 es
[es@elk1 ~]$ nohup /usr/local/elasticsearch/bin/elasticsearch &
[es@elk1 ~]$ sudo netstat -anpt | grep 9200
tcp6 0 0 :::9200 :::* LISTEN 6987/java
2.4 查看节点信息
[root@localhost ~]# curl http://192.168.10.103:9200/_cat/nodes
192.168.10.101 12 65 0 0.03 0.01 0.00 cdhilmrstw * elk1
192.168.10.102 22 97 0 0.12 0.05 0.01 cdhilmrstw - elk2
192.168.10.103 20 91 0 0.01 0.02 0.00 cdhilmrstw - elk3
带有星号的是 master 节点，
三：安装logstash
1.在logstash服务器上安装logstash
[root@losstash ~]# systemctl stop firewalld
[root@losstash ~]# setenforce 0
[root@losstash ~]# yum -y install java-11
[root@losstash ~]# tar zxvf logstash-7.10.0-linux-x86_64.tar.gz
[root@losstash ~]# mv logstash-7.10.0 /usr/local/logstash
[root@losstash ~]# chmod -R 777 /usr/local/logstash/data/2.测试安装结果
（1）直接将消息输出到屏幕
plaintext
[root@losstash ~]# /usr/local/logstash/bin/logstash -e 'input { stdin {} } output { stdout {codec => rubydebug} }'
注意：执行该命令后稍微等一下，会出现一个消息格式，可以输入一些字符串，作为该消息的内容
退出按 Ctrl+C，如果命令失败，删除 logstash 目录的的 data 子目录
例如下列显示：
nihao
{
"@timestamp" => 2020-03-14T03:20:24.229Z,
"@version" => "1",
"host" => "elk1",
"message" => "nihao "
}
（2）将消息输出到 es（如果没有安装 head 组件，此步骤省去）
[root@losstash ~]# /usr/local/logstash/bin/logstash -e 'input { stdin {} } output {stdout {codec => rubydebug} } output { elasticsearch { hosts => ["192.168.10.103:9200"] } }'
稍等一下可以输入一些字符作为消息
使用以下方法查看 es 中索引信息
查看索引列表：
curl -XGET http://localhost:9200/_cat/indices?v
查看分片信息：
curl -XGET http://localhost:9200/_cat/shards?v
查询索引 GET 请求：
curl -XGET "http://localhost:9200/索引名/_search?pretty" -H "Content-Type: application/json" -d'{"query": 3.logstash配置文件
[root@nodel src]# chmod o+r /var/log/messages //让 Logstash 可以读取日志文件
[root@nodel src]# ll /var/log/messages
-rw-r--r--. 1 root root 272004 Sep 11 14:31 /var/log/messages
[root@nodel src]# vim /usr/local/logstash/system.conf
input {
file {
path =>"/var/log/messages"
type =>"system"
start_position =>"beginning"
}
}
output {
elasticsearch {
hosts => ["192.168.10.101:9200"]
index =>"system-%{+YYYY.MM.dd}"
}
}
运行 Logstash
[root@elk1 ~]# /usr/local/logstash/bin/logstash -f /usr/local/logstash/system.conf
查看索引发现多出一个索引
[root@es ~]# curl -XGET http://localhost:9200/_cat/indices?v
green open webblog-2025.04.28 1b4Jq0Uypj6H2IYpHJ2IbA 1 0 28285 0 10.0mb 4.5mb
查询日志信息
[root@es ~]# curl -XGET "http://localhost:9200/system-2025.04.28/_search?pretty" -H "Content-Type: applicatio四：Filebeat
1.在生产日志的客户端上安装Filebeat
[root@elk2 ~]# yum -y install httpd
[root@elk2 ~]# systemctl start httpd
[root@elk2 ~]# echo this is test > /var/www/html/index.html
[root@elk2 ~]# curl http://192.168.10.102
this is test
[root@elk2 ~]# cat /var/log/httpd/access_log
192.168.10.102 - - [28/Apr/2025:13:02:08 +0800] "GET / HTTP/1.1" 200 12 "-" "curl/7.61.1"
[root@elk2 ~]# cat /var/log/httpd/error_log2.安装Filebeat
[root@elk2 ~]# tar zxvf filebeat-7.10.0-linux-x86_64.tar.gz
[root@elk2 ~]# mv filebeat-7.10.0-linux-x86_64 /usr/local/filebeat3.配置web01服务器Filebeat的输出
（1）修改 filebeat 文件，将 filebeat 输出的日志输入到远程的 logstash 来 decode、encode 操作的
[root@elk2 ~]# cd /usr/local/filebeat/
[root@elk2 filebeat]# cp filebeat.yml filebeat.yml.bak
[root@elk2 filebeat]# vim filebeat.yml
filebeat.inputs:
- type: log
paths:
- /var/log/httpd/access_log
output.logstash:
hosts: ["192.168.10.102:5044"]
（2）启动 filebeat 服务
[root@elk2 ~]# /usr/local/filebeat/filebeat -e -c /usr/local/filebeat/filebeat.yml &4.修改logstash的配置文件，使日志输出到elasticsearch
如果发现 logstash 属于挂起状态，就杀死进程
可以先看一下 logstash 的进程，netstat -anpt | grep 5044，再杀死这个进程
如果要把日志提交给 ES，可以使用如下内容
[root@elk1 ~]# vim /usr/local/logstash/config/beats.conf
input {
beats {
port => 5044
codec => "json"
}
}
output {
elasticsearch {
hosts => ["192.168.10.101:9200"]
index => "webblogbeat-%{+YYYY.MM.dd}"
}
}
备注：
在 Logstash 从 1.3.0 版本开始引入的概念 Codec（来自 Coder（编码））。在 Codec 之前，Logstash 只支持纯文本形式输入，然后以过滤器处理它。但现在，我们可以在输入 - 输出对不同的的 codec，这全是因为有了 codec 设置。所以，Logstash 不只是一个 input | filter | output 的数据流，而是一个 input | decode | filter | encode | output 的数据流！codec 的引入，使得 Logstash 可以更好更方便的与其他有自定义数据格式的运维产品对接，比如 graphite、fluent、netflow、collectd，以及使用 msgpack、json、avro 等比较前沿的其他产出者。
5.运行logstash并验证
root@elk1 ~]# /usr/local/logstash/bin/logstash -f /usr/local/logstash/config/beats.conf --path.data=/usr/local/logstash/data/logstash02 &
备注：
--path.data 用来指定 data 路径，需要使用不同的路径保存不同的日志数据，防止因写同一个文件而报错。
查看索引，发现新增了一个 webblogbeat-2025.04.28 的索引
[root@es ~]# curl -XGET http://localhost:9200/_cat/indices?v
green open webblogbeat-2025.04.28 3rQen1u0Qmu8LbM7tRwQ 1 0 1 0 58.8kb 29.2kb五：安装Kibana
1.在elk1 上安装Kibana
[root@elk1 ~]# tar zxvf kibana-7.10.0-linux-x86_64.tar.gz
[root@elk1 ~]# mv kibana-7.10.0-linux-x86_64 /usr/local/kibana2.修改Kibana主配置文件
[root@elk1 ~]# vim /usr/local/kibana/config/kibana.yml
server.host: "0.0.0.0" ##82行，监听地址
elasticsearch.hosts: ["http://192.168.10.101:9200"] ##28行，ES 服务器地址
kibana.index: ".kibana" ##47行，kibana 的索引3.启动Kibana服务
[root@localhost ~]# su - es
[es@elk1 ~]$ nohup /usr/local/kibana/bin/kibana &4.验证Kibana
浏览器访问
http://192.168.10.101:5601