ELK实现nginx、mysql、http的日志可视化实验

ELK（Elasticsearch, Logstash, Kibana）是一个强大的日志管理和分析平台，可以实现对nginx、mysql和http日志的可视化。本文将详细介绍如何配置ELK来实现这些日志的可视化。

一、环境准备

1. 安装Elasticsearch

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.2-linux-x86_64.tar.gz
tar -xzf elasticsearch-7.10.2-linux-x86_64.tar.gz
cd elasticsearch-7.10.2
./bin/elasticsearch

2. 安装Logstash

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.10.2.tar.gz
tar -xzf logstash-7.10.2.tar.gz
cd logstash-7.10.2

3. 安装Kibana

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.10.2-linux-x86_64.tar.gz
tar -xzf kibana-7.10.2-linux-x86_64.tar.gz
cd kibana-7.10.2-linux-x86_64
./bin/kibana

二、配置Logstash

Logstash需要配置文件来处理nginx、mysql和http日志。创建以下配置文件：

1. Nginx日志配置

在 logstash-7.10.2/config目录下创建文件 nginx.conf：

input {
  file {
    path => "/var/log/nginx/access.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
    match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
    target => "@timestamp"
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "nginx-logs"
  }
  stdout { codec => rubydebug }
}

2. MySQL日志配置

在 logstash-7.10.2/config目录下创建文件 mysql.conf：

input {
  file {
    path => "/var/log/mysql/mysql.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{GREEDYDATA:log_message}" }
  }
  date {
    match => [ "timestamp" , "ISO8601" ]
    target => "@timestamp"
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "mysql-logs"
  }
  stdout { codec => rubydebug }
}

3. HTTP日志配置

在 logstash-7.10.2/config目录下创建文件 http.conf：

input {
  file {
    path => "/var/log/httpd/access_log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
    match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
    target => "@timestamp"
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "http-logs"
  }
  stdout { codec => rubydebug }
}

三、启动Logstash

分别启动Logstash实例来处理不同的日志：

cd logstash-7.10.2
bin/logstash -f config/nginx.conf
bin/logstash -f config/mysql.conf
bin/logstash -f config/http.conf
​

四、配置Kibana

1. 访问Kibana

打开浏览器，访问 http://localhost:5601，进入Kibana界面。

2. 创建Index Pattern

在Kibana中创建索引模式：

• 进入 Management > Index Patterns。
• 点击 Create Index Pattern。
• 分别创建 nginx-logs、mysql-logs和 http-logs的索引模式。

3. 可视化日志数据

在Kibana的 Discover页面，可以选择不同的索引模式查看日志数据。你可以创建各种可视化，如饼图、柱状图和线图，来分析日志数据。