ELK环境搭建 elasticsearch+kibana+logstash

说在前头：

我采用的是tar.gz包解压安装的方式进行安装的，三个软件的版本必须一致，我选用的是6.0.0版本
如果安装配置启动过程中有其他错误信息 。 请自行根据错误信息百度解决
下载软件包

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.0.0.tar.gz
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.0.tar.gz
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.0.0-linux-x86_64.tar.gz

解压安装到指定目录
tar -zxvf tar.gz包名 -C 解压到的目录

elasticsearch配置项

#进入到elasticsearch安装目录下的config目录下 。 主要需要修改配置的文件有两个
#elasticsearch.yml   和    jvm.options
#jvm.options 文件主要就是修改jvm分配的内存参数 。 因为我的虚拟机内存很小并且我只是做测试使用 我都设置成了
-Xms100m
-Xmx100m

#elasticsearch.yml 主要就是设置一下网络ip地址，因为是云服务器
network.host: 0.0.0.0 #我只设置了这一项 。 其他设置默认即可 如有需要也可以自行设置
#cluster.name: [name]　为集群提供一个名称
#node.name: [name] 此节点名称
#cluster.initial_master_nodes: ["es-node1"]　将es-node1设置为master节点

#针对日志和数据的存储 可以自行建文件夹并制定存储。同时也需要为es安装目录赋予权限
path.data: [path]  数据存放的地址
path.logs: [path] 日志存放地址

#需要注意的是ES启动不能使用默认root用户启动 。 因此需要创建一个用户
useradd esuser
#为数据目录和日志目录赋予当前用户权限
chown -R esuser:esuser 目录地址

#修改系用的进程内存限制 避免es启动报错
vim /etc/security/limits.conf
#添加如下数据
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

vim /etc/sysctl.conf
#添加
vm.max_map_count=262145
#退出后 重新加载文件
sysctl -p
#注意 如果上边两个问价的参数设置错误导致启动失败 。 可以根据错误日志 去修改具体的值    

#启动es 切换到esuser才能启动 进入es的bin目录
./elasticsearch
#或者 后台启动
./elasticsearch -d

kibana配置项

#进去kibana安装目录下的config目录
vim kibana.yml
#主要修改的也是ip信息 。 因为是云服务器 需要在外边也能访问 。 然后还需要指定es的地址信息
server.port: 5601
server.host: 0.0.0.0
elasticsearch.hosts: ["http://127.0.0.1:9200"]

#启动kibana 两种方式 都先进入安装目录下的bin目录  第二种是后台启动
./kibana
nohup ./kibana &

logstash配置项

#需要新增配置文件 。 文件位置根据自己喜好来定 。 文件名后缀是 .conf 文件内容如下 
input {
    file {
        type => "test_log"
        path => ["/tmp/elk/logs/elasticsearch.log"]  #要读取的文件地址信息
        start_position => "beginning"
        sincedb_path => "/dev/null"
    }
}
output {
    if [type] == "test_log" {
        elasticsearch {   #是将读取到的日志文件写到es中
        hosts => "es服务的地址:端口信息"
        index => "logstash-%{type}-%{+YYYY.MM.dd}" #建立的索引
       # workers => 5
       # template_overwrite => true
 }
      stdout {codec => rubydebug}
    }
}



#启动 。 进入到安装目录下的bin目录 。 两种启动方式 。 第二种为后台启动 。 启动时需要加载刚刚的配置文件
./logstash -f 日志文件地址
nohup ./logstash -f 日志文件地址 &

#最后 补充一个logstash的学习文档地址
http://doc.yonyoucloud.com/doc/logstash-best-practice-cn/output/elasticsearch.html