elasticsearch与MySQL数据同步 Logstash

什么是Logstash
Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集 起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件。

Logstash安装与测试 解压,
进入bin目录 logstash ‐e ‘input { stdin { } } output { stdout {} }’ 控制台输入字符,
随后就有日志输出
elasticsearch与MySQL数据同步 Logstash_第1张图片
elasticsearch与MySQL数据同步 Logstash_第2张图片
elasticsearch与MySQL数据同步 Logstash_第3张图片
在黑窗体输入aaa,控台就可以输出aaa

(1)在logstash-5.6.8安装目录下创建文件夹mysqletc (名称随意) (2)文件夹下创建mysql.conf

elasticsearch与MySQL数据同步 Logstash_第4张图片
打开文件夹打开
在这里插入图片描述
在这里插入图片描述
填入数据库地址
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
数据库驱动,文件夹加java文件
elasticsearch与MySQL数据同步 Logstash_第5张图片
在这里插入图片描述
在这里插入图片描述
配置分页,不配置可以不写
在这里插入图片描述
写sql语句

在这里插入图片描述
写本机的ip地址加端口号
elasticsearch与MySQL数据同步 Logstash_第6张图片
写索引(保证 el 和 head 启动)

elasticsearch与MySQL数据同步 Logstash_第7张图片
(我新建了一个索引)
在这里插入图片描述
elasticsearch与MySQL数据同步 Logstash_第8张图片
document_id里写的id要和sql语句中的id对应上
在这里插入图片描述
在这里插入图片描述
对应的type要对应上
type是在实体类中生成的
elasticsearch与MySQL数据同步 Logstash_第9张图片
elasticsearch与MySQL数据同步 Logstash_第10张图片
elasticsearch与MySQL数据同步 Logstash_第11张图片
然后打开logstash-5.6.8 cmd 命令
logstash ‐f …/mysqletc/mysql.conf

你可能感兴趣的:(elasticsearch与MySQL数据同步 Logstash)