大数据系列 | 日志数据采集工具Filebeat的架构分析及应用

大数据系列 | 日志数据采集工具Filebeat的架构分析及应用

  • 1. Filebeat的由来
  • 2. Filebeat原理架构分析
  • 3. Filebeat的应用
    • 3.1. 安装Filebeat
    • 3.2. 实战采集应用程序日志

1. Filebeat的由来

   在介绍Filebeat之前,先介绍一下Beats。Beats是一个家族的统称,Beats家族有8个成员,早期的ELK架构中使用Logstash收集、解析日志,但是Logstash对内存、CPU及I/O等资源的消耗比较高。相比Logstash,Beats所占用的系统CPU和内存几乎可以忽略不计。
   目前Beats家族中有8个成员,如图所示:
大数据系列 | 日志数据采集工具Filebeat的架构分析及应用_第1张图片

   Filebeat是日志文件的轻量级采集工具。Filebeat监视你指定的日志文件或位置,收集日志事件,并将它们转发给Elasticsearch或Logstash。
   Filebeat和Logstash是有一定渊源的。Logstash是在JVM中运行的,资源消耗比较大,所以Logstash的作者后来又用Go语言写了 一个功能较少但是资源消耗也较小的轻量级工具Logstash-forwarder。Logstash的作者只有一个人,后来他加入了Elastic公司,Elastic公司有一个专门的Go语言团队正在开发一个开源项目Packetbeat。参考Packetbeat项目的命名格式,Logstash的作者将 Logs

你可能感兴趣的:(大数据技术专栏,大数据,架构)