python消费kafka数据nginx日志实时_Openresty+Lua+Kafka实现日志实时采集

简介

在很多数据采集场景下，Flume作为一个高性能采集日志的工具，相信大家都知道它。许多人想起Flume这个组件能联想到的大多数都是Flume跟Kafka相结合进行日志的采集，这种方案有很多他的优点，比如高性能、高吞吐、数据可靠性等。但是我们如果要求对日志进行实时的采集，这显然不是一个好的解决方案。原因如下：

就目前来说，Flume能支持实时监控一个目录的数据文件，一旦对某个目录的文件采集完成，就会打上completed的标志，若之后再有数据进入这个文件中，Flume则不会检测到。

所以，我们更多的是使用这种方案进行定时采集，只要有一个新的数据目录产生，我们就采集这个目录下的数据文件。

那么接下来本篇文章将为大家介绍基于Openresty+Lua+Kafka对日志进行实时的采集。

需求

很多时候，我们需要对用户的埋点数据进行一个实时的采集，然后用这些数据对用户的行为做一些实时的分析。所以，第一步当然是先解决怎样对数据进行实时的采集。

这里我们用到的方案是Openresty+Lua+Kafka。

原理介绍

那么什么是Openresty呢？这里引用官方的一段话：

OpenResty是一个基于Nginx与Lua的高性能Web平台，其内部集成了大量精良的Lua库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。

OpenResty通过汇聚各种设计精良的Nginx模块，从而将Nginx有效地变成一个强大的通用Web应用平台。这样，Web开发人员和系统工程师可以使用Lu 脚本语言调动Nginx支持的各种C以及Lua模块，快速构造出足以胜任10K乃至1000 以上单机并发连接的高性能Web应用系统。

OpenResty的目标是让你的Web服务直接跑在Nginx服务内部，充分利用Nginx的非阻塞 I/O 模型，不仅仅对 HTTP 客户端请求,甚至于对远程后端诸如MySQL、PostgreSQL、Memcached 以及 Redis 等都进行一致的高性能响应。

简单来说，就是将客户端的请求(本文指的是用户的行为日志)通过Nginx把用户的数据投递到我们指定的地方(Kafka)，而为了实现这个需求，我们用到了Lua脚本，因为Openresty封装了各种Lua模块，其中有一个模块就是对Kafka模块进行了分装，我们只需要写一个简单的脚本就可以将用户的数据通过Nginx转发到Kafka中，以便后续对数据进行消费。

这里给出一张架构图，方便大家理解：

在这里简单总结一下使用Openresty+Lua+Kafka的优点：

1.支持多种业务数据，不同的业务数据，只需要配置不同的Lua脚本，就可以将不同的业务数据发送到Kafka不同的topic中。

2.对用户触发的埋点数据进行实时的采集

3.高可靠的集群，Openresty由于是基于Nginx，其集群拥有非常高的性能和稳定性。

4.高并发，相比tomcat、apache等web服务器，Nginx的并发量远远高于其他两种。正常情况下处理上万的