Esper-技术简介

转自 http://blog.csdn.net/mdj67887500/article/details/6892392

1.1介绍CEP和事件流分析

Esper引擎是为了满足对事件进行分析并做出反应等这些应用需求而产生的。这些应用要求实时或接近实时处理事件(或消息)。有时候是为了应对复杂事件处理(CEP)和事件流分析的。关键要考虑这些类型应用的(高)吞吐量、(低)响应时间和需求逻辑的复杂程度 (复杂计算)。esper可以用在股票系统、风险监控系统等等要求实时性比较高的系统中。

1.2 CEP和关系数据库

关系型数据库不适合每秒成百上千的数据量的查询。内存数据库与比传统的关系数据库相比,有更好的查询性能,更适合处理CEP应用。

1.3 专注于CEP的Esper 引擎

这个Esper引擎工作起来有点像数据库的倒置。Esper 引擎允许应用存储查询并运行数据通过,来代替存储数据并且执行查询存储数据的工作方式。esper提供两种机制来处理事件:

1、Esper提供了一个事件模式语言去指定基于表达式的事件模式匹配。这个模式匹配引擎是通过一个状态机来实现的。这个事件处理的方法匹配期望存在的队列或者不存在的事件或者事件的组合。它包括以时间为基础的各个事件之间的关系。

2、 Esper还提供事件流查询。这个样可以使事件流分析CEP应用的需求。事件流查询提供窗口、聚合、连接和分析的函数来处理事件流。这些查询是通过EPL 语句来实现的。EPL用于视图。视图表示需要将构造的数据放入到一个事件流中并且去驱动数据的流动。在数据流动的过程中对数据进行处理,来得到我们最后所 需要的结果。

Esper提供这两种方法作为互补是通过相同的API来实现的
1.4事件驱动应用服务器(Event Driven Application Server)

事件驱动应用服务器是一种新型的服务器,为每秒需要处理超过100,000个事件的服务器提供一个运行时和多种支撑基础设施服务(如传输、安全、事件日志、 高可靠性和连接器等)。除了事件处理以外,事件驱动服务器还可以将事件信息和长时间存在的数据(通常从关系数据库查询中获取)结合起来,以及在事件流上执行临时的关联关系和匹配操作。

事件系统(Event System)

事件系统存在两个概念,可使之与消息传送系统(Messaging System)区分开来:

1、事件流处理(Event Stream Processing,ESP)——  检测事件数据流,分析出那些符合条件的事件,然后通知监听器

2、复杂事件处理(Complex Event Processing,CEP)——可以监察各事件间的模式

全功能的事件驱动服务器尚需数年时间方可实现,但现在开发者就可通过来自Codehaus的Esper,在独立应用、Java企业级应用和Spring应用 中实现事件驱动架构。Esper的1.0版本(InfoQ曾报道过)是在2006年6月发布的,它是一个轻量级、可嵌入的ESP和CEP的开源实现。
把Esper集成到独立应用中其实很简单。步骤如下:

1、获取一个Esper引擎实例

2、生成一个Statement(用Esper的查询语言)

3、使用引擎注册这个Statement

4、生成一个Listener(通过实现一个Java接口,该接口在Statement所得值为true会被触发),并把它跟Statement绑定起来

事件能以Java对象、XML或Map的形式展现,当它们通过系统的时候,系统会评估Statement的值,并执行Listener中的逻辑
Esper查询语言提供了丰富的语法,这些语法可以表达复杂的临时逻辑,此外还有如下的一些特征:

1、事件过滤

2、滑动窗口和聚集(计算在最近30秒内所有报告的有意义的信息)

3、分组窗口和对输出率的限制(获取最近10分钟内每个区域的信息数量)

4、连接和外连接(允许事件流之间的连接)

5、与历史数据或引用数据集成(访问关系型数据库)

6、生成所有Statement都可以访问的虚拟流




http://blog.csdn.net/dux003/article/details/6908562

你可能感兴趣的:(大数据)