基于ElasticSearch存储海量AIS数据-架构设计篇

文章目录

  • 引言
  • I 背景
  • II 数据集群架构选型
    • 2.1 关键点
    • 2.2 架构设计
    • 2.3 数据迁移工具:Canal

关键词:时空索引;船舶自动识别系统;轨迹压缩;数据集群

引言

船舶自动识别系统(AIS)数据具有海量性、时空性和小记录频繁更新等特性。面向海量AIS数据,提出了一种基于分布式集群的AIS数据存储方法。该方法对AIS数据存储索引结构进行了设计,通过对时间维按月切分,以及对空间范围聚类切分,构造了索引时空立方体,从而提升了时空查询效率。

I 背景

在国际海事组织(IMO)和国际航标协会(IALA)等组织努力下,船舶自动识别系统(AIS)概念正式提出并强制船只安装使用口。
AIS数据由船舶行驶过程中周期性广播自身位置等产生,具有海量性、时空性和小记录频繁更新等特性。正常情况下,船舶每隔2~360 S就会广播1次
大量船舶不停广播,导致海量AIS数据产生。每条AIS信息包含了船舶系统基本静态和位置信息,而位置信息又与时间对应,故AIS数据具备了时空特性。此外,

你可能感兴趣的:(数据库技能,elasticsearch,大数据,搜索引擎)