五分钟学GIS | 大数据之分布式空间分析服务

分布式空间分析服务是什么

   分布式空间分析服务是SuperMap iServer 9D中新增的一个扩展模块，其利用Spark分布式计算方式，对超大体量的空间数据进行各种分析。可接入分布式存储的地理数据，如 HDFS（Hadoop Distributed File System，Hadoop 分布式文件系统）存储的数据、iServer DataStore 中存储的关系型数据、以及 UDB 中存储的点线面数据。其提供强大的空间分析能力，例如大数据的地图出图、分析与管理。所有功能提供 REST API，方便开发与扩展。

优点

   性能非常高
   分布式空间分析服务利用Spark分布式计算方式，将一个分析任务分解为多个子任务，最终通过分布式计算快速得到结果（如下图）。

可接入多种数据来源与格式参与分析
   支持共享目录方式，支持HDFS目录，支持企业级空间数据库（Oracle，PG-XL）等,数据格式支持UDB，CSV，Execl，GeoJSON等。
多终端的快速使用
   iClient , iDesktop产品可直接调用，并以可视化方式展示大数据分析任务的执行过程与结果。
扩展性高
   分析节点的横向扩展非常方便。想要提高效率，只需增加处理节点，启动一台iServer，加入集群，注册数据即可。
部署简单
   iServer 9D内置Spark分布式计算框架，部署分布式分析服务集群十分简单，不需要有分布式相关知识。搭建过程同搭建集群类似，完全可视化操作，只需三步：
   1.勾选开启iServer集群服务。
   2.勾选开启iServer分布式分析服务。
   3.将iServer节点加入集群并勾选参与大数据分析选项卡即可。

适用的场景

1.传统空间分析处理时间长，想要大幅度提高处理效率。
例如：某项目中，2261万条纪录面（68.3GB大小）与3502平方公里的不规则面叠加分析，传统分析（机器：32核CPU，64GB内存）需要42.5分钟，而采用分布式计算模式（机器：4台4核CPU，16G内存机器）只需2.1分钟，性能提升20倍。

2.传统方式处理不了的数据内容。
例如：10亿点和1000W个面进行聚合，使用传统模式处理不了这种级别的数据。

3.项目适应未来技术趋势，即对传统数据进行分布式存储，分布式计算，实时数据处理，非结构化存储等。

GIS应用案例

SuperMap iServer 9D采用4节点集群方式，每节点配置32G、4Core，采用A+B数据方式，进行大数据量的空间分析（点聚合分析功能）：