高德POI数据爬虫

poi

在做爬虫的时候,不免都有爬取这个数据是不是合法的这种担忧,程序中也有加代理、UA、控制爬取频率等手段来避免被网站识别。但是从一些数据平台开放的接口中爬取数据就不需要有这种考量。
曾经做过这么个需求,爬取一个省份的POI。POI是Point of Information的缩写,即信息点。在地理信息系统中,一个POI可以是一栋房子、一个商铺、一个邮筒、一个公交站等。但是POI的正统翻译还是Point of Interest,即兴趣点。
每个POI包含四方面信息,名称、类别、坐标、分类,那时候就打算从一些公示网站爬取,数据更新缓慢导致不准确不说,而且因为数据量太大,爬取效果也不理想,后来就找到了高德的一个poi数据开发平台,完成了数据采集。
高德开放平台通过API来提供poi数据,通过参数可以控制地区、类别等信息。

登录高德账号

点击 高德开放平台入口 进入页面,没有注册的homie先注册一个账号,注册登录之后点击申请key

注册密钥

1 进入注册页面的首页,点击新建应用
高德POI数据爬虫_第1张图片

2 填写配置,选择web端(JS API)
高德POI数据爬虫_第2张图片
3 点击管理key,查看申请的密钥高德POI数据爬虫_第3张图片

高德POI数据爬虫_第4张图片

接口使用

点击 接口规范 进入页面查看接口的规范,请求参数如下

'https://restapi.amap.com/v3/place/text?key=输入你的key&city={0}&extensions=all&types={1}&citylimit=true&offset=25'

其中key就是申请的秘钥,city和types可以下载POI分类编码和城市编码表来获取自己想要的poi数据。

高德POI数据爬虫_第5张图片

结果数据

这就是从接口中获取的poi数据,可用于地图打点等方面
高德POI数据爬虫_第6张图片

日常结语

这个接口的调用也是有限制的,点击查看调用量,一般每天可以free调用3W次,一次25个poi,这样一天也能获取70W个poi,enough!!!
晚安,homie。

你可能感兴趣的:(爬虫,poi,poi)