使用scrapy cluster构建企业级爬虫系统——（2）实现网站深度抓取

上回博客中，我们对scrapy cluster进行了介绍，今天我们来搭建scrapy cluster的开发环境。

---

这里我使用的开发机环境是Ubuntu 18.04。大家日常如果使用windows开发时候，最好把zookeeper,kafka,redis安装在linux开发服务器上，避免一些不必要的坑。

我们先看下scrapy cluster的文档结构：

整体部分包括Introduction、Kafka Monitor、Crawler、Redis Monitor等八个部分，今天这篇博客我们主要关注Quick Start。

在Set up中，我推荐日常开发使用Cluster Quickstart也就是手工部署方式，部署到测试或生产环境时候，使用Docker Quickstart即可。

翻到Cluster Quickstart部分开始部署我们的开发环境：

先到官网上分别下载好Zookeeper、Kafka、Redis的安装包。

解压好zookeeper的安装包，进入到目录apache-zookeeper-x.x.x/bin下启动zookeeper服务端，使用超级管理员权限，运行命令：

sudo ./zkServer.sh start

显示：

 

这里zoo.cfg配置文件如下：

 

tickTime=2000
dataDir=/var/lib/zookeeper
clientPort=2181
4lw.commands.whitelist=