【2022-03-07】抓取菜鸟教程案例-feapder框架

提前声明:该专栏涉及的所有案例均为学习使用,如有侵权,请联系本人删帖!

文章目录

  • 一、feapder框架
  • 二、网站分析
  • 三、代码构建
  • 四、完整代码

一、feapder框架

1.简单介绍

  • feapder 是一款上手简单,功能强大的Python爬虫框架,使用方式类似scrapy,方便由scrapy框架切换过来,框架内置3种爬虫:
    • AirSpider爬虫比较轻量,学习成本低。面对一些数据量较少,无需断点续爬,无需分布式采集的需求,可采用此爬虫。
    • Spider是一款基于redis的分布式爬虫,适用于海量数据采集,支持断点续爬、爬虫报警、数据自动入库等功能
    • BatchSpider是一款分布式批次爬虫,对于需要周期性采集的数据,优先考虑使用本爬虫。
  • feapder支持断点续爬、数据防丢、监控报警、浏览器渲染下载、数据自动入库Mysql或Mongo,还可通过编写pipeline对接其他存储

2.环境要求

P

你可能感兴趣的:(python,爬虫,百度)