爬虫学习笔记-scrapy安装及第一个项目创建问题及解决措施

1.安装scrapy

pycharm终端运行 pip install scrapy -i https://pypi.douban.com/simple

爬虫学习笔记-scrapy安装及第一个项目创建问题及解决措施_第1张图片

2.终端运行scrapy startproject scrapy_baidu,创建项目

        问题1:lxml版本低导致无法找到        

         解决措施:更新或者重新安装lxml

爬虫学习笔记-scrapy安装及第一个项目创建问题及解决措施_第2张图片

 3.项目创建成功

爬虫学习笔记-scrapy安装及第一个项目创建问题及解决措施_第3张图片

 4.终端cd到项目的spiders文件夹下,cd scrapy_baidu\scrapy_baidu\spiders

        创建爬虫文件名百度,域名

 5.爬虫文件创建成功打开,修改def parse,打印输出

爬虫学习笔记-scrapy安装及第一个项目创建问题及解决措施_第4张图片

 6.运行爬虫文件,scrapy crawl baidu

        问题2:attrs版本低

爬虫学习笔记-scrapy安装及第一个项目创建问题及解决措施_第5张图片

        解决措施:重新安装

爬虫学习笔记-scrapy安装及第一个项目创建问题及解决措施_第6张图片

 7.再次运行爬虫文件,scrapy crawl baidu

        ​​​​问题3:无法加载sqllite3爬虫学习笔记-scrapy安装及第一个项目创建问题及解决措施_第7张图片

         解决措施:下载sqllite dll文件,解压到python解释器对应DLLs文件夹下

https://www.sqlite.org/download.html

爬虫学习笔记-scrapy安装及第一个项目创建问题及解决措施_第8张图片爬虫学习笔记-scrapy安装及第一个项目创建问题及解决措施_第9张图片

 8.再次执行后成功运行打印输出

爬虫学习笔记-scrapy安装及第一个项目创建问题及解决措施_第10张图片

 

你可能感兴趣的:(爬虫,学习,笔记)