学习笔记之——网络爬虫的Robots协议

一、 网络爬虫的尺寸

1. 小规模、数据量小，爬取速度不敏感，Requests库，>90%——爬去网页，玩转网页。
2. 中规模，数据规模较大，爬取速度敏感，Scrapy库——爬取网站，爬取系列网站。
3. 大规模，搜索引擎，爬取速度关键，定制开发——爬取全网。

二、爬虫的风险

1. 给Web服务器造成巨大的资源开销。
2. 服务器上的数据有产权归属，网络爬虫获取数据后牟利将带来法律风险。
3. 网络爬虫可能具备突破简单访问控制的能力，获得被保护数据，从而泄露个人隐私。

三、网络爬虫限制

1. 来源审查：判断User‐Agent进行限制
2. 检查来访HTTP协议头的User‐Agent域，只响应浏览器或友好爬虫的访问
3. 发布公告：Robots协议
4. 告知所有爬虫网站的爬取策略，要求爬虫遵守

四、Robots协议

1. Robots协议

Robots Exclusion Standard，网络爬虫排除标准
作用：网站告知网络爬虫哪些页面可以抓取，哪些不行
形式：在网站根目录下的robots.txt文件

Robots协议基本语法——# 注释，*代表所有，/代表根目录

User‐agent: *
Disallow: /
例如：京东的Robots协议
https://www.jd.com/robots.txt
User‐agent: *
Disallow: /?*
Disallow: /pop/*.html
Disallow: /pinpai/*.html?*
User‐agent: EtaoSpider
Disallow: /
User‐agent: HuihuiSpider
Disallow: /
User‐agent: GwdangSpider
Disallow: /
User‐agent: WochachaSpider
Disallow: /

2. Robots协议的遵守方式

网络爬虫：自动或人工识别robots.txt，再进行内容爬取
约束性：Robots协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险
对Robots协议的理解

1. 小规模、数据量小，爬取速度不敏感，Requests库，>90%——爬去网页，玩转网页。访问量很小：可以遵守；访问量较大：建议遵守。
2. 中规模，数据规模较大，爬取速度敏感，Scrapy库——爬取网站，爬取系列网站。非商业且偶尔：建议遵守；商业利益：必须遵守。
3. 大规模，搜索引擎，爬取速度关键，定制开发——爬取全网。必须遵守。
   原则：类人行为可以不参考Robots协议。

五、参考资料

学习的北京理工大学嵩天老师的《Python网络爬虫与信息提取》