搜索引擎爬虫的基本需求和考核标准

需要包含以下基本功能：

（1）网站下载流速控制

 

            国内国外的搜索爬虫，科研机构爬虫数量很多，不同的站点抗抓取能力大相径庭，对网站的下载做好控制，避免将网站抓死。

 

（2）网页抓全

 

            将互联网网页抓全，是极大的挑战，暗网暂且不提，就是明网抓全也不是容易的事情，新站发现，sitemap协议等用站长主动提交的支持等等。

 

（3）网页抓新（更新及时性）

 

            网页总在不断变化中，如何当网页变化后（更新，消亡）能够及时更新，实时性和死链率等是表征这方面工作的重要指标。

 

（4）网页重复抓取的避免

 

            为了及时捕捉网页的更新，对同一个网址必须经常去抓取，同样网络是一个网状结构，同一个网址可能被多次引用，这些都导致重复抓取的可能性，如果避免网页抓重，同时控制合理的更新频率，是非常关键的。

 

（5）DNS自动解析

 

            如果抓取每个网页都进行一次DNS解析，那成本就太大了，维护一个DNS自动解析系统，可以大大降低域名服务器的负担，且大大提高效率。

 

（6）镜像站点的识别

 

            网页内容相同，但域名不同