一、准备工作

首先我们应当具备以下工具与知识：

1.firefox

2.firepath、firebug

3.一定的Xpath知识

4.八爪鱼采集器

并且要求掌握Xpath1.0相关函数：

1.number()

2.string()

3.translate()

其他字符串处理函数：

1.substring-before()

2.substring-after()

具体相关函数使用请参照W3SXpath函数手册：http://www.w3school.com.cn/xpath/xpath_functions.asp

二、详细步骤

例子：http://news.takungpao.com/mainland/

1.首先我们拿firepath找到列表建立循环项，如图1：

图 1 循环列表的建立

Xpath：//*[contains(@class,'list-cont')]/li[contains(@class,'top_li')]

2.然后找到日期的HTML标签，如图2：

图 2 日期的HTML标签

Xpath：//*[contains(@class,'list-cont')]/li[contains(@class,'top_li')]//div[contains(@class,'dateTime')]

3.此时我们可以通过以下操作，将日期的字符串转化为数值进行值的大小判断以完成增量采集

1)利用translate函数将所在节点字符串处理成纯数字字符串：translate(text(),'-','')>20170416

2)通过number函数将字符串型转化为数值型：number(translate(text(),'-',''))

3)此时通过数值型进行大小比对即可，如图3，我们将25个nodes字符串转化为数值比大小后，满足条件的只有16个nodes：

图3 通过筛选完后的nodes

4.完成以上步骤后，我们就可以通过谓语判断进行增量采集了，每天只需要修改下判读的数值即可，将判断的数值进行自增即可完成增量爬取

三、对比

1.优点

相对于布隆过滤器数据字典的增量采集，优势是短小快，非常节约资源

2.缺点

依赖于格式化日期数据，如果所采集网站是以下几种例子，那么会为判断带来一些干扰，如图4、图5、图6：

图 4 今日头条日期

图 5 VR咨询单位数日期

图 6 VR咨询双位数日期

从图4可以看出，有时候会显示分钟，对于把日期处理成8位数的数值来说，这样的比较会带来较多的分支，另外从图6、图7可以看出，单位数日期处理后是6位数值，但是双位数日期处理后是7位数值，所以我们在应用这样的问题时需要同一处理成8位数值，这样就需要用编程技巧了，后续其他文章内容我们会补上

四、实战

此处我们使用八爪鱼采集器进行新闻日期的增量采集，具体值的判断和Xpath如下：

Xpath：//a[contains(@class,'a_time')][translate(string(text()),'-','')>20170520]/..

此处我们采集2017年5月20日以前的新闻，具体如图6所示：

图 6 不固定元素循环

图 8 采集结果

通过截图可以看到，已经完成我们想要的新闻爬虫增量采集了

八爪鱼下载地址

以上就是Xpath1.0，用Xpath完成新闻爬虫增量采集的例子，所举例函数是Xpath函数手册中关于字符串处理的相关函数，学会灵活应用变通，对我们做爬虫时能带来很多方便

Xpath1.0函数运用：使用八爪鱼采集器完成新闻爬虫增量采集