实战爬取起点中文网全部作品信息（基于lxml）

目标

爬取起点中文网全部作品前100页的信息，需要爬取的有小说名（title）、作者ID（author）、小说类型（style）、完成情况（complete）、摘要（abstract）和字数（words）。

网址

https://www.qidian.com/all

思路

（1）打开网址，手动浏览，发现第2页地址是：

https://www.qidian.com/all?orderId=&style=1&pageSize=20&siteid=1&pubflag=0&hiddenField=0&page=2

猜想这些字段是用来控制作品分类的，我们爬取的为全部作品，所以依次删除一些参数检查，发现将网址改为https://www.qidian.com/all?page=2后，也可以访问相同的信息，通过多页检验，证明了修改的合理性，以此来构造前100页URL。

（2）爬取相关信息

（3）将爬取的信息写入excel

在实际爬取过程中，发现字数在源码里显示的是

用老方法爬取时会报错，网上查了下，说是是 HTML、XML 等 SGML 类语言的转义序列（escape sequence）。它们不是「编码」。原谅我还是渣渣，暂时还没找到解决方法，所以先忽略字数。

具体代码如下：

import xlwt,time
from lxml import etree
import requests

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 \
(KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}

all_info_list = []      #初始化列表，存入爬虫数据

def getInfo(url):
    r = requests.get(url, headers=headers)
    selector = etree.HTML(r.text)
    infos = selector.xpath('//ul[@class="all-img-list cf"]/li')     #定位大标签，以此循环
    for info in infos:
        title = info.xpath('div[2]/h4/a/text()')[0]
        author = info.xpath('div[2]/p[1]/a[1]/text()')[0]
        style_1 = info.xpath('div[2]/p[1]/a[2]/text()')[0]
        style_2 = info.xpath('div[2]/p[1]/a[3]/text()')[0]
        style = style_1 + '.' + style_2
        complete = info.xpath('div[2]/p[1]/span/text()')[0]
        abstract = info.xpath('div[2]/p[2]/text()')[0].strip()
##        words = decodeHtml(info.xpath('div[2]/p[3]/span/span/text()')[0])
        info_list = [title,author,style,complete,abstract]
        all_info_list.append(info_list)     #数据存入列表

    time.sleep(1)   
    pass

if __name__ == '__main__':
    urls = ['https://www.qidian.com/all?page={}'\
            .format(str(i)) for i in range(1,100)]

    for url in urls:
        print('正在爬取'+url)
        getInfo(url)

    head = ['title', 'author', 'style', 'complete', 'abstract']    #定义表头 
    book = xlwt.Workbook(encoding='utf-8')  #创建工作簿
    sheet = book.add_sheet('Sheet1')        #创建工作表
    for h in range(len(head)):
        sheet.write(0, h, head[h])          #写入表头

    j = 1        #行数
    for li in all_info_list:
        k = 0    #列数
        for data in li:
            sheet.write(j, k, data)
            k += 1
        j += 1      #写入爬虫数据

    book.save('xiaoshuo.xls')       #保存文件
    pass

image