爬虫案例-小说网站爬虫开发（单线程&多线程，爬取并文件形式保存在本地）

1.需求分析

从http://www.kanunu8.com/book3/6879中爬取所有章节的网址，并将每一章节内容保存在本地文件夹中，一个章节对应一个txt文件。

2.相关技术

1. requests获取网页源码
2. 正则表达式获取需要的内容
3. 文件操作
4. multiprocessing 多线程爬虫

3.源代码（可直接执行）

import os
import requests
import re
import time
from multiprocessing.dummy import Pool

def get_html_source(web):
    '''
    requests获取网页源码
    :param web: 网页地址
    :return: 网页源码
    '''
    source = requests.get(web).content.decode('GB2312')
    return source

def get_chapter_html(html, start_url):
    '''
    获取每一章节的链接并存在列表中
    :param html: 目录页源代码
    :param start_url: 目录页网址
    :return: 每章链接
    '''
    chapter_html_list = []
    html_body = re.findall('正文(.*?)', html, re.S)[0]
    chapter_html = re.findall('href="(.*?)">', html_body, re.S)
    for h in chapter_html:
        chapter_html_list.append(start_url+'/'+h)
    # for i in chapter_html_list:
    #     print(i)
    return chapter_html_list

def get_article(html):
    '''
    获取每一章节的标题和正文内容
    :param html: 每一章节正文的源代码
    :return:
    '''

    title = re.search('', html).group(1)
    # print("="*66, '\n', title, '\n', "="*66)
    text = re.search('
(.*?)
', html, re.S).group(1)
    text = text.replace('
', '')
    # print("=" * 66, '\n', text, '\n', "=" * 66)
    return title, text

def sava_aticle(title, text):
    '''
    保存章节内容至本地文件中
    :param title: 章节标题，作为txt文件的文件名,str
    :param text: 正文内容，str
    :return: None
    '''
    file_path = os.path.join('animal_farm', title + '.txt')
    with open(file_path, 'w', encoding='utf-8') as f:
        f.write(text)
    print("Succeaaful save！")

def getArticle_and_Save(chapter_url):
    '''
    获取每一章节网页源码中的标题和正文，并保存在文件夹animal_farm中
    :param chapter_url: 章节的网页链接
    :return: None
    '''

    html_chapter = get_html_source(chapter_url)#获取网页源码
    # print(html_chapter)
    title, content = get_article(html_chapter)#获取标题和正文内容
    sava_aticle(title, content)#保存正文,以标题作为文件名保存在本地

def main():

    start_url = 'http://www.kanunu8.com/book3/6879'

    html = get_html_source(start_url)
    chapter_url_list = get_chapter_html(html, start_url)

    '''无线程和线程比较'''
    # start = time.time()
    # for u in chapter_url_list:
    #     getArticle_and_Save(u)
    # end = time.time()
    # print(f"The time for all work(Without thread):{end-start}")
    # # printing: The time for all work(Without thread):36.036535024642944

    start = time.time()
    pool = Pool(5)#定义5个线程
    pool.map(getArticle_and_Save, chapter_url_list)
    end = time.time()
    print(f"The time for all work(With thread):{end-start}")
    #printing: The time for all work(With thread):5.603085994720459
	

if __name__ == '__main__':
    os.makedirs('animal_farm', exist_ok=True)
    #构建文件夹，如果已经存在，则什么都不做
    main()#主函数

源码分析：
每次成功保存一个txt文件输出提示，控制台输出如下：
同时可以知道，多线程情况下（本代码设置的五个线程），运行时间为5.6，而单线程情况下时间为36.0，可以发现，多线程时间比1/5单线程时间多一点，那是因为多线程中，线程之间切换也需要一点点时间。

执行完代码后，在当前目录下多了一个animal_farm文件夹，如下：

参考书籍：谢乾坤.python爬虫开发：从入门到实践（微课版）