利用requests库和正则表达式爬取猫眼电影

import requests
import re
import json
from requests.exceptions import RequestException
from multiprocessing import Pool   # 多进程包的引入

def get_one_page(url, headers):
    try:
        response = requests.get(url, headers)
        if response.status_code == 200:
            return response.text
    except RequestException:
        return None


def parse_one_page(html):
    pattern = re.compile('
.*?
(.*?).*?
.*?(.*?)
.*?(.*?)
.*?
',re.S)
    items = re.findall(pattern,html)
    #print(items)
    for item in items:
            yield {
                'name':item[0],
                'actor':item[1].strip()[3:],
                'time':item[2].strip()[5:]
            }
        # 构造成一个字典
# Python strip() 方法用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列。
# 注意：该方法只能删除开头或是结尾的字符，不能删除中间部分的字符。
def write_file(content):
    with open('maoyan.txt','a',encoding='utf-8') as f:
        f.write(json.dumps(content, ensure_ascii=False)+'\n')   # 将字典类型转化成字符串类型
# json.dumps()函数的使用将字典类型的数据转化成字符串类型的数据
#
def main(offset):
    url = 'http://maoyan.com/board/4?offset=' + str(offset)   # 动态改变url
    headers = {
        'User - Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'}
    html = get_one_page(url=url, headers=headers)
    for item in parse_one_page(html):
        print(item)
        write_file(item)

if __name__ == '__main__':
    for i in range(10):
     main(i*10)
    pool = Pool()  # 创建进程池
    pool.map(main, [i*10 for i in range(10)])
# 将数组中的每个元素提取出来当作函数的参数，创建一个个进程，放进进程池中

# 创建进程池
# pool = Pool()
# 第一个参数是函数，第二个参数是一个迭代器，将迭代器中的数字作为参数依次传入函数中
# pool.map(main, [i*10 for i in range(10)])