简单利用Python爬取豆瓣网某网页的出版社信息

真的有好久好久没有写博客了,今天就随便写一个吧,利用简单的Python知识爬取某网页的文本信息并写入到本地

代码如下


import urllib.request
import re

'''
豆瓣出版社信息爬取

实际上爬虫需要几个步骤:
        1.明确目标(要知道你准备在哪个范围或者网站去爬取数据)
        2.爬(将网站的全部内容爬取下来)
        3.取(从爬取的全部数据中取到有价值的信息,或者换一句话说,就是舍弃掉无用的数据)
        4.处理数据(按照我们想要的方式存储和使用,本地存储或者数据库存储)
        
        
北京邮电大学出版社
百花洲文艺出版社
电子工业出版社
''' # 爬取网页源代码 data = urllib.request.urlopen("https://read.douban.com/provider/all").read().decode("utf-8") # print(data) # 使用正则表达式,从源码中匹配出有价值的信息(出版社名称) pat = '
{.*?}
' result = re.compile(pat).findall(data) print(len(result)) print(result) # 将爬取到的出版社信息保存到本地 file = open("chuabnshe.txt","w",encoding="utf-8") for i in range(0,len(result)): file.write(result[i] + "\n") print("写入成功!") file.close()

 

你可能感兴趣的:(爬虫)