python爬去百度百科词条_GitHub - leiphp/spider-baike: 简单爬虫框架:  爬虫调度器 -> URL管理器 -> 网页下载器(urllib2) -> 网页解析器(Bea...

实战案例爬取百度百科1000条词条数据

spider-baike

简单爬虫框架:  爬虫调度器 -> URL管理器 -> 网页下载器(urllib2) -> 网页解析器(BeautifulSoup) -> 价值数据 实战案例爬取百度百科1000条词条数据

运行项目

先切换到myblog文件夹,输入以下命令运行项目

D:\github_projects\spider-baike python spider_main.py

运行后的数据保存到output.html

特性

该实例用的是Python3.7

Python有哪几种网页解析器:

正则表达式、html.parser、Beautiful Soup、lxml

BeautifulSoup:

- Python第三方库,用于从HTML或XML中提取数据

- 官网:http://www.crummy.com/software/BeautifulSoup/bs4/doc/

安装并测试beautifulsoup4:

- 安装:pip install beautifulsoup4

- 测试:import bs4

如果PyCharm无法识别beautifulsoup4,则在设置里找到Python Intercepter这一项,改为python2.7版本即可。

预览

你可能感兴趣的:(python爬去百度百科词条)