编写程序

一、count（）方法

（1）python中的count（）方法：统计字符串中子字符串的出现次数，统计列表中相同元素的出现次数。python中生成器不能用该方法。

（2）mongodb中collection的count（）函数：统计条目数。在pymongo生成器可采用该方法。

二、pymongo把字典保存到mongodb后，字典中会自动添加一个mongodb的id键值对。

三、BeatifulSoup的find（）与find_all（），python自带的find（）和mongodb的find（）

（1）find（）的参数依次为（标签名，标签属性），返回一个标签（可多重嵌套）或None；

（2）find_all（）的参数依次为（标签名，标签属性），返回一个标签列表或者空列表[]；

（3）soup.find('head').find('title')可简写为soup.head.title。

（4）python的find（）是字符串对象的方法，用于查找子字符串，返回第一个字串出现的位置或-1（字串不存在）。

（5）mongodb的find（）是列表对象的方法，接收字典参数，键值对为所要查找条目键值对，用于查找条目，返回True

四、在引用其它py文件或其函数，列表，变量等等时，如果运行主程序，被引用的py文件中的可执行语句也会被执行，因此，所有的py文件都应该封装好再在主程序中引用。

五、requests抛出错误，达到最大连接次数仍然无法连接成功，说明对网站请求频率过高，应延长请求的时间间隔。

六、dict添加新的键值对用字典的setdefault（键，值）方法。

七、list和dict可以通过pop（位置）删除该位置的元素。

八、mongodb的查询方法find（）与find_one（）

find（）方法成功找到符合条件的记录则返回一个生成器（实质是停留在符合条件记录的集合的第一条记录位置的cursor），用list方法转化为列表后，如果该存在符合条件的记录，则生成一个列表，否则生成一个空列表。

find_one（{查询键值对}，{显示字段：0表示不显示or1表示显示，其余默认不显示，'_id'默认显示}）返回查询到的第一条。

特别注意：

（1）只返回第一条，没查询到返回null。

（2）find_one第二个参数留空则返回一条完整的记录。

九、BautifulSoup可以寻找下一个标签和内容，分别是next_sibling方法和next_element方法。

程序运行

中断常见原因：

（1）数组越界，BeautifulSoup没成功抓取，尝试按标签列表处理时出错。处理方式：所有抓取到的数据都要进行判断分析。

如果BautifulSoup的select方法没成功抓取，它会返回一个空列表[]，空列表的bool值为False，通过代码：

if []:

run part1;

if not []:

run part2

可以进行正反判断。

（2）编码出错，所有需要保存的数据（写入文件或者写入数据库）都要先用encode('utf-8')编码为utf-8码再保存，读取时用decode解码为unicode码（大部分编程界面码）。为了避免出现类似错误，还可以将pycharm的程序编码设置为‘utf-8’。

编码错误有两个问题：

如果抓取的内容是utf-8编码的，抓取到后如果要在cmd运行界面print出来，有时就会报错：

UnicodeEncodeError: 'gbk' codec can't encode character

这个呢，并不是程序的编码有问题，问题是出在操作系统的默认编码上，windows的默认编码是‘gbk’，对有些unicode码并不能显示。

处理方法：不要设置print，直接将数据保存到mongodb数据库中。或者将数据用utf-8方式encode为bytes保存到mongodb中，不过这样查询起来非常不方便，因为都是bytes符号。建议采取第一个方式。

（3）网站达到最大连接次数仍无法成功连接，抓取动作太频繁，保存数据隔一段时间再抓。