爬虫七之分析Ajax请求并爬取今日头条

爬取今日头条图片

这里只讨论出现的一些问题，代码在最下面github链接里。

首先，今日头条取消了“图集”这一选项，因此对于爬虫来说效率降低了很多；

在所有代码都完成后，也许是爬取下载次数太多，今日头条实行了反爬，目前还不知道解决办法。

使用json.loads(html)时报错：

json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 1 column 2 (char 1)

该问题在使用'replace()'后得到解决。

转载于:https://www.cnblogs.com/guiguiguoguo/p/11276143.html