python3.5爬虫-爬取微博某博主微博内容

想要爬取某个博主的微博数据。在网络上寻找了很多关于爬取微博内容的教程，发现有些教程比较老旧了，已经无法再用，有些教程在我这里出现一些问题，比如爬取移动端的微博需要获取登陆cookie，而我的谷歌浏览器却无法显示，如下图所示。最终发现一博主分享的源码，亲测可用。博客链接为：https://blog.csdn.net/qq_16546829/article/details/79511997

但是在程序调试的时候发现以上博客中的源码无法获取转发的微博的内容，红色框里的内容可以获取，绿色框里的内容得不到。如图：

那么如何获取绿色框中转发微博的内容呢？只需要增加下图红框中的代码，不要忘记在写入文件时将retweeted写进去。

调试过程中发现爬取200条左右的数据时，pycharm报错：http error 418（不知什么原因，希望有大佬可以指点一下）尝试的解决方案为：

在爬取完一页之后，程序休眠一会，也就是说发送请求不要太频繁。在大循环里添加

time.sleep(10)，如图：

虽然慢了一些，但是比较稳。爬取5000多条数据之后出现了新的报错：http error 502: Bad Gateway，从断掉的地方开始重新爬还是可以爬的，有懂的朋友或者大佬可以再评论里留言指导下，谢谢\(￣︶￣*\))

 

转载于:https://www.cnblogs.com/qiututu/p/10339381.html