如何用python爬虫下载视频_用python做爬虫下载视频

用python有一段时间了,对python是十二分喜爱,在我看来python是个好工具,可以轻松简洁的帮我完成一些我想要完成的工作。下面和大家分享一下我用python爬取某网站视频的案例。用python去保存网站的视频,主要是为了后续的查看和备份。如果有需要做爬虫研究的同学可以一起探讨下。本文主要用到requests库和BeautifulSoup库。

1.抓取视频第一步,分析目标网站的地址

本文中我爬取的是X网站,这个网站需要登录,所以第一步是模拟网站登录,如果你抓取的网站是不需要登录的,可以忽略这一步。下面放上代码。

session = requests.session()

UA = "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.13 Safari/537.36"

header = {"User-Agent": UA}

session.post(login_url,headers=header,data={'phone':'***','password':'***'})

2.抓取视频第二步,分析页面当中的视频地址

查看视频地址的方法有很多,我用的是google的开发者工具,通过查看network,查看视频页面所请求的链接地址,然后根据视频页面url的get参数,找出请求视频地址二者之间的关系。放上network的截图视频页面实际的请求链接

3.抓取视频第三步,模拟请求视频地址,保存到本地,下面放上部分代码

#模拟请求视频页面

f = session.get('http://www.xxx.com/xxxxxxxxxxxx',headers=header)

用到BeautifulSoup库解析页面源代码当中的一些参数

soup = BeautifulSoup(f.content,'html.

你可能感兴趣的:(如何用python爬虫下载视频)