python爬取网页异步数据

java是块砖哪里需要哪里搬，由于公司python人员紧张，老板让我去学python,做点python任务。于是我开始去学python。先去下载个开发工具vsCode和python3.6.8。老板给布置了个小任务，就是爬我们公司官网的数据保存到mysql数据库中。先爬取一下简单网页吧，随便搜点文章，照搬运行一下可以的。网页爬起来很轻松。去拿百度，淘宝数据很容易。然后我去拿官网数据，发现很多数据拿不到

不太对啊，在网页上看数据很多的啊，百思不得其解。这BTC/USDT怎么获取不到，获取不到我怎么保存。

然后我去找了其它很多例子，最后发现百度，淘宝，京东网站数据都能拿到。我们自己官网这么坑爹啊，难道是做了反爬虫，不对啊，反爬虫的话，怎么能获取title。要么数据都获取不到要么数据都能获取。直到我网上看了一篇python异步获取网站数据

参考链接https://zhuanlan.zhihu.com/p/43451647

看完文章，我按照文章倒腾半天，终于获取了想要的数据

主要解决大概是这几步

1. 你只要打开network，选择XHR
2. 再在网页上执行这些特定的操作，你就能监测到异步加载返回的数据（下文会称作为“XHR对象”）
3. 然后查看headers得到url

最后顺便给点我们老板给我的学习python的网站

https://www.runoob.com/python/python-mysql.html
https://www.python.org/
https://codingpy.com/books/thinkpython2/index.html
http://c.biancheng.net/python/
https://www.liaoxuefeng.com/wiki/1016959663602400/1017063413904832

https://www.cnblogs.com/sky-chen/p/11090975.html
https://www.cnblogs.com/sunBinary/p/10931697.html