python爬虫我们该掌握哪些基本python用法

1.Python 基础语法一定要熟练

2.熟练操作 列表list 字典dict 元组tuple 集合set 之间相互转换

3.如何创建文件 读写文件 常见的文件类型 .txt .json

4.python高级特性  

       1.对 列表 元组 字符串 切片操作

       2.列表生成式

       3.yield关键字 生成器 如何使用

       4.弄明白列表 字典 元组 集合那些可组建迭代器

5.lambda表达式的妙用之处

6.map如何使用 如果你还会使用reduce函数高效处理数据那更好

7.sorted方法对列表里面的字典安装某一key属性来排序

8.装饰器如何使用 省赛出现过

9.正则表达式的基本使用    了解Urllib库基本使用

10.使用正则表达式对html源码进行解析 练习3-5个爬虫案例

11. requests使用get post方法区别

12.如何使用代理ip去访问目标网站 这里有一个测试网站http://httpbin.org

13. 在request模块下获取cookie 打印cookie

14.如何伪装headers和根据不同的data参数获取不同的服务器响应

15.使用beautifullsoup 解析网页源代码 练习3-5个爬虫案例

16.了解ajax工作原理 如何请求ajax接口获取json数据 服务器上3个题都是这个类型

把他做熟悉外加3个网站爬取，对json数据解析基本就过关了

17.利用xpath 解析网页源代码 练习5个爬虫案例

18.了解TCP协议编程 如何向flume source端口发送数据 

19.对先用初始url获取数据再递归构建url爬取网页进行单独训练 

20.对图片网站进行爬取，保存图片等