python 目录

目录

1. python(列表，字典，元组，集合）

   1. 列表——创建、增、删、改、差、效率
   2. 字典——创建、增、删、改、查
   3. 元组——创建、删、查
   4. 集合——创建、增、删、(并、交、差、反差、子、超)集

2. python文件操作

   1. 文件读取
   2. 文件写入
   3. 文件追加
   4. 其他操作——tell、seek、flush
   5. 去掉空白行

3. python函数

   1. *args和**kwargs
   2. 形参顺序
   3. 命名空间——执行顺序，取值顺序
   4. 当参数为可变类型的坑
   5. global和nonlocal

4. python装饰器

   1. 装饰器
   2. 标准装饰器
   3. 彻底还原-warps
   4. 带参数装饰器
   5. 多个装饰器装饰同一个函数—俄罗斯套娃

5. python闭包、匿名函数和内置函数

   1. 闭包
   2. 匿名函数
   3. 匿名参数形参作用域引用问题
   4. 内置函数

6. python迭代器和生成器

   1. 可迭代对象
   2. 迭代器
   3. 生成器
   4. 生成器表达式-列表推导式
   5. 生成器表达式
   6. 字典推导式
   7. 集合推导式

7. python return注意事项

   1. 不可变数据类型返回值
   2. 可变数据类型返回值
   3. 集合运算符

8. python常用模块

   1. collections
      1. namedtuple
      2. deque
      3. OrdereDict
      4. defaultdic
      5. Counter
   2. random
   3. time
   4. datetime
   5. os
   6. sys
   7. json
   8. pickle
   9. hashlib
   10. hmac
   11. re
   12. shutil
   13. logging

9. python pymysql操作mysql

   1. 连接数据库
   2. 增删改查
   3. sql注入

10. python 面向对象

    1. __init__和self
    2. 继承
    3. 封装
    4. 多态
    5. 抽象类
    6. super()
    7. 装饰器
       1. propetry
       2. classmethod
       3. staticmethod
    8. 反射
    9. 内置双下划线方法
       1. __new__   单例
       2. __call__
       3. __len__
       4. __str__和__repr__
       5. __getitem__ ，__setitem__， __delitem__
       6. __enter__，__exit__，__with__
       7. __eq__
       8. __hash__

11. python 网络编程

    1. 网络基础
    2. 网络开发架构
    3. osi五层协议
    4. tcp和udp
    5. 粘包—tcp
    6. 文件传输
    7. sockersever

12. python 并发编程

    1. 操作系统的历史
    2. 进程
    3. 线程
    4. 并发和并行
    5. 同步和异步
    6. 阻塞和非阻塞
    7. 同步/异步与阻塞/非阻塞
    8. 进程相关代码
       1. multiprocessing 模块
       2. 守护进程
    9. 锁
    10. 队列
    11. 生产者和消费者模型
    12. 进程数据共享问题
    13. 在Cpython中的多进程
    14. 线程代码
        1. threading模块
        2. 守护线程
        3. 线程数据不安全的现象
        4. 线程锁
        5. 单例模式的线程锁
    15. 递归锁
    16. 死锁的现象
    17. 队列
    18. 池
    19. ThreadPoolExecutor线程池
    20. ProcessPoolExecutor进程池
    21. 获取任务结果
    22. map
    23. add_done_callback回调函数
    24. 协程
    25. 切换并规避io的两个模块
        1. gevent
        2. asyncio

13. django 下载、创建、简单配置

    1. 下载djangp
    2. 命令行操作
       1. 创建django项目和app
       2. 创建的项目文件介绍
       3. 运行项目
    3. pycharm操作
       1. 创建项目
       2. 创建app
       3. 运行项目
    4. 简单配置
       1. settings中添加app
       2. 添加路由
       3. 写对应函数与路由对应
       4. 时区设置
    5. admin后台管理页面
    6. 兼容问题

14. django记录一基本配置、模板和单表查询

    1. 路由系统
       1. urls.py配置
       2. url别名反向解析、url分发路由
    2. 视图views
       1. 请求相关(request——HTTPRequest对象)
       2. 响应相关
       3. FBV和CBV
       4. CBV中的dispatch做中间件
       5. FBV加装饰器
       6. CBV加装饰器
    3. 模板
       1. 语法
       2. 深度查询(.)
       3. 常用过滤器
       4. for循环过滤标签
       5. for循环其他方法
       6. if 标签
       7. with 标签
       8. csrf_token
       9. 模板继承
       10. 组件
       11. 自定义标签和过滤器
           1. 自定义过滤器
           2. 自定义标签
           3. inclusion_tag
       12. 静态文件配置

15. django记录二 orm

    1. settings配置数据库连接
    2. 项目下的__init__配置
    3. models.py 字段创建和表关系创建
    4. 创建表
    5. migrations文件夹相关介绍
    6. 常用字段和参数
    7. 表单操作
       1. 增
          1. 通过外部文件方式操作django的models
       2. 删
       3. 改
       4. 基本查询
       5. 双下划线模糊查询

16. django记录三 orm多表查询​​​​​​​

    1. orm多表关系的增删改查
    2. 创建数据
    3. 增
       1. 一对一
       2. 一对多
       3. 多对多
    4. 删
    5. 改
    6. 查
       1. 基于对象的跨表查询——类似于子查询
       2. 基于双下划线的跨表查询——连表join
       3. 聚合查询
       4. 分组查询
       5. F查询和Q查询
       6. orm执行原生sql语句
       7. orm查询的坑——分组
    7. 事物和锁

17. django记录四cookie和session

    1. cookie
    2. cookie的规范
    3. django中的cookie
       1. 参数
    4. session
    5. django中的session
       1. django中session的配置（settings）

18. django记录五 中间件​​​​​​​

    1. settings的中间件
    2. django请求生命周期
    3. 自定义中间件
    4. 中间件可以定义的五个方法
       1. process_request
       2. process_view
       3. process_exception
       4. process_template_response
       5. process_response

19. django记录六 Form、ModelForm和modelformset_factory

    1. django form组件
    2. 基本示例forms
    3. form常用字段和插件
       1. initial——初始值，input框里面的初始值。
       2. error_messages——重写错误信息。
       3. password
       4. radioSelect——但radio值为字符串
       5. 单选Select
       6. 所选Select
       7. 单选checkbox
       8. 多选checkbox
       9. date类型
       10. choice字段注意事项
       11. Form所有内置字段
       12. 字段校验
           1. RegexValidator验证器
           2. 自定义验证函数
       13. Hook钩子方法
           1. 局部钩子——clean_字段名称
           2. 全局钩子——clean
    4. ModelForm
       1. 批量添加样式：和form的一样
       2. ModelForm的验证
       3. save()方法
    5. class Meta下常用参数
    6. modelformset_factory

20. django url编码

21. django自己实现分页（拿来即用）

22. ajax​​​​​​​

    1. ajax特性
    2. 上传文件
       1. form上传文件
       2. ajax上传文件
       3. view处理上传文件
    3. ajax过csrf_token认证的三种方法
    4. 请求头ContentType

23. python 爬虫初识​​​​​​​

    1. Anaconda 集成环境
    2. 爬虫定义
    3. 爬虫分类
       1. 通用爬虫
       2. 聚焦爬虫
       3. 增量式爬虫
    4. 反爬机制
    5. 反反爬策略
    6. 爬虫合法么？
    7. requests模块
    8. 动态加载页面爬取
    9. post请求
    10. 爬取豆瓣电影标题和介绍  https://movie.douban.com/j/chart/top_list
    11. 爬取肯德基地址  http://www.kfc.com.cn/kfccda/storelist/index.aspx

24. 爬虫数据解析

    1. ip代理
    2. HttpConnectionPool
    3. 数据解析
    4. 数据解析实现的方式
       1. 正则  
       2. bs4
       3. xpath（通用性最好）
       4. pyquey
    5. 数据解析的通用原理
       1. 通过正则爬个糗事百科视频  https://www.qiushibaike.com/video/
    6. bs4解析原理
       1. 通过beautifulSoup下载个三国  https://www.shicimingju.com/book/sanguoyanyi.html
    7. xpath解析原理
       1. 通过xpath爬个糗事百科 https://www.qiushibaike.com/video/
       2. 管道符的使用
    8. 解决中文乱码

25. python爬虫  代理、cookie的处理和模拟登陆

    1. 代理
       1. 匿名度
       2. 类型
       3. 一些免费代理地址
    2. cookie
    3. 模拟登陆
       1. 验证码识别
       2. 超级鹰使用（客服服务好）
       3. 爬取案例：古诗文网模拟登陆 https://www.gushiwen.org/

26. python爬虫 aiohttp实现并发和selenium模块

    1. 利用单线程+多任务协程
    2. selenium模块在爬虫中的使用
    3. selenium基本使用
    4. selenium动作链使用
    5. 爬个动态加载数据的网站  http://125.35.6.84:81/xk/
    6. 12306模拟登录——图片点击 https://kyfw.12306.cn/otn/login/init
    7. 无头浏览器设置
    8. 规避selenium检测

27. Scrapy框架​​​​​​​

    1. Scrapy介绍和环境安装
    2. 创建工程
    3. scrapy的数据解析
    4. scrapy的持久化数据
    5. 基于终端指令的持久化存储
    6. 基于管道持久化存储
    7. 基于Spider父类进行全栈数据的爬取
    8. scrapy的请求传参
    9. scrapy bytes类型数据处理
    10. 爬取虎牙直播 主播相关信息 https://www.huya.com/g/1663

28. Scrapy框架 五大核心组件和中间件

    1. 五大核心组件的工作流程
    2. scrapy的中间件
       1. 爬虫中间件
       2. 下载中间件

29. CrawlSpider全栈数据爬取​​​​​​​

    1. CrawlSpider介绍和使用流程
       1. 爬取阳光热线问政平台 http://wz.sun0769.com/political/index/politicsNewest?id=1&page=

30. 爬虫 分布式和增量式​​​​​​​

    1. 分布式流程配置
    2. 增量式
       1. 爬取4567电源 https://www.4567kan.com/frim/index6.html
       2. 爬取糗事百科

31. Fiddle抓包工具​​​​​​​