神经网络Points Overview

整理了一下神经网络的一些知识点. 不是很全. 只是作为一个总结. 总结的时候发现, Keras.io 真的是一个很好的工具文档.

计算机视觉问题

1. 分类
   1. 衡量效果的Metrics
      1. Precision
      2. Recall
2. 目标检测(目标定位)
   1. 衡量效果的Metrics
      1. Precision, 按照pycocotools的算法计算Precision. 基本思想是用 IoU(0.5, 0.6, 0.7) 圈定预测正确的标准, 再统计True Positive, False Positive等. 另外, 根据目标的大小, 也划分了 Large, Medium, Small 三种不同类型的样本. 以便分析优劣.
      2. Recall
3. 语义分割(实例分割)
   1. 衡量效果的Metrics, 同目标检测的计算方法, 使用Pycocotools 提供的算法计算Recall.
4. 深度估计
   1. SILog. Scale invariant log error. 该衡量指标类似于世 Pixel Wise Mean Square Log Error. 但是添加了 惩罚项.

自然语言处理

1. 机器翻译
2. 阅读理解
3. Chatbot

Neural Network:

1. 全连接网络(Fully Connected Layer)
   1. 经典神经网络. 可用于简单的分类/回归问题
2. CNN
   1. 解决图像分类问题
      1. VGG-16 等开启了使用CNN解决计算机视觉问题的先河
      2. 图像分类问题, 贡献了极多的调参经验. 以及极多的Backbone Network
   2. 解决目标检测问题
      1. Faster RCNN 引入了 Anchor Points 概念 Two Stage Detection
      2. Yolo. One Stage Detection.
      3. SDD(Single Shot Detector) One Stage Detection
   3. 解决语义分割问题
      1. U-Net. 简洁有效, 运行速度快的分割模型
      2. Mask RCNN. 效果好, 但是参数多, 模型结构复杂, 运行速度较慢的 RCNN 网络.
   4. 基本要素:
      1. Step, Stride, Padding
      2. Pooling层, 有Max Pooling, Average Pooling
3. RNN
   1. RNN
   2. LSTM (Long Short Term Memory)
4. 神经网络的基本构造
   1. Feedforward 前向传播网络
      1. 激活函数
         1. ReLU
         2. Softmax
         3. tanh
         4. Sigmoid
      2. 网络结构. 网络结构包括 全连接, 卷积,
      3. 权重初始化
         1. Random Init
         2. Zero Init
         3. Xavier Init (A.K.A. glorot_normal)
         4. He Init
   2. Loss Function 损失函数.
      1. Cross Entropy
      2. Mean Square Error
      3. Mean Square Log Error
      4. Huber Loss
   3. Back Propagation 反向传播
      1. SGD
      2. Adagrade
      3. RSMProp
      4. Adam
   4. 正则化. 所有解决过拟合问题的方法, 都可以称之为正则化. Regularization.
      1. Dropout. 超参为Dropout Rate.
      2. L1 正则
      3. L2 正则
5. 神经网络的训练与调参
   1. Epoch. 训练集要训练多少遍.
   2. Batch Size, 理论上Batch Size越大越好, 但是也要考虑 内存与算力限制.
   3. Learning Rate

监督学习结果评估

1. Metrics
2. 过拟合与欠拟合分析.
   1. Bias 与 Variance 的概念. Bias 描述的是在某一个数据集(Train/Test/Validation) 上的准确率. Variance 描述的是在不同数据集之间准确率的差异.
   2. Bias 高, Variance 低, 说明欠拟合. Uderfitting
   3. Bias 低, Variance 高, 说明过拟合. Overfitting