李宏毅机器学习——深度学习训练的技巧

神经网络训练的技巧

  • 优化失败的原因: 局部最小值鞍点,可以通过对H矩阵特征值正负性进行判断
  • batch:加快梯度的计算,更新参数的速度比较快
  • momentum: 越过局部最小值或鞍点
  • learning rate: 自动调整学习率如RMSProp等
  • normalization
  • dropout

你可能感兴趣的:(李宏毅机器学习——深度学习训练的技巧)