对话系统(三)- 优化方法

梯度下降

  1. 梯度下降
  2. 随机梯度下降
  3. mini-batch

momentum

RMSprop

adam

batch epoch iteration
  1. batch:每次去几个样本进行更新权重
  2. iteration:对batch进行多少次使用
  3. epoch:对完整数据进行多少次使用

你可能感兴趣的:(对话系统(三)- 优化方法)