Tensorflow 梯度裁剪--防止梯度爆炸

设置优化器:

optim = tf.train.AdamOptimizer(learning_rate=self.learning_rate)

计算梯度:

gradients = optim.compute_gradients(self.loss)

裁剪梯度:

clipped_gradients = [(tf,clip_by_value(grad, -5, 5), var) for grad, var in gradients if grad is not None]

应用裁剪后的梯度进行传播:

self.optim = optim.apply_gradients(clipped_gradients)

对你有帮助的话可以点击“喜欢”或者关注我,谢谢咯。

你可能感兴趣的:(Tensorflow 梯度裁剪--防止梯度爆炸)