tensorflow loss

 

 

 

tf.losses.get_total_loss函数

tf.losses.get_total_loss(
    add_regularization_losses=True,
    name='total_loss'
)

定义在：tensorflow/python/ops/losses/util.py。

返回一个张量，其值代表总loss。

特别的是，这增加了您使用tf.add_loss()在层构造器上通过正则化参数添加的任何正则化损失所增加的任何loss，例如，tf.layers。如果您手动构建一个loss_op，请务必使用此选项。否则关于tf.layers方法的正则化参数将无法正常工作。

参数：

• add_regularization_losses：一个布尔值，指示是否在总和中使用正则化损失。
• name：返回张量的名称。

返回：

返回一个Tensor，它的值代表总loss。

可能引发的异常：

• ValueError：如果losses不可迭代。

 

 

l2_loss()这个函数的作用是利用L2范数来计算张量的误差值，但是没有开发并且只取L2范数的值的一半

函数：

tf.nn.l2_loss( t,name =None)

 

 

 

参数：

t：一个张量(tensor)，类型可以为：half, bfloat16, float32, float64

name：op的一个名字，即为这个操作取个名字

作用：不使用sqrt计算张量的L2范数的一半

输出：

一个tensor，数据类型和t相同，是一个标量

计算公式：

output = sum(t**2)/2

简单的可以理解成张量中的每一个元素进行平方，然后求和，最后乘一个1/2

 

l2_loss一般用于优化目标函数中的正则项，防止参数太多复杂容易过拟合(所谓的过拟合问题是指当一个模型很复杂时，它可以很好的“记忆”每一个训练数据中的随机噪声的部分而忘记了要去“学习”训练数据中通用的趋势)

 

例子：

#coding:utf-8

import tensorflow as tf

x = tf.constant([1,2,3],dtype=tf.float32)

with tf.Session() as sess:

    print(sess.run(tf.nn.l2_loss(x)))

 

结果输出：

7.0

计算的过程:

1/2(1**2+2**2+3**2) = 1/2(1+4+9) = 7.0

 

题外话：

正则化的基本思想是向损失函数添加一个惩罚项用于惩罚大的权重，隐式地减少自由参数的数量，所以可以达到弹性地适用不同数据量训练的要求而不产生过拟合的问题。

正则化方法是将惩罚因子加入到各层的参数或激活函数中。其实现位置通常是在模型的optimization里，在计算损失函数时将该惩罚因子加进去。

先占个坑，项目完事慢慢补充