TensorFlow2.0（五）：张量限幅

 

1 maxmium()与minmium()¶

 

maximum()用于限制最小值,也即是说，将一个tensor中小于指定值的元素替换为指定值：

In [2]:

import tensorflow as tf

In [3]:

a = tf.range(10)
a

Out[3]:

In [4]:

tf.maximum(a, 4)

Out[4]:

In [12]:

b = tf.random.uniform([3,4], minval=1, maxval=10, dtype=tf.int32)
b

Out[12]:

In [13]:

tf.maximum(b, 4)

Out[13]:

 

minium()方法与maximum()方法想法，用于限制一个tensor的最大值，即将tensor中大于指定值的元素替换为指定值：

In [14]:

tf.minimum(a, 6)

Out[14]:

In [15]:

tf.minimum(b, 6)

Out[15]:

 

如果要同时限制一个tensor的最大值和最小值，可以这么做：

In [16]:

tf.minimum(tf.maximum(b,4),6)

Out[16]:

 

这种同时调用minmium()和maxmium()的方法不够便捷，所以TensorFlow中提供了clip_by_value()方法来实现这一功能。

 

2 clip_by_value()¶

 

clip_by_value()底层也是通过调用minmium()和maxmium()方法来实现同时限制最大值、最小值功能，我们现在来感受一下：

In [17]:

b

Out[17]:

In [18]:

tf.clip_by_value(b,4,6)

Out[18]:

 

3 relu()¶

 

relu()方法将tensor最小值限制为0，相当于tf.maxmium(a,0),注意，relu()方法在tf.nn模块中：

In [19]:

a = tf.range(-5,5,1)
a

Out[19]:

In [20]:

tf.nn.relu(a)

Out[20]:

In [21]:

b = tf.random.uniform([3,4],minval=-10, maxval=10, dtype=tf.int32)
b

Out[21]:

In [22]:

tf.nn.relu(b)

Out[22]:

 

4 cli_by_norm()¶

 

cli_by_norm()方法是根据tensor的L2范数（模）和给定裁切值按比例对tensor进行限幅。这种方法可以在不改变方向的前提下，按比例对向量进行限幅。 我们先手动实现这一过程，先定义一个向量：

In [23]:

a = tf.random.normal([2,3],mean=10)
a

Out[23]:

 

然后求这个向量的L2范数，也就是向量的模：

In [24]:

n = tf.norm(a) 
n

Out[24]:

 

向量处理模，就可以将向量缩放到0到1范围：

In [25]:

a1 = a / n
a1

Out[25]:

 

对向量限幅时，例如限制在10范围内：

In [29]:

a2 = a1 * 10
a2

Out[29]:

 

clip_by_norm()方法实现的就是上述步骤：

In [30]:

tf.clip_by_norm(a,10)

Out[30]:

 

当然，cli_by_norm()方法内部还做了一个判断：如果给定的裁切值大于tensor的模，那就不会去对tensor进行修改，依旧返回tensor本身。继续上面例子，a的模为25.625225，如果给定的裁切值大于这个值，就不会对a进行限幅：

In [31]:

tf.clip_by_norm(a,26)

Out[31]:

 

5 clip_by_global_norm()¶

 

在梯度更新等诸多场景中，需要同时综合多个参数（tensor）进行梯度更新，这时候，clip_by_norm()就满足不了需求了，所以就有了cip_by_global_norm()方法。cip_by_global_norm()方法限幅原理与clip_by_norm()是一样的，都是综合范数和给定的裁切值进行限幅，不同的是，cip_by_global_norm()方法方法计算范数时是综合给定的多个tensor进行计算。

 

注：clip_by_global_norm()方法用于修正梯度值，控制梯度爆炸的问题。梯度爆炸和梯度弥散的原因一样，都是因为链式法则求导的关系，导致梯度的指数级衰减。为了避免梯度爆炸，需要对梯度进行修剪。

 

以下面三个向量为例，同时进行限幅：

In [52]:

t1 = tf.random.normal([3],mean=10)
t1

Out[52]:

In [53]:

t2 = tf.random.normal([3],mean=10)
t2

Out[53]:

In [54]:

t3 = tf.random.normal([3],mean=10)
t3

Out[54]:

In [55]:

t_list = [t1,t2,t3]

 

首先计算全局L2范数,计算公式为： global_norm = sqrt(sum([L2norm(t)**2 for t in t_list]))

In [56]:

global_norm = tf.norm([tf.norm(t) for t in t_list])

 

假设给定裁切值为25：

In [57]:

[t*25/global_norm for t in t_list]

Out[57]:

[,
 ,
 ]

In [58]:

tf.clip_by_global_norm(t_list,25)

Out[58]:

([,
  ,
  ],
 )

 

计算结果是一样的，不过clip_by_global_norm()返回两个值，分别是各向量限幅后的返回值列表、全局范数。