tensorflow一维卷积输入_TensorFlow学习笔记(10):CNN文本处理(一维卷积)

在TensorFlow学习笔记(8):CNN实现中我们以图像处理为场景对卷积神经网络进行了介绍，包括了卷积操作和pooling操作的实现，其中卷积和pooling都采用了二维的操作，输入数据是四维的，shape = [batch, in_height, in_width, in_channels]，例如图像像素为28 * 28, RGB三色道表示，batch取100，那么shape = [100, 28, 28, 3]

在处理文本的时候，通常卷积操作的kernel的高度是固定的，与文本中每个字符的向量的长度相同，因此我们通常采用一维卷积来进行操作，例如下面的模型

在本文中，我们介绍如何对文本向量进行卷积和pooling，

1. 一维卷积操作

在tf.layers.conv1d中提供了一维卷积操作，参数如下所示

tf.layers.conv1d(

inputs,

filters,

kernel_size,

strides=1,

padding='valid',

data_format='channels_last',

dilation_rate=1,

activation=None,

use_bias=True,

kernel_initializer=None,

bias_initializer=tf.zeros_initializer(),

kernel_regularizer=None,

bias_regularizer=None,

activity_regularizer=None,

kernel_constraint=None,

bias_constraint=None,

trainable=True,

name=None,

reuse=None

)

其中几个重要的参数如下所示：inputs：3维的输入Tensor，每个维度分别表示(batch size, max sentence length, vector dimension)

filters: 表示filters的数量

kernel_size：表示卷积核的大小，卷积核其实应该是一个二维的，这里只需要指定一维，是因为卷积核的第二维与输入的词向量维度是一致的，因为对于句子而言，卷积的移动方向只能是沿着词的方向，即只能在列维度移动

strides: 表示步长，因为只能在词的方向移动，因此是一个整数，通常取1

activation: 表示激活函数，如果是None的话，就表示线性激活函数

padding：表示是否进行填充

2. 一维pooling

同样tensorflow中提供了一维的pooling操作，包括tf.layers.MaxPooling1D和tf.layers.AveragePooling1D，我们以MaxPooling操作来进行说明

__init__(

pool_size,

strides,

padding='valid',

data_format='channels_last',

name=None,

**kwargs

)

其中strides是整数，表示步长

pool_size是pooling窗口的大小

padding：表示是否进行填充

例如下面的代码实现了采用CNN进行文本分类的功能

# 首先对句子进行卷积

with tf.variable_scope('cnn'):

# shape (batch size, max sentence length, kernel nums)

feature_maps = tf.layers.conv1d(

inputs = self.char_embeddings,

kernel_size = self.hp.cnn_kernel_size,

filters = self.hp.cnn_kernel_nums,

padding = 'same',

use_bias = True,

activation = tf.nn.tanh,

name = 'convolution'

)

# 进行pooling

with tf.variable_scope('poolinig'):

# shape = (batch size, 1, kernel nums)

pooled_output = tf.layers.max_pooling1d(

inputs = feature_maps,

pool_size = self.hp.max_length_sentence,

strides = 1,

padding = 'valid',

name = 'max_pooling'

)

# 进行变换

# 然后用全联接网络计算概率

with tf.variable_scope('proj'):

W = tf.get_variable(

name = 'w',

dtype = tf.float32,

shape = [self.hp.cnn_kernel_nums, len(self.argument_role_vocab)]

)

b = tf.get_variable(

name = 'b',

dtype = tf.float32,

shape = [len(self.argument_role_vocab)],

initializer = tf.zeros_initializer()

)

# shape = (batch size, kernel nums)

output = tf.reshape(pooled_output, [-1, self.hp.cnn_kernel_nums])

# shape = (batch size, vocab_tags_nums)

self.logits = tf.matmul(output, W) + b

其中pooling是对每个feature map进行处理，因此我们选择了pool_size为feature map的长度，也就是句子的最大长度，这样得到的结果就是每个feature map中的最大值；然后进行维度变换，得到的结果就是图示模型中的样子