TextBoxes++论文解读

最近拜读了白翔老师等的巨著TextBoxes++，现给出我看完论文之后的理解，和大家一起研究研究，小女子才疏学浅，如有错误，请多多指教，望不要嫌弃！（没有大片时间来写，可能需要一段时间完成）

大家知道我们所知道的目标检测检测的目标框默认是矩形框，常见的物体检测，这种矩形框检测可能对物体识别的影响不是很大，但在图像中文字检测识别来说，检测非矩形框的文字区域对后面的识别是非常重要的，这篇论文就是给出了任意四边形（或者倾斜矩形）的文字区域检测方法，该方法是基于SSD实现的，要想理解该论文，建议先看懂Faster RCNN、SSD等（先理论，后代码，在理解上有点点区别，建议都要看）。下面正式开始这篇论文的解读：

摘要：

场景文本检测是场景文字识别中不可或缺的一步，也是具有挑战性的一步；与一般物体检测相比，难点在于场景中的文字方向多变、多种比例、字小；该论文提出了TextBoxes++，检测任意方向的场景文本，具有很高的accuracy和efficiency: 在1024*1024的ICDAR 2015上 f-measure = 0.817 且速度上达到11.6 fps,........(作者给出的源码：https://github.com/MhLiao/TextBoxes_plusplus)

Introduction、Related works:

略

TextBoxes++

A. 概要：

TextBoxes++建立在一个端对端的全卷积网络上，能够检测任意方向的文本，实在SSD的基础上改进的。该论文通过四边形或者倾斜的矩形（oriented rectangles）来表示图像中文本区域，在SSD的各个输出层后面通过预测回归（edefalut boxs------类似Faster RCNN中的anchor-----到四边形或倾斜的矩形）从而检测任意方向的文本区域。另外：该论文中使用了密集的default box来更好的检测文本，并且由于文本区域的特点，使用了长卷积核来更好的提取文本特征。

B_1. 网络结构

如上图（盗的，不重要*_*），和SSD类似，使用VGG作为base_network，将fc6、fc7都换成卷积层，再在后面加上几个卷积层，我们知道SSD在6个不同的卷积层的feature maps上做检测从而达到检测不同尺度的物体的目的，这里类似（具体做法，在各个输出卷积层后面连接一个用于检测的卷积层并输出各个default box的类别----这里是包含text的概率-----以及box位置偏置信息）。

B_2 .  default box ( 本文最重要的地方 )

TextBoxes++最重要的部分就是text-box layer (  就是6个卷积的feature map后加上的用于检测的卷积层；和SSD的区别在于: 1、卷积核大小由 3*3 变为3*5；2、SSD的输出是每个box的类别信息以及4个位置偏置信息（x,y,w,h，就可以计算真实box（矩形）位置），而这里类别信息就1个类别， 位置输出为14或11，原因在后面讲 )。

Text-box layer在feature map的基础上预测每个box的文本存在概率（text presence）和box信息，位置信息输出包括：倾斜的矩形框（或者四边形），以及包含倾斜矩形的最小的水平方向的矩形框；通过预测每个default box（水平方向矩形）到四边形等的回归信息得到到。

首先，假设表示default box，相对应的四边形表示方法为：（便于后面IOU），倾斜的矩形表示为：,其中，是default box的中心点，是default box的宽度和高度，四边形和矩形表示的计算方法如下：

     四边形左上角坐标

     四边形右上角坐标

     四边形右下角坐标

     四边形左下角坐标

 

     倾斜矩形左上角坐标

     倾斜矩形右上角坐标

   倾斜矩形高度

然后，在每个feature map后的text-box layer将预测每个box上的文本存在概率以及位置偏置（offsets, 至于为什么是偏置，而不是直接坐标点的值，这个我将会在另一片博客中解释---------Faster RCNN论文及代码解释）,如果检测四边形，输出值为：，检测倾斜矩形时，输出值为：。则， 检测到的最小矩形和四边形(或倾斜矩形)为：

 

 

在训练阶段，default box与Groud Truth计算得到真实值，然后通过真实值和预测值之间的差距计算LOSS值。

 

 

如果该博客对你有用，点个赞（*—*）