关于FasterRCNN的思考问题解决

（1）关于最终可能得到300个proposal box，然后如果图片里面只有少数目标物体，如何把这300个proposal统一到这少数目标物体上面?

        

       首先解释im_info。对于一副任意大小PxQ图像，传入Faster RCNN前首先reshape到固定MxN，im_info=[M, N, scale_factor]则保存了此次缩放的所有信息。然后经过Conv Layers，经过4次pooling变为WxH=(M/16)x(N/16)大小，其中feature_stride=16则保存了该信息，用于计算anchor偏移量。

 

 

 

 

图12

缩进Proposal Layer forward（caffe layer的前传函数）按照以下顺序依次处理：

 

         

1. 生成anchors，利用[dx(A)，dy(A)，dw(A)，dh(A)]对所有的anchors做bbox regression回归（这里的anchors生成和训练时完全一致）
2. 按照输入的foreground softmax scores由大到小排序anchors，提取前pre_nms_topN(e.g. 6000)个anchors，即提取修正位置后的foreground anchors。
3. 利用im_info将fg anchors从MxN尺度映射回PxQ原图，判断fg anchors是否大范围超过边界，剔除严重超出边界fg anchors。
4. 进行nms（nonmaximum suppression，非极大值抑制）
5. 再次按照nms后的foreground softmax scores由大到小排序fg anchors，提取前post_nms_topN(e.g. 300)结果作为proposal输出。

 

           我的一些理解是：

     首先正常来说，由最后的40*60*256的特征图经过3*3*256*256的卷积核进行卷积过后，在特征图上的每个点都能得到一个256d的低维向量，而特征图上每个点可以对应9个anchor，所以经过特征图卷积过后得到大概40*60*9=21600个anchor，那么在256-d和cls layer之间使用一个1*1*256*18的卷积核，就可以得到cls layer，当然这个1*1*256*18的卷积核就是大家平常理解的全连接；在也就是经过该卷积的输出图像为WxHx18大小（注意第二章开头提到的卷积计算方式）。这也就刚好对应了feature maps每一个点都有9个anchors，同时每个anchors又有可能是foreground和background，所有这些信息都保存WxHx(9x2)大小的矩阵。为何这样做？后面接softmax分类获得foreground anchors，也就相当于初步提取了检测目标候选区域box（一般认为目标在foreground anchors中）。（W=40，H=90）

      所以这40*60*9个anchor经过卷积后会得到40*60*9*2个分数，而在softmax分类时需要进行fg/bg二分类，会得到foreground 和 background，然后根据上面的4个步骤对anchors进行处理，首先选择属于foreground的anchors，这样就会删掉一大部分anchors，然后再对这些属于foreground的anchors进行极大值抑制处理，这样基本就不会存在一个目标对应多个proposal的情况了，问题大概这样解决；

     其次非极大值抑制是：可以参照我的另一篇博客里面的介绍；

    

   （3）bounding boxes的大小问题，中心位置问题，大小如何确定？

      首先我认为这应该不存在所谓的中心点问题，整片论文里没有涉及中心点的问题，然后大小问题是根据anchor机制来解决的。

      论文中有一段是这样描述的：Fig.5图的下面

      our method detects objects of a wide range of scales and aspect ratios. Each ouput box is associated with a category label and a softmax score;

      

       

        原图的大小为800*600分别是上表对应的anchor大小的23倍、37.2倍、74.5倍、5倍、6.4倍、8倍、1.43倍、1.92倍、1.89倍，所以这些anchors可以覆盖原图任意大小的目标物体，然后根据 IoU 法则，选取其中的anchors作为 positive labels ：( i ) the anchor/anchors with the highest Intersection-over-Union ( IoU ) overlap with a ground-truth box,or (ii) an anchor that has an IoU overlap higher than 0.7 with any ground-truth box. 所以检测出物体大小的框是由anchor box来的，然后这些anchor box 框经过bounding box regression 调整大小适应细胞的大小，所以这个网络仅能识别某个区域内有细胞，然后具体细胞的大小是不知道的，也没有所谓的细胞中心点这么一说，得到的框只是把细胞给框出来，所以并得不到细胞真正大小的面积，也得不到中心坐标，所以训练只是学习细胞的特征，得到一个特征图，然后利用特征图上的每个点映射出9个anchors，然后根据这所有的anchors找出框出细胞的anchors，然后经过边界回归得到proposal，所以没有中心点这么说法，也没有细胞面积这么一说。