VALSE Webinar 弱监督图像理解专题

一、弱监督检测、定位和实例分割

叶齐祥（中国科学院大学）

二、弱监督语义分割

程明明（南开大学）
challenge：在训练的时候没有图像像素(pixel)与输入的keywords（image-level label）直接的对应关系，怎样建立起二者之间的联系。
现有提供的工具（类别无关的）：

1. salient object，edges
2. image segmentation(grouping)传统图像分割
3. salient instances
4. attention map(CAMs)

所做工作：
1.利用显著性物体检测，确定物体位置信息。
STC: A Simple to Complex Framework for Weakly-supervised Semantic Segmentation, IEEE TPAMI, 2017.
由简单（单个物体）到复杂（多个物体）
2.利用CAM, attention map（定位很准，但不全面）
Object Region Mining with Adversarial Erasing: A simple Classification to Semantic Segmentation Approach, IEEE CVPR, 2017.
通过迭代的擦除生成的attention map，训练分类网络，然后再将这些区域拼起来。
Adversarial complementary learning for weakly supervised object localization, IEEE CVPR, 2018.
将原来的在原图上擦除改为在特征图上擦除。
Self-Erasing Network for Integral Object Attention, NureIPS 2018.
通过将得到的attention map分为三个区域（确信的前景，确信的背景，中间区域），将扩展过程约束在一定的范围。
3.利用salient instance（类别无关的）
Associating Inter-Image Salient Instances for Weakly Supervised Semantic Segmentation, ECCV 2018.
显著性实例+图划分

Panel discussion

1. 弱监督图像理解目前或者在不久的未来是否存在杀手级应用？
   Ans：减少人类的标注工作，和active learning结合起来。
2. 弱监督算法性能能否逼近全监督算法的性能？
   Ans：弱监督极限肯定是全监督，可以和全监督结合起来，一部分弱监督，一部分全监督。
3. 未来弱监督图像理解的主要技术方向是什么？
   Ans：在分割时expand的约束（利用edge）；如何利用已有知识，降低对标记数据的依赖；一个是从求解问题方面来做，一个是和其他领域结合，比如active learning；可理解的弱监督学习（可理解，可解释）；
4. 如何看待GAN技术在弱监督图像理解中的作用？
   Ans：noise label；一个有目标，一个没有目标，然后一减；利用GAN指导数据生成
5. 目前的弱监督物体检测、语义分割主要是基于图像的，视频中的时序信息对于弱监督视觉理解会带来哪些机遇和挑战？
   Ans：能move的东西，boundary自然就产生了；基于很多，能超越基于图像的
6. 如何看待基于混合监督的图像理解方法，如：部分数据有弱监督标记、少量样本有全监督标记、甚至部分样本存在标记缺失的情况
   从机器学习建模的角度（？）；