实时语义分割之BiSeNet

论文：BiSeNet: Bilateral Segmentation Network for Real-time Semantic Segmentation

Github：https://github.com/CoinCheung/BiSeNet

 

Face++

ECCV2018

 

论文提出了一个实时的语义分割网络结构Bilateral Segmentation Network (BiSeNet) 。以2048*1024的输入，在Cityscapes 数据集上取得了68.4% Mean IOU ，同时速度达到105 FPS。

 

论文贡献：

1. 提出了一个实时的语义分割结构，Bilateral Segmentation Network (BiSeNet) ，包含2个主干分支SP（Spatial Path ）和CP（Context Path ）
2. 设计了2个特殊的特征融合模块，Feature Fusion Module (FFM) 和Refinement Module (ARM)
3. 在Cityscapes 数据集上取得了68.4% Mean IOU ，同时速度达到105 FPS。

 

分割的网络结构对比：

（a）基于加速的考虑，对原始输入图片进行了resize操作。或者对网络结构进行剪枝。

（b）U-shape结构

（c）本文的BiSeNet结构

 

整体网络结构：

 

损失loss函数：

损失函数为softmax loss，其中Lp为主要的loss，Li为辅助的loss，K=3。

在训练过程中，只使用了辅助loss进行训练。

 

 

数据增强：

减均值（mean subtraction ），随机水平翻转（random horizontal flip ），随机训练尺度（random scale ），包括0.75, 1.0, 1.5, 1.75, 2.0 共5个尺度，随机裁剪（randomly crop ）

 

实验结果：

 

总结：

BiSeNet，一个实时，快速的，轻量的语义分割框架。