基于高效的多尺度特征提取的轻量级语义分割

近来移动端视觉应用的发展激发了对轻量级语义分割技术的需求.尽管取得了十分辉煌的成就,当前轻量级语义分割模型仍存在精度不足、参数过多的问题.本文的目的在于开发一个具有少量参数的高精度分割模型.为此,本文基于以下观察提出了一种新的轻量级分割模型MiniNet:(1)语义分割依赖于多尺度特征学习;(2)下采样是加速网络推理和扩大卷积感受野的最有效方法;(3)网络深度和卷积通道数之间的良好平衡对于轻量级模型至关重要.具体来说,MiniNet采用空间金字塔卷积(Spatial Pyramid Convolution,SPC)模块和空间金字塔池化(Spatial Pyramid Pooling,SPP)模块作为多尺度特征学习的基本单元.此外,MiniNet将大多数网络层和操作放在较小的尺度上,即原始图像分辨率的1/16,而不是先前模型中常用的1/8尺度.MiniNet还设法平衡网络深度和卷积通道数.在没有ImageNet预训练的情况下,MiniNet在Cityscapes测试数据集上仅以211K参数和94.3fps的速度即可达到66.3％的mloU.