基于空间语义信息特征融合的目标检测与分割

高质量的特征表示可以提高目标检测和其他计算机视觉任务的性能.现代目标检测器诉诸于通用的特征金字塔结构以丰富表示能力,但是他们忽略了对于不同方向的路径应当使用不同的融合操作,以满足其对信息流的不同需求.提出了分离式空间语义融合(separated spatial semantic fusion,SSSF),它在自上而下的路径中使用通道注意模块(channel attention block,CAB)来传递语义信息,在自下而上的路径中使用具有瓶颈结构的空间注意模块(spatial attention block,SAB)来通过较少的参数和较少的计算量(相比于直接利用不降维的空间注意模块)将精确的位置信号传递到顶层.SSSF十分有效,并且具有很强大的泛化能力:对于目标检测,它可以将AP提高1.3％以上,对于自上而下的路径进行语义分割的融合操作,它可以将普通加和版本的AP提高约0.8％,对于实例分割,所提方法能够在所有指标上提高实例分割的包围框AP和掩膜AP.