基于多视角卷积神经网络的三维模型分类方法

近些年来,卷积神经网络框架在二维图像的语义分割、分类、检索等领域取得了非常好的效果.但是由于三维模型结构的复杂性与不规律性,卷积神经网络的卷积和池化操作却无法直接应用在三维模型上.为了发挥深度学习框架在二维图像分析领域积累的技术优势,本文采用基于多视角投影的方法来完成三维模型分类的任务.然而现有的基于多视角投影的三维模型分类方法大多采用固定视角,所采集到的多视角下模型投影渲染图中存在大量的信息冗余,对结果造成一定的干扰.本文提出了一种新型的多视角卷积神经网络框架,在网络训练过程中自动判别每个视角的贡献度,舍弃冗余视角的信息,从而提取出最能表征模型类别的特征,提高了网络的鲁棒性.此外,本文将基于视点熵的最佳视角选择方法引入三维模型分类领域,相比于固定视角方法,本文方法能更多地保留模型的细节信息,同时不需要模型的朝向对齐.通过在ModelNet10和ModelNet40数据集上的实验,验证了将基于视点熵的视角选择方法应用于三维模型分类,以及本文提出的基于视角判别的多视角信息融合方法的合理性和优越性.实验结果表明,本文方法的分类准确性也优于现有的基于固定多视角投影的三维模型分类方法.