保特征的单幅图像三维网格重建

针对图像重建三维物体方法中存在无法保持物体尖锐特征的问题,基于深度神经网络,对输入单幅图像提出一种有效的保特征三维网格生成方法.对单幅输入图像使用VGG-16提取图像特征,并特别设计了图像边缘检测层获取物体的尖锐特征;将三维网格(初始为椭球)的顶点投影到特征图和边缘检测图上,以获得顶点局部特征,并判断其是否为尖锐特征点;然后,将局部特征和顶点位置串联输入到改进的图卷积神经网络(graph convolutional neural network,GCNN),对于非尖锐特征点采用普通GCNN,对于检测到的尖锐特征点采用0邻域图卷积神经网络(0-neighborhood GCNN,0N-GCNN),以期其尽量不被邻域顶点过度光滑;GCNN的输出预测了顶点的新位置和三维特征;最后,对网格的顶点及特征用Loop细分上采样.执行3次上述变形(二维特征投影、尖锐特征检测、GCNN变形、上采样)后,初始椭球最终变形为输入图像中物体模样.实验使用ShapeNet数据集,在PyTorch框架下实现,从定性和定量两方面与现有方法进行了比较.实验结果表明,在Chamfer距离和F-score两类定量指标上均优于大部分现有方法,而Chamfer距离和F-score(2?)的均值表现为最优.视觉比较也表明,文中方法可有效地提升特征保持性能.