UV空间中的人脸颜色纹理和几何细节协同补全

当图像中的人脸存在较大角度的偏转时,由于自身遮挡,单幅图像3D人脸重建方法较难获取整张人脸的纹理和几何细节.考虑人脸纹理特征分布和几何细节的特征分布的双向关联特性,提出一种统一框架下的协同补全模型TDGAN.首先,将颜色纹理和几何细节映射到同一UV空间;然后,通过统一的生成对抗网络协同补全纹理与几何,并对这2部分信息分别设计全局与局部判别器,以实现纹理和几何的全局与局部一致性;最后,为了充分利用颜色纹理和几何细节共有特征,增加了一个纹理-几何一致性约束网络,从而得到高完整度和高一致性的颜色纹理与几何细节UV图.在当前最大3D人脸数据集FaceScape的实验表明,TDGAN比独立的UV空间补全方法能得到更高质量的补全结果.