在使用深度神经网络对不完整三维形状进行补全时,有两个重要的挑战:
(1)缺失部分的歧义性,不完整模型的缺失部分的补全通常具有歧义性,特别是用户在建模软件中进行建模时,补全的结果实际上可以具有不同的形态。如,为建模生成一个椅子模型,当建模师仅完成椅子背和椅子座部分的建模时,余下的椅子腿的补全可以由多种不同形状的椅子腿来解释。
(2)监督数据获取的困难性,为了获取监督数据来训练深度神经网络,对每个不完整三维形状??手动建模生成其对应的一个或者多个完整形状的代价极大。因此,已有的基于深度神经网络的三维形状补全方法主要依赖于从完整的三维模型中模拟合成不完整形状数据的方式来生成相应的训练监督数据对。然而,由于数据分布的差异性,使用模拟合成数据训练的深度神经网络往往无法很好地泛化到实际生产环境中所产生的不完整数据。并且,已有的这些方法仅能补全生成单个完整的形状,忽略了缺失部分的歧义性。
设计了一个条件对抗生成网络,在这个神经网络中,一个生成器以一个不完整形状为输入,并以一个从完整形状的多模态分布空间中采样的模态向量为条件,将不完整形状数据映射到完整形状数据,使得鉴别器无法区分映射得到的完整形状和真正的完整形状。同时引入了一个模态编码器来对所有的完整形状进行编码,对所有可能的补全结果中的多模态空间进行建模。这个模态编码器进一步被施加于生成器输出的补全形状上,以从其中提取恢复生成器的输入模态条件向量,保持生成器的补全输出结果中的多模态分布与完整形状的多模态分布的一致性。