CN116229008A - 图像处理方法和装置 - Google Patents

Abstract

本公开提供了一种图像处理方法和装置，涉及人工智能技术领域，具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于元宇宙、数字人等场景。具体实现方案为：获取待重建二维人脸图像，根据预设语义基底对待重建二维人脸图像进行重建，得到重建后的三维人脸图像，其中，预设语义基底是基于样本二维人脸图像的样本人脸对象对应的样本类别对预设人脸模型进行调整得到的；样本类别表征样本人脸对象的语义特征，可以实现从语义特征的维度实现人脸图像的三维重建，以使得重建后的三维人脸图像可以可视化表征样本人脸对象的内容的含义和特点，从而提高重建后的三维人脸图像的准确性和可靠性，满足用户的可视化体验。

Description

图像处理方法和装置

技术领域

本公开涉及人工智能技术领域，具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于元宇宙、数字人等场景，尤其涉及一种图像处理方法和装置。

背景技术

随着人工智能技术地发展，三维人脸重建技术逐渐成为计算机视觉领域的热门技术。

在相关技术中，图像处理装置可以构建预设人脸模型，并基于三维人脸重建技术和预设人脸模型对待重建的二维人脸图像进行重建，得到三维人脸图像。

发明内容

本公开提供了一种用于提高重建可靠性的图像处理方法和装置。

根据本公开的第一方面，提供了一种图像处理方法，包括：

获取待重建二维人脸图像；

根据预设语义基底对所述待重建二维人脸图像进行重建，得到重建后的三维人脸图像；

其中，所述预设语义基底是基于样本二维人脸图像的样本人脸对象对应的样本类别对预设人脸模型进行调整得到的；所述样本类别表征所述样本人脸对象的语义特征。

根据本公开的第二方面，提供了一种图像处理方法，包括：

获取样本二维人脸图像；

对所述样本二维人脸图像的样本人脸对象进行分类处理，得到所述样本人脸对象的样本类别，所述样本类别表征所述样本人脸对象的语义特征；

根据所述样本类别对预设人脸模型进行调整，得到目标语义基底。

根据本公开的第三方面，提供了一种图像处理装置，包括：

获取单元，用于获取待重建二维人脸图像；

重建单元，用于根据预设语义基底对所述待重建二维人脸图像进行重建，得到重建后的三维人脸图像；

其中，所述预设语义基底是基于样本二维人脸图像的样本人脸对象对应的样本类别对预设人脸模型进行调整得到的；所述样本类别表征所述样本人脸对象的语义特征。

根据本公开的第四方面，提供了一种图像处理装置，包括：

获取单元，用于获取样本二维人脸图像；

分类单元，用于对所述样本二维人脸图像的样本人脸对象进行分类处理，得到所述样本人脸对象的样本类别，所述样本类别表征所述样本人脸对象的语义特征；

调整单元，用于根据所述样本类别对预设人脸模型进行调整，得到目标语义基底。

根据本公开的第五方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面或第二方面所述的方法。

根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面或第二方面所述的方法。

根据本公开的第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面或第二方面所述的方法。

本公开提供的图像处理方法和装置，包括：获取待重建二维人脸图像，根据预设语义基底对待重建二维人脸图像进行重建，得到重建后的三维人脸图像，其中，预设语义基底是基于样本二维人脸图像的样本人脸对象对应的样本类别对预设人脸模型进行调整得到的；样本类别表征样本人脸对象的语义特征，通过结合预设语义基底对待重建二维人脸图像进行重建，得到重建后的三维人脸图像的技术特征，可以实现从语义特征的维度实现人脸图像的三维重建，以使得重建后的三维人脸图像可以可视化表征样本人脸对象的内容的含义和特点，从而提高重建后的三维人脸图像的准确性和可靠性，满足用户的可视化体验。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第二实施例的示意图；

图3是本公开实施例的图像处理方法的原理示意图；

图4是根据本公开第三实施例的示意图；

图5是本公开第四实施例的图像处理方法的示意图；

图6是本公开实施例的图像处理方法的原理示意图；

图7为本公开第五实施例的图像处理装置的示意图；

图8是本公开第六实施例的图像处理装置的示意图；

图9是本公开第七实施例的图像处理装置的示意图；

图10是本公开第八实施例的图像处理装置的示意图；

图11是根据本公开第九实施例的示意图；

图12是用来实现本公开实施例的图像处理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

为便于读者对本公开的理解，对本公开涉及的至少部分术语解释如下：

人工智能(Artificial Intelligence，AI)技术，是指研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用***的技术。

计算机视觉，是指使用计算机及相关设备对生物视觉的一种模拟，以通过对采集的图片或视频进行处理以获得相应场景的三维信息。

增强现实(Augmented Reality，AR)技术，是指将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维(three-dimensional，3D)建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

虚拟现实技术(Virtual Reality，VR)，又称虚拟实境或灵境技术，其中，虚拟现实技术囊括计算机、电子信息、仿真技术，其基本实现方式是以计算机技术为主，利用并综合三维图形技术、多媒体技术、仿真技术、显示技术、伺服技术等多种高科技的最新发展成果，借助计算机等设备产生一个逼真的三维视觉、触觉、嗅觉等多种感官体验的虚拟世界，从而使处于虚拟世界中的人产生一种身临其境的感觉。

深度学习(Deep Learning，DL)是机器学习(Machine Learning，ML)领域中一个子领域，是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。

元宇宙(Metaverse)，是指运用数字技术构建的，由现实世界映射或超越现实世界，可与现实世界交互的虚拟世界的数字生活空间。

虚拟数字人，也可以称为三维虚拟形象，是指由计算机生成的、具有三维形象的人物，可以理解为三维人类模型。

图像处理(image processing)，也可以称为影像处理，是指用计算机对图像进行分析，以达到所需结果的技术。

三维人脸重建技术，是指根据待重建对象的单张二维人脸图像或多张二维人脸图像，重建出对应的三维人脸图像。

预设人脸模型，也可以称为基础人脸模型，是指基于较大量的人脸样本进行分析，得到的表征人脸的基础特征的人脸模型。

其中，预设人脸模型包括中性人脸模型。中性人脸模型是中性人脸基础(Base)模型的简称，可以简称为中性人脸、中性脸、以及基础模型等。中性人脸模型是指，基于较大量的人脸样本进行分析，得到的表征人脸的基础特征的人脸模型。例如，中性人脸模型可以理解为，表征人脸的共性特征的人脸模型。

形态(shape)基底，也可以称为融合形态(Blend shapes)基底，是指对预设人脸模型(如中性人脸模型)进行形变得到的三维人脸模型，形态基底的数量可以为多个。例如，根据人脸数据对预设人脸模型进行不同的形变，从而得到的不同的形态基底。

其中，形态基底和预设人脸模型分别包括顶点，形态基底与预设人脸模型具有相同数量的顶点，即形态基底不改变预设人脸模型的顶点的数量，而是通过改变顶点的位置，以使得预设人脸模型发生形成，从而得到形态基底。

相应的，在相关技术中，针对待重建对象的二维人脸图像(可以简称为待重建二维人脸图像)，可以基于三维人脸重建技术，根据预设人脸模型和形态基底，对待重建二维人脸图像进行三维重建(可以简称为重建)，得到待重建二维人脸图像的三维人脸图像。

示例性的，形态基底的数量为多个，每一形态基底具有相应的权重系数，根据各形态基底、以及各形态基底各自对应的权重系数，对预设人脸模型进行调整，从而得到三维人脸图像。

然而，本公开的发明人经过创造性地劳动发现，在相关技术中，形态基底一般是通过主成分分析(principal components analysis，PCA)技术实现，因此，形态基底也被称为PCA基底。

例如，获取大量人脸数据，如获取千万级人脸数据，通过PCA降维获取前N(N为不小于1的正整数，如N为100)维左右的特征向量作为形态基底，以提高用于三维重建的网络模型训练的泛化性，从而提高网络模型的泛化性。

然而，采用PCA技术实现形态基底，为非语义的高维的抽象的特征向量，相对而言，各形态基底之间的可视化差异较小，通过肉眼很难看出各形态基底之间的区别。

在一些实施例中，可以通过在网络模型的训练方法进行调整，如提升预测融合形态系数的精度，具体可以提现为：加入人脸各区域关键点的损失约束、加入融合形态系数正则项、调整损失项权重、添加关键点数量，等等。

然而，采用上述训练得到的网络模型进行三维重建，仍然存在重建后的三维人脸图像缺乏个性化特征的问题。

为了避免上述技术问题，本公开提出了经创造性劳动后的技术构思：结合待重建二维人脸图像的语义特征进行三维重建，得到具有语义特征的三维人脸图像。

基于上述发明构思，本公开提供一种图像处理方法和装置，涉及人工智能技术领域，具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于元宇宙、数字人等场景，以达到提高三维重建的有效性和准确性。

图1是根据本公开第一实施例的示意图，如图1所示，本公开的图像处理方法，包括：

S101：获取待重建二维人脸图像。

示例性的，本实施例的图像处理方法的执行主体可以为图像处理装置，图像处理装置可以为服务器，可以为终端设备，可以为处理器，可以为芯片，等等，此处不再一一列举。

若图像处理装置为服务器，则图像处理装置可以为独立的服务器，也可以为服务器集群；图像处理装置可以为云端服务器(如部署于云平台的服务器)，也可以为本地服务器，本实施例不做限定。

值得说明的是，本公开实施例的图像处理方法可以应用于不同的应用场景，如本公开实施例的图像处理方法可以应用于增强现实的应用场景，也可以应用于虚拟现实的应用场景，也可以应用于元宇宙的应用场景，也可以应用于虚拟数字人的应用场景，等等，此处不再一一列举。

相应的，针对不同的应用场景，图像处理装置的表现形式可能不一样。示例性的，若本实施例的图像处理方法应用于增强现实的应用场景，则图像处理装置可以为增强现实的头戴设备(如智能头盔或者智能眼镜等)。

例如，本实施例的图像处理方法应用于增强现实的应用场景，则头戴设备通过采用本实施例的图像处理方法，可以构建增强现实应用场景的虚拟环境中的三维形象的人物。

同理，若本实施例的图像处理方法应用于虚拟现实的应用场景，则图像处理装置可以为虚拟现实的头戴设备(如智能头盔或者智能眼镜等)。

例如，本实施例的图像处理方法应用于虚拟现实的应用场景，则头戴设备通过采用本实施例的图像处理方法，可以构建虚拟现实应用场景的虚拟环境中的三维形象的人物。

若本实施例的图像处理方法应用于元宇宙的应用场景，则图像处理装置可以为用于构建虚拟世界的服务器。

例如，本实施例的图像处理方法应用于元宇宙的应用场景，则服务器通过采用本实施例的图像处理方法，可以构建虚拟世界，并在虚拟世界中构建三维形象的人物。

若本实施例的图像处理方法应用于虚拟数字人的应用场景，则图像处理装置可以为用于生成虚拟数字人的终端设备。

例如，本实施例的图像处理方法应用于虚拟数字人的应用场景，则终端设备通过采用本实施例的图像处理方法，可以构建三维形象的虚拟数字人。

其中，待重建二维人脸图像，是指需要进行三维重建的二维人脸图像，结合上述分析可知，待重建二维人脸图像可以为单张二维人脸图像，也可以为多张二维人脸图像，本实施例不做限定。

关于获取待重建二维人脸图像可以采用下述示例实现：

一个示例中，图像处理装置可以与图像采集装置连接，并接收由图像采集装置发送的待重建二维人脸图像。

其中，图像采集装置可以为具有采集图像功能的装置，可以为软件，也可以为硬件，也可以为软件和硬件结合的装置。

另一个示例中，图像处理装置可以提供载入图像的工具，用户可以通过该载入图像的工具将待重建二维人脸图像传输至图像处理装置。

其中，载入图像的工具可以为用于与外接设备连接的接口，如用于与其他存储设备连接的接口，通过该接口获取外接设备传输的待重建二维人脸图像；载入图像的工具也可以为显示装置，如图像处理装置可以在显示装置上输入载入图像功能的界面，用户可以通过该界面将待重建二维人脸图像导入至图像处理装置，图像处理装置获取导入的待重建二维人脸图像。

S102：根据预设语义基底对待重建二维人脸图像进行重建，得到重建后的三维人脸图像。

其中，预设语义基底是基于样本二维人脸图像的样本人脸对象对应的样本类别对预设人脸模型进行调整得到的；样本类别表征样本人脸对象的语义特征。

示例性的，结合上述分析可知，预设语义基底可以理解为具有语义特征的人脸模型。预设语义基底可以为在本实施例的图像处理方法之前，基于图像处理装置或者其他装置构建的。

例如，以图像处理装置构建预设语义基底为例，在图像处理装置执行本实施例的图像处理方法之前，可以预先构建预设语义基底。且具体可以为：

图像处理装置获取样本二维人脸图像，样本二维人脸图像中包括样本人脸对象，样本人脸对象具有对应的样本类别，以通过样本类别对样本人脸对象的语义特征进行表征，图像处理装置基于样本类别对预设人脸模型(如中性人脸模型)进行调整，得到具有语义特征的预设语义基底。

其中，样本二维人脸图像与待重建二维人脸图像为相对概念，待重建二维人脸图像为需要进行三维重建的二维人脸图像，样本二维人脸图像为用于构建预设语义基底的二维人脸图像。

本实施例对样本二维人脸图像的数量不做限定，可以基于需求、历史记录。例如，针对精度需求将对较高的场景，样本二维人脸图像的数量可以相对较多；而针对精度需求将对较低的场景，样本二维人脸图像的数量可以相对较少。

样本人脸对象中的“样本”，用于与其他的人脸对象进行区分，如用于与后文中的待重建人脸对象进行区分，而不能理解为对样本人脸对象的限定。样本人脸对象是指样本二维人脸图像中的人脸对象。

样本人脸对象的语义特征可以理解为，样本人脸对象的内容的含义和特点。

其中，样本人脸对象的语义特征可以从三个层理解，三个层分别为：视觉层、对象层、以及概念层。视觉层可以称为底层，如样本人脸对象的颜色、样本人脸对象的纹理和样本人脸对象的形状等等特征，相应的，这些特征可以称为底层特征语义。对象层可以称为中间层，包含属性特征等，如样本人脸对象的状态等。概念层可以称为是高层，是样本人脸对象所表达出的最接近人类理解的东西。

样本类别中的“样本”，用于与其他的类别进行区分，如用于与后文中的待重建类别进行区分，而不能理解为对样本类别的限定。样本类别，是指样本人脸对象的类别。

示例性的，人脸对象包括多种不同的目标对象，如人脸对象可以包括：脸颊和/或五官，五官可以包括：鼻子、眼睛、耳朵、嘴巴、以及眉毛等中的至少一种。针对不同人脸图像中的相同目标对象(人脸对象中的任意目标对象)，不同的人脸图像中的该相同目标对象的内容的含义和特点各不相同。

也就是说，不同人脸图像中的相同目标对象的语义特征不同，而不同的语义特征，构成了人脸图像的差异性，即不同的语义特征，使得各人脸图像存在“千人千面”的特性。

为了对不同的语义特征进行表征，可以通过类别实现。如不同的类别表征不同的语义特征。且由于人脸对象包括一种或多种不同的目标对象，因此，针对每一种目标对象，均可以通过与该种目标对象对应的类别进行表征。

相应的，样本类别表征的为样本人脸对象的语义特征，因此，样本类别可以理解为样本人脸对象的内容的含义和特点。

由于样本类别可以表征样本人脸对象的语义特征，而预设语义基底是基于样本类别生成的，因此，预设语义基底也可以表征样本人脸对象的语义特征，所以，根据预设语义基底重建得到的重建后的三维人脸图像具有样本人脸对象的语义特征，即重建后的三维人脸图像可以可视化表征样本人脸对象的内容的含义和特点，使得重建后的三维人脸图像具有较强的准确性、可靠性、以及个性化。

示例性的，结合上述分析可知，本公开实施例的图像处理方法可以应用于不同的应用场景，以本公开实施例的图像处理方法应用于虚拟现实的应用场景为例：

图像处理装置(具体可以为头戴设备)可以基于本公开实施例的图像处理方法，构建虚拟现实场景中的多个三维形象的人物，基于上述分析可知，图像处理装置可以使得虚拟现实场景中的多个三维形象的人物，分别具有各自对应的人脸图像的语义特征，从而使得多个三维形象的人物之间具有各自的人脸特点，用户(具体可以为头戴设备的佩戴者)可以准确地区分不同的三维形象的人物，提高用户的可视化和虚拟现实体验。

关于本实施例的图像处理方法，应用于其他应用场景的技术效果，可以参见上述虚拟现实场景地描述，此处不再一一列举。

本实施例对根据预设语义基底对待重建二维人脸图像进行重建的方式不做限定，例如，可以采用如上述示例中基于PCA基底对待重建二维人脸图像进行重建的方式实现，也可以采用如下述实施例(具体参见下述描述)的方式实现。

基于上述分析可知，本公开提供了一种图像处理方法，包括：获取待重建二维人脸图像，根据预设语义基底对待重建二维人脸图像进行重建，得到重建后的三维人脸图像，其中，预设语义基底是基于样本二维人脸图像的样本人脸对象对应的样本类别对预设人脸模型进行调整得到的；样本类别表征样本人脸对象的语义特征，在本实施例中，通过结合预设语义基底对待重建二维人脸图像进行重建，得到重建后的三维人脸图像的技术特征，可以实现从语义特征的维度实现人脸图像的三维重建，以使得重建后的三维人脸图像可以可视化表征样本人脸对象的内容的含义和特点，从而提高重建后的三维人脸图像的准确性和可靠性，满足用户的可视化体验。

为使读者更加深刻地理解本公开的实现原理，现结合图2和图3对本公开的图像处理方法进行更为详细地阐述。其中，图2是根据本公开第二实施例的示意图。图3是本公开实施例的图像处理方法的原理示意图。

如图2所示，本公开的图像处理方法，包括：

S201：获取待重建二维人脸图像。

应该理解的是，为了避免繁琐地陈述，关于本实施例与上述实施例相同的技术特征，本实施例不再赘述。

示例性的，关于S201的实现原理，可以参见上述实施例S101地描述，此处不再赘述。

S202：对待重建二维人脸图像的待重建人脸对象进行分类处理，得到待重建人脸对象对应的待重建类别，其中，待重建类别表征待重建人脸对象的语义特征。

同理，待重建人脸对象与样本人脸对象为相对概念，待重建人脸对象是指待重建二维人脸图像中的人脸对象。待重建类别与样本类别为相对概念，待重建类别是指待重建人脸对象的类别。

示例性的，待重建类别表征的为待重建人脸对象的语义特征，即待重建人脸对象的内容的含义和特点，因此，在一些实施例中，可以与待重建人脸对象的内容的含义和特征，对待重建人脸对象进行分类处理，以得到待重建类别。

在另一些实施例中，可以通过网络模型的方式对待重建人脸对象进行分类处理，从而得到待重建类别。

应该理解的是，上述示例只是用于示范性地说明，图像处理装置可以采用的分类处理的方式，而不能理解为对分类处理的方式的限定。

以网络模型的方式对待重建人脸对象进行分类处理为例，S202可以包括：将待重建人脸对象输入至预先训练的人脸对象分类模型，得到待重建类别。其中，人脸对象分类模型是，基于样本二维人脸图像的样本人脸对象训练得到的。

在一些实施例中，如图3所示，在获取到待重建二维人脸图像之后，可以将待重建二维人脸图像输入至人脸对象分类模型，输出待重建类别。

其中，人脸对象分类模型为预先训练得到的。待重建二维人脸图像中的人脸对象可以称为待重建人脸对象，输出的为待重建人脸对象对应的类别，该类别可以称为待重建类别。

示例性的，结合上述分析可知，在图像处理装置执行本实施例的图像处理方法之前，可以预先训练得到人脸对象分类模型，以基于训练好的人脸对象分类模型预测得到待重建类别。且具体可以为：

图像处理装置获取样本二维人脸图像，对样本二维人脸图像进行识别处理，得到样本二维人脸图像中的样本人脸对象，以基于样本人脸对象对基础网络模型进行训练，得到用于预测待重建类别的人脸对象分类模型。

同理，本实施例对基础网络模型的框架和参数(如卷积参数等)不做限定。本实施例对训练的方式(下述示例中示范性地阐述了一种训练方式)不做限定。

相应的，在图像处理装置执行本公开实施例的图像处理方法时，可以将待重建人脸对象作为人脸对象分类模型的输入，以基于人脸对象分类模型对待重建人脸对象进行预测，得到待重建类别。

相对而言，通过人脸对象分类模型的方式预测得到待重建类别，效率偏高，可以提高三维重建的效率。

在一些实施例中，人脸对象分类模型包括多种不同目标对象的分类模型，待重建人脸对象中的一种目标对象对应人脸对象分类模型中的相同目标对象的分类模型。

示例性的，结合上述分析可知，人脸对象可以包括脸颊和/或五官，五官可以包括：鼻子、眼睛、耳朵、嘴巴、以及眉毛中的一种或多种，相应的，针对每一种目标对象，训练与该目标对象对应的分类模型。

例如，针对目标对象-脸颊，训练用于预测脸颊的类别的分类模型(同理，为便于区分，可以将该分类模型称为脸颊分类模型)。针对目标对象-鼻子，训练用于预测鼻子的类别的分类模型(同理，为便于区分，可以将该分类模型称为鼻子分类模型)。针对目标对象-眼睛，训练用于预测眼睛的类别的分类模型(同理，为便于区分，可以将该分类模型称为眼睛分类模型)。针对目标对象-耳朵，训练用于预测耳朵的类别的分类模型(同理，为便于区分，可以将该分类模型称为耳朵分类模型)。针对目标对象-嘴巴，训练用于预测嘴巴的类别的分类模型(同理，为便于区分，可以将该分类模型称为鼻子嘴巴模型)。针对目标对象-眉毛，训练用于预测眉毛的类别的分类模型(同理，为便于区分，可以将该分类模型称为眉毛分类模型)。

相应的，针对待重建人脸对象中的脸颊，可以将待重建人脸对象中的脸颊，输入至脸颊分类模型，输出待重建人脸对象中的脸颊的待重建类别。针对待重建人脸对象中的鼻子，可以将待重建人脸对象中的鼻子，输入至鼻子分类模型，输出待重建人脸对象中的鼻子的待重建类别。针对待重建人脸对象中的眼睛，可以将待重建人脸对象中的眼睛，输入至眼睛分类模型，输出待重建人脸对象中的眼睛的待重建类别。针对待重建人脸对象中的耳朵，可以将待重建人脸对象中的耳朵，输入至耳朵分类模型，输出待重建人脸对象中的耳朵的待重建类别。针对待重建人脸对象中的嘴巴，可以将待重建人脸对象中的嘴巴，输入至嘴巴分类模型，输出待重建人脸对象中的嘴巴的待重建类别。针对待重建人脸对象中的眉毛，可以将待重建人脸对象中的眉毛，输入至眉毛分类模型，输出待重建人脸对象中的眉毛的待重建类别。

也就是说，在一些实施例中，人脸对象分类模型可以为一个模型，通过该人脸对象分类模型，可以对待重建人脸对象中的不同目标对象进行预测，得到待重建人脸对象中的不同目标对象各自对应的待重建类别。

在另一些实施例中，人脸对象分类模型可以包括多个模型，针对待重建人脸对象中的不同目标对象，可以采用与该目标对象对应的分类模型，对该目标对象进行预测，得到该目标对象对应的待重建类别。

相对而言，通过采用不同的分类模型对相应的目标对象进行预测，以使得预测具有针对性，从而可以提高预测的准确性和可靠性。

S203：根据待重建类别和预设语义基底，对待重建二维人脸图像进行重建，得到重建后的三维人脸图像。

其中，预设语义基底是基于样本二维人脸图像的样本人脸对象对应的样本类别对预设人脸模型进行调整得到的；样本类别表征样本人脸对象的语义特征。

示例性的，在一些实施例中，关于S203的实现原理，可以参见上述实施例中的S102地描述，此处不再赘述。

在本实施例中，通过分类处理得到待重建类别，以通过待重建类别表征待重建人脸对象的语义特征，并结合待重建类别和预设语义基底，生成重建后的三维人脸图像，可以使得重建后的三维人脸图像具有较强的语义特征的可视化性能，从而提高重建后的三维人脸图像的准确性和可靠性。

在一些实施例中，样本二维人脸图像为初始二维人脸图像中，相似度小于预设阈值的人脸图像。

相似度是指初始二维人脸图像、以及与初始二维人脸图像对应的初始三维重建人脸图像之间的相似程度。

初始三维重建人脸图像是基于预设的形态基底对初始二维人脸图像重建得到的，其中，形态基底为对预设人脸模型进行形变得到的。

示例性的，在图像处理装置执行本公开实施例的图像处理方法之前，可以获取初始二维人脸图像，并从初始二维人脸图像中选取样本二维人脸图像。且具体可以为：

图像处理装置获取初始二维人脸图像，基于形态基底对初始二维人脸图像重建，得到初始三维重建人脸图像，将初始三维重建人脸图像与初始二维人脸图像进行匹配处理，以得到初始三维重建人脸图像与初始二维人脸图像之间的相似度，将相似度与预设阈值进行比较，如果相似度小于预设阈值，则将该相似度对应的初始二维人脸图像确定为样本二维人脸图像，反之，如果相似度不小于(如大于等于)预设阈值，则不将该相似度对应的初始二维人脸图像确定为样本二维人脸图像，即该相似度对应的初始二维人脸图像不是样本二维人脸图像。

同理，初始二维人脸图像为样本二维人脸图像为相对概念，初始二维人脸图像包括样本二维人脸图像，即样本二维人脸图像为初始二维人脸图像中的至少部分人脸图像。

结合上述示例可知，形态基底也可以称为PCA基底，且可以通过对预设人脸模型进行形变得到。相应的，在PCA基底的基础上对初始二维人脸图像进行三维重建，得到的人脸图像可以称为初始三维重建人脸图像。

相对而言，相似度越大，说明样本二维人脸图像与初始二维人脸图像之间的相似程度越大，样本二维人脸图像中的人脸对象、以及初始二维人脸图像中的人脸对象之间的差异越小。

反之，相似度越小，说明样本二维人脸图像与初始二维人脸图像之间的相似程度越小，样本二维人脸图像中的人脸对象、以及初始二维人脸图像中的人脸对象之间的差异越大。

在本实施例中，通过将初始二维人脸图像中，相似度小于预设阈值的人脸图像确定为样本二维人脸图像，可以更好的分析人脸对象的语义特征，以使得人脸对象分类模型具有较强的分类能力，使得预设语义基底更好的表征人脸对象的语义特征。

在一些实施例中，预设语义基底中包括人脸对象的各类别各自对应的语义基底；S203可以包括如下步骤：

第一步骤：从预设语义基底中，获取与待重建类别对应的目标语义基底，其中，人脸对象的各类别包括待重建类别。

相应的，如图3所示，图像处理装置可以从预设语义基底中，获取目标语义基底。

示例性的，结合上述分析可知，人脸对象可以包括：脸颊、鼻子、眼睛、耳朵、嘴巴、以及眉毛中的一种或多种，相应的，针对每一种目标对象，预设语义基底中包括该目标对象的每一种类别对应的语义基底。

例如，针对目标对象-鼻子，鼻子的类别可以包括：高鼻子和矮鼻子(或者称为塌鼻子)，则预设语义基底中包括：高鼻子对应的语义基底、矮鼻子对应的语义基底。针对目标对象-眼睛，眼睛的类别可以包括：双眼皮眼睛和单眼皮眼睛，则预设语义基底中包括：双眼皮眼睛对应的语义基底、单眼皮眼睛对应的语义基底。关于其他对象亦是如此，此处不再一一列举。

相应的，第一步骤可以理解为：在预设语义基底包括人脸对象的各类别各自对应的语义基底，且待重建类别已知的情况下，可以根据待重建类别从预设语义基底中，找到与待重建类别对应的语义基底，为了便于区分，可以将该语义基底称为目标语义基底。

例如，若待重建类别包括双眼皮眼睛，则从预设语义基底中，获取与双眼皮眼睛对应的语义基底，该语义基底，即为目标语义基底。

又如，若待重建类别包括高鼻子，则从预设语义基底中，获取与高鼻子对应的语义基底，该语义基底，即为目标语义基底。

也就是说，由于人脸对象可以包括一种或多种不同的目标对象，则针对不同的目标对象，可以得到不同的目标对象各自对应的待重建类别，并从预设语义基底中，获取与不同待重建类别各自对应的目标语义基底。

第二步骤：根据目标语义基底，对待重建二维人脸图像进行重建，得到重建后的三维人脸图像。

示例性的，结合上述示例，若目标语义基底包括双眼皮眼睛对应的语义基底、以及高鼻子对应的语义基底，则基于双眼皮眼睛对应的语义基底、以及高鼻子对应的语义基底，对待重建二维人脸图像进行重建，得到重建后的三维人脸图像。

在本实施例中，由于目标语义基底是基于待重建类别获取到的，因此，目标语义基底相对具有针对性，所以，基于目标语义基底得到的重建后的三维人脸图像可以针对性地还原待重建二维人脸图像的待重建人脸对象的语义特征，从而使得重建后的三维人脸图像中的人脸对象、以及待重建二维人脸图像中的人脸对象(即待重建人脸对象)之间高度相似，进而提高了重建后的三维人脸图像的准确性和可靠性。

在一些实施例中，第二步骤可以包括如下子步骤：

第一子步骤：根据预设语义基底和预设的形态基底，对待重建二维人脸图像进行重建，得到初始的三维人脸图像。

其中，形态基底为对预设人脸模型进行形变得到的。

如图3所示，图像处理装置可以基于预设语义基底和形态基底，重建得到初始的三维人脸图像。

示例性的，结合上述分析可知，形态基底可以为PCA基底，且在相关技术中，是直接PCA基底实现待重建二维人脸图像的重建。

而在本实施例中，是结合预设语义基底和形态基底，共同对待重建二维人脸图像进行重建，以使得重建得到的初始的三维人脸图像具有语义特征。因此，相对而言，基于本公开实施例的方法得到的初始的三维人脸图像相对更能表征人脸的特点，具有较好的可视化体验。

第二子步骤：根据目标语义基底对初始的三维人脸图像进行调整，得到重建后的三维人脸图像。

在本实施例中，初始的三维人脸图像是基于预设语义基底构建的，而预设语义基底中包括人脸对象的各类别各自对应的语义基底，因此，相对泛化能力较强，而针对能力较弱，在第二子步骤中，通过结合目标语义基底对初始的三维人脸图像进行调整，而目标语义基底具有针对性，所以，重建后的三维人脸图像既具有较强的泛化能力，又具有较强的针对能力，即重建后的三维人脸图像具有较强的准确性和可靠性。

在一些实施例中，第二子步骤可以包括如下细化步骤：

第一细化步骤：确定目标语义基底与预设人脸模型之间的差异信息。

其中，差异信息用于表征目标语义基底与预设人脸模型之间的区别。

相应的，如图3所示，图像处理装置在获取到目标语义基底之后，可以将目标语义基底与预设人脸模型进行比对，以得到二者之间的差异信息。

在一些实施例中，差异信息可以从坐标的维度表征，如差异信息可以表征目标语义基底的坐标、以及预设人脸模型的坐标之间的区别。

其中，坐标可以为像素坐标，也可以为点云坐标。即，差异信息可以表征目标语义基底的像素坐标、以及预设人脸模型的像素坐标之间的区别。或者，差异信息可以表征目标语义基底的点云坐标、以及预设人脸模型的点云坐标之间的区别。

在另一些实施例中，差异信息也可以从颜色和亮度等维度表征。如差异信息可以表征目标语义基底的颜色和亮度、以及预设人脸模型的颜色和亮度之间的区别。

应该理解的是，上述示例只是用于示范性地说明，差异信息可能的表现形式，而不能理解为对差异信息的表现形式的限定。且差异信息可以从单一维度的表现形式(如点云坐标)，也可以为多维度的表现形式(如点云坐标和颜色等)，本实施例不做限定。

示例性的，以点云坐标为例，在一些实施例中，目标语义基底包括第一点云坐标，预设人脸模型包括第二点云坐标，第一细化步骤可以包括：根据第一点云坐标和第二点云坐标，计算得到点云坐标差异，其中，差异信息包括点云坐标差异。

同理，第一点云坐标和第二点云坐标为相对概念。第一点云坐标是指目标语义基底中的点云坐标，以通过“第一”与预设人脸模型中的点云坐标(即第二点云坐标)进行区分。第二点云坐标是指预设人脸模型中的点云坐标，以通过“第二”与目标语义基底中的点云坐标(即第一点云坐标)进行区分。

其中，点云坐标差异＝第一点云坐标-第二点云坐标。

第二细化步骤：根据差异信息对初始的三维人脸图像进行调整，得到重建后的三维人脸图像。

如图3所示，图像处理装置在确定差异信息、以及重建得到初始的三维人脸图像之后，可以基于差异信息调整初始的三维人脸图像，从而得到重建后的三维人脸图像。

基于上述分析可知，差异信息为目标语义基底与预设人脸模型之间的区别，预设人脸模型可以理解为共性人脸模型，或者可以理解为“大众脸”，因此，差异信息可以理解为提高不同人脸的可辨识度的信息。

所以，在本实施例中，通过结合差异信息对初始的三维人脸图像进行调整，相当于调整初始的三维人脸图像的可辨识度，即相当于调整初始的三维人脸图像的个性特征，从而可以使得重建后的三维人脸图像具有较高的可辨识度和个性特征，即可以提高重建后的三维人脸图像的可靠性、有效性、以及个性化，满足用户的可视化体验。

结合上述分析可知，差异信息具有不同的表征维度，因此，针对不同表征维度的差异信息，调整初始的三维人脸图像的具体实现略有区别。

例如，若差异信息从坐标的维度进行表征，则调整初始的三维人脸图像时，是从坐标的维度对初始的三维人脸图像进行调整。

又如，若差异信息从颜色和亮度等维度表征，则调整初始的三维人脸图像时，是从颜色和亮度的维度对初始的三维人脸图像进行调整。

示例性的，以点云坐标为例，结合上述实施例，初始的三维人脸图像包括第三点云坐标，第二细化步骤可以包括：根据点云坐标差异和第三点云坐标，计算得到点云坐标和值。

其中，重建后的三维人脸图像的点云坐标为点云坐标和值。

例如，点云坐标和值＝点云坐标差异+第三点云坐标。即初始的三维人脸图像的点云坐标为第三点云坐标，重建后的三维人脸图像的点云坐标为点云坐标和值。

值得说明的是，结合上述分析可知，目标语义基底的数量可能为多个，如针对待重建人脸对象中的每一目标对象，分别有与之对应的目标语义基底，则针对每一目标语义基底，分别执行上述实施例所述的操作，从而得到待重建人脸对象中的每一目标对象各自对应的点云坐标和值，以使得重建后的三维人脸图像对待重建人脸对象中的每一目标对象进行语义特征可视化地展示。

例如，以目标语义基底包括双眼皮眼睛对应的语义基底(为便于区分，将该语义基底称为第一语义基底)、以及高鼻子对应的语义基底(同理，为便于区分，将该语义基底称为第二语义基底)。

针对第一语义基底，结合第一语义基底对初始的三维人脸图像进行调整，得到重建后的三维人脸图像中的眼睛。

重建后的三维人脸图像中的眼睛可以相对准确可靠地表征，待重建二维人脸图像中的眼睛的语义特征。如重建后的三维人脸图像中的眼睛为双眼皮。

针对第二语义基底，结合第二语义基底对初始的三维人脸图像进行调整，得到重建后的三维人脸图像中的鼻子。

重建后的三维人脸图像中的鼻子可以相对准确可靠地表征，待重建二维人脸图像中的鼻子的语义特征。如重建后的三维人脸图像中的鼻子为高鼻子。

因此，通过本实施例提供的图像处理方法，可以从语义层面对重建后的三维人脸图像、以及待重建二维人脸图像之间的相似程度进行改善，提高图像处理的有效性和可靠性。

结合上述分析可知，在图像处理方法基于语义基底(具体可以为如上述实施例中包括各语义基底的预设语义基底)和人脸对象分类模型实现，如在图像处理装置执行上述图像处理方法之前，可以先构建语义基底，可以预先训练人脸对象分类模型。

相应的，可以将构建语义基底和人脸对象分类模型称为准备阶段，将上述实施例所述的图像处理方法称为应用阶段。下面结合第三实施例和第四实施例对准备阶段(即构建语义基底和人脸对象分类模型)的实现原理，进行阐述。

图4是根据本公开第三实施例的示意图，如图4所示，本公开的图像处理方法，包括：

S401：获取样本二维人脸图像。

同理，为了避免繁琐地陈述，关于本实施例与上述实施例相同的技术特征，本实施例不做赘述。

示例性的，本实施例的图像处理方法的执行主体可以为图像处理装置，本实施例中的图像处理装置(即准备阶段的图像处理装置)可以为，与第一实施例和第二实施例中的图像处理装置(即应用阶段的图像处理装置)相同的装置，也可以为不同的装置。

例如，本实施例中的图像处理装置为，与第一实施例和第二实施例中的图像处理装置相同的装置，若第一实施例和第二实施例中的图像处理装置为服务器，则本实施例的图像处理装置也可以为服务器，等等，此处不再一一列举。

又如，本实施例中的图像处理装置为，与第一实施例和第二实施例中的图像处理装置不同的装置，若第一实施例和第二实施例中的图像处理装置为终端设备，则本实施例的图像处理装置也可以为服务器(或者其他非终端设备的装置)。

若准备阶段的图像处理装置、与应用阶段的图像处理装置为不同的装置，则准备阶段的图像处理装置、与应用阶段的图像处理装置可以建立通信链路，以基于通信链路实现准备阶段和应用阶段的数据(如目标语义基底和人脸对象分类模型)共享。

示例性的，以准备阶段的图像处理装置为服务器，应用阶段的图像处理装置为终端设备为例，则服务器与终端设备之间可以建立通信链路，服务器将构建的目标语义基底和训练好的人脸对象分类模型，通过通信链路传输给终端设备。

其中，关于样本二维人脸图像和数量和获取方式，可以参见上述实施例，如获取方法可以参见第一实施例中获取待重建二维人脸图像的方式，此处不再赘述。

S402：对样本二维人脸图像的样本人脸对象进行分类处理，得到样本人脸对象的样本类别，样本类别表征样本人脸对象的语义特征。

示例性的，图像处理装置可以获取样本人脸对象的语义特征，以基于样本人脸对象的语义特征，对样本人脸对象进行分类处理，从而得到样本类别。

其中，关于样本类别和语义特征等的理解，可以参见上述应用阶段的实施例中地描述，此处不再赘述。

S403：根据样本类别对预设人脸模型进行调整，得到目标语义基底。

在一些实施例中，目标语义基底可以为如上述实施例所述的预设语义基底。相应的，目标语义基底可以用于对待重建二维人脸图像进行重建，得到重建后的三维人脸图像。

同理，本实施例对调整的实现方式不做限定，如可以为对坐标的调整，也可以为对颜色的调整，也可以为亮度的调整，等等，此处不再一一列举。

在本实施例中，通过基于样本类别对预设人脸模型进行调整，可以使得得到的目标语义基底具有语义特征的特点，即使得目标语义基底为语义层面的基底，使得目标语义基底的内容相对更加丰富和个性化，从而在应用阶段基于目标语义基底对待重建二维人脸图像进行重建的情况下，可以提高重建的有效性和可靠性。

为便于读者对本公开准备阶段地理解，现结合图5和图6对本公开准备阶段的图像处理方法进行详细阐述。其中，图5是本公开第四实施例的图像处理方法的示意图。图6是本公开实施例的图像处理方法的原理示意图。

如图5所示，图像处理方法包括：

S501：获取初始二维人脸图像。

同理，为了避免繁琐地陈述，关于本实施例与上述实施例相同的技术特征，本实施例不做赘述。

示例性的，关于初始二维人脸图像的理解、以及获取初始二维人脸图像的方式等，可以参见上述实施例地描述，此处不再赘述。

例如，关于获取初始二维人脸图像的方式，可以参见第一实施例中获取待重建二维人脸图像的方式。

又如，关于初始二维人脸图像的数量，可以基于需求、历史记录、以及试验等方式确定，本实施例不做限定。

S502：基于预设的形态基底对初始二维人脸图像进行重建，得到初始三维重建人脸图像。

其中，形态基底为对预设人脸模型进行形变得到的。

如图6所示，图像处理装置在获取到初始二维人脸图像之后，可以基于形态基底对初始二维人脸图像进行重建，得到初始三维重建人脸图像。

示例性的，形态基底可以为PCA基底，初始三维重建人脸图像可以为基于PCA基底，对初始二维人脸图像重建得到的人脸图像。

本实施例对重建得到初始三维重建人脸图像的方式不做限定，可以参见相关技术中，基于PCA基底的重建方式实现。

S503：计算初始二维人脸图像和初始三维重建人脸图像之间的相似度。

示例性的，图像处理装置可以将初始二维人脸图像投影至初始三维重建人脸图像，得到投影后的人脸图像，并计算投影后的人脸图像与初始三维重建人脸图像之间的相似度。

其中，相似度是指初始二维人脸图像与初始三维重建人脸图像之间相似程度，而相似程度可以从不同的维度体现，如可以从位置的维度，也可以从外观的维度。

结合上述分析可知，位置的维度可以包括坐标的维度，且坐标的维度可以为从像素坐标的维度，也可以为从点云坐标的位置。外观的维度可以包括颜色的维度，也可以包括亮度的维度，等等。

相应的，相似度可以为坐标的维度的相似度，也可以为外观的维度的相似度，也可以为坐标的维度、以及外观的维度的相似度，本实施例不做限定。

以相似度为坐标的维度的相似度为例，可以根据初始二维人脸图像的坐标、以及初始三维重建人脸图像的坐标，计算得到初始二维人脸图像与初始三维重建人脸图像在坐标维度的相似度。

S504：从初始二维人脸图像中，将相似度小于预设阈值的图像作为样本二维人脸图像。

同理，预设阈值可以基于需求、历史记录、以及试验等方式确定，本实施例不做限定。

如图6所示，图像处理装置在计算得到相似度之后，可以基于相似度对初始二维人脸图像进行过滤处理，以过滤掉不小于预设阈值的图像，从而得到小于阈值的样本二维人脸图像。

示例性的，初始二维人脸图像的数量为M(M为不小于2的正整数)个，若M个初始二维人脸图像中，有K(K为不小于1的正整数)个人脸图像的相似度小于预设阈值，则可以将该K个人脸图像确定为样本二维人脸图像。

在本实施例中，通过计算得到初始二维人脸图像与初始三维重建人脸图像之间的相似度，以基于相似度对初始二维人脸图像进行过滤，得到相似度相对较小(小于预设阈值)样本二维人脸图像，以使得基于样本二维人脸图像构建得到的目标语义基底，具有较为可靠的语义特征，也可以使得基于样本二维人脸图像训练得到的人脸对象分类模型，具有较强的分类能力。

在一些实施例中，初始二维人脸图像和初始三维重建人脸图像中包括人脸对象；相应的，S503可以包括：针对人脸对象中的每一目标对象，计算初始二维人脸图像中的该目标对象、以及初始三维重建人脸图像中的该目标对象之间的相似度。

以及，S504可以包括：若初始二维人脸图像与初始三维重建人脸图像中的任意目标对象的相似度小于预设阈值，则将初始二维人脸图像确定为样本二维人脸图像。

示例性的，初始二维人脸图像中包括人脸对象，初始三维重建人脸图像中也包括人脸对象，人脸对象可以包括：脸颊、鼻子、眼睛、耳朵、嘴巴、以及眉毛等中的一种或多种。针对该人脸对象中的每一种目标对象，计算该目标对象在初始二维人脸图像与初始三维重建人脸图像之间的相似度。

示例性的，以目标对象-鼻子为例，计算初始二维人脸图像中的鼻子、以及初始三维重建人脸图像中的鼻子之间的相似度。其他目标对象也是如此，此处不再一一列举。

相应的，以每一种目标对象为过滤单位，对初始二维人脸图像进行过滤，以得到样本二维人脸图像。

示例性的，以鼻子为例，计算得到的初始二维人脸图像中的鼻子、以及初始三维重建人脸图像中的鼻子之间的相似度，如果该相似度小于预设阈值，则将初始二维人脸图像确定为样本二维人脸图像。

结合上述分析可知，初始二维人脸图像的数量为M个，初始二维人脸图像与初始三维重建人脸图像之间为一一对应关系，因此，初始三维重建人脸图像的数量也为M个。

若初始二维人脸图像A与初始三维重建人脸图像a为对应关系，即初始三维重建人脸图像a是基于初始二维人脸图像A重建得到的，则确定初始二维人脸图像A是否为样本二维人脸图像的方法包括：

计算初始二维人脸图像中的鼻子、以及初始三维重建人脸图像中的鼻子之间的相似度，为便于区分，将该相似度称为第一相似度。

计算初始二维人脸图像中的眼睛、以及初始三维重建人脸图像中的眼睛之间的相似度，为便于区分，将该相似度称为第二相似度。

计算初始二维人脸图像中的耳朵、以及初始三维重建人脸图像中的耳朵之间的相似度，为便于区分，将该相似度称为第三相似度。

计算初始二维人脸图像中的嘴巴、以及初始三维重建人脸图像中的嘴巴之间的相似度，为便于区分，将该相似度称为第四相似度。

计算初始二维人脸图像中的眉毛、以及初始三维重建人脸图像中的眉毛之间的相似度，为便于区分，将该相似度称为第五相似度。

计算初始二维人脸图像中的脸颊、以及初始三维重建人脸图像中的脸颊之间的相似度，为便于区分，将该相似度称为第六相似度。

若第一相似度、第二相似度、第三相似度、第四相似度、第五相似度、以及第六相似度中，有至少一个相似度小于预设阈值，则将初始二维人脸图像A确定为样本二维人脸图像。

反之，若第一相似度、第二相似度、第三相似度、第四相似度、第五相似度、以及第六相似度中，每一相似度都不小于(或大于，或等于)预设阈值，则确定初始二维人脸图像A不是样本二维人脸图像。

在本实施例中，以目标对象为单位，对初始二维人脸图像进行过滤，得到样本二维人脸图像，可以使得样本二维人脸图像具有较强的人脸对象的语义特征的表征能力，从而进一步提高基于样本二维人脸图像构建得到的目标语义基底的语义特征表征的可靠性，也进一步提高基于样本二维人脸图像训练得到的人脸对象分类模型的分类能力。

S505：获取样本二维人脸图像中，相似度小于预设阈值的目标对象的语义特征。

示例性的，结合上述示例，以上述初始二维人脸图像A为样本二维人脸图像为例，该步骤可以理解为：

若相似度小于预设阈值的目标对象为鼻子，则图像处理装置获取初始二维人脸图像A中的鼻子的语义特征。

若相似度小于预设阈值的目标对象为眼睛，则图像处理装置获取初始二维人脸图像A中的眼睛的语义特征。

若相似度小于预设阈值的目标对象包括鼻子和眼睛，则图像处理装置获取初始二维人脸图像A中的鼻子的语义特征，并且获取初始二维人脸图像A中的眼睛的语义特征。

以此类推，此处不再一一列举。

S506：根据相似度小于预设阈值的目标对象的语义特征，确定相似度小于预设阈值的目标对象的样本类别。

如图6所示，图像处理装置在确定出相似度小于预设阈值的目标对象、以及相应的语义特征之后，可以进一步确定样本类别。

示例性的，结合上述示例，以上述初始二维人脸图像A为样本二维人脸图像为例，该步骤可以理解为：

若相似度小于预设阈值的目标对象为鼻子，则图像处理装置根据初始二维人脸图像A中的鼻子的语义特征，确定初始二维人脸图像A中的鼻子的样本类别。

例如，若初始二维人脸图像A中的鼻子的语义特征为鼻子比较高，则可以确定初始二维人脸图像A中的鼻子的样本类别为高鼻子；若初始二维人脸图像A中的鼻子的语义特征为鼻子比较矮，则可以确定初始二维人脸图像A中的鼻子的样本类别为矮鼻子；若初始二维人脸图像A中的鼻子的语义特征为鼻子比较宽，则可以确定初始二维人脸图像A中的鼻子的样本类别为宽鼻子；若初始二维人脸图像A中的鼻子的语义特征为鼻子比较大，则可以确定初始二维人脸图像A中的鼻子的样本类别为大鼻子，等等，此处不再一一列举。

若相似度小于预设阈值的目标对象为眼睛，则图像处理装置根据初始二维人脸图像A中的眼睛的语义特征，确定初始二维人脸图像A中的眼睛的样本类别。

例如，若初始二维人脸图像A中的眼睛语义特征为双眼皮，则可以确定初始二维人脸图像A中的眼睛的样本类别为双眼皮眼睛；若初始二维人脸图像A中的眼睛语义特征为单眼皮，则可以确定初始二维人脸图像A中的眼睛的样本类别为单眼皮眼睛；若初始二维人脸图像A中的眼睛语义特征为眼睛比较大，则可以确定初始二维人脸图像A中的眼睛的样本类别为大眼睛；若初始二维人脸图像A中的眼睛语义特征为眼睛比较小，则可以确定初始二维人脸图像A中的眼睛的样本类别为小眼睛，等等，此处不再一一列举。

若相似度小于预设阈值的目标对象包括鼻子和眼睛，则图像处理装置根据初始二维人脸图像A中的鼻子的语义特征，确定初始二维人脸图像A中的鼻子的样本类别，并且根据初始二维人脸图像A中的眼睛的语义特征，确定初始二维人脸图像A中的眼睛的样本类别。具体可以参见上述示例，此处不再赘述。

以此类推，此处不再一一列举。

其中，若相似度小于预设阈值的目标对象包括脸颊，则样本类别可以为胖脸，也可以为瘦脸，可以为瓜子脸，也可以为鹅蛋脸，等等。

若相似度小于预设阈值的目标对象包括嘴巴，则样本类别可以为厚嘴唇，也可以为薄嘴唇，等等。

若相似度小于预设阈值的目标对象包括眉毛，则样本类别可以为粗眉，也可以为细眉，等等。

在本实施例中，通过获取相似度小于预设阈值的目标对象的语义特征，以基于该语义特征确定该目标对象的样本类别，以使得样本类别对语义特征进行表征，从而提高样本类别在语义层面的有效性和可靠性。

S507：针对每一种类的样本类别，根据该样本类别对预设人脸模型进行调整，得到该样本类别对应的语义基底。

其中，样本类别的种类为一种或多种，目标语义基底包括各种类的样本类别各自对应的语义基底。

如图6所示，图像处理装置基于样本类别，调整预设人脸模型，得到目标语义基底。

示例性的，结合上述分析可知，样本类别可以为一种，可以为多种，如样本类别可以包括：高鼻子、矮鼻子、双眼皮眼睛、单眼皮眼睛、厚嘴唇、以及薄嘴唇，等等。

相应的，针对每一种类的样本类别，如针对高鼻子，可以根据高鼻子对预设人脸模型进行调整，得到高鼻子对应的语义基底；针对矮鼻子，可以根据矮鼻子对预设人脸模型进行调整，得到矮鼻子对应的语义基底；以此类推，此处不再一一列举。

以样本类别包括高鼻子为例，根据高鼻子对预设人脸模型进行调整，得到高鼻子对应的语义基底可以包括：将预设人脸模型中的鼻子的高度进行调整，以提高预设人脸模型中的鼻子的高度，从而得到高鼻子对应的语义基底。

以样本类别包括矮鼻子为例，根据矮鼻子对预设人脸模型进行调整，得到矮鼻子对应的语义基底可以包括：将预设人脸模型中的鼻子的高度进行调整，以降低预设人脸模型中的鼻子的高度，从而得到矮鼻子对应的语义基底。

针对其他样本类别，根据其他样本类别对预设人脸模型进行调整，得到其他样本类别对应的语义基底的实现原理与样本类别包括鼻子类似，此处不再一一列举。

在本实施例中，通过构建每一种类的样本类别对应的语义基底，可以实现目标语义基底的多样性和丰富性，以便基于目标语义基底对待重建二维人脸图像进行重建时，可以提高重建的有准确性、有效性、以及可靠性。

S508：根据样本人脸对象进行训练，得到人脸对象分类模型。

其中，人脸对象分类模型用于，对待重建二维人脸图像进行重建，得到重建后的三维人脸图像。

示例性的，可以将样本人脸对象作为训练样本，以基于训练样本对基础网络模型进行训练，从而得到人脸对象分类模型。

基于上述分析可知，样本人脸对象可以为相似度小于预设阈值的对象。

同理，本实施例对基础网络模型的框架和系数等不做限定。

结合上述分析可知，样本人脸对象为样本二维人脸图像中的人脸对象，而样本二维人脸图像为相似度小于预设的初始二维人脸图像，因此，相对而言，样本二维人脸图像中的人脸对象具有较强的辨识度，所以，通过结合样本人脸对象训练得到的人脸对象分类模型具有较高的分类能力。

应该理解的是，本实施例中步骤顺序，只是用于示范性地说明，本公开实施例的图像处理方法可能的步骤顺序，而不能理解为对步骤顺序的限定。

例如，关于构建目标语义基底和训练人脸对象分类模型之间的先后顺序问题，阐述如下：

在另一些实施例中，构建目标语义基底和训练人脸对象分类模型之间可以具有先后顺序，如本实施例中的先构建目标语义基底，而后训练人脸对象分类模型；或者，也可以先训练人脸对象分类模型，而后构建目标语义基底。

在另一些实施例中，构建目标语义基底和训练人脸对象分类模型之间也可以不具有先后顺序，如同时构建目标语义基底和训练人脸对象分类模型。

在一些实施例中，S508可以包括如下步骤：

第一步骤：对相似度小于预设阈值的目标对象进行类别标注，得到标注类别。

如图6所示，图像处理装置经类别标注，得到标注类别。

示例性的，在一些实施例中，结合上述分析可知，可以基于上述示例中所述的，获取相似度小于预设阈值的目标对象的语义特征，以基于该语义特征进行类别标注，从而得到标注类别。

在另一些实施例中，也可以基于标注人员的标注操作，对相似度小于预设阈值的目标对象进行类别标注，得到标注类别。

其中，标注类别可以理解为，相似度小于预设阈值的目标对象的真实类别。

第二步骤：对相似度小于预设阈值的目标对象的类别进行预测，得到预测类别。

如图6所示，图像处理装置对类别进行预测，得到预测类别。

示例性的，在一些实施例中，图像处理装置可以将样本二维人脸图像(包括标注类别)输入至基础网络模型，以对相似度小于预设阈值的目标对象的类别进行预测，得到预测类别。

在另一些实施例中，图像处理装置可以将相似度小于预设阈值的部分图像输入至基础网络模型，以对相似度小于预设阈值的目标对象的类别进行预测，得到预测类别。

第三步骤：根据标注类别和预测类别，训练得到人脸对象分类模型。

如图6所示，图像处理装置结合标注类别和预测类别，对基础网络模型进行训练，得到人脸对象分类模型。

示例性的，图像处理装置可以计算标注类别和预测类别之间的损失函数，并根据损失函数对基础网络模型进行调整，如对基础网络模型的参数(如卷积参数等)进行调整，直至达到迭代次数，或者损失函数小于预设损失值，得到人脸对象分类模型。

同理，预设损失值可以基于需求、历史记录、以及试验等方式确定，本实施例不做限定。

在本实施例中，通过基于相似度小于预设阈值的目标对象的标注类别和预测类别，训练得到人脸对象分类模型，可以实现训练的针对性，从而可以提高训练的效率和有效性。

在一些实施例中，人脸对象分类模型包括多种不同目标对象的分类模型，每种目标对象的分类模型是基于该种目标对象的标注类别和该种目标对象的预测类别训练得到的。

示例性的，结合上述示例，人脸对象可以包括：脸颊、鼻子、眼睛、耳朵、嘴巴、以及眉毛等中的一种或多种，针对每一种目标对象，具有该目标对象对应的分类模型。

例如，有鼻子对应的分类模型，有眼睛对应的分类模型，有嘴巴对应的分类模型，等等，此处不再一一列举。

相应的，一种目标对象的分类模型，是基于该目标对象的标注类别和该目标对象的预测类别训练得到的。

例如，鼻子对应的分类模型，是基于鼻子的标注类别和鼻子的预测类别训练得到的；眼睛对应的分类模型，是基于眼睛的标注类别和眼睛的预测类别训练得到的，以此类推，此处不再一一列举。

在一些实施例中，结合上述示例，样本二维人脸图像的数量为K个，每一样本二维人脸图像中都包括人脸对象，图像处理装置可以根据相似度小于预设阈值的目标对象，对各样本二维人脸图像中的进行归类处理，得到相似度小于预设阈值的相同目标对象的样本二维人脸图像，针对每一种相似度小于预设阈值的目标对象，根据该种目标对象的样本二维人脸图像进行训练，得到该种目标对象的分类模型。

例如，K个样本二维人脸图像中，总共有X个相似度小于预设阈值的鼻子，即相似度小于预设阈值的鼻子的样本二维人脸图像为X个，则可以根据该X个样本二维人脸图像进行训练，得到鼻子的分类模型。

又如，K个样本二维人脸图像中，总共有Y个相似度小于预设阈值的眼睛，即相似度小于预设阈值的眼睛的样本二维人脸图像为Y个，则可以根据该Y个样本二维人脸图像进行训练，得到眼睛的分类模型。

以此类推，此处不再一一列举。

在本实施例中，通过构建每种目标对象各自对应的分类模型，可以使得分类模型更加具有针对性，从而可以提高分类模型的分类性能，提高分类的准确性和可靠性。

图7为本公开第五实施例的图像处理装置的示意图，如图7所示，图像处理装置700，包括：

获取单元701，用于获取待重建二维人脸图像。

重建单元702，用于根据预设语义基底对待重建二维人脸图像进行重建，得到重建后的三维人脸图像。

其中，预设语义基底是基于样本二维人脸图像的样本人脸对象对应的样本类别对预设人脸模型进行调整得到的；样本类别表征样本人脸对象的语义特征。

图8是本公开第六实施例的图像处理装置的示意图，如图8所示，图像处理装置800，包括：

获取单元801，用于获取待重建二维人脸图像。

重建单元802，用于根据预设语义基底对待重建二维人脸图像进行重建，得到重建后的三维人脸图像。

其中，预设语义基底是基于样本二维人脸图像的样本人脸对象对应的样本类别对预设人脸模型进行调整得到的；样本类别表征样本人脸对象的语义特征。

在一些实施例中，结合图8可知，重建单元802，包括：

分类子单元8021，用于对待重建二维人脸图像的待重建人脸对象进行分类处理，得到待重建人脸对象对应的待重建类别，其中，待重建类别表征待重建人脸对象的语义特征。

在一些实施例中，分类子单元8021用于，将待重建人脸对象输入至预先训练的人脸对象分类模型，得到待重建类别。

其中，人脸对象分类模型是基于样本二维人脸图像的样本人脸对象训练得到的。

在一些实施例中，人脸对象分类模型包括多种不同目标对象的分类模型，待重建人脸对象中的一种目标对象对应人脸对象分类模型中的相同目标对象的分类模型。

在一些实施例中，样本二维人脸图像为初始二维人脸图像中相似度小于预设阈值的人脸图像。

相似度是指初始二维人脸图像、以及与初始二维人脸图像对应的初始三维重建人脸图像之间的相似程度。

初始三维重建人脸图像是基于预设的形态基底对初始二维人脸图像重建得到的，其中，形态基底为对预设人脸模型进行形变得到的。

重建子单元8022，用于根据待重建类别和预设语义基底，对待重建二维人脸图像进行重建，得到重建后的三维人脸图像。

在一些实施例中，预设语义基底中包括人脸对象的各类别各自对应的语义基底；重建子单元8022，包括：

获取模块，用于从预设语义基底中，获取与待重建类别对应的目标语义基底，其中，人脸对象的各类别包括所述待重建类别。

重建模块，用于根据目标语义基底，对待重建二维人脸图像进行重建，得到重建后的三维人脸图像。

在一些实施例中，重建模块，包括：

重建子模块，用于根据预设语义基底和预设的形态基底，对待重建二维人脸图像进行重建，得到初始的三维人脸图像，其中，形态基底为对预设人脸模型进行形变得到的。

调整子模块，用于根据目标语义基底对初始的三维人脸图像进行调整，得到重建后的三维人脸图像。

在一些实施例中，调整子模块用于，确定目标语义基底与预设人脸模型之间的差异信息，并根据差异信息对初始的三维人脸图像进行调整，得到重建后的三维人脸图像。

在一些实施例中，目标语义基底包括第一点云坐标，预设人脸模型包括第二点云坐标，初始的三维人脸图像包括第三点云坐标；调整子模块用于，根据第一点云坐标和所述第二点云坐标，计算得到点云坐标差异，其中，差异信息包括所述点云坐标差异，并根据点云坐标差异和第三点云坐标，计算得到点云坐标和值。

其中，重建后的三维人脸图像的点云坐标为点云坐标和值。

图9是本公开第七实施例的图像处理装置的示意图，如图9所示，图像处理装置900，包括：

获取单元901，用于获取样本二维人脸图像。

分类单元902，用于对样本二维人脸图像的样本人脸对象进行分类处理，得到样本人脸对象的样本类别，样本类别表征样本人脸对象的语义特征。

调整单元903，用于根据样本类别对预设人脸模型进行调整，得到目语义基底。

图10是本公开第八实施例的图像处理装置的示意图，如图10所示，图像处理装置1000，包括：

获取单元1001，用于获取样本二维人脸图像。

在一些实施例中，结合图10可知，获取单元1001，包括：

重建子单元10011，用于基于预设的形态基底，对获取到的初始二维人脸图像进行重建，得到初始三维重建人脸图像，其中，形态基底为对预设人脸模型进行形变得到的。

计算子单元10012，用于计算初始二维人脸图像和初始三维重建人脸图像之间的相似度。

第一确定子单元10013，用于从初始二维人脸图像中将相似度小于预设阈值的图像作为样本二维人脸图像。

在一些实施例中，初始二维人脸图像和初始三维重建人脸图像中包括人脸对象；计算子单元10012用于，针对人脸对象中的每一目标对象，计算初始二维人脸图像中的该目标对象、以及初始三维重建人脸图像中的该目标对象之间的相似度。

以及，第一确定子单元10013用于，若初始二维人脸图像与初始三维重建人脸图像中的任意目标对象的相似度小于预设阈值，则将初始二维人脸图像确定为样本二维人脸图像。

分类单元1002，用于对样本二维人脸图像的样本人脸对象进行分类处理，得到样本人脸对象的样本类别，样本类别表征样本人脸对象的语义特征。

在一些实施例中，结合图10可知，分类单元1002，包括：

获取子单元10021，用于获取样本二维人脸图像中，相似度小于预设阈值的目标对象的语义特征。

第二确定子单元10022，用于根据相似度小于预设阈值的目标对象的语义特征，确定相似度小于预设阈值的目标对象的样本类别。

调整单元1003，用于根据样本类别对预设人脸模型进行调整，得到目标语义基底。

在一些实施例中，样本类别的种类为一种或多种；调整单元1003用于，针对每一种类的样本类别，根据该样本类别对预设人脸模型进行调整，得到该样本类别对应的语义基底。

目标语义基底包括各种类的样本类别各自对应的语义基底。

训练单元1004，用于根据样本人脸对象进行训练，得到人脸对象分类模型。

其中，人脸对象分类模型用于，对待重建二维人脸图像进行重建，得到重建后的三维人脸图像。

在一些实施例中，结合图10可知，训练单元1004，包括：

标注子单元10041，用于对相似度小于预设阈值的目标对象进行类别标注，得到标注类别。

预测子单元10042，用于对相似度小于预设阈值的目标对象的类别进行预测，得到预测类别。

训练子单元10043，用于根据标注类别和所述预测类别，训练得到人脸对象分类模型。

在一些实施例中，人脸对象分类模型包括多种不同目标对象的分类模型，每种目标对象的分类模型是基于该种目标对象的标注类别和该种目标对象的预测类别训练得到的。

图11是根据本公开第九实施例的示意图，如图11所示，本公开中的电子设备1100可以包括：处理器1101和存储器1102。

存储器1102，用于存储程序；存储器1102，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器1102用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器1102中。并且上述的计算机程序、计算机指令、数据等可以被处理器1101调用。

上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器1102中。并且上述的计算机程序、计算机指据等可以被处理器1101调用。

处理器1101，用于执行存储器1102存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。

具体可以参见前面方法实施例中的相关描述。

处理器1101和存储器1102可以是独立结构，也可以是集成在一起的集成结构。当处理器1101和存储器1102是独立结构时，存储器1102、处理器1101可以通过总线1103耦合连接。

本实施例的电子设备可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。

需要说明的是，本实施例中的人脸模型(如预设人脸模型、预设语义基底、目标语义基底、形态基底等)并不是针对某一特定用户的人脸模型，并不能反映出某一特定用户的个人信息。需要说明的是，本实施例中的人脸图像(如待重建二维人脸图像、样本二维人脸图像等)来自于公开数据集。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

图12示出了可以用来实施本公开的实施例的示例电子设备1200的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图12所示，设备1200包括计算单元1201，其可以根据存储在只读存储器(ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程序，来执行各种适当的动作和处理。在RAM 1203中，还可存储设备1200操作所需的各种程序和数据。计算单元1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。

设备1200中的多个部件连接至I/O接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如图像处理方法。例如，在一些实施例中，图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由ROM1202和/或通信单元1209而被载入和/或安装到设备1200上。当计算机程序加载到RAM 1203并由计算单元1201执行时，可以执行上文描述的图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式***的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (37)

1.一种图像处理方法，包括：

获取待重建二维人脸图像；

根据预设语义基底对所述待重建二维人脸图像进行重建，得到重建后的三维人脸图像；

其中，所述预设语义基底是基于样本二维人脸图像的样本人脸对象对应的样本类别对预设人脸模型进行调整得到的；所述样本类别表征所述样本人脸对象的语义特征。

2.根据权利要求1所述的方法，其中，所述根据预设语义基底对所述待重建二维人脸图像进行重建，得到重建后的三维人脸图像，包括：

对所述待重建二维人脸图像的待重建人脸对象进行分类处理，得到所述待重建人脸对象对应的待重建类别，其中，所述待重建类别表征所述待重建人脸对象的语义特征；

根据所述待重建类别和所述预设语义基底，对所述待重建二维人脸图像进行重建，得到所述重建后的三维人脸图像。

3.根据权利要求2所述的方法，其中，所述预设语义基底中包括人脸对象的各类别各自对应的语义基底；所述根据所述待重建类别和所述预设语义基底，对所述待重建二维人脸图像进行重建，得到所述重建后的三维人脸图像，包括：

从所述预设语义基底中，获取与所述待重建类别对应的目标语义基底，其中，所述人脸对象的各类别包括所述待重建类别；

根据所述目标语义基底，对所述待重建二维人脸图像进行重建，得到所述重建后的三维人脸图像。

4.根据权利要求3所述的方法，其中，所述根据所述目标语义基底，对所述待重建二维人脸图像进行重建，得到所述重建后的三维人脸图像，包括：

根据所述预设语义基底和预设的形态基底，对所述待重建二维人脸图像进行重建，得到初始的三维人脸图像，其中，所述形态基底为对所述预设人脸模型进行形变得到的；

根据所述目标语义基底对所述初始的三维人脸图像进行调整，得到所述重建后的三维人脸图像。

5.根据权利要求4所述的方法，其中，根据所述目标语义基底对所述初始的三维人脸图像进行调整，得到所述重建后的三维人脸图像，包括：

确定所述目标语义基底与所述预设人脸模型之间的差异信息；

根据所述差异信息对所述初始的三维人脸图像进行调整，得到所述重建后的三维人脸图像。

6.根据权利要求5所述的方法，其中，所述目标语义基底包括第一点云坐标，所述预设人脸模型包括第二点云坐标，所述初始的三维人脸图像包括第三点云坐标；所述确定所述目标语义基底与所述预设人脸模型之间的差异信息，包括：

根据所述第一点云坐标和所述第二点云坐标，计算得到点云坐标差异，其中，所述差异信息包括所述点云坐标差异；

以及，所述根据所述差异信息对所述初始的三维人脸图像进行调整，得到所述重建后的三维人脸图像，包括：根据所述点云坐标差异和所述第三点云坐标，计算得到点云坐标和值；

其中，所述重建后的三维人脸图像的点云坐标为所述点云坐标和值。

7.根据权利要求2-6中任一项所述的方法，其中，所述对所述待重建二维人脸图像的待重建人脸对象进行分类处理，得到所述待重建人脸对象对应的待重建类别，包括：

将所述待重建人脸对象输入至预先训练的人脸对象分类模型，得到所述待重建类别；

其中，所述人脸对象分类模型是基于所述样本二维人脸图像的样本人脸对象训练得到的。

8.根据权利要求7所述的方法，其中，所述人脸对象分类模型包括多种不同目标对象的分类模型，所述待重建人脸对象中的一种目标对象对应所述人脸对象分类模型中的相同目标对象的分类模型。

9.根据权利要求1-8中任一项所述的方法，其中，所述样本二维人脸图像为初始二维人脸图像中相似度小于预设阈值的人脸图像；

所述相似度是指初始二维人脸图像、以及与初始二维人脸图像对应的初始三维重建人脸图像之间的相似程度；

初始三维重建人脸图像是基于预设的形态基底对初始二维人脸图像重建得到的，其中，所述形态基底为对所述预设人脸模型进行形变得到的。

10.一种图像处理方法，包括：

获取样本二维人脸图像；

对所述样本二维人脸图像的样本人脸对象进行分类处理，得到所述样本人脸对象的样本类别，所述样本类别表征所述样本人脸对象的语义特征；

根据所述样本类别对预设人脸模型进行调整，得到目标语义基底。

11.根据权利要求10所述的方法，其中，所述获取样本二维人脸图像，包括：

基于预设的形态基底对获取到的初始二维人脸图像进行重建，得到初始三维重建人脸图像，其中，所述形态基底为对所述预设人脸模型进行形变得到的；

计算所述初始二维人脸图像和所述初始三维重建人脸图像之间的相似度；

从所述初始二维人脸图像中，将相似度小于预设阈值的图像作为所述样本二维人脸图像。

12.根据权利要求11所述的方法，其中，所述初始二维人脸图像和所述初始三维重建人脸图像中包括人脸对象；所述计算所述初始二维人脸图像和所述初始三维重建人脸图像之间的相似度，包括：

针对人脸对象中的每一目标对象，计算所述初始二维人脸图像中的该目标对象、以及所述初始三维重建人脸图像中的该目标对象之间的相似度；

以及，从所述初始二维人脸图像中，将相似度小于预设阈值的图像作为所述样本二维人脸图像，包括：若所述初始二维人脸图像与所述初始三维重建人脸图像中的任意目标对象的相似度小于所述预设阈值，则将所述初始二维人脸图像确定为所述样本二维人脸图像。

13.根据权利要求12所述的方法，其中，所述对所述样本二维人脸图像的样本人脸对象进行分类处理，得到所述样本人脸对象的样本类别，包括：

获取所述样本二维人脸图像中，相似度小于所述预设阈值的目标对象的语义特征；

根据所述相似度小于所述预设阈值的目标对象的语义特征，确定相似度小于所述预设阈值的目标对象的样本类别。

14.根据权利要求10-13中任一项所述的方法，其中，所述样本类别的种类为一种或多种；所述根据所述样本类别对预设人脸模型进行调整，得到目标语义基底，包括：

针对每一种类的样本类别，根据该样本类别对所述预设人脸模型进行调整，得到该样本类别对应的语义基底；

所述目标语义基底包括各种类的样本类别各自对应的语义基底。

15.根据权利要求12-14中任一项所述的方法，还包括：

根据所述样本人脸对象进行训练，得到人脸对象分类模型；

其中，所述人脸对象分类模型用于，对待重建二维人脸图像进行重建，得到重建后的三维人脸图像。

16.根据权利要求15所述的方法，其中，所述根据所述样本人脸对象进行训练，得到人脸对象分类模型，包括：

对相似度小于所述预设阈值的目标对象进行类别标注，得到标注类别；

对相似度小于所述预设阈值的目标对象的类别进行预测，得到预测类别；

根据所述标注类别和所述预测类别，训练得到所述人脸对象分类模型。

17.根据权利要求16所述的方法，其中，所述人脸对象分类模型包括多种不同目标对象的分类模型，每种目标对象的分类模型是基于该种目标对象的标注类别和该种目标对象的预测类别训练得到的。

18.一种图像处理装置，包括：

获取单元，用于获取待重建二维人脸图像；

重建单元，用于根据预设语义基底对所述待重建二维人脸图像进行重建，得到重建后的三维人脸图像；

其中，所述预设语义基底是基于样本二维人脸图像的样本人脸对象对应的样本类别对预设人脸模型进行调整得到的；所述样本类别表征所述样本人脸对象的语义特征。

19.根据权利要求18所述的装置，其中，所述重建单元，包括：

分类子单元，用于对所述待重建二维人脸图像的待重建人脸对象进行分类处理，得到所述待重建人脸对象对应的待重建类别，其中，所述待重建类别表征所述待重建人脸对象的语义特征；

重建子单元，用于根据所述待重建类别和所述预设语义基底，对所述待重建二维人脸图像进行重建，得到所述重建后的三维人脸图像。

20.根据权利要求19所述的装置，其中，所述预设语义基底中包括人脸对象的各类别各自对应的语义基底；所述重建子单元，包括：

获取模块，用于从所述预设语义基底中，获取与所述待重建类别对应的目标语义基底，其中，所述人脸对象的各类别包括所述待重建类别；

重建模块，用于根据所述目标语义基底，对所述待重建二维人脸图像进行重建，得到所述重建后的三维人脸图像。

21.根据权利要求20所述的装置，其中，所述重建模块，包括：

重建子模块，用于根据所述预设语义基底和预设的形态基底，对所述待重建二维人脸图像进行重建，得到初始的三维人脸图像，其中，所述形态基底为对所述预设人脸模型进行形变得到的；

调整子模块，用于根据所述目标语义基底对所述初始的三维人脸图像进行调整，得到所述重建后的三维人脸图像。

22.根据权利要求21所述的装置，其中，所述调整子模块用于，确定所述目标语义基底与所述预设人脸模型之间的差异信息，并根据所述差异信息对所述初始的三维人脸图像进行调整，得到所述重建后的三维人脸图像。

23.根据权利要求22所述的装置，其中，所述目标语义基底包括第一点云坐标，所述预设人脸模型包括第二点云坐标，所述初始的三维人脸图像包括第三点云坐标；所述调整子模块用于，根据所述第一点云坐标和所述第二点云坐标，计算得到点云坐标差异，其中，所述差异信息包括所述点云坐标差异，并根据所述点云坐标差异和所述第三点云坐标，计算得到点云坐标和值；

其中，所述重建后的三维人脸图像的点云坐标为所述点云坐标和值。

24.根据权利要求19-23中任一项所述的装置，其中，所述分类子单元用于，将所述待重建人脸对象输入至预先训练的人脸对象分类模型，得到所述待重建类别；

其中，所述人脸对象分类模型是基于所述样本二维人脸图像的样本人脸对象训练得到的。

25.根据权利要求24所述的装置，其中，所述人脸对象分类模型包括多种不同目标对象的分类模型，所述待重建人脸对象中的一种目标对象对应所述人脸对象分类模型中的相同目标对象的分类模型。

26.根据权利要求18-25中任一项所述的装置，其中，所述样本二维人脸图像为初始二维人脸图像中相似度小于预设阈值的人脸图像；

所述相似度是指初始二维人脸图像、以及与初始二维人脸图像对应的初始三维重建人脸图像之间的相似程度；

初始三维重建人脸图像是基于预设的形态基底对初始二维人脸图像重建得到的，其中，所述形态基底为对所述预设人脸模型进行形变得到的。

27.一种图像处理装置，包括：

获取单元，用于获取样本二维人脸图像；

分类单元，用于对所述样本二维人脸图像的样本人脸对象进行分类处理，得到所述样本人脸对象的样本类别，所述样本类别表征所述样本人脸对象的语义特征；

调整单元，用于根据所述样本类别对预设人脸模型进行调整，得到目标语义基底。

28.根据权利要求27所述的装置，其中，所述获取单元，包括：

重建子单元，用于基于预设的形态基底对获取到的初始二维人脸图像进行重建，得到初始三维重建人脸图像，其中，所述形态基底为对所述预设人脸模型进行形变得到的；

计算子单元，用于计算所述初始二维人脸图像和所述初始三维重建人脸图像之间的相似度；

第一确定子单元，用于从所述初始二维人脸图像中，将相似度小于预设阈值的图像作为所述样本二维人脸图像。

29.根据权利要求28所述的装置，其中，所述初始二维人脸图像和所述初始三维重建人脸图像中包括人脸对象；所述计算子单元用于，针对人脸对象中的每一目标对象，计算所述初始二维人脸图像中的该目标对象、以及所述初始三维重建人脸图像中的该目标对象之间的相似度；

以及，所述第一确定子单元用于，若所述初始二维人脸图像与所述初始三维重建人脸图像中的任意目标对象的相似度小于所述预设阈值，则将所述初始二维人脸图像确定为所述样本二维人脸图像。

30.根据权利要求29所述的装置，其中，所述分类单元，包括：

获取子单元，用于获取所述样本二维人脸图像中，相似度小于所述预设阈值的目标对象的语义特征；

第二确定子单元，用于根据所述相似度小于所述预设阈值的目标对象的语义特征，确定相似度小于所述预设阈值的目标对象的样本类别。

31.根据权利要求27-30中任一项所述的装置，其中，所述样本类别的种类为一种或多种；所述调整单元用于，针对每一种类的样本类别，根据该样本类别对所述预设人脸模型进行调整，得到该样本类别对应的语义基底；

所述目标语义基底包括各种类的样本类别各自对应的语义基底。

32.根据权利要求29-31中任一项所述的装置，还包括：

训练单元，用于根据所述样本人脸对象进行训练，得到人脸对象分类模型；

其中，所述人脸对象分类模型用于，对待重建二维人脸图像进行重建，得到重建后的三维人脸图像。

33.根据权利要求32所述的装置，其中，所述训练单元，包括：

标注子单元，用于对相似度小于所述预设阈值的目标对象进行类别标注，得到标注类别；

预测子单元，用于对相似度小于所述预设阈值的目标对象的类别进行预测，得到预测类别；

训练子单元，用于根据所述标注类别和所述预测类别，训练得到所述人脸对象分类模型。

34.根据权利要求33所述的装置，其中，所述人脸对象分类模型包括多种不同目标对象的分类模型，每种目标对象的分类模型是，基于该种目标对象的标注类别和该种目标对象的预测类别训练得到的。

35.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法；或者，以使所述至少一个处理器能够执行权利要求10-17中任一项所述的方法。

36.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法；或者，所述计算机指令用于使所述计算机执行根据权利要求10-17中任一项所述的方法。

37.一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-9中任一项所述方法的步骤；或者，该计算机程序被处理器执行时实现权利要求10-17中任一项所述方法的步骤。

Images