CN109242760B - 人脸图像的处理方法、装置和电子设备 - Google Patents

Abstract

本发明提出一种人脸图像的处理方法、装置和电子设备，其中，该方法包括：获取原始人脸图像对应的原始人脸三维模型；获取原始人脸三维模型的三维几何特征；将原始人脸三维模型的三维几何特征与人脸模板组中所有人脸模板的三维几何特征进行比对，得到与原始人脸三维模型相似的目标人脸模板；根据目标人脸模板的三维几何特征，对原始人脸图像进行调整，以得到目标人脸图像。由此，从而使得调整后人脸图像中的人脸更加自然、真实，为用户准确提供了的微整形效果，方便了用户获得人脸的微整形效果，提高了用户的体验度。

Description

人脸图像的处理方法、装置和电子设备

技术领域

本发明涉及图像技术领域，尤其涉及一种人脸图像的处理方法以及装置。

背景技术

随着终端设备技术的发展，手机、平板电脑等终端设备能为用户提供各种功能，在使用终端设备的过程中，例如，用户可通过终端设备中的换脸软件将人脸模板比如明星或者他人的脸皮替换原始人脸图像中的人脸，以将待替换人脸图像中的人脸替换成他人的脸皮，以查看换脸效果。

然而，由于待替换人脸图像与模板中的人脸之间存在差异，例如，两张人脸的肤色存在差异，这种直接将待替换人脸图像中的人脸替换成他人的脸皮方式，容易使得所呈现出的换脸效果不够真实，无法准确为用户提供人脸整形效果，从而导致用户的体验度不理想。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种人脸图像的处理方法，该方法通过相似人脸模板的三维几何特征对原始人脸图像中的人脸进行调整，从而使得调整后的人脸图像中的人脸的五官与脸型与人脸模板相似，由于调整前后人脸图像中人脸的皮肤未变化，从而使得调整后人脸图像中的人脸更加自然、真实，为用户准确提供了的微整形效果，方便了用户获得人脸的微整形效果，提高了用户的体验度。

本发明的第二个目的在于提出一种人脸图像的处理装置。

本发明的第三个目的在于提出一种电子设备。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

本发明的第五个目的在于提出一种计算机程序产品。

本发明实施例提供一种人脸图像的处理方法，包括以下步骤：获取原始人脸图像对应的原始人脸三维模型；获取所述原始人脸三维模型的三维几何特征；将所述原始人脸三维模型的三维几何特征与人脸模板组中所有人脸模板的三维几何特征进行比对，得到与所述原始人脸三维模型相似的目标人脸模板；根据所述目标人脸模板的三维几何特征，对所述原始人脸图像进行调整，以得到目标人脸图像。

本发明另一实施例提供一种人脸图像的处理装置，包括：第一获取模块，用于获取原始人脸图像对应的原始人脸三维模型；第二获取模块，用于获取所述原始人脸三维模型的三维几何特征；比对模块，用于将所述原始人脸三维模型的三维几何特征与人脸模板组中所有人脸模板的三维几何特征进行比对，得到与所述原始人脸三维模型相似的目标人脸模板；处理模块，用于根据所述目标人脸模板的三维几何特征，对所述原始人脸图像进行调整，以得到目标人脸图像。

本发明另一实施例提供一种电子设备，电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述实施例的人脸图像的处理方法。

本发明又一实施例提供一种非临时性计算机可读存储介质，所述计算机程序被处理器执行时实现如上述实施例所述的人脸图像的处理方法。

本发明还一实施例提供一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行如上述实施例所述的人脸图像的处理方法。

本发明实施例提供的技术方案可以包括以下有益效果：

获取原始人脸对应的原始人脸三维模型，并获取原始人脸三维模型的三维几何特征，将原始人脸三维模型的三维几何特征与人脸模板组中所有人脸模板的三维几何特征进行比对，得到与原始人脸三维模型相似的目标人脸模板，并根据目标人脸模板的三维几何特征，对原始人脸图像中的人脸进行调整。由此，通过相似人脸模板的三维几何特征对原始人脸图像中的人脸进行调整，从而使得调整后的人脸图像中的人脸的五官与脸型与人脸模板相似，由于调整前后人脸图像中人脸的皮肤未变化，从而使得调整后人脸图像中的人脸更加自然、真实，为用户准确提供了的微整形效果，方便了用户获得人脸的微整形效果，提高了用户的体验度。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明第一个实施例的人脸图像的处理方法的流程图；

图2是步骤104的细化流程图一；

图3是步骤104的细化流程图二；

图4是根据本发明一个实施例的人脸图像的处理装置的结构示意图；

图5是根据本发明另一个实施例的人脸图像的处理装置的结构示意图；

图6是根据本发明另一个实施例的人脸图像的处理装置的结构示意图；

图7是根据本发明一个实施例中电子设备200的内部结构示意图；

图8是作为一种可能的实现方式的图像处理电路的示意图；

图9是作为另一种可能的实现方式的图像处理电路的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的人脸图像的处理方法、装置和电子设备。

图1是根据本发明第一个实施例的人脸图像的处理方法的流程图。

如图1所示，该人脸图像的处理方法可以包括：

步骤101，获取原始人脸图像对应的原始人脸三维模型。

其中，需要说明的是，在不同应用场景下，可通过多种方式获取原始人脸图像对应的原始人脸三维模型，本实施例提供了几种可能的实现方式：

作为一种可能的实现方式，在获取原始人脸图像后，可基于预设三维重建三分对原始人脸图像进行三维重建，以通过三维重建获取原始人脸图像对应的原始人脸三维模型。

作为另一种可能的实现方式，在获取原始人脸图像后，可对原始人脸图像进行人脸特征点识别，并根据人脸特征点识别结果获取对应的人脸三维模型，所获取的人脸三维模型即为原始人脸图像对应的原始人脸三维模型。

具体而言，可根据预存的人脸特征点与人脸三维模型的对应关系，获取与人脸特征点识别结果对应的人脸三维模型，所获取的人脸三维模型即为原始人脸图像对应的原始人脸三维模型。

其中，需要说明的是，对应关系中的人脸三维模型是预先建立的。例如，可基于对应人脸图像的深度信息和二维的人脸图像进行三维重构，建立人脸三维模型，或者，根据人脸图像以及预设三维重建算法预先建立人脸三维模型，该实施例对此不作限定。

步骤102，获取原始人脸三维模型的三维几何特征。

其中，三维几何特征可以包括但不限于鼻梁高度、眼间距与脸宽比、唇厚、唇宽、唇厚与唇宽比值、鼻子长度、鼻子宽度、脸颊长度、脸颊宽度等信息。

其中，需要理解的是，在不同应用场景下，可通过多种方式获取原始人脸三维模型的三维几何特征，本实施例提供了几种可能的实现方式：

作为一种可能的实现方式，可根据预存的人脸三维模型与三维几何特征的对应关系，获取与原始人脸三维模型对应的三维几何特征。

作为另一种可能的实现方式，在获取原始人脸三维模型后，可确定原始人脸三维模型中的模型特征点，并通过分析模型特征点的坐标信息，得到原始人脸三维模型的三维几何特征。

其中，人脸三维模型的模型特征点是指人脸三维模型表面中人脸的关键点。

步骤103，将原始人脸三维模型的三维几何特征与人脸模板组中所有人脸模板的三维几何特征进行比对，得到与原始人脸三维模型相似的目标人脸模板。

其中，需要说明的是，人脸模板组中的人脸模板可以包括但不限于明星人脸模板，还可以为其他用户人脸模板，例如，整体五官好的人脸模板，或者整容效果好的人脸模板。

其中，需要理解的是，与原始人脸图像中人脸相似的目标人脸模板可能有一个或者多个。

在与原始人脸图像汇总人脸相似的候选人脸模型有多个时，可将多个候选人脸模型提供给用户，并获取用户从多个候选人脸模型中选出的人脸模型，并将用户所选出的人脸模型作为目标人脸模型。

作为一种示例性的实施方式，为了减少用户的操作，提高智能化，作为一种示例性的实施方式，可将原始人脸三维模型的三维几何特征与人脸模板组中所有人脸模板的三维几何特征进行比对，得到与原始人脸三维模型最相似的目标人脸模板。

其中，将原始人脸三维模型的三维几何特征与人脸模板组中所有人脸模板的三维几何特征进行比对，得到与原始人脸三维模型最相似的目标人脸模板的具体过程为：根据原始人脸三维模型的三维几何特征与人脸模板组中每个人脸模板的三维几何特征，得到原始人脸三维模型与每个人脸模板的相似度，然后，根据原始人脸三维模型与每个人脸模板的相似度，得到相似度中的最大相似度，并将最大相似度对应的人脸模板作为目标人脸模板。

步骤104，根据目标人脸模板的三维几何特征，对原始人脸图像进行调整，以得到目标人脸图像。

其中，需要说明的是，在不同应用场景下，根据目标人脸模板的三维几何特征，对原始人脸图像进行调整，以得到目标人脸图像的方式不同，举例说明如下：

作为一种示例，如图2所示，步骤104可以包括：

步骤201，根据目标人脸模板的三维几何特征和原始人脸三维模型的三维几何特征，得到原始人脸三维模型中各个模型特征点的三维变换向量。

步骤202，获取原始人脸图像中人脸的姿态信息。

其中，姿态信息可以包括但不限于旋转方向和旋转角度等信息。

其中，需要说明的是，在不同应用场景下，可通过不同的方式获取原始人脸图像中人脸的姿态信息。举例说明如下：

作为一种示例，可从原始人脸图像中提取人脸特征点，并根据所提取的人脸特征点确定原始人脸图像中人脸的姿态信息。

其中，人脸特征点可以是人脸上关键部位的特征点，例如，眼部特征点、眉毛特征点、耳朵特征点、嘴部特征点等。

作为另一种示例，在原始人脸图中包括深度信息时，可根据原始人脸图像中人脸的深度信息和参考人脸三维模型，确定原始人脸图像中人脸的姿态信息。

具体而言，根据原始人脸图像中人脸的深度信息，确定与原始人脸图像中人脸的三维信息，并根据原始人脸图像中人脸的三维信息与原始人脸三维模型中人脸的三维信息进行比对，并根据比对结果确定原始人脸图像中人脸的姿态信息。

步骤203，根据人脸的姿态信息，将原始人脸三维模型中各个模型特征点的三维变换向量映射到二维平面，以得到二维人脸图像中各个图像特征点的二维变换向量。

其中，需要理解的是，原始人脸三维模板中的模型特征点与二维人脸图像中的图像特征点对应。

其中，需要理解的是，人脸三维模型的模型特征点是指人脸三维模型表面中人脸的关键点。

步骤204，根据二维人脸图像中各个图像特征点的二维变换向量，对原始人脸图像中对应图像特征点进行变换，以得到目标人脸图像。

其中，需要说明的是，原始人脸三维模型与人脸模板的模型特征点对应。

在本示例中，通过相似人脸模板与原始人脸三维模型的三维几何特征，确定原始人脸与相似人脸模板之间各个模型特征点的三维变换向量，并根据原始人脸图像中人脸的姿态信息，将各个模型特征点的三维变换向量映射到二维平面，以得到原始人脸与相似人脸模板之间对应图像特征点的二维变换向量，并通过对应图像特征点的二维变换向量对原始人脸图像中对应图像特征点进行变换，从而使得变换后人脸图像(即目标人脸图像)中的人脸有人脸模板中人脸的特点，变换后人脸图像中人脸向相似人脸模板中的人脸靠拢，方便了用户结合自身的肤色和五官情况，获取原始人脸图像的微整形效果。

作为另一种示例性的实施方式，如图3所示，步骤104可以包括：

步骤301，根据目标人脸模板的三维几何特征，对原始人脸三维模板进行调整，得到目标人脸三维模型。

步骤302，根据目标人脸三维模型，对原始人脸图像进行调整，以得到目标人脸图像。

作为一种示例性的实施方式，在获取目标人脸三维模型后，可获取原始人脸图像中人脸的姿态信息，然后，根据人脸的姿态信息，将目标人脸三维模型映射到二维平面以得到调整后的人脸图像，以及将调整后的人脸图像对应替换原始人脸图像的对应像素，以得到目标人脸图像。

在本示例中，通过目标人脸模板的三维几何特征，先对原始人脸三维模型进行调整，以得到目标人脸三维模型，然后，根据人脸的姿态信息，将目标人脸三维模型映射到二维平面以得到调整后的人脸图像，然后，通过调整后的人脸图像对应替换原始人脸图像的对应像素，以得到目标人脸图像。由此，在人脸调整的过程中，结合人脸的姿态信息以及相似人脸模板的三维几何特征对原始人脸图像中的人脸进行调整，从而改善了人脸姿态差异对人脸调整效果的影响，并且调整前后未对人脸图像中的肤色进行改变，从而使得目标人脸图像中的人脸自然、真实，所提供的人脸微整形效果好，方便了用户获取用户的微整形效果，提高了用户的体验度。

作为另一种示例性的实施方式，在获取目标人脸三维模型后，还可以获取目标人脸三维模型中的模型特征点，并获取原始人脸图像中的图像特征点，并根据目标人脸三维模型的模型特征点与原始人脸图像的图像特征点之间的映射关系，直接对原始人脸图像对应的图像特征点进行替换，以得到目标人脸图像。

其中，人脸三维模型的模型特征点是指人脸三维模型表面中人脸的关键点。

其中，原始人脸图像的图像特征点是指原始人脸图像中人脸的关键点。

本发明实施例的人脸图像的处理方法，获取原始人脸对应的原始人脸三维模型，并获取原始人脸三维模型的三维几何特征，将原始人脸三维模型的三维几何特征与人脸模板组中所有人脸模板的三维几何特征进行比对，得到与原始人脸三维模型相似的目标人脸模板，并根据目标人脸模板的三维几何特征，对原始人脸图像中的人脸进行调整。由此，通过相似人脸模板的三维几何特征对原始人脸图像中的人脸进行调整，从而使得调整后的人脸图像中的人脸的五官与脸型与人脸模板相似，由于调整前后人脸图像中人脸的皮肤未变化，从而使得调整后人脸图像中的人脸更加自然、真实，为用户准确提供了的微整形效果，方便了用户获得人脸的微整形效果，提高了用户的体验度。

基于上述实施例的基础上，为了满足用户对目标人脸图像进行美化的需求，作为一种示例性的实施方式，在获取目标人脸图像后，可对目标人脸图像进行人脸肤色识别，并获取与人脸肤色识别结果对应的美妆信息，以及根据美妆信息对目标人脸图像进行美化。由此，通过采用与目标人脸图像中人脸肤色相匹配的美妆信息，对目标人脸图像进行美化处理，从而使得目标人脸图像中美妆与人脸肤色匹配，美化效果更加自然、真实。

其中，美妆信息可以包括但不限于眼影、腮红、美瞳、唇色等信息，该实施例对此不作限定。

为了实现上述实施例，本发明还提出了一种人脸图像的处理装置。

图4是根据本发明一个实施例的人脸图像的处理装置的结构示意图。

如图4所示，该人脸图像的处理装置包括第一获取模块110、第二获取模块120、比对模块130和处理模块140，其中：

第一获取模块110，用于获取原始人脸图像对应的原始人脸三维模型。

第二获取模块120，用于获取原始人脸三维模型的三维几何特征。

比对模块130，用于将原始人脸三维模型的三维几何特征与人脸模板组中所有人脸模板的三维几何特征进行比对，得到与原始人脸三维模型相似的目标人脸模板。

处理模块140，用于根据目标人脸模板的三维几何特征，对原始人脸图像进行调整，以得到目标人脸图像。

其中，三维几何特征可以包括但不限于鼻梁高度、眼间距与脸宽比、唇厚、唇宽、唇厚与唇宽比值、鼻子长度、鼻子宽度、脸颊长度、脸颊宽度等信息。

在本发明的一个实施例中，在图4所示的实施例的基础上，如图5所示，处理模块140可以包括：

第一处理单元141，用于根据目标人脸模板的三维几何特征和原始人脸三维模型的三维几何特征，得到原始人脸三维模型中各个模型特征点的三维变换向量。

获取单元142，用于获取原始人脸图像中人脸的姿态信息。

映射单元143，用于根据人脸的姿态信息，将原始人脸三维模型中各个模型特征点的三维变换向量映射到二维平面，以得到二维人脸图像中各个图像特征点的二维变换向量。

第二处理单元144，用于根据二维人脸图像中各个图像特征点的二维变换向量，对原始人脸图像中对应图像特征点进行变换，以得到目标人脸图像。

在本发明的一个实施例中，在图4所示的实施例的基础上，如图6所示，该，处理模块140可以包括：

第一调整单元145，用于根据目标人脸模板的三维几何特征，对原始人脸三维模板进行调整，得到目标人脸三维模型。

第二调整单元146，用于根据目标人脸三维模型，对原始人脸图像进行调整，以得到目标人脸图像。

在本发明的一个实施例中，第二调整单元146具体用于：获取原始人脸图像中人脸的姿态信息，并根据人脸的姿态信息，将目标人脸三维模型映射到二维平面以得到调整后的人脸图像，以及将调整后的人脸图像对应替换原始人脸图像的对应像素，以得到目标人脸图像。

在本发明的一个实施例中，比对模块130具体用于：根据原始人脸三维模型的三维几何特征与人脸模板组中每个人脸模板的三维几何特征，得到原始人脸三维模型与每个人脸模板的相似度，以及根据原始人脸三维模型与每个人脸模板的相似度，得到相似度中的最大相似度，并将最大相似度对应的人脸模板作为目标人脸模板。

其中，需要说明的是，前述对人脸图像的处理方法实施例的解释说明也适用于该实施例的人脸图像的处理装置，此处不再赘述。

为了满足用户对目标人脸图像进行美化的需求，作为一种示例性的实施方式，上述装置还可以包括美化模块(图中未示出)，该美化模块用于对目标人脸图像进行人脸肤色识别，并获取与人脸肤色识别结果对应的美妆信息，以及根据美妆信息对目标人脸图像进行美化。由此，通过采用与目标人脸图像中人脸肤色相匹配的美妆信息，对目标人脸图像进行美化处理，从而使得目标人脸图像中美妆与人脸肤色匹配，美化效果更加自然、真实。

其中，美妆信息可以包括但不限于眼影、腮红、美瞳、唇色等信息，该实施例对此不作限定。

本发明实施例的人脸图像的处理装置，获取原始人脸对应的原始人脸三维模型，并获取所述原始人脸三维模型的三维几何特征，将所述原始人脸三维模型的三维几何特征与人脸模板组中所有人脸模板的三维几何特征进行比对，得到与所述原始人脸三维模型相似的目标人脸模板，并根据所述目标人脸模板的三维几何特征，对原始人脸图像中的人脸进行调整。由此，通过相似人脸模板的三维几何特征对原始人脸图像中的人脸进行调整，从而使得调整后的人脸图像中的人脸的五官与脸型与人脸模板相似，由于调整前后人脸图像中人脸的皮肤未变化，从而使得调整后人脸图像中的人脸更加自然、真实，为用户准确提供了的微整形效果，方便了用户获得人脸的微整形效果，提高了用户的体验度。

为了实现上述实施例，本发明还提出一种电子设备。

图7是根据本发明一个实施例中电子设备200的内部结构示意图。该电子设备200包括通过***总线210连接的处理器220、存储器230、显示器240和输入装置250。其中，电子设备200的存储器230存储有操作***和计算机可读指令。该计算机可读指令可被处理器220执行，以实现本申请实施方式的人脸图像的处理方法。该处理器220用于提供计算和控制能力，支撑整个电子设备200的运行。电子设备200的显示器240可以是液晶显示屏或者电子墨水显示屏等，输入装置250可以是显示器240上覆盖的触摸层，也可以是电子设备200外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备200可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用于其上的电子设备200的限定，具体的电子设备200可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

作为一种可能的实现方式，请参阅图8，提供了本申请实施例的图像处理电路，图像处理电路可利用硬件和/或软件组件实现。

如图8，该图像处理电路具体包括：图像单元310、深度信息单元320和处理单元330。其中，

图像单元310，用于输出二维的人体图像。

深度信息单元320，用于输出深度信息。

本申请实施例中，可以通过图像单元310，获取二维的图像，以及通过深度信息单元320，获取图像对应的深度信息。

处理单元330，分别与图像单元310和深度信息单元320电性连接，用于根据图像单元获取的二维的图像，以及深度信息单元获取的对应的深度信息，进行三维重构，得到重构的三维模型。

本申请实施例中，图像单元310获取的二维图像可以发送至处理单元330，以及深度信息单元320获取的图像对应的深度信息可以发送至处理单元330，处理单元330可以根据图像以及深度信息，进行三维重构，并输出重构的三维模型。

进一步地，作为本申请一种可能的实现方式，参见图9，在图8所示实施例的基础上，该图像处理电路还可以包括：

作为一种可能的实现方式，图像单元310具体可以包括：电性连接的图像传感器311和图像信号处理(Image Signal Processing，简称ISP)处理器312。其中，

图像传感器311，用于输出原始图像数据。

ISP处理器312，用于根据原始图像数据，输出图像。

本申请实施例中，图像传感器311捕捉的原始图像数据首先由ISP处理器312处理，ISP处理器312对原始图像数据进行分析以捕捉可用于确定图像传感器311的一个或多个控制参数的图像统计信息，包括YUV格式或者RGB格式的图像。其中，图像传感器311可包括色彩滤镜阵列(如Bayer滤镜)，以及对应的感光单元，图像传感器311可获取每个感光单元捕捉的光强度和波长信息，并提供可由ISP处理器312处理的一组原始图像数据。ISP处理器312对原始图像数据进行处理后，得到YUV格式或者RGB格式的图像，并发送至处理单元330。

其中，ISP处理器312在对原始图像数据进行处理时，可以按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器312可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

作为一种可能的实现方式，深度信息单元320，包括电性连接的结构光传感器321和深度图生成芯片322。其中，

结构光传感器321，用于生成红外散斑图。

深度图生成芯片322，用于根据红外散斑图，输出深度信息；深度信息包括深度图。

本申请实施例中，结构光传感器321向被摄物投射散斑结构光，并获取被摄物反射的结构光，根据反射的结构光成像，得到红外散斑图。结构光传感器321将该红外散斑图发送至深度图生成芯片322，以便深度图生成芯片322根据红外散斑图确定结构光的形态变化情况，进而据此确定被摄物的深度，得到深度图(Depth Map)，该深度图指示了红外散斑图中各像素点的深度。深度图生成芯片322将深度图发送至处理单元330。

作为一种可能的实现方式，处理单元330，包括：电性连接的CPU331和GPU(Graphics Processing Unit，图形处理器)332。其中，

CPU331，用于根据标定数据，对齐图像与深度图，根据对齐后的图像与深度图，输出三维模型。

GPU332，用于根据三维模型，确定匹配的目标三维模板，输出目标三维模板关联的信息。

本申请实施例中，CPU331从ISP处理器312获取到人体图像，从深度图生成芯片322获取到深度图，结合预先得到的标定数据，可以将二维图像与深度图对齐，从而确定出图像中各像素点对应的深度信息。进而，CPU331根据深度信息和图像，进行三维重构，得到三维模型。

CPU331将三维模型发送至GPU332，以便GPU332根据三维模型执行如前述实施例中描述的三维模型处理方法，实现对三维模型中的部分关键点进行位置调整，和/或对三维模型的皮肤纹理进行渲染。

具体地，GPU332可以根据三维模型，确定匹配的目标三维模板，而后根据目标三维模板关联的信息，在图像中进行标注，输出标注信息的图像。

进一步地，图像处理电路还可以包括：显示单元340。

显示单元340，与GPU332电性连接，用于对标注信息的图像进行显示。

具体地，GPU332处理得到的美化后的图像，可以由显示器340显示。

可选地，图像处理电路还可以包括：编码器350和存储器360。

本申请实施例中，GPU332处理得到的美化后的图像，还可以由编码器350编码后存储至存储器360，其中，编码器350可由协处理器实现。

在一个实施例中，存储器360可以为多个，或者划分为多个存储空间，存储GPU312处理后的图像数据可存储至专用存储器，或者专用存储空间，并可包括DMA(Direct MemoryAccess，直接直接存储器存取)特征。存储器360可被配置为实现一个或多个帧缓冲器。

下面结合图9，对上述过程进行详细说明。

如图9所示，图像传感器311捕捉的原始图像数据首先由ISP处理器312处理，ISP处理器312对原始图像数据进行分析以捕捉可用于确定图像传感器311的一个或多个控制参数的图像统计信息，包括YUV格式或者RGB格式的图像，并发送至CPU331。

如图9所示，结构光传感器321向被摄物投射散斑结构光，并获取被摄物反射的结构光，根据反射的结构光成像，得到红外散斑图。结构光传感器321将该红外散斑图发送至深度图生成芯片322，以便深度图生成芯片322根据红外散斑图确定结构光的形态变化情况，进而据此确定被摄物的深度，得到深度图(Depth Map)。深度图生成芯片322将深度图发送至CPU331。

CPU331从ISP处理器312获取到二维人体图像，从深度图生成芯片322获取到深度图，结合预先得到的标定数据，可以将人脸图像与深度图对齐，从而确定出图像中各像素点对应的深度信息。进而，CPU331根据深度信息和二维图像，进行三维重构，得到重构的三维模型。

CPU331将人体三维模型发送至GPU332，以便GPU332根据人体三维模型执行如前述实施例中描述的三维模型处理方法，实现三维模型中部分关键点进行位置调整，和/或对三维模型的皮肤纹理进行渲染。GPU332处理得到的处理后的三维模型，可以由显示器340显示，和/或，由编码器350编码后存储至存储器360。

例如，以下为运用图7中的处理器220或运用图9中的图像处理电路(具体为CPU331和GPU332)实现控制方法的步骤：

CPU331获取二维的原始人脸图像，以及原始人脸图像对应的深度信息；CPU331根据深度信息和人脸图像，进行三维重构，得到原始人脸的三维模型；其中，三维模型包括多个关键点，以及多个关键点连接形成的模型框架，以及覆盖模型框架的皮肤纹理；CPU331进一步的获取原始人脸三维模型的三维几何特征；GPU332将原始人脸三维模型的三维几何特征与人脸模板组中所有人脸模板的三维几何特征进行比对，得到与原始人脸三维模型相似的目标人脸模板；根据目标人脸模板的三维几何特征，对原始人脸图像进行调整，以得到目标人脸图像。

为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，当存储介质中的指令由处理器被执行时，使得能够执行如上述实施例的人脸图像的处理方法。

为了实现上述实施例，本发明还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行如上述实施例的人脸图像的处理方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种人脸图像的处理方法，其特征在于，包括：

获取原始人脸图像对应的原始人脸三维模型；

获取所述原始人脸三维模型的三维几何特征；

将所述原始人脸三维模型的三维几何特征与人脸模板组中所有人脸模板的三维几何特征进行比对，得到与所述原始人脸三维模型相似的目标人脸模板；

根据所述目标人脸模板的三维几何特征，对所述原始人脸图像进行调整，以得到目标人脸图像；

所述将所述原始人脸三维模型的三维几何特征与人脸模板组中所有人脸模板的三维几何特征进行比对，得到与所述原始人脸三维模型相似的目标人脸模板，包括：

根据所述原始人脸三维模型的三维几何特征与所述人脸模板组中每个人脸模板的三维几何特征，得到所述原始人脸三维模型与每个人脸模板的相似度；

根据所述原始人脸三维模型与每个人脸模板的相似度，得到所述相似度中的最大相似度，并将所述最大相似度对应的人脸模板作为所述目标人脸模板。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标人脸模板的三维几何特征，对所述原始人脸图像进行调整，以得到目标人脸图像，包括：

根据所述目标人脸模板的三维几何特征和所述原始人脸三维模型的三维几何特征，得到所述原始人脸三维模型中各个模型特征点的三维变换向量；

获取所述原始人脸图像中人脸的姿态信息；

根据所述人脸的姿态信息，将所述原始人脸三维模型中各个模型特征点的三维变换向量映射到二维平面，以得到二维人脸图像中各个图像特征点的二维变换向量；

根据所述二维人脸图像中各个图像特征点的二维变换向量，对所述原始人脸图像中对应图像特征点进行变换，以得到目标人脸图像。

3.根据权利要求1所述的方法，其特征在于，所述根据所述目标人脸模板的三维几何特征，对所述原始人脸图像进行调整，以得到目标人脸图像，包括：

根据所述目标人脸模板的三维几何特征，对所述原始人脸三维模板进行调整，得到目标人脸三维模型；

根据所述目标人脸三维模型，对所述原始人脸图像进行调整，以得到目标人脸图像。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标人脸三维模型，对所述原始人脸图像进行调整，以得到目标人脸图像，包括：

获取所述原始人脸图像中人脸的姿态信息；

根据所述人脸的姿态信息，将所述目标人脸三维模型映射到二维平面以得到调整后的人脸图像；

将所述调整后的人脸图像对应替换所述原始人脸图像的对应像素，以得到所述目标人脸图像。

5.一种人脸图像的处理装置，其特征在于，包括：

第一获取模块，用于获取原始人脸图像对应的原始人脸三维模型；

第二获取模块，用于获取所述原始人脸三维模型的三维几何特征；

比对模块，用于将所述原始人脸三维模型的三维几何特征与人脸模板组中所有人脸模板的三维几何特征进行比对，得到与所述原始人脸三维模型相似的目标人脸模板；

处理模块，用于根据所述目标人脸模板的三维几何特征，对所述原始人脸图像进行调整，以得到目标人脸图像；

所述比对模块，具体用于：

根据所述原始人脸三维模型的三维几何特征与所述人脸模板组中每个人脸模板的三维几何特征，得到所述原始人脸三维模型与每个人脸模板的相似度；

根据所述原始人脸三维模型与每个人脸模板的相似度，得到所述相似度中的最大相似度，并将所述最大相似度对应的人脸模板作为所述目标人脸模板。

6.根据权利要求5所述的装置，其特征在于，所述处理模块，包括：

第一处理单元，用于根据所述目标人脸模板的三维几何特征和所述原始人脸三维模型的三维几何特征，得到所述原始人脸三维模型中各个模型特征点的三维变换向量；

获取单元，用于获取所述原始人脸图像中人脸的姿态信息；

映射单元，用于根据所述人脸的姿态信息，将所述原始人脸三维模型中各个模型特征点的三维变换向量映射到二维平面，以得到二维人脸图像中各个图像特征点的二维变换向量；

第二处理单元，用于根据所述二维人脸图像中各个图像特征点的二维变换向量，对所述原始人脸图像中对应图像特征点进行变换，以得到目标人脸图像。

7.根据权利要求5所述的装置，其特征在于，所述处理模块，包括：

第一调整单元，用于根据所述目标人脸模板的三维几何特征，对所述原始人脸三维模板进行调整，得到目标人脸三维模型；

第二调整单元，用于根据所述目标人脸三维模型，对所述原始人脸图像进行调整，以得到目标人脸图像。

8.根据权利要求7所述的装置，其特征在于，所述第二调整单元，具体用于：

获取所述原始人脸图像中人脸的姿态信息，并根据所述人脸的姿态信息，将所述目标人脸三维模型映射到二维平面以得到调整后的人脸图像，以及将所述调整后的人脸图像对应替换所述原始人脸图像的对应像素，以得到所述目标人脸图像。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-4任一所述的人脸图像的处理方法。

10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4任一所述的人脸图像的处理方法。

11.一种计算机程序产品，其特征在于，当所述计算机程序产品中的指令由处理器执行时，执行如权利要求1-4任一所述的人脸图像的处理方法。

Images