CN104715447B - 图像合成方法和装置 - Google Patents

Abstract

本申请公开了图像合成方法和装置。所述方法的一具体实施方式包括：获取人脸图像中的多个人脸对象对应的脸部特征点；获取用于多个人脸对象的素材；从多个人脸对象中选择基准人脸对象；基于基准人脸对象的特征点与用于基准人脸对象的素材的特征点之间的映射关系，确定脸部特征点的映射位置；基于映射位置，调整各人脸对象的素材以合成目标图像。该实施方式基于基准人脸对象与其对应的素材之间的映射关系，将人脸对象的脸部特征点映射到目标图像，并且基于映射后的脸部特征点，调整各人脸对象的素材以合成目标图像，从而提高各人脸对象的素材在目标图像中的诸如位置、尺寸之类的特征与人脸图像中的人脸对象的匹配度，增强合成的目标图像的真实度。

Description

图像合成方法和装置

技术领域

本申请涉及计算机技术领域，具体涉及图像处理领域，尤其涉及人脸图像处理方法和装置。

背景技术

目前，在一些应用中，提供基于用户人脸图像生成个性化图像(例如卡通图像)的功能用于增强用户体验。在已知的技术中，基于用户人脸图像生成个性化图像的功能的实现为通过查找出与人脸图像中的人脸对象(例如脸型、眼睛、鼻子等)相似的素材，直接利用素材合成个性化图像。然而，由于素材的形状具有不规则性，当直接利用素材合成个性化图像时，素材的尺寸与其对应的人脸对象的尺寸可能不匹配，导致合成的个性化图像失真。

发明内容

本申请提供了一种图像合成方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请提供了一种图像合成方法，该方法包括：获取人脸图像中的多个人脸对象对应的脸部特征点；获取用于多个人脸对象的素材；从多个人脸对象中选择基准人脸对象；基于基准人脸对象的特征点与用于基准人脸对象的素材的特征点之间的映射关系，确定脸部特征点的映射位置；基于映射位置，调整各人脸对象的素材以合成目标图像。

第二方面，本申请提供了一种图像合成装置，该装置包括：特征点获取单元，配置用于获取人脸图像中的多个人脸对象对应的脸部特征点；素材获取单元，配置用于获取用于多个人脸对象的素材；选择单元，配置用于从多个人脸对象中选择基准人脸对象；映射单元，配置用于基于基准人脸对象的特征点与用于基准人脸对象的素材的特征点之间的映射关系，确定脸部特征点的映射位置；调整单元，配置用于基于映射位置，调整各人脸对象的素材以合成图像。

本申请提供的图像合成方法和装置，基于基准人脸对象与其对应的素材之间的映射关系，将人脸对象的脸部特征点映射到目标图像，并且基于映射后的脸部特征点，调整各人脸对象的素材以合成目标图像，从而提高各人脸对象的素材在目标图像中的诸如位置、尺寸之类的特征与人脸图像中的人脸对象的匹配度，增强合成的目标图像的真实度。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是根据本申请的图像合成方法的一个实施例的流程图；

图2是根据本申请的图像合成装置的一个实施例的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

请参考图1，其示出了根据本申请的图像合成方法的一个实施例的流程100。该方法包括以下步骤：

步骤101，获取人脸图像中的多个人脸对象对应的脸部特征点。

在本实施例中，人脸图像可以是用户上传的照片中的人脸图像，也可以是利用摄像头对用户进行拍摄而获得的人脸图像。

获取人脸图像后，可以进一步获取人脸图像中的人脸对象。人脸对象可以是人脸上的器官或表征人脸特征的对象。

在本实施例的一些可选的实现方式中，人脸对象包括以下至少一项：脸型对象、眉毛对象、眼睛对象、鼻子对象、嘴巴对象、耳朵对象、头发对象等。可以理解，上述人脸对象可以全部都用于合成目标图像，也可以在上述人脸对象中选取一些人脸对象作为用于合成目标图像的人脸对象。

人脸对象可以利用脸部特征点或称脸部关键点进行描述。每个人脸对象可以有其对应的特征点。例如，对于脸型对象，可以通过在脸型的轮廓上，选取一定数量的点作为脸型对象的脸部特征点。在本实施例的一些可选的实现方式中，可以采用人脸识别技术对人脸图像进行识别，来获取表征人脸图像中人脸对象的特征的脸部特征点。在一些实现中，可以使用72个特征点来表征人脸图像。本领域技术人员可以理解，可以使用更多或更少的特征点来表征人脸图像，本申请在此方面没有限制。在获取表征人脸图像的脸部特征点之后，可以相应地确定各人脸对象的特征点。人脸图像中的每一个人脸对象可以对应一定数量的脸部特征点，例如，脸型对象可以对应13个脸部特征点。

步骤102，获取用于该多个人脸对象的素材。

在本实施例中，素材的类型可以是与人脸对象相关的类型。例如，在一些实现中，希望生成卡通人物形象，因此用于人脸图像中的人脸对象的素材可以是卡通人物形象的各种素材。素材可以包括用于不同类型的人脸对象的素材，例如用于脸型对象的脸型素材，用于眉毛对象的眉毛素材，用于眼睛对象的眼睛素材，诸如此类。

与人脸对象类似，素材可以通过素材的特征点来描述。例如，对于脸型素材，其素材特征点可以通过在该脸型素材的轮廓上，选取一定数量的点作为素材的特征点。

在一些实施例中，可以基于人脸对象的脸部特征点与素材的特征点之间的匹配关系，自动确定用于人脸对象的素材。换言之，针对特定人脸对象(例如脸型对象)，可以从用于该特定人脸对象的众多素材(例如脸型素材)中自动选择与该特定人脸对象最接近或最相似的素材。可以采用距离度量来计算人脸对象与素材之间的接近度或相似度。在一种实现中，人脸对象对应的脸部特征点可以用一个表征其在人脸图像中的位置的二维坐标进行表示，相应地，素材的特征点可以用一个表征其在素材中的位置的二维坐标进行表示。继而可以采用以下方式来确定人脸对象对应的脸部特征点与素材的特征点之间的接近度或相似度：可以基于人脸对象的特征点对应的二维坐标与素材的特征点对应的二维坐标，应用欧式距离公式对上述坐标进行计算。最后，选取计算结果中取值最小的结果对应的素材作为与人脸对象匹配的素材。

在另一些实施例中，用于各人脸对象的素材可以是由用户确定的。例如，用户可以根据喜好手动选择用于各个人脸对象的素材。

在又一些实施例中，也可以首先自动确定用于各人脸对象的素材，然后接受用户对所确定的素材的调整，例如替换。

步骤103，从人脸对象中选择基准人脸对象。

在本实施例中，可以从人脸对象中选取一个对象作为基准人脸对象。在一些实现中，基准人脸图像的选取可以根据待合成的目标图像中的其他对象的位置确定。

在本实施例的一些可选的实现方式中，基准人脸对象是脸型对象。在基于人脸对象合成目标图像时，可以首先固定人身体上的其中一个部位(例如脖子)对应的对象，在这种情况下，可以选取脸型对象作为基准人脸对象。

步骤104，基于基准人脸对象的特征点与用于基准人脸对象的素材的特征点之间的映射关系，确定脸部特征点的映射位置。

在本实施例中，基准人脸对象的特征点可以用一个二维坐标进行表示，该二维坐标表征其在人脸图像中的位置。以一个人脸图像为100*100的矩形人脸图像为例，可以对100*100的矩形人脸图像预先建立坐标系，选取100*100的矩形人脸图像的中心点即对角线的相交点作为坐标系的原点。基于建立的人脸图像的坐标系，可以确定脸部特征点在100*100的矩形人脸图像中的坐标。相应地，基准人脸对象对应素材的特征点在预设尺寸的界面中的位置可以用一个二维坐标进行表示，该二维坐标表征用于基准人脸对象的素材在待合成的目标图像所在的界面中的位置。以目标图像所在的界面为480*800的矩形电子画布为例，可以对480*800的矩形电子画布预先建立坐标系，例如选取480*800的矩形电子画布的中心点即对角线的相交点作为坐标系的原点。可以基于建立的480*800的矩形电子画布的坐标系，确定基准人脸对象对应素材的特征点在480*800的矩形电子画布中的坐标。在本实施例中，在确定了基准人脸对象的特征点以及与其对应素材的坐标后，可以根据两者的坐标，计算出基准人脸对象的特征点与其对应的素材的特征点之间的映射关系。继而，可以基于这一映射关系，计算出人脸图像中多个人脸对象的脸部特征点在目标图像中的坐标，从而完成将获取的人脸对象的脸部特征点从人脸图像(例如100*100的矩形人脸图像)映射到目标图像所在的界面(例如480*800的矩形电子画布)。

下面以基准人脸对象是脸型对象为例，进一步说明基于基准人脸对象的特征点与用于基准人脸对象的素材的特征点之间的映射关系，确定脸部特征点的映射位置的过程。

在一些实现中，当基准人脸对象是脸型对象时，基于脸型对象的特征点与用于脸型对象的脸型素材的特征点之间的映射关系，确定脸部特征点的映射位置可以采用以下方式：基于脸型对象的特征点在人脸图像上的坐标，建立脸型对象的特征点矩阵。基于脸型素材在预设尺寸界面的坐标，建立脸型素材特征点矩阵。基于脸型对象的特征点矩阵和脸型素材特征点矩阵，计算两个矩阵之间的转换矩阵，该转换矩阵表征两个矩阵之间的变换关系(例如平移、缩放、旋转)，也即通过计算得到的转换矩阵表征脸型对象的特征点与脸型素材的特征点之间的映射关系。在确定脸型对象的特征点与脸型素材的特征点之间的映射关系后，可以将该映射关系应用于其他人脸对象(例如眼睛对象、鼻子对象、嘴巴对象)的脸部特征点，使得其他人脸对象的脸部特征点可以映射到预设尺寸界面(480*800的矩形电子画布)上。以人脸图像为100*100的人脸图像，预设尺寸的界面为480*800的矩形电子画布为例说明上述映射过程。可以根据其他人脸对象的脸部特征点在100*100的人脸图像上的坐标建立脸部特征点矩阵，根据计算得到的表征脸型对象的特征点与脸型素材的特征点之间的映射关系的转换矩阵，对建立的脸部特征点矩阵进行矩阵变换(例如平移变换、缩放变换、旋转变换)，可以得到表征脸部特征点在预设尺寸的界面上的位置的矩阵，通过该矩阵，进而确定人脸对象(例如眼睛对象、鼻子对象、嘴巴对象)的脸部特征点在480*800的矩形电子画布中的坐标。这样，通过上述转换过程，在100*100的人脸图像上的人脸对象的脸部特征点均映射至480*800的矩形电子画布中的相应位置。完成映射之后，映射后处于480*800的矩形电子画布中的脸部特征点所围成的轮廓可以用于指示目标图像中相应对象的尺寸，例如，基于映射后的眼睛的脸部特征点围成的轮廓，用于指示目标图像中的眼睛对象的尺寸。

步骤105，基于映射位置，调整各人脸对象的素材以合成目标图像。

在本实施例中，目标图像可以是由人脸对象的素材(例如卡通人物形象的各种素材)在预设尺寸的界面(例如480*800的矩形电子画布)进行合成而得到的图像。可以将人脸对象的素材预先设置在预设尺寸的界面上。因预先设置在预设尺寸的界面上的素材(例如眼睛、鼻子、嘴巴)的尺寸和位置与映射后的脸部特征点所围成轮廓对应的人脸对象(例如眼睛、鼻子、嘴巴)的大小和位置不一致，因此需要进一步调整人脸对象的素材的大小和位置。在本实施例中，可以基于每一个人脸对象的脸部特征点在预设尺寸的界面上的映射位置，分别调整人脸对象的素材的特征点在预设尺寸的界面中的位置，使其可以与映射后的脸部特征点所围成轮廓对应的人脸对象的大小和位置一致，从而使得可以利用经过大小和位置调整后的素材来合成目标图像。

在本实施例的一些可选的实现方式中，调整素材方式可以为：基于脸部特征点的映射位置与人脸对象的素材的特征点的位置之间的对应关系，确定调整参数，调整参数可以包括以下至少一项：平移参数和缩放参数；基于调整参数，调整各人脸对象的素材以合成目标图像。可以分别调整每一个人脸对象的素材，对于每一个人脸对象的素材，分别计算出其对应的调整参数，利用调整参数调整人脸对象的素材。可以采用以下方式确定调整参数：获取人脸对象(例如眼睛对象)的脸部特征点在预设尺寸的界面(例如480*800的矩形电子画布)上的坐标以及其对应的眼睛素材在预设尺寸的界面上的特征点的坐标。基于获取的上述坐标，可以确定表示脸部特征点的坐标与相应的素材的特征点的坐标之间的平移关系(例如水平或垂直方向的位置关系)的平移参数以及表示脸部特征点的坐标与相应的素材的特征点的坐标之间缩放关系的缩放参数。在通过上述方式确定出每一个人脸对象的素材对应的调整参数后，可以基于调整参数，调整各人脸对象的素材，例如基于平移参数，调整素材在水平方向或垂直方向的移动。通过调整参数对人脸的素材进行调整后，可以利用调整后的素材合成目标图像。

本申请的上述实施例提供的图像合成方法,基于基准人脸对象与其对应的素材之间的映射关系，将人脸对象的脸部特征点映射到目标图像，并且基于映射后的脸部特征点，调整各人脸对象的素材以合成目标图像，从而提高各人脸对象的素材在目标图像中的诸如位置、尺寸之类的特征与人脸图像中的人脸对象的匹配度，增强合成的目标图像的真实度。

请参考图2，其示出了根据本申请的图像合成装置一个实施例的结构示意图。

如图2所示，该装置200包括：特征点获取单元201，配置用于获取人脸图像中的多个人脸对象对应的脸部特征点；素材获取单元202，配置用于获取用于多个人脸对象的素材；选择单元203，配置用于从多个人脸对象中选择基准人脸对象；映射单元204，配置用于基于基准人脸对象的特征点与用于所述基准人脸对象的素材的特征点之间的映射关系，确定脸部特征点的映射位置；调整单元205，配置用于基于映射位置，调整各人脸对象的素材以合成所述图像。

在本实施例的一些可选的实现方式中，映射单元204还配置用于基于基准人脸对象的特征点的位置信息和用于基准人脸对象的素材的特征点的位置信息，确定映射关系；利用映射关系，确定脸部特征点的映射位置。

在本实施例的一些可选的实现方式中，调整单元205还配置用于基于脸部特征点的映射位置与人脸对象的素材的特征点的位置之间的对应关系，确定调整参数，调整参数包括以下至少一项：平移参数和缩放参数；基于调整参数，调整各人脸对象的素材以合成目标图像。

在本实施例的一些可选的实现方式中，特征点获取单元201还配置用于采用人脸识别技术获取人脸图像中的人脸对象对应的脸部特征点。

在本实施例的一些可选的实现方式中，基准人脸对象是脸型对象。

在本实施例的一些可选的实现方式中，素材包括卡通人物形象素材。

在本实施例的一些可选的实现方式中，人脸对象包括以下至少一项：脸型对象、眉毛对象、眼睛对象、鼻子对象、嘴巴对象、耳朵对象和头发对象。

本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元，确定单元，选择单元，映射单元，调整单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“用于获取人脸图像中的多个人脸对象对应的脸部特征点的单元”。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入终端中的计算机可读存储介质。所述计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的图像合成方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种图像合成方法，其特征在于，所述方法包括：

获取人脸图像中的多个人脸对象对应的脸部特征点；

获取用于所述多个人脸对象的素材；

从所述多个人脸对象中选择基准人脸对象；

基于所述基准人脸对象的特征点与用于所述基准人脸对象的素材的特征点之间的映射关系，确定所述脸部特征点的映射位置；

基于所述映射位置，调整各人脸对象的素材以合成目标图像。

2.根据权利要求1所述的方法，其特征在于，所述确定所述脸部特征点的映射位置包括：

基于所述基准人脸对象的特征点的位置信息和用于所述基准人脸对象的素材的特征点的位置信息，确定所述映射关系；

利用所述映射关系，确定所述脸部特征点的映射位置。

3.根据权利要求1-2之一所述方法，其特征在于，所述基于所述映射位置，调整各人脸对象的素材以合成所述目标图像包括：

基于所述脸部特征点的映射位置与人脸对象的素材的特征点的位置之间的对应关系，确定调整参数，所述调整参数包括以下至少一项：平移参数和缩放参数；

基于所述调整参数，调整各人脸对象的素材以合成所述目标图像。

4.根据权利要求1所述的方法，其特征在于，所述人脸对象包括以下至少一项：脸型对象、眉毛对象、眼睛对象、鼻子对象、嘴巴对象、耳朵对象和头发对象。

5.根据权利要求1所述的方法，其特征在于，所述基准人脸对象是脸型对象。

6.根据权利要求1所述的方法，其特征在于，所述素材包括卡通人物形象素材。

7.根据权利要求1所述的方法，其特征在于，采用人脸识别技术获取人脸图像中的人脸对象对应的脸部特征点。

8.一种图像合成装置，其特征在于，所述装置包括：

特征点获取单元，配置用于获取人脸图像中的多个人脸对象对应的脸部特征点；

素材获取单元，配置用于获取用于所述多个人脸对象的素材；

选择单元，配置用于从所述多个人脸对象中选择基准人脸对象；

映射单元，配置用于基于所述基准人脸对象的特征点与用于所述基准人脸对象的素材的特征点之间的映射关系，确定所述脸部特征点的映射位置；

调整单元，配置用于基于所述映射位置，调整各人脸对象的素材以合成所述图像。

9.根据权利要求8所述的装置，其特征在于，所述映射单元还配置用于基于所述基准人脸对象的特征点的位置信息和用于所述基准人脸对象的素材的特征点的位置信息，确定所述映射关系；利用所述映射关系，确定所述脸部特征点的映射位置。

10.根据权利要求8所述的装置，其特征在于，所述调整单元还配置用于基于所述脸部特征点的映射位置与人脸对象的素材的特征点的位置之间的对应关系，确定调整参数，所述调整参数包括以下至少一项：平移参数和缩放参数；基于所述调整参数，调整各人脸对象的素材以合成目标图像。

11.根据权利要求8所述的装置，其特征在于，所述基准人脸对象是脸型对象。

12.根据权利要求8所述的装置，其特征在于，所述素材包括卡通人物形象素材。

13.根据权利要求8所述的装置，其特征在于，所述人脸对象包括以下至少一项：脸型对象、眉毛对象、眼睛对象、鼻子对象、嘴巴对象、耳朵对象和头发对象。

14.根据权利要求8所述的装置，其特征在于，所述特征点获取单元还配置用于采用人脸识别技术获取人脸图像中的人脸对象对应的脸部特征点。