CN114219704A

CN114219704A - 动漫形象生成方法及装置

Info

Publication number: CN114219704A
Application number: CN202111546909.3A
Authority: CN
Inventors: 鲁超
Original assignee: Shanghai Hode Information Technology Co Ltd
Current assignee: Shanghai Hode Information Technology Co Ltd
Priority date: 2021-12-16
Filing date: 2021-12-16
Publication date: 2022-03-22

Abstract

本申请提供一种动漫形象生成方法及装置，其中所述动漫形象生成方法包括：获取目标人脸图像；对所述目标人脸图像进行人脸特征检测，获得所述目标人脸图像中目标人脸的人脸特征；基于所述人脸特征，设置目标动漫形象参数，并利用所述目标动漫形象参数，生成所述目标人脸的动漫形象。本方案可以提高动漫形象的生成效率。

Description

动漫形象生成方法及装置

技术领域

本申请涉及计算机技术领域，特别涉及一种动漫形象生成方法。本申请同时涉及一种动漫形象生成装置，一种计算设备，以及一种计算机可读存储介质。

背景技术

为了提高视频内容的丰富度，可以对视频中的人脸进行动漫化处理。

相关技术中，通常基于对抗生成技术，训练得到记录有动漫人脸和原始人脸之间映射关系的对抗生成网络。在此基础上，将人脸图像输入对抗生成网络，得到动漫化的人脸图像。

但是，对抗生成网络相对于常规的机器学习技术往往会多一个数量级的计算量，存在效率低下的问题。因此，需要提供更加高效的方案。

发明内容

有鉴于此，本申请实施例提供了一种动漫形象生成方法。本申请同时涉及一种动漫形象生成装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的动漫形象生成效率低下的问题。

根据本申请实施例的第一方面，提供了一种动漫形象生成方法，包括：

获取目标人脸图像；

对所述目标人脸图像进行人脸特征检测，获得所述目标人脸图像中目标人脸的人脸特征；

基于所述人脸特征，设置目标动漫形象参数，并利用所述目标动漫形象参数，生成所述目标人脸的动漫形象。

根据本申请实施例的第二方面，提供了一种动漫形象生成装置，包括：

图像获取模块，被配置为获取目标人脸图像；

特征检测模块，被配置为对所述目标人脸图像进行人脸特征检测，获得所述目标人脸图像中目标人脸的人脸特征；

形象生成模块，被配置为基于所述人脸特征，设置目标动漫形象参数，并利用所述目标动漫形象参数，生成所述目标人脸的动漫形象。

根据本申请实施例的第三方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现所述动漫形象生成方法的步骤。

根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述动漫形象生成方法的步骤。

本申请一实施例实现了获取目标人脸图像；对目标人脸图像中的目标人脸进行人脸特征检测，获得人脸特征；基于人脸特征，设置目标动漫形象参数，并利用目标动漫形象参数，生成目标人脸的动漫形象。这样，可以通过人脸特征检测获得人脸特征，进而直接基于人脸特征设置目标动漫形象参数。并且，人脸特征检测可以通过常规的机器学习技术实现，因此，无需借助生成对抗网络即可实现生成目标人脸的动漫形象的效果。因此，可以大大降低动漫形象生成的计算量，从而提高动漫形象的生成效率。并且，基于人脸特征，设置目标动漫形象参数。因此，可以保证目标人脸的动漫形象与目标人脸的人脸特征相关联，动漫形象具有很高的辨识度。并且，对于新增的动漫形象风格，可以直接将基于人脸特征，设置目标动漫形象参数的具体方式更新为与新增的动漫形象风格相对应即可，无需重新训练以生成记录有新增的动漫形象风格与人脸图像的映射关系的生成对抗网络，可以节省庞大的训练资源。

附图说明

图1是本申请一实施例提供的一种动漫形象生成方法的流程图；

图2是本申请另一实施例提供的一种动漫形象生成方法中，目标人脸中不同区域的分割结果示例图；

图3是本申请另一实施例提供的一种动漫形象生成方法中，目标人脸中目标像素点的示例图；

图4是本申请另一实施例提供的一种动漫形象生成方法中，动漫形象模板的示例图；

图5是本申请另一实施例提供的一种动漫形象生成方法中，动漫形象模板包含的眼睛模板的示例图；

图6是本申请另一实施例提供的一种动漫形象生成方法的处理流程示例图；

图7是本申请另一实施例提供的一种动漫形象生成方法中，动漫形象的示例图；

图8是本申请一实施例提供的一种动漫形象生成装置的结构示意图；

图9是本申请一实施例提供的一种计算设备的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在本申请中，提供了一种动漫形象生成方法，本申请同时涉及一种动漫形象生成装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。

图1示出了根据本申请一实施例提供的一种动漫形象生成方法的流程图，具体包括以下步骤：

S102，获取目标人脸图像。

其中，目标人脸图像是指包含目标人脸的图像，目标人脸是指需要生成动漫形象的人脸。并且，获取目标人脸图像的方式可以是多种的。示例性的，可以直接接收用户输入的目标人脸图像。或者，示例性的，可以从数据库存储的多个人脸图像中，查找具有目标人脸标识的目标人脸图像。其中，目标人脸标识可以为目标人脸所属人物的名称、标记等等表征该人物唯一性的信息。或者，示例性的，可以对视频的视频帧进行人脸识别，将包含目标人脸的视频帧确定为目标人脸图像。

任何可以获取目标人脸图像的方式，均可用于本申请，本实施例对此不作限制。

S104，对目标人脸图像进行人脸特征检测，获得目标人脸图像中目标人脸的人脸特征。

在具体应用中，人脸特征是指表征目标人脸的特质的数据，具体可以是多种的。示例性的，人脸特征可以包括以下特征中的至少一种：人脸中的不同区域的区域信息，以及人脸中特征点的信息。并且，对应于不同的人脸特征，人脸特征检测的方式不同。为了便于理解和合理布局，后续以可选实施例的形式进行具体说明。

另外，目标人脸图像中的人脸数量可以为一个或者多个。在人脸数量为多个的情况下，目标人脸可以为其中一个，或者可以将多个人脸均作为目标人脸，进行人脸特征检测，这都是合理的。在一种情况中，可以将尺寸大于或者等于尺寸阈值的人脸，确定为目标人脸。这样，可以在目标人脸图像中存在多个人脸的情况下，将背景人物的人脸排除，进一步提高动漫形象的生成效率和准确度。

S106，基于人脸特征，设置目标动漫形象参数，并利用目标动漫形象参数，生成目标人脸的动漫形象。

在具体应用中，目标动漫形象参数为表征目标人脸的动漫形象的参数。基于人脸特征，设置目标动漫形象参数的方式可以是多种的。示例性的，可以从预先建立的人脸特征与动漫形象参数的对应关系中，查找与目标人脸的人脸特征对应的目标动漫形象参数。其中，动漫形象参数具体可以包括：预先绘制的动漫形象图像、动漫形象的绘制参数如头部尺寸、眼睛形状、头发颜色等等。或者，示例性的，可以识别人脸特征的类型，采用与人脸特征的类型对应的方式设置目标动漫形象参数。为了便于理解和合理布局，后续以可选实施例的形式对第二种示例进行具体说明。

本申请一实施例通过人脸特征检测获得人脸特征，进而直接基于人脸特征设置目标动漫形象参数。并且，人脸特征检测可以通过常规的机器学习技术实现，因此，无需借助生成对抗网络即可实现生成目标人脸的动漫形象的效果。因此，可以大大降低动漫形象生成的计算量，从而提高动漫形象的生成效率。并且，无需借助对抗网络使得计算量大大降低，可以保证本申请的方案可以在移动终端实时运行，且无需移动终端具备特定的设备性能。并且，基于人脸特征，设置目标动漫形象参数。因此，可以保证目标人脸的动漫形象与目标人脸的人脸特征相关联，动漫形象具有很高的辨识度。并且，对于新增的动漫形象风格，可以直接将基于人脸特征，设置目标动漫形象参数的具体方式更新为与新增的动漫形象风格相对应即可，无需重新训练以生成记录有新增的动漫形象风格与人脸图像的映射关系的生成对抗网络，可以节省庞大的训练资源。

在一种可选的实施方式中，上述对目标人脸图像进行人脸特征检测，获得目标人脸图像中目标人脸的人脸特征，具体可以包括如下步骤：

获取待检测的人脸特征的特征类型，确定与特征类型对应的目标特征检测方式；

利用目标特征检测方式，对目标人脸图像进行人脸特征检测，获得目标人脸图像中目标人脸的特征类型的人脸特征。

在具体应用中，获取待检测的人脸特征的特征类型的方式可以是多种的。示例性的，若预先设置有待检测的人脸特征的特征类型，则可以直接读取预先设置的待检测的人脸特征的特征类型。或者，示例性的，可以接收用户输入的待检测的人脸特征的特征类型。并且，不同的人脸特征的特征类型对应不同的动漫形象效果。例如，特征类型T1对应的人脸特征可以用于改变指定区域的颜色，例如头发颜色、眼睛颜色等等。特征类型T2对应的人脸特征可以用于改变指定特征点，例如，改变眼睛、嘴唇、耳朵等等。这样，用户可以自主选择基于目标人脸的哪些人脸特征进行动漫形象的生成，可以提高动漫形象生成的个性化和互动性。

并且，确定与特征类型对应的目标特征检测方式，具体可以包括：从预先建立的特征类型与特征检测方式的对应关系中，查找与人脸特征的特征类型对应的目标检测方式。或者，若特征检测方式中包含特征类型，则可以直接查找具有特征类型的目标特征检测方式。这都是合理的。任何可以获取待检测的人脸特征的特征类型，以及确定与特征类型对应的目标特征检测方式的方式，均可用于本申请，本实施例对此不作限制。

本实施例可以针对不同特征类型的人脸特征采用有针对性的检测方式，从而提高人脸特征检测的准确度和效率。

为了便于理解和合理布局，对于具体的特征类型，相应的人脸特征，以及人脸特征检测方式，下面以可选实施例的形式进行具体说明。

在一种可选的实施方式中，特征类型包括：区域类型；

相应地，上述利用目标特征检测方式，对目标人脸图像进行人脸特征检测，获得目标人脸图像中目标人脸的特征类型的人脸特征，具体可以包括如下步骤：

按照预设的人脸区域分割规则，对目标人脸图像进行区域分割，获得目标人脸中不同区域的区域位置信息；

基于区域位置信息，确定目标人脸的区域类型的人脸特征。

在具体应用中，预设的人脸区域分割规则可以表明人脸中可以划分为一个区域的部分应当满足的条件。示例性的，人脸区域分割规则可以包括：将属于一个闭合轮廓内的部分划分为一个区域；或者，将属于同一个人脸组织的部分划分为一个区域；或者，将颜色相近或者相同的部分划分为一个区域。示例性的，如图2本申请另一实施例提供的一种动漫形象生成方法中，目标人脸中不同区域的分割结果示例图所示：图中白色描边为方便区分不同区域，进行的区域边界描绘。在具体应用中，不同区域的分割结果中可以不包含该白色描边，可以直接为不同颜色填充的区域。其中，人脸可以分割为头发区域、脸部区域、眼镜区域、左耳区域、上嘴唇区域、下嘴唇区域、牙齿区域。另外，目标人脸还可以包括以下图2中未示出的区域：胡子区域，右耳区域。目标人脸图像中除目标人脸的以上区域以外的部分，均可以作为背景区域。

本实施例通过区域分割的方式，基于区域位置信息，确定目标人脸的区域类型的人脸特征。这样，相当于实现人脸的组织分割，在生成动漫形象时可以基于分割得到的人脸区域进行，无需细化至特征点，可以提高动漫形象的生成效率。

并且，按照预设的人脸区域分割规则，对目标人脸图像进行区域分割的方式可以是多种的。下面以可选实施例的形式进行说明。

在一种可选的实施方式中，按照预设的人脸区域分割规则，对目标人脸图像进行区域分割，获得目标人脸中不同区域的区域位置信息，具体可以包括如下步骤：

针对不同区域，将人脸图像的各像素值分别与该区域的像素阈值进行比较，若该像素值达到该区域的像素阈值，则将具有该像素值的像素点确定为该区域中的像素点；

将各区域包含的像素点的位置信息，确定为该区域的区域位置信息。

在另一种可选的实施方式中，上述按照预设的人脸区域分割规则，对目标人脸图像进行区域分割，获得目标人脸中不同区域的区域位置信息，具体可以包括如下步骤：

将目标人脸图像输入预先训练得到的分割模型，获得目标人脸中不同区域的区域位置信息，其中，分割模型为利用包含样本人脸的样本人脸图像，以及区域分割标签训练得到的，区域分割标签为按照预设的人脸区域分割规则对样本人脸中不同区域进行标注的结果；

相应地，上述基于区域位置信息，确定目标人脸的区域类型的人脸特征，具体可以包括如下步骤：

将人脸图像中区域位置信息对应的像素点，确定为目标人脸的区域类型的人脸特征。

在具体应用中，上述目标人脸中不同区域的区域位置信息具体可以为不同区域的mask(掩膜)图。任一区域的mask图可以表征该区域的区域位置信息，例如，mask图中元素的坐标可以作为该区域的区域位置信息。mask图的具体形式可以为不同区域的mask矩阵、目标人脸图像中不同区域的像素点的集合、目标人脸图像中不同区域的轮廓上的像素点等等。示例性的，上述样本人脸图像的可以为1万张，可以按照图2所示对每个样本人脸图像的不同区域进行不同颜色的填充，该填充效果可以作为区域分割标签。

本实施例相当于语义分割技术在人脸不同区域分割上的应用，这样，即是通过计算量远远小于对抗生成网络的技术实现人脸特征检测，并用于虚拟形成生成。并且，无需对目标人脸图像的像素点进行逐一的阈值比较，因此，可以提高人脸特征的检测效率。

在一种可选的实施方式中，特征类型包括：特征点类型；

相应地，上述利用目标特征检测方式，对目标人脸图像进行人脸特征检测，获得目标人脸的特征类型的人脸特征，具体可以包括如下步骤：

按照预设的人脸特征点选取规则，从目标人脸图像的各人脸像素点中，确定目标像素点的位置信息；

基于目标像素点的位置信息，确定目标人脸的特征点类型的人脸特征。

在具体应用中，预设人脸特征点的选取规则用于表明目标人脸中可以作为人脸特征的像素点需要满足的条件，具体可以是多种的。示例性的，预设人脸特征点的选取规则可以为人脸像素点中处于人脸各组织轮廓上的像素点。例如，脸部轮廓、眼睛轮廓、嘴唇轮廓、眉毛轮廓、眼影轮廓等等轮廓上的像素点。或者，示例性的，预设人脸特征点的选取规则可以为人脸中处于指定位置处的像素点。指定位置可以根据具体需求进行设置，指定位置越多，目标像素点数量越多，人脸特征越准确。并且，目标像素点的位置信息具体可以为目标像素点在目标人脸图像中的二维坐标。

本实施例可以从像素点级别的人脸特征，更加准确地表达人脸的特质，提高后续通过人脸特征确定的动漫形象的准确度和个性化。

示例性的，如图3本申请另一实施例提供的一种动漫形象生成方法中，目标人脸中目标像素点的示例图所示：目标像素点可以包括：左脸最上沿也就是左耳部与脸部相接的顶端处的0点、左眉毛的左眉角处的33点、左眼的右眼角处的45点、右眼的左眼角处的46点、上嘴唇上边和鼻唇沟的右交点处的63点、下巴中心处的16点等等。在一种情况中，为了尽可能平衡目标像素点的数量和人脸特征的准确度，可以针对人脸轮廓、左右眉毛、眼睛、鼻子、嘴巴分别设置目标特征点，具体可以包括以下68处位置的目标特征点(部分未在图3中示出)：

针对人脸轮廓，设置0点至32点的目标特征点：0点:左脸最上沿也就是左耳部与脸部相接的顶端处；16点：下巴中心；32点:右脸最上沿也就是右耳部与脸部相接的顶端处；1点至15点以及17点至31点均为人脸轮廓的等分点。

针对左右眉毛，设置33点至38点，以及48点至49点的目标特征点：33点：左眉毛的左眉角；35点：左眉毛的右上眉角；34点：将33点～35点之间的上轮廓四等分，靠近33点的四等分点；48点：左眉毛的右下眉角；36点：右眉毛的左上眉角；38点：右眉毛的右眉角；37点：将36点～38点之间的上轮廓进行四等分，靠近38点的四等分点；49点：右眉毛的左下眉角；其余点为眉毛的等分点。

针对眼睛，设置44点至47点，以及50点至55的目标特征点：44点：左眼的左眼角；45点：左眼的右眼角；50点：左眼上半轮廓的中心点；51点：左眼下半轮廓的中心点；52点：左眼瞳孔；46点：右眼的左眼角；47点：右眼的右眼角；53点：右眼上半轮廓的中心点；54点：右眼下半轮廓的中心点；55点：右眼瞳孔。

针对鼻子，设置39点至43点，56点至61点的目标特征点：39点：鼻梁起点也就是两个内眼角连线与鼻子的交点距离小于距离阈值处；42点：鼻尖；40点：为39点与42点之间连线的三等分点的上三等分点；41点：为39点与42点之间连线的三等分点的下三等分点；43点：鼻子下方也就是鼻子与鼻唇沟交接线中心点)；56点：45点与46点连线与鼻子左侧交点；57点：45点与46点连线与鼻子右侧交点；60点：左边鼻翼边缘处；61点：右边鼻翼边缘处；58点：56点与60点连线与鼻子的交点；59点：57点与61点连线与鼻子的交点。

针对嘴巴，设置62点至68点的目标特征点：62点：上嘴唇上边缘和鼻唇沟的左交点；63点：上嘴唇上边缘和鼻唇沟的右交点；68点：嘴唇左边的外嘴角；64点：嘴唇右边的外嘴角；66点：下嘴唇上边缘正中心处；65点：64点与66点间嘴唇轮廓的中心点；67点：66点与68点间嘴唇轮廓的中心点。

并且，按照预设的人脸特征点选取规则，从目标人脸图像的各人脸像素点中，确定目标像素点的位置信息的具体方式可以是多种的，下面以可选实施例的形式进行具体说明。

在一种可选的实施方式中，上述按照预设的人脸特征点选取规则，从目标人脸图像的各人脸像素点中，确定目标像素点的位置信息，具体可以包括如下步骤：

针对不同指定位置，将人脸图像的各像素值分别与该指定位置的像素阈值进行比较，若该像素值达到该指定位置的像素阈值，则将具有该像素值的像素点确定为该指定位置的目标像素点；

获取目标像素点在目标人脸中的位置信息。

在另一种可选的实施方式中，上述按照预设的人脸特征点选取规则，从目标人脸图像的各人脸像素点中，确定目标像素点的位置信息，具体可以包括如下步骤：

将目标人脸图像输入预先训练得到的关键点识别模型，获得目标人脸中目标像素点的位置信息；其中，关键点识别模型为利用包含样本人脸的样本人脸图像，以及关键点标签训练得到的，关键点标签为按照人脸特征点选取规则对样本人脸的人脸关键点进行标注的结果；

相应地，上述基于目标像素点的位置信息，确定目标人脸的特征点类型的人脸特征，具体可以包括如下步骤：

将目标像素点的位置信息，确定为目标人脸的特征点类型的人脸特征。

在具体应用中，上述关键点识别模型可以为PFLD(A Practical Facial LandmarkDetector)模型，一种精度高，速度快，模型小的人脸关键点检测模型。PFLD模型在移动端可以达到超实时的性能：模型大小2.1Mb，在处理器上的处理速率可以达到140fps，从而进一步保证本申请的方案在移动终端的实时运行，以及无需移动终端具备特定的设备性能。示例性的，可以对3万张样本人脸图像按照人脸特征点选取规则进行打标：例如采用上述68处位置的目标特征点的设置方式标注特征点，标注结果可以如图3所示。

本实施例采用人脸关键点检测模型获得人脸特征，可以提高人脸特征的获取效率和准确度。

在一种可选的实施方式中，上述基于人脸特征，设置目标动漫形象参数，具体可以包括如下步骤：

识别人脸特征的特征类型；

查找与特征类型对应的预设动漫形象参数，以及目标生成方式；

利用目标生成方式，处理人脸特征和预设动漫形象参数，获得特征类型的目标动漫形象参数。

在具体应用中，识别人脸特征的特征类型的方式可以是多种的。示例性的，若进行人脸特征检测后，对应于人脸特征的标识记录人脸特征的特征类型，则可以直接查找具有人脸特征的标识的特征类型。或者，进行人脸特征检测后，为人脸特征标记了特征类型，则可以直接读取人脸特征携带的特征类型。或者，示例性的，可以将人脸特征输入预先训练得到的分类模型，得到人脸特征的特征类型。其中，分类模型为，利用样本人脸特征和样本人脸特征的类型标签训练得到的。任何可以识别人脸特征的特征类型的方式均可用于本申请，本实施例对此不作限制。

本实施例通过识别人脸特征的特征类型，进而针对不同的特征类型，利用不同的目标生成方式和预设动漫形象参数，获得该特征类型的目标动漫形象参数。可以保证对不同的特征类型以有针对性的方式进行处理，从而提高目标动漫形象参数获取的效率和准确度。

为了便于理解和合理布局，对于具体的特征类型、相应的预设动漫形象参数，以及获得特征类型的目标动漫形象参数的具体方式，下面以可选实施例的形式进行具体说明。

在一种可选的实施方式中，特征类型包括：区域类型；人脸特征包括：人脸的指定区域中各像素点的像素值；预设动漫形象参数包括：指定区域中各像素点的颜色信息；

相应地，上述利用目标生成方式，处理人脸特征和预设动漫形象参数，获得特征类型的目标动漫形象参数，具体可以包括如下步骤：

基于颜色信息和像素值，确定指定区域中各像素点的目标像素值；

利用目标像素值，更新指定区域中各像素点的像素值，得到区域类型的目标动漫形象参数。

在具体应用中，区域类型的人脸特征具有形状很可能与动漫形象中相应区域的特征形状相同的特点。因此，可以直接更新指定区域中各像素点的像素值，得到区域类型的目标动漫形象参数。并且，指定区域可以包括以下区域中的至少一种：头发区域、胡子区域、脸部区域也就是脸部皮肤区域、牙齿区域、嘴唇区域、轮廓线、眼镜区域、耳朵区域。其中，嘴唇区域具体可以包括上嘴唇和下嘴唇。

并且，基于颜色信息和像素值，确定指定区域中各像素点的目标像素值的具体方式可以是多种的。示例性的，针对指定区域中各像素点，可以计算该像素点的像素值与颜色信息的均值，或者，对该像素点的像素值与颜色信息进行加权，得到目标像素值。任何可以基于颜色信息和像素值，确定指定区域中各像素点的目标像素值的方式均可用于本申请，本实施例对此不作限制。

这样，本实施例可以实现对每个指定区域的像素值例如颜色、灰度、亮度等等重新赋值，从而实现高效的动漫形象生成。并且，动漫形象参数的区域形状采用的是区域类型的人脸特征，因此，可以保证动漫形象与目标人脸的相似性，提高动漫形象的个性化。在需要更换动漫形象风格的情况下，改变颜色信息即可，无需重新训练生成对抗网络，进一步提高动漫形象生成的便捷性。

在一种可选的实施方式中，特征类型包括：特征点类型；人脸特征包括：人脸中指定特征点的位置信息；预设动漫形象参数包括：动漫形象模板中指定特征点的预设位置信息；

计算人脸中指定特征点的位置信息与预设位置信息之间的差异值；

利用差异值将预设位置信息调整为与指定特征点的位置信息匹配，得到特征点类型的目标动漫形象参数。

在具体应用中，人脸中的指定特征进行动漫形象生成时很可能与目标人脸中存在形状、颜色等方面的差异，但位置往往相同或相近。因此，可以利用人脸中指定特征点的位置信息设置目标虚拟形成参数。对于形状和颜色等方面的动漫形象参数，可以以动漫形象模板给出的参数为准。这样，可以兼顾动漫形象的虚拟化特质和动漫形象与目标人脸的适配度。

示例性的，如图4本申请另一实施例提供的一种动漫形象生成方法中，动漫形象模板的示例图所示，动漫形象模板可以设置眉毛、眼睛、鼻子、眼影的模板。其中，动漫形象的眼睛的成像质量对动漫形象整体主观影响较大，且由于眼睛开闭导致眼睛形态变化大。因此，眼睛模版需要特殊设计。本实施例中，可以根据眼睛由开到闭状态设计出5个模版，如图5本申请另一实施例提供的一种动漫形象生成方法中，动漫形象模板包含的眼睛模板的示例图所示：状态S1的眼睛模板、状态S2的眼睛模板、状态S3的眼睛模板、状态S4的眼睛模板、状态S5的眼睛模板。

并且，本实施例中得到特征点类型的目标动漫形象参数的原理为仿射变换。仿射变换是指原来的直线变换后还是直线，原来的平行线经过变换之后还是平行线，具体的变换手段可以包括：缩放(Scale)、平移(transform)、旋转(rotate)、反射(reflection,对图形照镜子)、错切(shear mapping，一个图形的倒影)。在具体应用中，采用的具体变换手段可以根据变换的具体需求选择。以左眉毛为例，左眉毛经过人脸关键点处理可以获得上述68点中33点、34点、35点、48点的目标像素点的位置信息。动漫形象模板中的眉毛模版包含对应33点、34点、35点、48点的位置信息，根据4个点进行仿射变换调整眉毛模版形态，可以获得对应真人眉毛的动漫眉毛，然后将目标人脸图像中对应位置处的真人眉毛替换为动漫眉毛即可。类似的，可以获得动漫眼睛、动漫鼻子、动漫眼影并在相应位置处进行替换。

在一种可选的实施方式中，计算人脸中指定特征点的位置信息与预设位置信息之间的差异值，具体可以包括如下步骤：

从指定特征点的位置信息中，获取表征人脸水平方向的水平位置信息；

根据水平位置信息，计算目标人脸的水平偏移角度；

根据水平偏移角度，对指定特征点的位置信息进行水平矫正；

计算矫正后的位置信息与预设位置信息之间的差异值，作为人脸中指定特征点的位置信息与预设位置信息之间的差异值。

在具体应用中，人脸很可能会有转动，且当人脸转动时，人脸五官转动的角度是相同的。因此，在对所有指定特征点的进行处理之前，可以先将整张图的人脸旋转矫正，然后再进行指定特征点的仿射变换，例如对指定特征点进行缩放和平移，最后当所有指定特征点处理完之后，再将整张图旋转回原来的位置。其中人脸旋转角度，为上述68点中45点、46点构成的直线与X轴也就是水平线的夹角。该夹角即可作为目标人脸的水平偏移角度。这样，本实施例对人脸进行了水平矫正，可以进一步提高人脸特征与动漫形象之间的适配程度，提高动漫形象的准确度和个性化。

下述结合附图6，对动漫形象生成方法进行进一步说明。其中，图6示出了本申请另一实施例提供的一种动漫形象生成方法的处理流程示例图，在获取目标人脸图像之后，该方法可以包括以下步骤：

输入帧至五官分割模块进行五官分割，获取五官分割mask信息；输入帧至人脸关键点检测模块进行人脸关键点检测，获取人脸68关键点信息；预先设计动漫形象模板和颜色信息也就是预先设置动漫模板和信息；将五官分割mask信息、人脸68关键点信息、动漫模板及信息，共同输入至图像处理模块进行图像处理，从而输出动漫脸。

其中，输入帧即目标人脸图像，在从视频中获取目标人脸图像的场景中，输入帧为视频的视频帧。动漫脸即目标人脸的动漫形象。示例性的，如图7本申请另一实施例提供的一种动漫形象生成方法中，动漫形象的示例图所示：通过本实施例提供的方案，可以分别为目标人脸图像P1和目标人脸图像P2，生成不同的动漫形象。

并且，在具体应用中，本实施例的输入帧至五官分割模块进行五官分割，获取五官分割mask信息，相当于上述实施例中确定目标人脸的区域类型的人脸特征，具体实现方式可以参见上述关于确定目标人脸的区域类型的人脸特征的实施例的描述，在此不再赘述。本实施例的输入帧至人脸关键点检测模块进行人脸关键点检测，获取人脸68关键点信息，相当于上述实施例中确定目标人脸的特征点类型的人脸特征，具体实现方式可以参见上述关于确定目标人脸的特征点类型的人脸特征的实施例的描述，在此不再赘述。本实施例的动漫模板和信息，分别相当于上述实施例中动漫形象模板中指定特征点的预设位置信息和指定区域中各像素点的颜色信息。

相应地，本实施例中将五官分割mask信息、人脸68关键点信息以及动漫模板和信息，共同输入至图像处理模块进行图像处理，从而输出动漫脸的具体实现方式，可以参见上述关于特征类型包括区域类型的实施例中获得特征类型的目标动漫形象参数的描述，以及特征类型包括特征点类型的实施例中获得特征类型的目标动漫形象参数的描述，在此不再赘述。这样，本实施例相当于基于多种特征类型进行目标动漫形象参数的获取，进而基于目标动漫形象参数生成目标人脸的动漫形象，可以通过针对不同特征类型的有针对性的处理方式，提高动漫形象的生成效率和与目标人脸的适配度。

近几年随着深度学习的崛起，相关技术中往往习惯依靠强大的深度学习网络来实现所有功能，而本申请将深度学习技术与传统图像处理技术结合使用，各取所长，具体的：直接使用对抗生成技术实现人脸动漫化，往往伴随着巨大的参数量和样本制作需求，本申请以常规深度学习算法技术例如上述人脸组织的分割技术、人脸关键点检测技术，和传统图像处理技术实现人脸动漫化的流程。因此，具有以下三点优势：第一点，大大降低了动漫形象生成的计算量，因此，可以在移动端实时运行。第二点，应用于视频的场景中，动漫形象以视频帧中的人脸特征生成，因此，视频中人脸动漫化的效果也就是动漫形象可以随着人脸转向、光照改变等因素同步变动，可以保证视频中各视频帧呈现的动漫形象效果的一致且稳定。并且，每个人的人脸具有很高的辨识度。第三点，能对动漫风格也就是虚拟形成风格进行快速扩展，新增全新的风格不需要庞大的设计制作资源，直接更新动漫形象参数的设置方式即可。

与上述方法实施例相对应，本申请还提供了动漫形象生成装置实施例，图8示出了本申请一实施例提供的一种动漫形象生成装置的结构示意图。如图8所示，该装置包括：

图像获取模块802，被配置为获取目标人脸图像；

特征检测模块804，被配置为对所述目标人脸图像进行人脸特征检测，获得所述目标人脸图像中目标人脸的人脸特征；

形象生成模块806，被配置为基于所述人脸特征，设置目标动漫形象参数，并利用所述目标动漫形象参数，生成所述目标人脸的动漫形象。

本申请一实施例通过人脸特征检测获得人脸特征，进而直接基于人脸特征设置目标动漫形象参数。并且，人脸特征检测可以通过常规的机器学习技术实现，因此，无需借助生成对抗网络即可实现生成目标人脸的动漫形象的效果。因此，可以大大降低动漫形象生成的计算量，从而提高动漫形象的生成效率。并且，基于人脸特征，设置目标动漫形象参数。因此，可以保证目标人脸的动漫形象与目标人脸的人脸特征相关联，动漫形象具有很高的辨识度。并且，对于新增的动漫形象风格，可以直接将基于人脸特征，设置目标动漫形象参数的具体方式更新为与新增的动漫形象风格相对应即可，无需重新训练以生成记录有新增的动漫形象风格与人脸图像的映射关系的生成对抗网络，可以节省庞大的训练资源。

在一种可选的实施方式中，所述形象生成模块806，进一步被配置为：

识别所述人脸特征的特征类型；

查找与所述特征类型对应的预设动漫形象参数，以及目标生成方式；

利用所述目标生成方式，处理所述人脸特征和所述预设动漫形象参数，获得所述特征类型的目标动漫形象参数。

在一种可选的实施方式中，所述特征类型包括：区域类型；所述人脸特征包括：人脸的指定区域中各像素点的像素值；所述预设动漫形象参数包括：所述指定区域中各像素点的颜色信息；

相应地，所述形象生成模块806，进一步被配置为：

基于所述颜色信息和所述像素值，确定所述指定区域中各像素点的目标像素值；

利用所述目标像素值，更新所述指定区域中各像素点的像素值，得到所述区域类型的目标动漫形象参数。

在一种可选的实施方式中，所述特征类型包括：特征点类型；所述人脸特征包括：人脸中指定特征点的位置信息；所述预设动漫形象参数包括：动漫形象模板中所述指定特征点的预设位置信息；

相应地，所述形象生成模块806，进一步被配置为：

计算所述人脸中指定特征点的位置信息与所述预设位置信息之间的差异值；

利用所述差异值将所述预设位置信息调整为与所述指定特征点的位置信息匹配，得到所述特征点类型的目标动漫形象参数。

在一种可选的实施方式中，所述形象生成模块806，进一步被配置为：：

从所述指定特征点的位置信息中，获取表征人脸水平方向的水平位置信息；

根据所述水平位置信息，计算所述目标人脸的水平偏移角度；

根据所述水平偏移角度，对所述指定特征点的位置信息进行水平矫正；

计算矫正后的位置信息与所述预设位置信息之间的差异值，作为所述人脸中指定特征点的位置信息与所述预设位置信息之间的差异值。

在一种可选的实施方式中，所述特征检测模块804，进一步被配置为：

获取待检测的人脸特征的特征类型，确定与所述特征类型对应的目标特征检测方式；

利用所述目标特征检测方式，对所述目标人脸图像进行人脸特征检测，获得所述目标人脸图像中目标人脸的所述特征类型的人脸特征。

在一种可选的实施方式中，所述特征类型包括：区域类型；

相应地，所述特征检测模块804，进一步被配置为：

按照预设的人脸区域分割规则，对所述目标人脸图像进行区域分割，获得所述目标人脸中不同区域的区域位置信息；

基于所述区域位置信息，确定所述目标人脸的所述区域类型的人脸特征。

将所述目标人脸图像输入预先训练得到的分割模型，获得所述目标人脸中不同区域的区域位置信息，其中，所述分割模型为利用包含样本人脸的样本人脸图像，以及区域分割标签训练得到的，所述区域分割标签为按照所述预设的人脸区域分割规则对所述样本人脸中不同区域进行标注的结果；

将所述人脸图像中所述区域位置信息对应的像素点，确定为所述目标人脸的所述区域类型的人脸特征。

在一种可选的实施方式中，所述特征类型包括：特征点类型；

相应地，所述特征检测模块804，进一步被配置为：

按照预设的人脸特征点选取规则，从所述目标人脸图像的各人脸像素点中，确定目标像素点的位置信息；

基于所述目标像素点的位置信息，确定所述目标人脸的所述特征点类型的人脸特征。

将所述目标人脸图像输入预先训练得到的关键点识别模型，获得所述目标人脸中目标像素点的位置信息；其中，所述关键点识别模型为利用包含样本人脸的样本人脸图像，以及关键点标签训练得到的，所述关键点标签为按照所述人脸特征点选取规则对所述样本人脸的人脸关键点进行标注的结果；

将所述目标像素点的位置信息，确定为所述目标人脸的所述特征点类型的人脸特征。

上述为本实施例的一种动漫形象生成装置的示意性方案。需要说明的是，该动漫形象生成装置的技术方案与上述的动漫形象生成方法的技术方案属于同一构思，动漫形象生成装置的技术方案未详细描述的细节内容，均可以参见上述动漫形象生成方法的技术方案的描述。

图9示出了根据本申请一实施例提供的一种计算设备900的结构框图。该计算设备900的部件包括但不限于存储器910和处理器920。处理器920与存储器910通过总线930相连接，数据库950用于保存数据。

计算设备900还包括接入设备940，接入设备940使得计算设备900能够经由一个或多个网络960通信。这些网络的示例包括公用交换电话网(PSTN，Public SwitchedTelephone Network)、局域网(LAN，Local Area Network)、广域网(WAN，Wide AreaNetwork)、个域网(PAN，Personal Area Network)或诸如因特网的通信网络的组合。接入设备940可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC，NetworkInterface Controller))中的一个或多个，诸如IEEE802.11无线局域网(WLAN，WirelessLocal Area Networks)无线接口、全球微波互联接入(Wi-MAX，WorldwideInteroperability for Microwave Access)接口、以太网接口、通用串行总线(USB，Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC，Near FieldCommunication)接口，等等。

在本申请的一个实施例中，计算设备900的上述部件以及图9中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图9所示的计算设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。

计算设备900可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备900还可以是移动式或静止式的服务器。

其中，处理器920执行所述指令时实现所述的动漫形象生成方法的步骤。

上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的动漫形象生成方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述动漫形象生成方法的技术方案的描述。

本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现如前所述动漫形象生成方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的动漫形象生成方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述动漫形象生成方法的技术方案的描述。

上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本申请的内容，可作很多的修改和变化。本申请选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims

1.一种动漫形象生成方法，其特征在于，包括：

获取目标人脸图像；

2.根据权利要求1所述的方法，其特征在于，所述基于所述人脸特征，设置目标动漫形象参数，包括：

识别所述人脸特征的特征类型；

3.根据权利要求2所述的方法，其特征在于，所述特征类型包括：区域类型；所述人脸特征包括：人脸的指定区域中各像素点的像素值；所述预设动漫形象参数包括：所述指定区域中各像素点的颜色信息；

所述利用所述目标生成方式，处理所述人脸特征和所述预设动漫形象参数，获得所述特征类型的目标动漫形象参数，包括：

4.根据权利要求2所述的方法，其特征在于，所述特征类型包括：特征点类型；所述人脸特征包括：人脸中指定特征点的位置信息；所述预设动漫形象参数包括：动漫形象模板中所述指定特征点的预设位置信息；

5.根据权利要求4所述的方法，其特征在于，所述计算所述人脸中指定特征点的位置信息与所述预设位置信息之间的差异值，包括：

6.根据权利要求1至5任一项所述的方法，其特征在于，所述对所述目标人脸图像进行人脸特征检测，获得所述目标人脸图像中目标人脸的人脸特征，包括：

7.根据权利要求6所述的方法，其特征在于，所述特征类型包括：区域类型；

所述利用所述目标特征检测方式，对所述目标人脸图像进行人脸特征检测，获得所述目标人脸图像中目标人脸的所述特征类型的人脸特征，包括：

8.根据权利要求7所述的方法，其特征在于，所述按照预设的人脸区域分割规则，对所述目标人脸图像进行区域分割，获得所述目标人脸中不同区域的区域位置信息，包括：

所述基于所述区域位置信息，确定所述目标人脸的所述区域类型的人脸特征，包括：

9.根据权利要求6所述的方法，其特征在于，所述特征类型包括：特征点类型；

所述利用所述目标特征检测方式，对所述目标人脸图像进行人脸特征检测，获得所述目标人脸的所述特征类型的人脸特征，包括：

10.根据权利要求9所述的方法，其特征在于，所述按照预设的人脸特征点选取规则，从所述目标人脸图像的各人脸像素点中，确定目标像素点的位置信息，包括：

所述基于所述目标像素点的位置信息，确定所述目标人脸的所述特征点类型的人脸特征，包括：

11.一种动漫形象生成装置，其特征在于，包括：

图像获取模块，被配置为获取目标人脸图像；

12.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时实现权利要求1-10任意一项所述方法的步骤。

13.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-10任意一项所述方法的步骤。