CN106303354A - 一种脸部特效推荐方法及电子设备 - Google Patents

Abstract

本发明公开了一种脸部特效推荐方法及电子设备，该方法包括：获得用户的第一脸部特征图像；获得与所述第一脸部特征图像相同和/或相似的第二脸部特征图像对应的参考用户；获得所述参考用户使用过的参考特效，所述参考特效在使用时用于填充脸部特征图像对应的特效区域；将所述参考特效的推荐信息发送给所述用户，以供所述用户选择使用所述参考特效。在上述技术方案中，通过向用户推荐与自己脸部特征相同和/或相似的参考用户使用过的参考特效，使得根据推荐信息选择使用的参考特效的匹配命中率大大提高，由此解决了现有技术中特效在使用时存在匹配命中率较低的技术问题，达到了提高特效匹配命中率的技术效果。

Description

一种脸部特效推荐方法及电子设备

技术领域

本发明涉及软件技术领域，尤其涉及一种脸部特效推荐方法及电子设备。

背景技术

随着网络通讯的发展，越来越多的用户选择通过网络平台来交友和娱乐，这些网络平台包括一对一聊天交友平台、主播聊天室平台、论坛交友平台等，其中，一对一聊天交友平台和主播聊天室平台由于可实时视频交流，更受用户青睐。

为了增加平台用户的使用黏性，各视频平台往往会提供丰富的视频特效，以便用户在进行视频交流时，可以使用平台提供的面具类特效来增加视频的娱乐性。然而，由于平台提供的特效的数量和种类繁多，加之不同的特效使用受众不同，用户在选用特效时需要花费大量的时间选择、适用、比较，出现特效与用户匹配时匹配命中率较低，甚至可能出现多次选择适用的匹配效果均不佳，导致用户放弃使用特效，不利于特效的使用和推广。

可见，现有技术中的特效在使用时，存在命中率较低的技术问题。

发明内容

鉴于上述问题，本发明提出了一种克服上述问题或者至少部分地解决上述问题的脸部特效推荐的方法及电子设备。

本发明的一个方面，提供了一种脸部特效推荐的方法，包括：

获得用户的第一脸部特征图像；

获得与所述第一脸部特征图像相同和/或相似的第二脸部特征图像对应的参考用户；

获得所述参考用户使用过的参考特效，所述参考特效在使用时用于填充脸部特征图像对应的待填充区域；

将所述参考特效的推荐信息发送给所述用户，以供所述用户选择使用所述参考特效。

可选的，所述获得与所述第一脸部特征图像相同和/或相似的第二脸部特征图像对应的参考用户，包括：获得与所述第一脸部特征图像之间图像相似度大于设定阈值的第二脸部特征图像；获得所述第二脸部特征图像对应的参考用户。

可选的，所述获得与所述第一脸部特征图像相同和/或相似的第二脸部特征图像对应的参考用户，包括：

获得所述第一脸部特征图像所属的脸部特征类型；获得与所述第一脸部特征图像所属的脸部特征类型相同的第二脸部特征图像；获得所述第二脸部特征图像对应的参考用户。

可选的，所述第一脸部特征图像包括脸型轮廓图像和/或五官特征中至少一个感官特征图像。

可选的，所述获得所述参考用户使用过的参考特效，包括：

获得所述参考用户使用频率大于设定频率的特效作为所述参考特效；或者

获得所述参考用户使用次数大于第一设定数值的特效作为所述参考特效；或者

获得所述参考用户使用时获赞和/或获赠礼物的次数大于第二设定数值的特效作为所述参考特效。

可选的，所述参考特效为：特效面具或特效饰品。

可选的，所述方法还包括：

接收用于选择所述参考特效的选择指令，将所述参考特效按照预设规则分为M个特效区域，M为大于1的正整数；

识别所述第一脸部特征图像的N个特征点，N为正整数；

根据所述N个特征点，按照所述预设规则将所述第一脸部特征图像分为与所述M个特效区域对应的M个图像区域；

将所述M个特效区域对应填充到所述M个图像区域，形成第三脸部特征图像；

输出所述第三脸部特征图像。

可选的，所述根据所述N个特征点，按照所述预设规则将所述第一脸部特征图像分为与所述M个特效区域对应的M个图像区域，具体包括：

根据所述N个特征点，将所述第一脸部特征图像分为与所述M个特效区域对应的M个图像区域，其中，所述M个图像区域为三角形区域，所述M个图像区域中每个图像区域内包括的所述特征点的数量小于等于1。

可选的，所述将所述M个特效区域对应填充到所述M个图像区域，包括：

采用图像压缩算法和/或图像拉伸算法，将所述M个特效区域对应填充到所述M个图像区域，以使所述M个特效区域中每个特效区域的形状与其对应的图像区域的形状匹配。

本发明的另一方面，还提供一种电子设备，包括：

图像获取单元，用于获得用户的第一脸部特征图像；

用户获取单元，用于获得与所述第一脸部特征图像相同和/或相似的第二脸部特征图像对应的参考用户；

特效获取单元，用于获得所述参考用户使用过的参考特效，所述参考特效在使用时用于填充脸部特征图像对应的特效区域；

推送单元，用于将所述参考特效的推荐信息发送给所述用户，以供所述用户选择使用所述参考特效。

可选的，所述用户获取单元用于：获得与所述第一脸部特征图像之间图像相似度大于设定阈值的第二脸部特征图像；获得所述第二脸部特征图像对应的参考用户。

可选的，所述用户获取单元还用于：获得所述第一脸部特征图像所属的脸部特征类型；获得与所述第一脸部特征图像所属的脸部特征类型相同的第二脸部特征图像；获得所述第二脸部特征图像对应的参考用户。

可选的，所述第一脸部特征图像包括脸型轮廓图像和/或五官特征中至少一个感官特征图像。

可选的，所述特效获取单元，用于：获得所述参考用户使用频率大于设定频率的特效作为所述参考特效；或者，获得所述参考用户使用次数大于第一设定数值的特效作为所述参考特效；或者，获得所述参考用户使用时获赞和/或获赠礼物的次数大于第二设定数值的特效作为所述参考特效。

可选的，所述参考特效为：特效面具或特效饰品。

可选的，所述电子设备还包括：

第一划分单元，用于接收用于选择所述参考特效的选择指令，将所述特效按照预设规则分为M个特效区域，M为大于1的正整数；

识别单元，用于识别所述第一脸部特征图像的的N个特征点，N为正整数；

第二划分单元，用于根据所述N个特征点，按照所述预设规则将所述第一脸部特征图像分为与所述M个特效区域对应的M个图像区域；

填充单元，用于将所述M个特效区域对应填充到所述M个图像区域，形成第三脸部特征图像；

输出单元，用于输出所述第三脸部特征图像。

可选的，所述第二划分单元，具体用于：根据所述N个特征点，将所述第一脸部特征图像分为与所述M个特效区域对应的M个图像区域，其中，所述M个图像区域为三角形区域，所述M个图像区域中每个图像区域内包括的所述特征点的数量小于等于1。

可选的，所述填充单元，用于：采用图像压缩算法和/或图像拉伸算法，将所述M个特效区域对应填充到所述M个图像区域，以使所述M个特效区域中每个特效区域的形状与其对应的图像区域的形状匹配。

本申请实施例中提供的技术方案，至少具有如下技术效果或优点：

本申请实施例中获得用户的第一脸部特征图像；获得与所述第一脸部特征图像相同和/或相似的第二脸部特征图像对应的参考用户；获得所述参考用户使用过的参考特效，所述参考特效在使用时用于填充脸部特征图像对应的特效区域；将所述参考特效的推荐信息发送给用户，即被推荐的参考特效与用户的脸部特征能够很好的匹配上，使得在根据推荐信息选择使用参考特效时，特效的匹配命中率大大提高，解决了现有技术中特效在使用时存在匹配命中率较低的技术问题。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的一种脸部特效推荐的方法流程图；

图2示出了根据本发明一个实施例的参考特效的使用方法流程图；

图3示出了根据本发明一个实施例的一种电子设备的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种脸部特效推荐的方法及电子设备，用以解决现有技术中特效在使用时存在匹配命中率较低的技术问题。

请参考图1，本申请实施例提供的一种脸部特效推荐的方法，该方法包括：

S101：获得用户的第一脸部特征图像；

S102：获得与所述第一脸部特征图像相同和/或相似的第二脸部特征图像对应的参考用户；

S103：获得所述参考用户使用过的参考特效，所述参考特效在使用时用于填充脸部特征图像对应的待填充区域；

S104：将所述参考特效的推荐信息发送给所述用户，以供所述用户选择使用所述参考特效。

在具体实施过程中，上述脸部特效推荐的方法可以应用于直播软件、美图软件、视频通话软件等需要通过使用脸部特效来对人脸进行修饰、美化以及遮盖的应用当中，可以由客户端执行，也可以由服务器端执行。下面以直播时对主播脸部或者参与直播的观众脸部使用脸部特效为例，对本申请提供的脸部特效推荐的方法进行举例说明。

S101可以定期获得用户的第一脸部特征图像，如每次在主播确认直播或者观众确认参与直播，开启摄像头进行图像采集时，获得主播或者观众的第一脸部特征图像；在检测到新的人脸图像时，获得该新用户的第一脸部特征图像；在主播或观众执行使用特效的操作时，获得用户的第一脸部特征图像。其中，脸部特征图像包含脸部轮廓图像和/或脸部五官中的至少一个感官特征图像，脸部轮廓图像用于表征脸部的脸型，感官特征图像用于表征眉毛、眼睛、鼻子、嘴巴或耳朵的特点。

S102获得与第一脸部特征图像相同和/或相似的第二脸部特征图像，及第二脸部特征图像对应的参考用户。

服务器端可以预存各主播的脸部特征图像，将获得的第一脸部特征图像与预存的主播的脸部特征图像进行比对，以从中获得第二脸部特征图像。具体的，可以获得与第一脸部特征图像之间图像相似度大于设定阈值的第二脸部特征图像；获得所述第二脸部特征图像对应的参考用户。图像的相似度可以采用直方图匹配、矩阵分解、特征点匹配等方法计算获得，其中，基于特征点的图像相似度计算，是通过提取每一幅图像的特征点，这些特征点表征图像中比较重要的一些位置，比较类似函数的拐点那种，通常比较常用的有Harris角点和Sift特征点，那么将得到的图像角点进行比较，如果相似的角点数目较多，那么可以认为这两幅图像的相似程度较高。

作为一种可选的实施例，也可以通过人脸识别获得第一脸部特征图像所属的脸部特征类型，例如：识别出第一脸部特征图像的脸型为瓜子脸、国字脸、方脸等，五官特征中眉毛类型为柳叶眉、水平眉召、高挑眉等，鼻子类型为鹰钩鼻、翘头鼻、塌鼻梁等等。基于获得的脸部特征类型，获得与第一脸部特征图像所属的脸部特征类型相同的第二脸部特征图像，进而第二脸部特征图像对应的参考用户，例如：若第一脸部特征图像的脸型为瓜子脸，那么获得脸型也为瓜子脸的第二脸部特征图像对应的参考用户。

S103获得参考用户使用过程的参考特效。其中该参考特效具体为特效面具或特效饰品，该特征在使用时用于填充脸部特征图像对应的待填充区域，例如：假设参考特效为狐狸眼罩，那么在用户使用该特效时，用户脸部图像中眼睛所在区域则被填充为狐狸眼罩，向用户带了一个狐狸眼罩一样。

为了能够推荐与用户更为匹配的参考特效，在获得参考特效时，可以进一步获得参考用户使用频率大于设定频率的特效，特效的使用频率大于设定频率，表明参考用户对该特效的满意度较高，与参考用户的脸部匹配度也较高，为此将其作为参考特效。同样的，也可以获得参考用户使用次数大于第一设定数值的特效作为参考特效。或者，还可以获得参考用户使用时获赞和/或获赠礼物的次数大于第二设定数值的特效，特效在使用时获赞和/或获赠礼物的次数大于第二设定数值，表明参考用户在使用该特效时受欢迎度非常高，与用户脸型匹配命中的可能性非常高，因此将该特效作为参考特效。

S104将参考特效的推荐信息发送给第一脸部特征图像对应的用户。其中，该推荐信息可以是推荐标识，当第一脸部特征图像对应的用户特效中具有该参考特效时，在该参考特效上附加该推荐标识。推荐信息也可以是一条推送消息即message，当第一脸部特征图像对应的用户特效中不具有该参考特效时，向该用户发送该推送消息，该推送消息中还可以包含下载该参考特效的链接，用户可以通过点击该推送消息即可下载该参考特效，进而选择使用该参考特效。

请参考图2，在具体实施过程中，本申请实施例在发送完参考特效的推送信息之后，还提供一种参考特效的添加方法，包括：

S201：接收用于选择所述参考特效的选择指令，将所述参考特效按照预设规则分为M个特效区域，M为大于1的正整数；

S202：识别所述第一脸部特征图像的N个特征点，N为正整数；

S203：根据所述N个特征点，按照所述预设规则将所述第一脸部特征图像分为与所述M个特效区域对应的M个图像区域；

S204：将所述M个特效区域对应填充到所述M个图像区域，形成第三脸部特征图像；

S205：输出所述第三脸部特征图像。

需要说明的是，本申请提供的特效添加方法既可以用于对单一脸部特征图像的特效添加，也可以用于对包含脸部特征图像视频的特效添加，其中，所述视频可以是直播视频，也可以是提前录制的视频，本申请并不限定。当所述方法应用于对包含脸部特征图像的视频的特效添加时，可以是采用所述方法对视频的每一帧图像依次进行上述特效添加处理，以实现对整个视频的特效添加。

下面，结合图2详细介绍本参考特征的添加方法的具体实现步骤：

步骤S201，在接收到用于选择参考特效的选择指令时，将所述参考特效按照预设规则预先分为M个特效区域，M为大于1的正整数。

在本申请实施例中，所述选择指令可以是用户自身在电子设备上执行选择特效的操作时生成的选择指令；也可以是电子设备接收到其他设备发送的选择参考特指令。例如，当所述方法应用于直播平台的主播端时，可以是主播在主播端上执行选择参考特效的操作，生成选择指令；也可以是主播端接收到观众客户端发送的选择参考特效的指令。

在本申请实施例中，所述特效可以为图片或动图格式，所述特效分为M个特效区域，为了使所述M个特效区域与所述M个图像区域匹配，其具体的分区规则与后续第一图像的分区规则相同，在后续步骤S202和步骤S203中再进行详述。

步骤S202，识别所述第一脸部特征图像的N个特征点，N为正整数。其中，识别所述第一脸部特征图像的特征点的方式可以有多种，下面列举两种为例：

第一种，按预设规则直接识别特征点。

即直接按照预设的规则在第一脸部特征图像上识别N个特征点。所述预设的规则可以是在第一脸部特征图像上识别出所述目标物体的轮廓，在轮廓上提取特征点，所述预设的规则也可以是，在所述第一脸部特征图像上识别出所述面部的深色线条，在所述深色线条上提取特征点，在此不作限制。所述识别所述第一脸部特征图像的N个特征点，可以为：识别所述第一脸部特征图像上的五官轮廓点和/或脸型轮廓点。

例如，可以预设每采集到一帧人脸图像，就在图像上识别出95个特征点，所述95个特征点包括：人脸轮廓的点、眼睛轮廓的点、鼻梁线上的点、眉毛中线的点、嘴唇轮廓的点和耳朵轮廓的点。

进一步，所述N个特征点的分布可以预设沿轮廓或线条均匀分布，或者按预设的规则在一部分轮廓或线条(例如五官轮廓)相对密集分布，在另外的轮廓或线条(例如脸型轮廓)相对稀疏分布。

第二种，结合特效的特征来识别特征点。

即结合选择的特效的特征，按照预设的规则在第一脸部特征图像上识别N个特征点。例如，如果选择的特效是眼镜面具特效，则根据特效的特征可知仅需识别第一脸部特征图像上的人脸轮廓点和眼睛轮廓点作为特征点。

再例如，如果选择的特效是胡子面具特效，则根据特效的特征可知仅需识别第一脸部特征图像上的人脸轮廓点和嘴唇轮廓点作为特征点。

当然，在具体实施过程中，识别所述第一脸部特征图像的N个特征点不限于以上几种识别方法，基于不同的需求可以确定出不同的识别方法，对此本发明实施例不再详细列举，并且不作限制。

步骤S203，根据所述N个特征点，按照所述预设规则将所述第一脸部特征图像分为与所述M个特效区域对应的M个图像区域即带填充区域。其中，根据所述N个特征点，按照所述预设规则将所述第一脸部特征图像分为与所述M个特效区域对应的M个图像区域的方式可以有多种，下面列举两种为例：

第一种，以所述特征点作为顶点来划分图像区域。

即根据所述N个特征点，将所述第一脸部特征图像分为与所述M个特效区域对应的M个图像区域，其中，所述M个图像区域为M个以所述N个特征点为全部或部分顶点的三角形区域。

具体来讲，可以将所述N个特征点两两相连，再与所述第一脸部特征图像的图像边缘相连，以将所述第一脸部特征图像划分为M个三角形图像区域，其中，每个特征点均为所述三角形区域的顶点，但所述三角形区域的顶点并不要求全部是所述特征点，具体的划分规则以所述M个三角形图像区域不重合，且能完全覆盖所述第一脸部特征图像即可，在此不作限制。

第二种，以每个图像区域内包含的特征点数量小于等于1来划分图像区域。

即根据所述N个特征点，将所述第一脸部特征图像分为与所述M个特效区域对应的M个图像区域，其中，所述M个图像区域为三角形区域，所述M个图像区域中每个图像区域内包括的所述特征点的数量小于等于1。

具体来讲，可以设置所述M个图像区域中每个区域包含1个或0个特征点，即可以先设置预设大小的N个图像区域来一一覆盖所述N个特征点，再将所述第一脸部特征图像上未被所述N个图像区域填充的区域划分为M-N个图像区域，具体以使得所述M个图像区域不重合，且能完全覆盖所述第一脸部特征图像即可。

当然，在具体实施过程中，所述每个图像区域还可以为矩形或菱形，在此不作限制。较优的，所述每个图像区域均为三角形，以便于图形的渲染。

需要说明的是，考虑到N和M的值越大，则表明对所述第一脸部特征图像的特征识别和区域划分越细，后续的填充效果越好，但相对的，N和M的值越大，则需要识别的特征点和需要填充的区域越多，计算量越大，后续填充特效的时间越长，例如当所述方法运用于视频直播时，就易导致特效添加延迟，故，在具体实施过程中，可以根据需要的填充效果和使用场景对实时性的要求来设置合理的N和M值。

还需要说明的是，为了使所述M个特效区域与所述M个图像区域一一对应，以便于步骤S204中能对应一一填充，所述M个特效区域的划分规则和方法与所述M个图像区域的划分规则和方法相同，即同样是预先在所述特效上确定N个特效特征点，其确定特效特征点的方法与在所述第一脸部特征图像上确定特征点的方法相同，再根据所述N个特效特征点，采用与所述M个图像区域划分相同的规则划分出M个特效区域。

当然，在具体实施过程中，划分所述第一脸部特征图像为M个图像区域不限于以上几种划分方法，基于不同的需求可以确定出不同的划分方法，对此本发明实施例不再详细列举，并且不作限制。

然后，执行步骤S204，将所述M个特效区域对应填充到所述M个图像区域，形成特效添加图像。具体的，可以采用图像压缩算法和/或图像拉伸算法，将所述M个特效区域对应填充到所述M个图像区域，以使所述M个特效区域中每个特效区域的形状与其对应的图像区域的形状匹配。

例如，将所述M个特效区域对应填充到所述M个图像区域时，如果某特效区域与其对应的图像区域形状大小均相同，则直接将该特效区域覆盖填充在对应的图像区域上；再例如，如果，某特效区域与其对应的图像区域形状相同但大小不同，则等比例放大或缩小所述特效区域至与对应的图像区域同样大小，再将该特效区域覆盖填充至对应的图像区域上；再例如，如果，某特效区域与其对应的图像区域形状和大小均不同，则局部压缩和或/拉升所述特效区域至与对应的图像区域同样形状和大小，再将该特效区域覆盖填充至对应的图像区域上。

在具体实施过程中，如果某特效区域为纯色，则为了计算简单，则可以直接将其对应的图像区域填充为该纯色，当然，所述特效区域也可以全部或部分为透明色，则当该有透明色的特效区域填充覆盖对应的图像区域后，透明色区域显示为对应图像区域的本色。

具体来讲，预先将特效分为M个特效区域，在需要添加特效时，先根据获取的目标物体图像识别出特征点，再根据特征点有针对性的划分出与M个特效区域对应的M个图像区域，最后用M个特效区域对应填充所述M个图像区域，以使得特效能与目标物体的外观特征匹配，使同一特效可以适用于不同的目标物体图像，有效扩大了特效的适用范围。

最后，在添加完成获得特效添加图像后，执行步骤S205，输出所述特效添加图像，如可以对特效添加图像进行显示。

下面通过一完整为直播平台的主播端推荐特效并添加的实例，对本实施例提供的脸部特效推荐方法进行举例说明：

在主播视频直播过程中，需要加特效面具时，点开特效面具列表，触发生成面具推荐指令，主播端A通过摄像头采集获得包含主播脸部的第一脸部特征图像。进一步的，将所述第一脸部特征图像发送至服务器。

服务器在接收到第一脸部特征图像后，通过人脸识别提取第一脸部特征图像的第一脸型轮廓图像和五官特征的各感官特征图像。获得与所述第一脸型轮廓图像相同，且其五官特征的各感官特征图像相似度大于设定阈值的第二脸部特征图像，再获得第二脸部特征图像对应的参考用户，如参考主播端。

服务器获得参考主播端使用过程的参考特效。假设参考主播端最近一周20次特效使用有14次选择了某一京剧面具，即该京剧面具的使用频率为70％，大于设定频率50％，那么将该京剧面具作为参考特效。进一步的，将获得的参考特效-京剧面具的推荐信息发送至主播端A。

主播在主播端A根据接收到的推荐信息在APP平台上选择了该京剧面具特效；那么主播端A生成并响应选择指令，将该京剧面具预先分为206个三角形特效区域，该206个三角形特效区域是根据预先在京剧面具上确定的95个特效特征点，按预设规则来划分的。

主播端基于上述选择指令，获取视频直播的当前第一帧图像，并识别出第一脸部特征图像及该脸部特征图像上的95个特征点，所述95个特征点包括五官轮廓点、脸型轮廓点和发际轮廓点，所述95个特征点的识别规则与所述95个特效特征点的确定规则相同；接下来，主播端A根据所述95个特征点，按照与划分206个三角形特效区域相同的划分规则将所述第一脸部特征图像分为与所述206个三角形特效区域对应的206个三角形图像区域；然后，主播端A采用压缩和/或拉升算法将所述206个三角形特效区域对应填充到所述206个三角形图像区域，形成添加京剧面具后的图像。

再下来，将所述添加京剧面具后的特效添加图像显示在所述主播端，同时主播端A将所述添加京剧面具后的特效添加图像上传至该直播平台服务器，并通过服务器将添加京剧面具后的图像分享至主播端A对应的观众客户端，以使直播观众和主播都能看见添加京剧面具后的图像。

基于同样的道理，主播端A获取后续的第二帧图像、第三帧图像…，依次采用相同的面具添加方法对第二帧图像、第三帧图像…添加面具特效，并依次输出，实现对直播视频的面具特效的添加。需要说明的是，视频往往1秒有15帧，1帧耗时66毫秒左右，故为了保证特效的添加计算不导致视频的停顿和不流畅，需要将识别特征点、划分图像区域和填充特效的时间控制在66毫秒内，以维持直播视频的流畅。

在上述实施例提供中，通过识别用户的脸部特征图像，来获得与用户脸型轮廓和/或五官特征相同或相似的参考用户，进一步获得参考用户使用过的参考特征，将参考特效的推荐信息发送给用户，使得被推荐的参考特效已经由参考用户甄选过，能够与参考用户的脸部特征很好的匹配上，进而在根据推荐信息选择使用参考特效时，那么该参考特效与用户的脸型也能很好的匹配上，进而解决了现有技术中特效在使用时存在匹配命中率较低的技术问题。

与此同时，通过特征点的提取和分区域填充，使得特效在添加时即使主播在视频过程中发生人脸角度和距离变化，也能通过实时对每帧图像分别添加特效，保证参考特效能实时与主播脸部匹配。

基于同一发明构思，本发明实施例还提供了实施例一种脸部特效推荐方法对应的电子设备，请参考图3，该电子设备包括：

图像获取单元31，用于获得用户的第一脸部特征图像；

用户获取单元32，用于获得与所述第一脸部特征图像相同和/或相似的第二脸部特征图像对应的参考用户；

特效获取单元33，用于获得所述参考用户使用过的参考特效，所述参考特效在使用时用于填充脸部特征图像对应的特效区域；

推送单元34，用于将所述参考特效的推荐信息发送给所述用户，以供所述用户选择使用所述参考特效。

在具体实施过程中，所述用户获取单元32用于：获得与所述第一脸部特征图像之间图像相似度大于设定阈值的第二脸部特征图像；获得所述第二脸部特征图像对应的参考用户。可选的，所述用户获取单元32还用于：获得所述第一脸部特征图像所属的脸部特征类型；获得与所述第一脸部特征图像所属的脸部特征类型相同的第二脸部特征图像；获得所述第二脸部特征图像对应的参考用户。其中，所述第一脸部特征图像包括脸型轮廓图像和/或五官特征中至少一个感官特征图像。

在具体实施过程中，所述特效获取单元33，用于：获得所述参考用户使用频率大于设定频率的特效作为所述参考特效；或者，获得所述参考用户使用次数大于第一设定数值的特效作为所述参考特效；或者，获得所述参考用户使用时获赞和/或获赠礼物的次数大于第二设定数值的特效作为所述参考特效。所述参考特效为：特效面具或特效饰品。

在具体实施过程中，所述电子设备还包括：

第一划分单元35，用于接收用于选择所述参考特效的选择指令，将所述特效按照预设规则分为M个特效区域，M为大于1的正整数；

识别单元36，用于识别所述第一脸部特征图像的的N个特征点，N为正整数；

第二划分单元37，用于根据所述N个特征点，按照所述预设规则将所述第一脸部特征图像分为与所述M个特效区域对应的M个图像区域；

填充单元38，用于将所述M个特效区域对应填充到所述M个图像区域，形成第三脸部特征图像；

输出单元39，用于输出所述第三脸部特征图像。

具体的，所述第二划分单元37，具体用于：根据所述N个特征点，将所述第一脸部特征图像分为与所述M个特效区域对应的M个图像区域，其中，所述M个图像区域为三角形区域，所述M个图像区域中每个图像区域内包括的所述特征点的数量小于等于1。

在填充时，所述填充单元38，用于：采用图像压缩算法和/或图像拉伸算法，将所述M个特效区域对应填充到所述M个图像区域，以使所述M个特效区域中每个特效区域的形状与其对应的图像区域的形状匹配。

本申请实施例中提供的技术方案，至少具有如下技术效果或优点：

1、通过识别用户的脸部特征图像，来获得与用户脸型轮廓和/或五官特征相同或相似的参考用户，进一步获得参考用户使用过的参考特征，将参考特效的推荐信息发送给用户，使得被推荐的参考特效已经由参考用户甄选过，能够与参考用户的脸部特征很好的匹配上，进而在根据推荐信息选择使用参考特效时，那么该参考特效与用户的脸型也能很好的匹配上，进而解决了现有技术中特效在使用时存在匹配命中率较低的技术问题。

2、与此同时，通过特征点的提取和分区域填充，使得特效在添加时即使主播在视频过程中发生人脸角度和距离变化，也能通过实时对每帧图像分别添加特效，保证参考特效能实时与主播脸部匹配。

在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的网关、代理服务器、***中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明公开了，A1、一种脸部特效推荐方法，其特征在于，包括：

获得用户的第一脸部特征图像；

获得与所述第一脸部特征图像相同和/或相似的第二脸部特征图像对应的参考用户；

获得所述参考用户使用过的参考特效，所述参考特效在使用时用于填充脸部特征图像对应的待填充区域；

将所述参考特效的推荐信息发送给所述用户，以供所述用户选择使用所述参考特效。

A2、根据A1所述的方法，其特征在于，所述获得与所述第一脸部特征图像相同和/或相似的第二脸部特征图像对应的参考用户，包括：

获得与所述第一脸部特征图像之间图像相似度大于设定阈值的第二脸部特征图像；

获得所述第二脸部特征图像对应的参考用户。

A3、根据A1所述的方法，其特征在于，所述获得与所述第一脸部特征图像相同和/或相似的第二脸部特征图像对应的参考用户，包括：

获得所述第一脸部特征图像所属的脸部特征类型；

获得与所述第一脸部特征图像所属的脸部特征类型相同的第二脸部特征图像；

获得所述第二脸部特征图像对应的参考用户。

A4、根据A1所述的方法，其特征在于，所述第一脸部特征图像包括脸型轮廓图像和/或五官特征中至少一个感官特征图像。

A5、根据A1～A4任一所述的方法，其特征在于，所述获得所述参考用户使用过的参考特效，包括：

获得所述参考用户使用频率大于设定频率的特效作为所述参考特效；或者

获得所述参考用户使用次数大于第一设定数值的特效作为所述参考特效；或者

获得所述参考用户使用时获赞和/或获赠礼物的次数大于第二设定数值的特效作为所述参考特效。

A6、根据A1～A4任一所述的方法，其特征在于，所述参考特效为：特效面具或特效饰品。

A7、根据A1～A4任一所述的方法，其特征在于，所述方法还包括：

接收用于选择所述参考特效的选择指令，将所述参考特效按照预设规则分为M个特效区域，M为大于1的正整数；

识别所述第一脸部特征图像的N个特征点，N为正整数；

根据所述N个特征点，按照所述预设规则将所述第一脸部特征图像分为与所述M个特效区域对应的M个图像区域；

将所述M个特效区域对应填充到所述M个图像区域，形成第三脸部特征图像；

输出所述第三脸部特征图像。

A8、根据A7所述的方法，其特征在于，所述根据所述N个特征点，按照所述预设规则将所述第一脸部特征图像分为与所述M个特效区域对应的M个图像区域，具体包括：

根据所述N个特征点，将所述第一脸部特征图像分为与所述M个特效区域对应的M个图像区域，其中，所述M个图像区域为三角形区域，所述M个图像区域中每个图像区域内包括的所述特征点的数量小于等于1。

A9、根据A7所述的方法，其特征在于，所述将所述M个特效区域对应填充到所述M个图像区域，包括：

采用图像压缩算法和/或图像拉伸算法，将所述M个特效区域对应填充到所述M个图像区域，以使所述M个特效区域中每个特效区域的形状与其对应的图像区域的形状匹配。

本发明还提供，B10、一种电子设备，其特征在于，包括：

图像获取单元，用于获得用户的第一脸部特征图像；

用户获取单元，用于获得与所述第一脸部特征图像相同和/或相似的第二脸部特征图像对应的参考用户；

特效获取单元，用于获得所述参考用户使用过的参考特效，所述参考特效在使用时用于填充脸部特征图像对应的特效区域；

推送单元，用于将所述参考特效的推荐信息发送给所述用户，以供所述用户选择使用所述参考特效。

B11、根据B10所述的电子设备，其特征在于，所述用户获取单元用于：

获得与所述第一脸部特征图像之间图像相似度大于设定阈值的第二脸部特征图像；

获得所述第二脸部特征图像对应的参考用户。

B12、根据B10所述的电子设备，其特征在于，所述用户获取单元还用于：

获得所述第一脸部特征图像所属的脸部特征类型；

获得与所述第一脸部特征图像所属的脸部特征类型相同的第二脸部特征图像；

获得所述第二脸部特征图像对应的参考用户。

B13、根据B10所述的电子设备，其特征在于，所述第一脸部特征图像包括脸型轮廓图像和/或五官特征中至少一个感官特征图像。

B14、根据B10～B13任一所述的电子设备，其特征在于，所述特效获取单元，用于：

获得所述参考用户使用频率大于设定频率的特效作为所述参考特效；或者

获得所述参考用户使用次数大于第一设定数值的特效作为所述参考特效；或者

获得所述参考用户使用时获赞和/或获赠礼物的次数大于第二设定数值的特效作为所述参考特效。

B15、根据B10～B13任一所述的电子设备，其特征在于，所述参考特效为：特效面具或特效饰品。

B16、根据B10～B13任一所述的电子设备，其特征在于，所述电子设备还包括：

第一划分单元，用于接收用于选择所述参考特效的选择指令，将所述特效按照预设规则分为M个特效区域，M为大于1的正整数；

识别单元，用于识别所述第一脸部特征图像的的N个特征点，N为正整数；

第二划分单元，用于根据所述N个特征点，按照所述预设规则将所述第一脸部特征图像分为与所述M个特效区域对应的M个图像区域；

填充单元，用于将所述M个特效区域对应填充到所述M个图像区域，形成第三脸部特征图像；

输出单元，用于输出所述第三脸部特征图像。

B17、根据B16所述的电子设备，其特征在于，所述第二划分单元，具体用于：

根据所述N个特征点，将所述第一脸部特征图像分为与所述M个特效区域对应的M个图像区域，其中，所述M个图像区域为三角形区域，所述M个图像区域中每个图像区域内包括的所述特征点的数量小于等于1。

B18、根据B16所述的电子设备，其特征在于，所述填充单元，用于：

采用图像压缩算法和/或图像拉伸算法，将所述M个特效区域对应填充到所述M个图像区域，以使所述M个特效区域中每个特效区域的形状与其对应的图像区域的形状匹配。

Claims (10)

1.一种脸部特效推荐方法，其特征在于，包括：

获得用户的第一脸部特征图像；

获得与所述第一脸部特征图像相同和/或相似的第二脸部特征图像对应的参考用户；

获得所述参考用户使用过的参考特效，所述参考特效在使用时用于填充脸部特征图像对应的待填充区域；

将所述参考特效的推荐信息发送给所述用户，以供所述用户选择使用所述参考特效。

2.如权利要求1所述的方法，其特征在于，所述获得与所述第一脸部特征图像相同和/或相似的第二脸部特征图像对应的参考用户，包括：

获得与所述第一脸部特征图像之间图像相似度大于设定阈值的第二脸部特征图像；

获得所述第二脸部特征图像对应的参考用户。

3.如权利要求1所述的方法，其特征在于，所述获得与所述第一脸部特征图像相同和/或相似的第二脸部特征图像对应的参考用户，包括：

获得所述第一脸部特征图像所属的脸部特征类型；

获得与所述第一脸部特征图像所属的脸部特征类型相同的第二脸部特征图像；

获得所述第二脸部特征图像对应的参考用户。

4.如权利要求1所述的方法，其特征在于，所述第一脸部特征图像包括脸型轮廓图像和/或五官特征中至少一个感官特征图像。

5.如权利要求1～4任一所述的方法，其特征在于，所述获得所述参考用户使用过的参考特效，包括：

获得所述参考用户使用频率大于设定频率的特效作为所述参考特效；或者

获得所述参考用户使用次数大于第一设定数值的特效作为所述参考特效；或者

获得所述参考用户使用时获赞和/或获赠礼物的次数大于第二设定数值的特效作为所述参考特效。

6.如权利要求1～4任一所述的方法，其特征在于，所述参考特效为：特效面具或特效饰品。

7.如权利要求1～4任一所述的方法，其特征在于，所述方法还包括：

接收用于选择所述参考特效的选择指令，将所述参考特效按照预设规则分为M个特效区域，M为大于1的正整数；

识别所述第一脸部特征图像的N个特征点，N为正整数；

根据所述N个特征点，按照所述预设规则将所述第一脸部特征图像分为与所述M个特效区域对应的M个图像区域；

将所述M个特效区域对应填充到所述M个图像区域，形成第三脸部特征图像；

输出所述第三脸部特征图像。

8.如权利要求7所述的方法，其特征在于，所述根据所述N个特征点，按照所述预设规则将所述第一脸部特征图像分为与所述M个特效区域对应的M个图像区域，具体包括：

根据所述N个特征点，将所述第一脸部特征图像分为与所述M个特效区域对应的M个图像区域，其中，所述M个图像区域为三角形区域，所述M个图像区域中每个图像区域内包括的所述特征点的数量小于等于1。

9.如权利要求7所述的方法，其特征在于，所述将所述M个特效区域对应填充到所述M个图像区域，包括：

采用图像压缩算法和/或图像拉伸算法，将所述M个特效区域对应填充到所述M个图像区域，以使所述M个特效区域中每个特效区域的形状与其对应的图像区域的形状匹配。

10.一种电子设备，其特征在于，包括：

图像获取单元，用于获得用户的第一脸部特征图像；

用户获取单元，用于获得与所述第一脸部特征图像相同和/或相似的第二脸部特征图像对应的参考用户；

特效获取单元，用于获得所述参考用户使用过的参考特效，所述参考特效在使用时用于填充脸部特征图像对应的特效区域；

推送单元，用于将所述参考特效的推荐信息发送给所述用户，以供所述用户选择使用所述参考特效。