CN113469874A - 一种美妆处理方法、装置、电子设备和存储介质 - Google Patents
一种美妆处理方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113469874A CN113469874A CN202110726714.0A CN202110726714A CN113469874A CN 113469874 A CN113469874 A CN 113469874A CN 202110726714 A CN202110726714 A CN 202110726714A CN 113469874 A CN113469874 A CN 113469874A
- Authority
- CN
- China
- Prior art keywords
- template
- makeup
- face
- color space
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000003796 beauty Effects 0.000 title abstract description 5
- 230000000694 effects Effects 0.000 claims abstract description 90
- 230000004927 fusion Effects 0.000 claims abstract description 66
- 238000007499 fusion processing Methods 0.000 claims abstract description 15
- 239000002537 cosmetic Substances 0.000 claims description 80
- 210000001747 pupil Anatomy 0.000 claims description 65
- 210000001508 eye Anatomy 0.000 claims description 54
- 210000004709 eyebrow Anatomy 0.000 claims description 37
- 238000005516 engineering process Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000003416 augmentation Effects 0.000 claims description 3
- 210000000887 face Anatomy 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 13
- 238000003672 processing method Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000006071 cream Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种美妆处理方法、装置、电子设备和存储介质。该方法包括：采集用户的目标人脸图像；获取至少一个美妆模板以及获取每个美妆模板对应的美妆效果信息；在目标人脸图像上确定出每个美妆模板对应的美妆处理区域；采用每个美妆模板对应的融合策略，将每个美妆模板、对应的美妆效果信息和对应的美妆处理区域进行融合处理，生成虚拟人脸图像。本发明实施例针对不同的美妆模板可采用该美妆模板对应的融合策略实现融合处理过程，从而提高了虚拟人脸美妆的效果。
Description
【技术领域】
本发明实施例涉及图像处理技术领域，尤其涉及一种美妆处理方法、装置、电子设备和存储介质。
【背景技术】
化妆是指对人的面部、五官及其他部位进行渲染、描画、整理，以增强立体印象、调整形色、掩饰缺陷、表现神采，从而达到美容的目的。而随着美妆行业规模的稳步增长与AI技术的普及，虚拟人脸美妆正引领美妆行业的变革。虚拟美妆不仅可以降低化妆品营销成本，而且能够通过线上营销体系大大加速新品推广，使得美妆消费具备巨大潜力。
目前，虚拟人脸美妆技术对人脸的不同美妆处理区域使用相同的贴图融合策略，存在贴图感强且美妆效果不自然的问题，从而使得虚拟人脸美妆的效果不好。
【发明内容】
有鉴于此，本发明实施例提供了一种美妆处理方法、装置、电子设备和存储介质，用于提高虚拟人脸的美妆效果。
第一方面，本发明实施例提供了一种美妆处理方法，包括：
采集用户的目标人脸图像；
获取至少一个美妆模板以及获取每个所述美妆模板对应的美妆效果信息；
在所述目标人脸图像上确定出每个美妆模板对应的美妆处理区域；
采用每个所述美妆模板对应的融合策略，将每个所述美妆模板、对应的美妆效果信息和对应的美妆处理区域进行融合处理，生成虚拟人脸图像。
在一种可能的实现方式中，所述融合策略包括在红绿蓝色彩模式RGB颜色空间域进行融合的策略、在YUV颜色空间域进行融合的策略或者在色调饱和度明度颜色模型HSV颜色空间域进行融合的策略中的一个或多个。
在一种可能的实现方式中，所述至少一个美妆模板包括嘴唇模板、人脸肤色模板或至少一个预置模板中的一个或多个，所述至少一个预置模板包括眼影模板、腮红模板、描眉模板、美瞳模板或立体增强模板中的一个或多个；
若所述美妆模板为眼影模板时，所述美妆模板对应的融合策略为在RGB颜色空间域进行融合的策略；
若所述美妆模板为腮红模板时，所述美妆模板对应的融合策略为在RGB颜色空间域进行融合的策略；
若所述美妆模板为描眉模板时，所述美妆模板对应的融合策略为在RGB颜色空间域进行融合的策略；
若所述美妆模板为美瞳模板时，所述美妆模板对应的融合策略为在RGB颜色空间域进行融合的策略；
若所述美妆模板为人脸肤色模板时，所述美妆模板对应的融合策略为在RGB颜色空间域进行融合的策略；
若所述美妆模板为立体增强模板时，所述美妆模板对应的融合策略为在YUV颜色空间域的Y通道上进行融合的策略；
若所述美妆模板为嘴唇模板时，所述美妆模板对应的融合策略为在RGB颜色空间域、在YUV颜色空间域和在HSV颜色空间域进行融合的策略。
在一种可能的实现方式中，所述至少一个美妆模板包括至少一个预置模板；
所述采用每个所述美妆模板对应的融合策略，将每个所述美妆模板、对应的美妆效果信息和对应的美妆处理区域进行融合处理之前，还包括：
将所述至少一个预置模板与对应的美妆处理区域对齐。
在一种可能的实现方式中，所述将所述至少一个预置模板与对应的美妆处理区域对齐，包括：
采用人脸关键点对齐技术对标准人脸图像进行检测，得出标准关键点信息；
对所述标准关键点信息进行三角化计算处理，生成第二三角化数组；
根据所述第二三角化数组，在每个预置模板对应的颜色空间域将所述预置模板变形，以与所述预置模板对应的美妆处理区域对齐。
在一种可能的实现方式中，所述预置模板为眼影模板时，所述预置模板对应的颜色空间域为RGB颜色空间域；或者，
所述预置模板为描眉模板时，所述预置模板对应的颜色空间域为YUV颜色空间域的Y通道；或者，所述预置模板为立体增强模板时，所述预置模板对应的颜色空间域为YUV颜色空间域的Y通道；或者，
所述预置模板为腮红模板时，所述预置模板对应的颜色空间域为YUV颜色空间域的Y通道。
在一种可能的实现方式中，所述至少一个预置模板包括美瞳模板：
所述在所述目标人脸图像上确定出每个美妆模板对应的美妆处理区域，包括：
根据从所述目标人脸图像中获取的人脸关键点，确定出人眼瞳孔中心和眼瞳尺寸，以确定出所述美瞳模板对应的美妆处理区域，所述美瞳模板对应的美妆处理区域包括以人眼瞳孔中心为圆心且以眼瞳尺寸为直径的圆形区域；
所述将所述至少一个预置模板与对应的美妆处理区域对齐，包括：
在RGB颜色空间域将所述美瞳模板变形，以将所述美瞳模板与所述美瞳模板对应的美妆处理区域对齐。
在一种可能的实现方式中，所述美妆模板包括人脸肤色模板，所述获取至少一个美妆模板，包括：
对所述目标人脸图像进行人脸肤色分割，生成所述人脸肤色模板。
在一种可能的实现方式中，所述美妆模板包括嘴唇模板，所述获取至少一个美妆模板，包括：
对从所述目标人脸图像中获取的人脸关键点中的嘴唇关键点进行三角化计算处理，生成第一三角化数组；
根据所述第一三角化数组得到所述目标人脸图像的三角形区域；
对所述三角形区域进行填充处理得到嘴唇二值化模板图像；
采用滤波技术对所述嘴唇二值化模板图像进行边缘渐变处理，生成所述嘴唇模板。
在一种可能的实现方式中，所述至少一个美妆模板包括至少一个预置模板；
所述获取至少一个美妆模板，包括：
从预先设置的至少一个美妆数据库中获取对应的所述预置模板。
在一种可能的实现方式中，所述至少一个预置模板包括眼影模板、腮红模板、描眉模板、美瞳模板或立体增强模板中的一个或多个；
则所述至少一个美妆数据库包括眼影数据库、腮红数据库、描眉数据库、美瞳数据库或立体增强数据库中的一个或多个。
在一种可能的实现方式中，所述获取每个所述美妆模板对应的美妆效果信息，包括：
根据获取的人脸属性信息，识别出所述用户的性别；
响应于用户输入的选择操作，确定出每个美妆模板对应的原始美妆效果信息；
通过AI算法，对所述用户的性别和每个美妆模板对应的原始美妆效果信息进行计算，生成每个所述美妆模板对应的美妆效果信息。
在一种可能的实现方式中，所述采集用户的目标人脸图像之后，还包括：
对所述目标人脸图像进行面部识别得出人脸所在区域的面积，根据所述人脸所在区域的面积和屏幕显示区域的面积得出屏占比，所述屏占比为所述人脸所在区域的面积与所述屏幕显示区域的面积的比值；
采用高精度人脸对齐技术，对所述目标人脸图像进行检测，得出人脸姿态角度；
判断所述屏占比是否大于第一阈值且小于第二阈值，以及所述人脸姿态角度是否小于第三阈值，其中，所述第一阈值小于第二阈值；
若判断出所述屏占比大于第一阈值且小于第二阈值，以及所述人脸姿态角度小于第三阈值时，继续执行所述获取至少一个美妆模板以及获取每个所述美妆模板对应的美妆效果信息的步骤。
第二方面，本发明实施例提供了一种美妆处理装置，包括：
采集模块，用于采集用户的目标人脸图像；
获取模块，用于获取至少一个美妆模板以及获取每个所述美妆模板对应的美妆效果信息；
确定模块，用于在所述目标人脸图像上确定出每个美妆模板对应的美妆处理区域；
融合模块，用于采用每个所述美妆模板对应的融合策略，将每个所述美妆模板、对应的美妆效果信息和对应的美妆处理区域进行融合处理，生成虚拟人脸图像。
在一种可能的实现方式中，所述至少一个美妆模板包括至少一个预置模板；
所述装置还包括：
对齐模块，用于将所述至少一个预置模板与对应的美妆处理区域对齐。
在一种可能的实现方式中，所述美妆模板包括人脸肤色模板，所述获取模块具体用于对所述目标人脸图像进行人脸肤色分割，生成所述人脸肤色模板。
在一种可能的实现方式中，还包括：
计算模块，用于对所述目标人脸图像进行面部识别得出人脸所在区域的面积，根据所述人脸所在区域的面积和屏幕显示区域的面积得出屏占比，所述屏占比为所述人脸所在区域的面积与所述屏幕显示区域的面积的比值；
检测模块，用于采用高精度人脸对齐技术，对所述目标人脸图像进行检测，得出人脸姿态角度；
判断模块，用于判断所述屏占比是否大于第一阈值且小于第二阈值，以及所述人脸姿态角度是否小于第三阈值，其中，所述第一阈值小于第二阈值，若判断出所述屏占比大于第一阈值且小于第二阈值，以及所述人脸姿态角度小于第三阈值时，触发所述获取模块继续执行所述获取至少一个美妆模板以及获取每个所述美妆模板对应的美妆效果信息的步骤。
第三方面，本发明实施例提供了一种电子设备，包括：
一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述电子设备执行第一方面或第一方面任一可能的实现方式中的美妆处理方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行第一方面或第一方面任一可能的实现方式中的美妆处理方法。
本发明实施例提供的技术方案中，获取至少一个美妆模板以及获取每个美妆模板对应的美妆效果信息，在采集的用户的目标人脸图像上确定出每个美妆模板对应的美妆处理区域，采用每个美妆模板对应的融合策略，将每个美妆模板、对应的美妆效果信息和对应的美妆处理区域进行融合处理生成虚拟人脸图像，本发明实施例针对不同的美妆模板可采用该美妆模板对应的融合策略实现融合处理过程，从而提高了虚拟人脸美妆的效果。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种美妆处理方法的流程图；
图2为本发明实施例提供的屏幕显示区域的示意图；
图3为本发明实施例中预先设置美妆数据库的流程图；
图4为本发明实施例提供的选取美妆模板和选取美妆效果信息的示意图；
图5为本发明实施例提供的嘴唇模板的生成方法的流程图；
图6为本发明实施例提供的获取美妆效果信息的流程图；
图7为本发明实施例提供的预置模板与对应的美妆处理区域对齐的流程图；
图8为本发明实施例提供的融合处理的流程图；
图9为本发明实施例提供的一种美妆处理装置的结构示意图；
图10为本发明实施例提供的对齐模块的结构示意图；
图11为本发明实施例提供的获取模块的一种结构示意图；
图12为本发明实施例提供的获取模块的另一种结构示意图；
图13为本发明实施例提供的一种电子设备的示意图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，甲和/或乙，可以表示：单独存在甲，同时存在甲和乙，单独存在乙这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
图1为本发明实施例提供的一种美妆处理方法的流程图，如图1所示，该方法包括：
步骤102、采集用户的目标人脸图像。
本发明实施例中的各步骤可以由电子设备执行，例如，电子设备可包括手机、平板电脑、笔记本电脑或台式计算机等。
本发明实施例中，例如，用户持有电子设备，通过电子设备的前置摄像头对用户进行拍摄以采集到用户的目标人脸图像，而后，电子设备再对采集到的目标人脸图像进行美妆处理以生成虚拟人脸图像。
本发明实施例中，目标人脸图像可以为静态图片或者动态视频中的图片。
步骤104、获取至少一个美妆模板以及获取每个美妆模板对应的美妆效果信息。
本发明实施例中，美妆模板为人脸的妆容样本。作为一种可选方案，至少一个美妆模板包括嘴唇模板、人脸肤色模板或至少一个预置模板中的一个或多个，其中，至少一个预置模板包括眼影模板、腮红模板、描眉模板、美瞳模板或立体增强模板中的一个或多个。本发明实施例中，美妆模板的数量可以为一个或多个。当美妆模板的数量为一个时，该美妆模板可以为嘴唇模板、人脸肤色模板、眼影模板、腮红模板、描眉模板、美瞳模板或立体增强模板。当美妆模板的数量为多个时，多个美妆模板可包括嘴唇模板、人脸肤色模板、眼影模板、腮红模板、描眉模板、美瞳模板和立体增强模板中的至少二个。
美妆模板的美妆效果信息可预先设置。本发明实施例中，人脸肤色模板对应的美妆效果信息包括强度和颜色，例如，强度包括2、4、6、8和10等不同级别，强度的数值越大，对应的肤色美颜强度越高，颜色包括1、2、3、4和5等不同色号，颜色的数值越小，对应的人脸肤色越白；嘴唇模板对应的美妆效果信息包括强度、颜色和质地，例如，强度包括2、4、6、8和10等不同级别，强度的数值越大，对应的嘴唇美妆越浓，颜色包括001、002、003、004、005和006等不同色号，质地包括哑光、珠光、丝绒、缎面和奶油质地等不同质地；眼影模板对应的美妆效果信息包括强度、颜色和质感，例如，强度包括2、4、6、8和10等不同级别，强度的数值越大，对应的眼影美妆越浓，颜色包括1、2、3、4、5和6等不同色号，质感包括哑光和幻亮等不同质感；腮红模板对应的美妆效果信息包括强度和颜色，例如，强度包括2、4、6、8和10等不同级别，强度的数值越大，对应的腮红美妆越浓，颜色包括1、2、3、4、5和6等不同色号；描眉模板对应的美妆效果信息包括强度和颜色，例如，强度包括2、4、6、8和10等不同级别，强度的数值越大，对应的描眉美妆越浓，颜色包括1、2、3、4、5和6等不同色号；美瞳模板对应的美妆效果信息包括强度和颜色，例如，强度包括2、4、6、8和10等不同级别，强度的数值越大，对应的美瞳美妆越浓，颜色包括1、2、3、4、5和6等不同色号；立体增强模板对应的美妆效果信息包括强度和颜色，例如，强度包括2、4、6、8和10等不同级别，强度的数值越大，对应的人脸图像立体程度越高，颜色包括1、2、3、4、5和6等不同色号。
步骤106、在目标人脸图像上确定出每个美妆模板对应的美妆处理区域。
本发明实施例中，美妆处理区域是指进行美妆处理的区域范围。若美妆模板为眼影模板时，则该美妆模板对应的美妆处理区域为眼影区域。若美妆模板为腮红模板时，则该美妆模板对应的美妆处理区域为腮红区域。若美妆模板为描眉模板时，则该美妆模板对应的美妆处理区域为描眉区域。若美妆模板为美瞳模板时，则该美妆模板对应的美妆处理区域为美瞳区域。若美妆模板为人脸肤色模板时，则该美妆模板对应的美妆处理区域为人脸肤色区域。若美妆模板为立体增强模板时，则该美妆模板对应的美妆处理区域为立体增强区域。若美妆模板为嘴唇模板时，则该美妆模板对应的美妆处理区域为嘴唇区域。
步骤108、采用每个美妆模板对应的融合策略，将每个美妆模板、对应的美妆效果信息和对应的美妆处理区域进行融合处理，生成虚拟人脸图像。
本发明实施例中，融合策略包括在红绿蓝(Red Green Blue，简称RGB)颜色空间域进行融合的策略、在明亮度色度(YUV)颜色空间域进行融合的策略或者在色调饱和度明度(Hue Saturation Value，简称HSV)颜色空间域进行融合的策略中的一个或多个。其中，YUV是一种颜色编码方法，“Y”表示明亮度，也就是灰阶值，“U”和“V”表示色度。
本发明实施例中，若美妆模板为眼影模板时，该美妆模板对应的融合策略为在RGB颜色空间域进行融合的策略；若美妆模板为腮红模板时，该美妆模板对应的融合策略为在RGB颜色空间域进行融合的策略；若美妆模板为描眉模板时，该美妆模板对应的融合策略为在RGB颜色空间域进行融合的策略；若美妆模板为美瞳模板时，该美妆模板对应的融合策略为在RGB颜色空间域进行融合的策略；若美妆模板为人脸肤色模板时，该美妆模板对应的融合策略为在RGB颜色空间域进行融合的策略；若美妆模板为立体增强模板时，该美妆模板对应的融合策略为在YUV颜色空间域的Y通道上进行融合的策略；若美妆模板为嘴唇模板时，该美妆模板对应的融合策略为在RGB颜色空间域、在YUV颜色空间域和在HSV颜色空间域进行融合的策略。
作为一种可选方案，步骤102之后还包括：
步骤1032、对目标人脸图像进行面部识别得出人脸所在区域的面积，根据人脸所在区域的面积和屏幕显示区域的面积得出屏占比，屏占比为人脸所在区域的面积与屏幕显示区域的面积的比值。
图2为本发明实施例中屏幕显示区域的示意图，如图2所示，人脸所在区域C1处于屏幕显示区域C2的中间位置。则将人脸所在区域C1的面积除以屏幕显示区域C2的面积得出屏占比。
步骤1034、采用高精度人脸对齐技术，对目标人脸图像进行检测，得出人脸姿态角度。
步骤1036、判断屏占比是否大于第一阈值且小于第二阈值，以及人脸姿态角度是否小于第三阈值，其中，第一阈值小于第二阈值，若是，执行104；若否，流程结束。
例如，第一阈值为0.05，第二阈值为1，第三阈值为60°。
本发明实施例中，若判断出屏占比大于第一阈值时且小于第二阈值时，表明人脸距离电子设备的屏幕之间的距离适中；若判断出人脸姿态角度小于第三阈值时，表明电子设备能够拍摄到人脸的全部部位。则若判断出屏占比大于第一阈值且小于第二阈值，以及人脸姿态角度小于第三阈值时，表明满足美妆处理条件，则继续执行104。本发明实施例中，将第三阈值设置为较大的值，扩大了人脸姿态角度满足的角度范围，从而使得人脸能够在大姿态角度下获得良好的美妆效果。
本发明实施例中，若判断出屏占比小于第一阈值时，表明人脸距离电子设备的屏幕之间的距离过远，电子设备拍摄到的人脸图像过小，无法清楚的识别出人脸的部位，此时不满足美妆处理条件，则不对目标人脸图像进行美妆处理，美妆处理结束。
本发明实施例中，若判断出屏占比大于或等于第二阈值时，表明人脸距离电子设备的屏幕之间的距离过近，电子设备拍摄到的人脸图像过大，人脸的部分部位已经溢出屏幕，此时不满足美妆处理条件，则不对目标人脸图像进行美妆处理，美妆处理结束。
本发明实施例中，若判断出人脸姿态角度大于或等于第三阈值时，表明电子设备无法拍摄到人脸的全部部位，此时不满足美妆处理条件，则不对目标人脸图像进行美妆处理，美妆处理结束。
本发明实施例中，步骤102之前还包括：预先设置至少一个美妆数据库。作为一种可选方案，至少一个美妆数据库包括眼影数据库、腮红数据库、描眉数据库、美瞳数据库或立体增强数据库中的一个或多个。
本发明实施例中，若美妆模板为眼影模板时，则该美妆模板对应的美妆数据库为眼影数据库；若美妆模板为腮红模板时，则该美妆模板对应的美妆数据库为腮红数据库；若美妆模板为描眉模板时，则该美妆模板对应的美妆数据库为描眉数据库；若美妆模板为美瞳模板时，则该美妆模板对应的美妆数据库为美瞳数据库；若美妆模板为立体增强模板时，则该美妆模板对应的美妆数据库为立体增强数据库。
图3为本发明实施例中预先设置美妆数据库的流程图，如图3所示，预先设置美妆数据库的具体步骤为：
步骤100a、选定标准人脸图像。
作为一种可选方案，选定一张姿态端正的人脸图像作为标准人脸图像。
步骤100b、采用图像处理软件在标准人脸图像上绘制出不同种类的模板，每种模板可包括至少一个标准模板。
本发明实施例中，不同种类的模板可包括眼影类模板、腮红类模板、描眉类模板、美瞳类模板和立体增强类模板。若该种类的模板为眼影类模板时，该眼影类模板包括的标准模板为标准眼影模板。若该种类的模板为腮红类模板时，该腮红类模板包括的标准模板为标准腮红模板。若该种类的模板为描眉类模板时，该描眉类模板包括的标准模板为标准描眉模板。若该种类的模板为美瞳类模板时，该美瞳类模板包括的标准模板为标准美瞳模板。若该种类的模板为立体增强类模板时，该立体增强类模板包括的标准模板为标准立体增强模板。
本发明实施例中，图像处理软件可以为Adobe Photoshop。在实际应用中，图像处理软件还可以采用其它类型的软件，例如，Windows***自带的画图软件，此处不再一一列举。
步骤100c、将不同种类的标准模板存储至该种类的标准模板对应的美妆数据库中。
本发明实施例中，标准模板为标准眼影模板时，该种类的标准模板对应的美妆数据库为眼影数据库，则可将标准眼影模板存储至眼影数据库中；标准模板为标准腮红模板时，该种类的标准模板对应的美妆数据库为腮红数据库，则可将标准腮红模板存储至腮红数据库中；标准模板为标准描眉模板时，该种类的标准模板对应的美妆数据库为描眉数据库，则可将标准描眉模板存储至描眉数据库中；标准模板为标准美瞳模板时，该种类的标准模板对应的美妆数据库为美瞳数据库，则可将标准美瞳模板存储至美瞳数据库中；标准模板为标准立体增强模板时，该种类的标准模板对应的美妆数据库为立体增强数据库，则可将标准立体增强模板存储至立体增强数据库中。
本发明实施例中，通过独立构建不同种类的美妆数据库，能为用户提供丰富的、可自由组合的美妆模板。
本发明实施例中，步骤104中获取至少一个美妆模板具体包括：响应于用户输入的设置操作，获取至少一个美妆模板。
图4为本发明实施例中选取美妆模板和选取美妆效果信息的示意图，如图4所示，交互界面中包括人脸肤色美妆操作按钮C3、颜色选择列表和强度选择列表。
作为一种可选方案，美妆模板包括人脸肤色模板时，则步骤104中获取至少一个美妆模板包括：对目标人脸图像进行人脸肤色分割，生成人脸肤色模板。作为一种可选方案，用户输入的设置操作为开启人脸肤色操作，具体地，用户点击人脸肤色美妆开启按钮C3，以开启人脸肤色美妆操作，则步骤104中，响应于用户输入的开启人脸肤色美妆操作，对目标人脸图像进行人脸肤色分割，生成人脸肤色模板。此时，在开启人脸肤色操作之后，人脸肤色交互界面中会出现颜色选择列表和强度选择列表。强度选择列表中设置有5种肤色强度选项，在强度选择列表中的5个肤色强度选项从上之下依次为2、4、6、8和10，肤色强度选项的数值越大，对应的肤色美颜强度越高；颜色选择列表中设置有5种肤色颜色选项，在颜色选择列表中的5个肤色颜色选项从上之下依次为1、2、3、4和5，肤色颜色选项的数值越小，对应的人脸肤色越白。用户可以根据自己的喜好在交互界面中选择自己喜欢的肤色颜色和肤色强度。
本发明实施例中，使用人脸肤色模板，能够解决美妆效果溢出脸部的问题，避免了对人脸之外的图像背景部分进行修改，实现了仅对人脸肤色区域进行虚拟美妆处理，从而达到较好的美妆效果。
图5为本发明实施例中嘴唇模板的生成方法的流程图，如图5所示，美妆模板包括嘴唇模板时，步骤104中获取至少一个美妆模板具体可包括：
步骤1042a、对从目标人脸图像中获取的人脸关键点中的嘴唇关键点进行三角化计算处理，生成第一三角化数组。
步骤1042b、根据第一三角化数组得到目标人脸图像的三角形区域。
步骤1042c、对三角形区域进行填充处理得到嘴唇二值化模板图像。
步骤1042d、采用滤波技术对嘴唇二值化模板图像进行边缘渐变处理，生成嘴唇模板。
作为一种可选方案，用户输入的设置操作为开启嘴唇美妆操作，具体地，用户点击开启嘴唇美妆按钮，以开启嘴唇美妆操作，则步骤104中，响应于用户输入的开启嘴唇美妆操作，获取至少一个美妆模板具体。此时，在开启嘴唇美妆操作之后，嘴唇交互界面中会出现颜色选择列表、强度选择列表和质地选择列表。颜色选择列表中设置有6种嘴唇颜色选项，在颜色选择列表中的5个嘴唇颜色选项从上之下依次为001、002、003、004、005和006；强度选择列表中设置有5种嘴唇强度选项，在强度选择列表中的5个嘴唇强度选项从上之下依次为2、4、6、8和10，嘴唇强度选项的数值越大，对应的嘴唇美妆越浓；质地选择列表中设置有5种嘴唇质地选项，在质地选择列表中的5个嘴唇质地选项从上之下依次为哑光、珠光、丝绒、缎面和奶油质地，嘴唇强度选项的数值越大，对应的嘴唇美妆越浓。用户可以根据自己的喜好在交互界面中选择自己喜欢的嘴唇颜色、强度和质地。
作为另一种可选方案，至少一个美妆模板包括至少一个预置模板。则步骤104中获取至少一个美妆模板具体可包括：从预先设置的至少一个美妆数据库中获取对应的预置模板。
本发明实施例中，若预置模板为眼影模板且美妆数据库为眼影数据库时，则从眼影数据库中的标准眼影模板中选取出一个标准眼影模板，并将选取出的标准眼影模板确定为眼影模板；若预置模板为腮红模板且美妆数据库为腮红数据库时，则从腮红数据库中的标准腮红模板中选取出一个标准腮红模板，并将选取出的标准腮红模板确定为腮红模板；若预置模板为描眉模板且美妆数据库为描眉数据库时，则从描眉数据库中的标准描眉模板中选取出一个标准描眉模板，并将选取出的标准描眉模板确定为描眉模板；若预置模板为美瞳模板且美妆数据库为美瞳数据库时，则从美瞳数据库中的标准美瞳模板中选取出一个标准美瞳模板，并将选取出的标准美瞳模板确定为美瞳模板；若预置模板为立体增强模板且美妆数据库为立体增强数据库时，则从立体增强数据库中的标准立体增强模板中选取出一个标准立体增强模板，并将选取出的标准立体增强模板确定为立体增强模板。
本发明实施例中，图6为本发明实施例中获取美妆效果信息的流程图，如图6所示，步骤104中获取每个美妆模板对应的美妆效果信息具体可包括：
步骤1044a、根据获取的人脸属性信息，识别出用户的性别。
本发明实施例中，人脸属性信息包括肤色、骨骼、年龄、是否有胡子等。
步骤1044b、响应于用户输入的选择操作，确定出每个美妆模板对应的原始美妆效果信息。
例如，若美妆模板为人脸肤色模板时，用户输入的选择操作为选择强度和颜色，如图4所示，用户输入的选择操作为从颜色选择列表中选择颜色，以及从强度选择列表中选取强度，则确定出的原始美妆效果信息包括用户选择的颜色和强度。例如，若美妆模板为嘴唇模板时，用户输入的选择操作为选择强度、颜色和质地，则确定出的原始美妆效果信息包括用户选择的强度、颜色和质地。例如，若美妆模板为眼影模板时，用户输入的选择操作为选择强度、颜色和质感，则确定出的原始美妆效果信息包括用户选择的强度、颜色和质感。例如，若美妆模板为腮红模板时，用户输入的选择操作为选择强度和颜色，则确定出的原始美妆效果信息包括用户选择的强度和颜色。例如，若美妆模板为描眉模板时，用户输入的选择操作为选择强度和颜色，则确定出的原始美妆效果信息包括用户选择的强度和颜色。例如，若美妆模板为美瞳模板时，用户输入的选择操作为选择强度和颜色，则确定出的原始美妆效果信息包括用户选择的强度和颜色。例如，若美妆模板为立体增强模板时，用户输入的选择操作为选择强度和颜色，则确定出的原始美妆效果信息包括用户选择的强度和颜色。
步骤1044c、通过人工智能(Artificial Intelligence，简称：AI)算法，对用户的性别和每个美妆模板对应的原始美妆效果信息进行计算，生成每个美妆模板对应的美妆效果信息。
本发明实施例中，AI算法可以为卷积神经网络(Convolutional NeuralNetworks,CNN)。
本发明实施例中，可通过检测出的人脸属性信息识别出用户的性别，并根据用户的性别对原始美妆效果信息进行调整得出美妆效果信息，并通过得出的美妆效果信息完成虚拟美妆处理过程，从而实现了根据人脸属性信息对人脸进行自适应上妆，进而进一步提高了虚拟人脸美妆的效果。
本发明实施例中，若不通过AI算法对原始美妆效果信息进行计算处理，则可将原始美妆效果信息作为美妆效果信息。
作为一种可选方案，至少一个美妆模板包括至少一个预置模板，步骤108之前还包括：步骤107、将至少一个预置模板与对应的美妆处理区域对齐。
则步骤107具体可包括：
步骤107a、采用人脸关键点对齐技术对标准人脸图像进行检测，得出标准关键点信息；
步骤107b、对标准关键点信息进行三角化计算处理，生成第二三角化数组；
步骤107c、根据第二三角化数组，在每个预置模板对应的颜色空间域将预置模板变形，以与预置模板对应的美妆处理区域对齐。
本发明实施例中，预置模板为眼影模板时，预置模板对应的颜色空间域为RGB颜色空间域；或者，预置模板为描眉模板时，预置模板对应的颜色空间域为YUV颜色空间域的Y通道；或者，预置模板为立体增强模板时，预置模板对应的颜色空间域为YUV颜色空间域的Y通道；或者，预置模板为腮红模板时，预置模板对应的颜色空间域为YUV颜色空间域的Y通道。作为一种具体的实现方案，预置模板的数量为多个，多个预置模板可包括眼影模板、腮红模板、描眉模板和立体增强模板。
图7为本发明实施例中预置模板与对应的美妆处理区域对齐的流程图，如图7所示，步骤107具体可包括：
步骤107a、采用人脸关键点对齐技术对标准人脸图像进行检测，得出标准关键点信息。
步骤107b、对标准关键点信息进行三角化计算处理，生成第二三角化数组。
步骤107c、根据第二三角化数组，在RGB颜色空间域将眼影模板变形，以与眼影模板对应的美妆处理区域对齐。
步骤107d、根据第二三角化数组，在YUV颜色空间域的Y通道将描眉模板变形，以与描眉模板对应的美妆处理区域对齐。
步骤107e、根据第二三角化数组，在YUV颜色空间域的Y通道将立体增强模板变形，以与立体增强模板对应的美妆处理区域对齐。
步骤107f、根据第二三角化数组，在YUV颜色空间域的Y通道将腮红模板变形，以与腮红模板对应的美妆处理区域对齐。
作为一种可选方案，至少一个预置模板包括美瞳模板。步骤106具体可包括：根据从目标人脸图像中获取的人脸关键点，确定出人眼瞳孔中心和眼瞳尺寸，以确定出美瞳模板对应的美妆处理区域，美瞳模板对应的美妆处理区域包括以人眼瞳孔中心为圆心且以眼瞳尺寸为直径的圆形区域。步骤107具体可包括：在RGB颜色空间域将美瞳模板变形，以将美瞳模板与美瞳模板对应的美妆处理区域对齐。
作为一种具体的实现方案，步骤108中，至少一个美妆模板包括眼影模板、腮红模板、描眉模板、美瞳模板、立体增强模板、嘴唇模板和人脸肤色模板。
图8为本发明实施例中融合处理的流程图，如图8所示，步骤108中采用每个美妆模板对应的融合策略，将每个美妆模板、对应的美妆效果信息和对应的美妆处理区域进行融合处理具体可包括：
步骤108a、将眼影模板、眼影模板对应的美妆效果信息和眼影模板对应的眼影区域，在RGB颜色空间域进行融合处理。
步骤108b、将腮红模板、腮红模板对应的美妆效果信息和腮红模板对应的腮红区域，在RGB颜色空间域进行融合处理。
步骤108c、将描眉模板、描眉模板对应的美妆效果信息和描眉模板对应的描眉区域，在RGB颜色空间域进行融合处理。
步骤108d、将美瞳模板、美瞳模板对应的美妆效果信息和美瞳模板对应的美瞳区域，在RGB颜色空间域进行融合处理。
步骤108e、将立体增强模板、立体增强模板对应的美妆效果信息和立体增强模板对应的立体增强区域，在YUV颜色空间域的Y通道上进行融合处理。
步骤108f、将人脸肤色模板、人脸肤色模板对应的美妆效果信息和人脸肤色模板对应的人脸肤色区域，在RGB颜色空间域进行融合处理。
步骤108g、将嘴唇模板、嘴唇模板对应的美妆效果信息和嘴唇模板对应的嘴唇区域，在RGB颜色空间域、在YUV颜色空间域和在HSV颜色空间域进行融合处理。
需要说明的是：本发明实施例中各个流程图中的各步骤的执行顺序仅为一种示例，在实际应用中，可根据需要变更执行顺序。例如，在图6中步骤1044a和步骤1044可变更执行顺序；例如，在图7中步骤107c至步骤107f可任意变更执行顺序；例如，在图8中步骤108a至步骤108g可任意变更执行顺序。
本发明实施例提供的美妆处理方法技术方案中，获取至少一个美妆模板以及获取每个美妆模板对应的美妆效果信息，在采集的用户的目标人脸图像上确定出每个美妆模板对应的美妆处理区域，采用每个美妆模板对应的融合策略，将每个美妆模板、对应的美妆效果信息和对应的美妆处理区域进行融合处理生成虚拟人脸图像，本发明实施例针对不同的美妆模板可采用该美妆模板对应的融合策略实现融合处理过程，从而提高了虚拟人脸美妆的效果，进而提高了用户体验感。
本发明实施例中，通过面部识别技术和高精度人脸对齐技术，辅助进行人脸的虚拟美妆，从而进一步提高了虚拟人脸美妆的效果。
本发明实施例中的美妆处理方法可以在低算法复杂度的情况下获得较佳的虚拟美妆效果，并且使得该美妆处理方法可应用于性能受限的电子设备上。
图9为本发明实施例提供的一种美妆处理装置的结构示意图，如图9所示，该装置包括：采集模块11、获取模块12、确定模块13和融合模块14。
采集模块11用于采集用户的目标人脸图像。获取模块12用于获取至少一个美妆模板以及获取每个美妆模板对应的美妆效果信息。确定模块13用于在目标人脸图像上确定出每个美妆模板对应的美妆处理区域。融合模块14用于采用每个美妆模板对应的融合策略，将每个美妆模板、对应的美妆效果信息和对应的美妆处理区域进行融合处理，生成虚拟人脸图像。
本发明实施例中，至少一个美妆模板包括至少一个预置模板。装置还包括：对齐模块15。对齐模块15用于将至少一个预置模板与对应的美妆处理区域对齐。
图10为本发明实施例中对齐模块的结构示意图，如图10所示，对齐模块15包括：检测子模块151、第一计算子模块152和变形子模块153。检测子模块151用于采用人脸关键点对齐技术对标准人脸图像进行检测，得出标准关键点信息。第一计算子模块152用于对标准关键点信息进行三角化计算处理，生成第二三角化数组。变形子模块153用于根据第二三角化数组，在每个预置模板对应的颜色空间域将预置模板变形，以与预置模板对应的美妆处理区域对齐。
本发明实施例中，确定模块13具体用于根据从目标人脸图像中获取的人脸关键点，确定出人眼瞳孔中心和眼瞳尺寸，以确定出美瞳模板对应的美妆处理区域，美瞳模板对应的美妆处理区域包括以人眼瞳孔中心为圆心且以眼瞳尺寸为直径的圆形区域。对齐模块15具体用于在RGB颜色空间域将美瞳模板变形，以将美瞳模板与美瞳模板对应的美妆处理区域对齐。
本发明实施例中，美妆模板包括人脸肤色模板，获取模块12具体用于对目标人脸图像进行人脸肤色分割，生成人脸肤色模板。
图11为本发明实施例中获取模块的一种结构示意图，美妆模板包括嘴唇模板，获取模块12包括：第二计算子模块121、第三计算子模块122、填充子模块123和滤波子模块124。
第二计算子模块121用于对从目标人脸图像中获取的人脸关键点中的嘴唇关键点进行三角化计算处理，生成第一三角化数组。第三计算子模块122用于根据第一三角化数组得到目标人脸图像的三角形区域。填充子模块123用于对三角形区域进行填充处理得到嘴唇二值化模板图像。滤波子模块124用于采用滤波技术对嘴唇二值化模板图像进行边缘渐变处理，生成嘴唇模板。
本发明实施例中，至少一个美妆模板包括至少一个预置模板。获取模块12具体用于从预先设置的至少一个美妆数据库中获取对应的预置模板。
图12为本发明实施例中获取模块的另一种结构示意图，获取模块12包括：识别子模块125、确定子模块126和生成子模块127。识别子模块125用于根据获取的人脸属性信息，识别出用户的性别。确定子模块126用于响应于用户输入的选择操作，确定出每个美妆模板对应的原始美妆效果信息。生成子模块127用于通过AI算法，对用户的性别和每个美妆模板对应的原始美妆效果信息进行计算，生成每个美妆模板对应的美妆效果信息。
如图9所示，本发明实施例中，装置还包括：计算模块16、检测模块17和判断模块18。计算模块16用于对目标人脸图像进行面部识别得出人脸所在区域的面积，根据人脸所在区域的面积和屏幕显示区域的面积得出屏占比，屏占比为人脸所在区域的面积与屏幕显示区域的面积的比值。检测模块17用于采用高精度人脸对齐技术，对目标人脸图像进行检测，得出人脸姿态角度。判断模块18用于判断屏占比是否大于第一阈值且小于第二阈值，以及人脸姿态角度是否小于第三阈值，其中，第一阈值小于第二阈值，若判断出屏占比大于第一阈值且小于第二阈值，以及人脸姿态角度小于第三阈值时，触发获取模块12继续执行获取至少一个美妆模板以及获取每个美妆模板对应的美妆效果信息的步骤。
本发明实施例提供的技术方案中，获取至少一个美妆模板以及获取每个美妆模板对应的美妆效果信息，在采集的用户的目标人脸图像上确定出每个美妆模板对应的美妆处理区域，采用每个美妆模板对应的融合策略，将每个美妆模板、对应的美妆效果信息和对应的美妆处理区域进行融合处理生成虚拟人脸图像，本发明实施例针对不同的美妆模板可采用该美妆模板对应的融合策略实现融合处理过程，从而提高了虚拟人脸美妆的效果。
本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在电子设备执行上述美妆处理方法的实施例。
本发明实施例提供了一种电子设备，包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中一个或多个计算机程序被存储在存储器中，一个或多个计算机程序包括指令，当指令被电子设备执行时，使得电子设备执行上述美妆处理美妆处理方法的实施例。
图13为本发明实施例提供的一种电子设备的示意图。如图13所示，该实施例的电子设备2包括：处理器21、存储器22以及存储在存储22中并可在处理器21上运行的计算机程序23，该计算机程序23被处理器21执行时实现实施例中的美妆处理方法，为避免重复，此处不一一赘述。
电子设备2包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，图5仅仅是电子设备2的示例，并不构成对电子设备2的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如网络设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器21可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器22可以是电子设备2的内部存储单元，例如电子设备2的硬盘或内存。存储器22也可以是电子设备2的外部存储设备，例如电子设备2上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器22还可以既包括电子设备2的内部存储单元也包括外部存储设备。存储器22用于存储计算机程序以及网络设备所需的其他程序和数据。存储器22还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例方法的部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (19)
1.一种美妆处理方法，其特征在于，包括：
采集用户的目标人脸图像；
获取至少一个美妆模板以及获取每个所述美妆模板对应的美妆效果信息；
在所述目标人脸图像上确定出每个美妆模板对应的美妆处理区域；
采用每个所述美妆模板对应的融合策略，将每个所述美妆模板、对应的美妆效果信息和对应的美妆处理区域进行融合处理，生成虚拟人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述融合策略包括在红绿蓝色彩模式RGB颜色空间域进行融合的策略、在YUV颜色空间域进行融合的策略或者在色调饱和度明度颜色模型HSV颜色空间域进行融合的策略中的一个或多个。
3.根据权利要求2所述的方法，其特征在于，所述至少一个美妆模板包括嘴唇模板、人脸肤色模板或至少一个预置模板中的一个或多个，所述至少一个预置模板包括眼影模板、腮红模板、描眉模板、美瞳模板或立体增强模板中的一个或多个；
若所述美妆模板为眼影模板时，所述美妆模板对应的融合策略为在RGB颜色空间域进行融合的策略；
若所述美妆模板为腮红模板时，所述美妆模板对应的融合策略为在RGB颜色空间域进行融合的策略；
若所述美妆模板为描眉模板时，所述美妆模板对应的融合策略为在RGB颜色空间域进行融合的策略；
若所述美妆模板为美瞳模板时，所述美妆模板对应的融合策略为在RGB颜色空间域进行融合的策略；
若所述美妆模板为人脸肤色模板时，所述美妆模板对应的融合策略为在RGB颜色空间域进行融合的策略；
若所述美妆模板为立体增强模板时，所述美妆模板对应的融合策略为在YUV颜色空间域的Y通道上进行融合的策略；
若所述美妆模板为嘴唇模板时，所述美妆模板对应的融合策略为在RGB颜色空间域、在YUV颜色空间域和在HSV颜色空间域进行融合的策略。
4.根据权利要求1所述的方法，其特征在于，所述至少一个美妆模板包括至少一个预置模板；
所述采用每个所述美妆模板对应的融合策略，将每个所述美妆模板、对应的美妆效果信息和对应的美妆处理区域进行融合处理之前，还包括：
将所述至少一个预置模板与对应的美妆处理区域对齐。
5.根据权利要求4所述的方法，其特征在于，所述将所述至少一个预置模板与对应的美妆处理区域对齐，包括：
采用人脸关键点对齐技术对标准人脸图像进行检测，得出标准关键点信息；
对所述标准关键点信息进行三角化计算处理，生成第二三角化数组；
根据所述第二三角化数组，在每个预置模板对应的颜色空间域将所述预置模板变形，以与所述预置模板对应的美妆处理区域对齐。
6.根据权利要求5所述的方法，其特征在于，所述预置模板为眼影模板时，所述预置模板对应的颜色空间域为RGB颜色空间域；或者，
所述预置模板为描眉模板时，所述预置模板对应的颜色空间域为YUV颜色空间域的Y通道；或者，
所述预置模板为立体增强模板时，所述预置模板对应的颜色空间域为YUV颜色空间域的Y通道；或者，
所述预置模板为腮红模板时，所述预置模板对应的颜色空间域为YUV颜色空间域的Y通道。
7.根据权利要求4所述的方法，其特征在于，所述至少一个预置模板包括美瞳模板：
所述在所述目标人脸图像上确定出每个美妆模板对应的美妆处理区域，包括：
根据从所述目标人脸图像中获取的人脸关键点，确定出人眼瞳孔中心和眼瞳尺寸，以确定出所述美瞳模板对应的美妆处理区域，所述美瞳模板对应的美妆处理区域包括以人眼瞳孔中心为圆心且以眼瞳尺寸为直径的圆形区域；
所述将所述至少一个预置模板与对应的美妆处理区域对齐，包括：
在RGB颜色空间域将所述美瞳模板变形，以将所述美瞳模板与所述美瞳模板对应的美妆处理区域对齐。
8.根据权利要1所述的方法，其特征在于，所述美妆模板包括人脸肤色模板，所述获取至少一个美妆模板，包括：
对所述目标人脸图像进行人脸肤色分割，生成所述人脸肤色模板。
9.根据权利要求1所述的方法，其特征在于，所述美妆模板包括嘴唇模板，所述获取至少一个美妆模板，包括：
对从所述目标人脸图像中获取的人脸关键点中的嘴唇关键点进行三角化计算处理，生成第一三角化数组；
根据所述第一三角化数组得到所述目标人脸图像的三角形区域；
对所述三角形区域进行填充处理得到嘴唇二值化模板图像；
采用滤波技术对所述嘴唇二值化模板图像进行边缘渐变处理，生成所述嘴唇模板。
10.根据权利要求1所述的方法，其特征在于，所述至少一个美妆模板包括至少一个预置模板；
所述获取至少一个美妆模板，包括：
从预先设置的至少一个美妆数据库中获取对应的所述预置模板。
11.根据权利要求7所述的方法，其特征在于，所述至少一个预置模板包括眼影模板、腮红模板、描眉模板、美瞳模板或立体增强模板中的一个或多个；
则所述至少一个美妆数据库包括眼影数据库、腮红数据库、描眉数据库、美瞳数据库或立体增强数据库中的一个或多个。
12.根据权利要求1所述的方法，其特征在于，所述获取每个所述美妆模板对应的美妆效果信息，包括：
根据获取的人脸属性信息，识别出所述用户的性别；
响应于用户输入的选择操作，确定出每个美妆模板对应的原始美妆效果信息；
通过AI算法，对所述用户的性别和每个美妆模板对应的原始美妆效果信息进行计算，生成每个所述美妆模板对应的美妆效果信息。
13.根据权利要求1所述的方法，其特征在于，所述采集用户的目标人脸图像之后，还包括：
对所述目标人脸图像进行面部识别得出人脸所在区域的面积，根据所述人脸所在区域的面积和屏幕显示区域的面积得出屏占比，所述屏占比为所述人脸所在区域的面积与所述屏幕显示区域的面积的比值；
采用高精度人脸对齐技术，对所述目标人脸图像进行检测，得出人脸姿态角度；
判断所述屏占比是否大于第一阈值且小于第二阈值，以及所述人脸姿态角度是否小于第三阈值，其中，所述第一阈值小于第二阈值；
若判断出所述屏占比大于第一阈值且小于第二阈值，以及所述人脸姿态角度小于第三阈值时，继续执行所述获取至少一个美妆模板以及获取每个所述美妆模板对应的美妆效果信息的步骤。
14.一种美妆处理装置，其特征在于，包括：
采集模块，用于采集用户的目标人脸图像；
获取模块，用于获取至少一个美妆模板以及获取每个所述美妆模板对应的美妆效果信息；
确定模块，用于在所述目标人脸图像上确定出每个美妆模板对应的美妆处理区域；
融合模块，用于采用每个所述美妆模板对应的融合策略，将每个所述美妆模板、对应的美妆效果信息和对应的美妆处理区域进行融合处理，生成虚拟人脸图像。
15.根据权利要求14所述的装置，其特征在于，所述至少一个美妆模板包括至少一个预置模板；
所述装置还包括：
对齐模块，用于将所述至少一个预置模板与对应的美妆处理区域对齐。
16.根据权利要求14所述的装置，其特征在于，所述美妆模板包括人脸肤色模板，所述获取模块具体用于对所述目标人脸图像进行人脸肤色分割，生成所述人脸肤色模板。
17.根据权利要求14所述的装置，其特征在于，所述装置还包括：
计算模块，用于对所述目标人脸图像进行面部识别得出人脸所在区域的面积，根据所述人脸所在区域的面积和屏幕显示区域的面积得出屏占比，所述屏占比为所述人脸所在区域的面积与所述屏幕显示区域的面积的比值；
检测模块，用于采用高精度人脸对齐技术，对所述目标人脸图像进行检测，得出人脸姿态角度；
判断模块，用于判断所述屏占比是否大于第一阈值且小于第二阈值，以及所述人脸姿态角度是否小于第三阈值，其中，所述第一阈值小于第二阈值，若判断出所述屏占比大于第一阈值且小于第二阈值，以及所述人脸姿态角度小于第三阈值时，触发所述获取模块继续执行所述获取至少一个美妆模板以及获取每个所述美妆模板对应的美妆效果信息的步骤。
18.一种电子设备，其特征在于，包括：
一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述电子设备执行权利要求1至13中任意一项所述的美妆处理方法。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在电子设备执行权利要求1至13中任意一项所述的美妆处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110726714.0A CN113469874A (zh) | 2021-06-29 | 2021-06-29 | 一种美妆处理方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110726714.0A CN113469874A (zh) | 2021-06-29 | 2021-06-29 | 一种美妆处理方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113469874A true CN113469874A (zh) | 2021-10-01 |
Family
ID=77873708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110726714.0A Pending CN113469874A (zh) | 2021-06-29 | 2021-06-29 | 一种美妆处理方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113469874A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010073222A (ja) * | 2010-01-07 | 2010-04-02 | Kao Corp | メイクアップシミュレーション方法 |
| CN108288248A (zh) * | 2018-01-02 | 2018-07-17 | 腾讯数码（天津）有限公司 | 一种眼部图像融合方法及其设备、存储介质、终端 |
| CN109583385A (zh) * | 2018-11-30 | 2019-04-05 | 深圳市脸萌科技有限公司 | 人脸图像处理方法、装置、电子设备及计算机存储介质 |
| CN109829930A (zh) * | 2019-01-15 | 2019-05-31 | 深圳市云之梦科技有限公司 | 人脸图像处理方法、装置、计算机设备及可读存储介质 |
| CN111784568A (zh) * | 2020-07-06 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 人脸图像处理方法、装置、电子设备及计算机可读介质 |
| CN112766234A (zh) * | 2021-02-23 | 2021-05-07 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
-
2021
- 2021-06-29 CN CN202110726714.0A patent/CN113469874A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010073222A (ja) * | 2010-01-07 | 2010-04-02 | Kao Corp | メイクアップシミュレーション方法 |
| CN108288248A (zh) * | 2018-01-02 | 2018-07-17 | 腾讯数码（天津）有限公司 | 一种眼部图像融合方法及其设备、存储介质、终端 |
| CN109583385A (zh) * | 2018-11-30 | 2019-04-05 | 深圳市脸萌科技有限公司 | 人脸图像处理方法、装置、电子设备及计算机存储介质 |
| CN109829930A (zh) * | 2019-01-15 | 2019-05-31 | 深圳市云之梦科技有限公司 | 人脸图像处理方法、装置、计算机设备及可读存储介质 |
| CN111784568A (zh) * | 2020-07-06 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 人脸图像处理方法、装置、电子设备及计算机可读介质 |
| CN112766234A (zh) * | 2021-02-23 | 2021-05-07 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11043011B2 (en) | Image processing method, apparatus, terminal, and storage medium for fusing images of two objects | |
| WO2019100282A1 (zh) | 一种人脸肤色识别方法、装置和智能终端 | |
| CN103914699B (zh) | 一种基于色彩空间的自动唇彩的图像增强的方法 | |
| CN108012081B (zh) | 智能美颜方法、装置、终端和计算机可读存储介质 | |
| US11900557B2 (en) | Three-dimensional face model generation method and apparatus, device, and medium | |
| CN109376582A (zh) | 一种基于生成对抗网络的交互式人脸卡通方法 | |
| WO2022095721A1 (zh) | 参数估算模型的训练方法、装置、设备和存储介质 | |
| US20130169827A1 (en) | Method and system for make-up simulation on portable devices having digital cameras | |
| CN109784281A (zh) | 基于人脸特征的产品推荐方法、装置及计算机设备 | |
| CN110688948B (zh) | 视频中人脸性别变换方法、装置、电子设备和存储介质 | |
| CN101779218A (zh) | 化妆模拟***、化妆模拟装置、化妆模拟方法以及化妆模拟程序 | |
| WO2018082389A1 (zh) | 一种肤色检测方法、装置及终端 | |
| CN108463823A (zh) | 一种用户头发模型的重建方法、装置及终端 | |
| CN111783511A (zh) | 美妆处理方法、装置、终端以及存储介质 | |
| CN110866139A (zh) | 一种化妆处理方法、装置及设备 | |
| CN111062891A (zh) | 图像处理方法、装置、终端及计算机可读存储介质 | |
| CN108734126B (zh) | 一种美颜方法、美颜装置及终端设备 | |
| CN111767817B (zh) | 一种服饰搭配方法、装置、电子设备及存储介质 | |
| KR20200107957A (ko) | 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체 | |
| CN109242760B (zh) | 人脸图像的处理方法、装置和电子设备 | |
| CN108230297B (zh) | 一种基于服装替换的色彩搭配评估方法 | |
| Sharma et al. | Image recognition system using geometric matching and contour detection | |
| CN113344837B (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
| CN117132711A (zh) | 一种数字人像定制方法、装置、设备及存储介质 | |
| CN113469874A (zh) | 一种美妆处理方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211001 |
|
| RJ01 | Rejection of invention patent application after publication |