CN108121957A - 美颜素材的推送方法及装置 - Google Patents
美颜素材的推送方法及装置 Download PDFInfo
- Publication number
- CN108121957A CN108121957A CN201711377003.7A CN201711377003A CN108121957A CN 108121957 A CN108121957 A CN 108121957A CN 201711377003 A CN201711377003 A CN 201711377003A CN 108121957 A CN108121957 A CN 108121957A
- Authority
- CN
- China
- Prior art keywords
- face
- face material
- target
- label
- facial image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000463 material Substances 0.000 title claims abstract description 619
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000001815 facial effect Effects 0.000 claims abstract description 121
- 239000013077 target material Substances 0.000 claims abstract description 28
- 230000036555 skin type Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 6
- 210000004709 eyebrow Anatomy 0.000 description 26
- 210000001747 pupil Anatomy 0.000 description 24
- 230000006870 function Effects 0.000 description 10
- 210000000720 eyelash Anatomy 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 7
- 230000019771 cognition Effects 0.000 description 7
- 210000000088 lip Anatomy 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 4
- 238000012163 sequencing technique Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011895 specific detection Methods 0.000 description 2
- 206010048245 Yellow skin Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 210000000162 simple eye Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种美颜素材的推送方法及装置,用以解决现有技术中无法为用户推送优质的美颜素材的问题。所述方法包括:获取待美颜的目标人脸图像,分析所述目标人脸图像的图像信息;获取预先生成的美颜素材库;所述美颜素材库中包含多个美颜素材及各所述美颜素材分别对应的素材标签;将所述图像信息分别与美颜素材库中各所述素材标签进行匹配,获得与所述图像信息相匹配的目标素材标签;推送所述目标素材标签对应的目标美颜素材对目标人脸图像进行渲染,使所述目标人脸图像完成美颜处理。该技术方案在为用户推送美颜素材时能够确保推送的美颜素材与目标人脸图像的图像信息相匹配,因此使得推送的美颜素材更优质、更符合用户当前的美颜需求。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种美颜素材的推送方法及装置。
背景技术
目前各种美颜类APP中,美颜素材的来源仅包含两方面。其中,一方面是美颜类APP中自带的美颜素材,这类美颜素材通常数量较少,且属于通用型,即针对不同的用户不具有差异性;另一方面则是根据用户后台统计得到的,例如根据用户的喜好手动添加用户喜欢的美颜素材,这类美颜素材虽然针对不同的用户具有差异性和针对性,但由于人工统计及添加的过程十分繁琐、且用户对于素材来源的获知渠道具有局限性等原因,导致这类美颜素材也无法满足用户的需求。
发明内容
本申请实施例的目的是提供一种美颜素材的推送方法及装置,用以解决现有技术中无法为用户推送优质的美颜素材的问题。
为解决上述技术问题,本申请实施例是这样实现的:
一方面,本申请实施例提供一种美颜素材的推送方法,包括:
获取待美颜的目标人脸图像,分析所述目标人脸图像的图像信息;
获取预先生成的美颜素材库;所述美颜素材库中包含多个美颜素材及各所述美颜素材分别对应的素材标签;
将所述图像信息分别与所述美颜素材库中各所述素材标签进行匹配,获得与所述图像信息相匹配的目标素材标签;
推送所述目标素材标签对应的目标美颜素材对所述目标人脸图像进行渲染,使所述目标人脸图像完成美颜处理。
在一个实施例中,所述方法还包括:
从包含多个样本人脸图像的预定资源中抓取所述样本人脸图像;
利用人脸识别技术和色彩识别技术识别并定位所述样本人脸图像中的关键特征点,以根据所述关键特征点从所述样本人脸图像中提取所述美颜素材;
根据各所述美颜素材的素材特征和/或相关使用信息,确定各所述美颜素材对应的素材标签;
对应存储各所述美颜素材及所述素材标签,以生成所述美颜素材库。
在一个实施例中,所述素材特征包括五官特征;所述相关使用信息包括使用者类型、使用率、使用环境中的至少一项信息;所述图像信息包括地理位置、气候、人脸肤色、性别、光线强度中的至少一项信息;
其中,所述使用者类型包括使用者的肤色类型、性别、所属国家、美颜偏好中的至少一项。
在一个实施例中,所述生成所述美颜素材库之前,所述方法还包括:
获取至少一个人脸模型,所述人脸模型包括符合预设美颜标准的美颜元素;
计算各所述美颜素材与对应的所述美颜元素之间的相似度;
删除所述相似度低于预设阈值的美颜素材,以使所述美颜素材库中的各美颜素材均符合所述预设美颜标准。
在一个实施例中,所述生成所述美颜素材库,包括:
根据所述素材标签对各所述美颜素材进行分类,得到各所述美颜素材的类别;
按照所述类别对各所述美颜素材进行分类存储,以生成所述美颜素材库。
在一个实施例中,所述目标美颜素材的类别包括多个;所述方法还包括:
按照各所述目标美颜素材的类别,在推送界面上分类展示多个类别的所述目标美颜素材。
在一个实施例中,所述在推送界面上分类展示多个类别的所述目标美颜素材,包括:
根据所述目标美颜素材的素材特征和/或相关使用信息,确定各类别的所述目标美颜素材分别对应的权重;
按照所述权重的高低对所述目标美颜素材进行排序,得到排序结果;
按照所述排序结果在所述推送界面上依次展示各类别的所述目标美颜素材。
另一方面,本申请实施例提供一种美颜素材的推送装置,包括:
第一获取模块,用于获取待美颜的目标人脸图像,分析所述目标人脸图像的图像信息;
第二获取模块,用于获取预先生成的美颜素材库;所述美颜素材库中包含多个美颜素材及各所述美颜素材分别对应的素材标签;
匹配模块,用于将所述图像信息分别与所述美颜素材库中各所述素材标签进行匹配,获得与所述图像信息相匹配的目标素材标签;
推送模块,用于推送所述目标素材标签对应的目标美颜素材对所述目标人脸图像进行渲染,使所述目标人脸图像完成美颜处理。
在一个实施例中,所述装置还包括:
抓取模块,用于从包含多个样本人脸图像的预定资源中抓取所述样本人脸图像;
定位及提取模块,用于利用人脸识别技术和色彩识别技术识别并定位所述样本人脸图像中的关键特征点,以根据所述关键特征点从所述样本人脸图像中提取所述美颜素材;
确定模块,用于根据各所述美颜素材的素材特征和/或相关使用信息,确定各所述美颜素材对应的素材标签;
生成模块,用于对应存储各所述美颜素材及所述素材标签,以生成所述美颜素材库。
在一个实施例中,所述素材特征包括五官特征;所述相关使用信息包括使用者类型、使用率、使用环境中的至少一项信息;所述图像信息包括地理位置、气候、人脸肤色、性别、光线强度中的至少一项信息;
其中,所述使用者类型包括使用者的肤色类型、性别、所属国家、美颜偏好中的至少一项。
在一个实施例中,所述装置还包括:
第三获取模块,用于所述生成所述美颜素材库之前,获取至少一个人脸模型,所述人脸模型包括符合预设美颜标准的美颜元素;
计算模块,用于计算各所述美颜素材与对应的所述美颜元素之间的相似度;
删除模块,用于删除所述相似度低于预设阈值的美颜素材,以使所述美颜素材库中的各美颜素材均符合所述预设美颜标准。
在一个实施例中,所述生成模块包括:
分类单元,用于根据所述素材标签对各所述美颜素材进行分类,得到各所述美颜素材的类别;
存储单元,用于按照所述类别对各所述美颜素材进行分类存储,以生成所述美颜素材库。
在一个实施例中,所述目标美颜素材的类别包括多个;所述装置还包括:
展示模块,用于按照各所述目标美颜素材的类别,在推送界面上分类展示多个类别的所述目标美颜素材。
在一个实施例中,所述展示模块包括:
确定单元,用于根据所述目标美颜素材的素材特征和/或相关使用信息,确定各类别的所述目标美颜素材分别对应的权重;
排序单元,用于按照所述权重的高低对所述目标美颜素材进行排序,得到排序结果;
展示单元,用于按照所述排序结果在所述推送界面上依次展示各类别的所述目标美颜素材。
再一方面,本申请实施例提供一种美颜素材的推送设备,其特征在于,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
获取待美颜的目标人脸图像,分析所述目标人脸图像的图像信息;
获取预先生成的美颜素材库;所述美颜素材库中包含多个美颜素材及各所述美颜素材分别对应的素材标签;
将所述图像信息分别与所述美颜素材库中各所述素材标签进行匹配,获得与所述图像信息相匹配的目标素材标签;
推送所述目标素材标签对应的目标美颜素材对所述目标人脸图像进行渲染,使所述目标人脸图像完成美颜处理。
再一方面,本申请实施例提供一种存储介质,用于存储计算机可执行指令,所述可执行指令在被执行时实现以下流程:
获取待美颜的目标人脸图像,分析所述目标人脸图像的图像信息;
获取预先生成的美颜素材库;所述美颜素材库中包含多个美颜素材及各所述美颜素材分别对应的素材标签;
将所述图像信息分别与所述美颜素材库中各所述素材标签进行匹配,获得与所述图像信息相匹配的目标素材标签;
推送所述目标素材标签对应的目标美颜素材对所述目标人脸图像进行渲染,使所述目标人脸图像完成美颜处理。
采用本发明实施例的技术方案,在获取到待美颜的目标人脸图像时,能够分析目标人脸图像的图像信息,并将该图像信息与预先生成的美颜素材库中的素材标签进行匹配,从而获得与图像信息相匹配的目标素材标签,进而为用户推送目标素材标签对应的目标美颜素材,以使用户能够从美妆杂志等多种美妆素材中进行美颜处理。可见,该技术方案在为用户推送美颜素材时能够确保推送的美颜素材与目标人脸图像的图像信息相匹配,因此使得推送的美颜素材更优质,同时为用户提供了更多美妆素材的选择空间,提高了信息的丰富程度、更符合用户当前的美颜需求。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明一实施例的一种美颜素材的推送方法的示意性流程图;
图2是根据本发明一实施例的一种生成美颜素材库的方法的示意性流程图;
图3是根据本发明一实施例的一种美颜素材的推送装置的示意性框图;
图4是根据本发明一实施例的一种美颜素材的推送设备的示意性框图。
具体实施方式
本申请实施例提供一种美颜素材的推送方法及装置。
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
图1是根据本发明一实施例的一种美颜素材的推送方法的示意性流程图,如图1所示,该方法应用于移动终端,包括:
S101,获取待美颜的目标人脸图像,分析目标人脸图像的图像信息。
该步骤中,目标人脸图像指包含人脸的图像。目标人脸图像可使用移动终端自带的摄像头实时拍摄获取得到,还可从移动终端内用于存储图像的图像集(如相册)中获取得到。
目标人脸图像的图像信息包括地理位置、气候、人脸肤色、性别、光线强度、服饰等信息。其中,地理位置信息可根据目标人脸图像中的景物(如标志性建筑物等)或与目标人脸图像关联的拍摄地点信息来确定。气候信息可根据目标人脸图像中的景物(如树叶颜色、是否下雪等)、人物(如衣服的厚度)或与目标人脸图像关联的拍摄气候信息来确定。人脸肤色、性别、光线强度等信息可利用现有的图像识别技术来确定,在此不再赘述。
S102,获取预先生成的美颜素材库;美颜素材库中包含多个美颜素材及各美颜素材分别对应的素材标签。
其中,素材标签可根据美颜素材的素材特征和/或相关使用信息来确定。具体的,素材特征包括五官特征,即与五官美颜相关的特征,如美瞳、眉毛、唇彩、眼影、睫毛等;相关使用信息包括使用者类型、使用率、使用环境(如室内、室外、阴天、晴天等)等信息,其中,使用者类型包括使用者的肤色类型(如偏黄肤色、偏红肤色、偏白肤色等)、性别、所属国家、美颜偏好等。
S103,将图像信息分别与美颜素材库中各素材标签进行匹配,获得与图像信息相匹配的目标素材标签。
在一个实施例中,素材标签以文字形式进行存储,如文字标签“睫毛”、“使用率80%”等,这样,在分析图像信息时,也需将图像信息转换为文字形式,以使图像信息能够与素材标签进行匹配。
S104,推送目标素材标签对应的目标美颜素材对目标人脸图像进行渲染,使目标人脸图像完成美颜处理。
例如,若图像信息包括偏黄肤色、女性、室外,则可通过将美颜素材库中的各素材标签与图像信息进行匹配,并根据匹配结果为用户推送下列目标美颜素材:适用于偏黄肤色的美颜素材、适用于女性的美颜素材、适用于室外的美颜素材等。
采用本发明实施例的技术方案,在获取到待美颜的目标人脸图像时,能够分析目标人脸图像的图像信息,并将该图像信息与预先生成的美颜素材库中的素材标签进行匹配,从而获得与图像信息相匹配的目标素材标签,进而为用户推送目标素材标签对应的目标美颜素材,以使用户能够从美妆杂志等多种美妆素材中进行美颜处理。可见,该技术方案在为用户推送美颜素材时能够确保推送的美颜素材与目标人脸图像的图像信息相匹配,因此使得推送的美颜素材更优质,同时为用户提供了更多美妆素材的选择空间,提高了信息的丰富程度、更符合用户当前的美颜需求。
以下详细介绍上述实施例中所提供的美颜素材的推送方法。
在一个实施例中,可预先通过以下步骤A1-A4生成美颜素材库:
步骤A1,从包含多个样本人脸图像的预定资源中抓取样本人脸图像。
其中,预定资源可以是符合用户对美的需求的各类资源,如电子时尚杂志。在抓取样本人脸图像时,可利用人脸识别技术从预定资源中识别到样本人脸图像。
步骤A2,利用人脸识别技术和色彩识别技术识别并定位样本人脸图像中的关键特征点,以根据关键特征点从样本人脸图像中提取美颜素材。
其中,关键特征点包括眼睛、鼻尖、嘴角点、眉毛、人脸外部轮廓点等人脸各部件轮廓点。
在一个实施例中,可采用级联形状回归模型定位关键特征点。该方法使用回归模型直接学习从人脸表观到人脸形状(或者人脸形状模型的参数)的映射函数,进而建立从表观到形状的对应关系。
级联形状回归模型的人脸特征点定位问题可以看作是学习一个回归函数F,以样本人脸图像I作为输入,输出θ为关键特征点的位置(即人脸形状):θ=F(I)。简单的说,级联形状回归模型可以统一为如公式(1)-(2)的框架,即学习多个回归函数{f1,...,fn-1,fn}来逼近函数F:
θ=F(I)=fn(fn-1(...f1(θ0,I),I),I) (1)
θi=fi(θi-1,I),i=1,...n (2)
由公式(1)-(2)可看出,所谓级联,即当前函数fi的输入依赖于上一级函数fi-1的输出θi-1,而每一个fi的学习目标都是逼近关键特征点的真实位置θ,θo为初始形状。通常情况下,fi不是直接回归真实位置θ,而是回归当前形状θi-1与真实位置θ之间的差Δθi,其中,Δθi=θ-θi-1。
具体的,给定初始形状θo,通常为平均形状,根据初始形状θo提取特征(即两个像素点之间的差值)作为函数f1的输入。每个函数fi建模成随机蕨(Random Fern)回归器,来预测当前形状θi-1与目标形状θ的差Δθi,并根据Δθi的预测结果更新当前形状θi=θi-1+Δθi,并作为下一级函数fi+1的输入。
上述采用级联形状回归模型定位关键特征点的方法能够快速地定位到样本人脸图像中的关键特征点,对于该方法的不足之处(如对初始形状θo的设定较为敏感以及样本人脸图像被遮挡时导致性能变差),还可通过以下方法解决。
针对初始形状θo的设定较为敏感的情况,可采用智能重启技术来解决形状初始化敏感的问题。即,随机初始化一组形状,运行{f1,...,fn-1,fn}的前10%的函数,统计形状预测的方差,如果该方差小于一定阈值,则说明这组初始化不错,并跑完剩下的90%的级联函数,得到最终的预测结果;如果该方差大于一定阈值,则说明这组初始化不理想,此时可选择重新初始化一组形状进行形状预测,直至形状预测的方差小于一定阈值。
针对样本人脸图像被遮挡时导致性能变差的情况,则可设定fi的输出包含Δθi和每个关键特征点是否被遮挡的状态pi,如下述公式(3)所示:
{Δθi,pi}=fi(θi-1,I),i=1,....n (3)
当样本人脸图像中的某些关键特征点被遮挡时,则不选取该关键特征点所在区域的特征作为输入,从而避免遮挡对关键特定点定位的干扰。
经上述方法,即可准确定位到样本人脸图像中的关键特征点。
经上述分析可知,通过人脸识别技术可定位到样本人脸图像中的关键特征点,此外,通过色彩识别技术能够识别出样本人脸图像中的各像素点的RGB(三基色)值,因此,结合人脸识别技术以及色彩识别技术能够更加准确地提取出样本人脸图像中的美颜素材。
步骤A3,根据各美颜素材的素材特征和/或相关使用信息,确定各美颜素材对应的素材标签。
素材特征包括五官特征,即与五官美颜相关的特征,如美瞳、眉毛、唇彩、眼影、睫毛等。根据素材特征确定的素材标签可直接为五官特征本身对应的文字,举例如下:素材标签为“美瞳”、“眉毛”、“唇彩”、“眼影”、“睫毛”等。
相关使用信息包括使用者类型、使用率、使用环境(如室内、室外、阴天、晴天等)等信息,其中,使用者类型包括使用者的肤色类型(如偏黄肤色、偏红肤色、偏白肤色等)、性别、所属国家、美颜偏好等。根据相关使用信息确定的素材标签可以是相关使用信息对应的文字,举例如下:素材标签为“80%使用者为偏黄肤色”、“女”、“使用率60%”、“室外使用率90%”、“阴天使用率70%”等。
步骤A4,对应存储各美颜素材及素材标签,以生成美颜素材库。
本实施例中,通过从包含多个样本人脸图像的预定资源中抓取样本人脸图像,进而从样本人脸图像中识别并定位关键特征点,以根据定位到的关键特征点从样本人脸图像中提取美颜素材,使得美颜素材的提取能够依赖于包含大量美颜素材的预定资源(如电子时尚杂志),从而使美颜素材库中的美颜素材具有数量多、种类多、优质等优点,以及能够为用户推送更多、更优质的美颜素材供用户选择使用,提高了信息的丰富程度,进而提升了用户对人脸图像进行美颜的体验度。此外,本实施例还能够根据美颜素材的素材特征和/或相关使用信息来为美颜素材添加素材标签,使得美颜素材对应的素材标签更加多样化、细致化,进而在为用户推送美颜素材时能够利用素材标签与图像信息进行匹配,确保为用户推送符合用户当前美颜需求的美颜素材。
上述实施例详细介绍了美颜素材库的生成方法。对于美颜素材库中的大量美颜素材,还可进一步进行筛选,以使美颜素材库中的美颜素材更加优质。
在一个实施例中,可通过以下步骤B1-B3来筛选美颜素材库中的美颜素材。
步骤B1,获取至少一个人脸模型,人脸模型包括符合预设美颜标准的美颜元素。
其中,预设美颜标准可根据当前人们对美的定义及认知来设定,例如,预设美颜标准包括五官端正、人脸轮廓柔和、双唇饱满、嘴角上翘等。并且,预设美颜标准可根据不同时期人们对美的定义及认知的不同随时更新。
美颜元素与美颜素材库中的美颜素材相对应,包括与五官美颜相关的元素(如美瞳、眉毛、唇彩、眼影、睫毛等)及人脸轮廓。
步骤B2,计算各美颜素材与对应的美颜元素之间的相似度。
该步骤中,“对应的美颜元素”指在计算相似度时,美颜元素所具有的五官特征必须与美颜素材所具有的五官特征相对应,例如,美颜素材“美瞳”对应的美颜元素为“美瞳”,美颜素材“眉毛”对应的美颜元素为“眉毛”,等等。
在计算美颜素材与美颜元素之间的相似度时,可直接计算图像形式的美颜素材与美颜元素之间的相似度,也可根据美颜素材对应的素材标签计算文字形式的美颜素材与美颜元素之间的相似度。
当直接计算图像形式的美颜素材与美颜元素之间的相似度时,可利用人脸识别技术来进行计算。现有的人脸识别技术中已有不少能够检测人脸相似度的工具,例如EyeKey生物识别云平台等。具体的检测方法为现有技术,在此不再赘述。
当根据美颜素材对应的素材标签计算文字形式的美颜素材与美颜元素之间的相似度时,需首选识别出美颜素材与美颜元素各自的特征,并分别将美颜素材与美颜元素各自的特征转换为文字形式,进而使用文字检测软件(如PaperPass比对***)来检测二者之间的相似度。例如,美颜素材“嘴唇”对应的文字形式的特征为:上嘴唇厚、嘴角平直、唇色红润;美颜元素“嘴唇”对应的文字形式的特征为:嘴角上翘、唇色红润、基于二者的文字形式的特征,即可根据PaperPass比对***检测美颜素材与美颜元素之间的相似度。PaperPass比对***的具体检测方法为现有技术,在此不再赘述。
步骤B3,删除相似度低于预设阈值的美颜素材,以使美颜素材库中的各美颜素材均符合预设美颜标准。
其中,预设阈值可根据用户不同时期或不同场景时的美颜需求来设定及更新。例如,预设阈值为80%,则删除相似度低于80%的美颜素材,以使美颜素材库中的各美颜素材均符合预设美颜标准,即美颜素材库中的各美颜素材与人脸模型中对应的美颜元素之间的相似度均大于或等于80%。
本实施例中,能够通过计算各美颜素材与人脸模型中对应的符合美颜标准的美颜元素之间的相似度,并删除相似度低于预设阈值的美颜素材,使得美颜素材库中存储的美颜素材均符合预设美颜标准,从而为用户推送更加优质的美颜素材,避免为用户推送不符合当前美学认知的美颜素材的情况。
此外,上述实施例中的人脸模型也可根据用户在不同时期或不同场景下的美学认知的不同来进行更新,从而使对美颜素材进行筛选时所依据的人脸模型始终符合用户当前的美学认知,确保美颜素材库中的美颜素材始终为当下最流行、最时尚的。
在一个实施例中,为了方便为用户推送不同类别的美颜元素,在生成美颜素材库时,可将其中的各美颜素材分类存储,即:首先,根据素材标签对各美颜素材进行分类,得到各美颜素材的类别;其次,按照各美颜素材的类别对各美颜素材进行分类存储,以生成美颜素材库。
上述实施例中提及,素材标签是根据美颜素材的素材特征和/或相关使用信息确定的。具体的,素材特征包括五官特征,即与五官美颜相关的特征,如美瞳、眉毛、唇彩、眼影、睫毛等;根据素材特征确定的素材标签可直接为五官特征本身对应的文字。相关使用信息包括使用者类型、使用率、使用环境(如室内、室外、阴天、晴天等)等信息,其中,使用者类型包括使用者的肤色类型(如偏黄肤色、偏红肤色、偏白肤色等)、性别、所属国家、美颜偏好等。因此,可根据不同的分类因子对对美颜素材进行分类,其中,分类因子即为美颜素材的素材特征和/或相关使用信息。
当分类因子为美颜素材的素材特征时,可按照美颜素材所具有的五官特征本身对应的文字来确定美颜素材的类别,例如美瞳类美颜素材、眉毛类美颜素材、唇彩类美颜素材等。
当分类因子为美颜素材的相关使用信息时,可按照美颜素材的相关使用信息对应的文字来确定美颜素材的类别,例如适用偏黄肤色类美颜素材、适用女生类美颜素材、适用室外类美颜素材等。
当然,分类因子可同时包括美颜素材的素材特征及相关使用信息。这种情况下,美颜素材库中的各美颜素材可同时存在于多个类别中。例如,美颜素材“眉毛”既包含于眉毛类美颜素材中,同时又包含于偏黄肤色类美颜素材等。
本实施例中,通过对美颜素材库中的各美颜素材进行分类存储,不仅有利于更新不同类别下的美颜素材,方便后期管理,且能够实现按类为用户推送美颜素材,从而使得美颜素材的推送更加合理化。
图2是根据本发明一实施例的一种生成美颜素材库的方法的示意性流程图。如图2所示,该方法包括:
S201,从包含多个样本人脸图像的预定资源中抓取样本人脸图像。
其中,预定资源可以是符合用户对美的需求的各类资源,如电子时尚杂志。在抓取样本人脸图像时,可利用人脸识别技术从预定资源中识别到样本人脸图像。
S202,利用人脸识别技术和色彩识别技术识别并定位样本人脸图像中的关键特征点,以根据关键特征点从样本人脸图像中提取美颜素材。
其中,关键特征点包括眼睛、鼻尖、嘴角点、眉毛、人脸外部轮廓点等人脸各部件轮廓点。
S203,提取样本人脸图像中的美颜素材,以及,获取至少一个人脸模型,该人脸模型包括符合预设美颜标准的美颜元素。
其中,预设美颜标准可根据当前人们对美的定义及认知来设定,例如,预设美颜标准包括五官端正、人脸轮廓柔和、双唇饱满、嘴角上翘等。并且,预设美颜标准可根据不同时期人们对美的定义及认知的不同随时更新。
美颜元素与美颜素材库中的美颜素材相对应,包括与五官美颜相关的元素(如美瞳、眉毛、唇彩、眼影、睫毛等)及人脸轮廓。
S204,计算各美颜素材与人脸模型中对应的美颜元素之间的相似度。
其中,“对应的美颜元素”指在计算相似度时,美颜元素所具有的五官特征必须与美颜素材所具有的五官特征相对应,例如,美颜素材“美瞳”对应的美颜元素为“美瞳”,美颜素材“眉毛”对应的美颜元素为“眉毛”,等等。
S205,删除相似度低于预设阈值的美颜素材,保留相似度高于或低于预设阈值的美颜素材。
其中,预设阈值可根据用户不同时期或不同场景时的美颜需求来设定及更新。例如,预设阈值为80%,则删除相似度低于80%的美颜素材,以使美颜素材库中的各美颜素材均符合预设美颜标准,即美颜素材库中的各美颜素材与人脸模型中对应的美颜元素之间的相似度均大于或等于80%。
S206,针对保留的各美颜素材,根据各美颜素材的素材特征和/或相关使用信息,确定各美颜素材对应的素材标签。
素材特征包括五官特征,即与五官美颜相关的特征,如美瞳、眉毛、唇彩、眼影、睫毛等。根据素材特征确定的素材标签可直接为五官特征本身对应的文字,举例如下:素材标签为“美瞳”、“眉毛”、“唇彩”、“眼影”、“睫毛”等。
相关使用信息包括使用者类型、使用率、使用环境(如室内、室外、阴天、晴天等)等信息,其中,使用者类型包括使用者的肤色类型(如偏黄肤色、偏红肤色、偏白肤色等)、性别、所属国家、美颜偏好等。根据相关使用信息确定的素材标签可以是相关使用信息对应的文字,举例如下:素材标签为“80%使用者为偏黄肤色”、“女”、“使用率60%”、“室外使用率90%”、“阴天使用率70%”等。
S207,根据各美颜素材对应的素材标签对各美颜素材进行分类,得到各美颜素材的类别。
该步骤中,可根据不同的分类因子对美颜素材进行分类,其中,分类因子即为美颜素材的素材特征和/或相关使用信息。例如美瞳类美颜素材、眉毛类美颜素材、唇彩类美颜素材、适用偏黄肤色类美颜素材、适用女生类美颜素材、适用室外类美颜素材等。
S208,按照各美颜素材的类别对各美颜素材进行分类存储,以生成美颜素材库。
本实施例中的生成美颜素材库的方法至少具有以下有益效果:首先,通过从包含多个样本人脸图像的预定资源中抓取样本人脸图像,进而从样本人脸图像中识别并定位关键特征点,以根据定位到的关键特征点从样本人脸图像中提取美颜素材,使得美颜素材的提取能够依赖于包含大量美颜素材的预定资源(如电子时尚杂志),从而使美颜素材库中的美颜素材具有数量多、种类多、优质等优点,以及能够为用户推送更多、更优质的美颜素材供用户选择使用,提高了信息的丰富程度,进而提升了用户对人脸图像进行美颜的体验度。其次,本实施例还能够根据美颜素材的素材特征和/或相关使用信息来为美颜素材添加素材标签,使得美颜素材对应的素材标签更加多样化、细致化,进而在为用户推送美颜素材时能够利用素材标签与图像信息进行匹配,确保为用户推送符合用户当前美颜需求的美颜素材。再次,能够通过计算各美颜素材与人脸模型中对应的符合美颜标准的美颜元素之间的相似度,并删除相似度低于预设阈值的美颜素材,使得美颜素材库中存储的美颜素材均符合预设美颜标准,从而为用户推送更加优质的美颜素材,避免为用户推送不符合当前美学认知的美颜素材的情况。再次,本实施例还能够通过对美颜素材库中的各美颜素材进行分类存储,不仅有利于更新不同类别下的美颜素材,方便后期管理,且能够实现按类为用户推送美颜素材,从而使得美颜素材的推送更加合理化。
在一个实施例中,当与图像信息相匹配的目标美颜素材的类别包括多个时,在推送目标美颜素材之后,可按照各目标美颜素材的类别,在推送界面上分类展示多个类别的目标美颜素材。
例如,若获取到的图像信息包括室内、偏黄肤色,则可在展示界面上分别展示有美瞳类美颜素材、眉毛类美颜素材、唇彩类美颜素材、适用偏黄肤色类美颜素材、适用室内类美颜素材等。其中,每种类别的美颜素材可展示为一个集合形式,当用户选择某个集合后,进入该集合对应的类别中的各美颜素材的展示界面。
本实施例中,通过分类展示多个目标美颜素材,不仅使得目标美颜素材的推送更加合理化,且使得用户在选择目标美颜素材时能够一目了然地获知各目标美颜素材的类别,进而根据类别来选择当前所需要的美颜素材,这在很大程度上提升了用户选择美颜素材的体验度。
在一个实施例中,当目标美颜素材的类别包括多个时,可按照各类别的目标美颜素材各自对应的权重在推送界面上分类展示目标美颜素材。具体的,首先,根据目标美颜素材的素材特征和/或相关使用信息,确定各类别的目标美颜素材分别对应的权重;其次,按照权重的高低对目标美颜素材进行排序,得到排序结果;再次,按照排序结果在推送界面上依次展示各类别的目标美颜素材。
本实施例中,根据目标美颜素材的素材特征和/或相关使用信息确定各类别的目标美颜素材分别对应的权重时,可预先对各素材特征和/或相关使用信息设置相应的子权重,然后针对各类别的目标美颜素材的素材特征和/或相关使用信息对应的子权重来计算各类别的目标美颜素材对应的权重。
例如,根据目标美颜素材的素材特征来确定各类别的目标美颜素材对应的权重。假设预先设定美瞳类美颜素材对应的权重为60%,眉毛类美颜素材对应的权重为40%,唇彩类美颜素材对应的权重为80%,等等。若为用户推送的目标美颜素材包含美瞳类美颜素材、眉毛类美颜素材及唇彩类美颜素材,则按照各类别的目标美颜素材对应的权重的大小,可将各类别的目标美颜素材排序为如下:唇彩类美颜素材、美瞳类美颜素材、眉毛类美颜素材。进而按照该排序结果为用户展示各类别的目标美颜素材。
在按照排序结果展示各类别的目标美颜素材时,可按照排序结果中的先后顺序依次在展示界面上展示各类别的目标美颜素材。沿用上述举例,各类别的目标美颜素材排序为:唇彩类美颜素材、美瞳类美颜素材、眉毛类美颜素材,则在展示界面的左侧位置从上到下依次展示有唇彩类美颜素材、美瞳类美颜素材、眉毛类美颜素材。
还可按照排序结果中的先后顺序将各类别的目标美颜素材展示在展示界面上的不同位置,以区分不同类别的目标美颜素材的不同重要程度。假设展示界面上的第一位置为左上角位置、第二位置为右上角位置、第三位置为左下角位置,其中,第一位置、第二位置和第三位置对应的位置重要程度依次降低。沿用上述举例,各类别的目标美颜素材排序为:唇彩类美颜素材、美瞳类美颜素材、眉毛类美颜素材,则可将排序最靠前的唇彩类美颜素材展示在展示界面上的第一位置,排序次靠前的美瞳类美颜素材展示在展示界面上的第二位置,排序最靠后的眉毛类美颜素材展示在展示界面上的第三位置。
本实施例中,通过各类别的目标美颜素材各自对应的权重来为各类别的目标美颜素材进行排序,并按照排序结果展示各类别的目标美颜素材,使得用户在选择目标美颜素材时能够获知目标美颜素材的更多信息,如哪个(些)目标美颜素材的使用率更高、哪个(些)目标美颜素材更优质等,从而使得用户在选择当前所需要的美颜素材时不会盲目选择,提升了用户选择美颜素材的体验度。
在一具体场景中,假设用户的目标人脸图像的图像信息包括偏黄肤色、女性、单眼皮、室外。
若采用现有技术,则仅能为用户推送美颜APP内自带的美颜素材或用户自己保存的美颜素材,这些美颜素材具有通用性,即与目标人脸图像的图像信息无关,采用这些美颜素材对目标人脸图像进行渲染,很可能并不适用于当前的目标人脸图像,从而导致美颜效果很差,用户无法从这些美颜素材中选择出适合自己的美颜素材。
但若采用本发明实施例中的美颜素材的推送方法,则可通过将美颜素材库中的各素材标签与图像信息进行匹配,并根据匹配结果为用户推送下列美颜素材:偏黄肤色类美颜素材、女性类美颜素材、美瞳类美颜素材及室外类美颜素材等。其中,偏黄肤色类美颜素材对应的权重为35%,女性类美颜素材对应的权重为20%,美瞳类美颜素材对应的权重为15%,室外类美颜素材对应的权重为30%。那么,在为用户展示各类别的美颜素材时,可按照各类别的美颜素材分别对应的权重,在展示界面上依次展示各类别的美颜素材。显然,由于这些美颜素材都是通过与图像信息进行匹配后推送给用户的,因此不存在不适合用户使用的现象,即为用户提供了众多的、可供用户选择的美颜素材,使得用户的选择空间更大,能够从众多美颜素材中选择自己喜欢的美颜素材对目标人脸图像进行美颜处理,且美颜效果俱佳。
此外,在为用户展示美颜素材时,还可在各美颜素材的对应位置处显示各美颜素材对应的素材标签,例如,在美颜素材A的对应位置处显示“使用率60%”,在美颜素材B的对应位置处显示“80%使用者为偏黄肤色”,等等。这样,用户在选择美颜素材时可参考这些素材标签进行有目的地选择。由此可见,本实施例在为用户推送美颜素材时,能够大大提高美颜素材的信息的丰富程度。
综上,已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序,以实现期望的结果。在某些实施方式中,多任务处理和并行处理可以是有利的。
以上为本申请实施例提供的美颜素材的推送方法,基于同样的思路,本申请实施例还提供一种美颜素材的推送装置。
图3是根据本发明一实施例的一种美颜素材的推送装置的示意性框图,如图3所示,该装置包括:
第一获取模块310,用于获取待美颜的目标人脸图像,分析所述目标人脸图像的图像信息;
第二获取模块320,用于获取预先生成的美颜素材库;所述美颜素材库中包含多个美颜素材及各所述美颜素材分别对应的素材标签;
匹配模块330,用于将所述图像信息分别与所述美颜素材库中各所述素材标签进行匹配,获得与所述图像信息相匹配的目标素材标签;
推送模块340,用于推送所述目标素材标签对应的目标美颜素材对所述目标人脸图像进行渲染,使所述目标人脸图像完成美颜处理。
在一个实施例中,上述装置还包括:
抓取模块,用于从包含多个样本人脸图像的预定资源中抓取所述样本人脸图像;
定位及提取模块,用于利用人脸识别技术和色彩识别技术识别并定位所述样本人脸图像中的关键特征点,以根据所述关键特征点从所述样本人脸图像中提取所述美颜素材;
确定模块,用于根据各所述美颜素材的素材特征和/或相关使用信息,确定各所述美颜素材对应的素材标签;
生成模块,用于对应存储各所述美颜素材及所述素材标签,以生成所述美颜素材库。
在一个实施例中,所述素材特征包括五官特征;所述相关使用信息包括使用者类型、使用率、使用环境中的至少一项信息;所述图像信息包括地理位置、气候、人脸肤色、性别、光线强度中的至少一项信息;
其中,所述使用者类型包括使用者的肤色类型、性别、所属国家、美颜偏好中的至少一项。
在一个实施例中,上述装置还包括:
第三获取模块,用于所述生成所述美颜素材库之前,获取至少一个人脸模型,所述人脸模型包括符合预设美颜标准的美颜元素;
计算模块,用于计算各所述美颜素材与对应的所述美颜元素之间的相似度;
删除模块,用于删除所述相似度低于预设阈值的美颜素材,以使所述美颜素材库中的各美颜素材均符合所述预设美颜标准。
在一个实施例中,所述生成模块包括:
分类单元,用于根据所述素材标签对各所述美颜素材进行分类,得到各所述美颜素材的类别;
存储单元,用于按照所述类别对各所述美颜素材进行分类存储,以生成所述美颜素材库。
在一个实施例中,所述目标美颜素材的类别包括多个;上述装置还包括:
展示模块,用于按照各所述目标美颜素材的类别,在推送界面上分类展示多个类别的所述目标美颜素材。
在一个实施例中,所述展示模块包括:
确定单元,用于根据所述目标美颜素材的素材特征和/或相关使用信息,确定各类别的所述目标美颜素材分别对应的权重;
排序单元,用于按照所述权重的高低对所述目标美颜素材进行排序,得到排序结果;
展示单元,用于按照所述排序结果在所述推送界面上依次展示各类别的所述目标美颜素材。
采用本发明实施例的装置,在获取到待美颜的目标人脸图像时,能够分析目标人脸图像的图像信息,并将该图像信息与预先生成的美颜素材库中的素材标签进行匹配,从而获得与图像信息相匹配的目标素材标签,进而为用户推送目标素材标签对应的目标美颜素材,以使用户能够从美妆杂志等多种美妆素材中进行美颜处理。可见,该技术方案在为用户推送美颜素材时能够确保推送的美颜素材与目标人脸图像的图像信息相匹配,因此使得推送的美颜素材更优质,同时为用户提供了更多美妆素材的选择空间,提高了信息的丰富程度、更符合用户当前的美颜需求。
本领域的技术人员应可理解,图3中的美颜素材的推送装置能够用来实现前文所述的美颜素材的推送方法,其中的细节描述应与前文方法部分描述类似,为避免繁琐,此处不另赘述。
基于同样的思路,本申请实施例还提供一种美颜素材的推送设备,如图4所示。美颜素材的推送设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器401和存储器402,存储器402中可以存储有一个或一个以上存储应用程序或数据。其中,存储器402可以是短暂存储或持久存储。存储在存储器402的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对美颜素材的推送设备中的一系列计算机可执行指令。更进一步地,处理器401可以设置为与存储器402通信,在美颜素材的推送设备上执行存储器402中的一系列计算机可执行指令。美颜素材的推送设备还可以包括一个或一个以上电源403,一个或一个以上有线或无线网络接口404,一个或一个以上输入输出接口405,一个或一个以上键盘406。
具体在本实施例中,美颜素材的推送设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对美颜素材的推送设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
获取待美颜的目标人脸图像,分析所述目标人脸图像的图像信息;
获取预先生成的美颜素材库;所述美颜素材库中包含多个美颜素材及各所述美颜素材分别对应的素材标签;
将所述图像信息分别与所述美颜素材库中各所述素材标签进行匹配,获得与所述图像信息相匹配的目标素材标签;
推送所述目标素材标签对应的目标美颜素材对所述目标人脸图像进行渲染,使所述目标人脸图像完成美颜处理。
可选地,计算机可执行指令在被执行时,还可以使所述处理器:
从包含多个样本人脸图像的预定资源中抓取所述样本人脸图像;
利用人脸识别技术和色彩识别技术识别并定位所述样本人脸图像中的关键特征点,以根据所述关键特征点从所述样本人脸图像中提取所述美颜素材;
根据各所述美颜素材的素材特征和/或相关使用信息,确定各所述美颜素材对应的素材标签;
对应存储各所述美颜素材及所述素材标签,以生成所述美颜素材库。
可选地,所述素材特征包括五官特征;所述相关使用信息包括使用者类型、使用率、使用环境中的至少一项信息;所述图像信息包括地理位置、气候、人脸肤色、性别、光线强度中的至少一项信息;
其中,所述使用者类型包括使用者的肤色类型、性别、所属国家、美颜偏好中的至少一项。
可选地,计算机可执行指令在被执行时,还可以使所述处理器:
所述生成所述美颜素材库之前,获取至少一个人脸模型,所述人脸模型包括符合预设美颜标准的美颜元素;
计算各所述美颜素材与对应的所述美颜元素之间的相似度;
删除所述相似度低于预设阈值的美颜素材,以使所述美颜素材库中的各美颜素材均符合所述预设美颜标准。
可选地,计算机可执行指令在被执行时,还可以使所述处理器:
根据所述素材标签对各所述美颜素材进行分类,得到各所述美颜素材的类别;
按照所述类别对各所述美颜素材进行分类存储,以生成所述美颜素材库。
可选地,所述目标美颜素材的类别包括多个;计算机可执行指令在被执行时,还可以使所述处理器:
按照各所述目标美颜素材的类别,在推送界面上分类展示多个类别的所述目标美颜素材。
可选地,计算机可执行指令在被执行时,还可以使所述处理器:
根据所述目标美颜素材的素材特征和/或相关使用信息,确定各类别的所述目标美颜素材分别对应的权重;
按照所述权重的高低对所述目标美颜素材进行排序,得到排序结果;
按照所述排序结果在所述推送界面上依次展示各类别的所述目标美颜素材。
本申请实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的电子设备执行时,能够使该电子设备执行上述美颜素材的推送方法,并具体用于执行:
获取待美颜的目标人脸图像,分析所述目标人脸图像的图像信息;
获取预先生成的美颜素材库;所述美颜素材库中包含多个美颜素材及各所述美颜素材分别对应的素材标签;
将所述图像信息分别与所述美颜素材库中各所述素材标签进行匹配,获得与所述图像信息相匹配的目标素材标签;
推送所述目标素材标签对应的目标美颜素材对所述目标人脸图像进行渲染,使所述目标人脸图像对所述目标人脸图像进行渲染美颜处理。
需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (12)
1.一种美颜素材的推送方法,其特征在于,包括:
获取待美颜的目标人脸图像,分析所述目标人脸图像的图像信息;
获取预先生成的美颜素材库;所述美颜素材库中包含多个美颜素材及各所述美颜素材分别对应的素材标签;
将所述图像信息分别与所述美颜素材库中各所述素材标签进行匹配,获得与所述图像信息相匹配的目标素材标签;
推送所述目标素材标签对应的目标美颜素材对所述目标人脸图像进行渲染,使所述目标人脸图像完成美颜处理。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
从包含多个样本人脸图像的预定资源中抓取所述样本人脸图像;
利用人脸识别技术和色彩识别技术识别并定位所述样本人脸图像中的关键特征点,以根据所述关键特征点从所述样本人脸图像中提取所述美颜素材;
根据各所述美颜素材的素材特征和/或相关使用信息,确定各所述美颜素材对应的素材标签;
对应存储各所述美颜素材及所述素材标签,以生成所述美颜素材库。
3.根据权利要求2所述的方法,其特征在于,所述素材特征包括五官特征;所述相关使用信息包括使用者类型、使用率、使用环境中的至少一项信息;所述图像信息包括地理位置、气候、人脸肤色、性别、光线强度中的至少一项信息;
其中,所述使用者类型包括使用者的肤色类型、性别、所属国家、美颜偏好中的至少一项。
4.根据权利要求2所述的方法,其特征在于,所述生成所述美颜素材库之前,所述方法还包括:
获取至少一个人脸模型,所述人脸模型包括符合预设美颜标准的美颜元素;
计算各所述美颜素材与对应的所述美颜元素之间的相似度;
删除所述相似度低于预设阈值的美颜素材,以使所述美颜素材库中的各美颜素材均符合所述预设美颜标准。
5.根据权利要求2或3所述的方法,其特征在于,所述生成所述美颜素材库,包括:
根据所述素材标签对各所述美颜素材进行分类,得到各所述美颜素材的类别;
按照所述类别对各所述美颜素材进行分类存储,以生成所述美颜素材库。
6.根据权利要求5所述的方法,其特征在于,所述目标美颜素材的类别包括多个;所述方法还包括:
按照各所述目标美颜素材的类别,在推送界面上分类展示多个类别的所述目标美颜素材。
7.根据权利要求6所述的方法,其特征在于,所述在推送界面上分类展示多个类别的所述目标美颜素材,包括:
根据所述目标美颜素材的素材特征和/或相关使用信息,确定各类别的所述目标美颜素材分别对应的权重;
按照所述权重的高低对所述目标美颜素材进行排序,得到排序结果;
按照所述排序结果在所述推送界面上依次展示各类别的所述目标美颜素材。
8.一种美颜素材的推送装置,其特征在于,包括:
第一获取模块,用于获取待美颜的目标人脸图像,分析所述目标人脸图像的图像信息;
第二获取模块,用于获取预先生成的美颜素材库;所述美颜素材库中包含多个美颜素材及各所述美颜素材分别对应的素材标签;
匹配模块,用于将所述图像信息分别与所述美颜素材库中各所述素材标签进行匹配,获得与所述图像信息相匹配的目标素材标签;
推送模块,用于推送所述目标素材标签对应的目标美颜素材对所述目标人脸图像进行渲染,使所述目标人脸图像完成美颜处理。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
抓取模块,用于从包含多个样本人脸图像的预定资源中抓取所述样本人脸图像;
定位及提取模块,用于利用人脸识别技术和色彩识别技术识别并定位所述样本人脸图像中的关键特征点,以根据所述关键特征点从所述样本人脸图像中提取所述美颜素材;
确定模块,用于根据各所述美颜素材的素材特征和/或相关使用信息,确定各所述美颜素材对应的素材标签;
生成模块,用于对应存储各所述美颜素材及所述素材标签,以生成所述美颜素材库。
10.根据权利要求9所述的装置,其特征在于,所述素材特征包括五官特征;所述相关使用信息包括使用者类型、使用率、使用环境中的至少一项信息;所述图像信息包括地理位置、气候、人脸肤色、性别、光线强度中的至少一项信息;
其中,所述使用者类型包括使用者的肤色类型、性别、所属国家、美颜偏好中的至少一项。
11.根据权利要求9所述的装置,其特征在于,所述装置还包括:
第三获取模块,用于所述生成所述美颜素材库之前,获取至少一个人脸模型,所述人脸模型包括符合预设美颜标准的美颜元素;
计算模块,用于计算各所述美颜素材与对应的所述美颜元素之间的相似度;
删除模块,用于删除所述相似度低于预设阈值的美颜素材,以使所述美颜素材库中的各美颜素材均符合所述预设美颜标准。
12.根据权利要求9或10所述的装置,其特征在于,所述生成模块包括:
分类单元,用于根据所述素材标签对各所述美颜素材进行分类,得到各所述美颜素材的类别;
存储单元,用于按照所述类别对各所述美颜素材进行分类存储,以生成所述美颜素材库。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711377003.7A CN108121957B (zh) | 2017-12-19 | 2017-12-19 | 美颜素材的推送方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711377003.7A CN108121957B (zh) | 2017-12-19 | 2017-12-19 | 美颜素材的推送方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108121957A true CN108121957A (zh) | 2018-06-05 |
CN108121957B CN108121957B (zh) | 2021-09-03 |
Family
ID=62229532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711377003.7A Active CN108121957B (zh) | 2017-12-19 | 2017-12-19 | 美颜素材的推送方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108121957B (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108898587A (zh) * | 2018-06-19 | 2018-11-27 | Oppo广东移动通信有限公司 | 图片处理方法、图片处理装置及终端设备 |
CN109033276A (zh) * | 2018-07-10 | 2018-12-18 | Oppo广东移动通信有限公司 | 贴纸的推送方法、装置、存储介质及电子设备 |
CN109325170A (zh) * | 2018-08-06 | 2019-02-12 | 江西清华泰豪三波电机有限公司 | 素材推送方法及装置 |
CN109348132A (zh) * | 2018-11-20 | 2019-02-15 | 北京小浪花科技有限公司 | 全景拍摄方法及装置 |
CN109410128A (zh) * | 2018-09-21 | 2019-03-01 | 联想(北京)有限公司 | 一种图像处理方法、装置及电子设备 |
CN110276078A (zh) * | 2019-06-25 | 2019-09-24 | 苏州梦嘉信息技术有限公司 | 公用素材库建立***及方法 |
CN110956063A (zh) * | 2018-09-27 | 2020-04-03 | 北京小米移动软件有限公司 | 图像处理方法、装置、设备及存储介质 |
CN110992276A (zh) * | 2019-11-18 | 2020-04-10 | 北京字节跳动网络技术有限公司 | 一种图像处理方法、装置、介质和电子设备 |
CN111093025A (zh) * | 2019-12-30 | 2020-05-01 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
CN111263241A (zh) * | 2020-02-11 | 2020-06-09 | 腾讯音乐娱乐科技(深圳)有限公司 | 媒体数据的生成方法、装置、设备及存储介质 |
CN111627087A (zh) * | 2020-06-03 | 2020-09-04 | 上海商汤智能科技有限公司 | 一种人脸图像的展示方法、装置、计算机设备及存储介质 |
CN111626699A (zh) * | 2020-05-19 | 2020-09-04 | 东彩塑胶颜料(深圳)有限公司 | 塑胶样板的制备方案确定方法、终端和可读存储介质 |
CN111627086A (zh) * | 2020-06-03 | 2020-09-04 | 上海商汤智能科技有限公司 | 一种头像的展示方法、装置、计算机设备及存储介质 |
CN112199018A (zh) * | 2020-10-14 | 2021-01-08 | 维沃移动通信有限公司 | 图像处理方法、装置 |
CN113177900A (zh) * | 2021-05-26 | 2021-07-27 | 广州市百果园网络科技有限公司 | 图像处理方法、装置、设备及存储介质 |
CN113784173A (zh) * | 2021-07-30 | 2021-12-10 | 北京达佳互联信息技术有限公司 | 视频播放方法、装置和电子设备 |
CN115841432A (zh) * | 2023-02-09 | 2023-03-24 | 北京达佳互联信息技术有限公司 | 美颜特效数据确定和模型训练方法、装置、设备和介质 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1298597A2 (en) * | 2001-10-01 | 2003-04-02 | L'oreal | Simulation of effects of cosmetic products using a three-dimensional facial image |
CN102354397A (zh) * | 2011-09-19 | 2012-02-15 | 大连理工大学 | 基于面部特征器官相似性的人脸图像超分辨率重建方法 |
CN102654903A (zh) * | 2011-03-04 | 2012-09-05 | 井维兰 | 一种人脸比对方法 |
CN102819858A (zh) * | 2012-07-30 | 2012-12-12 | 北京中科盘古科技发展有限公司 | 一种动画素材组织和应用的方法 |
CN104899825A (zh) * | 2014-03-06 | 2015-09-09 | 腾讯科技(深圳)有限公司 | 一种对图片人物造型的方法和装置 |
CN104915634A (zh) * | 2015-02-16 | 2015-09-16 | 百度在线网络技术(北京)有限公司 | 基于人脸识别技术的图像生成方法和装置 |
CN104951770A (zh) * | 2015-07-02 | 2015-09-30 | 广东欧珀移动通信有限公司 | 人脸图像数据库的构建方法、应用方法及相应装置 |
CN105069007A (zh) * | 2015-07-02 | 2015-11-18 | 广东欧珀移动通信有限公司 | 一种建立美颜数据库的方法及装置 |
CN105279186A (zh) * | 2014-07-17 | 2016-01-27 | 腾讯科技(深圳)有限公司 | 一种图像处理方法和*** |
CN105279737A (zh) * | 2015-07-10 | 2016-01-27 | 深圳市美贝壳科技有限公司 | 一种生成人物照片素材的装置及方法 |
CN105513007A (zh) * | 2015-12-11 | 2016-04-20 | 惠州Tcl移动通信有限公司 | 一种基于移动终端的拍照美颜方法、***及移动终端 |
JP2016073565A (ja) * | 2014-10-08 | 2016-05-12 | 株式会社進策 | 多機能扇子 |
CN106446207A (zh) * | 2016-09-30 | 2017-02-22 | 北京美到家科技有限公司 | 美妆库建库方法、个性化美妆辅助方法及其装置 |
CN106846281A (zh) * | 2017-03-09 | 2017-06-13 | 广州四三九九信息科技有限公司 | 图像美化方法以及终端设备 |
CN107146204A (zh) * | 2017-03-20 | 2017-09-08 | 深圳市金立通信设备有限公司 | 一种图像美颜方法及终端 |
CN107452034A (zh) * | 2017-07-31 | 2017-12-08 | 广东欧珀移动通信有限公司 | 图像处理方法及其装置 |
-
2017
- 2017-12-19 CN CN201711377003.7A patent/CN108121957B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1298597A2 (en) * | 2001-10-01 | 2003-04-02 | L'oreal | Simulation of effects of cosmetic products using a three-dimensional facial image |
CN102654903A (zh) * | 2011-03-04 | 2012-09-05 | 井维兰 | 一种人脸比对方法 |
CN102354397A (zh) * | 2011-09-19 | 2012-02-15 | 大连理工大学 | 基于面部特征器官相似性的人脸图像超分辨率重建方法 |
CN102819858A (zh) * | 2012-07-30 | 2012-12-12 | 北京中科盘古科技发展有限公司 | 一种动画素材组织和应用的方法 |
CN104899825A (zh) * | 2014-03-06 | 2015-09-09 | 腾讯科技(深圳)有限公司 | 一种对图片人物造型的方法和装置 |
CN105279186A (zh) * | 2014-07-17 | 2016-01-27 | 腾讯科技(深圳)有限公司 | 一种图像处理方法和*** |
JP2016073565A (ja) * | 2014-10-08 | 2016-05-12 | 株式会社進策 | 多機能扇子 |
CN104915634A (zh) * | 2015-02-16 | 2015-09-16 | 百度在线网络技术(北京)有限公司 | 基于人脸识别技术的图像生成方法和装置 |
CN104951770A (zh) * | 2015-07-02 | 2015-09-30 | 广东欧珀移动通信有限公司 | 人脸图像数据库的构建方法、应用方法及相应装置 |
CN105069007A (zh) * | 2015-07-02 | 2015-11-18 | 广东欧珀移动通信有限公司 | 一种建立美颜数据库的方法及装置 |
CN105279737A (zh) * | 2015-07-10 | 2016-01-27 | 深圳市美贝壳科技有限公司 | 一种生成人物照片素材的装置及方法 |
CN105513007A (zh) * | 2015-12-11 | 2016-04-20 | 惠州Tcl移动通信有限公司 | 一种基于移动终端的拍照美颜方法、***及移动终端 |
CN106446207A (zh) * | 2016-09-30 | 2017-02-22 | 北京美到家科技有限公司 | 美妆库建库方法、个性化美妆辅助方法及其装置 |
CN106846281A (zh) * | 2017-03-09 | 2017-06-13 | 广州四三九九信息科技有限公司 | 图像美化方法以及终端设备 |
CN107146204A (zh) * | 2017-03-20 | 2017-09-08 | 深圳市金立通信设备有限公司 | 一种图像美颜方法及终端 |
CN107452034A (zh) * | 2017-07-31 | 2017-12-08 | 广东欧珀移动通信有限公司 | 图像处理方法及其装置 |
Non-Patent Citations (6)
Title |
---|
KATHERINE FRITH 等: "The Construction of Beauty:A Cross-Cultural Analysis of Women’s Magazine Advertising", 《JOURNAL OF COMMUNICATION》 * |
V. LEPETIT 等: "Keypoint recognition using randomized trees", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
吴越: "基于人脸特征理解的肖像淡彩速写风格化***", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
孙雪梅: "人脸识别中的光照处理技术", 《中国博士学位论文全文数据库 信息科技辑》 * |
王少标: "基于个性与共性探讨的人脸美化", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
许少杰: "基于边缘保持平滑滤波与编辑传播的快速人脸美化方法及***实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108898587A (zh) * | 2018-06-19 | 2018-11-27 | Oppo广东移动通信有限公司 | 图片处理方法、图片处理装置及终端设备 |
CN109033276A (zh) * | 2018-07-10 | 2018-12-18 | Oppo广东移动通信有限公司 | 贴纸的推送方法、装置、存储介质及电子设备 |
CN109325170A (zh) * | 2018-08-06 | 2019-02-12 | 江西清华泰豪三波电机有限公司 | 素材推送方法及装置 |
CN109410128A (zh) * | 2018-09-21 | 2019-03-01 | 联想(北京)有限公司 | 一种图像处理方法、装置及电子设备 |
CN110956063A (zh) * | 2018-09-27 | 2020-04-03 | 北京小米移动软件有限公司 | 图像处理方法、装置、设备及存储介质 |
CN109348132A (zh) * | 2018-11-20 | 2019-02-15 | 北京小浪花科技有限公司 | 全景拍摄方法及装置 |
CN110276078A (zh) * | 2019-06-25 | 2019-09-24 | 苏州梦嘉信息技术有限公司 | 公用素材库建立***及方法 |
CN110992276A (zh) * | 2019-11-18 | 2020-04-10 | 北京字节跳动网络技术有限公司 | 一种图像处理方法、装置、介质和电子设备 |
CN111093025A (zh) * | 2019-12-30 | 2020-05-01 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
CN111263241A (zh) * | 2020-02-11 | 2020-06-09 | 腾讯音乐娱乐科技(深圳)有限公司 | 媒体数据的生成方法、装置、设备及存储介质 |
CN111626699B (zh) * | 2020-05-19 | 2023-06-16 | 正显新材料科技(广东)有限公司 | 塑胶样板的制备方案确定方法、终端和可读存储介质 |
CN111626699A (zh) * | 2020-05-19 | 2020-09-04 | 东彩塑胶颜料(深圳)有限公司 | 塑胶样板的制备方案确定方法、终端和可读存储介质 |
CN111627087A (zh) * | 2020-06-03 | 2020-09-04 | 上海商汤智能科技有限公司 | 一种人脸图像的展示方法、装置、计算机设备及存储介质 |
CN111627086A (zh) * | 2020-06-03 | 2020-09-04 | 上海商汤智能科技有限公司 | 一种头像的展示方法、装置、计算机设备及存储介质 |
CN112199018A (zh) * | 2020-10-14 | 2021-01-08 | 维沃移动通信有限公司 | 图像处理方法、装置 |
CN113177900A (zh) * | 2021-05-26 | 2021-07-27 | 广州市百果园网络科技有限公司 | 图像处理方法、装置、设备及存储介质 |
CN113177900B (zh) * | 2021-05-26 | 2024-04-26 | 广州市百果园网络科技有限公司 | 图像处理方法、装置、设备及存储介质 |
CN113784173A (zh) * | 2021-07-30 | 2021-12-10 | 北京达佳互联信息技术有限公司 | 视频播放方法、装置和电子设备 |
CN115841432A (zh) * | 2023-02-09 | 2023-03-24 | 北京达佳互联信息技术有限公司 | 美颜特效数据确定和模型训练方法、装置、设备和介质 |
CN115841432B (zh) * | 2023-02-09 | 2023-08-08 | 北京达佳互联信息技术有限公司 | 美颜特效数据确定和模型训练方法、装置、设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108121957B (zh) | 2021-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108121957A (zh) | 美颜素材的推送方法及装置 | |
CN107993191B (zh) | 一种图像处理方法和装置 | |
US10956784B2 (en) | Neural network-based image manipulation | |
CN109344742B (zh) | 特征点定位方法、装置、存储介质和计算机设备 | |
CN110166827B (zh) | 视频片段的确定方法、装置、存储介质及电子装置 | |
Radke | Computer vision for visual effects | |
CN104867161B (zh) | 一种视频处理方法及装置 | |
CN108234870A (zh) | 图像处理方法、装置、终端及存储介质 | |
CN108388882A (zh) | 基于全局-局部rgb-d多模态的手势识别方法 | |
Butler et al. | Real-time adaptive foreground/background segmentation | |
Yang et al. | Semantic portrait color transfer with internet images | |
CN105493078B (zh) | 彩色草图图像搜索 | |
CN108765278A (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
CN105684046B (zh) | 生成图像组成 | |
US9626585B2 (en) | Composition modeling for photo retrieval through geometric image segmentation | |
TW202234341A (zh) | 圖像處理方法及裝置、電子設備、儲存媒體和程式產品 | |
CN106203286A (zh) | 一种增强现实的内容获取方法、装置及移动终端 | |
CN111739027B (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
CN108198177A (zh) | 图像获取方法、装置、终端及存储介质 | |
CN108234814A (zh) | 控制方法和存储介质 | |
CN110297934A (zh) | 一种图像数据处理方法、装置及存储介质 | |
CN112489143A (zh) | 一种颜色识别方法、装置、设备及存储介质 | |
CN102567716A (zh) | 一种人脸合成***及实现方法 | |
CN108694719A (zh) | 图像输出方法和装置 | |
CN111046976A (zh) | 一种基于深度学习的虚拟美甲试戴方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 100085 information Road No. 2, Haidian District, Beijing (Beijing 1-8, D 2-2), two storey 207A room. Applicant after: QILIN HESHENG NETWORK TECHNOLOGY Inc. Address before: 100085 information Road No. 2, Haidian District, Beijing (Beijing 1-8, D 2-2), two storey 207A room. Applicant before: QILIN HESHENG NETWORK TECHNOLOGY Inc. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |