CN108920490A - 辅助化妆的实现方法、装置、电子设备以及存储介质 - Google Patents

辅助化妆的实现方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN108920490A
CN108920490A CN201810456104.1A CN201810456104A CN108920490A CN 108920490 A CN108920490 A CN 108920490A CN 201810456104 A CN201810456104 A CN 201810456104A CN 108920490 A CN108920490 A CN 108920490A
Authority
CN
China
Prior art keywords
user
dressing
makeup
image
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810456104.1A
Other languages
English (en)
Inventor
谷玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810456104.1A priority Critical patent/CN108920490A/zh
Publication of CN108920490A publication Critical patent/CN108920490A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种辅助化妆的实现方法、装置、电子设备以及存储介质，包括：提取用户的个性化特征；分别计算所述用户的个性化特征与数据库中的各个人脸特征的匹配度；选择数据库中匹配度最高的人脸特征对应的妆容作为推荐妆容推荐给用户。本发明实施例通过用户的个性化特征与数据库中的人脸特征的比对，推荐适合用户的妆容，避免了初学者学习不适合自己的妆容，还可以根据妆容向用户推荐合适的化妆品，避免了初学者盲目购买不适合自己的化妆品所导致的浪费。

Description

辅助化妆的实现方法、装置、电子设备以及存储介质
技术领域
本发明涉及人机交互技术领域，特别是指一种辅助化妆的实现方法、装置、电子设备以及存储介质。
背景技术
如今，人们对于美的追求越来越高，尤其是女生，会选择化妆来使得自己的面容更加美丽。但是，化妆往往需要长时间练习才能掌握，初学者经常会由于对自己了解不够、对化妆知识不足、化妆技巧缺乏，而导致画出的妆容不适合自己，或者妆容不协调，没有达到美的效果。
初学化妆的人，一般会选择自学视频或者找培训机构培训。人们通常通过书籍、互联网、口口相传等自学方式获得美妆技巧，如此获得的美妆技巧通常并不能考虑用户自身的五官特点，因此无法满足用户对时尚妆容的个性化需要。而且自学会导致学习进度慢，容易走弯路，选择的化妆品如果不适合自己，导致浪费时间和金钱。而选择培训机构进行培训，一方面，学费较贵；另一方面，化妆需要长时间的练习，经常去培训机构也会比较麻烦、耗时。
发明内容
有鉴于此，本发明的目的在于提出一种辅助化妆的实现方法、装置、电子设备以及存储介质，以解决用户无法高效地掌握美妆技巧的问题。
根据本发明第一方面，其提供了一种辅助化妆的实现方法，包括：
提取用户的个性化特征；
分别计算所述用户的个性化特征与数据库中的各个人脸特征的匹配度；
选择数据库中匹配度最高的人脸特征对应的妆容作为推荐妆容推荐给用户。
在本发明的一些实施例中，提取用户的个性化特征，包括：
采集用户的人脸图像，对所述用户的人脸图像进行人脸检测、关键点定位和颜色特征分析，从而提取用户的第一个性化特征。
在本发明的一些实施例中，提取用户的个性化特征，还包括：
通过人机交互的问答方式提取用户的第二个性化特征。
在本发明的一些实施例中，所述方法还包括：
响应于用户从所述推荐妆容中选目标妆容的操作，将所述目标妆容叠加在用户的人脸图像上进行显示。
在本发明的一些实施例中，所述方法还包括：
向用户显示当前化妆步骤对应的教学内容；
通过预先建立的手部识别模型实时检测采集的图像中是否有手部，如果在预设时间阈值内连续未检测到手部，则基于当前采集的用户人脸图像，对当前化妆步骤的练习结果进行打分。
在本发明的一些实施例中，所述方法还包括：
判断对当前化妆步骤的练习结果进行打分的分数是否超过分数阈值；若是，则继续向用户显示下一化妆步骤对应的教学内容；否则基于采集的用户人脸图像与当前化妆步骤对应的参考妆容图像之间的对比分析结果，向用户显示当前化妆步骤的修改意见。
在本发明的一些实施例中，基于当前采集的用户人脸图像与当前化妆步骤对应的参考妆容图像之间的对比分析结果，向用户显示当前化妆步骤的修改意见，包括：
采集用户的人脸图像，从而获取用户的脸部妆容图像；
对用户的脸部妆容图像进行人脸关键点定位，从用户的脸部妆容图像上截取当前化妆步骤对应的区域妆容图像；
从参考妆容图像上截取当前化妆步骤对应的区域妆容图像；
采用结构相似性算法对用户的区域妆容图像和参考妆容的区域妆容图像进行对比分析，得到对比分析结果，从而向用户显示当前化妆步骤的修改意见。
在本发明的一些实施例中，所述方法还包括：
响应于用户从所述推荐妆容中选目标妆容的操作，根据所述目标妆容的化妆步骤和用户的个性化特征，向用户推荐目标化妆品。
在本发明的一些实施例中，根据所述目标妆容的化妆步骤和用户的个性化特征，向用户推荐目标化妆品，包括：
根据所述目标妆容的化妆步骤，分别确定各个化妆步骤对应的各个化妆品；
针对每一个化妆步骤，分别计算每个化妆品对应的人脸特征与用户的个性化特征的匹配度，选择匹配度最高的人脸特征对应的化妆品作为目标化妆品，从而向用户推荐所述目标化妆品。
根据本发明第二方面，其提供了一种辅助化妆的实现装置，包括：
个性化特征提取模块，被配置为提取用户的个性化特征；
人脸特征匹配模块，被配置为分别计算所述用户的个性化特征与数据库中的各个人脸特征的匹配度；
妆容推荐模块，被配置为选择数据库中匹配度最高的人脸特征对应的妆容作为推荐妆容推荐给用户。
在本发明的一些实施例中，所述个性化特征提取模块被配置为：
采集用户的人脸图像，对所述用户的人脸图像进行人脸检测、关键点定位和颜色特征分析，从而提取用户的第一个性化特征。
在本发明的一些实施例中，所述个性化特征提取模块还被配置为：
通过人机交互的问答方式提取用户的第二个性化特征。
在本发明的一些实施例中，所述妆容推荐模块还被配置为：
响应于用户从所述推荐妆容中选目标妆容的操作，将所述目标妆容叠加在用户的人脸图像上进行显示。
在本发明的一些实施例中，所述装置还包括：
显示模块，被配置为向用户显示当前化妆步骤对应的教学内容；
打分模块，被配置为通过预先建立的手部识别模型实时检测采集的图像中是否有手部，如果在预设时间阈值内连续未检测到手部，则基于当前采集的用户人脸图像，对当前化妆步骤的练习结果进行打分。
在本发明的一些实施例中，所述打分模块还被配置为：
判断对当前化妆步骤的练习结果进行打分的分数是否超过分数阈值；若是，则继续向用户显示下一化妆步骤对应的教学内容；否则基于当前采集的用户人脸图像与当前化妆步骤对应的参考妆容图像之间的对比分析结果，向用户显示当前化妆步骤的修改意见。
在本发明的一些实施例中，基于当前采集的用户人脸图像与当前化妆步骤对应的参考妆容图像之间的对比分析结果，向用户显示当前化妆步骤的修改意见，包括：
采集用户的人脸图像，从而获取用户的脸部妆容图像；
对用户的脸部妆容图像进行人脸关键点定位，从用户的脸部妆容图像上截取当前化妆步骤对应的区域妆容图像；
从参考妆容图像上截取当前化妆步骤对应的区域妆容图像；
采用结构相似性算法对用户的区域妆容图像和参考妆容的区域妆容图像进行对比分析，得到对比分析结果，从而向用户显示当前化妆步骤的修改意见。
在本发明的一些实施例中，所述妆容推荐模块还被配置为：
响应于用户从所述推荐妆容中选目标妆容的操作，根据所述目标妆容的化妆步骤和用户的个性化特征，向用户推荐目标化妆品。
在本发明的一些实施例中，根据所述目标妆容的化妆步骤和用户的个性化特征，向用户推荐目标化妆品，包括：
根据所述目标妆容的化妆步骤，分别确定各个化妆步骤对应的各个化妆品；
针对每一个化妆步骤，分别计算每个化妆品对应的人脸特征与用户的个性化特征的匹配度，选择匹配度最高的人脸特征对应的化妆品作为目标化妆品，从而向用户推荐所述目标化妆品。
根据本发明第三方面，其提供了一种电子设备，包括处理器和存储器，所述存储器用于存储计算机指令，其中，所述计算机指令被所述处理器运行时执行上述任一实施例中所述的辅助化妆的实现方法。
根据本发明第四方面，其提供了一种存储介质，存储有适于由处理器运行的计算机指令，所述计算机指令被处理器运行时执行根据上述任一实施例中所述的辅助化妆的实现方法。
本发明实施例通过用户的个性化特征与数据库中的人脸特征的比对，推荐适合用户的妆容，避免了初学者学***，简捷地辅助用户进行多次练习。因此，本发明实施例不但可以加快用户学习化妆的进度，还能向用户推荐合适的化妆品，从而减少浪费。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例中辅助化妆的实现方法的流程图；
图2为本发明另一个实施例中辅助化妆的实现方法的流程图；
图3为本发明再一个实施例中辅助化妆的实现方法的流程图；
图4为本发明一个实施例中的显示屏上的各分区示意图；
图5为本发明一个实施例中辅助化妆的实现装置的结构示意图；
图6为本发明另一个实施例中辅助化妆的实现装置的结构示意图；
图7为本发明一个实施例中电子设备的内部结构示意图；
图8为本发明另一个实施例中辅助化妆的电子设备的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括””和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在一个实施例中，如图1所示，本发明实施例提供了一种辅助化妆的实现方法，该方法包括：
步骤101，提取用户的个性化特征。
可选地，所述个性化特征可以包括肤色、脸型、色素、黑眼圈、发色、年龄、性别、喜好、肤质类型等9个维度的特征，但是不限于这9个维度的特征。作为本发明的又一个实施例，可以通过采集用户的人脸图像和/或通过人机交互的问答方式提取用户的个性化特征。不同的用户具有不同的个性化特征，这些个性化特征会影响后续的妆容推荐结果以及化妆品推荐结果。
所述提取用户的个性化特征的步骤可以包括：采集用户的人脸图像，对所述用户的人脸图像进行人脸检测、关键点定位和颜色特征分析，从而提取用户的第一个性化特征；还可以是，通过人机交互的问答方式提取用户的第二个性化特征。其中，第一个性化特征可以包括肤色、脸型、色素、黑眼圈、发色等特征，所述第二个性化特征可以包括年龄、性别、喜好、肤质类型等特征。
在该实施例中，通过摄像头多角度地采集用户的人脸图像，并将图片传给个性化特征提取模块，用来提取肤色、脸型、色素、黑眼圈、发色等第一个性化特征。人脸图像可以是由移动终端进行采集的。移动终端上安装有可以用于拍摄的摄像头，用户可以通过移动终端发起拍照指令，移动终端在检测到拍照指令之后，通过摄像头采集拍摄图像。可以理解的是，人脸图像还可以是通过其他途径获取的，在此不做限定。例如，人脸还可以是从网页中下载的，或者是从外接存储设备中导入的等等。而年龄、性别、喜好、皮肤类型等第二个性化特征通过人机交互的问答方式获得，比如通过在触摸屏上显示相关问题，由用户进行回答，或者通过语音问答的方式来实现。
作为本发明的再一个实施例，提取第一个性化特征的步骤可以具体包括：
1)采集用户的人脸图像，并对所述人脸图像进行人脸检测，从而提取人脸轮廓；
2)对所述人脸图像进行关键点定位，从而提取定位人脸的眼睛、鼻子、嘴巴、下巴等五官，然后根据人脸轮廓和关键点定位结果得到用户的脸型特征，比如圆脸型脸型、椭圆形脸型、卵圆形脸型、倒卵圆形脸型、方形脸型、长方形脸型、梯形脸型、倒梯形脸型、菱形脸型、五角形脸型等；
3)通过提取人脸图像不同区域的颜色特征，分析得到用户的肤色特征，比如白、偏白、偏黄、偏黑、黑。还可以根据不同区域的颜色特征，进一步分析得到用户的肤色均一化特征，从而判断用户的肤色均一化程度。可选地，可以采用如下公式计算：
其中，Nor是肤色均一化特征，N是区域的数量，si是各个区域的肤色值，m是N个区域的肤色均值。
4)对人脸图像的不同区域进行暗点分析和统计，如果达到预设的数量阈值，说明用户的色素斑点比较多，在后续化妆练习时，也会增加遮瑕的步骤。
5)根据关键点定位结果，对用户的眼睛周围的图像进行像素值分析，判断黑眼圈的程度，如果黑眼圈较深，则会在后续妆容建议时增加局部遮瑕的步骤。
6)提取用户的发色，比如黑色、黄色、棕色、红棕色等。
步骤102，分别计算所述用户的个性化特征与数据库中的各个人脸特征的匹配度。
云端的数据库中存储有大量的不同类型的妆容以及适合的人脸特征，在获取到用户的个性化特征后，数据库中不同类型的妆容对应的人脸特征，分别计算用户的个性化特征与数据库中的各个人脸特征的匹配度。
可选地，n维的人脸特征feature＝{f1,f2,…,fn}，分别代表了人脸的n个特征(肤色、脸型、色素、黑眼圈、发色、年龄、性别、喜好、肤质类型等)，那么用户的个性化特征f与数据库中的人脸特征f’的匹配度sim计算如下：
其中，且数值不变。
一般来说，妆容种类可以分为：淡妆(生活淡妆、工作妆、旅游妆)、浓妆(晚宴妆、舞会妆、舞台妆)、个性妆(可爱妆、烟熏妆、古典妆、波西米亚妆、酷妆等)、幻彩妆等。因此，不同类型的妆容对应于不同的人脸特征，如表1所示：
表1不同类型的妆容及其对应的人脸特征
举例来说，人脸特征feature＝{f1,f2,f3,f4,f5,f6,f7,f8,f9}，分别代表了人脸的9个特征(肤色、脸型、色素、黑眼圈、发色、年龄、性别、喜好、肤质类型)，那么用户的个性化特征f与数据库中的人脸特征f’的匹配度sim计算如下：
其中，且数值不变。
因此，通过执行步骤202，可以分别计算得到用户的个性化特征与数据库中的各个人脸特征的匹配度。
步骤103，选择数据库中匹配度最高的人脸特征对应的妆容作为推荐妆容推荐给用户。
基于步骤102的计算结果，选择匹配度最高的人脸特征对应的妆容作为推荐妆容进行输出。需要指出的是，可以选择不同种类的妆容可以包括不同的子妆容，比如Look1、Look2、Look3等，向用户推荐某一个种类的妆容(例如生活淡妆)，用户可以根据自身的需要，选择该种类妆容下的子种类(例如Look1)。
因此，以匹配度最高的妆容作为推荐妆容，向用户推荐最适合的妆容，例如眉形(例如自然眉、柳叶眉、平眉、剑眉、一字眉等)，眼型等，本发明实施例提供的方法不但能够结合用户的五官特点，向用户推荐适合的妆容，还缩短了用户查找适合的妆容的时间，使得用户能够加快学习进度，少走弯路。
作为本发明的再一个实施例，在步骤103之后，所述方法还可以包括：响应于用户从所述推荐妆容中选目标妆容的操作，将所述目标妆容叠加在用户的人脸图像上进行显示。当用户选择某个妆容种类中的子妆容作为目标妆容时，根据用户的选择生成相应的妆容，将该妆容叠加在用户的人脸图像上，并显示在显示屏上。用户对目标妆容的选择操作可以是触控操作、物理按键的按压操作、语音控制操作或对电子设备的晃动操作。触控操作可为触摸点击操作、触摸长按操作、触摸滑动操作、多点触控操作等操作。电子设备可提供选择按钮，当侦测到对该选择按钮的点击操作时，将目标妆容叠加在用户的人脸图像上进行显示。电子设备还可预设开启语音信息。通过调用语音接收装置，接收对应的语音信息，当检测到该语音信息与该开启语音信息匹配时，也可触发该选择操作。通过解析，可判定该语音信息和预设的开启语音信息相匹配，从而将目标妆容叠加在用户的人脸图像上进行显示。
作为本发明的再一个实施例，在步骤103之后，所述方法还可以包括：响应于用户从所述推荐妆容中选目标妆容的操作，根据所述目标妆容的化妆步骤和用户的个性化特征，向用户推荐目标化妆品。当用户选择某个妆容种类中的子妆容作为目标妆容时，根据用户选择的目标妆容，从数据库中获取目标妆容的化妆步骤，从而根据所述目标妆容的化妆步骤和用户的个性化特征，确定合适的目标化妆品，并向用户推荐目标化妆品。因此，本发明实施例可以为用户推荐适合其的化妆品的牌子及款式，避免用户盲目购买化妆品。用户对目标妆容的选择操作可以是触控操作、物理按键的按压操作、语音控制操作或对电子设备的晃动操作。触控操作可为触摸点击操作、触摸长按操作、触摸滑动操作、多点触控操作等操作。电子设备可提供选择按钮，当侦测到对该选择按钮的点击操作时，向用户推荐目标化妆品。电子设备还可预设开启语音信息。通过调用语音接收装置，接收对应的语音信息，当检测到该语音信息与该开启语音信息匹配时，也可触发该选择操作。通过解析，可判定该语音信息和预设的开启语音信息相匹配，从而向用户推荐目标化妆品。
作为本发明的另一个实施例，根据所述目标妆容的化妆步骤和用户的个性化特征，向用户推荐目标化妆品的步骤可以具体包括：根据所述目标妆容的化妆步骤，分别确定各个化妆步骤对应的各个化妆品；针对每一个化妆步骤，分别计算每个化妆品对应的人脸特征与用户的个性化特征的匹配度，选择匹配度最高的人脸特征对应的化妆品作为目标化妆品，从而向用户推荐所述目标化妆品。
在该实施例中，可以根据用户选择的目标妆容，向用户推荐该妆容所需要的化妆品的品牌及款式。不同妆容需要的化妆步骤不同，不同步骤根据用户人脸特征会有不同的化妆品推荐。例如，黑头发的人与黄头发的人所需要的眉笔的色号不同，干性皮肤的人与油性皮肤的人适合的粉底也会不同。可以基于步骤201中获取的用户的个性化特征，依次按照化妆步骤，对用户的个性化特征与数据库中的人脸特征进行相似度匹配。在每个化妆步骤中，选取匹配度最大的人脸特征对应的化妆品作为目标化妆品，并向用户推荐所述目标化妆品。
以生活淡妆中的Look1妆容为例，其依次包括隔离、遮瑕、粉底、定妆等化妆步骤。不同的化妆步骤对应有不同的人脸特征以及推荐化妆品，如表2所示：
表2数据中心存储的某妆容中人脸特征列表及推荐化妆品列表
以隔离步骤为例，计算用户的个性化户特征f＝{f1,,f8,f9}与Ge1对应的人脸特征的匹配度sim：
然后，依次计算计算用户的个性化户特征f＝{f1,f8,f9}与Ge2、…、GeN对应的人脸特征的匹配度，最后选择匹配度最高的人脸特征对应的化妆品作为目标化妆品。
需要指出的是，不同的化妆步骤对应的人脸特征不同，有些化妆步骤仅对应于三个维度的人脸特征，有些化妆步骤则需要对应于八个维度的人脸特征，因此需要根据各个化妆步骤对应的人脸特征选择用户的多维个性化特征中的某一些个性化特征来计算匹配度。
作为本发明的再一个实施例，所述辅助化妆的实现方法还可以包括预先通过机器学习方法或者训练深度学习模型，建立手部识别模型，那么，在用户选择目标妆容之后，所述方法还包括：向用户显示当前化妆步骤对应的教学内容，并且通过预先建立的手部识别模型实时检测采集的图像中是否有手部，如果在预设时间阈值内连续未检测到手部，则基于当前采集的用户人脸图像，对当前化妆步骤的练习结果进行打分。
线下采集大量的关于手部的不同姿态的正负样本，利用Adaboost(一种迭代算法)、随机森林等机器学习方法或者训练深度学习模型，得到手部识别模型，然后通过该手部识别模型实时检测采集的图像中是否有手部，当超过预设时间阈值内连续没有手部出现在相机视野中时，则认为用户已经完成当前化妆步骤的练习，就会基于当前采集的用户人脸图像，对当前化妆步骤的练习结果进行打分。可选地，所述方法还可以包括：判断对当前化妆步骤的练习结果进行打分的分数是否超过分数阈值；若是，则继续向用户显示下一化妆步骤对应的教学内容；若否，则基于当前采集的用户人脸图像与当前化妆步骤对应的参考妆容图像之间的对比分析结果，向用户显示当前化妆步骤的修改意见。
作为本发明的再一个实施例，如图2所示，所述辅助化妆的实现方法可以包括：
步骤201，向用户显示当前化妆步骤对应的教学内容，例如当前步骤的化妆手法、注意事项、视频教程等；
步骤202，通过手部识别模型实时检测采集的图像中是否有手部出现；
步骤203，判断是否在预设时间阈值内连续未检测到手部，若是，则执行步骤204，若否，则执行步骤202；
步骤204，结束当前化妆步骤，并基于采集的用户的当前人脸图像，对当前化妆步骤的练习结果进行打分；
步骤205，判断分数是否超过分数阈值，若是，则执行步骤206，若否，则执行步骤207；
步骤206，进入下一化妆步骤的练习，从而向用户显示下一化妆步骤对应的教学内容；
步骤207，基于当前采集的用户人脸图像与当前化妆步骤对应的参考妆容图像之间的对比分析结果，向用户显示当前化妆步骤的修改意见；
步骤208，判断是否接收到略过再一次练习的指令，若是，则执行步骤209，若否，则执行步骤201；
步骤209，判断是否完成所有化妆步骤的练习，若是，则执行步骤210，若否，则执行步骤206；
步骤210，基于当前采集的用户人脸图像与当前化妆步骤对应的参考妆容图像之间的对比分析结果，对整体妆容进行评价和显示，并记录略过的化妆步骤。
需要说明的是，在步骤210中，如果用户略过一些步骤，则在下次练习过程中，关于该步骤的文字和视频指导会更多，更详细，以使用户可以重点练习略过的步骤。
在用户选择目标妆容后，可以根据目标妆容进行练习，在整个练习过程中全程指导，将每个步骤的手法和注意事项显示显示屏上供用户参考，并且将目标妆容和用户当前的人脸图像进行实时对比显示，当某一个步骤完成时，对当前步骤进行评分，并实时给出修改建议，从而提高用户的学习效率。
作为本发明的再一个实施例，如图3所示，基于当前采集的用户人脸图像与当前化妆步骤对应的参考妆容图像之间的对比分析结果，向用户显示当前化妆步骤的修改意见的步骤可以包括：
步骤301，采集用户的人脸图像，从而获取用户的脸部妆容图像；
步骤302，对用户的脸部妆容图像进行人脸关键点定位，从用户的脸部妆容图像上截取当前化妆步骤对应的区域妆容图像；
步骤303，从参考妆容图像上截取当前化妆步骤对应的区域妆容图像；
步骤304，采用结构相似性算法对用户的区域妆容图像和参考妆容的区域妆容图像进行对比分析，得到对比分析结果，从而向用户显示当前化妆步骤的修改意见。
在练习过程中会在某个步骤完成后，将局部效果对比显示出来，比如当画完眉毛后，可以将参考妆容的眉毛图像与本用户自己完成的眉毛图像对比显示出来，让用户更加清晰的看出问题。由于某些区域会比较小，影响用户观察的效果，因此可以将获取的局部区域图像统一放大到固定尺寸，在放大的过程中利用双三次插值法或者其他机器学习算法来降低放大过程中带来的失真。
需要指出的是，无论是对局部妆容进行评价打分，还是对整体妆容进行打分，都可以采用用户脸部妆容图像X与参考妆容图像Y的结构相似性(Structural SimilarityIndex，简称SSIM)来进行评价，分别从亮度、对比度、结构三方面度量。
SSIM(X,Y)＝l(X,Y)·c(X,Y)·s(X,Y)
其中，μX、μY分别表示X和Y的均值，σX、σY表示X和Y的方差，σXY是X和Y的协方差,C1、C2、C3是常数。即：
如果I(X,Y)低，代表用户妆容的亮度与参考妆容的亮度有差别。如果c(X,Y)低，代表用户妆容的对比度不好，比如高光和暗影步骤有问题。如果s(X,Y)低，以眉形为例，代表用户画的眉毛形状与参考妆容的眉毛形状有差别。
用户在练习过程中，将整体参考妆容图像、局部参考妆图像、当前步骤手法、注意事项以及相关视频教程显示在显示屏上，各显示在屏幕上分区如图5所示。其中，1区是镜面区，作为镜子作用供用户使用；2区是当前化妆步骤的局部参考妆容图像的显示区，比如当前化妆步骤为画眉毛，那么2区显示的是参考眉型；3区是用户完成当前化妆步骤后，用户的局部妆容图像的显示区；4区是用户完成整体妆容后，用户的脸部妆容图像的显示区；5区是参考妆容图像的显示区；6区是当前化妆步骤对应的化妆手法、注意事项放入显示区；7区是当前化妆步骤对应的视频教程的显示区；8区是打分和修改意见的显示区。
作为本发明的再一个实施例，所述辅助化妆的实现方法还包括：根据用户的历史练***。
作为本发明的再一个实施例，所述辅助化妆的实现方法还包括：根据用户的个性化特征、练习过程和练习结果，对用户进行刻画用户画像，并根据大数据分析，将其他类似的用户的行为推荐给该用户。比如用户的眉毛一直不够好，则向该用户推荐其他类似用户关于画眉毛步骤的短视频，实现更加有针对性的指导。
因此，本发明实施例能够在练习过程中给与用户指导，并在完成后对化妆过程评分，给出建议，并记录，那么在下一次练习的时候根据上一次练习结果进行针对性的重点指导(局部练习时间增大以及更加详细的指导练习)。
在一个实施例中，如图5所示，提供了一种辅助化妆的实现装置，该辅助化妆的实现装置50包括个性化特征提取模块51、人脸特征匹配模块52和妆容推荐模块53，所述个性化特征提取模块51被配置为提取用户的个性化特征，所述人脸特征匹配模块52被配置为分别计算所述用户的个性化特征与数据库中的各个人脸特征的匹配度，所述妆容推荐模块53被配置为选择数据库中匹配度最高的人脸特征对应的妆容作为推荐妆容推荐给用户。
在本发明的一些实施例中，所述个性化特征提取模块51被配置为：采集用户的人脸图像，对所述用户的人脸图像进行人脸检测、关键点定位和颜色特征分析，从而提取用户的第一个性化特征。
在本发明的一些实施例中，所述个性化特征提取模块51还被配置为：通过人机交互的问答方式提取用户的第二个性化特征。
在本发明的一些实施例中，所述妆容推荐模块53还被配置为：响应于用户从所述推荐妆容中选目标妆容的操作，将所述目标妆容叠加在用户的人脸图像上进行显示。
在本发明的一些实施例中，所述装置还包括显示模块和打分模块，其中所述显示模块被配置为向用户显示当前化妆步骤对应的教学内容，所述打分模块被配置为通过预先建立的手部识别模型实时检测采集的图像中是否有手部，如果在预设时间阈值内连续未检测到手部，则基于当前采集的用户人脸图像，对当前化妆步骤的练习结果进行打分。
在本发明的一些实施例中，所述打分模块还被配置为：判断对当前化妆步骤的练习结果进行打分的分数是否超过分数阈值；若是，则继续向用户显示下一化妆步骤对应的教学内容；否则基于当前采集的用户人脸图像与当前化妆步骤对应的参考妆容图像之间的对比分析结果，向用户显示当前化妆步骤的修改意见。
在本发明的一些实施例中，基于当前采集的用户人脸图像与当前化妆步骤对应的参考妆容图像之间的对比分析结果，向用户显示当前化妆步骤的修改意见，包括：采集用户的人脸图像，从而获取用户的脸部妆容图像；对用户的脸部妆容图像进行人脸关键点定位，从用户的脸部妆容图像上截取当前化妆步骤对应的区域妆容图像；从参考妆容图像上截取当前化妆步骤对应的区域妆容图像；采用结构相似性算法对用户的区域妆容图像和参考妆容的区域妆容图像进行对比分析，得到对比分析结果，从而向用户显示当前化妆步骤的修改意见。
在本发明的一些实施例中，所述妆容推荐模块53还被配置为：响应于用户从所述推荐妆容中选目标妆容的操作，根据所述目标妆容的化妆步骤和用户的个性化特征，向用户推荐目标化妆品。
在本发明的一些实施例中，根据所述目标妆容的化妆步骤和用户的个性化特征，向用户推荐目标化妆品，包括：根据所述目标妆容的化妆步骤，分别确定各个化妆步骤对应的各个化妆品；针对每一个化妆步骤，分别计算每个化妆品对应的人脸特征与用户的个性化特征的匹配度，选择匹配度最高的人脸特征对应的化妆品作为目标化妆品，从而向用户推荐所述目标化妆品。
可见，本发明实施例通过用户的个性化特征与数据库中的人脸特征的比对，推荐适合用户的妆容，避免了初学者学***，简捷地辅助用户进行多次练习。因此，本发明实施例不但可以加快用户学习化妆的进度，还能向用户推荐合适的化妆品，从而减少浪费。
本领域技术人员可以理解的是，上述辅助化妆的实现装置中各个模块和单元的划分仅用于举例说明，在其他实施例中，可将辅助化妆的实现装置按照需要划分为不同的模块和单元，以完成上述辅助化妆的实现装置的全部或部分功能。
参见图6，其为本发明另一个实施例中辅助化妆的实现装置的结构示意图。在该实施例中，所述装置包括个性化特征提取模块、妆容推荐模块、存储模块、化妆品推荐模块、妆容指导模块、显示模块、摄像头和无线通讯单元，其中，所述个性化特征提取模块包括人脸特征检测单元、关键点定位单元、肤色分析单元和人机交互单元。在该实施例中，所述摄像头多角度地采集用户的人脸图像，并将图片传给个性化特征提取模块，所述人脸特征检测单元、关键点定位单元和肤色分析单元用来提取肤色、脸型、色素、黑眼圈、发色等第一个性化特征，人机交互单元与用户进行交互，从而获得年龄、性别、喜好、肤质类型等第二个性化特征。
通过无线通讯单元获取存储在数据中心的不同类型的妆容以及适合的人脸特征、不同妆容对应的化妆步骤、各个化妆步骤对应的各个化妆品、每个化妆品对应的人脸特征、各个化妆步骤对应的妆容图像等。存储模块可以存储用户的个性化特征，也可以存储从数据中心下载的不同类型的妆容以及适合的人脸特征、不同妆容对应的化妆步骤、各个化妆步骤对应的各个化妆品、每个化妆品对应的人脸特征、各个化妆步骤对应的妆容图像等。其中，数据中心的妆容推荐中心可以存储有不同类型的妆容以及适合的人脸特征、不同妆容对应的化妆步骤等，化妆品推荐中心可以存储有各个化妆步骤对应的各个化妆品、每个化妆品对应的人脸特征等，妆容指导中心可以存储有各个化妆步骤对应的妆容图像等。
进一步地，妆容推荐模块将计算所述用户的个性化特征与数据库中的各个人脸特征的匹配度，选择数据库中匹配度最高的人脸特征对应的妆容作为推荐妆容推荐给用户，并通过显示模块进行显示。妆容指导模块向用户显示当前化妆步骤对应的教学内容，通过预先建立的手部识别模型实时检测采集的图像中是否有手部，如果在预设时间阈值内连续未检测到手部，则基于当前采集的用户人脸图像，对当前化妆步骤的练习结果进行打分。妆容指导模块还判断对当前化妆步骤的练习结果进行打分的分数是否超过分数阈值；若是，则继续向用户显示下一化妆步骤对应的教学内容；否则基于当前采集的用户人脸图像与当前化妆步骤对应的参考妆容图像之间的对比分析结果，向用户显示当前化妆步骤的修改意见。
化妆品推荐模块响应于用户从所述推荐妆容中选目标妆容的操作，根据所述目标妆容的化妆步骤和用户的个性化特征，向用户推荐目标化妆品。具体地，化妆品推荐模块根据所述目标妆容的化妆步骤，分别确定各个化妆步骤对应的各个化妆品，针对每一个化妆步骤，分别计算每个化妆品对应的人脸特征与用户的个性化特征的匹配度，选择匹配度最高的人脸特征对应的化妆品作为目标化妆品，从而向用户推荐所述目标化妆品。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例所提供的辅助化妆的实现方法的步骤。
本发明实施例还提供了一种计算机程序产品。一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各实施例所提供的辅助化妆的实现方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器或者网络设备等)执行本发明实施例的方法。
图7为本发明一个实施例中电子设备的内部结构示意图。本发明实施例提供的辅助化妆的实现方法可以应用于如图7所示的电子设备，如图7所示，该电子设备包括通过***总线连接的处理器、存储器、显示屏和摄像头。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本发明实施例中提供的适用于电子设备的辅助化妆的实现方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random-Access-Memory，RAM)等。例如，在一个实施例中，存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作***、数据库和计算机程序。数据库中存储有用于实现以下各个实施例所提供的一种辅助化妆的实现方法相关的数据，比如可存储有用户的人脸图像、个性化特征等数据。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种辅助化妆的实现方法。内存储器为非易失性存储介质中的操作***计算机程序提供高速缓存的运行环境。摄像头可包括第一摄像头模组和第二摄像头模组，均可用于拍摄生成图像。显示屏可以是触摸屏，比如为电容屏或电子屏，用于显示图像等可视信息，还可以被用于检测作用于该显示屏的触摸操作，生成相应的指令。
本领域技术人员可以理解的是，图7中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。比如该电子设备还可包括通过***总线连接的网络接口，并通过该网络接口与其它设备进行通信，比如可通过该网络接口与获取其它设备上的人脸图像和/或个性化特征等数据。
根据本发明实施例，还提供了一种电子设备，如图8所示，该电子设备包括处理器81以及存储器82，该存储器82配置为存储计算机程序指令，计算机程序指令适于由处理器加载并执行如下方法：提取用户的个性化特征；分别计算所述用户的个性化特征与数据库中的各个人脸特征的匹配度；选择数据库中匹配度最高的人脸特征对应的妆容作为推荐妆容推荐给用户。
该处理器可以为各种适用的处理器，例如实现为中央处理器、微处理器、嵌入处理器等形式，可以采用X86、ARM等架构；存储器82可以为各种适用的存储装置，包括但不限于磁存储装置、半导体存储装置、光存储装置等，本发明的实施例对这些不作限制。
本发明所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
此外，根据本发明的一个实施例，处理器还可以加载并执行：采集用户的人脸图像，对所述用户的人脸图像进行人脸检测、关键点定位和颜色特征分析，从而提取用户的第一个性化特征。此外，根据本发明的一个实施例，处理器还可以加载并执行：通过人机交互的问答方式提取用户的第二个性化特征。
此外，根据本发明的一个实施例，处理器还可以加载并执行：响应于用户从所述推荐妆容中选目标妆容的操作，将所述目标妆容叠加在用户的人脸图像上进行显示。
此外，根据本发明的一个实施例，处理器还可以加载并执行：向用户显示当前化妆步骤对应的教学内容；通过预先建立的手部识别模型实时检测采集的图像中是否有手部，如果在预设时间阈值内连续未检测到手部，则基于当前采集的用户人脸图像，对当前化妆步骤的练习结果进行打分。
此外，根据本发明的一个实施例，处理器还可以加载并执行：判断对当前化妆步骤的练习结果进行打分的分数是否超过分数阈值；若是，则继续向用户显示下一化妆步骤对应的教学内容；否则基于当前采集的用户人脸图像与当前化妆步骤对应的参考妆容图像之间的对比分析结果，向用户显示当前化妆步骤的修改意见。
此外，根据本发明的一个实施例，处理器还可以加载并执行：采集用户的人脸图像，从而获取用户的脸部妆容图像；对用户的脸部妆容图像进行人脸关键点定位，从用户的脸部妆容图像上截取当前化妆步骤对应的区域妆容图像；从参考妆容图像上截取当前化妆步骤对应的区域妆容图像；采用结构相似性算法对用户的区域妆容图像和参考妆容的区域妆容图像进行对比分析，得到对比分析结果，从而向用户显示当前化妆步骤的修改意见。
此外，根据本发明的一个实施例，处理器还可以加载并执行：响应于用户从所述推荐妆容中选目标妆容的操作，根据所述目标妆容的化妆步骤和用户的个性化特征，向用户推荐目标化妆品。
此外，根据本发明的一个实施例，处理器还可以加载并执行：根据所述目标妆容的化妆步骤，分别确定各个化妆步骤对应的各个化妆品；
针对每一个化妆步骤，分别计算每个化妆品对应的人脸特征与用户的个性化特征的匹配度，选择匹配度最高的人脸特征对应的化妆品作为目标化妆品，从而向用户推荐所述目标化妆品。
由此可见，本发明实施例通过用户的个性化特征与数据库中的人脸特征的比对，推荐适合用户的妆容，避免了初学者学***，简捷地辅助用户进行多次练习。因此，本发明实施例不但可以加快用户学习化妆的进度，还能向用户推荐合适的化妆品，从而减少浪费。
需要说明的是，对于上述的***、方法和电子设备实施例，为了简单描述，故将其都表述为一系列的动作或模块组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序或模块连接的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行，某些模块可以采用其他连接方式。
本领域技术人员也应该知悉，说明书中所描述的实施例均属于一种实施例，上述实施例序号仅仅为了描述，所涉及的动作和模块并不一定是本发明所必须的。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括易失性存储介质或非易失性存储介质，例如U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (20)

1.一种辅助化妆的实现方法，其特征在于，包括：
提取用户的个性化特征；
分别计算所述用户的个性化特征与数据库中的各个人脸特征的匹配度；
选择数据库中匹配度最高的人脸特征对应的妆容作为推荐妆容推荐给用户。
2.根据权利要求1所述的辅助化妆的实现方法，其特征在于，提取用户的个性化特征，包括：
采集用户的人脸图像，对所述用户的人脸图像进行人脸检测、关键点定位和颜色特征分析，从而提取用户的第一个性化特征。
3.根据权利要求2所述的辅助化妆的实现方法，其特征在于，提取用户的个性化特征，还包括：
通过人机交互的问答方式提取用户的第二个性化特征。
4.根据权利要求2或3所述的辅助化妆的实现方法，其特征在于，还包括：
响应于用户从所述推荐妆容中选目标妆容的操作，将所述目标妆容叠加在用户的人脸图像上进行显示。
5.根据权利要求3所述的辅助化妆的实现方法，其特征在于，还包括：
向用户显示当前化妆步骤对应的教学内容；
通过预先建立的手部识别模型实时检测采集的图像中是否有手部，如果在预设时间阈值内连续未检测到手部，则基于当前采集的用户人脸图像，对当前化妆步骤的练习结果进行打分。
6.根据权利要求5所述的辅助化妆的实现方法，其特征在于，还包括：
判断对当前化妆步骤的练习结果进行打分的分数是否超过分数阈值；若是，则继续向用户显示下一化妆步骤对应的教学内容；否则基于当前采集的用户人脸图像与当前化妆步骤对应的参考妆容图像之间的对比分析结果，向用户显示当前化妆步骤的修改意见。
7.根据权利要求6所述的辅助化妆的实现方法，其特征在于，基于当前采集的用户人脸图像与当前化妆步骤对应的参考妆容图像之间的对比分析结果，向用户显示当前化妆步骤的修改意见，包括：
采集用户的人脸图像，从而获取用户的脸部妆容图像；
对用户的脸部妆容图像进行人脸关键点定位，从用户的脸部妆容图像上截取当前化妆步骤对应的区域妆容图像；
从参考妆容图像上截取当前化妆步骤对应的区域妆容图像；
采用结构相似性算法对用户的区域妆容图像和参考妆容的区域妆容图像进行对比分析，得到对比分析结果，从而向用户显示当前化妆步骤的修改意见。
8.根据权利要求2或3所述的辅助化妆的实现方法，其特征在于，还包括：
响应于用户从所述推荐妆容中选目标妆容的操作，根据所述目标妆容的化妆步骤和用户的个性化特征，向用户推荐目标化妆品。
9.根据权利要求8所述的辅助化妆的实现方法，其特征在于，根据所述目标妆容的化妆步骤和用户的个性化特征，向用户推荐目标化妆品，包括：
根据所述目标妆容的化妆步骤，分别确定各个化妆步骤对应的各个化妆品；
针对每一个化妆步骤，分别计算每个化妆品对应的人脸特征与用户的个性化特征的匹配度，选择匹配度最高的人脸特征对应的化妆品作为目标化妆品，从而向用户推荐所述目标化妆品。
10.一种辅助化妆的实现装置，其特征在于，包括：
个性化特征提取模块，被配置为提取用户的个性化特征；
人脸特征匹配模块，被配置为分别计算所述用户的个性化特征与数据库中的各个人脸特征的匹配度；
妆容推荐模块，被配置为选择数据库中匹配度最高的人脸特征对应的妆容作为推荐妆容推荐给用户。
11.根据权利要求10所述的辅助化妆的实现装置，其特征在于，所述个性化特征提取模块被配置为：
采集用户的人脸图像，对所述用户的人脸图像进行人脸检测、关键点定位和颜色特征分析，从而提取用户的第一个性化特征。
12.根据权利要求11所述的辅助化妆的实现装置，其特征在于，所述个性化特征提取模块还被配置为：
通过人机交互的问答方式提取用户的第二个性化特征。
13.根据权利要求11或12所述的辅助化妆的实现装置，其特征在于，所述妆容推荐模块还被配置为：
响应于用户从所述推荐妆容中选目标妆容的操作，将所述目标妆容叠加在用户的人脸图像上进行显示。
14.根据权利要求13所述的辅助化妆的实现装置，其特征在于，还包括：
显示模块，被配置为向用户显示当前化妆步骤对应的教学内容；
打分模块，被配置为通过预先建立的手部识别模型实时检测采集的图像中是否有手部，如果在预设时间阈值内连续未检测到手部，则基于当前采集的用户人脸图像，对当前化妆步骤的练习结果进行打分。
15.根据权利要求14所述的辅助化妆的实现装置，其特征在于，所述打分模块还被配置为：
判断对当前化妆步骤的练习结果进行打分的分数是否超过分数阈值；若是，则继续向用户显示下一化妆步骤对应的教学内容；否则基于当前采集的用户人脸图像与当前化妆步骤对应的参考妆容图像之间的对比分析结果，向用户显示当前化妆步骤的修改意见。
16.根据权利要求15所述的辅助化妆的实现装置，其特征在于，基于当前采集的用户人脸图像与当前化妆步骤对应的参考妆容图像之间的对比分析结果，向用户显示当前化妆步骤的修改意见，包括：
采集用户的人脸图像，从而获取用户的脸部妆容图像；
对用户的脸部妆容图像进行人脸关键点定位，从用户的脸部妆容图像上截取当前化妆步骤对应的区域妆容图像；
从参考妆容图像上截取当前化妆步骤对应的区域妆容图像；
采用结构相似性算法对用户的区域妆容图像和参考妆容的区域妆容图像进行对比分析，得到对比分析结果，从而向用户显示当前化妆步骤的修改意见。
17.根据权利要求11或12所述的辅助化妆的实现装置，其特征在于，所述妆容推荐模块还被配置为：
响应于用户从所述推荐妆容中选目标妆容的操作，根据所述目标妆容的化妆步骤和用户的个性化特征，向用户推荐目标化妆品。
18.根据权利要求17所述的辅助化妆的实现装置，其特征在于，根据所述目标妆容的化妆步骤和用户的个性化特征，向用户推荐目标化妆品，包括：
根据所述目标妆容的化妆步骤，分别确定各个化妆步骤对应的各个化妆品；
针对每一个化妆步骤，分别计算每个化妆品对应的人脸特征与用户的个性化特征的匹配度，选择匹配度最高的人脸特征对应的化妆品作为目标化妆品，从而向用户推荐所述目标化妆品。
19.一种电子设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机指令，其中，所述计算机指令被所述处理器运行时执行1-9中任一项权利要求所述的辅助化妆的实现方法。
20.一种存储介质，存储有适于由处理器运行的计算机指令，所述计算机指令被处理器运行时执行根据权利要求1-9任一所述的辅助化妆的实现方法。
CN201810456104.1A 2018-05-14 2018-05-14 辅助化妆的实现方法、装置、电子设备以及存储介质 Pending CN108920490A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810456104.1A CN108920490A (zh) 2018-05-14 2018-05-14 辅助化妆的实现方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810456104.1A CN108920490A (zh) 2018-05-14 2018-05-14 辅助化妆的实现方法、装置、电子设备以及存储介质

Publications (1)

Publication Number Publication Date
CN108920490A true CN108920490A (zh) 2018-11-30

Family

ID=64403403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810456104.1A Pending CN108920490A (zh) 2018-05-14 2018-05-14 辅助化妆的实现方法、装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN108920490A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069716A (zh) * 2019-04-29 2019-07-30 清华大学深圳研究生院 一种美妆推荐方法、***及计算机可读存储介质
CN110866139A (zh) * 2019-08-22 2020-03-06 北京新氧科技有限公司 一种化妆处理方法、装置及设备
CN110929146A (zh) * 2019-10-23 2020-03-27 阿里巴巴集团控股有限公司 数据处理方法、装置、设备和存储介质
CN111291642A (zh) * 2020-01-20 2020-06-16 深圳市商汤科技有限公司 一种妆容处理方法、装置、电子设备及存储介质
CN111339804A (zh) * 2018-12-19 2020-06-26 北京奇虎科技有限公司 一种自动化妆方法、装置和***
CN111797306A (zh) * 2020-05-23 2020-10-20 同济大学 一种基于机器视觉和机器学习的智能化妆推荐***
CN112528057A (zh) * 2020-12-11 2021-03-19 广东科学中心 一种妆容推荐方法、推荐装置、存储介质和终端
CN113208373A (zh) * 2021-05-20 2021-08-06 厦门希烨科技有限公司 一种智能化妆镜的控制方法和智能化妆镜
CN113455807A (zh) * 2020-06-02 2021-10-01 海信集团有限公司 一种智能设备
CN113592591A (zh) * 2021-07-28 2021-11-02 张士娟 一种基于面部识别的妆容推荐***
CN113723173A (zh) * 2021-06-29 2021-11-30 厦门大学 一种妆容自动推荐方法及***
CN113837016A (zh) * 2021-08-31 2021-12-24 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708575A (zh) * 2012-05-17 2012-10-03 彭强 基于人脸特征区域识别的生活化妆容设计方法及***
CN104331564A (zh) * 2014-11-10 2015-02-04 深圳市中兴移动通信有限公司 基于终端设备的妆饰指导方法和终端设备
US20160128450A1 (en) * 2011-03-01 2016-05-12 Sony Corporation Information processing apparatus, information processing method, and computer-readable storage medium
CN106204691A (zh) * 2016-07-19 2016-12-07 马志凌 虚拟化妆***
CN106294820A (zh) * 2016-08-16 2017-01-04 深圳市金立通信设备有限公司 一种指导化妆的方法及终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160128450A1 (en) * 2011-03-01 2016-05-12 Sony Corporation Information processing apparatus, information processing method, and computer-readable storage medium
CN102708575A (zh) * 2012-05-17 2012-10-03 彭强 基于人脸特征区域识别的生活化妆容设计方法及***
CN104331564A (zh) * 2014-11-10 2015-02-04 深圳市中兴移动通信有限公司 基于终端设备的妆饰指导方法和终端设备
CN106204691A (zh) * 2016-07-19 2016-12-07 马志凌 虚拟化妆***
CN106294820A (zh) * 2016-08-16 2017-01-04 深圳市金立通信设备有限公司 一种指导化妆的方法及终端

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339804A (zh) * 2018-12-19 2020-06-26 北京奇虎科技有限公司 一种自动化妆方法、装置和***
CN110069716B (zh) * 2019-04-29 2022-03-18 清华大学深圳研究生院 一种美妆推荐方法、***及计算机可读存储介质
CN110069716A (zh) * 2019-04-29 2019-07-30 清华大学深圳研究生院 一种美妆推荐方法、***及计算机可读存储介质
CN110866139A (zh) * 2019-08-22 2020-03-06 北京新氧科技有限公司 一种化妆处理方法、装置及设备
CN110929146A (zh) * 2019-10-23 2020-03-27 阿里巴巴集团控股有限公司 数据处理方法、装置、设备和存储介质
CN110929146B (zh) * 2019-10-23 2024-04-02 阿里巴巴集团控股有限公司 数据处理方法、装置、设备和存储介质
CN111291642B (zh) * 2020-01-20 2023-11-28 深圳市商汤科技有限公司 一种妆容处理方法、装置、电子设备及存储介质
CN111291642A (zh) * 2020-01-20 2020-06-16 深圳市商汤科技有限公司 一种妆容处理方法、装置、电子设备及存储介质
CN111797306A (zh) * 2020-05-23 2020-10-20 同济大学 一种基于机器视觉和机器学习的智能化妆推荐***
CN113455807A (zh) * 2020-06-02 2021-10-01 海信集团有限公司 一种智能设备
CN112528057A (zh) * 2020-12-11 2021-03-19 广东科学中心 一种妆容推荐方法、推荐装置、存储介质和终端
CN113208373A (zh) * 2021-05-20 2021-08-06 厦门希烨科技有限公司 一种智能化妆镜的控制方法和智能化妆镜
CN113723173A (zh) * 2021-06-29 2021-11-30 厦门大学 一种妆容自动推荐方法及***
CN113592591A (zh) * 2021-07-28 2021-11-02 张士娟 一种基于面部识别的妆容推荐***
CN113592591B (zh) * 2021-07-28 2024-02-02 张士娟 一种基于面部识别的妆容推荐***
CN113837016A (zh) * 2021-08-31 2021-12-24 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108920490A (zh) 辅助化妆的实现方法、装置、电子设备以及存储介质
US11790589B1 (en) System and method for creating avatars or animated sequences using human body features extracted from a still image
CN105184249B (zh) 用于人脸图像处理的方法和装置
US10799010B2 (en) Makeup application assist device and makeup application assist method
WO2021147920A1 (zh) 一种妆容处理方法、装置、电子设备及存储介质
US9955909B2 (en) Process for evaluation of at least one facial clinical sign
CN109614849A (zh) 基于生物识别的远程教学方法、装置、设备及存储介质
CN109885595A (zh) 基于人工智能的课程推荐方法、装置、设备及存储介质
JPWO2018079255A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN108182232A (zh) 基于电子书的人物展示方法、电子设备及计算机存储介质
CN108932654A (zh) 一种虚拟试妆指导方法及装置
CN109278051A (zh) 基于智能机器人的交互方法及***
CN112819718A (zh) 图像处理方法及装置、电子设备及存储介质
CN111968248A (zh) 基于虚拟形象的智能化妆方法、装置、电子设备及存储介质
CN107491543A (zh) 一种基于客户端的书法辅助练习方法及***
CN114723860A (zh) 虚拟形象的生成方法、装置、设备及存储介质
CN111507478A (zh) 一种ai化妆师***
JP2016045724A (ja) 電子機器
JP2016045723A (ja) 電子機器
CN110443122A (zh) 信息处理方法及相关产品
JP5782540B2 (ja) 美容カウンセリング方法
KR101898804B1 (ko) 온라인 타투 제작을 위한 장치 및 방법
CN113781271A (zh) 化妆教学方法及装置、电子设备、存储介质
US11442981B2 (en) Information providing device, information providing method, and recording medium with combined images corresponding to selected genre
CN110009560A (zh) 图像处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination