CN110751078B - 一种确定三维人脸的非肤色区域的方法和设备 - Google Patents

一种确定三维人脸的非肤色区域的方法和设备 Download PDF

Info

Publication number
CN110751078B
CN110751078B CN201910978982.4A CN201910978982A CN110751078B CN 110751078 B CN110751078 B CN 110751078B CN 201910978982 A CN201910978982 A CN 201910978982A CN 110751078 B CN110751078 B CN 110751078B
Authority
CN
China
Prior art keywords
face
region
skin color
determining
coordinate information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910978982.4A
Other languages
English (en)
Other versions
CN110751078A (zh
Inventor
徐博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Spiritplume Interactive Entertainment Technology Co ltd
Original Assignee
Chongqing Spiritplume Interactive Entertainment Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Spiritplume Interactive Entertainment Technology Co ltd filed Critical Chongqing Spiritplume Interactive Entertainment Technology Co ltd
Priority to CN201910978982.4A priority Critical patent/CN110751078B/zh
Publication of CN110751078A publication Critical patent/CN110751078A/zh
Application granted granted Critical
Publication of CN110751078B publication Critical patent/CN110751078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种确定三维人脸的非肤色区域的方法和设备，该方法包括：对目标人脸进行实时扫描，生成与所述目标人脸对应的照片和网格模型；根据所述照片和预置的人脸UV图获取与所述网格模型对应的动态遮罩；基于预设肤色范围确定所述动态遮罩的肤色区域中的待标记区域，其中，所述动态遮罩中除五官区域以外的区域为所述肤色区域；根据所述待标记区域对应的三角面信息确定所述非肤色区域，从而通过快速准确识别出三维人脸出现的非肤色区域，使用户及时确定三维人脸模型的成像质量，提高了用户体验。

Description

一种确定三维人脸的非肤色区域的方法和设备
技术领域
本申请涉及人像处理技术领域，特别涉及一种确定三维人脸的非肤色区域的方法和设备。
背景技术
目前市场上已有的扫描成像技术，虽然也可生成与真实用户相似的三维人脸模型，但若用户的脸部出现局部遮挡(如头发遮挡)、局部曝光、局部过暗，会导致成像后的三维人脸模型脸部出现非肤色区域，如局部色块。由于现有技术中并不能准确识别该非肤色区域，导致用户不能确定三维人脸模型的成像质量，从而使拍摄成像的三维人脸模型质量不高，影响用户体验。
发明内容
本发明提供一种确定三维人脸的非肤色区域的方法，用以解决现有技术中不能准确识别三维人脸中出现的非肤色区域，导致用户不能确定三维人脸模型的成像质量的技术问题，该方法包括：
对目标人脸进行实时扫描，生成与所述目标人脸对应的照片和网格模型；
根据所述照片和预置的人脸UV图获取与所述网格模型对应的动态遮罩；
基于预设肤色范围确定所述动态遮罩的肤色区域中的待标记区域，其中，所述动态遮罩中除五官区域以外的区域为所述肤色区域；
根据所述待标记区域对应的三角面信息确定所述非肤色区域。
优选的，根据所述照片和预置的人脸UV图获取与所述网格模型对应的动态遮罩，具体为：
根据所述预设肤色范围确定所述照片中的人脸非肤色区域；
根据所述人脸UV图确定人脸范围；
确定所述人脸非肤色区域中的关键点坐标信息和所述人脸范围内的非关键点坐标信息，其中所述关键点坐标信息具体为五官区域关键点坐标信息；
将所述关键点坐标信息和非关键点坐标信息转换为所述UV图中的UV坐标信息；
基于所述UV坐标信息获取所述动态遮罩。
优选的，确定所述人脸非肤色区域中的关键点坐标信息和所述人脸范围内的非关键点坐标信息，具体为：
基于机器学习的神经网络方式确定所述关键点坐标信息；
根据所述关键点坐标信息采用预测算法进行插值运算确定所述非关键点坐标信息。
优选的，基于预设肤色范围确定所述动态遮罩的肤色区域中的待标记区域，具体为：
遍历所述肤色区域，判断所述肤色区域中是否存在超出所述预设肤色范围的区域；
若是，将超出所述预设肤色范围的区域作为所述待标记区域。
优选的，根据所述待标记区域对应的三角面信息确定所述非肤色区域，具体为：
根据所述待标记区域中各顶点所在的三角面生成三角面队列；
对所述三角面队列进行分类获取预设数量的连续三角面队列；
根据所述连续三角面队列对应的网格信息确定所述三角面信息；
基于所述三角面信息进行高亮操作后确定所述非肤色区域。
优选的，在根据所述待标记区域中各顶点所在的三角面生成三角面队列之后，还包括：
步骤a、在所述三角面队列中选取第一个三角面作为当前搜索面；
步骤b、将所述当前搜索面加入搜索队列和结果队列；
步骤c、在所述三角面队列中查询与所述当前搜索面邻近的三角面；
步骤d、若所述邻近的三角面不在所述结果队列，则将所述邻近的三角面加入所述搜索队列和所述结果队列；
步骤e、移除所述搜索队列队首，将新的搜索队列队首作为当前搜索面，重复步骤b-步骤d，直至遍历所述搜索队列。
优选的，对所述三角面队列进行分类获取预设数量的连续三角面队列，具体为：
步骤A、根据所述三角面队列确定集合A；
步骤B、基于步骤a-步骤e确定集合B，将所述集合B存放到队列DS中；
步骤C、通过所述集合A减去所述集合B确定集合C；
步骤D、将所述集合C作为新的集合A，重复执行步骤A-步骤C，直至所述新的集合A为空集；
步骤E、根据所述队列DS中存放的分类后的集合获取预设数量的连续三角面队列。
相应地，本发明还提出了一种确定三维人脸的非肤色区域的设备，包括：
扫描模块，用于对目标人脸进行实时扫描，生成与所述目标人脸对应的照片和网格模型；
获取模块，用于根据所述照片和预置的人脸UV图获取与所述网格模型对应的动态遮罩；
第一确定模块，用于基于预设肤色范围确定所述动态遮罩的肤色区域中的待标记区域，其中，所述动态遮罩中除五官区域以外的区域为所述肤色区域；
第二确定模块，用于根据所述待标记区域对应的三角面信息确定所述非肤色区域。
相应地，本发明还提出了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如上所述的确定三维人脸的非肤色区域的方法。
相应地，本发明还提出了一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行如上所述的确定三维人脸的非肤色区域的方法。
与现有技术对比，本发明具备以下有益效果：
本发明公开了一种确定三维人脸的非肤色区域的方法和设备，该方法包括：对目标人脸进行实时扫描，生成与所述目标人脸对应的照片和网格模型；根据所述照片和预置的人脸UV图获取与所述网格模型对应的动态遮罩；基于预设肤色范围确定所述动态遮罩的肤色区域中的待标记区域，其中，所述动态遮罩中除五官区域以外的区域为所述肤色区域；根据所述待标记区域对应的三角面信息确定所述非肤色区域，从而通过快速准确识别出三维人脸出现的非肤色区域，使用户及时确定三维人脸模型的成像质量，进而可生成品质更高的三维人脸模型，提高了用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例提出的一种确定三维人脸的非肤色区域的方法的流程示意图；
图2示出了本发明实施例中人脸照片示意图；
图3示出了本发明实施例中对人脸照片进行非肤色区域判定后的效果示意图；
图4示出了本发明实施例中预置人脸UV图的示意图；
图5示出了本发明实施例中未经关键点识别处理的原始图像；
图6示出了本发明实施例中经FacePlusPlus定位关键点后的效果示意图；
图7示出了本发明实施例中通过差值算法确定眼睛区域周围的非关键点的效果示意图；
图8示出了本发明实施例中动态遮罩的效果图；
图9示出了本发明实施例中一块非肤色区域示意图；
图10示出了本发明实施例中另一块非肤色区域示意图；
图11示出了本发明实施例中确定出一块非肤色区域并进行标记后的效果示意图；
图12示出了本发明实施例提出的一种确定三维人脸的非肤色区域的设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如背景技术所述，现有技术中不能准确识别三维人脸中出现的非肤色区域，导致用户不能确定三维人脸模型的成像质量。
为解决上述问题，本申请实施例提出了一种确定三维人脸的非肤色区域的方法，通过确定三维人脸网格模型动态遮罩的肤色区域中的待标记区域，根据该待标记区域对应的三角面信息确定出三维人脸的非肤色区域，从而快速准确识别出三维人脸出现的非肤色区域，使用户及时确定三维人脸模型的成像质量。
如图1所示本发明实施例提出的一种确定三维人脸的非肤色区域的方法的流程示意图，该方法包括以下步骤：
S101，对目标人脸进行实时扫描，生成与所述目标人脸对应的照片和网格模型。
为生成与目标人脸对应的三维人脸模型，通过对目标人脸进行实时扫描，生成对应的照片和网格模型。本领域技术人员可通过三维成像设备如三维相机、三维成像扫描仪对目标人脸进行实时扫描，不同的实时扫描方式并不影响本申请的保护范围。
S102，根据所述照片和预置的人脸UV图获取与所述网格模型对应的动态遮罩。
由于所有人的UV图一致，因此预置一张默认的固定UV图即可，在本申请的具体应用场景中，可通过AR(Augmented Reality，增强现实)开发平台技术ARKit拍摄人脸获取网格模型，并通过三维动画渲染和制作软件3DMAX导出该网格模型的UV作为预置人脸UV图，本领域技术人员还可灵活选用其他方式来获取预置UV图，预置UV图如图4所示。动态遮罩可以实现部分显示的效果，可以确定不参与计算的五官区域，如图8所示为动态遮罩的效果图，其中的深色部分为不参与计算的五官区域。
为获取合适的动态遮罩，在本申请的优选实施例中，根据所述照片和预置的人脸UV图获取与所述网格模型对应的动态遮罩，具体为：
根据所述预设肤色范围确定所述照片中的人脸非肤色区域；
根据所述人脸UV图确定人脸范围；
确定所述人脸非肤色区域中的关键点坐标信息和所述人脸范围内的非关键点坐标信息，其中所述关键点坐标信息具体为五官区域关键点坐标信息；
将所述关键点坐标信息和非关键点坐标信息转换为所述UV图中的UV坐标信息；
基于所述UV坐标信息获取所述动态遮罩。
具体的，先判定照片中的人脸非肤色区域，可通过预设肤色范围确定所述照片中的人脸非肤色区域，具体可以选用如基于RGB的皮肤检测、基于椭圆皮肤模型的皮肤检测、YCrCb颜色空间Cr分量+Otsu法阈值分割、基于YCrCb颜色空间Cr,Cb范围筛选法，HSV颜色空间H范围筛选法和opencv自带肤色检测类AdaptiveSkinDetector来判定非肤色区域，上述各检测方式均是基于预设肤色范围检测，本领域技术人员可根据实际需要灵活选用，这并不影响本申请的保护范围。
由于照片中会包含人脸轮廓之外的区域(比如头发)，需要进一步过滤掉，因此要确定人脸范围，人脸范围可根据预置UV图来判定。照片中人脸非肤色区域的五官区域的眉毛区域、眼球区域、嘴唇区域与肤色差别较大，这些都需要进一步过滤掉，因此要确定关键点坐标信息，关键点坐标信息具体为五官区域关键点坐标信息，以使这些五官区域关键点在判定三维人脸的非肤色区域时不参与计算。在确定关键点坐标信息后还要确定人脸范围内的非关键点坐标信息，根据述关键点坐标信息和非关键点坐标信息转换的UV坐标信息获取动态遮罩。
需要说明的是，以上优选实施例的方案仅为本申请所提出的一种具体实现方案，其他根据所述照片和预置的人脸UV图获取与所述网格模型对应的动态遮罩的方式均属于本申请的保护范围。
为获得准确的关键点坐标信息和非关键点坐标信息，在本申请的优选实施例中，确定所述人脸非肤色区域中的关键点坐标信息和所述人脸范围内的非关键点坐标信息，具体为：
基于机器学习的神经网络方式确定所述关键点坐标信息；
根据所述关键点坐标信息采用预测算法进行插值运算确定所述非关键点坐标信息。
机器学***台FacePlusPlus，可精准定位关键点，从而确定关键点坐标信息，再根据关键点坐标信息采用预测算法进行插值运算确定非关键点坐标信息，预测算法为现有技术，在此不再赘述，本领域技术人员可根据具体的应用场景采用不同的方式实现。
需要说明的是，以上优选实施例的方案仅为本申请所提出的一种具体实现方案，其他确定所述人脸非肤色区域中的关键点坐标信息和所述人脸范围内的非关键点坐标信息的方式均属于本申请的保护范围。
S103，基于预设肤色范围确定所述动态遮罩的肤色区域中的待标记区域，其中，所述动态遮罩中除五官区域以外的区域为所述肤色区域。
动态遮罩中除五官区域以外的区域为肤色区域，在获取动态遮罩后，根据基于预设肤色范围确定动态遮罩的肤色区域中的待标记区域，该待标记区域与三维人脸中的非肤色区域对应。
为准确确定待标记区域，在本申请的优选实施例中，基于预设肤色范围确定所述动态遮罩的肤色区域中的待标记区域，具体为：
遍历所述肤色区域，判断所述肤色区域中是否存在超出所述预设肤色范围的区域；
若是，将超出所述预设肤色范围的区域作为所述待标记区域。
具体的，由于待标记区域与三维人脸中的非肤色区域对应，通过遍历动态遮罩中的肤色区域中是否存在超出所述预设肤色范围的区域，若存在，将超出所述预设肤色范围的区域作为所述待标记区域。本领域技术人员可根据具体的应用场景灵活预设具体的肤色范围，不同的肤色范围均属于本申请的保护范围，还可通过将预设肤色范围设置为非肤色区域对应的肤色范围，将在预设肤色范围内的区域作为待标记区域，这并不影响本申请的保护范围。
S104，根据所述待标记区域对应的三角面信息确定所述非肤色区域。
由于待标记区域与三维人脸中的非肤色区域对应，三角面即三个顶点构成的平面，可将三角面还原成网格信息，因此，根据待标记区域对应的三角面信息可确定三维人脸的非肤色区域。
为准确确定三维人脸中的非肤色区域，在本申请的优选实施例中，根据所述待标记区域对应的三角面信息确定所述非肤色区域，具体为：
根据所述待标记区域中各顶点所在的三角面生成三角面队列；
对所述三角面队列进行分类获取预设数量的连续三角面队列；
根据所述连续三角面队列对应的网格信息确定所述三角面信息；
基于所述三角面信息进行高亮操作后确定所述非肤色区域。
具体的，由待标记区域中各顶点所在的三角面生成三角面队列，由于此时生成的三角面队列不可能完全连续，举例来说，图9中a、b、c三个三角面的顶点相连，因此是连续的三角面，所以统一为一块非肤色区域，图10中的d、e的三角面顶点与图9中的a、b、c三个三角面的顶点不相连，因此图9与图10中的三角面不连续，为两块不同的非肤色区域，因此需要对三角面队列进行分类，根据同一类的三角面确定一块非肤色区域，在获取预设数量的连续三角面队列后，根据各连续三角面对应的网格信息即可确定非肤色区域的三角面信息，基于三角面信息通过高亮操作即可确定出非肤色区域。高亮操作可以为通过cg代码将非肤色区域进行高亮，本领域技术人员可灵活选用其他的方式将非肤色区域进行高亮，这并不影响本申请的保护范围。
需要说明的是，以上优选实施例的方案仅为本申请所提出的一种具体实现方案，其他根据所述待标记区域对应的三角面信息确定所述非肤色区域的方式均属于本申请的保护范围。
为准确获取待标记区域对应的三角面队列，在本申请的优选实施例中，在根据所述待标记区域中各顶点所在的三角面生成三角面队列之后，还包括：
步骤a、在所述三角面队列中选取第一个三角面作为当前搜索面；
步骤b、将所述当前搜索面加入搜索队列和结果队列；
步骤c、在所述三角面队列中查询与所述当前搜索面邻近的三角面；
步骤d、若所述邻近的三角面不在所述结果队列，则将所述邻近的三角面加入所述搜索队列和所述结果队列；
步骤e、移除所述搜索队列队首，将新的搜索队列队首作为当前搜索面，重复步骤b-步骤d，直至遍历所述搜索队列。
具体的，通过上述流程可确定与待标记区域相关的所有三角面，生成准确的三角面队列。
需要说明的是，以上优选实施例的方案仅为本申请所提出的一种具体实现方案，其他准确获取待标记区域对应的三角面队列的方式均属于本申请的保护范围。
为获取连续三角面队列，在本申请的优选实施例中，对所述三角面队列进行分类获取预设数量的连续三角面队列，具体为：
步骤A、根据所述三角面队列确定集合A；
步骤B、基于步骤a-步骤e确定集合B，将所述集合B存放到队列DS中；
步骤C、通过所述集合A减去所述集合B确定集合C；
步骤D、将所述集合C作为新的集合A，重复执行步骤A-步骤C，直至所述新的集合A为空集；
步骤E、根据所述队列DS中存放的分类后的集合获取预设数量的连续三角面队列。
具体的，队列DS是标记为DS的队列，DS仅为一种标记或符号，本领域技术人员可选择其他字母对上述队列进行标记，经过上述流程，队列DS中存放了分类后的集合，从而可获取预设数量的连续三角面队列。
需要说明的是，以上优选实施例的方案仅为本申请所提出的一种具体实现方案，其他对所述三角面队列进行分类获取预设数量的连续三角面队列的方式均属于本申请的保护范围。
通过应用以上技术方案，对目标人脸进行实时扫描，生成与所述目标人脸对应的照片和网格模型；根据所述照片和预置的人脸UV图获取与所述网格模型对应的动态遮罩；基于预设肤色范围确定所述动态遮罩的肤色区域中的待标记区域，其中，所述动态遮罩中除五官区域以外的区域为所述肤色区域；根据所述待标记区域对应的三角面信息确定所述非肤色区域，从而通过快速准确识别出三维人脸出现的非肤色区域，使用户及时确定三维人脸模型的成像质量，进而可生成品质更高的三维人脸模型，提高了用户体验。
为了进一步阐述本发明的技术思想，现结合具体的应用场景，对本发明的技术方案进行说明。
本发明实施例提出了一种确定三维人脸的非肤色区域的方法，通过确定三维人脸网格模型动态遮罩的肤色区域中的待标记区域，根据该待标记区域对应的三角面信息确定出三维人脸的非肤色区域，从而及时向用户显示因为脸部局部遮挡或因光线阴影、高光导致的脸部皮肤局部色块，使用户及时确定三维人脸模型的成像质量，提高了用户体验。
上述方法具体步骤如下：
步骤一，通过三维成像设备实时扫描目标人脸，获取目标人脸的照片和网格模型Mesh，三维成像设备可以为三维相机、三维成像扫描仪等。
步骤二，基于预设肤色范围判定照片中的人脸非肤色区域，具体可以为将照片的RGB值转换成HSV之后，根据7<H<20 28<S<256 50<V<256进行过滤操作，例如，通过步骤二对图2所示的人脸照片进行处理后获得如图3所示的效果图。
步骤三，根据预置人脸UV图确定人脸范围。
由于照片中会包含人脸轮廓之外的区域(比如头发)，需要进一步过滤掉，因此要确定人脸范围，人脸范围可根据UV图来判定，由于所有人的UV图一致，因此预置一张默认的固定UV图即可，可通过AR(Augmented Reality，增强现实)开发平台技术ARKit拍摄人脸获取网格模型，并通过三维动画渲染和制作软件3DMAX导出该网格模型的UV作为预置人脸UV图，本领域技术人员还可灵活选用其他方式来获取预置UV图，预置UV图如图4所示。
步骤四，确定照片中人脸非肤色区域中的关键点坐标信息和人脸范围内的非关键点坐标信息。
照片中人脸非肤色区域的五官区域的眉毛区域、眼球区域、嘴唇区域与肤色差别较大，这些都需要进一步过滤掉，因此要确定关键点坐标信息，以使这些五官区域关键点在判定三维人脸的非肤色区域时不参与计算，关键点坐标信息具体为五官区域关键点坐标信息。可通过机器学***台FacePlusPlus精准定位关键点，例如通过FacePlusPlus定位图5中的关键点，效果图如图6所示。
除关键点以外为非关键点，可基于关键点坐标信息采用预测算法进行插值运算确定人脸范围内的非关键点坐标信息，例如，通过差值算法确定眼睛区域周围的非关键点，效果图如图7所示，预测算法为现有技术，在此不再赘述，本领域技术人员可根据具体的应用场景采用不同的方式实现。
步骤五，将步骤四中的关键点坐标信息和非关键点坐标信息转换为所述UV图中的UV坐标信息，根据UV坐标信息获取上述步骤一中网格模型对应的动态遮罩，如图8所示为动态遮罩的效果图，其中的深色部分为不参与计算的五官区域。
步骤六，基于预设肤色范围确定动态遮罩的肤色区域中的待标记区域。
人脸内除了五官区域，其它区域均为肤色区域，遍历该肤色区域，将肤色区域内出现的在预设肤色范围之外的区域作为待标记区域，该待标记区域与三维人脸的非肤色区域对应。
步骤七，根据待标记区域对应的三角面信息确定三维人脸的非肤色区域。
通过步骤六得到的结果即可将三维人脸的非肤色区域标记出来，显示到三维人脸模型上，具体包括：
1)根据待标记区域中各顶点所在的三角面生成三角面队列，三角面即三个顶点构成的平面，可将三角面还原成网格信息；
2)对生成的三角面队列进行分类获取预设数量的连续三角面队列；
3)根据连续三角面队列对应的网格信息确定非肤色区域的三角面信息；
4)基于三角面信息通过cg代码将非肤色区域进行高亮，以对非肤色区域进行标识，cg代码是为GPU编程设计的高级着色器语言。如图11所示为确定出一块非肤色区域并进行标记后的效果示意图。
为获得准确的与待标记区域对应的三角面队列，上述步骤1)之后还包括：
步骤a、在所述三角面队列中选取第一个三角面作为当前搜索面；
步骤b、将所述当前搜索面加入搜索队列和结果队列；
步骤c、在所述三角面队列中查询与所述当前搜索面邻近的三角面；
步骤d、若所述邻近的三角面不在所述结果队列，则将所述邻近的三角面加入所述搜索队列和所述结果队列；
步骤e、移除所述搜索队列队首，将新的搜索队列队首作为当前搜索面，重复步骤b-步骤d，直至遍历所述搜索队列。
其中，经过步骤1)获得结果不可能完全连续，因此需要将步骤一所得结果分类成不同的三角面信息，举例来说，图9中a、b、c三个三角面的顶点相连，因此是连续的三角面，所以统一为一块非肤色区域，图10中的d、e的三角面顶点与图9中的a、b、c三个三角面的顶点不相连，因此图9与图10中的三角面不连续，为两块不同的非肤色区域。
上述步骤2)具体可以包括：
步骤A、根据所述三角面队列确定集合A；
步骤B、基于步骤a-步骤e确定集合B，将所述集合B存放到队列DS中；
步骤C、通过所述集合A减去所述集合B确定集合C；
步骤D、将所述集合C作为新的集合A，重复执行步骤A-步骤C，直至所述新的集合A为空集；
步骤E、根据所述队列DS中存放的分类后的集合获取预设数量的连续三角面队列。
通过应用以上技术方案，在扫描生成三维人脸模型后，可立即检测模型的生成效果，若用户拍摄时因为局部遮挡或因光线阴影、高光导致脸部皮肤局部出现色块，可立即标记并告知用户，在不影响拍摄和成像的情况下，能够达到即时判定和提醒，因此使用户获得更好的拍摄体验，生成品质更高的三维人脸模型。
为了达到以上技术目的，本申请实施例还提出了一种确定三维人脸的非肤色区域的设备，如图12所示，包括：
扫描模块201，用于对目标人脸进行实时扫描，生成与所述目标人脸对应的照片和网格模型；
获取模块202，用于根据所述照片和预置的人脸UV图获取与所述网格模型对应的动态遮罩；
第一确定模块203，用于基于预设肤色范围确定所述动态遮罩的肤色区域中的待标记区域，其中，所述动态遮罩中除五官区域以外的区域为所述肤色区域；
第二确定模块204，用于根据所述待标记区域对应的三角面信息确定所述非肤色区域。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (7)

1.一种确定三维人脸的非肤色区域的方法，其特征在于，所述方法包括：对目标人脸进行实时扫描，生成与所述目标人脸对应的照片和网格模型；
根据所述照片和预置的人脸UV图获取与所述网格模型对应的动态遮罩；
基于预设肤色范围确定所述动态遮罩的肤色区域中的待标记区域，其中，所述动态遮罩中除五官区域以外的区域为所述肤色区域；
根据所述待标记区域对应的三角面信息确定所述非肤色区域；
所述根据所述照片和预置的人脸UV图获取与所述网格模型对应的动态遮罩，具体为：根据所述预设肤色范围确定所述照片中的人脸非肤色区域；
根据所述人脸UV图确定人脸范围；
确定所述人脸非肤色区域中的关键点坐标信息和所述人脸范围内的非关键点坐标信息，其中所述关键点坐标信息具体为五官区域关键点坐标信息；
将所述关键点坐标信息和非关键点坐标信息转换为所述UV图中的UV坐标信息；
基于所述UV坐标信息获取所述动态遮罩；
所述根据所述待标记区域对应的三角面信息确定所述非肤色区域，具体为：根据所述待标记区域中各顶点所在的三角面生成三角面队列；
对所述三角面队列进行分类获取预设数量的连续三角面队列；
根据所述连续三角面队列对应的网格信息确定所述三角面信息；
基于所述三角面信息进行高亮操作后确定所述非肤色区域。
2.如权利要求1所述的方法，其特征在于，确定所述人脸非肤色区域中的关键点坐标信息和所述人脸范围内的非关键点坐标信息，具体为：基于机器学习的神经网络方式确定所述关键点坐标信息；
根据所述关键点坐标信息采用预测算法进行插值运算确定所述非关键点坐标信息。
3.如权利要求1所述的方法，其特征在于，基于预设肤色范围确定所述动态遮罩的肤色区域中的待标记区域，具体为：遍历所述肤色区域，判断所述肤色区域中是否存在超出所述预设肤色范围的区域；
若是，将超出所述预设肤色范围的区域作为所述待标记区域。
4.如权利要求1所述的方法，其特征在于，在根据所述待标记区域中各顶点所在的三角面生成三角面队列之后，还包括：
步骤a、在所述三角面队列中选取第一个三角面作为当前搜索面；
步骤b、将所述当前搜索面加入搜索队列和结果队列；
步骤c、在所述三角面队列中查询与所述当前搜索面邻近的三角面；
步骤d、若所述邻近的三角面不在所述结果队列，则将所述邻近的三角面加入所述搜索队列和所述结果队列；
步骤e、移除所述搜索队列队首，将新的搜索队列队首作为当前搜索面，重复步骤b－步骤d，直至遍历所述搜索队列。
5.如权利要求4所述的方法，其特征在于，对所述三角面队列进行分类获取预设数量的连续三角面队列，具体为：
步骤A、根据所述三角面队列确定集合A；
步骤B、基于步骤a－步骤e确定集合B，将所述集合B存放到队列DS中；
步骤C、通过所述集合A减去所述集合B确定集合C；
步骤D、将所述集合C作为新的集合A，重复执行步骤A－步骤C，直至所述新的集合A为空集；
步骤E、根据所述队列DS中存放的分类后的集合获取预设数量的连续三角面队列。
6.一种确定三维人脸的非肤色区域的设备，其特征在于，包括：扫描模块，用于对目标人脸进行实时扫描，生成与所述目标人脸对应的照片和网格模型；获取模块，用于根据所述照片和预置的人脸UV图获取与所述网格模型对应的动态遮罩；
第一确定模块，用于基于预设肤色范围确定所述动态遮罩的肤色区域中的待标记区域，其中，所述动态遮罩中除五官区域以外的区域为所述肤色区域；
第二确定模块，用于根据所述待标记区域对应的三角面信息确定所述非肤色区域；
所述根据所述照片和预置的人脸UV图获取与所述网格模型对应的动态遮罩，具体为：根据所述预设肤色范围确定所述照片中的人脸非肤色区域；
根据所述人脸UV图确定人脸范围；
确定所述人脸非肤色区域中的关键点坐标信息和所述人脸范围内的非关键点坐标信息，其中所述关键点坐标信息具体为五官区域关键点坐标信息；
将所述关键点坐标信息和非关键点坐标信息转换为所述UV图中的UV坐标信息；
基于所述UV坐标信息获取所述动态遮；
所述根据所述待标记区域对应的三角面信息确定所述非肤色区域，具体为：根据所述待标记区域中各顶点所在的三角面生成三角面队列；
对所述三角面队列进行分类获取预设数量的连续三角面队列；
根据所述连续三角面队列对应的网格信息确定所述三角面信息；
基于所述三角面信息进行高亮操作后确定所述非肤色区域。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如权利要求1－5任一项所述的确定三维人脸的非肤色区域的方法。
CN201910978982.4A 2019-10-15 2019-10-15 一种确定三维人脸的非肤色区域的方法和设备 Active CN110751078B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910978982.4A CN110751078B (zh) 2019-10-15 2019-10-15 一种确定三维人脸的非肤色区域的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910978982.4A CN110751078B (zh) 2019-10-15 2019-10-15 一种确定三维人脸的非肤色区域的方法和设备

Publications (2)

Publication Number Publication Date
CN110751078A CN110751078A (zh) 2020-02-04
CN110751078B true CN110751078B (zh) 2023-06-20

Family

ID=69278439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910978982.4A Active CN110751078B (zh) 2019-10-15 2019-10-15 一种确定三维人脸的非肤色区域的方法和设备

Country Status (1)

Country Link
CN (1) CN110751078B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376594A (zh) * 2014-11-25 2015-02-25 福建天晴数码有限公司 三维人脸建模方法和装置
WO2017026839A1 (ko) * 2015-08-12 2017-02-16 트라이큐빅스 인크. 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
CN106485222A (zh) * 2016-10-10 2017-03-08 上海电机学院 一种基于肤色分层的人脸检测方法
CN107506714A (zh) * 2017-08-16 2017-12-22 成都品果科技有限公司 一种人脸图像重光照的方法
WO2018201551A1 (zh) * 2017-05-02 2018-11-08 厦门美图之家科技有限公司 一种人脸图像的融合方法、装置及计算设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376594A (zh) * 2014-11-25 2015-02-25 福建天晴数码有限公司 三维人脸建模方法和装置
WO2017026839A1 (ko) * 2015-08-12 2017-02-16 트라이큐빅스 인크. 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
CN106485222A (zh) * 2016-10-10 2017-03-08 上海电机学院 一种基于肤色分层的人脸检测方法
WO2018201551A1 (zh) * 2017-05-02 2018-11-08 厦门美图之家科技有限公司 一种人脸图像的融合方法、装置及计算设备
CN107506714A (zh) * 2017-08-16 2017-12-22 成都品果科技有限公司 一种人脸图像重光照的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
阳策 ; 李重 ; 任义 ; 刘恒 ; .基于标准肤色的人脸图像纹理合成与三维重建应用.计算机***应用.2019,(05),全文. *

Also Published As

Publication number Publication date
CN110751078A (zh) 2020-02-04

Similar Documents

Publication Publication Date Title
CN107771336B (zh) 基于颜色分布的图像中的特征检测和掩模
CN111445410B (zh) 基于纹理图像的纹理增强方法、装置、设备和存储介质
US9773302B2 (en) Three-dimensional object model tagging
CN109859098B (zh) 人脸图像融合方法、装置、计算机设备及可读存储介质
CN108323204B (zh) 一种检测人脸瑕疵点的方法和智能终端
KR101446975B1 (ko) 얼굴 검출 기능을 사용한 얼굴 및 피부의 자동 미화
KR100682889B1 (ko) 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
JP4153108B2 (ja) 画像処理方法、画像処理装置及び記録媒体
JP4519681B2 (ja) 人物の唇領域マスクデータの作成方法および作成装置
JP2004265406A (ja) バッチモードで処理されるポートレート画像を向上する方法及びシステム
JP2007504719A (ja) 組み込みアプリケーションに適した、画像における赤目の検出と補正を行うシステム及び方法
JP2007272435A (ja) 顔特徴抽出装置及び顔特徴抽出方法
CN112106102A (zh) 图像处理方法、***、设备、可移动平台和存储介质
JP2004030007A (ja) 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム及びそのプログラムを記録した記録媒体
CN111627076A (zh) 换脸方法、装置及电子设备
CN110648336A (zh) 一种舌质和舌苔的分割方法及装置
CN114372931A (zh) 一种目标对象虚化方法、装置、存储介质及电子设备
CN110458012B (zh) 多角度人脸识别方法及装置、存储介质和终端
CN110751078B (zh) 一种确定三维人脸的非肤色区域的方法和设备
CN114155569B (zh) 一种化妆进度检测方法、装置、设备及存储介质
KR20010084996A (ko) 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기
KR20020085669A (ko) 3차원 영상의 생성을 위한 2차원 영상의 특징 추출 장치및 그 방법과 그를 이용한 3차원 영상의 생성 장치 및 그방법
JP2021157705A (ja) 学習済みの機械学習モデル、および、画像生成装置、機械学習モデルのトレーニング方法
JP5099434B2 (ja) オブジェクト領域の抽出システムおよび方法
JP4831344B2 (ja) 目の位置の検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant