CN112836545A - 一种3d人脸信息处理方法、装置及终端 - Google Patents
一种3d人脸信息处理方法、装置及终端 Download PDFInfo
- Publication number
- CN112836545A CN112836545A CN201911153141.6A CN201911153141A CN112836545A CN 112836545 A CN112836545 A CN 112836545A CN 201911153141 A CN201911153141 A CN 201911153141A CN 112836545 A CN112836545 A CN 112836545A
- Authority
- CN
- China
- Prior art keywords
- face
- model
- aesthetic
- image
- displaying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 35
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000004458 analytical method Methods 0.000 claims abstract description 219
- 238000000034 method Methods 0.000 claims abstract description 45
- 210000004709 eyebrow Anatomy 0.000 claims description 29
- 238000004422 calculation algorithm Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 26
- 238000013507 mapping Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 14
- 230000001815 facial effect Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 24
- 210000001508 eye Anatomy 0.000 description 20
- 210000001331 nose Anatomy 0.000 description 13
- 210000000214 mouth Anatomy 0.000 description 10
- 230000003796 beauty Effects 0.000 description 7
- 210000000697 sensory organ Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 230000002085 persistent effect Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000000088 lip Anatomy 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 210000003491 skin Anatomy 0.000 description 2
- 241001417519 Priacanthidae Species 0.000 description 1
- 241000353135 Psenopsis anomala Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000002837 heart atrium Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开是关于一种3D人脸信息处理方法、装置及终端。该方法包括：获取用户的脸部图像；根据获取的所述脸部图像生成人脸3D模型；根据所述人脸3D模型中的关键特征点，生成并显示人脸点云图；将所述人脸3D模型中的关键特征点的特征值与预设的美学特征值进行美学分析比较，得到美学分析结果。本公开提供的方案，能实现3D人脸美学分析，提高用户使用体验。
Description
技术领域
本公开涉及人脸分析技术领域，具体涉及一种3D人脸信息处理方法、装置及终端。
背景技术
随着计算机技术的发展，人脸识别和分析技术发展非常迅速，已经逐渐应用在各行各业中。
目前随着“颜值时代”的来临，追求美丽和展示美丽的效应使医疗美容的需求与日俱增，医疗美容成为人们热议的话题。人们都希望拥有一个美丽的面貌，但是目前人脸美貌没有明确和通用的评判标准，在生活中，人们往往根据个人或普遍的审美观对面貌进行评价。相关技术中，已经出现通过应用程序APP获取人脸图片，然后进行人脸特征分析，为用户展示2D人脸特征和进行人脸美学分析。
相关技术中，还未出现3D人脸美学分析的方案。
发明内容
有鉴于此，本公开的目的在于提出一种3D人脸信息处理方法、装置及终端，能实现3D人脸美学分析。
本公开一方面提供一种3D人脸信息处理方法，包括：获取用户的脸部图像；根据获取的所述脸部图像生成人脸3D模型；根据所述人脸3D模型中的关键特征点，生成并显示人脸点云图；将所述人脸3D模型中的关键特征点的特征值与预设的美学特征值进行美学分析比较，得到美学分析结果。
在一种实施方式中，在所述生成人脸3D模型的过程中和所述人脸点云图未显示之前，加载显示等待界面。
在一种实施方式中，所述得到美学分析结果之后还包括：显示所述美学分析结果，和/或，生成包含美学分析结果的报告。
在一种实施方式中，所述根据获取的所述脸部图像生成人脸3D模型，包括：在所述脸部图像为通过3D摄像头拍摄的脸部图像时，根据获取的所述脸部图像生成人脸第一3D模型；或，在所述脸部图像为通过2D摄像头拍摄的脸部图像时，根据获取的所述脸部图像生成人脸第二3D模型。
在一种实施方式中，所述显示美学分析结果，包括：在不同界面显示美学分析结果。
在一种实施方式中，所述在不同界面显示美学分析结果，包括：在所述人脸点云图和/或所述人脸第一3D模型上显示美学分析结果；或，在所述人脸点云图和/或所述人脸第二3D模型上显示美学分析结果；或，在所述人脸点云图和/或人脸第三3D模型上显示美学分析结果，其中所述人脸第三3D模型根据所述通过2D摄像头拍摄的脸部图像和所述人脸点云图叠加得到。
在一种实施方式中，所述方法还包括：根据检测到人脸不同部位的标签菜单被点击，将所述人脸第一3D模型、人脸第二3D模型或人脸第三3D模型切换显示对应的部位。
在一种实施方式中，所述人脸不同部位的标签菜单包括以下的一种或多种：脸型标签、眉型标签、眼型标签、鼻型标签、唇型标签。
在一种实施方式中，所述根据所述人脸3D模型中的关键特征点，生成并显示人脸点云图，包括：获取所述人脸3D模型中的关键特征点；将所述关键特征点进行连线处理，生成并显示人脸点云图。
在一种实施方式中，所述根据所述人脸3D模型中的关键特征点，生成并显示人脸点云图，包括：在所述脸部图像为通过2D摄像头拍摄的脸部图像时，根据所述人脸第二3D模型得到转化3D模型，根据设定算法确定所述脸部图像的关键特征点坐标与所述转化3D模型中的关键特征点坐标之间的映射矩阵，根据所述映射矩阵生成并显示人脸点云图；或，在所述脸部图像为通过2D摄像头拍摄的脸部图像时，根据设定算法确定所述脸部图像的关键特征点坐标与所述人脸第二3D模型中的关键特征点坐标之间的映射矩阵，根据所述映射矩阵生成并显示人脸点云图。
本公开另一方面提供一种3D人脸信息处理装置，包括：获取模块，用于获取用户的脸部图像；人脸3D模型生成模块，用于根据所述获取模块获取的所述脸部图像生成人脸3D模型；人脸点云图生成模块，用于根据所述人脸3D模型生成模块生成的人脸3D模型中的关键特征点，生成并显示人脸点云图；美学分析处理模块，用于将所述人脸3D模型生成模块生成的人脸3D模型中的关键特征点的特征值与预设的美学特征值进行美学分析比较，得到美学分析结果。。
在一种实施方式中，所述装置还包括：美学结果显示模块，用于显示所述美学分析处理模块分析比较的美学分析结果；和/或，报告生成模块，用于生成包含美学分析结果的报告。
在一种实施方式中，所述人脸3D模型生成模块包括：第一生成模块，用于在所述脸部图像为通过3D摄像头拍摄的脸部图像时，根据所述获取模块获取的所述脸部图像生成人脸第一3D模型；或，第二生成模块，用于在所述脸部图像为通过2D摄像头拍摄的脸部图像时，根据所述获取模块获取的所述脸部图像生成人脸第二3D模型。
在一种实施方式中，所述美学结果显示模块包括：第一显示模块，用于在所述人脸点云图和/或所述人脸第一3D模型上显示所述美学分析处理模块分析比较的美学分析结果；或，第二显示模块，用于在所述人脸点云图和/或所述人脸第二3D模型上显示美学分析结果；或，第三显示模块，用于在所述人脸点云图和/或人脸第三3D模型上显示所述美学分析处理模块分析比较的美学分析结果，其中所述人脸第三3D模型根据所述通过2D摄像头拍摄的脸部图像和所述人脸点云图叠加得到。
在一种实施方式中，所述装置还包括：交互模块，用于根据检测到人脸不同部位的标签菜单被点击，将所述人脸第一3D模型、人脸第二3D模型或人脸三3D模型切换显示对应的部位。
本公开另一方面提供一种终端设备，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行上述的方法。
本公开另一方面提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行上述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开实施例提供的方案，是根据获取的所述脸部图像生成人脸3D模型；根据所述人脸3D模型中的关键特征点，生成并显示人脸点云图；将所述人脸3D模型中的关键特征点的特征值与预设的美学特征值进行美学分析比较，得到美学分析结果。通过上述方式处理，本公开实施例可以先生成人脸3D模型，然后再利用人脸3D模型中的关键特征点生成人脸点云图，并将所述人脸3D模型中的关键特征点的特征值与预设的美学特征值进行美学分析比较，得到美学分析结果，从而实现了3D人脸美学分析，后续可以通过3D形式立体展示人脸美学分析结果，使人脸美学分析更具有3D立体感，更加形象和准确，提高用户使用体验。
进一步的，本公开实施例可以在所述生成人脸3D模型的过程中和所述人脸点云图未显示之前，加载显示等待界面，让用户等待不再乏味，并且增加科技感。
进一步的，本公开实施例可以在所述脸部图像为通过3D摄像头拍摄的脸部图像时，根据获取的所述脸部图像生成人脸第一3D模型；或，在所述脸部图像为通过2D摄像头拍摄的脸部图像时，根据获取的所述脸部图像生成人脸第二3D模型，使得可以适用于用户终端设备具有不同类型摄像头的应用场景。
进一步的，本公开实施例可以根据检测到人脸不同部位的标签菜单被点击，将所述人脸第一3D模型、人脸第二3D模型或人脸第三3D模型切换显示对应的部位，使得实现可交互操作，提高用户使用体验。
进一步的，本公开实施例可以生成包含所述美学分析结果的报告，使得用户可以简单快速获得报告内容，用户可以更加方便、直观地查看美学分析结果，能更全面的满足用户的需求，例如可以将美学分析结果分享至社交平台等，进一步提升了用户体验。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
图1是根据本公开的一个实施例的一种3D人脸信息处理方法的一示意性流程图；
图2是根据本公开的一个实施例的一种3D人脸信息处理方法的另一示意性流程图；
图3是根据本公开的一个实施例的一种3D人脸信息处理方法的另一示意性流程图；
图4是根据本公开的一个实施例的一种3D人脸信息处理方法中引导用户拍摄脸部图像的界面示意图；
图5是根据本公开的一个实施例的一种3D人脸信息处理方法中等待界面的界面示意图；
图6是根据本公开的一个实施例的一种3D人脸信息处理方法中生成点云图的第一界面示意图；
图7是根据本公开的一个实施例的一种3D人脸信息处理方法中生成点云图的第二界面示意图；
图8是根据本公开的一个实施例的一种3D人脸信息处理方法中生成的点云图中的全脸分析界面示意图；
图9是根据本公开的一个实施例的一种3D人脸信息处理方法中生成的点云图中的眼部分析界面示意图；
图10是根据本公开的一个实施例的一种3D人脸信息处理方法中生成的点云图中的鼻部分析界面示意图；
图11是根据本公开的一个实施例的一种3D人脸信息处理方法中生成的点云图中的嘴部分析界面示意图；
图12是根据本公开的一个实施例的一种3D人脸信息处理方法中显示包含美学分析结果的真3D模型的界面示意图；
图13是根据本公开的一个实施例的一种3D人脸信息处理方法中显示包含美学分析结果的假3D模型的界面示意图；
图14是根据本公开的一个实施例的一种3D人脸信息处理方法中显示包含美学分析结果的全屏报告的界面示意图；
图15是根据本公开的一个实施例的一种3D人脸信息处理装置的一示意性方框图；
图16是根据本公开的一个实施例的一种3D人脸信息处理装置的另一示意性方框图；
图17是根据一示例性实施例示出的一种终端设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本公开实施例提供一种3D人脸信息处理方法，能实现3D人脸美学分析。
以下结合附图详细描述本公开实施例的技术方案。
图1是根据本公开的一个实施例的一种3D人脸信息处理方法的一示意性流程图。
参照图1，本公开实施例提供的方法包括：
在步骤101中，获取用户的脸部图像。
该步骤中，可以获取用户通过摄像头拍摄或直接上传的脸部图像，脸部图像一般包含完整的正脸五官区域、侧脸颊区域以及耳朵等。
在步骤102中，根据获取的脸部图像生成人脸3D模型。
该步骤中，获取用户的脸部图像后，可以根据获取的脸部图像，采用相关3D人脸识别算法，生成人脸3D模型。相关的3D人脸识别算法，例如可以是基于图像特征的算法、基于模型可变参数的算法或基于深度学习的算法等，本公开不加以限定。
该步骤中，可以在脸部图像为通过3D摄像头拍摄的脸部图像时，根据获取的脸部图像生成人脸第一3D模型；或，在脸部图像为通过2D摄像头拍摄的脸部图像时，根据获取的脸部图像生成人脸第二3D模型。
在步骤103中，根据人脸3D模型中的关键特征点，生成并显示人脸点云图。
该步骤中，可以获取人脸3D模型中的关键特征点；将关键特征点进行连线处理，生成并显示人脸点云图。例如，可以通过连线形成预设规律的三角形或四方形分布等，从而生成人脸点云图。其中，人脸3D模型中的关键特征点例如可以包括眼睛、瞳孔、鼻尖、嘴角点、耳朵、眉部以及人脸各部件轮廓点等关键特征点但不局限于此。
所谓点云数据(point cloud)是指扫描资料以点的形式记录，每一个点包含有三维坐标，有些可能含有颜色信息(RGB)或反射强度信息(Intensity)。
该步骤中，可以将人脸点云图根据人脸不同设定部分进行切换显示，例如，可以分别切换显示全脸、眼部、嘴部、鼻部等部位的人脸点云图，切换显示的顺序可以根据需要进行灵活设置。
在步骤104中，将人脸3D模型中的关键特征点的特征值与预设的美学特征值进行美学分析比较，得到美学分析结果。
该步骤中，可以确定人脸3D模型中的关键特征点的特征值；将确定的关键特征点的特征值与预设的美学特征值进行美学分析比较，得到可用于在不同图中显示的美学分析结果。
可以发现，本公开实施例提供的方案，是根据获取的脸部图像生成人脸3D模型；根据人脸3D模型中的关键特征点，生成并显示人脸点云图；将人脸3D模型中的关键特征点的特征值与预设的美学特征值进行美学分析比较，得到美学分析结果。通过上述方式处理，本公开实施例可以先生成人脸3D模型，然后再利用人脸3D模型中的关键特征点生成人脸点云图，并将人脸3D模型中的关键特征点的特征值与预设的美学特征值进行美学分析比较，得到美学分析结果，从而实现了3D人脸美学分析，后续可以通过3D形式立体展示人脸美学分析结果，使人脸美学分析更具有3D立体感，更加形象和准确，提高用户使用体验。
图2是根据本公开的一个实施例的一种3D人脸信息处理方法的另一示意性流程图。图2相对于图1增加了等待界面步骤和显示美学分析结果步骤。
参照图2，本公开实施例提供的方法包括：
在步骤201中，获取用户的脸部图像。
该步骤可以参照步骤101的描述。
在步骤202中，加载显示等待界面。
该步骤在生成人脸3D模型的过程中和人脸点云图未显示之前，可以加载显示等待界面，例如可以加载显示预设星空3D模型作为等待界面。通过显示等待界面可以让用户觉得等待过程不乏味，并且增加科技感。需说明的是，等待界面还可以是各种动画、音乐等形式，本公开实施例不加以限定。
在步骤203中，根据获取的脸部图像生成人脸3D模型。
该步骤可以参照步骤102的描述。
在步骤204中，根据人脸3D模型中的关键特征点，生成并显示人脸点云图。
该步骤可以参照步骤103的描述。
在步骤205中，将人脸3D模型中的关键特征点的特征值与预设的美学特征值进行美学分析比较，得到美学分析结果。
该步骤可以参照步骤104的描述。
在步骤206中，显示美学分析结果。
本公开实施例的方案，可以在不同界面显示美学分析结果。例如，在人脸点云图和/或人脸第一3D模型上显示美学分析结果；或，在所述人脸点云图和/或所述人脸第二3D模型上显示美学分析结果；或，在人脸点云图和/或人脸第三3D模型上显示美学分析结果，其中人脸第三3D模型根据通过2D摄像头拍摄的脸部图像和人脸点云图叠加得到。
也就是说，在3D摄像头的场景下，可以先在人脸点云图显示第一美学分析结果，然后在后续显示的人脸第一3D模型上显示第二美学分析结果，或者是只在后续显示的人脸第一3D模型上显示第二美学分析结果，或者是只在人脸点云图显示第一美学分析结果，可以根据需要灵活设置。
在2D摄像头的场景下，可以先在人脸点云图显示第一美学分析结果，然后在后续显示的人脸第二3D模型上显示第二美学分析结果，或者是只在后续显示的人脸第二3D模型上显示第二美学分析结果，或者是只在人脸点云图显示第一美学分析结果，可以根据需要灵活设置。
在2D摄像头的场景下，可以先在人脸点云图显示第一美学分析结果，然后在后续显示的人脸第三3D模型上显示第二美学分析结果，或者是只在后续显示的人脸第三3D模型上显示第二美学分析结果，或者是只在人脸点云图显示第一美学分析结果，可以根据需要灵活设置。
需说明的是，还可以在其他界面，例如在用户的脸部图像或选取的其他图像上显示第二美学分析结果。
还需说明的是，本公开实施例还可以生成包含美学分析结果的报告。生成的报告，可以是全屏报告页面、长报告页面或画报报告页面，报告中的美学分析结果，可以包括前述的第一美学分析结果和第二美学分析结果，或只包含第二美学分析结果。生成的报告中，还可以包含人脸第一3D模型、人脸第二3D模型或人脸第三3D模型。
另外，本公开实施例的方案中，可以既包含显示美学分析结果，也包含生成包含美学分析结果的报告，或只显示美学分析结果而不生成包含美学分析结果的报告，或只生成包含美学分析结果的报告而不显示美学分析结果，可以根据需要灵活设置。
可以发现，本公开实施例提供的方案，可以在生成人脸3D模型的过程中和人脸点云图未显示之前，加载显示等待界面例如可以加载显示预设星空3D模型作为等待界面，让用户等待不再乏味，并且增加科技感。另外，可以通过不同的界面显示美学分析结果，更适用于各种不同场景。
图3是根据本公开的一个实施例的一种3D人脸信息处理方法的另一示意性流程图。图3相对于图1和图2更详细描述本公开实施例的方案。
参照图3，本公开实施例提供的方法包括：
在步骤301中，获取用户的脸部图像。
该步骤中，可以获取用户通过摄像头拍摄或直接上传的脸部图像，脸部图像一般包含完整的正脸五官区域、侧脸颊区域以及耳朵等。
其中，通过摄像头拍摄可以是通过摄像头拍摄视频或通过摄像头拍摄照片。参照图4，以拍摄视频为例，本公开实施例可以通过拍摄视频的方式获取用户的脸部图像。在拍摄过程中，可以生成提示用户左右及上下转头的引导信息，以使用户根据该引导信息完成视频的拍摄，拍摄过程中一般需要拍摄脸部正面和侧面。拍摄完成后，可从拍摄视频中截取一张正面图片和两张侧面图片，侧面可以取脸部左右两侧设定角度例如55度或45度的图片。
该步骤中的摄像头，可以是3D摄像头或2D摄像头，可以通过3D摄像头拍摄的用户称为3D用户，可以通过2D摄像头拍摄的用户称为2D用户。通过3D摄像头能够采集视野内空间每个点位的三维空间坐标，通过算法可以复原获取三维立体成像；而通过2D摄像头一般是获取到图像中每个点的二维空间坐标即(x，y)坐标。
拍摄脸部图像时，一般可以指示用户尽量符合以下要求，例如：正脸拍摄保持人脸居中，侧脸拍摄角度一般40度-80度，拍摄画面保持清晰，尽量不要佩戴眼镜，脸部尽量不要有遮挡，女性头发最好要扎起，以避免遮挡脸部。
本公开实施例的方法可以应用于移动终端设备或其他摄像设备上，例如通过移动终端设备上的摄像头拍摄脸部图像。
在步骤302中，加载显示等待界面。
本公开实施例在生成人脸3D模型的过程中和人脸点云图未显示之前，可以加载显示等待界面例如加载显示预设星空3D模型作为等待界面。需说明的是，等待界面还可以是各种动画、音乐等形式，本公开实施例不加以限定。参照图5，以等待界面中显示预设星空3D模型为例但不局限于此，可以是头像的五官慢慢凸显，最后形成一个包含较清晰五官轮廓的人脸3D模型，还可以出现对人脸3D模型五官的简单美学分析评价，例如“大眼睛、高鼻梁、短下巴、三庭适中、黄金三角45”的美学分析评价等。因为人脸3D模型的生成和关键特征点等的计算都需要时间，因此可以通过显示等待界面例如显示预设星空3D模型来让用户觉得等待过程不乏味，并且增加科技感。
本公开实施例在显示预设星空3D模型的等待界面的等待过程中，还可以通过加载进度条显示进度状态，例如进度条圆点高亮，慢慢前进，在设定进度位置例如80％处长时间等待，直到取到模型返回图像。
在步骤303中，根据获取的脸部图像生成人脸3D模型。
该步骤中，获取用户的脸部图像后，可以根据获取的脸部图像，采用相关3D人脸识别算法，生成人脸3D模型。相关的3D人脸识别算法。例如可以是基于图像特征的算法、基于模型可变参数的算法或基于深度学习的算法等，本公开不加以限定。
需说明的是，无论获取的是2D用户还是3D用户的脸部图像，都可以根据获取的脸部图像，采用相关人脸识别算法，生成人脸3D模型。
该步骤中，可以在脸部图像为通过3D摄像头拍摄的脸部图像时，根据获取的脸部图像生成人脸第一3D模型；或，在脸部图像为通过2D摄像头拍摄的脸部图像时，根据获取的脸部图像生成人脸第二3D模型。
在步骤304中，根据人脸3D模型中的关键特征点，生成并显示人脸点云图。
该步骤中，可以获取人脸3D模型中的关键特征点；将关键特征点进行连线处理，生成并显示人脸点云图。例如，可以通过连线形成预设规律的三角形或四方形分布等，从而生成人脸点云图。其中，人脸3D模型中的关键特征点例如可以包括眼睛、瞳孔、鼻部、嘴部、耳朵、眉部以及人脸各部件轮廓点等关键特征点但不局限于此。
所谓点云(point cloud)是指扫描资料以点的形式记录，每一个点包含有三维坐标，有些可能含有颜色信息(RGB)或反射强度信息(Intensity)。
本公开实施例的点云图可以通过前述的人脸3D模型生成得到，每个人脸3D模型自身都有很多模型的相关特征点，可以提取人脸3D模型的关键特征点，并将关键特征点进行连线处理，形成有规律的三角形或四方形分布，可以生成每个人脸3D模型不同的点云图，即不同的人脸3D模型生成不同的点云图，参照图6-图7，显示了生成点云图的界面示意图。
例如，可以针对眼睛、眉毛和嘴部等部位的关键特征点进行加密和连线处理，使点云图看起来更接近人脸。相比2D脸部分析，3D点云图可以对用户的脸部特征更精细地分析，更直观及立体展示脸部细节特征，图形更美观，科技感强，使得用户更容易接受。
在脸部图像为通过2D摄像头拍摄的脸部图像时，根据人脸第二3D模型得到转化3D模型，根据设定算法确定脸部图像的关键特征点坐标与转化3D模型中的关键特征点坐标之间的映射矩阵，根据映射矩阵生成并显示人脸点云图。
也就是说，如果是2D用户，因为前述步骤在拍摄过程中保存了用户的2D脸部图像，同时根据用户拍摄的图像生成了用户的人脸3D模型，该人脸3D模型具有关键特征点的模型点位，可以确定一个与该人脸3D模型近似的设计模型，以近似的设计模型为目标，保留对应的用户的人脸3D模型上的关键特征点，得到一个统一、美观的转化3D模型。然后，使用PnP(pespective-n-point，N点透视)算法寻找2D脸部图像上的2D关键特征点坐标与所得到的转化3D模型对应的3D关键特征点坐标之间的映射矩阵，并以此映射矩阵在2D脸部图像大小的窗口进行渲染点线，对眉毛、眼睛、嘴巴等部位进行画线处理，生成并得到2D用户的点云图。
需说明的是，也可以不需上述的转化3D模型，在脸部图像为通过2D摄像头拍摄的脸部图像时，根据设定算法确定脸部图像的关键特征点坐标与人脸第二3D模型中的关键特征点坐标之间的映射矩阵，根据映射矩阵生成并显示人脸点云图。也就是说，如果是2D用户，因为前述步骤在拍摄过程中保存了用户的2D脸部图像，同时根据用户拍摄的图像生成了用户的人脸3D模型，该人脸3D模型具有关键特征点的模型点位，使用PnP算法寻找2D脸部图像上的2D关键特征点坐标与该人脸3D模型中的关键特征点之间的映射矩阵，并以此映射矩阵在2D脸部图像大小的窗口进行渲染点线，对眉毛、眼睛、嘴巴等部位进行画线处理，生成并得到2D用户的点云图。
在步骤305中，将人脸3D模型中的关键特征点的特征值与预设的美学特征值进行美学分析比较，在人脸点云图上显示第一美学分析结果。
需说明的是，该步骤以在人脸点云图上显示第一美学分析结果为例但不局限于此，也可以在人脸点云图上不显示第一美学分析结果。
该步骤中，可以确定人脸3D模型中的关键特征点的特征值；将确定的关键特征点的特征值与预设的美学特征值进行美学分析比较，得到第一美学分析结果。
该步骤中，还可以将人脸点云图根据人脸不同设定部分进行切换显示，在人脸点云图上对应显示人脸不同设定部分的第一美学分析结果，例如分别显示正面的全脸、眼部、嘴部、鼻部及显示脸部侧面等，切换显示的顺序可以根据需要进行灵活设置。
本公开实施例的脸部美学分析可以包括脸部的全脸美学分析和局部美学分析，例如人脸点云图的正面可以展示全脸、眼部、鼻部、嘴部的分析；人脸点云图的侧面可以展示侧面黄金三角线和额头饱满度的侧面直线等。
其中，标识画线(也即标识参照线)和关键特征点的特征值可以显示于点云图上。通过标识画线可以圈出全脸或某个部位的重点分析区域。
其中，关键特征点的特征值可以通过设定算法计算得出，获取的用户的脸部图像不同，关键特征点的特征值也不同。特征值可以是脸部特征关键特征点的尺寸值、比例值、深度值或角度值等。本公开实施例可以针对不同类别的分析设置预设各种美学特征值，例如可以设置50-70个左右的脸部特征，特征可以划分为多个分档，例如分为三档，每档位可以有特征分值，所有特征分值的和为最后的分值，特征值可以只展示用户优势明显的特征但不局限于此。对于每个特征值，都可以通过相关设定算法实现计算，最后可以得出例如眼睛是大还是小、鼻梁是高还是低等结论，每个用户都分析一系列特征值，每个用户就具有自身的特征结果。
例如，特征值可以是综合颜值，其中综合颜值可以为正脸颜值和侧脸颜值相加。特征值还可以是上庭、中庭的范围值，以及是唇线比例、鼻宽、眼间距、眼长的尺寸数值，或者是眉毛挑度、眉间距离、嘴唇走势的数值等。
例如，参照图8，在全脸分析的点云图中，第一美学分析结果可以显示：“三庭：上庭处于理想范围5cm，中庭理想范围1.2cm，唇线比例理想1.5”等，另外还可以显示“智力感21，年龄感56，饱满唇、心形脸”等描述，并在点云图中通过标识画线标出鼻宽、眼间距、眼长等数值。眼部、鼻部、嘴部的具体分析可以分别参照图9-图11的界面示意图。
本发明的实施例中，3D美学分析包括脸部的全脸3D美学分析和局部3D美学分析，全脸3D美学分析可以包括颜值分析、气质分析、性格分析、面部优势部位及改善部位分析等，局部3D美学分析可以包括脸型分析、眉型分析、眼型分析、唇型分析等。需要说明的是，全脸美学分析及局部美学分析的范围不限于以上类别，还可以是其他类别。
在步骤306中，在不同界面上显示第二美学分析结果。
该步骤可以显示人脸第一3D模型，在人脸第一3D模型上显示第二美学分析结果；或，显示人脸第二3D模型，在人脸第二3D模型上显示第二美学分析结果；或，显示人脸第三3D模型，在人脸第三3D模型上显示第二美学分析结果。
其中人脸第一3D模型是在脸部图像为通过3D摄像头拍摄的脸部图像时，根据获取的脸部图像生成的真3D模型；人脸第三3D模型，是根据通过2D摄像头拍摄的脸部图像和人脸点云图叠加得到的假3D模型，而人脸第二3D模型是在脸部图像为通过2D摄像头拍摄的脸部图像时，根据获取的脸部图像生成的3D模型。
该步骤中，可以显示生成的人脸第一3D模型，在人脸第一3D模型的设定部位上标识画线和显示美学分析的数据，在人脸第一3D模型外的区域显示美学分析的文字描述；或，显示生成的人脸第二3D模型，在人脸第二3D模型的设定部位上标识画线和显示美学分析的数据，在人脸第二3D模型外的区域显示美学分析的文字描述；或，显示在用户的脸部图像上叠加生成的人脸点云图所得到的人脸第三3D模型，其中在人脸第三3D模型的人脸点云图的设定部位上标识画线和显示美学分析的数据，在人脸点云图外的区域显示美学分析的文字描述。
其中，人脸第一3D模型可以是利用用户的面部图像生成的真3D模型，可参照图12，人脸第三3D模型可以是利用用户的脸部图像生成的假3D模型，可参照图13。该假3D模型是将点云图叠加在2D脸部图像上进行展示，标识画线和特征值显示于叠加后的假3D模型上。也就是说，针对2D用户，根据前述步骤中为2D用户生成的点云图，将该点云图与用户的2D脸部图像叠加处理，并可以对点云图的点线的粗细和颜色进行调节，生成假3D模型。同时为了美观和让点线更明显，在叠加的点云图和2D脸部图像的中间可以添加蒙层处理。
在步骤307中，根据检测到人脸不同部位的标签菜单被点击，将不同人脸3D模型切换显示对应的人脸部位。
该步骤中，根据检测到人脸不同部位的标签菜单被点击，可以将所述人脸第一3D模型、人脸第二3D模型或人脸第三3D模型切换显示对应的部位。
例如，其中检测到人脸第一3D模型(即真3D模型)、人脸第二3D模型或人脸第三3D模型(即假3D模型)的人脸不同部位的标签菜单被点击，可跳转至相应区域展示某个部位的分析。例如：检测到脸型标签菜单被点击，切换至脸型分析；眉型标签菜单被点击，人脸3D模型切换至眉型分析。
例如，真3D模型可以通过交互的方式进行展示，即用户可以切换不同的部位查看真3D模型，可以更加直观的进行查看；需说明的是，假3D模型也可以通过交互的方式进行展示。
在步骤308中，生成包含美学分析结果的报告。
该步骤生成的报告，可以是全屏报告页面、长报告页面或画报报告页面，报告页面中的标签菜单可以包括：美学分析、脸型、眉型、眼型、唇型、肌肤检测的标签。需要说明的是，根据分析结果，还可以增加其他标签。生成的报告中的美学分析结果，可以包括前述的第一美学分析结果和第二美学分析结果，或只包含第二美学分析结果。生成的报告中，还可以包含人脸第一3D模型、人脸第二3D模型或人脸第三3D模型。全屏报告页面可以参照图14。
例如，该步骤将美学分析结果通过长报告页面分区域展示，长报告页面中显示有跳转至相应区域的标签，其中，通过点击标签菜单可跳转至相应区域展示某个部位的分析。例如：点击长报告页面中的脸型标签菜单，显示的人脸3D模型切换至脸型分析，同时长报告页面的报告区域跳转至脸型区域；点击长报告页面中的眉型标签菜单，显示的人脸3D模型切换至眉型分析，同时长报告页面的报告区域跳转至眉型区域。
其中，美学分析标签菜单区域可以展示全脸美学分析结果，包括：颜值得分数据、气质分析结果、性格分析结果、面部优势部位及改善部位。
其中，长报告页面中，美学分析的结果可以通过数据、文字描述进行解读及展示。
在显示的人脸3D模型的页面显示有长报告页面，长报告页面中显示有全脸分析结果和局部分析结果。例如：全脸美学分析结果的展示可以包括以下内容：“综合颜值124；您的面部整体风格属于温婉脸，这种五官结构成熟度偏高，但是结构柔和，原生表情没有攻击度，所以看起来亲切温婉。气质：给人带来的气质感觉是年轻、灵敏、不过偶尔会显得轻浮。性格：你的性格平时表现得感性、浪漫、有时也会显得掩饰。优势部位：水滴鼻、瓜子脸、标准眉；改善部位：下巴、鼻梁高低。”
其中，长报告页面中，脸型、眉型、眼型、唇型、肌肤检测区域分别展示对应的美学分析结果的解读或描述，例如，眉型分析结果的展示可以包括：“你眉毛是标准眉；其实你更适合平眉；平眉是最适合你的眉毛。”
其中，在长报告页面中，还显示有智能美容工具标签，该智能美容工具的标签显示于相应的分析展示区域，例如：在眉型分析区域显示有智能画眉工具的标签，点击智能画眉工具标签后，用户可进入智能画眉工具的页面。
其中，在长报告页面中还包括脸型相似明星信息及链接，点击可了解明星如何完善脸型之类的信息；风格推荐按钮，点击可跳转至美学诊断的风格推荐页面。另外，还可以保存及向社交平台分享分析报告，及分享视频。长报告页面可以具有视频播放区域用于录屏或播放，视频例如为3D脸部分析过程的录屏内容，可直接分享到抖音等社交软件。
需说明的是，本公开实施例是以先显示美学分析结果，后续再生成包含美学分析结果的报告举例说明但不局限于此，也可以只显示美学分析结果而不生成包含美学分析结果的报告，或只生成包含美学分析结果的报告而不显示美学分析结果，可以根据需要灵活设置。
可以发现，本公开实施例提供的技术方案，可以实现3D人脸美学分析，通过3D形式立体展示人脸美学分析结果，使人脸美学分析更具有3D立体感，更加形象和准确，提高用户使用体验；可以实现可交互操作；可以生成报告页面，使得用户可以简单快速获得报告内容，用户可以更加方便、直观地查看美学分析结果，能更全面的满足用户的需求，例如长报告页面中显示有跳转至相应区域的标签，用户可以更加方便、直观的查看美学分析结果，能在长报告页面实现多种功能，能更全面的满足用户的需求，另外还可以将美学分析结果分享至社交平台，进一步提升了用户体验。
上述详细介绍了本公开的一种3D人脸信息处理方法，以下介绍本公开对应的3D人脸信息处理装置及终端。
图15是根据本发明的一个实施例的一种3D人脸信息处理装置的一示意性方框图。
该装置可以是位于终端设备中，例如移动终端设备或计算机设备等。参照图15，一种3D人脸信息处理装置，包括：获取模块151、人脸3D模型生成模块152、人脸点云图生成模块153、美学分析处理模块154。
获取模块151，用于获取用户的脸部图像。获取模块151可以获取用户通过摄像头拍摄或直接上传的脸部图像，脸部图像一般包含完整的正脸五官区域、侧脸颊区域以及耳朵等。
人脸3D模型生成模块152，用于根据获取模块151获取的脸部图像生成人脸3D模型。人脸3D模型生成模块152可以根据获取的脸部图像，采用相关3D人脸识别算法，生成人脸3D模型。相关的3D人脸识别算法，例如可以是基于图像特征的算法、基于模型可变参数的算法或基于深度学习的算法等，本公开不加以限定。
人脸点云图生成模块153，用于根据人脸3D模型生成模块152生成的人脸3D模型中的关键特征点，生成并显示人脸点云图。人脸点云图生成模块153可以获取人脸3D模型中的关键特征点；将关键特征点进行连线处理生成人脸点云图。
美学分析处理模块154，用于将人脸3D模型生成模块153生成的人脸3D模型中的关键特征点的特征值与预设的美学特征值进行美学分析比较，得到美学分析结果。美学分析处理模块154可以确定人脸3D模型中的关键特征点的特征值；将确定的关键特征点的特征值与预设的美学特征值进行美学分析比较，得到美学分析结果。
可以发现，本公开实施例提供的方案，实现了3D人脸美学分析，后续可以通过3D形式立体展示人脸美学分析结果，使人脸美学分析更具有3D立体感，更加形象和准确，提高用户使用体验。
图16是根据本发明的一个实施例的一种3D人脸信息处理装置的另一示意性方框图。
该装置可以是位于终端设备中，例如移动终端设备或计算机设备等。参照图16，一种3D人脸信息处理装置，包括：获取模块151、人脸3D模型生成模块152、人脸点云图生成模块153、美学分析处理模块154、美学结果显示模块155、交互模块156、报告生成模块157。
获取模块151、人脸3D模型生成模块152、人脸点云图生成模块153、美学分析处理模块154的功能可参照图15中的描述，此次不再赘述。
美学结果显示模块155，用于显示美学分析处理模块154分析比较的美学分析结果。
人脸3D模型生成模块152还可以包括：第一生成模块1521或第二生成模块1522。
第一生成模块1521，用于在脸部图像为通过3D摄像头拍摄的脸部图像时，根据获取模块151获取的脸部图像生成人脸第一3D模型。
第二生成模块1522，用于在脸部图像为通过2D摄像头拍摄的脸部图像时，根据获取模块151获取的脸部图像生成人脸第二3D模型。
美学结果显示模块155还可以包括：第一显示模块1551、第二显示模块1552、第三显示模块1553。美学结果显示模块155可以在不同界面显示美学分析结果。
第一显示模块1551，用于在人脸点云图和/或人脸第一3D模型上显示美学分析处理模块154分析比较的美学分析结果。
第二显示模块1552，用于在人脸点云图和/或人脸第二3D模型上显示美学分析处理模块154分析比较的美学分析结果。
第三显示模块1553，用于在人脸点云图和/或人脸第三3D模型上显示美学分析处理模块154分析比较的美学分析结果，其中人脸第三3D模型根据通过2D摄像头拍摄的脸部图像和人脸点云图叠加得到。
交互模块156，用于根据检测到人脸不同部位的标签菜单被点击，将人脸第一3D模型、人脸第二3D模型或人脸第三3D模型切换显示对应的部位。
报告生成模块157，用于生成包含美学分析结果的报告。报告生成模块157生成的报告，可以是全屏报告页面、长报告页面或画报报告页面，报告页面中的标签可以包括：美学分析、脸型、眉型、眼型、唇型、肌肤检测的标签。需要说明的是，根据分析结果，还可以增加其他标签。
上述3D人脸信息处理装置中的各模块的功能，可以同时参照上述方法中的描述，此处不再赘述。
图17是根据一示例性实施例示出的一种终端设备的结构示意图，该终端设备可用于实现上述方法。该终端设备可以是移动终端设备或计算机设备等，移动终端设备可以是手机、iPad等。
参见图17，终端设备1700包括存储器1710和处理器1720。
处理器1720可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器1720可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器1720可以使用定制的电路实现，例如特定用途集成电路(ASIC，Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA，Field Programmable Gate Arrays)。
存储器1710可以包括各种类型的存储单元，例如***内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器1720或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。***内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。***内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1710可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器1710可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器1710上存储有可执行代码，当可执行代码被处理器1720处理时，可以使处理器1720执行上文述及的上述方法。
上文中已经参考附图详细描述了根据本公开的上述方法。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
此外，根据本公开的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本公开的上述方法中限定的上述各步骤的计算机程序代码指令。
或者，本公开还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使处理器执行根据本公开的上述方法的各个步骤。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本公开的多个实施例的***和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (17)
1.一种3D人脸信息处理方法，其特征在于，包括：
获取用户的脸部图像；
根据获取的所述脸部图像生成人脸3D模型；
根据所述人脸3D模型中的关键特征点，生成并显示人脸点云图；
将所述人脸3D模型中的关键特征点的特征值与预设的美学特征值进行美学分析比较，得到美学分析结果。
2.根据权利要求1所述的方法，其特征在于：
在所述生成人脸3D模型的过程中和所述人脸点云图未显示之前，加载显示等待界面。
3.根据权利要求1所述的方法，其特征在于，所述得到美学分析结果之后还包括：
显示所述美学分析结果，和/或，
生成包含所述美学分析结果的报告。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据获取的所述脸部图像生成人脸3D模型，包括：
在所述脸部图像为通过3D摄像头拍摄的脸部图像时，根据获取的所述脸部图像生成人脸第一3D模型；或，
在所述脸部图像为通过2D摄像头拍摄的脸部图像时，根据获取的所述脸部图像生成人脸第二3D模型。
5.根据权利要求4所述的方法，所述显示美学分析结果，包括：
在不同界面显示美学分析结果。
6.根据权利要求5所述的方法，所述在不同界面显示美学分析结果，包括：
在所述人脸点云图和/或所述人脸第一3D模型上显示美学分析结果；或，
在所述人脸点云图和/或所述人脸第二3D模型上显示美学分析结果；或，
在所述人脸点云图和/或人脸第三3D模型上显示美学分析结果，其中所述人脸第三3D模型根据所述通过2D摄像头拍摄的脸部图像和所述人脸点云图叠加得到。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
根据检测到人脸不同部位的标签菜单被点击，将所述人脸第一3D模型、人脸第二3D模型或人脸第三3D模型切换显示对应的部位。
8.根据权利要求7所述的方法，其特征在于，所述人脸不同部位的标签菜单包括以下的一种或多种：
脸型标签、眉型标签、眼型标签、鼻型标签、唇型标签。
9.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述人脸3D模型中的关键特征点，生成并显示人脸点云图，包括：
获取所述人脸3D模型中的关键特征点；
将所述关键特征点进行连线处理，生成并显示人脸点云图。
10.根据权利要求4所述的方法，其特征在于，所述根据所述人脸3D模型中的关键特征点，生成并显示人脸点云图，包括：
在所述脸部图像为通过2D摄像头拍摄的脸部图像时，根据所述人脸第二3D模型得到转化3D模型，根据设定算法确定所述脸部图像的关键特征点坐标与所述转化3D模型中的关键特征点坐标之间的映射矩阵，根据所述映射矩阵生成并显示人脸点云图；或，
在所述脸部图像为通过2D摄像头拍摄的脸部图像时，根据设定算法确定所述脸部图像的关键特征点坐标与所述人脸第二3D模型中的关键特征点坐标之间的映射矩阵，根据所述映射矩阵生成并显示人脸点云图。
11.一种3D人脸信息处理装置，其特征在于，包括：
获取模块，用于获取用户的脸部图像；
人脸3D模型生成模块，用于根据所述获取模块获取的所述脸部图像生成人脸3D模型；
人脸点云图生成模块，用于根据所述人脸3D模型生成模块生成的人脸3D模型中的关键特征点，生成并显示人脸点云图；
美学分析处理模块，用于将所述人脸3D模型生成模块生成的人脸3D模型中的关键特征点的特征值与预设的美学特征值进行美学分析比较，得到美学分析结果。
12.根据权利要求11所述的装置，所述装置还包括：
美学结果显示模块，用于显示所述美学分析处理模块分析比较的美学分析结果；和/或，
报告生成模块，用于生成包含所述美学分析结果的报告。
13.根据权利要求11或12所述的装置，其特征在于，所述人脸3D模型生成模块包括：
第一生成模块，用于在所述脸部图像为通过3D摄像头拍摄的脸部图像时，根据所述获取模块获取的所述脸部图像生成人脸第一3D模型；或，
第二生成模块，用于在所述脸部图像为通过2D摄像头拍摄的脸部图像时，根据所述获取模块获取的所述脸部图像生成人脸第二3D模型。
14.根据权利要求12所述的装置，其特征在于，所述美学结果显示模块包括：
第一显示模块，用于在所述人脸点云图和/或所述人脸第一3D模型上显示所述美学分析处理模块分析比较的美学分析结果；或，
第二显示模块，用于在所述人脸点云图和/或所述人脸第二3D模型上显示美学分析结果；或，
第三显示模块，用于在所述人脸点云图和/或人脸第三3D模型上显示所述美学分析处理模块分析比较的美学分析结果，其中所述人脸第三3D模型根据所述通过2D摄像头拍摄的脸部图像和所述人脸点云图叠加得到。
15.根据权利要求14所述的装置，其特征在于，所述装置还包括：
交互模块，用于根据检测到人脸不同部位的标签菜单被点击，将所述人脸第一3D模型、人脸第二3D模型或人脸第三3D模型切换显示对应的部位。
16.一种终端设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-10中任一项所述的方法。
17.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911153141.6A CN112836545A (zh) | 2019-11-22 | 2019-11-22 | 一种3d人脸信息处理方法、装置及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911153141.6A CN112836545A (zh) | 2019-11-22 | 2019-11-22 | 一种3d人脸信息处理方法、装置及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112836545A true CN112836545A (zh) | 2021-05-25 |
Family
ID=75921671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911153141.6A Pending CN112836545A (zh) | 2019-11-22 | 2019-11-22 | 一种3d人脸信息处理方法、装置及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112836545A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103793611A (zh) * | 2014-02-18 | 2014-05-14 | 中国科学院上海技术物理研究所 | 医学信息的可视化方法和装置 |
| CN105427385A (zh) * | 2015-12-07 | 2016-03-23 | 华中科技大学 | 一种基于多层形变模型的高保真人脸三维重建方法 |
| CN106909875A (zh) * | 2016-09-12 | 2017-06-30 | 湖南拓视觉信息技术有限公司 | 人脸脸型分类方法和*** |
| US20180184062A1 (en) * | 2016-12-22 | 2018-06-28 | Aestatix LLC | Image Processing to Determine Center of Balance in a Digital Image |
| CN109255328A (zh) * | 2018-09-07 | 2019-01-22 | 北京相貌空间科技有限公司 | 用户气质确定方法及装置 |
| CN109859305A (zh) * | 2018-12-13 | 2019-06-07 | 中科天网（广东）科技有限公司 | 基于多角度二维人脸的三维人脸建模、识别方法及装置 |
-
2019
- 2019-11-22 CN CN201911153141.6A patent/CN112836545A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103793611A (zh) * | 2014-02-18 | 2014-05-14 | 中国科学院上海技术物理研究所 | 医学信息的可视化方法和装置 |
| CN105427385A (zh) * | 2015-12-07 | 2016-03-23 | 华中科技大学 | 一种基于多层形变模型的高保真人脸三维重建方法 |
| CN106909875A (zh) * | 2016-09-12 | 2017-06-30 | 湖南拓视觉信息技术有限公司 | 人脸脸型分类方法和*** |
| US20180184062A1 (en) * | 2016-12-22 | 2018-06-28 | Aestatix LLC | Image Processing to Determine Center of Balance in a Digital Image |
| CN109255328A (zh) * | 2018-09-07 | 2019-01-22 | 北京相貌空间科技有限公司 | 用户气质确定方法及装置 |
| CN109859305A (zh) * | 2018-12-13 | 2019-06-07 | 中科天网（广东）科技有限公司 | 基于多角度二维人脸的三维人脸建模、识别方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| 刘博文: ""基于二维特征点的三维人脸点云配准技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 2018, no. 12, pages 138 - 1103 * |
| 桑高丽: "《基于真实测量三维人脸的识别技术研究》", 31 July 2019, 西安电子科技大学出版社, pages: 16 - 17 * |
| 齐向东, 秦建增, 赵卫东, 樊继宏, 李鉴轶, 张美超, 黄文华, 钟世镇: "软组织激光全息扫描鼻眶窝的三维数字图像分析", 中华整形外科杂志, no. 04, pages 8 - 11 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210065454A1 (en) | Generating 3d data in a messaging system | |
| US9898081B2 (en) | Gaze and saccade based graphical manipulation | |
| CN105404392B (zh) | 基于单目摄像头的虚拟穿戴方法及*** | |
| US20190384967A1 (en) | Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium | |
| US9495008B2 (en) | Detecting a primary user of a device | |
| CN105659200B (zh) | 用于显示图形用户界面的方法、设备和*** | |
| WO2017088340A1 (zh) | 图像信息处理方法、装置和计算机存储介质 | |
| CN110363867B (zh) | 虚拟装扮***、方法、设备及介质 | |
| McDonnell et al. | Eye-catching crowds: saliency based selective variation | |
| KR20180108709A (ko) | 사용자의 현실적인 신체 모델에 가상으로 옷을 입혀보는 방법 | |
| KR20220051376A (ko) | 메시징 시스템에서의 3d 데이터 생성 | |
| CN112509040A (zh) | 对提供镜面反射和反射修改的表面进行基于图像的检测 | |
| CN104969543A (zh) | 电子镜装置 | |
| WO2022047463A1 (en) | Cross-domain neural networks for synthesizing image with fake hair combined with real image | |
| KR20170002100A (ko) | 감성 아바타 이모티콘 기반의 스마트 러닝 학습 제공 방법, 그리고 이를 구현하기 위한 스마트 러닝 학습 단말장치 | |
| US9208606B2 (en) | System, method, and computer program product for extruding a model through a two-dimensional scene | |
| US20190302880A1 (en) | Device for influencing virtual objects of augmented reality | |
| US10891801B2 (en) | Method and system for generating a user-customized computer-generated animation | |
| CN110866139A (zh) | 一种化妆处理方法、装置及设备 | |
| CN114283052A (zh) | 妆容迁移及妆容迁移网络的训练方法和装置 | |
| US11631208B1 (en) | Systems and methods for generating clinically relevant images that preserve physical attributes of humans while protecting personal identity | |
| JP2013168146A (ja) | 実物体のテクスチャ描写を生成する方法、装置、およびシステム | |
| US20210383097A1 (en) | Object scanning for subsequent object detection | |
| EP3652617B1 (en) | Mixed reality object rendering based on ambient light conditions | |
| JP2013200867A (ja) | アニメーション作成装置、カメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |