CN107679515A - 一种基于曲面调和形状图像深度表示的三维人脸识别方法 - Google Patents
一种基于曲面调和形状图像深度表示的三维人脸识别方法 Download PDFInfo
- Publication number
- CN107679515A CN107679515A CN201711002134.7A CN201711002134A CN107679515A CN 107679515 A CN107679515 A CN 107679515A CN 201711002134 A CN201711002134 A CN 201711002134A CN 107679515 A CN107679515 A CN 107679515A
- Authority
- CN
- China
- Prior art keywords
- msub
- mrow
- face
- curved surface
- mediation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种基于曲面调和形状图像深度表示的三维人脸识别方法，对给定的三维人脸曲面进行预处理后映射到二维平面圆盘上；对于三维人脸中的每一个顶点，计算各个顶点处的曲率以及法向量，分别得到了六种调和形状参数；将每个顶点上的六种调和形状参数，分别嵌入到摆正后的人脸中，得到了六种调和形状的二维人脸图像，输入到深度卷积神经网络中，利用已经训练好的深度卷积神经网络，提取其深度特征；通过稀疏表示的方法，实现三维人脸的比对。本发明的三维人脸识别技术具有简单、易于实现、识别精度高等优点，并且对面部表情变化时鲁棒性较好。
Description
技术领域
本发明涉及一种三维人脸识别方法，主要涉及一种基于曲面调和形状图像深度表示的三维人脸识别方法。
背景技术
作为一种新型生物特征识别技术，三维人脸识别技术在金融、安防、反恐等领域具有巨大的潜在应用价值。现有技术主要包括基于三维人脸曲面的点、线、面、法向量、曲率、形状指标等几何量的刻画。同时结合人工设计的特征(如Gabor小波变换和局部二值模式)实现三维人脸曲面的最终表达。特别地，现有相关技术利用曲面参数化技术(如保角映射和等距映射等)实现三维人脸曲面到二维平面之间信息的转化。然而，基于曲面参数化的三维人脸识别技术目前很难获得较高的识别精度。随着深度学习的不断发展，基于大样本数据训练所得到的深度卷积神经网络被证明具有良好的推广性能，其效果在多种计算机视觉任务(如目标检测和物体识别等)中均明显超出传统人工特征。
发明内容
本发明的目的在于提出了一种基于曲面调和形状图像深度表示的三维人脸识别方法，该方法将曲面调和形状图像与深度学习相结合，一方面，曲面调和映照具有深刻的数学理论基础和鲜明的物理解释，而且，曲面调和映照算法对曲面的拓扑和边界具有较强的鲁棒性。另一方面，深度学习能够提取鉴别力较强的图像特征，二者的结合将有望大大提高基于曲面参数化三维人脸识别算法的性能。
为实现上述目的，本发明采用如下的技术方案：
一种基于曲面调和形状图像深度表示的三维人脸识别方法，包括以下步骤：
1)数据预处理：给定一张三维人脸曲面，对其进行预处理；
2)调和映照：将预处理好的三维人脸曲面，利用调和映照，将三维人脸曲面映射到二维平面圆盘上；
3)对于三维人脸中的每一个顶点，计算各个顶点处的曲率以及法向量，分别得到了六种调和形状参数，六种调和形状参数为形状指数、曲度、法向量在x，y，z三个方向上的投影以及深度；
4)将映射到二维平面圆盘上的人脸进行摆正，得到摆正后的人脸；将步骤3)所求得的每个顶点上的六种调和形状参数，分别嵌入到摆正后的人脸中，得到了六种调和形状的二维人脸图像；
5)将步骤4)得到的六种调和形状的二维人脸图像输入到深度卷积神经网络中，利用已经训练好的深度卷积神经网络，提取其深度特征；
6)人脸比对：根据步骤5)得到图像的深度特征，通过稀疏表示的方法，实现三维人脸的比对。
本发明进一步的改进在于，预处理具体过程为：噪声去除、鼻尖点检测、人脸切割以及左右内眼角点自动检测。
本发明进一步的改进在于，将三维人脸曲面映射到二维平面圆盘D上的具体过程如下：表面为三角形网格面片M，此时调和映照为离散情形，对于被定义在顶点上的函数得出函数f的调和能量，写为：
其中，wij为边[vi,vj]的余切权重；给定[vi,vj]是面[vi,vj,vk]和面[vi,vj,vl]相邻的边，θk是以vk为顶点的在[vi,vj,vk]三角形中的顶角；θl是以vl为顶点的在[vi,vj,vl]三角形中的顶角，此时边的权重则称之为：若[vi,vj]是处在边界上的一条边，则此时唯一的相邻的三角形只有[vi,vj,vk]，则此时：对于所有的内部顶点，离散的拉普拉斯方程变为：
对上述拉普拉斯方程求解得到在顶点上的函数f，根据在顶点上的函数f，将三维人脸曲面映射到二位圆盘上。
本发明进一步的改进在于，形状指数以及曲度具体通过以下过程得到：计算各个顶点处的曲率以及法向量；近似地认为该顶点周围的区域为一个离散的含参曲面根据预处理好的三维人脸曲面的坐标拟合出上式中的参数A、B、C、D、E、F以及G；再根据矩阵对其进行特征根分解，得到最大的特征根即最大主曲率K1，以及最小的特征根即最小主曲率K2；引入两种参数：形状指数Shapeindex以及曲度Curvedness，其计算公式分别为：
将求得的最大主曲率、最小主曲率带入到上述公式中，便得到了人脸曲面上一个顶点处的形状指数以及曲度；
法向量在x，y，z三个方向上的投影通过以下过程得到：各个顶点的法向量值其计算公式为：
其中，vi是顶点i，vi,j是由顶点vi和vj连接所确定的边，根据该公式计算出每个顶点处的法向量，该法向量为三维的向量，即法向量在x，y，z三个方向上的投影。
本发明进一步的改进在于，将预处理好的三维人脸曲面中每个顶点的第三维度坐标作为一个新的参数，称之为深度。
本发明进一步的改进在于，将映射到二维平面圆盘上的人脸进行摆正的具体过程为：选取两个内眼角点以及鼻尖点，根据这三个点的坐标信息，确定出一个旋转矩阵接着对所有的顶点分别乘以该旋转矩阵，得到摆正后的人脸。
本发明进一步的改进在于，通过稀疏表示的方法，得到人脸的比对的具体过程为：给定一个包含N个属于不同类的数据集合，定义稀疏表示模型的字典为D＝[d1,d2,...,dN]，则对于任意一张图像y，有y＝Dx+ε，D为稀疏表示模型的字典，x为稀疏系数，ε为重建误差；其中，稀疏系数x通过下式求解：
式中，L表示系数的稀疏性；假设是上式的解，则最小的重建误差向量ri(y)为
最小的重建误差向量表示了图像y的类别，其中，δi表示属于i类的指示函数；
最小的重建误差向量给出了测试人脸y的身份，从而完成三维人脸的比对。
与现有技术相比，本发明具有的有益效果：本发明将曲面调和形状图像与深度学习相结合，一方面，曲面调和映照具有深刻的数学理论基础和鲜明的物理解释，而且，曲面调和映照算法对曲面的拓扑和边界具有较强的鲁棒性。另一方面，深度学习能够提取鉴别力较强的图像特征，二者的结合将有望大大提高基于曲面参数化三维人脸识别算法的性能。通过在国际上公开的三维人脸识别数据库上的实验，验证了基于六种调和形状图像的三维人脸表示的有效性以及基于调和形状图像的深度表示的有效性。与现有三维人脸识别技术相比，本发明的三维人脸识别技术具有简单、易于实现、识别精度高等优点，并且对面部表情变化时鲁棒性较好。
附图说明
图1是本三维人脸识别发明的流程图。
图2为三维人脸文件中数据格式。
图3为三维人脸以及经过调和映照后的二维人脸。其中，图(a)为三维人脸，图(b)为经过调和映照后的二维人脸，图(c)为摆正后的二维人脸。
图4为六种调和形状图像。其中，图(a)为深度图，图(b)为曲度图，图(c)为形状指数图，图(d)为法向量x图，图(e)为法向量y图，图(f)为法向量z图。
具体实施方式
下面结合附图对本发明进行详细说明。
参见图1，本发明的具体步骤如下：
一、数据集介绍：
在本发明中，采用BU-3DFE数据库进行实验。该数据库包含100个人的三维图像(56位女性，44未男性)。每人包含了24张带六种表情(Happy,Disgust,Fear,Angry,Surprise,Sadness)的三维图像，各个表情的图像又分为4个不同的等级。再加上一张中性的图像，每个人共计25张三维图像。总数据集共计2500张图像。在本发明的实验中，100张中性三维人脸作为基准样本，2400张带表情的三维人脸作为测试样本。
二、数据预处理：
给定一张数据库中的人脸，首先从原始的“mesh”文件中读取出其数据，其中包括顶点坐标(vertex)，三角形面(face)以及关键点(landmark)。并将其保存成新的文件以待下一步的处理。其文件实例如图2所示。
对三维人脸曲面进行噪声去除、鼻尖点检测、人脸切割、左右内眼角点自动检测；
2)调和映照：将预处理好的三维人脸曲面，利用调和映照，将三维人脸曲面映射到二维平面圆盘上；
调和映照的直观意义为，假设表面S是由橡胶制作的，那么将它的表面拉伸到平面单位元，并固定它的边界。这个映射自然会减少膜的能量(拉伸能量)，这个最小化的映射就是调和映射。调和映射在工程中有很大的应用价值，一个根本的原因在于它能在适当的条件下给出微分同胚，即此时的映射是双射且光滑的。这也被称为Rado定理。
在本发明中，将三维人脸曲面映射到二维平面圆盘D上的具体过程如下：表面为三角形网格面片M，此时调和映照为离散情形。对于被定义在顶点上的函数可得出在顶点上的函数f的调和能量，可写为：
其中，wij为边[vi，vj]的余切权重。给定[vi，vj]是面[vi，vj，vk]和面[vi，vj，vl]相邻的边，θk是以vk为顶点的在[vi，vj，vk]三角形中的顶角；θl是以vl为顶点的在[vi，vj，vl]三角形中的顶角，此时边的权重则称之为：若[vi，vj]是处在边界上的一条边，则此时唯一的相邻的三角形只有[vi，vj，vk]，则此时：对于所有的内部顶点，离散的拉普拉斯方程变为：
这是一个可被求解的线性方程***，求解得到在顶点上的函数f，根据在顶点上的函数f，将三维人脸曲面映射到二位圆盘上。
3)计算各个顶点处的曲率以及法向量：
计算各个顶点处的曲率以及法向量。近似地认为该顶点周围的区域为一个离散的含参曲面根据预处理好的三维人脸曲面的坐标拟合出上式中的参数A、B、C、D、E、F以及G；再根据矩阵对其进行特征根分解，得到最大的特征根即最大主曲率K1，以及最小的特征根即最小主曲率K2。这样就得到了人脸曲面上一个顶点的最大主曲率值以及最小主曲率值。接下来，引入了两种参数：形状指数Shapeindex以及曲度Curvedness。其计算公式分别为：
将求得的最大最小曲率值带入到上述公式中，便得到了人脸曲面上一个顶点处的形状指数以及曲度。
还需计算出各个顶点的法向量值，其计算公式为：
其中，vi是顶点i，vi,j是由顶点vi和vj连接所确定的边。根据该公式计算出每个顶点处的法向量。该法向量为三维的向量，即法向量在x，y，z三个方向上的投影。
此外，因为要将三维人脸映射变换到二维人脸坐标信息，所以将预处理好的三维人脸曲面中每个顶点的第三维度坐标作为一个新的参数，在此处称之为深度；
到此为止，对于三维人脸中的每一个顶点，分别得到了六种调和形状参数。即六种调和形状参数为形状指数Shapeindex、曲度Curvedness、法向量在x，y，z三个方向上的投影以及深度。
4)由于步骤2)中映射到二维平面圆盘上的人脸并非都是正对的形式，因此选取了两个内眼角点以及鼻尖点，根据这三个点的坐标信息，确定出一个旋转矩阵接着对所有的顶点分别乘以该旋转矩阵，就得到了摆正后的人脸，参见图3；
将步骤3)所求得的每个顶点上的六种调和形状参数，分别嵌入到摆正后的人脸中，得到了六种调和形状的二维人脸图像，参见图4。
5)将步骤4)得到的六种调和形状的二维人脸图像输入到深度卷积神经网络(vggdeep face net)中，利用已经训练好的深度卷积神经网络，提取其深度特征；
利用已经训练好的深度卷积神经网络，提取其深度特征的具体的过程为：选取“vgg deep face net”网络来提取特征。其网络结构见表1。
表1 vgg deep face net网络结构
在输入图像之前，将得到的二维人脸图像统一为214*214*3的大小，接着将图像输入到该深度卷积神经网络，选取第29层(conv5-3)来作为深度特征的输出层。其输出的特征向量为7*7*512大小的向量。将其拉伸成1*25088的向量。至此为止就完成了基于六种调和形状二维人脸图像的深度特征提取。
6)人脸比对：根据步骤5)得到六种调和形状二维人脸图像的深度特征，通过稀疏表示的方法，实现三维人脸的比对。
通过稀疏表示的方法，得到人脸的比对的具体过程为：给定一个包含N个属于不同类的数据集合，定义稀疏表示模型的字典为D＝[d1,d2,...,dN]，则对于任意一张图像y，有y＝Dx+ε，D为稀疏表示模型的字典，x为稀疏系数，ε为重建误差。其中，稀疏系数x可通过下式求解：
其中，L表示系数的稀疏性。假设是上式的解，则最小的重建误差向量为
最小的重建误差向量表示了图像y的类别，其中δi表示属于i类的指示函数。
最小的重建误差向量给出了测试人脸y的身份，从而完成三维人脸的比对。
具体的，通过稀疏表示的方法，实现三维人脸的比对的具体过程如下：
将得到的六种调和形状二维人脸图像的深度特征作为识别的输入。其中带表情的图像作为待测图像，中性表情作为基准，采用稀疏表示的方法进行人脸比对，得到各种调和形状图像及其融合之后在整个数据库上的识别率。具体识别率见表2：
表2本发明在BU-3DFE数据库上的识别率，单位为：％
| HSIg | HSIc | HSIs | HSInx | HSIny | HSInz | HSInxyz | HSIs+nxyz | HSIg+s+nxyz | All |
| 56.33 | 44.00 | 79.63 | 72.42 | 82.79 | 75.96 | 87.04 | 89.38 | 85.42 | 83.33 |
从表2中可以看出除了调和曲度图，其余的调和形状图像都取得了不错的识别率。将不同的调和形状进行融合，发现HSIs+nxyz得到了最高的识别率，识别率为89.38％。紧接着，针对HSIs+nxyz该类融合特征，在不同的表情子库上进行实验，实验结果见表3：
表3 HSIs+nxyz在BU-3DFE不同表情子库上的识别率，单位为：％
| Happy | Surprise | Fear | Sadness | Anger | Disgust | All |
| 88.8 | 83.0 | 92.0 | 95.8 | 93.5 | 83.3 | 89.38 |
从表3中可以清楚的看到，本发明的方法在变化的表情上鲁棒性很高，在Fear,Sadness,Anger类表情上取得了非常好的识别率。
本发明的主要创新之处在于将现代微分几何中的曲面调和映照与深度学习技术相结合，提出了一种新的三维人脸识别技术，并验证了该技术的有效性。
Claims (7)
1.一种基于曲面调和形状图像深度表示的三维人脸识别方法，其特征在于，包括以下步骤：
1)数据预处理：给定一张三维人脸曲面，对其进行预处理；
2)调和映照：将预处理好的三维人脸曲面，利用调和映照，将三维人脸曲面映射到二维平面圆盘上；
3)对于三维人脸中的每一个顶点，计算各个顶点处的曲率以及法向量，分别得到了六种调和形状参数，六种调和形状参数为形状指数、曲度、法向量在x，y，z三个方向上的投影以及深度；
4)将映射到二维平面圆盘上的人脸进行摆正，得到摆正后的人脸；将步骤3)所求得的每个顶点上的六种调和形状参数，分别嵌入到摆正后的人脸中，得到了六种调和形状的二维人脸图像；
5)将步骤4)得到的六种调和形状的二维人脸图像输入到深度卷积神经网络中，利用已经训练好的深度卷积神经网络，提取其深度特征；
6)人脸比对：根据步骤5)得到图像的深度特征，通过稀疏表示的方法，实现三维人脸的比对。
2.根据权利要求1所述的一种基于曲面调和形状图像深度表示的三维人脸识别方法，其特征在于，预处理具体过程为：噪声去除、鼻尖点检测、人脸切割以及左右内眼角点自动检测。
3.根据权利要求1所述的一种基于曲面调和形状图像深度表示的三维人脸识别方法，其特征在于，将三维人脸曲面映射到二维平面圆盘D上的具体过程如下：表面为三角形网格面片M，此时调和映照为离散情形，对于被定义在顶点上的函数得出函数f的调和能量，写为：
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>&rsqb;</mo>
<mo>&Element;</mo>
<mi>M</mi>
</mrow>
</munder>
<msub>
<mi>w</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<msup>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
<mo>-</mo>
<mi>f</mi>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
其中，wij为边[vi,vj]的余切权重；给定[vi,vj]是面[vi,vj,vk]和面[vi,vj,vl]相邻的边，θk是以vk为顶点的在[vi,vj,vk]三角形中的顶角；θl是以vl为顶点的在[vi,vj,vl]三角形中的顶角，此时边的权重则称之为：若[vi,vj]是处在边界上的一条边，则此时唯一的相邻的三角形只有[vi,vj,vk]，则此时：对于所有的内部顶点，离散的拉普拉斯方程变为：
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>&rsqb;</mo>
<mo>&Element;</mo>
<mi>M</mi>
</mrow>
</munder>
<msub>
<mi>w</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
<mo>-</mo>
<mi>f</mi>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mn>0</mn>
<mo>,</mo>
<mo>&ForAll;</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>&NotElement;</mo>
<mo>&part;</mo>
<mi>M</mi>
</mrow>
对上述拉普拉斯方程求解得到在顶点上的函数f，根据在顶点上的函数f，将三维人脸曲面映射到二位圆盘上。
4.根据权利要求1所述的一种基于曲面调和形状图像深度表示的三维人脸识别方法，其特征在于，形状指数以及曲度具体通过以下过程得到：计算各个顶点处的曲率以及法向量，认为该顶点周围的区域为一个离散的含参曲面根据预处理好的三维人脸曲面的坐标拟合出上式中的参数A、B、C、D、E、F以及G；再根据矩阵对其进行特征根分解，得到最大的特征根即最大主曲率K1，以及最小的特征根即最小主曲率K2；引入两种参数：形状指数Shapeindex以及曲度Curvedness，其计算公式分别为：
<mrow>
<mi>S</mi>
<mi>h</mi>
<mi>a</mi>
<mi>p</mi>
<mi>e</mi>
<mi>i</mi>
<mi>n</mi>
<mi>d</mi>
<mi>e</mi>
<mi>x</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mi>&pi;</mi>
</mfrac>
<mi>a</mi>
<mi>r</mi>
<mi>c</mi>
<mi>t</mi>
<mi>a</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mi>K</mi>
<mn>1</mn>
</msub>
<mo>+</mo>
<msub>
<mi>K</mi>
<mn>2</mn>
</msub>
</mrow>
<mrow>
<msub>
<mi>K</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>K</mi>
<mn>2</mn>
</msub>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mi>C</mi>
<mi>u</mi>
<mi>r</mi>
<mi>v</mi>
<mi>e</mi>
<mi>d</mi>
<mi>n</mi>
<mi>e</mi>
<mi>s</mi>
<mi>s</mi>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<msub>
<mi>K</mi>
<mn>1</mn>
</msub>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<msub>
<mi>K</mi>
<mn>2</mn>
</msub>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
将求得的最大主曲率、最小主曲率带入到上述公式中，便得到了人脸曲面上一个顶点处的形状指数以及曲度；
法向量在x，y，z三个方向上的投影通过以下过程得到：各个顶点的法向量值其计算公式为：
<mrow>
<msub>
<mi>n</mi>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
</msub>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>n</mi>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mi>x</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>n</mi>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mi>y</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>n</mi>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mi>z</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>k</mi>
</mfrac>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>k</mi>
</munderover>
<mfrac>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>v</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>&rsqb;</mo>
<mo>&times;</mo>
<mo>&lsqb;</mo>
<msub>
<mi>v</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mo>&lsqb;</mo>
<msub>
<mi>v</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>&rsqb;</mo>
<mo>&times;</mo>
<mo>&lsqb;</mo>
<msub>
<mi>v</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>&rsqb;</mo>
<mo>|</mo>
<mo>|</mo>
</mrow>
</mfrac>
</mrow>
其中，vi是顶点i，vi,j是由顶点vi和vj连接所确定的边，根据该公式计算出每个顶点处的法向量，该法向量为三维的向量，即法向量在x，y，z三个方向上的投影。
5.根据权利要求1所述的一种基于曲面调和形状图像深度表示的三维人脸识别方法，其特征在于，将预处理好的三维人脸曲面中每个顶点的第三维度坐标作为一个新的参数，称之为深度。
6.根据权利要求1所述的一种基于曲面调和形状图像深度表示的三维人脸识别方法，其特征在于，将映射到二维平面圆盘上的人脸进行摆正的具体过程为：选取两个内眼角点以及鼻尖点，根据这三个点的坐标信息，确定出一个旋转矩阵接着对所有的顶点分别乘以该旋转矩阵，得到摆正后的人脸。
7.根据权利要求1所述的一种基于曲面调和形状图像深度表示的三维人脸识别方法，其特征在于，通过稀疏表示的方法，得到人脸的比对的具体过程为：给定一个包含N个属于不同类的数据集合，定义稀疏表示模型的字典为D＝[d1,d2,...,dN]，则对于任意一张图像y，有y＝Dx+ε，D为稀疏表示模型的字典，x为稀疏系数，ε为重建误差；其中，稀疏系数x通过下式求解：
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<mo>|</mo>
<mo>|</mo>
<mi>y</mi>
<mo>-</mo>
<mi>D</mi>
<mi>x</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>,</mo>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
<mo>|</mo>
<mo>|</mo>
<mi>x</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>0</mn>
</msub>
<mo>&le;</mo>
<mi>L</mi>
</mrow>
式中，L表示系数的稀疏性；假设是上式的解，则最小的重建误差向量ri(y)为
<mrow>
<msub>
<mi>r</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<mi>y</mi>
<mo>-</mo>
<msub>
<mi>D&delta;</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mover>
<mi>x</mi>
<mo>^</mo>
</mover>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>,</mo>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<mi>N</mi>
</mrow>
最小的重建误差向量表示了图像y的类别，其中，δi表示属于i类的指示函数；
最小的重建误差向量给出了测试人脸y的身份，从而完成三维人脸的比对。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711002134.7A CN107679515A (zh) | 2017-10-24 | 2017-10-24 | 一种基于曲面调和形状图像深度表示的三维人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711002134.7A CN107679515A (zh) | 2017-10-24 | 2017-10-24 | 一种基于曲面调和形状图像深度表示的三维人脸识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107679515A true CN107679515A (zh) | 2018-02-09 |
Family
ID=61141136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711002134.7A Pending CN107679515A (zh) | 2017-10-24 | 2017-10-24 | 一种基于曲面调和形状图像深度表示的三维人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107679515A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108304831A (zh) * | 2018-03-15 | 2018-07-20 | 广东工业大学 | 一种监测工人安全帽佩戴的方法及装置 |
| CN109241856A (zh) * | 2018-08-13 | 2019-01-18 | 浙江零跑科技有限公司 | 一种单目车载视觉***立体目标检测方法 |
| CN109753925A (zh) * | 2018-12-29 | 2019-05-14 | 深圳三人行在线科技有限公司 | 一种虹膜特征提取的方法和设备 |
| CN109903396A (zh) * | 2019-03-20 | 2019-06-18 | 洛阳中科信息产业研究院(中科院计算技术研究所洛阳分所) | 一种基于曲面参数化的牙齿三维模型自动分割方法 |
| CN110046543A (zh) * | 2019-02-27 | 2019-07-23 | 视缘(上海)智能科技有限公司 | 一种基于平面参数化的三维人脸识别方法 |
| CN110751043A (zh) * | 2019-09-19 | 2020-02-04 | 平安科技（深圳）有限公司 | 基于人脸可见性的人脸识别方法、装置及存储介质 |
| CN111178255A (zh) * | 2019-12-28 | 2020-05-19 | 西安交通大学 | 一种基于张量分解的多特征融合的4d表情识别方法 |
| CN112381706A (zh) * | 2019-11-05 | 2021-02-19 | 北京智拓视界科技有限责任公司 | 对大脑的三维数据进行平面化处理的方法，设备和计算机可读存储介质 |
| CN116071519A (zh) * | 2023-03-06 | 2023-05-05 | 清华大学 | 基于调和映射生成网格模型的图像处理方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1648935A (zh) * | 2005-02-04 | 2005-08-03 | 浙江大学 | 基于极光谱图像的三维人脸识别方法 |
| CN103984920A (zh) * | 2014-04-25 | 2014-08-13 | 同济大学 | 一种基于稀疏表示与多特征点的三维人脸识别方法 |
| EP2869239A2 (en) * | 2013-11-04 | 2015-05-06 | Facebook, Inc. | Systems and methods for facial representation |
| CN106096503A (zh) * | 2016-05-30 | 2016-11-09 | 东南大学 | 一种基于关键点和局部特征的三维人脸识别方法 |
| CN107045631A (zh) * | 2017-05-25 | 2017-08-15 | 北京华捷艾米科技有限公司 | 人脸特征点检测方法、装置及设备 |
-
2017
- 2017-10-24 CN CN201711002134.7A patent/CN107679515A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1648935A (zh) * | 2005-02-04 | 2005-08-03 | 浙江大学 | 基于极光谱图像的三维人脸识别方法 |
| EP2869239A2 (en) * | 2013-11-04 | 2015-05-06 | Facebook, Inc. | Systems and methods for facial representation |
| CN103984920A (zh) * | 2014-04-25 | 2014-08-13 | 同济大学 | 一种基于稀疏表示与多特征点的三维人脸识别方法 |
| CN106096503A (zh) * | 2016-05-30 | 2016-11-09 | 东南大学 | 一种基于关键点和局部特征的三维人脸识别方法 |
| CN107045631A (zh) * | 2017-05-25 | 2017-08-15 | 北京华捷艾米科技有限公司 | 人脸特征点检测方法、装置及设备 |
Non-Patent Citations (1)
| Title |
|---|
| XIAOFAN WEI等: "Three Dimensional Face Recognition via Surface Harmonic Mapping and Deep Learning", 《CCBR 2017: BIOMETRIC RECOGNITION》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108304831B (zh) * | 2018-03-15 | 2022-03-22 | 广东工业大学 | 一种监测工人安全帽佩戴的方法及装置 |
| CN108304831A (zh) * | 2018-03-15 | 2018-07-20 | 广东工业大学 | 一种监测工人安全帽佩戴的方法及装置 |
| CN109241856A (zh) * | 2018-08-13 | 2019-01-18 | 浙江零跑科技有限公司 | 一种单目车载视觉***立体目标检测方法 |
| CN109753925A (zh) * | 2018-12-29 | 2019-05-14 | 深圳三人行在线科技有限公司 | 一种虹膜特征提取的方法和设备 |
| CN110046543A (zh) * | 2019-02-27 | 2019-07-23 | 视缘(上海)智能科技有限公司 | 一种基于平面参数化的三维人脸识别方法 |
| CN109903396A (zh) * | 2019-03-20 | 2019-06-18 | 洛阳中科信息产业研究院(中科院计算技术研究所洛阳分所) | 一种基于曲面参数化的牙齿三维模型自动分割方法 |
| WO2021051611A1 (zh) * | 2019-09-19 | 2021-03-25 | 平安科技（深圳）有限公司 | 基于人脸可见性的人脸识别方法、***、装置及存储介质 |
| CN110751043A (zh) * | 2019-09-19 | 2020-02-04 | 平安科技（深圳）有限公司 | 基于人脸可见性的人脸识别方法、装置及存储介质 |
| CN110751043B (zh) * | 2019-09-19 | 2023-08-22 | 平安科技（深圳）有限公司 | 基于人脸可见性的人脸识别方法、装置及存储介质 |
| CN112381706A (zh) * | 2019-11-05 | 2021-02-19 | 北京智拓视界科技有限责任公司 | 对大脑的三维数据进行平面化处理的方法，设备和计算机可读存储介质 |
| CN112381706B (zh) * | 2019-11-05 | 2024-02-02 | 北京智拓视界科技有限责任公司 | 对大脑的三维数据进行平面化处理的方法，设备和计算机可读存储介质 |
| CN111178255A (zh) * | 2019-12-28 | 2020-05-19 | 西安交通大学 | 一种基于张量分解的多特征融合的4d表情识别方法 |
| CN111178255B (zh) * | 2019-12-28 | 2022-07-12 | 西安交通大学 | 一种基于张量分解的多特征融合的4d表情识别方法 |
| CN116071519A (zh) * | 2023-03-06 | 2023-05-05 | 清华大学 | 基于调和映射生成网格模型的图像处理方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107679515A (zh) | 一种基于曲面调和形状图像深度表示的三维人脸识别方法 | |
| Xie et al. | Deepshape: Deep learned shape descriptor for 3d shape matching and retrieval | |
| CN102592136B (zh) | 基于几何图像中中频信息的三维人脸识别方法 | |
| US10489914B2 (en) | Method and apparatus for parsing and processing three-dimensional CAD model | |
| CN101055620B (zh) | 形状比较装置和方法 | |
| CN106650789A (zh) | 一种基于深度lstm网络的图像描述生成方法 | |
| CN107679491A (zh) | 一种融合多模态数据的3d卷积神经网络手语识别方法 | |
| CN106022228B (zh) | 一种基于网格纵横局部二值模式的三维人脸识别方法 | |
| CN109299701A (zh) | 基于gan扩充多人种特征协同选择的人脸年龄估计方法 | |
| CN104268593A (zh) | 一种小样本情况下多稀疏表示的人脸识别方法 | |
| CN101673345A (zh) | 基于形状先验的提取目标闭合轮廓的方法 | |
| Feragen et al. | Geometries on spaces of treelike shapes | |
| CN105205449A (zh) | 基于深度学习的手语识别方法 | |
| CN105373777A (zh) | 一种用于人脸识别的方法及装置 | |
| CN106339753A (zh) | 一种有效提升卷积神经网络稳健性的方法 | |
| CN106021330A (zh) | 一种用于混合轮廓线视图下的三维模型检索方法 | |
| CN111860528B (zh) | 基于改进U-Net网络的图像分割模型及训练方法 | |
| CN115966010A (zh) | 一种基于注意力和多尺度特征融合的表情识别方法 | |
| CN105631478A (zh) | 基于稀疏表示字典学习的植物分类方法 | |
| CN104732247B (zh) | 一种人脸特征定位方法 | |
| CN102063719B (zh) | 一种三维模型局部匹配方法 | |
| Ahmad et al. | Hybrid labels for brain tumor segmentation | |
| CN107784284A (zh) | 人脸识别方法及*** | |
| Aygün et al. | Unsupervised dense shape correspondence using heat kernels | |
| CN108257194A (zh) | 基于卷积神经网络的人脸简笔画生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180209 |