CN105550657B - 基于关键点的改进sift人脸特征提取方法 - Google Patents

基于关键点的改进sift人脸特征提取方法 Download PDF

Info

Publication number
CN105550657B
CN105550657B CN201510977092.3A CN201510977092A CN105550657B CN 105550657 B CN105550657 B CN 105550657B CN 201510977092 A CN201510977092 A CN 201510977092A CN 105550657 B CN105550657 B CN 105550657B
Authority
CN
China
Prior art keywords
face
key
pixel point
layer
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510977092.3A
Other languages
English (en)
Other versions
CN105550657A (zh
Inventor
李伟
王璐
冯复标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Chemical Technology
Original Assignee
Beijing University of Chemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Chemical Technology filed Critical Beijing University of Chemical Technology
Priority to CN201510977092.3A priority Critical patent/CN105550657B/zh
Publication of CN105550657A publication Critical patent/CN105550657A/zh
Application granted granted Critical
Publication of CN105550657B publication Critical patent/CN105550657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

基于关键点的改进SIFT人脸特征提取方法，本方法采用了基于关键点的改进SIFT人脸特征提取的方法。通过定位人脸中的五个关键像素点，并利用SIFT方法中的方向直方图来描述这五个关键点，从而形成鲁棒的人脸图像特征向量。结合双线性相似度函数和马氏距离来计算两个人脸特征向量之间的相似度得分值。采用KELM分类器对相似度得分值进行二值分类，得分值较高的一类人脸图片，两张人脸图片均被判为来自于同一个人，而得分值较低的一类人脸图片，两张人脸图片均被判为来自于不同的人。在人脸特征向量的基础上进行人脸识别的过程中，结合了双线性相似度函数和马氏距离来计算两特征向量的相似度得分值，增强了类间的可辨别性。

Description

基于关键点的改进SIFT人脸特征提取方法
技术领域
本发明涉及一种基于关键点的改进SIFT(尺度不变特征变换)人脸特征提取方法，属于人脸识别领域。
背景技术
人脸识别是一种基于人的脸部特征信息进行身份识别的生物识别技术。与其他生物特征相比，人脸特征具有天然性、方便性和非接触性等优点，使其在安全监控、身份验证、人机交互等方面具有巨大的应用前景。因此，人脸识别技术非常具有研究价值。一般而言，人脸识别过程分为两个过程：人脸特征提取和人脸相似度得分值计算。人脸特征提取过程是提取人脸图片的一些关键特征形成人脸特征向量，人脸相似度得分值计算过程是计算两个人脸特征向量之间的相似度，相似度越高则表明两张人脸图片越有可能来自于同一个人，反之，则越表明两张人脸图片来自于不同的人。在某些情况下，更关心的是人脸特征提取部分。
现有的人脸特征提取方法包括LBP(局部二值模式)方法和它的变种方法等，这些局部纹理特征提取方法通过对整张人脸图片进行分块统计形成直方图向量，并将各个块的直方图向量级联最终形成人脸特征向量。由于这种方法是对整张人脸进行局部纹理特征提取，因此，其所形成的特征向量维数是比较大的，并且其中包含了一些冗余信息。此外，这种方式对于复杂环境下表情或姿态的变化并不鲁棒。
SIFT特征提取方法已被广泛应用于一般物体的识别，它的主要思想是找到图像在不同尺度下的关键点，并用方向直方图来描述关键点作为图像的特征向量。然而，SIFT方法用于人脸图像时，不能准确定位到人脸中的关键点，因为其主要适用于具有较高对比度的一般物体的识别，而人脸图像之间具有较高的相似性。
发明内容
本发明的主要目的是提供一种基于关键点的改进SIFT人脸特征提取方法。
区别于传统的基于整张人脸的特征提取方法，本发明的具体创新点在于采用了基于关键点的改进SIFT人脸特征提取的方法。通过定位人脸中的五个关键像素点，并利用SIFT方法中的方向直方图来描述这五个关键点，从而形成鲁棒的人脸图像特征向量。所述五个关键像素点分别为左眼中间位置的像素点，右眼中间位置的像素点，鼻尖上的像素点，左嘴角的像素点以及右嘴角的像素点。
本发明的技术方案具体来说，主要包括如下技术内容：
1、采用三层深度卷积网络级联定位人脸中的五个关键像素点(左眼中间位置的像素点，右眼中间位置的像素点，鼻尖上的像素点，左嘴角的像素点以及右嘴角的像素点)。
2、改进SIFT特征提取方法：用人脸中的五个关键像素点来替换SIFT特征提取方法自身检测出的关键点，减少特征数据维数，剔除特征数据中的冗余信息。
3、将人脸的特征向量映射到intra-personal子空间中，保证同一个人的不同人脸图片之间具有类内不变性。
4、结合双线性相似度函数和马氏距离来计算两个人脸特征向量之间的相似度得分值。该得分值越高则表明两张人脸图片越可能来自于同一个人，反之，该得分值越低则表明两张人脸图片越可能来自于不同的人。
5、采用KELM分类器(基于核的极限学习机)对相似度得分值进行二值分类，得分值较高的一类人脸图片，两张人脸图片均被判为来自于同一个人，而得分值较低的一类人脸图片，两张人脸图片均被判为来自于不同的人。
本发明的流程图如图1所示，实施流程如下：
步骤1、读取人脸图片，并利用三层深度卷积网络级联定位人脸图片上的五个关键像素点(左眼中间位置的像素点，右眼中间位置的像素点，鼻尖上的像素点，左嘴角的像素点以及右嘴角的像素点)。
该步骤中所用的深度卷积网络级联包括三层。第一层利用深度卷积网络对五个关键像素点进行准确定位，其他两层利用卷积网络对第一层的定位结果进行再次确认。为了保证定位的准确性，每层中各个深度卷积网络的定位结果被融合在一起取平均作为最终的定位结果。深层卷积网络包含四个卷积层、池化层和两个全连接层，起始层获取人脸图片的全局上下文信息，由于卷积网络是对五个关键像素点同时进行预测，所以各个关键像素点间的相对位置在卷积网络训练的同时也被进行了编码，进而削弱了表情变化、光照变化以及其他环境因素造成的影响。
步骤2、对于步骤1中提取的五个关键像素点，利用SIFT方法进行特征描述，提取人脸图片的特征。
SIFT特征提取方法是一种检测局部特征的方法，不仅具有尺度不变性，同时具有旋转不变性。该方法一般包含四个过程：(1)构建尺度空间，检测关键点；(2)剔除不稳定的关键点；(3)为关键点赋值方向参数；(4)生成关键点的描述子。一般而言，SIFT特征提取方法适用于具有较高对比度的一般物体的识别，而人脸图片具有较低的对比度和边缘响应，由于SIFT特征提取方法不能准确定位人脸图片中的关键点，因此用步骤1中定位关键像素点的方法替换SIFT特征提取方法中的步骤(1)和步骤(2)。
然后，对于步骤1中得到的五个关键像素点，取每个关键像素点领域内的一些像素点，计算每个像素点的梯度模值和方向。定义某个像素点的坐标为P(x,y)：
θ(x,y)＝tan-1((P(x,y+1)-P(x,y-1))/(P(x+1,y)-P(x-1,y)))
其中，m(x,y)为该像素点的梯度模值，θ(x,y)为该像素点的梯度方向。
根据上式的计算结果，利用直方图统计领域内像素点的梯度方向。为减少突变影响，需要用高斯函数对直方图进行平滑。那么，直方图的峰值代表了关键像素点领域像素点的梯度主方向，也即关键像素点的方向。
为了保持旋转不变性，将坐标轴旋转为关键像素点的方向，然后以关键点为中心，取16×16大小的领域窗口，在每4×4大小的格子中计算8个梯度方向的直方图，最终形成4×4×8＝128维的SIFT人脸特征向量。
步骤3、将步骤2中得到的特征向量映射到intra-personal子空间中。
在该步骤中，为了削弱噪声的影响，首先需要将步骤2中得到的特征向量利用PCA方法(主成分分析)进行降维，形成特征脸。其协方差矩阵表达式如下：
其中，n为人脸样本数量，xi表示人脸向量，m为n个人脸向量的均值。由于协方差矩阵描述了向量之间的相关性，因此上述协方差矩阵的特征向量形成映射矩阵，根据映射矩阵对人脸图像数据进行映射，即可形成特征脸。然后，为了保证同一个人不同的人脸图片之间的类内不变性，将特征脸映射到intra-personal子空间中，其协方差矩阵表达式如下：
其中，S表示同一个人的人脸图片集合，xi和xj表示同一个人的人脸图片集合中不同的两张人脸图片的人脸向量。∧＝{λ1，...,λk}和V＝{v1，...,vk}分别表示上式协方差矩阵的前k个特征值和特征向量。同样地，前k个特征向量形成映射矩阵，将上述特征脸数据通过该映射矩阵进行映射，从而保证同一个人的人脸图片之间的类内不变性。如果CS是可逆的，那么，特征脸映射到intra-personal子空间用下式来表达：
其中，V是由上述k个特征向量形成的映射矩阵，是由上述k个特征值所组成的对角矩阵，即最终形成的特征矩阵。
步骤4、利用双线性相似度函数和马氏距离来计算两个人脸特征向量之间的相似度得分值。
马氏距离已被广泛用于人脸识别领域，但其识别效果不是特别好，而近几年的研究表明，双线性相似度函数在图片相似度搜索领域已获得了很好的效果。因此，本方法中，结合双线性相似度函数和马氏距离来计算两个人脸特征向量之间的相似度得分值，其表达式如下：
其中，表示和特征矩阵之间的双线性相似度函数，表示和特征矩阵之间的马氏距离。G和M均为k×k大小的矩阵，需要训练合适的M和G来尽量保证类内不变性的同时保证类间的最大可辨别性。因此，将intra-personal子空间相似度量学习的表达式定义成如下形式：
其中，S和D分别表示相似人脸对(即同一个人的两张人脸图片)和不相似人脸对(即不同人的两张人脸图片)的标签。||.||F是矩阵的F范数，即矩阵元素绝对值的平方和再开方。其作用类似于向量的2范数，因此，表达式在保证类内不变性的同时有效地防止过拟合现象。ξt是经验判别的损失函数，最小化该参数可以增强类间的可辨别性。由此可见，ξt保证了类间的最大可辨别性，而保证了类内不变性，而正数γ用来协调这两个表达式所带来的影响。对于上述表达式中的不等式，当一对人脸图片来自于同一个人时，yij＝1，而ξij的值较小，于是的值会尽可能大。而当一对人脸图片来自于不同的人时，yij＝-1，而ξij的值较小，于是的值会尽可能小。因此，当值较大时，则表明一对人脸图片来自于同一个人，反之，则表明一对人脸来自于不同的人。
步骤5、利用KELM分类器判断两张图片是否来自于同一个人。
ELM是只包含一个隐含层和一个输出层的神经网络。其最显著的特点是，它的隐含层参数不需要进行调试，而是随机设定的，具有较强的泛化能力。假设ELM的隐含层包含L个节点，则其输出函数如下：
其中，x∈Rd，y∈RC，β表示隐含层的L个节点与输出层之间的权重，h(x)表示L个节点与输入x之间的关系，它是一个非线性的激励函数(如sigmoid函数)，实际上，它的作用是将d维数据映射到L维数据空间中，wi表示隐含层第i个节点与输入层的连接权重，bi表示隐含层第i个节点的偏差。
在ELM的基础上，又提出了一种基于核函数的ELM方法，即KELM方法。该方法是用核函数来隐藏ELM原有的激励函数H，从而更好地提高了算法的泛化能力。对于某一样本xi，其输出函数表达式如下：
Y＝[y1；...；yn]∈Rn×c
其中，C是一个回归系数。
将步骤4中得到的相似度得分值作为KELM分类器的输入，所得到的输出若为1，则表明两张人脸图片来自于同一个人，若为0，则表明两张人脸图片来自于不同的人。
与现有技术相比，本发明具有如下优点：
不同于传统的基于整张人脸的特征提取方法，本发明的具体创新点在于采用了基于关键点的改进SIFT人脸特征提取的方法。将人脸左眼中间位置的像素点，右眼中间位置的像素点，鼻尖上的像素点，左嘴角的像素点以及右嘴角的像素点作为整张人脸的五个关键像素点，并提取这五个关键点的SIFT特征作为人脸的特征向量，不仅在降低特征维数的基础上提升了运算效率，而且削弱了由于光照、表情变化以及其他环境因素等对识别效果的影响。此外，在人脸特征向量的基础上进行人脸识别的过程中，结合了双线性相似度函数和马氏距离来计算两特征向量的相似度得分值，增强了类间的可辨别性，同时，为了考虑类内之间的相似度不变性，将人脸特征向量映射到了intra-personal子空间中。通过交叉验证实验，本发明可获取的人脸识别准确率可达80.56％。
附图说明
图1为本发明具体流程图。
具体实施方式
本发明的基于关键点的改进SIFT人脸特征提取方法的基本流程如图1所示，具体包括以下步骤：
1)将人脸数据库中的数据分成10组进行交叉验证实验，其中，9组数据作为训练数据，剩余1组数据作为测试数据，每组中包含300对来自同一个人的人脸图片和300对来自不同人的人脸图片。对于每张人脸图片，利用三层深度卷积网络级联定位五个关键像素点的坐标位置(左眼中间位置的像素点，右眼中间位置的像素点，鼻尖上的像素点，左嘴角的像素点以及右嘴角的像素点)。
在三层深度卷积网络级联结构的第一层中，包含三个深度卷积网络。第一个深度卷积网络的输入是整张人脸，输出五个关键像素点的位置；第二个深度卷积网络的输入是人脸的上半部分，输出眼睛和鼻子位置关键像素点的位置；第三个深度卷积网络的输入是人脸的下半部分，输出鼻子和嘴巴位置关键像素点的位置。最后，将这三个深度卷积网络的输出结果进行平均得到第一层最终的输出。深层卷积网络级联的第二层和第三层均取前一层输出结果中关键像素点周围的领域作为输入，对关键像素点的坐标位置进行再次确认，是对第一层输出结果的补充。
2)对于步骤1)中的五个关键像素点，以每个关键像素点为中心，取14×14的邻域窗口大小，计算该窗口中每个像素点的梯度模值和方向。然后统计梯度方向的直方图。为了减少突变的影响，用参数σ为1.5×14的高斯函数对直方图进行平滑处理。最后以每个关键像素点邻域像素的梯度方向分布特性来确定每个关键像素点的方向。
确定了关键像素点的方向后，将坐标轴旋转为关键像素点的方向，以确保旋转不变性。然后以关键像素点为中心取16×16的邻域窗口大小，然后在每4×4大小的小块上计算8个方向的梯度直方图，最终，每个特征向量形成4×4×8＝128维的描述子。由于本发明中每张人脸图片的关键像素点数为5个，因此，每张人脸图片的特征向量为5×128＝640维，这不仅大大降低了特征维数，而且削弱了表情变化、光照变化以及其他环境因素等造成的影响，增强了人脸特征的鲁棒性。
3)将步骤2)中得到的特征向量利用PCA(主成分分析)方法进行降维，获取前400个主成分变量，形成400维的特征脸。然后，为了保证同一个人不同的人脸图片之间的类内不变性，将特征脸映射到intra-personal子空间中，其中，intra-personal空间的特征维数取300。
4)通过9组训练数据训练得到双线性相似度函数和马氏距离中的M参数和G参数。利用训练过程所得到的M参数和G参数计算训练数据和测试数据中各对人脸图片之间的相似度得分值。
5)利用KELM分类器判断两张图片是否来自于同一个人。在KELM分类器中，本发明选择径向基核函数(RBF)作为核函数，回归系数C＝1024。将步骤4)中得到的两张人脸图片之间的相似度得分值作为KELM分类器的输入，所得到的分类器输出若为1，则表明两张人脸图片来自于同一个人，若为0，则表明两张人脸图片来自于不同的人。

Claims (2)

1.基于关键点的改进SIFT人脸特征提取方法，其特征在于：本方法的实施流程如下，
步骤1、读取人脸图片，并利用三层深度卷积网络级联定位人脸图片上的五个关键像素点；该五个像素点分别为左眼中间位置的像素点，右眼中间位置的像素点，鼻尖上的像素点，左嘴角的像素点以及右嘴角的像素点；
该步骤中所用的深度卷积网络级联包括三层；第一层利用深度卷积网络对五个关键像素点进行准确定位，其他两层利用卷积网络对第一层的定位结果进行再次确认；为了保证定位的准确性，每层中各个深度卷积网络的定位结果被融合在一起取平均作为最终的定位结果；深层卷积网络包含四个卷积层、池化层和两个全连接层，起始层获取人脸图片的全局上下文信息，由于卷积网络是对五个关键像素点同时进行预测，所以各个关键像素点间的相对位置在卷积网络训练的同时也被进行了编码，进而削弱了表情变化、光照变化以及其他环境因素造成的影响；
步骤2、对于步骤1中提取的五个关键像素点，利用SIFT方法进行特征描述，提取人脸图片的特征；
SIFT特征提取方法是一种检测局部特征的方法，不仅具有尺度不变性，同时具有旋转不变性；该方法一般包含四个过程：(1)构建尺度空间，检测关键点；(2)剔除不稳定的关键点；(3)为关键点赋值方向参数；(4)生成关键点的描述子；一般而言，SIFT特征提取方法适用于具有较高对比度的一般物体的识别，而人脸图片具有较低的对比度和边缘响应，由于SIFT特征提取方法不能准确定位人脸图片中的关键点，因此用步骤1中定位关键像素点的方法替换SIFT特征提取方法中的步骤(1)和步骤(2)；
然后，对于步骤1中得到的五个关键像素点，取每个关键像素点邻域内的一些像素点，计算每个像素点的梯度模值和方向；定义某个像素点的坐标为P(x,y)：
θ(x,y)＝tan-1((P(x,y+1)-P(x,y-1))/(P(x+1,y)-P(x-1,y)))
其中，m(x,y)为该像素点的梯度模值，θ(x,y)为该像素点的梯度方向；
根据上式的计算结果，利用直方图统计邻域内像素点的梯度方向；为减少突变影响，需要用高斯函数对直方图进行平滑；那么，直方图的峰值代表了关键像素点邻域像素点的梯度主方向，也即关键像素点的方向；
为了保持旋转不变性，将坐标轴旋转为关键像素点的方向，然后以关键点为中心，取16×16大小的邻域窗口，在每4×4大小的格子中计算8个梯度方向的直方图，最终形成4×4×8＝128维的SIFT人脸特征向量；
步骤3、将步骤2中得到的特征向量映射到intra-personal子空间中；
在该步骤中，为了削弱噪声的影响，首先需要将步骤2中得到的特征向量利用PCA方法(主成分分析)进行降维，形成特征脸；其协方差矩阵表达式如下：
其中，n为人脸样本数量，xi表示人脸向量，m为n个人脸向量的均值；由于协方差矩阵描述了向量之间的相关性，因此上述协方差矩阵的特征向量形成映射矩阵，根据映射矩阵对人脸图像数据进行映射，即可形成特征脸；然后，为了保证同一个人不同的人脸图片之间的类内不变性，将特征脸映射到intra-personal子空间中，其协方差矩阵表达式如下：
其中，S表示同一个人的人脸图片集合，xi和xj表示同一个人的人脸图片集合中不同的两张人脸图片的人脸向量；∧＝{λ1，...，λk}和V＝(v1，...，vk)的数值分别表示上式协方差矩阵的前k个特征值和特征向量；同样地，前k个特征向量形成映射矩阵，将上述特征脸数据通过该映射矩阵进行映射，从而保证同一个人的人脸图片之间的类内不变性；如果Cs是可逆的，那么，特征脸映射到intra-personal子空间用下式来表达：
其中，V是由上述k个特征向量形成的映射矩阵，是由上述k个特征值所组成的对角矩阵，即最终形成的特征矩阵；
步骤4、利用双线性相似度函数和马氏距离来计算两个人脸特征向量之间的相似度得分值；
马氏距离已被广泛用于人脸识别邻域，但其识别效果不是特别好，而近几年的研究表明，双线性相似度函数在图片相似度搜索邻域已获得了很好的效果；因此，本方法中，结合双线性相似度函数和马氏距离来计算两个人脸特征向量之间的相似度得分值，其表达式如下：
其中，表示和特征矩阵之间的双线性相似度函数，表示和特征矩阵之间的马氏距离；G和M均为k×k大小的矩阵，需要训练合适的M和G来尽量保证类内不变性的同时保证类间的最大可辨别性；因此，将intra-personal子空间相似度量学习的表达式定义成如下形式：
其中，S和D分别表示相似人脸对即同一个人的两张人脸图片和不相似人脸对即不同人的两张人脸图片的标签；||·||F是矩阵的F范数，即矩阵元素绝对值的平方和再开方；其作用类似于向量的2范数，因此，表达式在保证类内不变性的同时有效地防止过拟合现象；ξt是经验判别的损失函数，最小化该参数可以增强类间的可辨别性；由此可见，ξt保证了类间的最大可辨别性，而保证了类内不变性，而正数γ用来协调这两个表达式所带来的影响；对于上述表达式中的不等式，当一对人脸图片来自于同一个人时，yij＝1，而ξij的值较小，于是的值会尽可能大；而当一对人脸图片来自于不同的人时，yij＝-1，而ξij的值较小，于是的值会尽可能小；因此，当值较大时，则表明一对人脸图片来自于同一个人，反之，则表明一对人脸来自于不同的人；
步骤5、利用KELM分类器判断两张图片是否来自于同一个人；
ELM是只包含一个隐含层和一个输出层的神经网络；其最显著的特点是，它的隐含层参数不需要进行调试，而是随机设定的，具有较强的泛化能力；假设ELM的隐含层包含L个节点，则其输出函数如下：
其中，x∈Rd，y∈Rc，β表示隐含层的L个节点与输出层之间的权重，h(x)表示L个节点与输入x之间的关系，它是一个非线性的激励函数，实际上，它的作用是将d维数据映射到L维数据空间中，wi表示隐含层第i个节点与输入层的连接权重，bi表示隐含层第i个节点的偏差；
在ELM的基础上，又提出了一种基于核函数的ELM方法，即KELM方法；该方法是用核函数来隐藏ELM原有的激励函数H，从而更好地提高了算法的泛化能力；对于某一样本xi，其输出函数表达式如下：
Y＝[y1；...；yn]∈Rn×c
其中，C是一个回归系数；
将步骤4中得到的相似度得分值作为KELM分类器的输入，所得到的输出若为1，则表明两张人脸图片来自于同一个人，若为0，则表明两张人脸图片来自于不同的人。
2.根据权利要求1所述的基于关键点的改进SIFT人脸特征提取方法，其特征在于：本方法具体包括以下步骤，
1)将人脸数据库中的数据分成10组进行交叉验证实验，其中，9组数据作为训练数据，剩余1组数据作为测试数据，每组中包含300对来自同一个人的人脸图片和300对来自不同人的人脸图片；对于每张人脸图片，利用三层深度卷积网络级联定位五个关键像素点的坐标位置，左眼中间位置的像素点，右眼中间位置的像素点，鼻尖上的像素点，左嘴角的像素点以及右嘴角的像素点；
在三层深度卷积网络级联结构的第一层中，包含三个深度卷积网络；第一个深度卷积网络的输入是整张人脸，输出五个关键像素点的位置；第二个深度卷积网络的输入是人脸的上半部分，输出眼睛和鼻子位置关键像素点的位置；第三个深度卷积网络的输入是人脸的下半部分，输出鼻子和嘴巴位置关键像素点的位置；最后，将这三个深度卷积网络的输出结果进行平均得到第一层最终的输出；深层卷积网络级联的第二层和第三层均取前一层输出结果中关键像素点周围的邻域作为输入，对关键像素点的坐标位置进行再次确认，是对第一层输出结果的补充；
2)对于步骤1)中的五个关键像素点，以每个关键像素点为中心，取14×14的邻域窗口大小，计算该窗口中每个像素点的梯度模值和方向；然后统计梯度方向的直方图；为了减少突变的影响，用参数σ为1.5×14的高斯函数对直方图进行平滑处理；最后以每个关键像素点邻域像素的梯度方向分布特性来确定每个关键像素点的方向；
确定了关键像素点的方向后，将坐标轴旋转为关键像素点的方向，以确保旋转不变性；然后以关键像素点为中心取16×16的邻域窗口大小，然后在每4×4大小的小块上计算8个方向的梯度直方图，最终，每个特征向量形成4×4×8＝128维的描述子；由于本发明中每张人脸图片的关键像素点数为5个，因此，每张人脸图片的特征向量为5×128＝640维，这不仅大大降低了特征维数，而且削弱了表情变化、光照变化以及其他环境因素等造成的影响，增强了人脸特征的鲁棒性；
3)将步骤2)中得到的特征向量利用PCA(主成分分析)方法进行降维，获取前400个主成分变量，形成400维的特征脸；然后，为了保证同一个人不同的人脸图片之间的类内不变性，将特征脸映射到intra-personal子空间中，其中，intra-personal空间的特征维数取300；
4)通过9组训练数据训练得到双线性相似度函数和马氏距离中的M参数和G参数；利用训练过程所得到的M参数和G参数计算训练数据和测试数据中各对人脸图片之间的相似度得分值；
5)利用KELM分类器判断两张图片是否来自于同一个人；在KELM分类器中，本发明选择径向基核函数(RBF)作为核函数，回归系数C＝1024；将步骤4)中得到的两张人脸图片之间的相似度得分值作为KELM分类器的输入，所得到的分类器输出若为1，则表明两张人脸图片来自于同一个人，若为0，则表明两张人脸图片来自于不同的人。
CN201510977092.3A 2015-12-23 2015-12-23 基于关键点的改进sift人脸特征提取方法 Active CN105550657B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510977092.3A CN105550657B (zh) 2015-12-23 2015-12-23 基于关键点的改进sift人脸特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510977092.3A CN105550657B (zh) 2015-12-23 2015-12-23 基于关键点的改进sift人脸特征提取方法

Publications (2)

Publication Number Publication Date
CN105550657A CN105550657A (zh) 2016-05-04
CN105550657B true CN105550657B (zh) 2019-01-29

Family

ID=55829840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510977092.3A Active CN105550657B (zh) 2015-12-23 2015-12-23 基于关键点的改进sift人脸特征提取方法

Country Status (1)

Country Link
CN (1) CN105550657B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127103B (zh) * 2016-06-12 2019-06-25 广州广电运通金融电子股份有限公司 一种离线身份认证的方法和装置
CN106528662A (zh) * 2016-10-20 2017-03-22 中山大学 一种基于特征几何约束的车辆图像快速检索方法与***
CN106845331B (zh) * 2016-11-18 2018-03-13 深圳云天励飞技术有限公司 一种图像处理方法及终端
CN106778531A (zh) * 2016-11-25 2017-05-31 北京小米移动软件有限公司 人脸定位方法及装置
CN106778775B (zh) * 2016-11-29 2020-08-18 南京邮电大学 一种基于sift特征软匹配的图像分类方法
CN106534576A (zh) * 2016-12-07 2017-03-22 深圳市传奇数码有限公司 一种应用于手机的侧脸解锁方法
CN107169420B (zh) * 2017-04-19 2020-04-21 南京邮电大学 一种基于图像梯度的眼球中心定位方法
CN107945219B (zh) * 2017-11-23 2019-12-03 翔创科技（北京）有限公司 脸部图像对齐方法、计算机程序、存储介质及电子设备
CN108038476B (zh) * 2018-01-03 2019-10-11 东北大学 一种基于边缘检测与sift的人脸表情识别特征提取方法
CN110751005B (zh) * 2018-07-23 2022-09-30 合肥工业大学 融合深度感知特征和核极限学习机的行人检测方法
CN108921140A (zh) * 2018-08-07 2018-11-30 安徽云森物联网科技有限公司 行人再识别方法
CN109344760A (zh) * 2018-09-26 2019-02-15 江西师范大学 一种自然场景下人脸表情数据集的构建方法
CN111008589B (zh) * 2019-12-02 2024-04-09 杭州网易云音乐科技有限公司 人脸关键点检测方法、介质、装置和计算设备
CN114936597B (zh) * 2022-05-20 2023-04-07 电子科技大学 一种局部信息增强子空间真假目标特征提取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100073749A (ko) * 2008-12-23 2010-07-01 고려대학교 산학협력단 Ｓｉｆｔ 기반의 특징점 추출 장치 및 방법과 이를 이용한 얼굴 인식 시스템
CN103729625A (zh) * 2013-12-31 2014-04-16 青岛高校信息产业有限公司 一种人脸识别的方法
CN104036524A (zh) * 2014-06-18 2014-09-10 哈尔滨工程大学 一种改进sift算法的快速目标跟踪方法
CN104794441A (zh) * 2015-04-15 2015-07-22 重庆邮电大学 复杂背景下基于主动形状模型和poem纹理模型的人脸特征定位方法
CN105095857A (zh) * 2015-06-26 2015-11-25 上海交通大学 基于关键点扰动技术的人脸数据增强方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100073749A (ko) * 2008-12-23 2010-07-01 고려대학교 산학협력단 Ｓｉｆｔ 기반의 특징점 추출 장치 및 방법과 이를 이용한 얼굴 인식 시스템
CN103729625A (zh) * 2013-12-31 2014-04-16 青岛高校信息产业有限公司 一种人脸识别的方法
CN104036524A (zh) * 2014-06-18 2014-09-10 哈尔滨工程大学 一种改进sift算法的快速目标跟踪方法
CN104794441A (zh) * 2015-04-15 2015-07-22 重庆邮电大学 复杂背景下基于主动形状模型和poem纹理模型的人脸特征定位方法
CN105095857A (zh) * 2015-06-26 2015-11-25 上海交通大学 基于关键点扰动技术的人脸数据增强方法

Also Published As

Publication number Publication date
CN105550657A (zh) 2016-05-04

Similar Documents

Publication Publication Date Title
CN105550657B (zh) 基于关键点的改进sift人脸特征提取方法
Ma et al. Covariance descriptor based on bio-inspired features for person re-identification and face verification
Huang et al. 3-D face recognition using eLBP-based facial description and local feature hybrid matching
CN102938065B (zh) 基于大规模图像数据的人脸特征提取方法及人脸识别方法
JP5153434B2 (ja) 情報処理装置及び情報処理方法
KR100950776B1 (ko) 얼굴 인식 방법
Geng et al. Fully automatic face recognition framework based on local and global features
Cui et al. Smile detection using pair-wise distance vector and extreme learning machine
Ammar et al. Evaluation of histograms local features and dimensionality reduction for 3D face verification
Bindu et al. Hybrid feature descriptor and probabilistic neuro-fuzzy system for face recognition
Cheng et al. Face recognition system with feature normalization
Gowda Fiducial points detection of a face using RBF-SVM and adaboost classification
Reddy et al. A novel face recognition system by the combination of multiple feature descriptors.
Galdámez et al. A small look at the ear recognition process using a hybrid approach
Su et al. Application of associative memory in human face detection
Bindu et al. Kernel-based scale-invariant feature transform and spherical SVM classifier for face recognition
Hast Age-invariant face recognition using face feature vectors and embedded prototype subspace classifiers
Vu et al. Improving accuracy in face recognition proposal to create a hybrid photo indexing algorithm, consisting of principal component analysis and a triangular algorithm (pcaata)
Ding Combining 2D facial texture and 3D face morphology for estimating people's soft biometrics and recognizing facial expressions
Tandon et al. An efficient age-invariant face recognition
Hanif et al. Real-time facial feature localization by combining space displacement neural networks
Shankar et al. Frames extracted from video streaming to recognition of face: LBPH, FF and CNN
Zhang et al. Localize heavily occluded human faces via deep segmentation
Irhebhude et al. Northern Nigeria Human Age Estimation From Facial Images Using Rotation Invariant Local Binary Pattern Features with Principal Component Analysis.
Dastidar et al. SVM based method for identification and recognition of faces by using feature distances

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant