CN107066941A - 一种人脸识别方法和*** - Google Patents
一种人脸识别方法和*** Download PDFInfo
- Publication number
- CN107066941A CN107066941A CN201710117801.XA CN201710117801A CN107066941A CN 107066941 A CN107066941 A CN 107066941A CN 201710117801 A CN201710117801 A CN 201710117801A CN 107066941 A CN107066941 A CN 107066941A
- Authority
- CN
- China
- Prior art keywords
- mtd
- face
- msub
- mtr
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Neurology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种人脸识别方法和***，其方法包括：分别对样本库中的人脸样本图像和测试库中的人脸测试图像进行对齐处理；构建多层特征融合卷积神经网络，通过所述多层特征融合卷积神经网络对对齐后的人脸样本图像进行人脸特征识别训练，得到训练后的多层特征融合卷积神经网络；将对齐后的人脸测试图像输入完成训练的多层特征融合卷积神经网络中进行人脸识别，从而识别出人脸测试图像中的人脸。本发明能够通过多层特征融合卷积神经网络提取人脸浅层特征，然后将其与深层特征融合来进行人脸识别，在识别准确性以及可靠性方面都得到很大程度的提升。
Description
技术领域
本发明主要涉及图像识别技术领域，具体涉及一种人脸识别方法和***。
背景技术
人脸识别作为一种重要的生物识别技术之一，具有成本低、用户易接受、可靠性高等优点，在身份认证、安防监控、人机交互等领域具有广泛的应用前景。卷积神经网络是一个受生物视觉启发、以最简化预处理操作为目的的多层感知器的变形，是一种高效的识别方法，近几年来通过深度学习并逐步应用到各个领域，卷积神经网络通过逐层卷积降维进行特征提取，然后经过多层非线性映射，使网络可以根据训练样本的特点，自动学习形成适合该识别任务的特征提取器和分类器。
随着社会的发展，技术的进步，科技对人们的影响越来越大，人们对于人脸鉴别的需求越来越强烈，然而在不同场景下，角度不同，摄像机分辨率不同以及不同场景下光照也不一致等问题，导致同一个行人很容易被误判为同一行人。传统的特征提取并不能提取到足够多更细致的特征信息。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种人脸识别方法和***。
本发明解决上述技术问题的技术方案如下：一种人脸识别方法，包括如下步骤：
步骤S1：分别对样本库中的人脸样本图像和测试库中的人脸测试图像进行对齐处理；
步骤S2：构建多层特征融合卷积神经网络，通过所述多层特征融合卷积神经网络对对齐后的人脸样本图像进行人脸特征识别训练，得到训练后的多层特征融合卷积神经网络；
步骤S3：将对齐后的人脸测试图像输入完成训练的多层特征融合卷积神经网络中进行人脸识别，从而识别出人脸测试图像中的人脸。
本发明的有益效果是：能够通过多层特征融合卷积神经网络提取人脸浅层特征，然后将其与深层特征融合来进行人脸识别，在识别准确性以及可靠性方面都得到很大程度的提升，通过landmark方法将待处理的人脸样本图像和测试库中的人脸测试图像进行对齐处理，能够加快识别人脸特征的进程。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述步骤S1具体包括：
步骤S101：利用回归树集合Ensemble of Regression Trees算法对人脸样本图像和人脸测试图像进行人脸检测，再对检测到的人脸进行人脸特征点Landmarks检测，分别获得多个人脸样本图像的Landmark点和多个人脸测试图像的Landmark点；
步骤S102：当对齐人脸样本图像时，随机从多个人脸样本图像的Landmark点中选取预设的n个Landmark点以及预设的标准人脸模板的Landmark点，一并代入构建的仿射矩阵H中，通过变换得到新仿射矩阵，根据新仿射矩阵的变换值来对齐人脸样本图像；
步骤S103：当对齐人脸测试图像时，随机从多个人脸测试图像的Landmark点中选取预设的n个Landmark点以及预设的标准人脸模板的Landmark点，一并代入构建的仿射矩阵H中，通过变换得到新仿射矩阵，根据新仿射矩阵的变换值来对齐人脸测试图像。
进一步，所述仿射矩阵H为
设仿射矩阵H各Landmark点的坐标为(x,y)，经过仿射矩阵H变换后，得到各Landmark点的新坐标(x',y')
采用上述进一步方案的有益效果是：通过landmark方法对人脸样本图像和测试库中的人脸测试图像进行预处理，能够使多层特征融合卷积神经网络更快速更准确的识别人脸特征。
进一步，所述多层特征融合卷积神经网络包括依次连接的卷积层Conv1、池化层Pool1、卷积层Conv2、池化层Pool2、卷积层Conv3、池化层Pool3和卷积层Conv4；还包括与所述池化层Pool1依次连接的卷积层Conv6和卷积层Conv7，与所述池化层Pool2连接的卷积层Conv5；所述卷积层Conv4通过全连接层Fc1与连接层Concat连接，所述池化层Pool3通过全连接层Fc2与连接层Concat连接，所述卷积层Conv5通过全连接层Fc3与连接层Concat连接，所述卷积层Conv7通过全连接层Fc4与连接层Concat连接；还包括分类层softmax，所述分类层softmax通过全连接层Fc5与连接层Concat连接。
进一步，所述卷积层Conv对输入的图像进行卷积运算，并通过神经元激活函数计算卷积的输出；
所述池化层Pool对卷积层输出的图像进行下采样来减小图像的尺寸；
所述全连接层Fc将上一层的任何一个神经元节点都与下一层的所有神经元节点连接；
所述连接层Concat将全连接层Fc1、全连接层Fc2、全连接层Fc3和全连接层Fc4中输出的神经元节点进行特征融合；
所述分类层softmax对各神经元节点的输入值进行特征分类。
采用上述进一步方案的有益效果是：与传统的人脸识别方法相比，采用多层特征融合卷积神经网络的方法体现出更好的识别准确率，卷积神经网络的层数越深，其特征表达力越好，考虑了浅层特征的细节纹理的输出，将浅层特征与深层特征相融合，使识别准确性以及可靠性方面都得到很大程度的提升。
本发明解决上述技术问题的另一技术方案如下：一种人脸识别***，包括：
图像对齐模块，用于分别对样本库中的人脸样本图像和测试库中的人脸测试图像进行对齐处理；
训练模块，用于构建多层特征融合卷积神经网络，通过所述多层特征融合卷积神经网络对对齐后的人脸样本图像进行人脸特征识别训练，得到训练后的多层特征融合卷积神经网络；
识别模块，用于将对齐后的人脸测试图像输入完成训练的多层特征融合卷积神经网络中进行人脸识别，从而识别出人脸测试图像中的人脸。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述图像对齐模块包括：
Landmark点检测单元，用于利用回归树集合Ensemble of Regression Trees算法对人脸样本图像和人脸测试图像进行人脸检测，再对检测到的人脸进行人脸特征点Landmarks检测，分别获得多个人脸样本图像的Landmark点和多个人脸测试图像的Landmark点；
样本图像对齐单元，用于当对齐人脸样本图像时，随机从多个人脸样本图像的Landmark点中选取预设的n个Landmark点以及预设的标准人脸模板的Landmark点，一并代入构建的仿射矩阵H中，通过变换得到新仿射矩阵，根据新仿射矩阵的变换值来对齐人脸样本图像；
测试图像对齐单元，用于当对齐人脸测试图像时，随机从多个人脸测试图像的Landmark点中选取预设的n个Landmark点以及预设的标准人脸模板的Landmark点，一并代入构建的仿射矩阵H中，通过变换得到新仿射矩阵，根据新仿射矩阵的变换值来对齐人脸测试图像。
进一步，所述仿射矩阵H为
设仿射矩阵H各Landmark点的坐标为(x,y)，经过仿射矩阵H变换后，得到各Landmark点的新坐标(x',y')
进一步，所述多层特征融合卷积神经网络包括依次连接的卷积层Conv1、池化层Pool1、卷积层Conv2、池化层Pool2、卷积层Conv3、池化层Pool3和卷积层Conv4；还包括与所述池化层Pool1依次连接的卷积层Conv6和卷积层Conv7，与所述池化层Pool2连接的卷积层Conv5；所述卷积层Conv4通过全连接层Fc1与连接层Concat连接，所述池化层Pool3通过全连接层Fc2与连接层Concat连接，所述卷积层Conv5通过全连接层Fc3与连接层Concat连接，所述卷积层Conv7通过全连接层Fc4与连接层Concat连接；还包括分类层softmax，所述分类层softmax通过全连接层Fc5与连接层Concat连接。
进一步，所述卷积层Conv，用于对输入的图像进行卷积运算，并通过神经元激活函数计算卷积的输出；
所述池化层Pool，用于对卷积层输出的图像进行下采样来减小图像的尺寸；
所述全连接层Fc，用于将上一层的任何一个神经元节点都与下一层的所有神经元节点连接；
所述连接层Concat，用于将全连接层Fc1、全连接层Fc2、全连接层Fc3和全连接层Fc4中输出的神经元节点进行特征融合；
所述分类层softmax，用于对各神经元节点的输入值进行特征分类。
附图说明
图1为本发明实施例提供的人脸识别方法的方法流程图；
图2为本发明实施例提供的人脸识别***的模块框图；
图3为本发明实施例提供的多层特征融合卷积神经网络的结构图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
图1为本发明实施例提供的人脸识别方法的方法流程图；
如图1所示，一种人脸识别方法，包括如下步骤：
步骤S1：分别对样本库中的人脸样本图像和测试库中的人脸测试图像进行对齐处理；
步骤S2：构建多层特征融合卷积神经网络，通过所述多层特征融合卷积神经网络对对齐后的人脸样本图像进行人脸特征识别训练，得到训练后的多层特征融合卷积神经网络；
步骤S3：将对齐后的人脸测试图像输入完成训练的多层特征融合卷积神经网络中进行人脸识别，从而识别出人脸测试图像中的人脸。
具体的，测试库可采用CASIA公开库作为人脸测试图像样本集。
上述实施中，能够通过多层特征融合卷积神经网络提取人脸浅层特征，然后将其与深层特征融合来进行人脸识别，在识别准确性以及可靠性方面都得到很大程度的提升，通过landmark方法将待处理的人脸样本图像和测试库中的人脸测试图像进行对齐处理，能够加快识别人脸特征的进程。
可选地，作为本发明的一个实施例，所述步骤S1具体包括：
步骤S101：利用回归树集合Ensemble of Regression Trees算法对人脸样本图像和人脸测试图像进行人脸检测，再根据人脸特征点Landmarks检测方法对检测到的人脸进行特征点检测，分别获得多个人脸样本图像的Landmark点和多个人脸测试图像的Landmark点；
步骤S102：当对齐人脸样本图像时，随机从多个人脸样本图像的Landmark点中选取预设的n个Landmark点以及预设的标准人脸模板的Landmark点，一并代入构建的仿射矩阵H中，通过变换得到新仿射矩阵，根据新仿射矩阵的变换值来对齐人脸样本图像；其中n≥3；
步骤S103：当对齐人脸测试图像时，随机从多个人脸测试图像的Landmark点中选取预设的n个Landmark点以及预设的标准人脸模板的Landmark点，一并代入构建的仿射矩阵H中，通过变换得到新仿射矩阵，根据新仿射矩阵的变换值来对齐人脸测试图像。可选地，作为本发明的一个实施例，所述仿射矩阵H为
设仿射矩阵H各Landmark点的坐标为(x,y)，经过仿射矩阵H变换后，得到各Landmark点的新坐标(x',y')
上述实施例中，通过landmark方法对人脸样本图像和测试库中的人脸测试图像进行预处理，能够使多层特征融合卷积神经网络更快速更准确的识别人脸特征。
图3为本发明实施例提供的多层特征融合卷积神经网络的结构图；
可选地，作为本发明的一个实施例，如图3所示，所述多层特征融合卷积神经网络包括依次连接的卷积层Conv1、池化层Pool1、卷积层Conv2、池化层Pool2、卷积层Conv3、池化层Pool3和卷积层Conv4；还包括与所述池化层Pool1依次连接的卷积层Conv6和卷积层Conv7，与所述池化层Pool2连接的卷积层Conv5；所述卷积层Conv4通过全连接层Fc1与连接层Concat连接，所述池化层Pool3通过全连接层Fc2与连接层Concat连接，所述卷积层Conv5通过全连接层Fc3与连接层Concat连接，所述卷积层Conv7通过全连接层Fc4与连接层Concat连接；还包括分类层softmax，所述分类层softmax通过全连接层Fc5与连接层Concat连接。
可选地，作为本发明的一个实施例，所述卷积层Conv对输入的图像进行卷积运算，并通过神经元激活函数计算卷积的输出；
所述池化层Pool对卷积层输出的图像进行下采样来减小图像的尺寸；
所述全连接层Fc，用于将上一层的任何一个神经元节点都与下一层的所有神经元节点连接；
所述连接层Concat将全连接层Fc1、全连接层Fc2、全连接层Fc3和全连接层Fc4中输出的神经元节点进行特征融合；
所述分类层softmax对各神经元节点的输入值进行特征分类。
上述实施例中，与传统的人脸识别方法相比，采用多层特征融合卷积神经网络的方法体现出更好的识别准确率，卷积神经网络的层数越深，其特征表达力越好，考虑了浅层特征的细节纹理的输出，将浅层特征与深层特征相融合，使识别准确性以及可靠性方面都得到很大程度的提升。
可选地，作为本发明的一个实施例，所述步骤S2中根据mini-batch梯度下降算法对多层特征融合卷积神经网络进行收敛，来提高对人脸图像特征的识别正确率；具体的，假设人脸测试图像训练集有m个样本，每个mini-batch(训练集的一个子集)有b个样本，那么，整个训练集可以分成m/b个mini-batch，用ω表示一个mini-batch,用Ωj表示第j轮迭代中所有mini-batch集合，有：Ω＝{ωk：k＝1，2...m/b}。
其中，mini-batch GD算法流程如下：
repeate{
repente{
foreachωkinΩ：
}for(k＝1，2...m/b)
}
图2为本发明实施例提供的人脸识别***的模块框图；
可选地，作为本发明的一个实施例，如图2所示，一种人脸识别***，包括：
图像对齐模块，用于分别对样本库中的人脸样本图像和测试库中的人脸测试图像进行对齐处理；
训练模块，用于构建多层特征融合卷积神经网络，通过所述多层特征融合卷积神经网络对对齐后的人脸样本图像进行人脸特征识别训练，得到训练后的多层特征融合卷积神经网络；
识别模块，用于将对齐后的人脸测试图像输入完成训练的多层特征融合卷积神经网络中进行人脸识别，从而识别出人脸测试图像中的人脸。
可选地，作为本发明的一个实施例，所述图像对齐模块包括：
Landmark点检测单元，用于利用回归树集合Ensemble of Regression Trees算法对人脸样本图像和人脸测试图像进行人脸检测，再根据人脸特征点检测Landmarks方法对检测到的人脸进行特征点检测，分别获得多个人脸样本图像的Landmark点和多个人脸测试图像的Landmark点；
样本图像对齐单元，用于当对齐人脸样本图像时，随机从多个人脸样本图像的Landmark点中选取预设的n个Landmark点以及预设的标准人脸模板的Landmark点，一并代入构建的仿射矩阵H中，通过变换得到新仿射矩阵，根据新仿射矩阵的变换值来对齐人脸样本图像；其中n≥3；
测试图像对齐单元，用于当对齐人脸测试图像时，随机从多个人脸测试图像的Landmark点中选取预设的n个Landmark点以及预设的标准人脸模板的Landmark点，一并代入构建的仿射矩阵H中，通过变换得到新仿射矩阵，根据新仿射矩阵的变换值来对齐人脸测试图像。
可选地，作为本发明的一个实施例，所述仿射矩阵H为
设仿射矩阵H各Landmark点的坐标为(x,y)，经过仿射矩阵H变换后，得到各Landmark点的新坐标(x',y')
可选地，作为本发明的一个实施例，所述多层特征融合卷积神经网络包括依次连接的卷积层Conv1、池化层Pool1、卷积层Conv2、池化层Pool2、卷积层Conv3、池化层Pool3和卷积层Conv4；还包括与所述池化层Pool1依次连接的卷积层Conv6和卷积层Conv7，与所述池化层Pool2连接的卷积层Conv5；所述卷积层Conv4通过全连接层Fc1与连接层Concat连接，所述池化层Pool3通过全连接层Fc2与连接层Concat连接，所述卷积层Conv5通过全连接层Fc3与连接层Concat连接，所述卷积层Conv7通过全连接层Fc4与连接层Concat连接；还包括分类层softmax，所述分类层softmax通过全连接层Fc5与连接层Concat连接。
可选地，作为本发明的一个实施例，所述卷积层Conv，用于对输入的图像进行卷积运算，并通过神经元激活函数计算卷积的输出；
所述池化层Pool，用于对卷积层输出的图像进行下采样来减小图像的尺寸；
所述全连接层Fc，用于将上一层的任何一个神经元节点都与下一层的所有神经元节点连接；
所述连接层Concat，用于将全连接层Fc1、全连接层Fc2、全连接层Fc3和全连接层Fc4中输出的神经元节点进行特征融合；
所述分类层softmax，用于对各神经元节点的输入值进行特征分类。
本发明与传统的人脸识别方法相比，采用多层特征融合卷积神经网络的方法体现出更好的识别准确率，卷积神经网络的层数越深，其特征表达力越好，考虑了浅层特征的细节纹理的输出，将浅层特征与深层特征相融合，使识别准确性以及可靠性方面都得到很大程度的提升。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种人脸识别方法，其特征在于，包括如下步骤：
步骤S1：分别对样本库中的人脸样本图像和测试库中的人脸测试图像进行对齐处理；
步骤S2：构建多层特征融合卷积神经网络，通过所述多层特征融合卷积神经网络对对齐后的人脸样本图像进行人脸特征识别训练，得到训练后的多层特征融合卷积神经网络；
步骤S3：将对齐后的人脸测试图像输入完成训练的多层特征融合卷积神经网络中进行人脸识别，从而识别出人脸测试图像中的人脸。
2.根据权利要求1所述一种人脸识别方法，其特征在于，所述步骤S1具体包括：
步骤S101：利用回归树集合Ensemble of Regression Trees算法对人脸样本图像和人脸测试图像进行人脸检测，再根据人脸特征点检测Landmarks方法对检测到的人脸进行特征点检测，分别获得多个人脸样本图像的Landmark点和多个人脸测试图像的Landmark点；
步骤S102：当对齐人脸样本图像时，随机从多个人脸样本图像的Landmark点中选取预设的n个Landmark点以及预设的标准人脸模板的Landmark点，一并代入构建的仿射矩阵H中，通过变换得到新仿射矩阵，根据新仿射矩阵的变换值来对齐人脸样本图像；
步骤S103：当对齐人脸测试图像时，随机从多个人脸测试图像的Landmark点中选取预设的n个Landmark点以及预设的标准人脸模板的Landmark点，一并代入构建的仿射矩阵H中，通过变换得到新仿射矩阵，根据新仿射矩阵的变换值来对齐人脸测试图像。
3.根据权利要求2所述一种人脸识别方法，其特征在于，所述仿射矩阵H为
<mrow>
<mi>H</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>m</mi>
<mn>00</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>01</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>02</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>m</mi>
<mn>10</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>11</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>12</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
设仿射矩阵H各Landmark点的坐标为(x,y)，经过仿射矩阵H变换后，得到各Landmark点的新坐标(x',y')
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>m</mi>
<mn>00</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>01</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>02</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>m</mi>
<mn>10</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>11</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>12</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>x</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>y</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>.</mo>
</mrow>
4.根据权利要求1所述一种人脸识别方法，其特征在于，所述多层特征融合卷积神经网络包括依次连接的卷积层Conv1、池化层Pool1、卷积层Conv2、池化层Pool2、卷积层Conv3、池化层Pool3和卷积层Conv4；还包括与所述池化层Pool1依次连接的卷积层Conv6和卷积层Conv7，与所述池化层Pool2连接的卷积层Conv5；所述卷积层Conv4通过全连接层Fc1与连接层Concat连接，所述池化层Pool3通过全连接层Fc2与连接层Concat连接，所述卷积层Conv5通过全连接层Fc3与连接层Concat连接，所述卷积层Conv7通过全连接层Fc4与连接层Concat连接；还包括分类层softmax，所述分类层softmax通过全连接层Fc5与连接层Concat连接。
5.根据权利要求4所述一种人脸识别方法，其特征在于，
所述卷积层Conv对输入的图像进行卷积运算，并通过神经元激活函数计算卷积的输出；
所述池化层Pool对卷积层输出的图像进行下采样来减小图像的尺寸；
所述全连接层Fc将上一层的任何一个神经元节点都与下一层的所有神经元节点连接；
所述连接层Concat将全连接层Fc1、全连接层Fc2、全连接层Fc3和全连接层Fc4中输出的神经元节点进行特征融合；
所述分类层softmax对各神经元节点的输入值进行特征分类。
6.一种人脸识别***，其特征在于，包括：
图像对齐模块，用于分别对样本库中的人脸样本图像和测试库中的人脸测试图像进行对齐处理；
训练模块，用于构建多层特征融合卷积神经网络，通过所述多层特征融合卷积神经网络对对齐后的人脸样本图像进行人脸特征识别训练，得到训练后的多层特征融合卷积神经网络；
识别模块，用于将对齐后的人脸测试图像输入完成训练的多层特征融合卷积神经网络中进行人脸识别，从而识别出人脸测试图像中的人脸。
7.根据权利要求6所述一种人脸识别***，其特征在于，所述图像对齐模块包括：
Landmark点检测单元，用于利用回归树集合Ensemble of Regression Trees算法对人脸样本图像和人脸测试图像进行人脸检测，再根据人脸特征点检测Landmarks方法对检测到的人脸进行特征点检测，分别获得多个人脸样本图像的Landmark点和多个人脸测试图像的Landmark点；
样本图像对齐单元，用于当对齐人脸样本图像时，随机从多个人脸样本图像的Landmark点中选取预设的n个Landmark点以及预设的标准人脸模板的Landmark点，一并代入构建的仿射矩阵H中，通过变换得到新仿射矩阵，根据新仿射矩阵的变换值来对齐人脸样本图像；
测试图像对齐单元，用于当对齐人脸测试图像时，随机从多个人脸测试图像的Landmark点中选取预设的n个Landmark点以及预设的标准人脸模板的Landmark点，一并代入构建的仿射矩阵H中，通过变换得到新仿射矩阵，根据新仿射矩阵的变换值来对齐人脸测试图像。
8.根据权利要求7所述一种人脸识别***，其特征在于，所述仿射矩阵H为
<mrow>
<mi>H</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>m</mi>
<mn>00</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>01</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>02</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>m</mi>
<mn>10</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>11</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>12</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
设仿射矩阵H各Landmark点的坐标为(x,y)，经过仿射矩阵H变换后，得到各Landmark点的新坐标(x',y')
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>m</mi>
<mn>00</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>01</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>02</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>m</mi>
<mn>10</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>11</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>12</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>x</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>y</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>.</mo>
</mrow>
9.根据权利要求6所述一种人脸识别***，其特征在于，所述多层特征融合卷积神经网络包括依次连接的卷积层Conv1、池化层Pool1、卷积层Conv2、池化层Pool2、卷积层Conv3、池化层Pool3和卷积层Conv4；还包括与所述池化层Pool1依次连接的卷积层Conv6和卷积层Conv7，与所述池化层Pool2连接的卷积层Conv5；所述卷积层Conv4通过全连接层Fc1与连接层Concat连接，所述池化层Pool3通过全连接层Fc2与连接层Concat连接，所述卷积层Conv5通过全连接层Fc3与连接层Concat连接，所述卷积层Conv7通过全连接层Fc4与连接层Concat连接；还包括分类层softmax，所述分类层softmax通过全连接层Fc5与连接层Concat连接。
10.根据权利要求9所述一种人脸识别***，其特征在于，
所述卷积层Conv，用于对输入的图像进行卷积运算，并通过神经元激活函数计算卷积的输出；
所述池化层Pool，用于对卷积层输出的图像进行下采样来减小图像的尺寸；
所述全连接层Fc，用于将上一层的任何一个神经元节点都与下一层的所有神经元节点连接；
所述连接层Concat，用于将全连接层Fc1、全连接层Fc2、全连接层Fc3和全连接层Fc4中输出的神经元节点进行特征融合；
所述分类层softmax，用于对各神经元节点的输入值进行特征分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710117801.XA CN107066941A (zh) | 2017-03-01 | 2017-03-01 | 一种人脸识别方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710117801.XA CN107066941A (zh) | 2017-03-01 | 2017-03-01 | 一种人脸识别方法和*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107066941A true CN107066941A (zh) | 2017-08-18 |
Family
ID=59622777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710117801.XA Pending CN107066941A (zh) | 2017-03-01 | 2017-03-01 | 一种人脸识别方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107066941A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107766794A (zh) * | 2017-09-22 | 2018-03-06 | 天津大学 | 一种特征融合系数可学习的图像语义分割方法 |
| CN107784284A (zh) * | 2017-10-24 | 2018-03-09 | 哈尔滨工业大学深圳研究生院 | 人脸识别方法及*** |
| CN107833328A (zh) * | 2017-11-20 | 2018-03-23 | 北京奇虎科技有限公司 | 基于人脸识别的门禁验证方法及装置、计算设备 |
| CN108062545A (zh) * | 2018-01-30 | 2018-05-22 | 北京搜狐新媒体信息技术有限公司 | 一种人脸对齐的方法及装置 |
| CN108364000A (zh) * | 2018-03-26 | 2018-08-03 | 南京大学 | 一种基于神经网络人脸特征提取的相似度获得方法 |
| CN108416327A (zh) * | 2018-03-28 | 2018-08-17 | 京东方科技集团股份有限公司 | 一种目标检测方法、装置、计算机设备及可读存储介质 |
| CN109308681A (zh) * | 2018-09-29 | 2019-02-05 | 北京字节跳动网络技术有限公司 | 图像处理方法和装置 |
| CN110033420A (zh) * | 2018-01-12 | 2019-07-19 | 北京京东金融科技控股有限公司 | 一种图像融合的方法和装置 |
| CN111079514A (zh) * | 2019-10-28 | 2020-04-28 | 湖北工业大学 | 一种基于clbp和卷积神经网络的人脸识别方法 |
| CN111241998A (zh) * | 2020-01-09 | 2020-06-05 | 中移（杭州）信息技术有限公司 | 人脸识别的方法、装置、电子设备和存储介质 |
| US10956778B2 (en) | 2019-03-05 | 2021-03-23 | International Business Machines Corporation | Multi-level deep feature and multi-matcher fusion for improved image recognition |
| CN115641637A (zh) * | 2022-11-11 | 2023-01-24 | 杭州海量信息技术有限公司 | 一种戴口罩人脸识别方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105118023A (zh) * | 2015-08-31 | 2015-12-02 | 电子科技大学 | 基于人脸特征点的实时视频人脸卡通化生成方法 |
| CN105117692A (zh) * | 2015-08-05 | 2015-12-02 | 福州瑞芯微电子股份有限公司 | 一种基于深度学习的实时人脸识别方法及*** |
| US20160086337A1 (en) * | 2014-09-19 | 2016-03-24 | Samsung Electronics Co., Ltd. | Method for detecting object and object detecting apparatus |
| CN106203395A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于多任务深度学习的人脸属性识别方法 |
| CN106203533A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于混合训练的深度学习人脸验证方法 |
-
2017
- 2017-03-01 CN CN201710117801.XA patent/CN107066941A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160086337A1 (en) * | 2014-09-19 | 2016-03-24 | Samsung Electronics Co., Ltd. | Method for detecting object and object detecting apparatus |
| CN105117692A (zh) * | 2015-08-05 | 2015-12-02 | 福州瑞芯微电子股份有限公司 | 一种基于深度学习的实时人脸识别方法及*** |
| CN105118023A (zh) * | 2015-08-31 | 2015-12-02 | 电子科技大学 | 基于人脸特征点的实时视频人脸卡通化生成方法 |
| CN106203395A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于多任务深度学习的人脸属性识别方法 |
| CN106203533A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于混合训练的深度学习人脸验证方法 |
Non-Patent Citations (1)
| Title |
|---|
| SNEN: "【原创】batch-GD，SGD，Mini-batch-GD，Stochastic GD，Online-GD--大数据背景下的梯度训练算法", 《HTTPS://WWW.CNBLOGS.COM/RICHQIAN/P/4549590.HTML》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107766794B (zh) * | 2017-09-22 | 2021-05-14 | 天津大学 | 一种特征融合系数可学习的图像语义分割方法 |
| CN107766794A (zh) * | 2017-09-22 | 2018-03-06 | 天津大学 | 一种特征融合系数可学习的图像语义分割方法 |
| CN107784284A (zh) * | 2017-10-24 | 2018-03-09 | 哈尔滨工业大学深圳研究生院 | 人脸识别方法及*** |
| CN107784284B (zh) * | 2017-10-24 | 2021-07-06 | 哈尔滨工业大学深圳研究生院 | 人脸识别方法及*** |
| CN107833328A (zh) * | 2017-11-20 | 2018-03-23 | 北京奇虎科技有限公司 | 基于人脸识别的门禁验证方法及装置、计算设备 |
| CN107833328B (zh) * | 2017-11-20 | 2020-07-07 | 北京奇虎科技有限公司 | 基于人脸识别的门禁验证方法及装置、计算设备 |
| CN110033420B (zh) * | 2018-01-12 | 2023-11-07 | 京东科技控股股份有限公司 | 一种图像融合的方法和装置 |
| CN110033420A (zh) * | 2018-01-12 | 2019-07-19 | 北京京东金融科技控股有限公司 | 一种图像融合的方法和装置 |
| CN108062545A (zh) * | 2018-01-30 | 2018-05-22 | 北京搜狐新媒体信息技术有限公司 | 一种人脸对齐的方法及装置 |
| CN108062545B (zh) * | 2018-01-30 | 2020-08-28 | 北京搜狐新媒体信息技术有限公司 | 一种人脸对齐的方法及装置 |
| CN108364000A (zh) * | 2018-03-26 | 2018-08-03 | 南京大学 | 一种基于神经网络人脸特征提取的相似度获得方法 |
| CN108416327A (zh) * | 2018-03-28 | 2018-08-17 | 京东方科技集团股份有限公司 | 一种目标检测方法、装置、计算机设备及可读存储介质 |
| CN109308681B (zh) * | 2018-09-29 | 2023-11-24 | 北京字节跳动网络技术有限公司 | 图像处理方法和装置 |
| CN109308681A (zh) * | 2018-09-29 | 2019-02-05 | 北京字节跳动网络技术有限公司 | 图像处理方法和装置 |
| US10956778B2 (en) | 2019-03-05 | 2021-03-23 | International Business Machines Corporation | Multi-level deep feature and multi-matcher fusion for improved image recognition |
| CN111079514A (zh) * | 2019-10-28 | 2020-04-28 | 湖北工业大学 | 一种基于clbp和卷积神经网络的人脸识别方法 |
| CN111241998B (zh) * | 2020-01-09 | 2023-04-28 | 中移（杭州）信息技术有限公司 | 人脸识别的方法、装置、电子设备和存储介质 |
| CN111241998A (zh) * | 2020-01-09 | 2020-06-05 | 中移（杭州）信息技术有限公司 | 人脸识别的方法、装置、电子设备和存储介质 |
| CN115641637A (zh) * | 2022-11-11 | 2023-01-24 | 杭州海量信息技术有限公司 | 一种戴口罩人脸识别方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107066941A (zh) | 一种人脸识别方法和*** | |
| CN109543606B (zh) | 一种加入注意力机制的人脸识别方法 | |
| CN107609497B (zh) | 基于视觉跟踪技术的实时视频人脸识别方法及*** | |
| CN104978580B (zh) | 一种用于无人机巡检输电线路的绝缘子识别方法 | |
| CN106407986B (zh) | 一种基于深度模型的合成孔径雷达图像目标识别方法 | |
| CN104850845B (zh) | 一种基于非对称卷积神经网络的交通标志识别方法 | |
| CN105849747B (zh) | 用于人脸图像识别的方法和*** | |
| CN107766850A (zh) | 基于结合人脸属性信息的人脸识别方法 | |
| CN103605972B (zh) | 一种基于分块深度神经网络的非限制环境人脸验证方法 | |
| CN107239736A (zh) | 基于多任务级联卷积神经网络的人脸检测方法及检测装置 | |
| CN108681707A (zh) | 基于全局和局部特征融合的大角度车型识别方法和*** | |
| CN107545243A (zh) | 基于深度卷积模型的黄种人脸识别方法 | |
| CN112801015B (zh) | 一种基于注意力机制的多模态人脸识别方法 | |
| CN105512680A (zh) | 一种基于深度神经网络的多视sar图像目标识别方法 | |
| CN106778527A (zh) | 一种基于三重损失的改进的神经网络行人再识别方法 | |
| CN106372581A (zh) | 构建及训练人脸识别特征提取网络的方法 | |
| CN110516595A (zh) | 基于卷积神经网络的手指多模态融合识别方法 | |
| CN107633511A (zh) | 一种基于自编码神经网络的风机视觉检测*** | |
| CN104484658A (zh) | 一种基于多通道卷积神经网络的人脸性别识别方法及装置 | |
| CN113516005B (zh) | 一种基于深度学习和姿态估计的舞蹈动作评价*** | |
| CN111582092B (zh) | 一种基于人体骨架的行人异常行为检测方法 | |
| CN104850857B (zh) | 基于视觉空间显著性约束的跨摄像机行人目标匹配方法 | |
| CN108875907A (zh) | 一种基于深度学习的指纹识别方法和装置 | |
| CN107578091A (zh) | 一种基于轻量级深度网络的行人车辆实时检测方法 | |
| CN108416295A (zh) | 一种基于局部嵌入深度特征的行人再识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170818 |