CN108205666A - 一种基于深度聚合网络的人脸识别方法 - Google Patents
一种基于深度聚合网络的人脸识别方法 Download PDFInfo
- Publication number
- CN108205666A CN108205666A CN201810056443.0A CN201810056443A CN108205666A CN 108205666 A CN108205666 A CN 108205666A CN 201810056443 A CN201810056443 A CN 201810056443A CN 108205666 A CN108205666 A CN 108205666A
- Authority
- CN
- China
- Prior art keywords
- face
- deep
- network
- sub
- aggregation network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000002776 aggregation Effects 0.000 claims abstract description 29
- 238000004220 aggregation Methods 0.000 claims abstract description 29
- 239000013598 vector Substances 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 230000001815 facial effect Effects 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及的是一种基于深层聚合网络的人脸识别方法。本发明包括如下步骤：第一步，读取人脸图像，将人脸图像划分为4个子区域；第二步，计算各子区域人脸的局部二值模式纹理特征向量，去除干扰信息；第三步，将4个子区域的局部二值模式纹理特征向量输入到4个不同的深层稀疏自动编码器中，实现子区域人脸的深层特征提取；第四步，将4个深度稀疏自动编码器网路的输出特征通过全连接的方式进行特征聚合，形成总的人脸特征向量用于分类识别。
Description
技术领域
本发明涉及的是模式识别与机器学习领域，特别是涉及一种基于深度聚合网络的人脸识别方法。
背景技术
深度学习作为一种面向数据的机器学习算法，通过建立模拟人脑进行分析学习的神经网络实现数据的深层特征提取。 而计算机视觉和图像识别领域，获取的大量图像和视频数据往往不具有标签信息，因此以无监督学习方式从海量数据中抽取有效的深层特征具有重要的研究价值（BENGIO Y, COURVILLE A, and VINCENT P. Representationlearning: a review and new perspectives. IEEE Transactions on PatternAnalysis and Machine Intelligence, 2013, 35(8): 1798-1828.）。
稀疏自动编码器(Sparse Auto Encoder， SAE)是一种经典无监督深度学习网络，它首先将输入数据编码为一种新的表达，然后将特征解码重建为无标记数据，并利用输入数据和重建数据计算重构误差，通过反向传播算法训练网络，实现数据关键结构特征信息挖掘。由于SAE实现了特征的自动学习，避免了过多人工干预，所以在人脸识别、场景分类、行为理解等多个领域得到广泛应用（ZHANG F, DU B, ZHANG L. Saliency-guidedunsupervised feature learning for scene classification. IEEE Transactions onGeoscience and Remote Sensing, 2015, 53(4):2175-2184.）。
人脸识别作为一种非接触性技术，具有可视化、符合人的思维习惯等特点，在商业、安全等领域成功应用。但非约束条件下采集的人脸图像存在多种干扰因素（光照、姿态、表情等），直接将非理想人脸作为SAE的输入，深度网络容易学习到较多非人脸的特征表达，而忽略人脸的关键局部结构特征。另外，如果将人脸图像直接输入SAE网络，则需要将二维图像转换为向量形式，容易导致SAE网络无法学习到人脸的结构性特征，丢失部分识别分类所需的关键信息。因此，需要结合人脸图像的特点，以SAE网络为基础，设计新的人脸特征网络架构。
发明内容
本发明的目的在于提供一种基于深度聚合网络的人脸识别方法，该方法能够有效克服深度网络对人脸噪声敏感的缺点，避免将图像矩阵转换为向量时的人脸结构信息的损失，通过特征聚合网络架构能够学习到层析结构清晰，关键细节突出的人脸特征，改善了人脸识别效果。本发明的目的是这样实现的：
本发明包括下列步骤：
（1）读入原始人脸图像；
（2）对原始人脸图像进行尺寸归一化处理；
（3）将归一化后的人脸图像采用了2x2的分块思路，划分为4个子区域；
（4）采用深度聚合网络实现4个人脸子区域的特征提取与融合，实现分类识别。
人脸特征的提取采用了深度聚合网络。
首先，采用深度聚合网络特征提取前，先对人脸子区域图像进行预处理。采用圆环形局部二值模式算子分别对4个人脸子区域进行预处理，计算得到各子区域人脸的纹理特征向量。
然后，以4个人脸子区域的局部二值模式纹理特征作为特征提取网络的输入向量。而深度聚合网络由4组不同的稀疏自动编码器网络构成特征提取器，实现4个子区域的人脸纹理特征的深层特征提取。
最后，4组不同稀疏自动编码器提取的人脸子区域深层特征，采用网络全连接方式实现特征聚合，形成总的人脸特征向量用于分类识别。
本发明有益效果在于：
本发明提出了一种基于深层聚合网络的人脸识别方法。该方法采用局部二值模式算子对含有干扰因素的人脸图像进行预处理，在一定程度上减少了网络对干扰特征描述的学习；将原始人脸图像划分为4个不同子区域，并采用SAE网络对不同子区域进行深层特征提取，采用全连接形成的总特征包含了各子区域内的关键信息和人脸的局部结构性特征，提高了人脸关键特征的可识别性，改善了人脸识别的效果。
附图说明
图1为基于深度聚合网络的人脸识别流程图；
图2为子区域人脸局部二值模式纹理特征示意图；
图3为自动编码器结构图；
图4为深度稀疏自动编码器结构图；
图5为融合子区域LBP特征与深度聚合网络的识别***结构图；
图6为深度聚合网络的最优参数配置；
图7为与其他方法的实验效果对比。
具体实施方式
下面结合附图对本发明作进一步描述：
本发明提供的基于深度聚合网络的人脸识别方法，首先将原始人脸图像划分为不同的子区域；其次针对不同的子区域，分别采用圆形邻域局部二值模式（Local BinaryPattern，LBP）算子对含有干扰因素的人脸图像进行预处理，获取子区域人脸的LBP纹理特征；然后将不同子区域的LBP特征作为多个SAE网络的输入，实现子区域人脸的深层特征提取；最后将多个SAE网络的输出特征进行特征聚合，形成总的人脸特征向量用于分类识别。
1、读入原始人脸图像及其子区域划分。
读入原始人脸图像，并对原始人脸图像进行尺寸归一化处理，人脸均归一化为56x56像素。采用MIT-CBCL公用人脸数据库，其中包含10人，每人200幅图像，共2000幅不同姿态、光照和表情的人脸图像，每人选取180幅图像，共1800幅图像用于网络训练，剩余200幅图像用于测试。
因归一化后人脸分辨率相对较低，所以子区域划分不易过细过小，本发明采用2x2的分块思路，将人脸图像划分为4个子区域。
2、子区域人脸图像的局部二值模式预处理。
结合图2，给出了采用圆环形邻域局部二值模式算子分别提取特征，获得各子区域人脸的局部二值模式纹理特征向量的示意图。
局部二值模式纹理特征计算公式为：
(1)
式中，R表示在一幅图像中定义的一个圆形区域半径，N表示圆周上均匀分布N个邻域像素灰度值。为中心像素灰度值，是N个邻域像素的灰度值。函数。
3、子区域人脸纹理特征的深层特征提取。
预处理后，采用4组深度稀疏自动编码器网络实现子区域人脸纹理特征的深层特征提取。
结合图3，给出了自动编码器的网络结构图，自动编码器是一种3层神经网络，分别为输入层、隐层和输出层。输入层到隐层是对数据的编码过程，通过编码形成数据的特征表达，隐层到输出层是对数据特征的解码过程，并使用反向传播算法实现网络训练，使得解码的输出等于输入。自动编码器训练中使用的数据样本没有类别标签的指导，是通过调整编码器和解码器的参数，使网络输出与输入数据的重构误差最小，实现输入数据的特征提取。
自动编码器的重构误差函数为：
（2）
其中，m为样本的数量，为输入向量，为输出向量，为网络中全体参数的集合。
稀疏自动编码器（sparse autoencoder，SAE）核心思想是：对隐层进行约束，使其变得稀疏。使用KL散度，为自动编码器添加稀疏性限制为：
（3）
其中，表示隐层的平均活跃度，是人为设定的接近于0的常量。 表示分别以和为均值的两个变量之间的相对熵，其计算公式如下：
（4）
则SAE的总重构误差公式如下：
（5）
其中，是控制稀疏限制的权重因子。
本发明构建的深度稀疏自动编码器由多层SAE级联构成，结合图4，给出了深度稀疏自动编码器网络的结构图。
4、子区域人脸特征的聚合与识别。
获得子区域人脸的深层特征后，将多个SAE网络的输出特征采用网络全连接方式进行聚合，获得最终的特征，然后采用全连接方式与分类器层进行连接，实现分类识别。
结合图5，针对4个人脸子区域进行LBP运算得到的特征，分别记为L-F1、L-F2、L-F3和 L-F4，然后经过深层SAE网络提取得到的特征向量，记为F1、F2、F3和F4，最后经过全连接方式将4组特征向量进行聚合，得的总特征，记为F。 总特征F中包含了各个子区域内的关键信息和人脸的局部结构性特征，并最终用于分类识别。
结合图6，给出了本发明所设计的深度聚合网络结构参数配置情况。结合图7，分别给出了“整幅原始人脸+最优深度网络”、“整幅LBP特征+最优深度网络”、“子区域划分+原始人脸+最优聚合网络”三种情况与本发明所提出方法的实验对比结果，充分说明了本发明所设计方法的有效性。
Claims (6)
1.一种基于深度聚合网络的人脸识别方法，其特征在于，包括以下步骤：
（1）读入原始人脸图像；
（2）对原始人脸图像进行尺寸归一化处理；
（3）将归一化后的人脸图像采用了2x2的分块思路，划分为4个子区域；
（4）采用深度聚合网络实现4个人脸子区域的特征提取与融合，实现分类识别。
2.根据权利要求1所述的基于深度聚合网络的人脸识别方法，其特征在于：人脸特征的提取采用了深度聚合网络。
3.根据权利要求1和2所述的基于深度聚合网络的人脸识别方法，其特征在于：采用圆环形局部二值模式算子分别对4个人脸子区域进行预处理，计算得到各子区域人脸的纹理特征向量。
4.根据权利要求1、2和3所述的基于深度聚合网络的人脸识别方法，其特征在于：深度聚合网络构建以4个人脸子区域的局部二值模式纹理特征作为特征提取网络的输入向量。
5.根据权利要求1和2所述的基于深度聚合网络的人脸识别方法，其特征在于：深度聚合网络由4组不同的稀疏自动编码器网络构成特征提取器，实现4个子区域的人脸纹理特征的深层特征提取。
6.根据权利要求1、2和5所述的基于深度聚合网络的人脸识别方法，其特征在于：4组不同稀疏自动编码器提取的人脸子区域深层特征，采用网络全连接方式实现特征聚合，形成总的人脸特征向量用于分类识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810056443.0A CN108205666A (zh) | 2018-01-21 | 2018-01-21 | 一种基于深度聚合网络的人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810056443.0A CN108205666A (zh) | 2018-01-21 | 2018-01-21 | 一种基于深度聚合网络的人脸识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108205666A true CN108205666A (zh) | 2018-06-26 |
Family
ID=62605135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810056443.0A Pending CN108205666A (zh) | 2018-01-21 | 2018-01-21 | 一种基于深度聚合网络的人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108205666A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109522867A (zh) * | 2018-11-30 | 2019-03-26 | 国信优易数据有限公司 | 一种视频分类方法、装置、设备和介质 |
| CN110969646A (zh) * | 2019-12-04 | 2020-04-07 | 电子科技大学 | 一种适应高帧率的人脸追踪方法 |
| CN113657498A (zh) * | 2021-08-17 | 2021-11-16 | 展讯通信（上海）有限公司 | 生物特征提取方法、训练方法、认证方法、装置和设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101763507B (zh) * | 2010-01-20 | 2013-03-06 | 北京智慧眼科技发展有限公司 | 人脸识别方法及人脸识别*** |
-
2018
- 2018-01-21 CN CN201810056443.0A patent/CN108205666A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101763507B (zh) * | 2010-01-20 | 2013-03-06 | 北京智慧眼科技发展有限公司 | 人脸识别方法及人脸识别*** |
Non-Patent Citations (2)
| Title |
|---|
| DONG YI ETAL.: "Deep Metric Learning for Practical Person Re-Identificaiton", 《JOURNAL OF LATEX CLASS FILES》 * |
| 易炎等: "基于LBP和栈式自动编码器的人脸识别算法研究", 《计算机工程与应用》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109522867A (zh) * | 2018-11-30 | 2019-03-26 | 国信优易数据有限公司 | 一种视频分类方法、装置、设备和介质 |
| CN110969646A (zh) * | 2019-12-04 | 2020-04-07 | 电子科技大学 | 一种适应高帧率的人脸追踪方法 |
| CN113657498A (zh) * | 2021-08-17 | 2021-11-16 | 展讯通信（上海）有限公司 | 生物特征提取方法、训练方法、认证方法、装置和设备 |
| CN113657498B (zh) * | 2021-08-17 | 2023-02-10 | 展讯通信（上海）有限公司 | 生物特征提取方法、训练方法、认证方法、装置和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kim et al. | Fully deep blind image quality predictor | |
| CN108830855B (zh) | 一种基于多尺度低层特征融合的全卷积网络语义分割方法 | |
| CN113936339B (zh) | 基于双通道交叉注意力机制的打架识别方法和装置 | |
| Chen et al. | Locally GAN-generated face detection based on an improved Xception | |
| Ding et al. | Camera identification based on domain knowledge-driven deep multi-task learning | |
| CN110516536A (zh) | 一种基于时序类别激活图互补的弱监督视频行为检测方法 | |
| CN106203356B (zh) | 一种基于卷积网络特征提取的人脸识别方法 | |
| CN112150450B (zh) | 一种基于双通道U-Net模型的图像篡改检测方法及装置 | |
| CN111079539B (zh) | 一种基于异常追踪的视频异常行为检测方法 | |
| CN111488805B (zh) | 一种基于显著性特征提取的视频行为识别方法 | |
| Luo et al. | Traffic analytics with low-frame-rate videos | |
| Ding et al. | Noise-resistant network: a deep-learning method for face recognition under noise | |
| Li et al. | Cross-level parallel network for crowd counting | |
| CN115082966B (zh) | 行人重识别模型训练方法、行人重识别方法、装置和设备 | |
| CN108205666A (zh) | 一种基于深度聚合网络的人脸识别方法 | |
| Velliangira et al. | A novel forgery detection in image frames of the videos using enhanced convolutional neural network in face images | |
| CN112149596A (zh) | 一种异常行为检测方法、终端设备及存储介质 | |
| Pintelas et al. | A multi-view-CNN framework for deep representation learning in image classification | |
| CN117876793A (zh) | 一种高光谱影像树种分类方法及装置 | |
| CN114677611B (zh) | 数据识别方法、存储介质及设备 | |
| CN117197727B (zh) | 一种基于全局时空特征学习的行为检测方法与*** | |
| Chen et al. | Lightweight network architecture using difference saliency maps for facial action unit detection | |
| Singh et al. | Performance analysis of ELA-CNN model for image forgery detection | |
| Mohamed et al. | Gender identification from facial images using global features | |
| CN102609732A (zh) | 基于泛化视觉词典图的物体识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180626 |
|
| WD01 | Invention patent application deemed withdrawn after publication |