CN112052703A - 一种基于深度神经网络的人脸识别方法和*** - Google Patents
一种基于深度神经网络的人脸识别方法和*** Download PDFInfo
- Publication number
- CN112052703A CN112052703A CN201910484391.1A CN201910484391A CN112052703A CN 112052703 A CN112052703 A CN 112052703A CN 201910484391 A CN201910484391 A CN 201910484391A CN 112052703 A CN112052703 A CN 112052703A
- Authority
- CN
- China
- Prior art keywords
- image
- face recognition
- images
- infrared
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 25
- 238000003062 neural network model Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000011521 glass Substances 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于深度神经网络的人脸识别方法和***，涉及人脸识别领域，所述方法包括步骤1：采集人脸的RGB图像和红外图像，对RGB图像和红外图像进行预处理；步骤2：将预处理后的RGB图像和红外图像输入到预先训练的人脸识别模型进行人脸识别，得到人脸识别结果。本发明中通过将红外图像和可见光图像进行融合，结合红外图像和可见光图像的优点，防止暗光、遮挡等情况下，对可见光图像采集的影响，同时克服红外图像采集易受环境温度影响、对眼镜等玻璃制品难以穿透形成黑色阴影，影响图像采集质量的问题，提高人脸识别在暗光、遮挡等特殊情况下的正确率。
Description
技术领域
本发明涉及人脸识别领域，尤其涉及一种基于深度神经网络的人脸识别方法和***。
背景技术
人脸识别技术在计算机视觉、客户身份鉴别、多媒体数据检索等领域有着十分广泛的应用前景，随着人脸识别技术的不断成熟和完善，可以根据用户的表情或者神态做出合理相应，根据姿态、表情、配饰等进行辨别，但是随着可见光光线的变化，人脸特征会发生巨大变化，在户外、昏暗光照及非均匀照明条件下都会严重影响人脸的识别，此外，对于公安机关破案需要逮捕的犯罪人员，往往会采取伪装、遮挡的方式逃避摄像图像采集，给人脸识别以及身份的确认带来了很大的困难。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于深度神经网络的人脸识别方法和***，将红外图像和可见光图像进行融合，解决现有人脸识别在暗光、遮挡情况下正确率低的问题。
本发明提供一种基于深度神经网络的人脸识别方法，所述方法包括以下步骤：
步骤1：采集人脸的RGB图像和红外图像，对RGB图像和红外图像进行预处理；
步骤2：将预处理后的RGB图像和红外图像输入到预先训练的人脸识别模型进行人脸识别，得到人脸识别结果。
进一步的，所述人脸识别模型通过如下步骤预先训练得到：
步骤2.1：采集包含人脸的RGB图像和红外图像，对RGB图像和红外图像进行预处理后得到训练样本，每一个训练样本的图像均带有身份标签；
步骤2.2：将训练样本的图像输入神经网络模型，训练得到人脸识别模型。
进一步的，将训练样本的图像输入到神经网络模型进行训练的具体步骤如下：
步骤2.2.1：将训练样本的图像输入神经网络模型的卷积层进行线性变换；
步骤2.2.2：使用ReLU激活函数对每次卷积处理后的图像进行非线性变换；
步骤2.2.3：使用Max Pooling层对每次非线性变化后的图像进行下采样；
步骤2.2.4：将下采样后的图像输入到全连接层，并通过Softmax Loss层计算网络损失，进而得到人脸识别模型。
进一步的，对RGB图像和红外图像进行预处理的步骤如下：
步骤1.1：对RGB图像进行灰度图像处理，对红外图像进行校正处理；
步骤1.2：对灰度图像处理后的RGB图像进行WF去光照处理，对校正后的红外图像进行直方图均衡化处理；
步骤1.3：采用特征提取得到RGB图像和红外图像的特征点的特征向量；
步骤1.4：将RGB图像和红外图像的特征向量的同名点进行特征匹配；
步骤1.5：将同名点连接构造变换模型，通过仿射变换得到配准图像，基于配准图像进行图像融合。
一种基于深度神经网络的人脸识别***，所述装置包括
图像采集模块：对人脸进行图像采集，得到RGB图像和红外图像；
图像预处理模块：将采集的RGB图像和红外图像进行图像处理；
图像配准模块：将图像处理后的RGB图像和红外图像进行配准；
图像融合模块：将配准后的RGB图像和红外图像进行融合；
人脸识别模块：对融合处理后的图像进行人脸识别，得到人脸识别结果。
进一步的，所述人脸识别模块是基于神经网络模型预先训练得到的。
如上所述，本发明的一种基于深度神经网络的人脸识别方法和***，具有以下有益效果：本发明中，通过将红外图像和可见光图像进行融合，结合红外图像和可见光图像的优点，防止暗光、遮挡等情况下，对可见光图像采集的影响，同时克服红外图像采集易受环境温度影响、对眼镜等玻璃制品难以穿透形成黑色阴影，影响图像采集质量的问题，提高人脸识别在暗光、遮挡等特殊情况下的正确率。
附图说明
图1显示为本发明实施例中公开的基于深度神经网络的人脸识别方法的流程图；
图2显示为本发明实施例中公开的RGB图像和红外图像的预处理流程图；
图3显示为本发明实施例中公开的人脸识别模型的训练预先流程图；
图4显示为本发明实施例中公开的人脸识别模型的训练步骤图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，本发明提供一种基于深度神经网络的人脸识别方法，所述方法包括以下步骤：
步骤1：采集人脸的RGB图像和红外图像，对RGB图像和红外图像进行预处理；
其中，红外相机和普通相机的摄像头距离很近，并且同时采集人脸的RGB图像和红外图像，并将采集的RGB图像和红外图像进行配对处理，防止预处理时，RGB图像和红外图像融合错位。
具体的，如图2所示，对RGB图像和红外图像进行预处理的步骤如下：
步骤1.1：对RGB图像进行灰度图像处理，对红外图像进行校正处理；
步骤1.2：对灰度图像处理后的RGB图像进行WF去光照处理，对校正后的红外图像进行直方图均衡化处理；
其中，WF是指Weber face提取光不变特征方法，可以有效去除复杂的光线影响；直方图均衡化处理，能改善红外图像的质量，突显图像的特征。
步骤1.3：采用特征提取得到RGB图像和红外图像的特征点的特征向量；
步骤1.4：将RGB图像和红外图像的特征向量的同名点进行特征匹配；
步骤1.5：将同名点连接构造变换模型，通过仿射变换得到配准图像，基于配准图像进行图像融合；
其中，即使红外摄像头和普通摄像头距离很近，但是拍摄的图像仍有一定视差，要进行两个图像的融合之前，需要将两个图像进行配准，转换到同一个视角下。
步骤2：将预处理后的RGB图像和红外图像输入到预先训练的人脸识别模型进行人脸识别，得到人脸识别结果。
如图3和图4所示，具体的，所述人脸识别模型通过如下步骤预先训练得到：
步骤2.1：采集包含人脸的RGB图像和红外图像，对RGB图像和红外图像进行预处理后得到训练样本，每一个训练样本的图像均带有身份标签；
步骤2.2：将训练样本的图像输入神经网络模型，训练得到人脸识别模型。
具体的，将训练样本的图像输入到神经网络模型进行训练的具体步骤如下：
步骤2.2.1：将训练样本的图像输入神经网络模型的卷积层进行线性变换；
步骤2.2.2：使用ReLU激活函数对每次卷积处理后的图像进行非线性变换；
步骤2.2.3：使用Max Pooling层对每次非线性变化后的图像进行下采样；
步骤2.2.4：将下采样后的图像输入到全连接层，并通过Softmax Loss层计算网络损失，进而得到人脸识别模型。
基于上述基于深度神经网络的人脸识别方法，本发明提供一种基于深度神经网络的人脸识别***，所述***包括
图像采集模块：对人脸进行图像采集，得到RGB图像和红外图像；
图像预处理模块：将采集的RGB图像和红外图像进行图像处理；
图像配准模块：将图像处理后的RGB图像和红外图像进行配准；
图像融合模块：将配准后的RGB图像和红外图像进行融合；
人脸识别模型：对融合处理后的图像进行人脸识别，得到人脸识别结果。
进一步的，所述人脸识别模型是基于神经网络模型预先训练得到的。
综上所述，本发明通过将红外图像和可见光图像进行融合，结合红外图像和可见光(RGB)图像的优点，防止暗光、遮挡等情况下，对可见光图像采集的影响，同时克服红外图像采集易受环境温度影响、对眼镜等玻璃制品难以穿透形成黑色阴影，影响图像采集质量的问题，提高人脸识别在暗光、遮挡等特殊情况下的正确率。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (6)
1.一种基于深度神经网络的人脸识别方法，其特征在于，所述方法包括以下步骤：
步骤1：采集人脸的RGB图像和红外图像，对RGB图像和红外图像进行预处理；
步骤2：将预处理后的RGB图像和红外图像输入到预先训练的人脸识别模型进行人脸识别，得到人脸识别结果。
2.根据权利要求1所述的基于深度神经网络的人脸识别方法，其特征在于，所述人脸识别模型通过如下步骤预先训练得到：
步骤2.1：采集包含人脸的RGB图像和红外图像，对RGB图像和红外图像进行预处理后得到训练样本，每一个训练样本的图像均带有身份标签；
步骤2.2：将训练样本的图像输入神经网络模型，训练得到人脸识别模型。
3.根据权利要求1所述的基于深度神经网络的人脸识别方法，其特征在于，将训练样本的图像输入到神经网络模型进行训练的具体步骤如下：
步骤2.2.1：将训练样本的图像输入神经网络模型的卷积层进行线性变换；
步骤2.2.2：使用ReLU激活函数对每次卷积处理后的图像进行非线性变换；
步骤2.2.3：使用Max Pooling层对每次非线性变化后的图像进行下采样；
步骤2.2.4：将下采样后的图像输入到全连接层，并通过Softmax Loss层计算网络损失，进而得到人脸识别模型。
4.根据权利要求2所述的基于深度神经网络的人脸识别方法，其特征在于：对RGB图像和红外图像进行预处理的步骤如下：
步骤1.1：对RGB图像进行灰度图像处理，对红外图像进行校正处理；
步骤1.2：对灰度图像处理后的RGB图像进行WF去光照处理，对校正后的红外图像进行直方图均衡化处理；
步骤1.3：采用特征提取得到RGB图像和红外图像的特征点的特征向量；
步骤1.4：将RGB图像和红外图像的特征向量的同名点进行特征匹配；
步骤1.5：将同名点连接构造变换模型，通过仿射变换得到配准图像，基于配准图像进行图像融合。
5.一种基于深度神经网络的人脸识别***，其特征在于，所述装置包括
图像采集模块：对人脸进行图像采集，得到RGB图像和红外图像；
图像预处理模块：将采集的RGB图像和红外图像进行图像处理；
图像配准模块：将图像处理后的RGB图像和红外图像进行配准；
图像融合模块：将配准后的RGB图像和红外图像进行融合；
人脸识别模块：对融合处理后的图像进行人脸识别，得到人脸识别结果。
6.根据权利要求5所述的基于深度神经网络的人脸识别***，其特征在于：所述人脸识别模块是基于神经网络模型预先训练得到的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910484391.1A CN112052703A (zh) | 2019-06-05 | 2019-06-05 | 一种基于深度神经网络的人脸识别方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910484391.1A CN112052703A (zh) | 2019-06-05 | 2019-06-05 | 一种基于深度神经网络的人脸识别方法和*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112052703A true CN112052703A (zh) | 2020-12-08 |
Family
ID=73608531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910484391.1A Pending CN112052703A (zh) | 2019-06-05 | 2019-06-05 | 一种基于深度神经网络的人脸识别方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112052703A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11706546B2 (en) * | 2021-06-01 | 2023-07-18 | Sony Semiconductor Solutions Corporation | Image sensor with integrated single object class detection deep neural network (DNN) |
| CN116895094A (zh) * | 2023-09-11 | 2023-10-17 | 杭州魔点科技有限公司 | 一种基于双目融合的暗环境成像方法、***、装置及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101303724A (zh) * | 2007-05-10 | 2008-11-12 | ***股份有限公司 | 一种认证授权方法及*** |
| CN106960202A (zh) * | 2017-04-11 | 2017-07-18 | 广西师范大学 | 一种基于可见光与红外图像融合的笑脸识别方法 |
| CN108090477A (zh) * | 2018-01-23 | 2018-05-29 | 北京易智能科技有限公司 | 一种基于多光谱融合的人脸识别方法与装置 |
| CN108921100A (zh) * | 2018-07-04 | 2018-11-30 | 武汉高德智感科技有限公司 | 一种基于可见光图像与红外图像融合的人脸识别方法及*** |
| CN109117725A (zh) * | 2018-07-09 | 2019-01-01 | 深圳市科脉技术股份有限公司 | 人脸识别方法及装置 |
-
2019
- 2019-06-05 CN CN201910484391.1A patent/CN112052703A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101303724A (zh) * | 2007-05-10 | 2008-11-12 | ***股份有限公司 | 一种认证授权方法及*** |
| CN106960202A (zh) * | 2017-04-11 | 2017-07-18 | 广西师范大学 | 一种基于可见光与红外图像融合的笑脸识别方法 |
| CN108090477A (zh) * | 2018-01-23 | 2018-05-29 | 北京易智能科技有限公司 | 一种基于多光谱融合的人脸识别方法与装置 |
| CN108921100A (zh) * | 2018-07-04 | 2018-11-30 | 武汉高德智感科技有限公司 | 一种基于可见光图像与红外图像融合的人脸识别方法及*** |
| CN109117725A (zh) * | 2018-07-09 | 2019-01-01 | 深圳市科脉技术股份有限公司 | 人脸识别方法及装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11706546B2 (en) * | 2021-06-01 | 2023-07-18 | Sony Semiconductor Solutions Corporation | Image sensor with integrated single object class detection deep neural network (DNN) |
| CN116895094A (zh) * | 2023-09-11 | 2023-10-17 | 杭州魔点科技有限公司 | 一种基于双目融合的暗环境成像方法、***、装置及介质 |
| CN116895094B (zh) * | 2023-09-11 | 2024-01-30 | 杭州魔点科技有限公司 | 一种基于双目融合的暗环境成像方法、***、装置及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108537136B (zh) | 基于姿态归一化图像生成的行人重识别方法 | |
| CN106778664B (zh) | 一种虹膜图像中虹膜区域的分割方法及其装置 | |
| CN108710910B (zh) | 一种基于卷积神经网络的目标识别方法及*** | |
| CN109409272B (zh) | 基于机器视觉的电缆验收***和方法 | |
| CN111539255B (zh) | 基于多模态图像风格转换的跨模态行人重识别方法 | |
| CN108090477A (zh) | 一种基于多光谱融合的人脸识别方法与装置 | |
| Konwar et al. | An American sign language detection system using HSV color model and edge detection | |
| CN112016401A (zh) | 基于跨模态行人重识别方法及装置 | |
| CN111582126B (zh) | 基于多尺度行人轮廓分割融合的行人重识别方法 | |
| CN111144366A (zh) | 一种基于联合人脸质量评估的陌生人脸聚类方法 | |
| CN111445459A (zh) | 一种基于深度孪生网络的图像缺陷检测方法及*** | |
| CN110263768A (zh) | 一种基于深度残差网络的人脸识别方法 | |
| CN112052703A (zh) | 一种基于深度神经网络的人脸识别方法和*** | |
| CN111597978B (zh) | 基于StarGAN网络模型实现行人重识别图片自动生成的方法 | |
| CN112052730B (zh) | 一种3d动态人像识别监控设备及方法 | |
| CN110858276A (zh) | 一种识别模型与验证模型相结合的行人重识别方法 | |
| CN112149690A (zh) | 一种基于生物图像特征识别的溯源方法和溯源*** | |
| CN111582118A (zh) | 一种人脸识别方法及装置 | |
| CN111402331B (zh) | 基于视觉词袋和激光匹配的机器人重定位方法 | |
| CN109165611B (zh) | 一种基于机器视觉和神经网络的碗碟识别智能结算方法 | |
| CN112633222B (zh) | 基于对抗网络的步态识别方法、装置、设备及介质 | |
| CN116403004B (zh) | 一种基于牛脸矫正的牛脸融合特征提取方法 | |
| CN111079585B (zh) | 图像增强结合伪孪生卷积神经网络的行人再识别方法 | |
| CN113326778A (zh) | 基于图像识别的人体姿态检测方法、装置和存储介质 | |
| Grigoryan et al. | Color facial image representation with new quaternion gradients |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201208 |