CN111539247A - 一种超光谱人脸识别方法、装置、电子设备及其存储介质 - Google Patents
一种超光谱人脸识别方法、装置、电子设备及其存储介质 Download PDFInfo
- Publication number
- CN111539247A CN111539247A CN202010163505.5A CN202010163505A CN111539247A CN 111539247 A CN111539247 A CN 111539247A CN 202010163505 A CN202010163505 A CN 202010163505A CN 111539247 A CN111539247 A CN 111539247A
- Authority
- CN
- China
- Prior art keywords
- face
- image set
- training
- hyperspectral
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000001228 spectrum Methods 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 232
- 230000004927 fusion Effects 0.000 claims abstract description 178
- 238000007781 pre-processing Methods 0.000 claims abstract description 138
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 75
- 238000012706 support-vector machine Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000012360 testing method Methods 0.000 claims description 140
- 230000006870 function Effects 0.000 claims description 33
- 238000010606 normalization Methods 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 15
- 239000002131 composite material Substances 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 29
- 230000007547 defect Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 16
- 238000013135 deep learning Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 238000007500 overflow downdraw method Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 4
- 230000005855 radiation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 229910000673 Indium arsenide Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- RPQDHPTXJYYUPQ-UHFFFAOYSA-N indium arsenide Chemical compound [In]#[As] RPQDHPTXJYYUPQ-UHFFFAOYSA-N 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种超光谱人脸识别方法、装置、电子设备及其存储介质，方法包括获取可见光人脸图像集和红外人脸图像集；对可见光人脸图像集和红外人脸图像集分别进行预处理；构建超光谱图像融合网络模型，对超光谱图像融合网络模型进行训练；通过超光谱图像融合网络模型得到超光谱人脸图像集；构建卷积神经网络人脸识别模型，对卷积神经网络人脸识别模型进行训练；通过卷积神经网络人脸识别模型得到人脸特征集，并使用支持向量机分类器对人脸特征集进行分类处理以实现超光谱人脸识别。本发明提出了一套完整的超光谱人脸识别技术，可以解决传统人脸识别技术的适用范围窄、识别性能不高、且特征提取鲁棒性差等缺陷。
Description
技术领域
本发明属于模式识别、数字图像处理技术领域，具体涉及一种超光谱人脸识别方法、装置、电子设备及其存储介质。
背景技术
人脸识别是使用计算机从图像或视频中自动识别或验证对象身份的技术。由于其采集廉价性和非侵入性的优势，人脸识别已经成为最受关注的生物特征识别模态之一。随着深度学习等理论和技术的应用，人脸识别已经得到了长足的发展。
目前人脸识别技术大多采用可见光成像和采集手段，该技术大多局限于白天光线充足的良好背景条件下，在光线不足和恶劣气候等环境下通常表现不佳。随着现实世界中各种复杂环境下应用的出现，基于可见光的人脸识别技术越来越难以满足要求。而红外线成像技术具备背景光线要求低、雨天雾天等气候下成像等等优势，弥补了可见光成像环境的不足。人脸识别技术单纯使用可见光波段将导致在人脸识别特征提取时有用面部信息的利用受到限制，限制了最终人脸识别性能的提升，根据成像原理可知，可见光图像能够以与人类视觉***相一致的方式提供具有高空间分辨率和清晰度的纹理细节；相比之下，红外线图像可以根据辐射差将目标与背景区分开来，提供与可将光不同类型的热辐射或皮肤反射属性等信息。因此，可以利用图像融合技术将红外图像中的热辐射信息或皮肤反射属性与可见光图像中的详细纹理信息的结合起来，得到能够满足更高人脸识别性能需求的超光谱人脸图像。目前为止，针对人脸图像融合的方法大多为传统方式，如离散小波变化方法(DWT)、主成分分析方法(PCA)、非下采样轮廓变换方法(NSCT)和交叉双线性滤波方法(CBF)等；随着深度学习的越来越成熟，出现了少数基于卷积神经网络的图像融合方法，如DenseFuse方法。
但是，上述传统人脸图像融合算法均为人工设计方式，普遍设计繁琐复杂、针对特定情形性能好但是鲁棒性差，对于光照变化下识别效果不佳；而基于深度学习的DenseFuse方法并非针对超光谱人脸识别任务设计的，在人脸识别场合下表现效果仍不够理想。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种超光谱人脸识别方法、装置、电子设备及其存储介质。
本发明的一个实施例提供了一种超光谱人脸识别方法，该方法包括：
获取可见光人脸图像集和红外人脸图像集，并将所述可见光人脸图像集分为可见光人脸训练图像集和可见光人脸测试图像集，所述红外人脸图像集分为红外人脸训练图像集和红外人脸测试图像集；
对所述可见光人脸训练图像集、可见光人脸测试图像集、所述红外人脸训练图像集和红外人脸测试图像集分别进行预处理得到可见光人脸预处理训练图像集、可见光人脸预处理测试图像集、红外人脸预处理训练图像集和红外人脸预处理测试图像集；
构建超光谱图像融合网络模型，根据所述可见光人脸预处理训练图像集和所述红外人脸预处理训练图像集对所述超光谱图像融合网络模型进行训练得到训练好的超光谱图像融合网络模型；
将所述可见光人脸测试图像集和所述红外人脸测试图像集输入至所述训练好的超光谱图像融合网络模型得到超光谱人脸图像集，并将所述超光谱人脸图像集分为超光谱人脸训练图像集、超光谱人脸测试图像集；
构建卷积神经网络人脸识别模型，根据所述超光谱人脸训练图像集对所述卷积神经网络人脸识别模型进行训练得到训练好的卷积神经网络人脸识别模型；
将所述超光谱人脸测试图像集输入至所述训练好的卷积神经网络人脸识别模型得到人脸特征集，并使用支持向量机分类器对所述人脸特征集进行分类处理以实现超光谱人脸识别。
在本发明的一个实施例中，对所述可见光人脸训练图像集、可见光人脸测试图像集、所述红外人脸训练图像集和红外人脸测试图像集分别进行预处理得到可见光人脸预处理训练图像集、可见光人脸预处理测试图像集、红外人脸预处理训练图像集和红外人脸预处理测试图像集，包括：
对所述可见光人脸训练图像集和所述可见光人脸测试图像集分别进行灰度转换、归一化处理得到所述可见光人脸预处理训练图像集和所述可见光人脸预处理测试图像集；
对所述红外人脸训练图像集和所述红外人脸测试图像集分别进行图像增强、归一化处理得到所述红外人脸预处理训练图像集和所述红外人脸预处理测试图像集。
在本发明的一个实施例中，构建的超光谱图像融合网络模型包括预融合层、编码器模块、融合层和解码器模块，其中，
所述预融合层的输入与输入图像连接，所述预融合层的输出与所述编码器模块的输入连接，所述编码器模块包括依次连接的第一卷积层和密集残差模块，所述密集残差模块的输出与所述预融合层的输出进行全局残差连接输出，所述全局残差连接输出与所述融合层的输入连接；
所述融合层的输出与所述解码器模块的输入连接，所述解码器模块包括依次连接第二卷积层～第五卷积层和反馈层，所述反馈层的输出与所述融合层的输出再次输入至所述第二卷积层构成反馈连接。
在本发明的一个实施例中，所述密集残差模块包括依次连接第一密集残差连接层～第三密集残差连接层、多尺度拼接层、第四密集残差连接层，所述第一密集残差连接层的输入还与所述第一密集残差连接层的输出、所述第二密集残差连接层的输出、所述第三密集残差连接层的输出连接，所述第二密集残差连接层的输入还与所述第二密集残差连接层的输出、所述第三密集残差连接层的输出连接，所述第三密集残差连接层的输入还与所述第三密集残差连接层的输出连接，所述第四密集残差连接层的输出还与所述第一卷积层的输入进行局部残差连接输出，所述局部残差连接输出与所述预融合层的输出进行全局残差连接输出。
在本发明的一个实施例中，根据所述可见光人脸预处理训练图像集和所述红外人脸预处理训练图像集对所述超光谱图像融合网络模型进行训练得到训练好的超光谱图像融合网络模型，包括：
构建基于结构性损失、像素损失和平均梯度损失的复合损失函数；
根据所述可见光人脸预处理训练图像集和所述红外人脸预处理训练图像集并利用所述基于结构性损失、像素损失和平均梯度损失的复合损失函数对所述超光谱图像融合网络模型进行训练得到训练好的超光谱图像融合网络模型。
在本发明的一个实施例中，构建的卷积神经网络人脸识别模型包括依次连接的ResNet特征提取模块、特征归一化模块、特征空间映射模块。
在本发明的一个实施例中，根据所述超光谱人脸训练图像集对所述卷积神经网络人脸识别模型进行训练得到训练好的卷积神经网络人脸识别模型，包括：
构建三元组损失函数Triplet loss；
根据超光谱人脸训练图像集并利用所述三元组损失函数Triplet loss对所述卷积神经网络人脸识别模型进行训练得到训练好的卷积神经网络人脸识别模型。
本发明的另一个实施例提供了一种超光谱人脸识别装置，该装置包括：
数据获取模块，用于获取可见光人脸图像集和红外人脸图像集，并将所述可见光人脸图像集分为可见光人脸训练图像集和可见光人脸测试图像集，所述红外人脸图像集分为红外人脸训练图像集和红外人脸测试图像集；
数据预处理模块，用于对所述可见光人脸训练图像集、可见光人脸测试图像集、所述红外人脸训练图像集和红外人脸测试图像集分别进行预处理得到可见光人脸预处理训练图像集、可见光人脸预处理测试图像集、红外人脸预处理训练图像集和红外人脸预处理测试图像集；
第一模型构建训练模块，用于构建超光谱图像融合网络模型，根据所述可见光人脸预处理训练图像集和所述红外人脸预处理训练图像集对所述超光谱图像融合网络模型进行训练得到训练好的超光谱图像融合网络模型；
数据生成模块，用于将所述可见光人脸测试图像集和所述红外人脸测试图像集输入至所述训练好的超光谱图像融合网络模型得到超光谱人脸图像集，并将所述超光谱人脸图像集分为超光谱人脸训练图像集、超光谱人脸测试图像集；
第二模型构建训练模块，用于构建卷积神经网络人脸识别模型，根据所述超光谱人脸训练图像集对所述卷积神经网络人脸识别模型进行训练得到训练好的卷积神经网络人脸识别模型；
数据识别模块，用于将所述超光谱人脸测试图像集输入至所述训练好的卷积神经网络人脸识别模型得到人脸特征集，并使用支持向量机分类器对所述人脸特征集进行分类处理以实现超光谱人脸识别。
本发明的再一个实施例提供了一种超光谱人脸识别电子设备，该电子设备包括图像采集器、显示器、处理器、通信接口、存储器和通信总线，其中，所述图像采集器、所述显示器、所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；
所述图像采集器用于采集图像数据；
所述显示器用于显示图像识别数据；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上存放的所述计算机程序时，实现上述任一所述的超光谱人脸识别方法。
本发明的又一个实施例提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的超光谱人脸识别方法。
与现有技术相比，本发明的有益效果：
本发明提出了一套完整的超光谱人脸识别技术，可以解决传统人脸识别技术的适用范围窄、识别性能不高、且特征提取鲁棒性差等诸多缺陷；本实施例为人脸识别技术的实用化提供了新理论和新方法支持，使得人脸识别技术变得更加实用、可靠和普及化。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种超光谱人脸识别方法的流程示意图；
图2是本发明实施例提供的一种超光谱人脸识别方法中超光谱图像融合网络模型的结构示意图；
图3是本发明实施例提供的一种超光谱人脸识别方法中密集残差模块的结构示意图；
图4是本发明实施例提供的一种超光谱人脸识别方法中卷积神经网络人脸识别模型的结构示意图；
图5a～5d是本发明实施例提供的一种超光谱人脸识别方法中可见光人脸图像、红外人脸图像示例示意图；
图6a～6b是本发明实施例提供的一种超光谱人脸识别方法中进行超光谱融合后的人脸图像示例示意图；
图7是本发明实施例提供的一种超光谱人脸识别装置的结构示意图；
图8是本发明实施例提供的一种超光谱人脸识别电子设备的结构示意图；
图9是本发明实施例提供的一种计算机可读存储介质的结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
目前人脸识别技术大多采用可见光成像和采集手段，因此该技术大多局限于白天光线充足的良好背景条件下，在光线不足和恶劣气候等环境下通常表现不佳。随着现实世界中各种复杂环境下应用的出现，基于可见光的人脸识别技术越来越难以满足要求，而红外线成像技术具备背景光线要求低、雨天雾天等气候下成像等等优势，弥补了可见光成像环境的不足。因此，请参见图1，图1是本发明实施例提供的一种超光谱人脸识别方法的流程示意图，本实施例提供了一种超光谱人脸识别方法，该方法包括以下步骤：
步骤1、获取可见光人脸图像集和红外人脸图像集，并将可见光人脸图像集分为可见光人脸训练图像集和可见光人脸测试图像集，红外人脸图像集分为红外人脸训练图像集和红外人脸测试图像集。
具体而言，本实施例使用可见光和红外线摄像头同时对些个体进行人脸图像采集得到可见光人脸图像集和红外人脸图像集。可见光人脸图像集和红外人脸图像集用于后续人脸识别。
步骤2、对可见光人脸训练图像集、可见光人脸测试图像集、红外人脸训练图像集和红外人脸测试图像集分别进行预处理得到可见光人脸预处理训练图像集、可见光人脸预处理测试图像集、红外人脸预处理训练图像集和红外人脸预处理测试图像集。
具体而言，为了实现更好的图像融合，本实施例在进行图像融合之前，先对可见光人脸训练图像集、可见光人脸测试图像集、红外人脸训练图像集和红外人脸测试图像集中的人脸图像作归一化和对比度调整，具体地本实施例步骤2包括步骤2.1、步骤2.2：
步骤2.1、对可见光人脸训练图像集和可见光人脸测试图像集分别进行灰度转换、归一化处理得到可见光人脸预处理训练图像集和可见光人脸预处理测试图像集。
具体而言，本实施例将可见光人脸训练图像集和可见光人脸测试图像集中的人脸图像首先进行灰度转换为灰度图像，其灰度转换的公式设计具体如下：
Igray＝0.2989×R+0.5870×G+0.1140×B (1)
其中，Igray为灰度转换后灰度图像输出，R、G、B为灰度转换前图像对应的RGB值，本实施例具体为可见光人脸训练图像集和可见光人脸测试图像集中人脸图像对应的RGB值。
然后，再将灰度图像Igray进行归一化处理，其归一化到[0，255]的归一化公式设计具体如下：
其中，In为灰度图像Igray的归一化后图像输出，Imax和Imin分别为灰度图像Igray中的最大及最小灰度值。
本实施例对可见光人脸训练图像集和可见光人脸测试图像集中的每一幅可见光人脸训练图像、可见光人脸测试图像均分别通过上述公式(1)、公式(2)的处理，进而得到可见光人脸预处理训练图像集和可见光人脸预处理测试图像集。
步骤2.2、对红外人脸训练图像集和红外人脸测试图像集分别进行图像增强、归一化处理得到红外人脸预处理训练图像集和红外人脸预处理测试图像集。
具体而言，本实施例将红外人脸训练图像集和红外人脸测试图像集中的人脸图像首先使用log算子进行图像增强，其图像增强的公式设计具体如下：
I＝log(1+X) (3)
其中，I为图像增强后的图像，X为图像增强前的图像，本实施例具体为红外人脸训练图像集和红外人脸测试图像集中人脸图像。
然后，再对增强后的图像I进行归一化处理，其归一化到[0，255]的归一化公式如上述公式(2)。
本实施例对红外人脸训练图像集和红外人脸测试图像集中的每一幅红外人脸训练图像、红外人脸测试图像均分别通过上述公式(3)、公式(2)的处理，进而得到红外人脸预处理训练图像集和红外人脸预处理测试图像集。
步骤3、构建超光谱图像融合网络模型，根据可见光人脸预处理训练图像集和红外人脸预处理训练图像集对超光谱图像融合网络模型进行训练得到训练好的超光谱图像融合网络模型。
具体而言，为了获得同时具备丰富纹理信息和热信息的高质量超光谱图像，本实施例提出了一种新型的反馈式深度融合框架将红外图像与可见光图像进行融合，具体地本实施例步骤3包括步骤3.1、步骤3.2：
步骤3.1、构建超光谱图像融合网络模型。
具体而言，请参见图2，图2是本发明实施例提供的一种超光谱人脸识别方法中超光谱图像融合网络模型的结构示意图，本实施例提出了一鲁棒性高，且专门针对超光谱人脸图像融合的超光谱图像融合网络模型RFFuseNet，具体地：构建的超光谱图像融合网络模型包括预融合层PF、编码器模块、融合层F和解码器模块，其中，预融合层PF的输入与输入图像连接，预融合层PF的输出与编码器模块的输入连接，编码器模块包括依次连接的第一卷积层C1和密集残差模块RDB，密集残差模块RDB的输出与预融合层PF的输出进行全局残差连接输出，全局残差连接输出与融合层F的输入连接；融合层F的输出与解码器模块的输入连接，解码器模块包括依次连接第二卷积层C2～第五卷积层C5和反馈层FB，反馈层FB的输出与融合层F的输出再次输入至第二卷积层C2构成反馈连接。其中，请参见图3，图3是本发明实施例提供的一种超光谱人脸识别方法中密集残差模块的结构示意图，密集残差模块RDB包括依次连接的第一密集残差连接层C_R_1～第三密集残差连接层C_R_3、多尺度拼接层CC、第四密集残差连接层C_R_4，第一密集残差连接层的输入还与第一密集残差连接层的输出、第二密集残差连接层的输出、第三密集残差连接层的输出连接，第二密集残差连接层的输入还与第二密集残差连接层的输出、第三密集残差连接层的输出连接，第三密集残差连接层的输入还与第三密集残差连接层的输出连接，第四密集残差连接层C_R_4的输出还与第一卷积层C1的输入进行局部残差连接输出，局部残差连接输出与预融合层PF的输出进行全局残差连接输出。
步骤3.2、根据可见光人脸预处理训练图像集和红外人脸预处理训练图像集对超光谱图像融合网络模型进行训练得到训练好的超光谱图像融合网络模型。
具体而言，本实施例训练过程中，构建了基于结构性损失、像素损失和平均梯度损失的复合损失函数，具体使用结构性损失、像素损失和平均梯度损失总和作为损失函数，具体该复合损失函数设计如下：
Loss＝λLssim+Lp+0.05Lag (4)
其中，λ为参数，可取1、10、100和1000，Lssim、Lp及Lag分别表示结构性损失、像素损失和平均梯度损失，具体Lssim、Lp及Lag设计如下：
Lssim＝1-SSIM(O,I) (5)
Lp＝||O-I||2 (6)
其中，O和I分别表示超光谱图像融合网络模型对应的输出图像和输入图像，M×N表示输出图像的大小，
和
分别表示输出图像在水平方向和垂直方向的梯度，SSIM(O,I)表示输出图像和输入图像间的结构相似性程度，具体SSIM(O,I)计算方式如下：
SSIM(O,I)＝[l(O,I)α·c(O,I)β·s(O,I)γ] (8)
其中，l(O,I)表示输出图像和输入图像亮度均值，c(O,I)表示输出图像和输入图像对比度方差，s(O,I)表示输出图像和输入图像结构相似度值，α、β、γ为调整超光谱图像融合网络模型中三个成分所占比重的参数。
进一步地，根据可见光人脸预处理训练图像集和红外人脸预处理训练图像集并利用基于结构性损失、像素损失和平均梯度损失的复合损失函数对超光谱图像融合网络模型进行训练得到训练好的超光谱图像融合网络模型。
具体而言，本实施例通过上述公式(4)构建的超光谱图像融合网络模型的复合损失函数，基于该复合损失函数，并将可见光人脸预处理训练图像集和红外人脸预处理训练图像集中人脸训练图像输入至超光谱图像融合网络模型中进行训练，训练过程中具体可以采用反向传播算法训练超光谱图像融合网络模型，从而得到本实施例最终训练好的超光谱图像融合网络模型，用于后续超光谱人脸图像集生成。
步骤4、将可见光人脸测试图像集和红外人脸测试图像集输入至训练好的超光谱图像融合网络模型得到超光谱人脸图像集，并将超光谱人脸图像集分为超光谱人脸训练图像集、超光谱人脸测试图像集。
具体而言，本实施例在步骤3中得到了训练好的超光谱图像融合网络模型，利用该超光谱图像融合网络模型对可见光人脸测试图像集和红外人脸测试图像集中的人脸图像进行人脸图像融合处理，从而获得同时具备丰富纹理信息和热信息的高质量超光谱人脸图像集。其中，将超光谱人脸图像集分为超光谱人脸训练图像集、超光谱人脸测试图像集用于后续超光谱人脸识别，优选地，超光谱人脸训练图像集、超光谱人脸测试图像集划分比例为3:1。
步骤5、构建卷积神经网络人脸识别模型，根据超光谱人脸训练图像集对卷积神经网络人脸识别模型进行训练得到训练好的卷积神经网络人脸识别模型。
具体而言，本实施例将深度学习人脸识别技术和深度超光谱融合技术相结合来提高人脸的最终识别率，在步骤4生成超光谱人脸图像集后，又提出了基于深度学习的超光谱人脸识别框架，即卷积神经网络人脸识别模型，具体地本实施例步骤5包括步骤5.1、步骤5.2：
步骤5.1、构建卷积神经网络人脸识别模型。
具体而言，请参见图4，图4是本发明实施例提供的一种超光谱人脸识别方法中卷积神经网络人脸识别模型的结构示意图，本实施例构建的卷积神经网络人脸识别模型包括依次连接的ResNet特征提取模块、特征归一化模块L2、特征空间映射模块ED。其中，卷积神经网络人脸识别模型的输入图像Batch首先被裁剪至固定尺寸；ResNet特征提取模块、特征归一化模块L2、特征空间映射模块ED可以分别通过现有常见方法实现，具体实现方式不限。
步骤5.2、根据超光谱人脸训练图像集对卷积神经网络人脸识别模型进行训练得到训练好的卷积神经网络人脸识别模型。
具体而言，本实施例在人脸识别训练过程中构建了三元组损失函数Tripletloss，使用该三元组损失函数Triplet loss来训练卷积神经网络人脸识别模型，所使用的三元组损失函数Triplet loss设计如下：
其中，
以及
表示卷积神经网络人脸识别模型的三张输入图像，
与
是来自同类的两张图像，
与
是来自异类的两张图像，α为间隔参，相应地，
以及
为卷积神经网络人脸识别模型的输出特征，将其组成三元组作为损失函数Triplet loss。
可见，本实施例三元组损失函数Triplet loss需要接收三张图像的特征以及对应的标签作为输入，其目的在于通过大量的三元组训练使得类内距离小于类间距离，训练过程中选用的优化器为Adam，学习率为0.001，批大小定为128，通过Tensor Board插件查看损失函数值与迭代次数的曲线设定一个合适的阈值让模型停止训练，从而得到训练好的卷积神经网络人脸识别模型。其中，三元组损失函数Triplet loss接收的图像来自超光谱人脸训练图像集。
步骤6、将超光谱人脸测试图像集输入至训练好的卷积神经网络人脸识别模型得到人脸特征集，并使用支持向量机分类器对人脸特征集进行分类处理以实现超光谱人脸识别。
具体而言，本实施例使用欧氏距离作为度量函数，将超光谱人脸测试图像集输入至训练好的卷积神经网络人脸识别模型进行特征提取得到人脸特征集，将人脸特征集以及其标签输入至支持向量机SVM分类器，通过支持向量机SVM分类器得到人脸识别的正确率以实现超光谱人脸识别。其中，通过支持向量机SVM分类器得到人脸识别的正确率，其步骤具体如下：
(1)、以类内最大欧式距离Dmax作为设定阈值，将预测标签与当前图像间最小欧式距离Dbw_min与Dmax比较，若小于Dmax则认为预测分类正确，否则认为预测分类错误，统计分类正确与错误的类别数。
(2)、根据(1)中统计的分类正确与错误的类别数，计算得到分类正确率(Accuracy)，具体公式设计如下：
其中，TN表示真正例，TP表示真负例，FP表示假正例，FN表示假负例。
综上所述，本实施例深度图像融合的超光谱人脸识别技术的引入，通过深度学习和图像融合技术来逐步提升最终识别准确率，具体来说：首先，在进行图像融合之前先对可见光图像和红外图像作归一化和对比度调整，然后利用本申请所提出的深度融合框架RFFuseNet(超光谱图像融合网络模型)将红外图像与可见光图像进行融合，以获得同时具备丰富纹理信息和热信息的高质量超光谱图像，最后，利用深度学习人脸识别方法(卷积神经网络人脸识别模型)对超光谱人脸图像进行识别，从而提高了传统基于可见光图像的人脸识别性能。
为了验证本申请提出的超光谱人脸识别方法的优越性，本申请所使用的人脸数据集为CASIA人脸图像集、QFIRE人脸图像集，请参见图5a～5d，图5a～5d是本发明实施例提供的一种超光谱人脸识别方法中可见光人脸图像、红外人脸图像示例示意图，具体地：图5(a)和图5(c)为可见光在1.5m处拍摄所得人脸图像，图5(b)和图5(d)为在近红外1.5m处拍摄所得人脸图像，图5(a)为CASIA可见光图像集，图5(b)为CASIA近红外图像集，图5(c)为QFIRE可见光图像集，图5(d)为QFIRE近红外图像集。
本实施例验证过程中超光谱图像融合网络模型中每一层的参数设计具体参见表1，卷积过程中padding方式为0填充。其中，超光谱图像融合网络模型中每一层的参数根据实际情况而设计，本实施例以表1中的具体参数设计进行识别验证。
表1超光谱图像融合网络模型中每一层的参数设计
本实施例设计的实验从以下两个方面进行论证：
(1)、为说明本申请的超光谱图像融合网络模型RFFuseNet的融合效果优于传统人脸图像融合和其他主流深度学习方法，将其与基于CBF的图像融合(传统方法)和基于DenseFuse的图像融合(主流深度学习方法)等进行了对比，计算了熵值(EN)、结构相似性(SSIM)、图像边缘保真度(Qabf)和人工噪声(Nabf)等融合效果的指标。请参见图6a～6b，图6a～6b是本发明实施例提供的一种超光谱人脸识别方法中进行超光谱融合后的人脸图像示例示意图，图6(a)为QFIRE图像融合结果，图6(b)为CASIA图像融合结果。请参见表2，表2为本实施例提供的不同图像融合方法关于熵值(EN)、图像边缘保真度(Qabf)、结构相似性(SSIM)和人工噪声(Nabf)的对比结果。其中，熵值(EN)、图像边缘保真度(Qabf)、结构相似性(SSIM)值越大说明融合效果越好，人工噪声(Nabf)值越小说明融合效果越好。
表2本实施例提供的不同图像融合方法的对比结果
由表2对比结果表明，采用本申请的RFFuseNet网络融合的超光谱人脸图像具有最大熵值、结构相似性、图像边缘保真度以及最小的人工噪声，从而说明本申请所设计的RFFuseNet方法的融合性能优于传统图像融合方法和主流深度学习方法。
(2)、为证明本申请的超光谱图像融合网络模型RFFuseNet的人脸识别性能要高于不使用融合技术的识别性能，分别对不使用融合的单光谱图像(即可见光和红外图像)、使用基于CBF的图像融合、使用基于DenseFuse的图像融合、使用本申请RFFuseNet融合等情形进行人脸识别实验。请参见表3，表3为本实施例提供的不同方法的人脸识别准确率对比结果，包括使用深度融合技术前后的结果。
表3本实施例提供的不同方法的人脸识别准确率对比结果
由表3对比结果可以看出，使用本申请RFFuseNet融合的超光谱图像识别率明显高于两个单光谱图像，即证明本申请RFFuseNet融合方法可有效提高人脸识别性能，同时本申请RFFuseNet融合的超光谱图像识别率也高于采用CBF和DenseFuse等方法的超光谱图像识别率，即证明本申请RFFuseNet模型的超光谱人脸识别性能优于其他人脸融合方法。
可见，本实施例针对传统人脸识别方法仅采用可见光的局限性，引入了图像融合思想，将可见光人脸图像和红外线人脸图像进行融合得到超光谱人脸图像，从而使人脸图像同时具备可见光和红外线的互补信息(即丰富纹理和热信息)，达到提升人脸识别的性能的效果；本实施例针对人脸图像融合问题设计了一个新型的残差反馈式超光谱图像融合网络模型RFFuseNet，实验表明，与传统融合方法相比，本申请所提出的超光谱图像融合网络模型RFFuseNet无需手工设计融合规则和选取融合参数，并且能够融合出更高质量、包含信息更丰富的超光谱人脸图像，与其他基于深度学习的融合方法比，也具备更好的融合指标；本实施例将深度学习人脸识别技术和深度超光谱融合技术相结合，提出了基于深度学习的超光谱人脸识别框架，可以成功解决传统人脸识别局限于可见光和识别性能不足等问题，实验表明本申请方法的使用可以明显提高最终人脸识别率。
本实施例提出了一套完整的超光谱人脸识别技术，可以解决传统人脸识别技术的适用范围窄、识别性能不高、且特征提取鲁棒性差等诸多缺陷；本实施例为人脸识别技术的实用化提供了新理论和新方法支持，使得人脸识别技术变得更加实用、可靠和普及化；本实施例可以广泛应用于户外、夜间、雨雪和其他复杂环境下的考勤、民用监控、公安执法、进出管控、小区入口等等应用场合。
实施例二
在上述实施例一的基础上，请参见图7，图7是本发明实施例提供的一种超光谱人脸识别装置的结构示意图。本实施例提供了一种超光谱人脸识别装置，该装置包括：
数据获取模块，用于获取可见光人脸图像集和红外人脸图像集，并将可见光人脸图像集分为可见光人脸训练图像集和可见光人脸测试图像集，红外人脸图像集分为红外人脸训练图像集和红外人脸测试图像集。
数据预处理模块，用于对可见光人脸训练图像集、可见光人脸测试图像集、红外人脸训练图像集和红外人脸测试图像集分别进行预处理得到可见光人脸预处理训练图像集、可见光人脸预处理测试图像集、红外人脸预处理训练图像集和红外人脸预处理测试图像集。
具体而言，本实施例数据预处理模块中对可见光人脸训练图像集、可见光人脸测试图像集、红外人脸训练图像集和红外人脸测试图像集分别进行预处理得到可见光人脸预处理训练图像集、可见光人脸预处理测试图像集、红外人脸预处理训练图像集和红外人脸预处理测试图像集，包括：
可见光人脸训练图像集和可见光人脸测试图像集分别进行灰度转换、归一化处理得到可见光人脸预处理训练图像集和可见光人脸预处理测试图像集；
对红外人脸训练图像集和红外人脸测试图像集分别进行图像增强、归一化处理得到红外人脸预处理训练图像集和红外人脸预处理测试图像集。
第一模型构建训练模块，用于构建超光谱图像融合网络模型，根据可见光人脸预处理训练图像集和红外人脸预处理训练图像集对超光谱图像融合网络模型进行训练得到训练好的超光谱图像融合网络模型。
具体而言，本实施例第一模型构建训练模块中构建的超光谱图像融合网络模型包括预融合层、编码器模块、融合层和解码器模块，其中，
预融合层的输入与输入图像连接，预融合层的输出与编码器模块的输入连接，编码器模块包括依次连接的第一卷积层和密集残差模块，密集残差模块的输出与预融合层的输出进行全局残差连接输出，全局残差连接输出与融合层的输入连接；
融合层的输出与解码器模块的输入连接，解码器模块包括依次连接第二卷积层～第五卷积层和反馈层，反馈层的输出与融合层的输出再次输入至第二卷积层构成反馈连接。
进一步地，密集残差模块包括依次连接的第一密集残差连接层～第三密集残差连接层、多尺度拼接层、第四密集残差连接层，第一密集残差连接层的输入还与第一密集残差连接层的输出、第二密集残差连接层的输出、第三密集残差连接层的输出连接，第二密集残差连接层的输入还与第二密集残差连接层的输出、第三密集残差连接层的输出连接，第三密集残差连接层的输入还与第三密集残差连接层的输出连接，第四密集残差连接层的输出还与第一卷积层的输入进行局部残差连接输出，局部残差连接输出与预融合层的输出进行全局残差连接输出。
进一步地，根据可见光人脸预处理训练图像集和红外人脸预处理训练图像集对超光谱图像融合网络模型进行训练得到训练好的超光谱图像融合网络模型，包括：
构建基于结构性损失、像素损失和平均梯度损失的复合损失函数；
根据可见光人脸预处理训练图像集和红外人脸预处理训练图像集并利用基于结构性损失、像素损失和平均梯度损失的复合损失函数对超光谱图像融合网络模型进行训练得到训练好的超光谱图像融合网络模型。
数据生成模块，用于将可见光人脸测试图像集和红外人脸测试图像集输入至训练好的超光谱图像融合网络模型得到超光谱人脸图像集，并将超光谱人脸图像集分为超光谱人脸训练图像集、超光谱人脸测试图像集。
第二模型构建训练模块，用于构建卷积神经网络人脸识别模型，根据超光谱人脸训练图像集对卷积神经网络人脸识别模型进行训练得到训练好的卷积神经网络人脸识别模型。
具体而言，本实施例第二模型构建训练模块中构建的卷积神经网络人脸识别模型包括依次连接的ResNet特征提取模块、特征归一化模块、特征空间映射模块。
进一步地，根据超光谱人脸训练图像集对卷积神经网络人脸识别模型进行训练得到训练好的卷积神经网络人脸识别模型，包括：
构建三元组损失函数Triplet loss；
根据超光谱人脸训练图像集并利用三元组损失函数Triplet loss对卷积神经网络人脸识别模型进行训练得到训练好的卷积神经网络人脸识别模型。
数据识别模块，用于将超光谱人脸测试图像集输入至训练好的卷积神经网络人脸识别模型得到人脸特征集，并使用支持向量机分类器对人脸特征集进行分类处理以实现超光谱人脸识别。
本实施例提供的一种超光谱人脸识别装置，可以执行上述超光谱人脸识别方法实施例，其实现原理和技术效果类似，在此不再赘述。
实施例三
在上述实施例二的基础上，请参见图8，图8是本发明实施例提供的一种超光谱人脸识别电子设备结构示意图。本实施例提供了一种超光谱人脸识别电子设备，该电子设备包括图像采集器、显示器、处理器、通信接口、存储器和通信总线，其中，图像采集器、显示器、处理器、通信接口、存储器通过通信总线完成相互间的通信；
图像采集器用于采集图像数据；
显示器用于显示图像识别数据；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的计算机程序时，该计算机程序被处理器执行时实现以下步骤：
步骤1、控制图像采集器进行人脸图像采集，获取可见光人脸图像集和红外人脸图像集，并将可见光人脸图像集分为可见光人脸训练图像集和可见光人脸测试图像集，红外人脸图像集分为红外人脸训练图像集和红外人脸测试图像集。
步骤2、对可见光人脸训练图像集、可见光人脸测试图像集、红外人脸训练图像集和红外人脸测试图像集分别进行预处理得到可见光人脸预处理训练图像集、可见光人脸预处理测试图像集、红外人脸预处理训练图像集和红外人脸预处理测试图像集。
具体而言，本实施例步骤2中对可见光人脸训练图像集、可见光人脸测试图像集、红外人脸训练图像集和红外人脸测试图像集分别进行预处理得到可见光人脸预处理训练图像集、可见光人脸预处理测试图像集、红外人脸预处理训练图像集和红外人脸预处理测试图像集，包括：
可见光人脸训练图像集和可见光人脸测试图像集分别进行灰度转换、归一化处理得到可见光人脸预处理训练图像集和可见光人脸预处理测试图像集；
对红外人脸训练图像集和红外人脸测试图像集分别进行图像增强、归一化处理得到红外人脸预处理训练图像集和红外人脸预处理测试图像集。
步骤3、构建超光谱图像融合网络模型，根据可见光人脸预处理训练图像集和红外人脸预处理训练图像集对超光谱图像融合网络模型进行训练得到训练好的超光谱图像融合网络模型。
具体而言，本实施例步骤3中构建的超光谱图像融合网络模型包括预融合层、编码器模块、融合层和解码器模块，其中，
预融合层的输入与输入图像连接，预融合层的输出与编码器模块的输入连接，编码器模块包括依次连接的第一卷积层和密集残差模块，密集残差模块的输出与预融合层的输出进行全局残差连接输出，全局残差连接输出与融合层的输入连接；
融合层的输出与解码器模块的输入连接，解码器模块包括依次连接第二卷积层～第五卷积层和反馈层，反馈层的输出与融合层的输出再次输入至第二卷积层构成反馈连接。
进一步地，密集残差模块包括依次连接的第一密集残差连接层～第三密集残差连接层、多尺度拼接层、第四密集残差连接层，第一密集残差连接层的输入还与第一密集残差连接层的输出、第二密集残差连接层的输出、第三密集残差连接层的输出连接，第二密集残差连接层的输入还与第二密集残差连接层的输出、第三密集残差连接层的输出连接，第三密集残差连接层的输入还与第三密集残差连接层的输出连接，第四密集残差连接层的输出还与第一卷积层的输入进行局部残差连接输出，局部残差连接输出与预融合层的输出进行全局残差连接输出。
进一步地，根据可见光人脸预处理训练图像集和红外人脸预处理训练图像集对超光谱图像融合网络模型进行训练得到训练好的超光谱图像融合网络模型，包括：
构建基于结构性损失、像素损失和平均梯度损失的复合损失函数；
根据可见光人脸预处理训练图像集和红外人脸预处理训练图像集并利用基于结构性损失、像素损失和平均梯度损失的复合损失函数对超光谱图像融合网络模型进行训练得到训练好的超光谱图像融合网络模型。
步骤4、将可见光人脸测试图像集和红外人脸测试图像集输入至训练好的超光谱图像融合网络模型得到超光谱人脸图像集，并将超光谱人脸图像集分为超光谱人脸训练图像集、超光谱人脸测试图像集。
步骤5、构建卷积神经网络人脸识别模型，根据超光谱人脸训练图像集对卷积神经网络人脸识别模型进行训练得到训练好的卷积神经网络人脸识别模型。
具体而言，本实施例步骤5中构建的卷积神经网络人脸识别模型包括依次连接的ResNet特征提取模块、特征归一化模块、特征空间映射模块。
进一步地，根据超光谱人脸训练图像集对卷积神经网络人脸识别模型进行训练得到训练好的卷积神经网络人脸识别模型，包括：
构建三元组损失函数Triplet loss；
根据超光谱人脸训练图像集并利用三元组损失函数Triplet loss对卷积神经网络人脸识别模型进行训练得到训练好的卷积神经网络人脸识别模型。
步骤6、将超光谱人脸测试图像集输入至训练好的卷积神经网络人脸识别模型得到人脸特征集，并使用支持向量机分类器对人脸特征集进行分类处理以实现超光谱人脸识别。最后将超光谱人脸识别结果输出到显示器中。
本实施例提供的一种超光谱人脸识别电子设备，可以执行上述超光谱人脸识别方法实施例和上述超光谱人脸识别装置实施例，其实现原理和技术效果类似，在此不再赘述。
实施例四
在上述实施例三的基础上，请参见图9，图9是本发明实施例提供的一种计算机可读存储介质的结构示意图。本实施例提供的一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现以下步骤：
步骤1、获取可见光人脸图像集和红外人脸图像集，并将可见光人脸图像集分为可见光人脸训练图像集和可见光人脸测试图像集，红外人脸图像集分为红外人脸训练图像集和红外人脸测试图像集。
步骤2、对可见光人脸训练图像集、可见光人脸测试图像集、红外人脸训练图像集和红外人脸测试图像集分别进行预处理得到可见光人脸预处理训练图像集、可见光人脸预处理测试图像集、红外人脸预处理训练图像集和红外人脸预处理测试图像集。
具体而言，本实施例步骤2中对可见光人脸训练图像集、可见光人脸测试图像集、红外人脸训练图像集和红外人脸测试图像集分别进行预处理得到可见光人脸预处理训练图像集、可见光人脸预处理测试图像集、红外人脸预处理训练图像集和红外人脸预处理测试图像集，包括：
可见光人脸训练图像集和可见光人脸测试图像集分别进行灰度转换、归一化处理得到可见光人脸预处理训练图像集和可见光人脸预处理测试图像集；
对红外人脸训练图像集和红外人脸测试图像集分别进行图像增强、归一化处理得到红外人脸预处理训练图像集和红外人脸预处理测试图像集。
步骤3、构建超光谱图像融合网络模型，根据可见光人脸预处理训练图像集和红外人脸预处理训练图像集对超光谱图像融合网络模型进行训练得到训练好的超光谱图像融合网络模型。
具体而言，本实施例步骤3中构建的超光谱图像融合网络模型包括预融合层、编码器模块、融合层和解码器模块，其中，
预融合层的输入与输入图像连接，预融合层的输出与编码器模块的输入连接，编码器模块包括依次连接的第一卷积层和密集残差模块，密集残差模块的输出与预融合层的输出进行全局残差连接输出，全局残差连接输出与融合层的输入连接；
融合层的输出与解码器模块的输入连接，解码器模块包括依次连接第二卷积层～第五卷积层和反馈层，反馈层的输出与融合层的输出再次输入至第二卷积层构成反馈连接。
进一步地，密集残差模块包括依次连接的第一密集残差连接层～第三密集残差连接层、多尺度拼接层、第四密集残差连接层，第一密集残差连接层的输入还与第一密集残差连接层的输出、第二密集残差连接层的输出、第三密集残差连接层的输出连接，第二密集残差连接层的输入还与第二密集残差连接层的输出、第三密集残差连接层的输出连接，第三密集残差连接层的输入还与第三密集残差连接层的输出连接，第四密集残差连接层的输出还与第一卷积层的输入进行局部残差连接输出，局部残差连接输出与预融合层的输出进行全局残差连接输出。
进一步地，根据可见光人脸预处理训练图像集和红外人脸预处理训练图像集对超光谱图像融合网络模型进行训练得到训练好的超光谱图像融合网络模型，包括：
构建基于结构性损失、像素损失和平均梯度损失的复合损失函数；
根据可见光人脸预处理训练图像集和红外人脸预处理训练图像集并利用基于结构性损失、像素损失和平均梯度损失的复合损失函数对超光谱图像融合网络模型进行训练得到训练好的超光谱图像融合网络模型。
步骤4、将可见光人脸测试图像集和红外人脸测试图像集输入至训练好的超光谱图像融合网络模型得到超光谱人脸图像集，并将超光谱人脸图像集分为超光谱人脸训练图像集、超光谱人脸测试图像集。
步骤5、构建卷积神经网络人脸识别模型，根据超光谱人脸训练图像集对卷积神经网络人脸识别模型进行训练得到训练好的卷积神经网络人脸识别模型。
具体而言，本实施例步骤5中构建的卷积神经网络人脸识别模型包括依次连接的ResNet特征提取模块、特征归一化模块、特征空间映射模块。
进一步地，根据超光谱人脸训练图像集对卷积神经网络人脸识别模型进行训练得到训练好的卷积神经网络人脸识别模型，包括：
构建三元组损失函数Triplet loss；
根据超光谱人脸训练图像集并利用三元组损失函数Triplet loss对卷积神经网络人脸识别模型进行训练得到训练好的卷积神经网络人脸识别模型。
步骤6、将超光谱人脸测试图像集输入至训练好的卷积神经网络人脸识别模型得到人脸特征集，并使用支持向量机分类器对人脸特征集进行分类处理以实现超光谱人脸识别。
本实施例提供的一种计算机可读存储介质，可以执行上述超光谱人脸识别方法实施例、上述超光谱人脸识别装置实施例和上述超光谱人脸识别电子设备实施例，其实现原理和技术效果类似，在此不再赘述。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (10)
1.一种超光谱人脸识别方法，其特征在于，包括：
获取可见光人脸图像集和红外人脸图像集，并将所述可见光人脸图像集分为可见光人脸训练图像集和可见光人脸测试图像集，所述红外人脸图像集分为红外人脸训练图像集和红外人脸测试图像集；
对所述可见光人脸训练图像集、可见光人脸测试图像集、所述红外人脸训练图像集和红外人脸测试图像集分别进行预处理得到可见光人脸预处理训练图像集、可见光人脸预处理测试图像集、红外人脸预处理训练图像集和红外人脸预处理测试图像集；
构建超光谱图像融合网络模型，根据所述可见光人脸预处理训练图像集和所述红外人脸预处理训练图像集对所述超光谱图像融合网络模型进行训练得到训练好的超光谱图像融合网络模型；
将所述可见光人脸测试图像集和所述红外人脸测试图像集输入至所述训练好的超光谱图像融合网络模型得到超光谱人脸图像集，并将所述超光谱人脸图像集分为超光谱人脸训练图像集、超光谱人脸测试图像集；
构建卷积神经网络人脸识别模型，根据所述超光谱人脸训练图像集对所述卷积神经网络人脸识别模型进行训练得到训练好的卷积神经网络人脸识别模型；
将所述超光谱人脸测试图像集输入至所述训练好的卷积神经网络人脸识别模型得到人脸特征集，并使用支持向量机分类器对所述人脸特征集进行分类处理以实现超光谱人脸识别。
2.根据权利要求1所述的超光谱人脸识别方法，其特征在于，对所述可见光人脸训练图像集、可见光人脸测试图像集、所述红外人脸训练图像集和红外人脸测试图像集分别进行预处理得到可见光人脸预处理训练图像集、可见光人脸预处理测试图像集、红外人脸预处理训练图像集和红外人脸预处理测试图像集，包括：
对所述可见光人脸训练图像集和所述可见光人脸测试图像集分别进行灰度转换、归一化处理得到所述可见光人脸预处理训练图像集和所述可见光人脸预处理测试图像集；
对所述红外人脸训练图像集和所述红外人脸测试图像集分别进行图像增强、归一化处理得到所述红外人脸预处理训练图像集和所述红外人脸预处理测试图像集。
3.根据权利要求1所述的超光谱人脸识别方法，其特征在于，构建的超光谱图像融合网络模型包括预融合层、编码器模块、融合层和解码器模块，其中，
所述预融合层的输入与输入图像连接，所述预融合层的输出与所述编码器模块的输入连接，所述编码器模块包括依次连接的第一卷积层和密集残差模块，所述密集残差模块的输出与所述预融合层的输出进行全局残差连接输出，所述全局残差连接输出与所述融合层的输入连接；
所述融合层的输出与所述解码器模块的输入连接，所述解码器模块包括依次连接第二卷积层～第五卷积层和反馈层，所述反馈层的输出与所述融合层的输出再次输入至所述第二卷积层构成反馈连接。
4.根据权利要求3所述的超光谱人脸识别方法，其特征在于，所述密集残差模块包括依次连接的第一密集残差连接层～第三密集残差连接层、多尺度拼接层、第四密集残差连接层，所述第一密集残差连接层的输入还与所述第一密集残差连接层的输出、所述第二密集残差连接层的输出、所述第三密集残差连接层的输出连接，所述第二密集残差连接层的输入还与所述第二密集残差连接层的输出、所述第三密集残差连接层的输出连接，所述第三密集残差连接层的输入还与所述第三密集残差连接层的输出连接，所述第四密集残差连接层的输出还与所述第一卷积层的输入进行局部残差连接输出，所述局部残差连接输出与所述预融合层的输出进行全局残差连接输出。
5.根据权利要求1所述的超光谱人脸识别方法，其特征在于，根据所述可见光人脸预处理训练图像集和所述红外人脸预处理训练图像集对所述超光谱图像融合网络模型进行训练得到训练好的超光谱图像融合网络模型，包括：
构建基于结构性损失、像素损失和平均梯度损失的复合损失函数；
根据所述可见光人脸预处理训练图像集和所述红外人脸预处理训练图像集并利用所述基于结构性损失、像素损失和平均梯度损失的复合损失函数对所述超光谱图像融合网络模型进行训练得到训练好的超光谱图像融合网络模型。
6.根据权利要求1所述的超光谱人脸识别方法，其特征在于，构建的卷积神经网络人脸识别模型包括依次连接的ResNet特征提取模块、特征归一化模块、特征空间映射模块。
7.根据权利要求1所述的超光谱人脸识别方法，其特征在于，根据所述超光谱人脸训练图像集对所述卷积神经网络人脸识别模型进行训练得到训练好的卷积神经网络人脸识别模型，包括：
构建三元组损失函数Tripletloss；
根据超光谱人脸训练图像集并利用所述三元组损失函数Triplet loss对所述卷积神经网络人脸识别模型进行训练得到训练好的卷积神经网络人脸识别模型。
8.一种超光谱人脸识别装置，其特征在于，所述装置包括：
数据获取模块，用于获取可见光人脸图像集和红外人脸图像集，并将所述可见光人脸图像集分为可见光人脸训练图像集和可见光人脸测试图像集，所述红外人脸图像集分为红外人脸训练图像集和红外人脸测试图像集；
数据预处理模块，用于对所述可见光人脸训练图像集、可见光人脸测试图像集、所述红外人脸训练图像集和红外人脸测试图像集分别进行预处理得到可见光人脸预处理训练图像集、可见光人脸预处理测试图像集、红外人脸预处理训练图像集和红外人脸预处理测试图像集；
第一模型构建训练模块，用于构建超光谱图像融合网络模型，根据所述可见光人脸预处理训练图像集和所述红外人脸预处理训练图像集对所述超光谱图像融合网络模型进行训练得到训练好的超光谱图像融合网络模型；
数据生成模块，用于将所述可见光人脸测试图像集和所述红外人脸测试图像集输入至所述训练好的超光谱图像融合网络模型得到超光谱人脸图像集，并将所述超光谱人脸图像集分为超光谱人脸训练图像集、超光谱人脸测试图像集；
第二模型构建训练模块，用于构建卷积神经网络人脸识别模型，根据所述超光谱人脸训练图像集对所述卷积神经网络人脸识别模型进行训练得到训练好的卷积神经网络人脸识别模型；
数据识别模块，用于将所述超光谱人脸测试图像集输入至所述训练好的卷积神经网络人脸识别模型得到人脸特征集，并使用支持向量机分类器对所述人脸特征集进行分类处理以实现超光谱人脸识别。
9.一种超光谱人脸识别电子设备，其特征在于，所述该电子设备包括图像采集器、显示器、处理器、通信接口、存储器和通信总线，其中，所述图像采集器、所述显示器、所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；
所述图像采集器用于采集图像数据；
所述显示器用于显示图像识别数据；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上存放的所述计算机程序时，实现权利要求1～7任一所述的超光谱人脸识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1～7任一所述的超光谱人脸识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010163505.5A CN111539247B (zh) | 2020-03-10 | 2020-03-10 | 一种超光谱人脸识别方法、装置、电子设备及其存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010163505.5A CN111539247B (zh) | 2020-03-10 | 2020-03-10 | 一种超光谱人脸识别方法、装置、电子设备及其存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111539247A true CN111539247A (zh) | 2020-08-14 |
| CN111539247B CN111539247B (zh) | 2023-02-10 |
Family
ID=71974802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010163505.5A Active CN111539247B (zh) | 2020-03-10 | 2020-03-10 | 一种超光谱人脸识别方法、装置、电子设备及其存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111539247B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111986240A (zh) * | 2020-09-01 | 2020-11-24 | 交通运输部水运科学研究所 | 基于可见光和热成像数据融合的落水人员检测方法及*** |
| CN112016478A (zh) * | 2020-08-31 | 2020-12-01 | 中国电子科技集团公司第三研究所 | 一种基于多光谱图像融合的复杂场景识别方法及*** |
| CN112800921A (zh) * | 2021-01-22 | 2021-05-14 | 广东电网有限责任公司广州供电局 | 基于卷积神经网络的多波段光源人脸识别方法 |
| CN113673487A (zh) * | 2021-10-21 | 2021-11-19 | 杭州觅睿科技股份有限公司 | 一种宠物识别方法、装置、设备及存储介质 |
| CN113688806A (zh) * | 2021-10-26 | 2021-11-23 | 南京智谱科技有限公司 | 一种红外与可见光图像融合的多光谱目标检测方法及*** |
| CN113723246A (zh) * | 2021-08-20 | 2021-11-30 | 南京华图信息技术有限公司 | 一种基于注意力机制的红外宽光谱人脸识别方法及*** |
| CN115240042A (zh) * | 2022-07-05 | 2022-10-25 | 抖音视界有限公司 | 多模态图像识别方法、装置、可读介质和电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060102843A1 (en) * | 2004-11-12 | 2006-05-18 | Bazakos Michael E | Infrared and visible fusion face recognition system |
| CN105608450A (zh) * | 2016-03-01 | 2016-05-25 | 天津中科智能识别产业技术研究院有限公司 | 基于深度卷积神经网络的异质人脸识别方法 |
| CN108427921A (zh) * | 2018-02-28 | 2018-08-21 | 辽宁科技大学 | 一种基于卷积神经网络的人脸识别方法 |
| WO2019128367A1 (zh) * | 2017-12-26 | 2019-07-04 | 广州广电运通金融电子股份有限公司 | 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质 |
| CN110110606A (zh) * | 2019-04-12 | 2019-08-09 | 天津大学 | 基于神经网络的可见光与红外人脸图像的融合方法 |
-
2020
- 2020-03-10 CN CN202010163505.5A patent/CN111539247B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060102843A1 (en) * | 2004-11-12 | 2006-05-18 | Bazakos Michael E | Infrared and visible fusion face recognition system |
| CN105608450A (zh) * | 2016-03-01 | 2016-05-25 | 天津中科智能识别产业技术研究院有限公司 | 基于深度卷积神经网络的异质人脸识别方法 |
| WO2019128367A1 (zh) * | 2017-12-26 | 2019-07-04 | 广州广电运通金融电子股份有限公司 | 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质 |
| CN108427921A (zh) * | 2018-02-28 | 2018-08-21 | 辽宁科技大学 | 一种基于卷积神经网络的人脸识别方法 |
| CN110110606A (zh) * | 2019-04-12 | 2019-08-09 | 天津大学 | 基于神经网络的可见光与红外人脸图像的融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| 罗金梅等: "基于多特征融合CNN的人脸识别算法研究", 《航空计算技术》 * |
| 赵云丰等: "基于决策融合的红外与可见光图像人脸识别研究", 《激光与红外》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112016478A (zh) * | 2020-08-31 | 2020-12-01 | 中国电子科技集团公司第三研究所 | 一种基于多光谱图像融合的复杂场景识别方法及*** |
| CN112016478B (zh) * | 2020-08-31 | 2024-04-16 | 中国电子科技集团公司第三研究所 | 一种基于多光谱图像融合的复杂场景识别方法及*** |
| CN111986240A (zh) * | 2020-09-01 | 2020-11-24 | 交通运输部水运科学研究所 | 基于可见光和热成像数据融合的落水人员检测方法及*** |
| CN112800921A (zh) * | 2021-01-22 | 2021-05-14 | 广东电网有限责任公司广州供电局 | 基于卷积神经网络的多波段光源人脸识别方法 |
| CN113723246A (zh) * | 2021-08-20 | 2021-11-30 | 南京华图信息技术有限公司 | 一种基于注意力机制的红外宽光谱人脸识别方法及*** |
| CN113723246B (zh) * | 2021-08-20 | 2022-09-02 | 南京华图信息技术有限公司 | 一种基于注意力机制的红外宽光谱人脸识别方法及*** |
| CN113673487A (zh) * | 2021-10-21 | 2021-11-19 | 杭州觅睿科技股份有限公司 | 一种宠物识别方法、装置、设备及存储介质 |
| CN113688806A (zh) * | 2021-10-26 | 2021-11-23 | 南京智谱科技有限公司 | 一种红外与可见光图像融合的多光谱目标检测方法及*** |
| CN115240042A (zh) * | 2022-07-05 | 2022-10-25 | 抖音视界有限公司 | 多模态图像识别方法、装置、可读介质和电子设备 |
| CN115240042B (zh) * | 2022-07-05 | 2023-05-16 | 抖音视界有限公司 | 多模态图像识别方法、装置、可读介质和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111539247B (zh) | 2023-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111539247B (zh) | 一种超光谱人脸识别方法、装置、电子设备及其存储介质 | |
| CN112766160B (zh) | 基于多级属性编码器和注意力机制的人脸替换方法 | |
| CN109242888B (zh) | 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法 | |
| WO2023093186A1 (zh) | 基于神经辐射场的行人重识别三维数据集构建方法和装置 | |
| Bhalla et al. | Fusion of Infrared and Visible Images Using Fuzzy Based Siamese Convolutional Network. | |
| CN109145745B (zh) | 一种遮挡情况下的人脸识别方法 | |
| CN109871845B (zh) | 证件图像提取方法及终端设备 | |
| CN112288663A (zh) | 一种红外与可见光图像融合方法及*** | |
| CN111079764B (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
| CN111539246B (zh) | 一种跨光谱人脸识别方法、装置、电子设备及其存储介质 | |
| CN112115979B (zh) | 一种红外图像和可见图像的融合方法及设备 | |
| CN110276831B (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
| CN110825900A (zh) | 特征重构层的训练方法、图像特征的重构方法及相关装置 | |
| CN111462128A (zh) | 一种基于多模态光谱图像的像素级图像分割***及方法 | |
| CN114782298B (zh) | 一种具有区域注意力的红外与可见光图像融合方法 | |
| CN114332942A (zh) | 基于改进YOLOv3的夜间红外行人检测方法及*** | |
| CN110969164A (zh) | 基于深度学习端对端的低照度成像车牌识别方法及装置 | |
| CN105894520A (zh) | 一种基于高斯混合模型的卫星影像自动云检测方法 | |
| CN116468645A (zh) | 一种对抗性高光谱多光谱遥感融合方法 | |
| Asmare et al. | Image Enhancement by Fusion in Contourlet Transform. | |
| CN116757986A (zh) | 一种红外与可见光图像融合方法及装置 | |
| CN117496019B (zh) | 一种驱动静态图像的图像动画处理方法及*** | |
| CN114882537A (zh) | 一种基于神经辐射场的手指新视角图像生成方法 | |
| Babu et al. | An efficient image dahazing using Googlenet based convolution neural networks | |
| CN114155165A (zh) | 一种基于半监督的图像去雾方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: No.2, Taibai South Road, Yanta District, Xi'an City, Shaanxi Province Patentee after: XIDIAN University Country or region after: China Patentee after: Xi'an Xiyue Xin'an Intelligent Technology Co.,Ltd. Address before: No.2, Taibai South Road, Yanta District, Xi'an City, Shaanxi Province Patentee before: XIDIAN University Country or region before: China Patentee before: Xi'an XD Xin'an Intelligent Technology Co.,Ltd. |
|
| CP03 | Change of name, title or address | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240122 Address after: No.2, Taibai South Road, Yanta District, Xi'an City, Shaanxi Province Patentee after: XIDIAN University Country or region after: China Address before: No.2, Taibai South Road, Yanta District, Xi'an City, Shaanxi Province Patentee before: XIDIAN University Country or region before: China Patentee before: Xi'an Xiyue Xin'an Intelligent Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240412 Address after: Room 303-9, 3rd Floor, Building 1, No. 88 Huilong Road, Qingpu District, Shanghai, 201702 Patentee after: Shanghai Jingying Information Technology Co.,Ltd. Country or region after: China Address before: No.2, Taibai South Road, Yanta District, Xi'an City, Shaanxi Province Patentee before: XIDIAN University Country or region before: China |
|
| TR01 | Transfer of patent right |