CN111539246A - 一种跨光谱人脸识别方法、装置、电子设备及其存储介质 - Google Patents

一种跨光谱人脸识别方法、装置、电子设备及其存储介质 Download PDF

Info

Publication number
CN111539246A
CN111539246A CN202010162753.8A CN202010162753A CN111539246A CN 111539246 A CN111539246 A CN 111539246A CN 202010162753 A CN202010162753 A CN 202010162753A CN 111539246 A CN111539246 A CN 111539246A
Authority
CN
China
Prior art keywords
face
infrared
image set
image
preprocessing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010162753.8A
Other languages
English (en)
Other versions
CN111539246B (zh
Inventor
庞辽军
曹志诚
胡嘉钰
赵恒�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Xd Xin'an Intelligent Technology Co ltd
Xidian University
Original Assignee
Xi'an Xd Xin'an Intelligent Technology Co ltd
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Xd Xin'an Intelligent Technology Co ltd, Xidian University filed Critical Xi'an Xd Xin'an Intelligent Technology Co ltd
Priority to CN202010162753.8A priority Critical patent/CN111539246B/zh
Publication of CN111539246A publication Critical patent/CN111539246A/zh
Application granted granted Critical
Publication of CN111539246B publication Critical patent/CN111539246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种跨光谱人脸识别方法、装置、电子设备及其存储介质，方法包括获取可见光人脸图像集、红外人脸图像集；对可见光人脸图像集、红外人脸图像集进行预处理；根据预处理后的人脸图像集生成红外人脸训练图像对集；构建红外人脸图像去噪网络模型，根据红外人脸训练图像对集对红外人脸图像去噪网络模型进行训练得到训练好的红外人脸图像去噪网络模型；利用训练好的红外人脸图像去噪网络模型进行去噪；对可见光人脸图像集和去噪后的红外人脸图像集进行人脸识别以实现跨光谱人脸识别。本发明提出了一套完整的基于深度图像去噪的跨光谱人脸识别方法，可以解决传统人脸识别技术的适用范围窄、识别性能不高、且特征提取鲁棒性差等缺陷。

Description

一种跨光谱人脸识别方法、装置、电子设备及其存储介质
技术领域
本发明属于模式识别、数字图像处理技术领域，具体涉及一种跨光谱人脸识别方法、装置、电子设备及其存储介质。
背景技术
人脸识别是一种具有特定优势的生物识别模态。相比于其他生物特征，它具有普遍性高、易采集性好、大众接受性高等众多优点，所以人脸识别已成为应用最广泛的生物特征识别技术之一。
迄今为止，大多研究人员仅仅关注基于可见光的人脸识别技术，该技术在恶劣气候和环境如不均匀光照、夜间和雨雪等情况下通常表现不佳。随着现实世界中各种复杂环境下应用的出现，基于可见光的人脸识别技术越来越难以满足要求，如真实世界中的监控任务经常发生在夜间以及雨雪天等糟糕的大气环境下，在此环境下通过可见光获取高清人脸图像是一件难以完成的任务。因此使用可见光和红外线相结合的跨光谱人脸识别技术在实际中尤为迫切。红外人脸图像噪声和可见光人脸图像噪声不尽相同，如噪声类型和噪声水平都不相同。相比于可见光人脸图像，红外人脸图像的质量要低很多，该异源图像质量不对等问题是导致跨光谱人脸识别率低的主要原因，而噪声则是导致红外图像质量降低的主要因素。
目前的图像去噪技术大多是针对非人脸图像设计的，且这其中少数面向人脸图像的去噪技术也局限于可见光情形，因此直接使用这些方法无法很好满足目前跨光谱人脸识别需求。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种跨光谱人脸识别方法、装置、电子设备及其存储介质。
本发明的一个实施例提供了一种跨光谱人脸识别方法，该方法包括：
获取可见光人脸图像集、红外人脸图像集，所述红外人脸图像集包括远红外人脸噪声图像集、近红外人脸干净图像集；
对所述可见光人脸图像集、所述远红外人脸噪声图像集和所述近红外人脸干净图像集进行预处理得到可见光人脸预处理图像集、远红外人脸预处理噪声图像集和近红外人脸预处理干净图像集；
根据所述远红外人脸预处理噪声图像集和所述近红外人脸预处理干净图像集得到红外人脸训练图像对集；
构建红外人脸图像去噪网络模型，根据红外人脸训练图像对集对所述红外人脸图像去噪网络模型进行训练得到训练好的红外人脸图像去噪网络模型；
将所述远红外人脸噪声图像集输入至所述训练好的红外人脸图像去噪网络模型得到去噪后的红外人脸图像集；
对所述可见光人脸图像集和所述去噪后的红外人脸图像集进行人脸识别以实现跨光谱人脸识别。
在本发明的一个实施例中，对所述可见光人脸图像集、所述远红外人脸噪声图像集和所述近红外人脸干净图像集进行预处理得到可见光人脸预处理图像集、远红外人脸预处理噪声图像集和近红外人脸预处理干净图像集，包括：
对所述可见光人脸图像集进行灰度转换、归一化处理得到所述可见光人脸预处理图像集；
对所述远红外人脸噪声图像集和所述近红外人脸干净图像集进行图像增强、归一化处理得到所述红外人脸预处理噪声图像集和所述近红外人脸预处理干净图像集。
在本发明的一个实施例中，根据所述远红外人脸预处理噪声图像集和所述近红外人脸预处理干净图像集得到红外人脸训练图像对集，包括：
对所述远距离红外人脸预处理噪声图像集进行噪声特征提取得到远距离红外人脸噪声集；
将所述远距离红外人脸噪声集与所述近距离红外预处理干净图像集进行相加处理得到短距离红外预处理噪声图像集；
由所述近距离红外人脸预处理干净图像集和所述近距离红外人脸预处理噪声图像集组成所述红外人脸训练图像对集。
在本发明的一个实施例中，构建的红外人脸图像去噪网络模型主体结构采用VGG网络结构，并在所述VGG网络结构中加入多尺度特征融合模块、残差密集模块、卷积模块，其中，
所述多尺度特征融合模块采用多个卷积激活层并联方式，每个所述卷积激活层包括一卷积层和一激活层，且每个所述卷积激活层中卷积层的卷积核大小不同；
所述残差密集模块包括三个依次连接的残差密集块，每个所述残差密集块包括三个依次连接的子残差密集块，每个子残差密集块包括依次连接的一卷积层、一批量归一化层和一激活层，且每个所述残差密集块中卷积层的卷积核大小相同；
所述卷积模块采用多个卷积层级联方式，且每个所述卷积层的卷积核大小不同；
所述多尺度特征融合模块中每个卷积激活层的输出均通过第一多尺度拼接层与所述残差密集模块连接，所述残差密集模块中每个残差密集块通过第二多尺度拼接层与所述卷积模块连接。
在本发明的一个实施例中，所述三个子残差密集块中第一个残差密集块的输入与第一个子残差密集块的输出、第二个子残差密集块的输出、第三个子残差密集块的输出连接，所述第二个残差密集块的输入与所述第二个子残差密集块的输出、所述第三个子残差密集块的输出连接，所述第三个残差密集块的输入与所述第三个子残差密集块的输出连接，所述第三个子残差密集块的输出与所述第二多尺度拼接层连接。
在本发明的一个实施例中，根据红外人脸训练图像对集对所述红外人脸图像去噪网络模型进行训练得到训练好的红外人脸图像去噪网络模型，包括：
构建基于MSE+Gradient+SSIM的复合损失函数；
根据红外人脸训练图像对集并利用所述基于MSE+Gradient+SSIM的复合损失函数对所述红外人脸图像去噪网络模型进行训练得到所述训练好的红外人脸图像去噪网络模型。
在本发明的一个实施例中，对所述可见光人脸图像集和所述去噪后的红外人脸图像集进行人脸识别以实现跨光谱人脸识别，包括：
构建Gabor+LBP+WLD的特征提取函数；
使用所述Gabor+LBP+WLD的特征提取函数对所述可见光人脸图像集和所述去噪后的红外人脸图像集分别进行特征提取得到可见光人脸特征集、红外人脸特征集；
采用对称相对熵对所述红外人脸特征集、所述可见光人脸特征集进行计算得到匹配分数矩阵，并根据所述匹配分数矩阵计算FAR值和GAR值；
通过所述FAR值和所述GAR值进行人脸识别以实现跨光谱人脸识别。
本发明的另一个实施例提供了一种跨光谱人脸识别装置，该装置包括：
数据获取模块，用于获取可见光人脸图像集、红外人脸图像集，所述红外人脸图像集包括远红外人脸噪声图像集、近红外人脸干净图像集；
数据预处理模块，用于对所述可见光人脸图像集、所述远红外人脸噪声图像集和所述近红外人脸干净图像集进行预处理得到可见光人脸预处理图像集、远红外人脸预处理噪声图像集和近红外人脸预处理干净图像集；
数据生成模块，用于根据所述远红外人脸预处理噪声图像集和所述近红外人脸预处理干净图像集得到红外人脸训练图像对集；
模型构建训练模块，用于构建红外人脸图像去噪网络模型，根据红外人脸训练图像对集对所述红外人脸图像去噪网络模型进行训练得到训练好的红外人脸图像去噪网络模型；
数据去噪处理模块，用于将所述远红外人脸噪声图像集输入至所述训练好的红外人脸图像去噪网络模型得到去噪后的红外人脸图像集；
数据识别模块，用于对所述可见光人脸图像集和所述去噪后的红外人脸图像集进行人脸识别以实现跨光谱人脸识别。
本发明的再一个实施例提供了一种跨光谱人脸识别电子设备，该电子设备包括图像采集器、显示器、处理器、通信接口、存储器和通信总线，其中，所述图像采集器、所述显示器、所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；
所述图像采集器用于采集图像数据；
所述显示器用于显示图像识别数据；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上存放的所述计算机程序时，实现上述任一所述的跨光谱人脸识别方法。
本发明的又一个实施例提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的跨光谱人脸识别方法。
与现有技术相比，本发明的有益效果：
本发明提出了一套完整的基于深度图像去噪的跨光谱人脸识别方法，可以解决传统人脸识别技术的适用范围窄、识别性能不高、且特征提取鲁棒性差等诸多缺陷；本实施例为人脸识别的实用化提供了新理论和新算法支持，使得人脸识别技术变得更加实用、可靠和普及化。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种跨光谱人脸识别方法的流程示意图；
图2是本发明实施例提供的一种跨光谱人脸识别方法中红外人脸图像去噪网络模型的结构示意图；
图3是本发明实施例提供的一种跨光谱人脸识别方法中残差密集块的结构示意图；
图4a～4d是本发明实施例提供的一种跨光谱人脸识别方法中可见光人脸图像、红外人脸图像示例示意图；
图5a～5c是本发明实施例提供的一种跨光谱人脸识别方法中红外人脸训练图像对集生成示例示意图；
图6a～6d是本发明实施例提供的不同去噪网络下人脸图像去噪对比结果示例示意图；
图7是本发明实施例提供的对人脸图像未经去噪处理的跨光谱人脸识别与对人脸图像去噪后的跨光谱人脸识别的GAR值与FAR值对比结果示意图；
图8是本发明实施例提供的一种跨光谱人脸识别装置的结构示意图；
图9是本发明实施例提供的一种跨光谱人脸识别电子设备的结构示意图；
图10是本发明实施例提供的一种计算机可读存储介质的结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
由于目前的图像去噪技术大多是针对非人脸图像设计的，且其中少数面向人脸图像的去噪技术也局限于可见光情形，因此直接使用这些方法无法很好满足跨光谱人脸识别需求。基于上述存在的问题，请参见图1，图1是本发明实施例提供的一种跨光谱人脸识别方法的流程示意图，本实施例提供了一种跨光谱人脸识别方法，该方法包括以下步骤：
步骤1、获取可见光人脸图像集、红外人脸图像集，红外人脸图像集包括远红外人脸噪声图像集、近红外人脸干净图像集。
具体而言，本实施例使用多光谱摄像头同时对某些体进行人脸图像采集得到可见光人脸图像集、红外人脸图像集，可见光人脸图像集、红外人脸图像集用于后续人脸识别。其中，可见光人脸图像集中的可见光人脸图像为带噪的人脸图像，红外人脸图像集包括远红外人脸噪声图像集、近红外人脸干净图像集，远红外人脸噪声图像集中的远红外人脸图像是带噪的人脸图像，近红外人脸干净图像集中的近红外人脸图像是不带噪的人脸图像，即干净的人脸图像。
步骤2、对可见光人脸图像集、远红外人脸噪声图像集和近红外人脸干净图像集进行预处理得到可见光人脸预处理图像集、远红外人脸预处理噪声图像集和近红外人脸预处理干净图像集。
具体而言，为了实现更好的实现图像去噪，本实施例在进行图像去噪之前，先对可见光人脸图像集、远红外人脸噪声图像集和近红外人脸干净图像集中的人脸图像作归一化和对比度调整，具体地本实施例步骤2包括步骤2.1、步骤2.2：
步骤2.1、对可见光人脸图像集进行灰度转换、归一化处理得到可见光人脸预处理图像集。
具体而言，本实施例将可见光人脸图像集中的人脸图像首先进行灰度转换为灰度图像，其灰度转换的公式设计具体如下：
Igray＝0.2989×R+0.5870×G+0.1140×B (1)
其中，Igray为灰度转换后灰度图像输出，R、G、B为灰度转换前图像对应的RGB值，本实施例具体为可见光人脸图像集中人脸图像对应的RGB值。
然后，再将灰度图像Igray进行归一化处理，其归一化到[0，255]的归一化公式设计具体如下：
Figure BDA0002406371820000081
其中，In为灰度图像Igray的归一化后图像输出，Imax和Imin分别为灰度图像Igray中的最大及最小灰度值。
本实施例对可见光人脸图像集中的每一幅可见光人脸图像通过上述公式(1)、公式(2)的处理，进而得到可见光人脸预处理图像集。
步骤2.2、对远红外人脸噪声图像集和近红外人脸干净图像集进行图像增强、归一化处理得到远红外人脸预处理噪声图像集和近红外人脸预处理干净图像集。
具体而言，本实施例将远红外人脸噪声图像集和近红外人脸干净图像集中的人脸图像首先使用log算子进行图像增强，其图像增强的公式设计具体如下：
I＝log(1+X) (3)
其中，I为图像增强后的图像，X为图像增强前的图像，本实施例具体为远红外人脸噪声图像集和近红外人脸干净图像集中人脸图像。
然后，再对增强后的图像I进行归一化处理，其归一化到[0，255]的归一化公式如上述公式(2)。
本实施例对远红外人脸噪声图像集和近红外人脸干净图像集中的每一幅远红外人脸噪声图像、近红外人脸干净图像均分别通过上述公式(3)、公式(2)的处理，进而得到远红外人脸预处理噪声图像集和近红外人脸预处理干净图像集。
步骤3、根据远红外人脸预处理噪声图像集和近红外人脸预处理干净图像集得到红外人脸训练图像对集。
具体而言，本实施例后续构建的模型为红外人脸图像去噪网络模型，因此人脸训练图像选取的是红外人脸图像，具体地：本实施例首先对远距离红外人脸预处理噪声图像集进行噪声特征提取得到远距离红外人脸噪声集，然后将远距离红外人脸噪声集与近距离红外预处理干净图像集进行相加处理得到短距离红外预处理噪声图像集，短距离红外预处理噪声图像集用于模拟步骤1中获取的远距离红外人脸噪声图像集，由于训练过程中，人脸图像需要基于同一场景下，因此本实施例将远距离红外人脸噪声图像集转换为短距离红外预处理噪声图像集，最后与同一场景下的近距离红外人脸预处理干净图像集组成本实施例后续红外人脸图像去噪网络模型训练中需要的红外人脸训练图像对集。
步骤4、构建红外人脸图像去噪网络模型，根据红外人脸训练图像对集对红外人脸图像去噪网络模型进行训练得到训练好的红外人脸图像去噪网络模型。
具体而言，为了实现更好的人脸识别，本实施例提出了一种新型的基于深度学习的红外人脸图像去噪网络模型，具体本实施例步骤4包括步骤4.1、步骤4.2：
步骤4.1、构建红外人脸图像去噪网络模型。
具体而言，请参见图2，图2是本发明实施例提供的一种跨光谱人脸识别方法中红外人脸图像去噪网络模型的结构示意图，本实施例构建的红外人脸图像去噪网络模型主体结构采用VGG网络结构，并在VGG网络结构中加入多尺度特征融合模块、残差密集模块、卷积模块，其中，
多尺度特征融合模块采用多个卷积激活层并联方式，每个卷积激活层包括一卷积层和一激活层，且每个卷积激活层中卷积层(C1～C5)的卷积核大小不同，多尺度特征融合模块中每个卷积激活层的输出均通过第一多尺度拼接层(CONCAT1)与残差密集模块连接。本实施例多尺度特征融合模块采用多个不同大小的卷积核对输入图像进行卷积操作，以获得不同尺度的特征，并对得到的特征图进行拼接，不同大小的卷积核的使用可以更好的兼顾图像整体信息和细节信息的获取。
残差密集模块包括三个依次连接的残差密集块RDB，每个残差密集块包括三个依次连接的子残差密集块，每个子残差密集块包括依次连接的一卷积层Conv、一批量归一化层BN和一激活层Relu，且每个残差密集块中卷积层的卷积核大小相同。请参见图3，图3是本发明实施例提供的一种跨光谱人脸识别方法中残差密集块的结构示意图，三个子残差密集块中第一个残差密集块的输入与第一个子残差密集块的输出、第二个子残差密集块的输出、第三个子残差密集块的输出连接，第二个残差密集块的输入与第二个子残差密集块的输出、第三个子残差密集块的输出连接，第三个残差密集块的输入与第三个子残差密集块的输出连接，第三个子残差密集块的输出与第二多尺度拼接层(CONCAT2)连接，残差密集模块中每个残差密集块通过第二多尺度拼接层与卷积模块连接。本实施例残差密集模块包括三个残差密集块，每个残差密集块又包括三个子残差密集块，每个子残差密集块分别包括卷积层、BN层和激活层，以及三个子残差密集块之间通过残差密集层连接，残差密集模块与多尺度特征融合模块、卷积模块分别通过多尺度拼接层连接，以保证前一特征图有效信息更好的保留及传递。
卷积模块采用多个卷积层级联方式，且每个卷积层的卷积核大小不同，比如卷积层C6～C7，利用该卷积模块将残差密集模块输出的特征图变为预设通道输出的人脸图像。
步骤4.2、根据红外人脸训练图像对集对红外人脸图像去噪网络模型进行训练得到训练好的红外人脸图像去噪网络模型。
具体而言，本实施例在红外人脸图像去噪网络模型训练过程中构建了基于均方误差损失(Mean-Square error，简称MSE)、梯度损失(Gradient)、结构相似性损失(Structural Similarity Index，简称SSIM)的复合损失函数，具体使用MSE、Gradient和SSIM的损失总和作为损失函数，记为MSE+Gradient+SSIM的复合损失函数LossT，具体该复合损失函数LossT设计如下：
LossT＝LMSE+λgradientLgradient+λSSIMLSSIM (4)
其中，LMSE、Lgradient、LSSIM分别对应MSE、Gradient、SSIM的损失项。λgradient为梯度损失对应系数，λSSIM为结构相似性损失对应系数，用于调节各损失在复合损失函数中所占比重。本实施例中针对其实验特定数据集，其取值分别定为λgradient＝0.05，λSSIM＝1。注意该取值可随具体实施例而变化，并不限定于本实施例中数值。
MSE、Gradient、SSIM各损失项分别定义为：
Figure BDA0002406371820000111
Figure BDA0002406371820000112
Figure BDA0002406371820000113
其中，ypred为经红外人脸图像去噪网络模型去噪后的红外人脸图像，ytrue为红外人脸训练图像对集中近距离红外人脸预处理干净图像。LMSE由ypred与ytrue各像素点的均方误差值构成，LGradient由ypred中各像素点水平梯度
Figure BDA0002406371820000114
与垂直梯度
Figure BDA0002406371820000115
的平方和构成，LSSIM由ypred与ytrue的结构相似性指标构成，c1和c2是用来维持稳定的常数，λ表示均值，σ表示方差，具体地，λpred为ypred的均值、λtrue为ytrue的均值、σpred-true为ypred与ytrue之间的方差、σtrue为ytrue的方差、σpred为ypred的方差。
进一步地，根据红外人脸训练图像对集并利用基于MSE+Gradient+SSIM的复合损失函数对红外人脸图像去噪网络模型进行训练得到训练好的红外人脸图像去噪网络模型。
具体而言，本实施例通过上述公式(4)构建的红外人脸图像去噪网络模型的复合损失函数，基于该复合损失函数，并将红外人脸训练图像对集中的红外人脸训练图像对输入至红外人脸图像去噪网络模型中进行训练，训练过程中具体可以采用反向传播算法训练红外人脸图像去噪网络模型，从而得到本实施例最终训练好的红外人脸图像去噪网络模型，用于后续可见光人脸图像集和远红外人脸噪声图像集中人脸图像的去噪。
步骤5、将远红外人脸噪声图像集输入至训练好的红外人脸图像去噪网络模型得到去噪后的红外人脸图像集。
具体而言，本实施例在步骤4中得到了训练好的红外人脸图像去噪网络模型，利用该红外人脸图像去噪网络模型对远红外人脸噪声图像集中的人脸图像进行去噪处理，从而既保证了图像质量增强的目的，又保留了人脸有用边缘信息，从而有利于最终人脸识别目标。。
步骤6、对可见光人脸图像集和去噪后的红外人脸图像集进行人脸识别以实现跨光谱人脸识别。
具体而言，本实施例跨光谱人脸识别构建了Gabor+LBP+WLD的复合特征提取函数，使用该Gabor+LBP+WLD的复合特征提取函数对可见光人脸图像集和去噪后的红外人脸图像集分别进行特征提取得到可见光人脸特征集、红外人脸特征集。其中，Gabor滤波器的设计如下：
Figure BDA0002406371820000121
其中，z＝(x,y)为像素点，κseiφθ为波向量，σ2为高斯核的方差。κs为尺度参数，φθ为方向参数，且
Figure BDA0002406371820000122
其中s∈N，φθ＝θπ/8其中
Figure BDA0002406371820000126
高斯核标准差σ＝π。
WLD算子的设计如下：
Figure BDA0002406371820000123
其中，xi是半径为r的中心像素值x的N个领域值之一，Ψl是具有l个量化级别的均匀量化器，其可以表述如下：
Figure BDA0002406371820000124
LBP算子的设计如下：
Figure BDA0002406371820000125
其中，U(·)为一致模式映射，I(·)为单位阶跃函数，若二进制模式串中1-0以及0-1比特的跳变次数不超过2次，则LBP又称为等价LBP。
其U(·)可以表述如下：
Figure BDA0002406371820000131
其中，dB是十进制数字d的二进制形式，M是使用N个比特计算得到的等价模式的总数。
其I(·)可以表述如下：
Figure BDA0002406371820000132
进一步地，本实施例采用对称相对熵对红外人脸特征集、可见光人脸特征集进行计算得到匹配分数矩阵，并根据匹配分数矩阵计算FAR值和GAR值，通过FAR值和GAR值进行人脸识别以实现跨光谱人脸识别。
具体而言，本实施例通过采用对称相对熵方法来计算红外人脸特征集、可见光人脸特征集中特征之间的匹配分数矩阵，再通过该匹配分数矩阵计算FAR值和GAR值，最后通过FAR值和GAR值来判断人脸识别结果以实现跨光谱人脸识别。其中，具体对称相对熵方法实现、匹配分数矩阵的计算、FAR值和GAR值的计算以及识别结果的判断均可以采用现有常见相关实现方法，在此不局限其具体实现过程。
综上所述，本申请针对跨光谱人脸识别问题引入图像去噪技术，提升最终人脸识别准确率。具体来说：首先，提取红外人脸图像噪声构造去噪网络的训练数据集；其次，使用深度学习理论、引入多尺度特征融合和残差密集卷积层等思想专门设计面向跨光谱人脸识别的红外人脸图像去噪网络模型，成功将红外人脸图像的噪声进行去除，从而提高红外线人脸图像质量，解决了跨光谱人脸识别中可将光和红外线图像质量的异源性差异；最后，使用Gabor+LBP+WLD的复合型算子对可见光人脸图像和去噪后的红外人脸图像进行特征提取，并采用对称相对熵计算匹配分数矩阵，以完成跨光谱人脸识别。
需要说明的是，本实施例(红外人脸)图像去噪网络模型不局限于人脸图像的去噪，以及该图像去噪网络模型去噪后的图像不局限于人脸识别的应用，采用本实施例构建的去噪网络模型实现的去噪和该去噪络模型在各个领域的应用均在本申请的保护范围内。
为了验证本申请提出的跨光谱人脸识别方法的优越性，请参见图4a～4d，图4a～4d是本发明实施例提供的一种跨光谱人脸识别方法中可见光人脸图像、红外人脸图像示例示意图，其中，图4a为可见光1.5m人脸图像，图4b为NIR近距离红外1.5m人脸图像，图4c为可见光50m人脸图像，图4d为NIR远距离红外50m人脸图像。
请参见图5a～5c，图5a～5c是本发明实施例提供的一种跨光谱人脸识别方法中红外人脸训练图像对集生成示例示意图，具体地，本实施例中远距离红外人脸噪声图像的噪声提取如图5a～5c所示，图5a为带有简单背景噪声的NIR远距离红外50m人脸图像，对其进行如下噪声提取操作：
Figure BDA0002406371820000141
其中，Inoise为提取的背景噪声，Inoisyimage为带噪人脸图像，I(i,j)为人脸图像在(i,j)处像素点值。
则提取的NIR远距离红外50m人脸图像的背景噪声如图5b所示，将图4b的NIR近红外1.5m人脸图像(干净，不带噪的人脸图像)和图5b提取的背景噪声进行相加得到图5c，具体相加操作：
InoisyNIR1.5m＝Inoise+INIR1.5m (15)
其中，INIR1.5m为近距离红外人脸干净图像，InoisyNIR1.5m为构造的带有模拟NIR50m人脸噪声的近距离红外人脸噪声图像。
由近距离红外(NIR1.5m)人脸干净图像与上述构造出的模拟远距离红外(NIR50m)人脸噪声图像构成干净-噪声图像对，将干净-噪声图像对作为红外人脸图像去噪网络模型的训练数据。对所有远距离红外人脸噪声图像集中的人脸图像进行上述背景噪声提取、模拟远距离红外人脸噪声图像构造，得到红外人脸训练图像对集。其中，训练中构造的干净-噪声图像对需要是在同一场景下，因此最后将远距离红外人脸图像转换为与近距离红外人脸干净图像同一场景下的近距离红外人脸噪声图像；噪声提取是对背景噪声的提取，因此对于背景噪声提取图像不一定是在不同场景下的同一人脸的采集，比如图5a与图5c不是同一人脸。
表1红外人脸图像去噪网络模型中每一层的参数设计
Figure BDA0002406371820000151
本实施例验证过程中红外人脸图像去噪网络模型中每一层的参数设计具体参见表1，卷积过程中padding方式为0填充。其中，红外人脸图像去噪网络模型中每一层的参数根据实际情况而设计，本实施例以表1中的具体参数设计进行识别验证。
本实施例设计的实验从以下三个方面进行对比论证：
(1)、为证明红外人脸图像去噪网络的优越性，设计了实验一来对比不同去噪网络的效果。实验中选取了另外两个目前最先进的基于深度学习的去噪方法(IRCNN与FFD)与本申请方法进行对比，请参见图6a～6d，图6a～6d是本发明实施例提供的不同去噪网络下人脸图像去噪对比结果示例示意图，其中，图6a为原始NIR50m人脸图像，图6b为IRCNN网络对NIR50m人脸图像去噪后的结果，图6c为FFD网络对NIR50m人脸图像去噪后的结果，图6d为本申请提出的红外人脸图像去噪网络模型对NIR50m人脸图像去噪后的结果。从结果可以看出：图6b去噪后的红外人脸图像上仍有噪声，图6c去噪后的红外人脸图像上噪声虽被去除但伴随图像边缘模糊，这对后续跨光谱人脸识别结果将造成一定降低，相比于其他去噪网络，图6d经本申请提出的红外人脸图像去噪网络模型去噪后的人脸图像纹理更加清晰视觉效果更好。
(2)、设计红外人脸图像去噪实验进行具体去噪参数对比。请参见表2，表2分别给出了上述IRCNN网络、FFD网络和本申请红外人脸图像去噪网络模型去噪后的人脸图像分别对应的PSNR和SSIM值对比结果。
表2不同去噪网络下去噪后对应的PSNR和SSIM值对比结果
Figure BDA0002406371820000161
由表2可以看出，相比于其他去噪网络，红外人脸图像经本申请提出的红外人脸图像去噪网络模型去噪后，PSNR和SSIM值均为最高，即证明了本申请红外人脸图像去噪网络模型相比于其他去噪网络的优越性。
(3)、为了证明本申请红外人脸图像去噪技术对提高跨光谱人脸识别率的有效性，请参见图7，图7是本发明实施例提供的对人脸图像未经去噪处理的跨光谱人脸识别与对人脸图像去噪后的跨光谱人脸识别的GAR值与FAR值对比结果示意图，图7给出了利用本申请方法和不利用本申请方法进行跨光谱人脸匹配的ROC曲线，可以看出，利用本申请方法进行红外图像去噪后，跨光谱人脸识别率有显著提高(相同FAR取值时，GAR值有显著提升)，即证明了本申请方法进行跨光谱人脸识别的有效性。
可见，本实施例针对传统可见光人脸检测技术的缺陷提出基于多个红外线波段成像的跨光谱人脸识别技术，该技术具有全天候下工作的优势，适用于白天夜间、晴天和雨雪等多种环境下；本实施例针对跨光谱人脸识别的红外线图像质量低下问题，通过设计图像去噪网络来提高红外人脸图像质量，实验表明该方法的使用可以解决跨光谱人脸识别问题中的异源图像质量不对等问题，从而明显提高跨光谱人脸识别问题的最终识别率；本实施例针对现有图像去噪网络的局限性，特别面向红外线人脸图像设计了具有多尺度特征融合和残差密集卷积层等特性的去噪网络，采用多个不同大小的卷积核对输入图像进行卷积操作，以获得不同尺度的特征，并对得到的特征图进行拼接，不同大小的卷积核的使用可以更好的兼顾图像整体信息和细节信息的获取，而残差密集模块则由卷积层、批量归一化层和激活层三层构成，以保证前一层有效信息更好的保留及传递，实验表明本申请提出的红外人脸图像去噪网络模型的去噪性能比其他主流方法更优；本实施例针对跨光谱人脸识别问题特别设计了一种复合型损失函数，具体由均方误差、梯度和结构相似性三部分构成，此种复合损失函数的选择既保证了图像质量增强的目的，又保留了人脸有用边缘信息，从而有利于最终人脸识别目标，实验表明该复合损失函数的使用可以明显提高PSNR值和SSIM值。
本实施例提出了一套完整的基于深度图像去噪的跨光谱人脸识别方法，可以解决传统人脸识别技术的适用范围窄、识别性能不高、且特征提取鲁棒性差等诸多缺陷；本实施例为人脸识别的实用化提供了新理论和新算法支持，使得人脸识别技术变得更加实用、可靠和普及化；本实施例可以广泛应用于户外、夜间、雨雪和其他复杂环境下的考勤、民用监控、公安执法、进出管控、小区入口等等应用场合。
实施例二
在上述实施例一的基础上，请参见图8，图8是本发明实施例提供的一种跨光谱人脸识别装置的结构示意图。本实施例提供了一种跨光谱人脸识别装置，该装置包括：
数据获取模块，用于获取可见光人脸图像集、红外人脸图像集，红外人脸图像集包括远红外人脸噪声图像集、近红外人脸干净图像集。
数据预处理模块，用于对可见光人脸图像集、远红外人脸噪声图像集和近红外人脸干净图像集进行预处理得到可见光人脸预处理图像集、远红外人脸预处理噪声图像集和近红外人脸预处理干净图像集。
具体而言，本实施例数据预处理模块中对可见光人脸图像集、远红外人脸噪声图像集和近红外人脸干净图像集进行预处理得到可见光人脸预处理图像集、远红外人脸预处理噪声图像集和近红外人脸预处理干净图像集，包括：
对可见光人脸图像集进行灰度转换、归一化处理得到可见光人脸预处理图像集；
对远红外人脸噪声图像集和近红外人脸干净图像集进行图像增强、归一化处理得到红外人脸预处理噪声图像集和近红外人脸预处理干净图像集。
数据生成模块，用于根据远红外人脸预处理噪声图像集和近红外人脸预处理干净图像集得到红外人脸训练图像对集。
具体而言，本实施例数据生成模块中根据远红外人脸预处理噪声图像集和近红外人脸预处理干净图像集得到红外人脸训练图像对集，包括：
对远距离红外人脸预处理噪声图像集进行噪声特征提取得到远距离红外人脸噪声集；
将远距离红外人脸噪声集与近距离红外预处理干净图像集进行相加处理得到短距离红外预处理噪声图像集；
由近距离红外人脸预处理干净图像集和近距离红外人脸预处理噪声图像集组成红外人脸训练图像对集。
模型构建训练模块，用于构建红外人脸图像去噪网络模型，根据红外人脸训练图像对集对红外人脸图像去噪网络模型进行训练得到训练好的红外人脸图像去噪网络模型。
具体而言，本实施例模型构建训练模块中构建的红外人脸图像去噪网络模型主体结构采用VGG网络结构，并在VGG网络结构中加入多尺度特征融合模块、残差密集模块、卷积模块，其中，
多尺度特征融合模块采用多个卷积激活层并联方式，每个卷积激活层包括一卷积层和一激活层，且每个卷积激活层中卷积层的卷积核大小不同；
残差密集模块包括三个依次连接的残差密集块，每个残差密集块包括三个依次连接的子残差密集块，每个子残差密集块包括依次连接的一卷积层、一批量归一化层和一激活层，且每个残差密集块中卷积层的卷积核大小相同；
卷积模块采用多个卷积层级联方式，且每个卷积层的卷积核大小不同；
多尺度特征融合模块中每个卷积激活层的输出均通过第一多尺度拼接层与残差密集模块连接，残差密集模块中每个残差密集块通过第二多尺度拼接层与卷积模块连接。
进一步地，三个子残差密集块中第一个残差密集块的输入与第一个子残差密集块的输出、第二个子残差密集块的输出、第三个子残差密集块的输出连接，第二个残差密集块的输入与第二个子残差密集块的输出、第三个子残差密集块的输出连接，第三个残差密集块的输入与第三个子残差密集块的输出连接，第三个子残差密集块的输出与第二多尺度拼接层连接。
进一步地，根据红外人脸训练图像对集对红外人脸图像去噪网络模型进行训练得到训练好的红外人脸图像去噪网络模型，包括：
构建基于MSE+Gradient+SSIM的复合损失函数；
根据红外人脸训练图像对集并利用基于MSE+Gradient+SSIM的复合损失函数对红外人脸图像去噪网络模型进行训练得到训练好的红外人脸图像去噪网络模型。
数据去噪处理模块，用于将远红外人脸噪声图像集输入至训练好的红外人脸图像去噪网络模型得到去噪后的红外人脸图像集。
数据识别模块，用于对可见光人脸图像集和去噪后的红外人脸图像集进行人脸识别以实现跨光谱人脸识别。
具体而言，本实施例数据识别模块中对可见光人脸图像集和去噪后的红外人脸图像集进行人脸识别以实现跨光谱人脸识别，包括：
构建Gabor+LBP+WLD的特征提取函数；
使用Gabor+LBP+WLD的特征提取函数对可见光人脸图像集和去噪后的红外人脸图像集分别进行特征提取得到可见光人脸特征集、红外人脸特征集；
采用对称相对熵对红外人脸特征集、可见光人脸特征集进行计算得到匹配分数矩阵，并根据匹配分数矩阵计算FAR值和GAR值；
通过FAR值和GAR值进行人脸识别以实现跨光谱人脸识别。
本实施例提供的一种跨光谱人脸识别装置，可以执行上述跨光谱人脸识别方法实施例，其实现原理和技术效果类似，在此不再赘述。
实施例三
在上述实施例二的基础上，请参见图9，图9是本发明实施例提供的一种跨光谱人脸识别电子设备结构示意图。本实施例提供了一种跨光谱人脸识别电子设备，该电子设备包括图像采集器、显示器、处理器、通信接口、存储器和通信总线，其中，图像采集器、显示器、处理器、通信接口、存储器通过通信总线完成相互间的通信；
图像采集器用于采集图像数据；
显示器用于显示图像识别数据；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的计算机程序时，该计算机程序被处理器执行时实现以下步骤：
步骤1、控制图像采集器进行人脸图像采集，获取可见光人脸图像集、红外人脸图像集，红外人脸图像集包括远红外人脸噪声图像集、近红外人脸干净图像集。
步骤2、对可见光人脸图像集、远红外人脸噪声图像集和近红外人脸干净图像集进行预处理得到可见光人脸预处理图像集、远红外人脸预处理噪声图像集和近红外人脸预处理干净图像集。
具体而言，本实施例步骤2中对可见光人脸图像集、远红外人脸噪声图像集和近红外人脸干净图像集进行预处理得到可见光人脸预处理图像集、远红外人脸预处理噪声图像集和近红外人脸预处理干净图像集，包括：
对可见光人脸图像集进行灰度转换、归一化处理得到可见光人脸预处理图像集；
对远红外人脸噪声图像集和近红外人脸干净图像集进行图像增强、归一化处理得到红外人脸预处理噪声图像集和近红外人脸预处理干净图像集。
步骤3、根据远红外人脸预处理噪声图像集和近红外人脸预处理干净图像集得到红外人脸训练图像对集。
具体而言，本实施例步骤3中根据远红外人脸预处理噪声图像集和近红外人脸预处理干净图像集得到红外人脸训练图像对集，包括：
对远距离红外人脸预处理噪声图像集进行噪声特征提取得到远距离红外人脸噪声集；
将远距离红外人脸噪声集与近距离红外预处理干净图像集进行相加处理得到短距离红外预处理噪声图像集；
由近距离红外人脸预处理干净图像集和近距离红外人脸预处理噪声图像集组成红外人脸训练图像对集。
步骤4、构建红外人脸图像去噪网络模型，根据红外人脸训练图像对集对红外人脸图像去噪网络模型进行训练得到训练好的红外人脸图像去噪网络模型。
具体而言，本实施例步骤4中构建的红外人脸图像去噪网络模型主体结构采用VGG网络结构，并在VGG网络结构中加入多尺度特征融合模块、残差密集模块、卷积模块，其中，
多尺度特征融合模块采用多个卷积激活层并联方式，每个卷积激活层包括一卷积层和一激活层，且每个卷积激活层中卷积层的卷积核大小不同；
残差密集模块包括三个依次连接的残差密集块，每个残差密集块包括三个依次连接的子残差密集块，每个子残差密集块包括依次连接的一卷积层、一批量归一化层和一激活层，且每个残差密集块中卷积层的卷积核大小相同；
卷积模块采用多个卷积层级联方式，且每个卷积层的卷积核大小不同；
多尺度特征融合模块中每个卷积激活层的输出均通过第一多尺度拼接层与残差密集模块连接，残差密集模块中每个残差密集块通过第二多尺度拼接层与卷积模块连接。
进一步地，三个子残差密集块中第一个残差密集块的输入与第一个子残差密集块的输出、第二个子残差密集块的输出、第三个子残差密集块的输出连接，第二个残差密集块的输入与第二个子残差密集块的输出、第三个子残差密集块的输出连接，第三个残差密集块的输入与第三个子残差密集块的输出连接，第三个子残差密集块的输出与第二多尺度拼接层连接。
进一步地，根据红外人脸训练图像对集对红外人脸图像去噪网络模型进行训练得到训练好的红外人脸图像去噪网络模型，包括：
构建基于MSE+Gradient+SSIM的复合损失函数；
根据红外人脸训练图像对集并利用基于MSE+Gradient+SSIM的复合损失函数对红外人脸图像去噪网络模型进行训练得到训练好的红外人脸图像去噪网络模型。
步骤5、将远红外人脸噪声图像集输入至训练好的红外人脸图像去噪网络模型得到去噪后的红外人脸图像集。
步骤6、对可见光人脸图像集和去噪后的红外人脸图像集进行人脸识别以实现跨光谱人脸识别。最后将跨光谱人脸识别结果输出到显示器中。
具体而言，本实施例步骤6中对可见光人脸图像集和去噪后的红外人脸图像集进行人脸识别以实现跨光谱人脸识别，包括：
构建Gabor+LBP+WLD的特征提取函数；
使用Gabor+LBP+WLD的特征提取函数对可见光人脸图像集和去噪后的红外人脸图像集分别进行特征提取得到可见光人脸特征集、红外人脸特征集；
采用对称相对熵对红外人脸特征集、可见光人脸特征集进行计算得到匹配分数矩阵，并根据匹配分数矩阵计算FAR值和GAR值；
通过FAR值和GAR值进行人脸识别以实现跨光谱人脸识别。
本实施例提供的一种跨光谱人脸识别电子设备，可以执行上述跨光谱人脸识别方法实施例和上述跨光谱人脸识别装置实施例，其实现原理和技术效果类似，在此不再赘述。
实施例四
在上述实施例三的基础上，请参见图10，图10是本发明实施例提供的一种计算机可读存储介质的结构示意图。本实施例提供的一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现以下步骤：
步骤1、获取可见光人脸图像集、红外人脸图像集，红外人脸图像集包括远红外人脸噪声图像集、近红外人脸干净图像集。
步骤2、对可见光人脸图像集、远红外人脸噪声图像集和近红外人脸干净图像集进行预处理得到可见光人脸预处理图像集、远红外人脸预处理噪声图像集和近红外人脸预处理干净图像集。
具体而言，本实施例步骤2中对可见光人脸图像集、远红外人脸噪声图像集和近红外人脸干净图像集进行预处理得到可见光人脸预处理图像集、远红外人脸预处理噪声图像集和近红外人脸预处理干净图像集，包括：
对可见光人脸图像集进行灰度转换、归一化处理得到可见光人脸预处理图像集；
对远红外人脸噪声图像集和近红外人脸干净图像集进行图像增强、归一化处理得到红外人脸预处理噪声图像集和近红外人脸预处理干净图像集。
步骤3、根据远红外人脸预处理噪声图像集和近红外人脸预处理干净图像集得到红外人脸训练图像对集。
具体而言，本实施例步骤3中根据远红外人脸预处理噪声图像集和近红外人脸预处理干净图像集得到红外人脸训练图像对集，包括：
对远距离红外人脸预处理噪声图像集进行噪声特征提取得到远距离红外人脸噪声集；
将远距离红外人脸噪声集与近距离红外预处理干净图像集进行相加处理得到短距离红外预处理噪声图像集；
由近距离红外人脸预处理干净图像集和近距离红外人脸预处理噪声图像集组成红外人脸训练图像对集。
步骤4、构建红外人脸图像去噪网络模型，根据红外人脸训练图像对集对红外人脸图像去噪网络模型进行训练得到训练好的红外人脸图像去噪网络模型。
具体而言，本实施例步骤4中构建的红外人脸图像去噪网络模型主体结构采用VGG网络结构，并在VGG网络结构中加入多尺度特征融合模块、残差密集模块、卷积模块，其中，
多尺度特征融合模块采用多个卷积激活层并联方式，每个卷积激活层包括一卷积层和一激活层，且每个卷积激活层中卷积层的卷积核大小不同；
残差密集模块包括三个依次连接的残差密集块，每个残差密集块包括三个依次连接的子残差密集块，每个子残差密集块包括依次连接的一卷积层、一批量归一化层和一激活层，且每个残差密集块中卷积层的卷积核大小相同；
卷积模块采用多个卷积层级联方式，且每个卷积层的卷积核大小不同；
多尺度特征融合模块中每个卷积激活层的输出均通过第一多尺度拼接层与残差密集模块连接，残差密集模块中每个残差密集块通过第二多尺度拼接层与卷积模块连接。
进一步地，三个子残差密集块中第一个残差密集块的输入与第一个子残差密集块的输出、第二个子残差密集块的输出、第三个子残差密集块的输出连接，第二个残差密集块的输入与第二个子残差密集块的输出、第三个子残差密集块的输出连接，第三个残差密集块的输入与第三个子残差密集块的输出连接，第三个子残差密集块的输出与第二多尺度拼接层连接。
进一步地，根据红外人脸训练图像对集对红外人脸图像去噪网络模型进行训练得到训练好的红外人脸图像去噪网络模型，包括：
构建基于MSE+Gradient+SSIM的复合损失函数；
根据红外人脸训练图像对集并利用基于MSE+Gradient+SSIM的复合损失函数对红外人脸图像去噪网络模型进行训练得到训练好的红外人脸图像去噪网络模型。
步骤5、将远红外人脸噪声图像集输入至训练好的红外人脸图像去噪网络模型得到去噪后的红外人脸图像集。
步骤6、对可见光人脸图像集和去噪后的红外人脸图像集进行人脸识别以实现跨光谱人脸识别。
具体而言，本实施例步骤6中对可见光人脸图像集和去噪后的红外人脸图像集进行人脸识别以实现跨光谱人脸识别，包括：
构建Gabor+LBP+WLD的特征提取函数；
使用Gabor+LBP+WLD的特征提取函数对可见光人脸图像集和去噪后的红外人脸图像集分别进行特征提取得到可见光人脸特征集、红外人脸特征集；
采用对称相对熵对红外人脸特征集、可见光人脸特征集进行计算得到匹配分数矩阵，并根据匹配分数矩阵计算FAR值和GAR值；
通过FAR值和GAR值进行人脸识别以实现跨光谱人脸识别。
本实施例提供的一种计算机可读存储介质，可以执行上述跨光谱人脸识别方法实施例、上述跨光谱人脸识别装置实施例和上述跨光谱人脸识别电子设备实施例，其实现原理和技术效果类似，在此不再赘述。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种跨光谱人脸识别方法，其特征在于，包括：
获取可见光人脸图像集、红外人脸图像集，所述红外人脸图像集包括远红外人脸噪声图像集、近红外人脸干净图像集；
对所述可见光人脸图像集、所述远红外人脸噪声图像集和所述近红外人脸干净图像集进行预处理得到可见光人脸预处理图像集、远红外人脸预处理噪声图像集和近红外人脸预处理干净图像集；
根据所述远红外人脸预处理噪声图像集和所述近红外人脸预处理干净图像集得到红外人脸训练图像对集；
构建红外人脸图像去噪网络模型，根据红外人脸训练图像对集对所述红外人脸图像去噪网络模型进行训练得到训练好的红外人脸图像去噪网络模型；
将所述远红外人脸噪声图像集输入至所述训练好的红外人脸图像去噪网络模型得到去噪后的红外人脸图像集；
对所述可见光人脸图像集和所述去噪后的红外人脸图像集进行人脸识别以实现跨光谱人脸识别。
2.根据权利要求1所述的跨光谱人脸识别方法，其特征在于，对所述可见光人脸图像集、所述远红外人脸噪声图像集和所述近红外人脸干净图像集进行预处理得到可见光人脸预处理图像集、远红外人脸预处理噪声图像集和近红外人脸预处理干净图像集，包括：
对所述可见光人脸图像集进行灰度转换、归一化处理得到所述可见光人脸预处理图像集；
对所述远红外人脸噪声图像集和所述近红外人脸干净图像集进行图像增强、归一化处理得到所述红外人脸预处理噪声图像集和所述近红外人脸预处理干净图像集。
3.根据权利要求1所述的跨光谱人脸识别方法，其特征在于，根据所述远红外人脸预处理噪声图像集和所述近红外人脸预处理干净图像集得到红外人脸训练图像对集，包括：
对所述远距离红外人脸预处理噪声图像集进行噪声特征提取得到远距离红外人脸噪声集；
将所述远距离红外人脸噪声集与所述近距离红外预处理干净图像集进行相加处理得到短距离红外预处理噪声图像集；
由所述近距离红外人脸预处理干净图像集和所述近距离红外人脸预处理噪声图像集组成所述红外人脸训练图像对集。
4.根据权利要求1所述的跨光谱人脸识别方法，其特征在于，构建的红外人脸图像去噪网络模型主体结构采用VGG网络结构，并在所述VGG网络结构中加入多尺度特征融合模块、残差密集模块、卷积模块，其中，
所述多尺度特征融合模块采用多个卷积激活层并联方式，每个所述卷积激活层包括一卷积层和一激活层，且每个所述卷积激活层中卷积层的卷积核大小不同；
所述残差密集模块包括三个依次连接的残差密集块，每个所述残差密集块包括三个依次连接的子残差密集块，每个子残差密集块包括依次连接的一卷积层、一批量归一化层和一激活层，且每个所述残差密集块中卷积层的卷积核大小相同；
所述卷积模块采用多个卷积层级联方式，且每个所述卷积层的卷积核大小不同；
所述多尺度特征融合模块中每个卷积激活层的输出均通过第一多尺度拼接层与所述残差密集模块连接，所述残差密集模块中每个残差密集块通过第二多尺度拼接层与所述卷积模块连接。
5.根据权利要求4所述的跨光谱人脸识别方法，其特征在于，所述三个子残差密集块中第一个残差密集块的输入与第一个子残差密集块的输出、第二个子残差密集块的输出、第三个子残差密集块的输出连接，所述第二个残差密集块的输入与所述第二个子残差密集块的输出、所述第三个子残差密集块的输出连接，所述第三个残差密集块的输入与所述第三个子残差密集块的输出连接，所述第三个子残差密集块的输出与所述第二多尺度拼接层连接。
6.根据权利要求1所述的跨光谱人脸识别方法，其特征在于，根据红外人脸训练图像对集对所述红外人脸图像去噪网络模型进行训练得到训练好的红外人脸图像去噪网络模型，包括：
构建基于MSE+Gradient+SSIM的复合损失函数；
根据红外人脸训练图像对集并利用所述基于MSE+Gradient+SSIM的复合损失函数对所述红外人脸图像去噪网络模型进行训练得到所述训练好的红外人脸图像去噪网络模型。
7.根据权利要求1所述的跨光谱人脸识别方法，其特征在于，对所述可见光人脸图像集和所述去噪后的红外人脸图像集进行人脸识别以实现跨光谱人脸识别，包括：
构建Gabor+LBP+WLD的特征提取函数；
使用所述Gabor+LBP+WLD的特征提取函数对所述可见光人脸图像集和所述去噪后的红外人脸图像集分别进行特征提取得到可见光人脸特征集、红外人脸特征集；
采用对称相对熵对所述红外人脸特征集、所述可见光人脸特征集进行计算得到匹配分数矩阵，并根据所述匹配分数矩阵计算FAR值和GAR值；
通过所述FAR值和所述GAR值进行人脸识别以实现跨光谱人脸识别。
8.一种跨光谱人脸识别别装置，其特征在于，所述装置包括：
数据获取模块，用于获取可见光人脸图像集、红外人脸图像集，所述红外人脸图像集包括远红外人脸噪声图像集、近红外人脸干净图像集；
数据预处理模块，用于对所述可见光人脸图像集、所述远红外人脸噪声图像集和所述近红外人脸干净图像集进行预处理得到可见光人脸预处理图像集、远红外人脸预处理噪声图像集和近红外人脸预处理干净图像集；
数据生成模块，用于根据所述远红外人脸预处理噪声图像集和所述近红外人脸预处理干净图像集得到红外人脸训练图像对集；
模型构建训练模块，用于构建红外人脸图像去噪网络模型，根据红外人脸训练图像对集对所述红外人脸图像去噪网络模型进行训练得到训练好的红外人脸图像去噪网络模型；
数据去噪处理模块，用于将所述远红外人脸噪声图像集输入至所述训练好的红外人脸图像去噪网络模型得到去噪后的红外人脸图像集；
数据识别模块，用于对所述可见光人脸图像集和所述去噪后的红外人脸图像集进行人脸识别以实现跨光谱人脸识别。
9.一种跨光谱人脸识别电子设备，其特征在于，所述电子设备包括图像采集器、显示器、处理器、通信接口、存储器和通信总线，其中，所述图像采集器、所述显示器、所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；
所述图像采集器用于采集图像数据；
所述显示器用于显示图像识别数据；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上存放的所述计算机程序时，实现权利要求1～7任一所述的跨光谱人脸识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1～7任一所述的跨光谱人脸识别方法。
CN202010162753.8A 2020-03-10 2020-03-10 一种跨光谱人脸识别方法、装置、电子设备及其存储介质 Active CN111539246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010162753.8A CN111539246B (zh) 2020-03-10 2020-03-10 一种跨光谱人脸识别方法、装置、电子设备及其存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010162753.8A CN111539246B (zh) 2020-03-10 2020-03-10 一种跨光谱人脸识别方法、装置、电子设备及其存储介质

Publications (2)

Publication Number Publication Date
CN111539246A true CN111539246A (zh) 2020-08-14
CN111539246B CN111539246B (zh) 2023-04-07

Family

ID=71979949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010162753.8A Active CN111539246B (zh) 2020-03-10 2020-03-10 一种跨光谱人脸识别方法、装置、电子设备及其存储介质

Country Status (1)

Country Link
CN (1) CN111539246B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528979A (zh) * 2021-02-10 2021-03-19 成都信息工程大学 变电站巡检机器人障碍物判别方法及***
CN112836605A (zh) * 2021-01-25 2021-05-25 合肥工业大学 一种基于模态增广的近红外与可见光跨模态人脸识别方法
CN112949451A (zh) * 2021-02-24 2021-06-11 安徽大学 通过模态感知特征学习的跨模态目标跟踪方法及***
CN113628148A (zh) * 2021-09-17 2021-11-09 福建库克智能科技有限公司 红外图像降噪方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268485A (zh) * 2013-06-09 2013-08-28 上海交通大学 基于稀疏正则化的实现多波段人脸图像信息融合的人脸识别方法
WO2018054283A1 (zh) * 2016-09-23 2018-03-29 北京眼神科技有限公司 人脸模型的训练方法和装置、人脸认证方法和装置
CN109948573A (zh) * 2019-03-27 2019-06-28 厦门大学 一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268485A (zh) * 2013-06-09 2013-08-28 上海交通大学 基于稀疏正则化的实现多波段人脸图像信息融合的人脸识别方法
WO2018054283A1 (zh) * 2016-09-23 2018-03-29 北京眼神科技有限公司 人脸模型的训练方法和装置、人脸认证方法和装置
CN109948573A (zh) * 2019-03-27 2019-06-28 厦门大学 一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李江等: "一种复合模式的人脸识别***设计", 《国防科技大学学报》 *
王大伟等: "基于LBP与卷积神经网络的人脸识别", 《天津理工大学学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836605A (zh) * 2021-01-25 2021-05-25 合肥工业大学 一种基于模态增广的近红外与可见光跨模态人脸识别方法
CN112836605B (zh) * 2021-01-25 2022-08-30 合肥工业大学 一种基于模态增广的近红外与可见光跨模态人脸识别方法
CN112528979A (zh) * 2021-02-10 2021-03-19 成都信息工程大学 变电站巡检机器人障碍物判别方法及***
CN112949451A (zh) * 2021-02-24 2021-06-11 安徽大学 通过模态感知特征学习的跨模态目标跟踪方法及***
CN112949451B (zh) * 2021-02-24 2022-09-09 安徽大学 通过模态感知特征学习的跨模态目标跟踪方法及***
CN113628148A (zh) * 2021-09-17 2021-11-09 福建库克智能科技有限公司 红外图像降噪方法和装置
CN113628148B (zh) * 2021-09-17 2024-05-10 福建库克智能科技有限公司 红外图像降噪方法和装置

Also Published As

Publication number Publication date
CN111539246B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN111539246B (zh) 一种跨光谱人脸识别方法、装置、电子设备及其存储介质
He et al. Haze removal using the difference-structure-preservation prior
CN108830818B (zh) 一种快速多聚焦图像融合方法
CN112766160A (zh) 基于多级属性编码器和注意力机制的人脸替换方法
CN111539247B (zh) 一种超光谱人脸识别方法、装置、电子设备及其存储介质
Liu et al. Rank-one prior: Real-time scene recovery
Hsu et al. Single image dehazing using wavelet-based haze-lines and denoising
CN104217404A (zh) 雾霾天视频图像清晰化处理方法及其装置
Wang et al. MAGAN: Unsupervised low-light image enhancement guided by mixed-attention
CN110675340A (zh) 一种基于改进的非局部先验的单幅图像去雾方法及介质
CN111667433A (zh) 一种基于简单线性迭代聚类优化的无人机图像去雾方法
Pei et al. Effects of image degradations to cnn-based image classification
Fan et al. Multiscale cross-connected dehazing network with scene depth fusion
CN115272306B (zh) 利用梯度运算的太阳能电池板栅线增强方法
Swami et al. Candy: Conditional adversarial networks based fully end-to-end system for single image haze removal
Bansal et al. A review of image restoration based image defogging algorithms
CN112184646A (zh) 基于梯度域导向滤波和改进pcnn的图像融合方法
CN112164010A (zh) 一种多尺度融合卷积神经网络图像去雾方法
Xiao et al. Image hazing algorithm based on generative adversarial networks
Hsu et al. Object detection using structure-preserving wavelet pyramid reflection removal network
Li et al. An end-to-end system for unmanned aerial vehicle high-resolution remote sensing image haze removal algorithm using convolution neural network
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
Zheng et al. Overwater image dehazing via cycle-consistent generative adversarial network
Singh et al. Multiscale reflection component based weakly illuminated nighttime image enhancement
Guan et al. DiffWater: Underwater image enhancement based on conditional denoising diffusion probabilistic model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant