CN108805809A - 一种基于生成对抗网络的红外人脸图像超分辨率重建方法 - Google Patents

一种基于生成对抗网络的红外人脸图像超分辨率重建方法 Download PDF

Info

Publication number
CN108805809A
CN108805809A CN201810520505.9A CN201810520505A CN108805809A CN 108805809 A CN108805809 A CN 108805809A CN 201810520505 A CN201810520505 A CN 201810520505A CN 108805809 A CN108805809 A CN 108805809A
Authority
CN
China
Prior art keywords
network
resolution
infrared
image
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810520505.9A
Other languages
English (en)
Inventor
任德华
吴超
柳映辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Science and Technology
Original Assignee
Tianjin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Science and Technology filed Critical Tianjin University of Science and Technology
Priority to CN201810520505.9A priority Critical patent/CN108805809A/zh
Publication of CN108805809A publication Critical patent/CN108805809A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于生成对抗网络的红外人脸图像超分辨率重建方法,包括以下步骤:构建红外人脸数据库;对人脸数据库中的图像按眼睛相对位置进行对齐;将对齐后的每幅图按不同的比例S进行缩放,生成其一一对应的不同缩放比例的低分辨率的人脸图像,并构建超分辨率重建训练数据集、验证数据集和测试数据集;采用低分辨率到高分辨率的逐步扩展方式进行对抗生成网络训练,完成红外人脸图像超分辨率重建;生成从低分辨红外人脸图像到高分辨率红外人脸图像的变换网络。本发明设计合理,有效保证了GAN训练的稳定性,极大地提高了人脸图像重建效果,提高红外人脸识别的准确率,可广泛用夜间红外摄像场合。

Description

一种基于生成对抗网络的红外人脸图像超分辨率重建方法
技术领域
本发明属于红外图像处理技术领域,尤其是一种基于生成对抗网络的红外人脸图像超分辨率重建方法。
背景技术
在现有的视频监控网络中,往往要求实现24小时全天候监控功能,在夜间采光不好时,红外摄像就成为必选项。但是,红外面阵相机由于其内在工作原理的影响分辨率一般不高,典型的大小为640*512,而且监控环境中人脸所占区域在整幅图像中占比小,从而导致获得的红外人脸图像分辨率低。因此提高红外人脸识别分辨率对于提高红外人脸图像的识别,提高夜间监控效果具有重要的实际意义。
为了提高红外人脸图像的分辨率,一方面可以从硬件着手,如提高红外感光器件的精度的排列密度,但在现有技术条件下有一定困难,且成本较高;另一方面从算法理论方面进行探索,通过软件后期处理方式提高红外图像分辨率,即超分辨率(Super-Resolution,SR)技术。SR主要是利用信号处理方法从单帧或者多帧低分辨图像中获得高分辨图像。近期自从SRCNN(Chao Dong,Chen Change Loy,Kaiming He,Xiaoou Tang.ImageSuper-Resolution Using Deep Convolutional Networks,IEEE Transactions onPattern Analysis and Machine Intelligence(TPAMI),Preprint,2015)提出后采用深度学习方法在可见光图像处理方面取得了长足进展。SRGAN(Photo-Realistic Single ImageSuper-Resolution Using a Generative Adversarial Network,arxiv,21Nov,2016)首次将生成式对抗网络(GAN)用于SR问题。英伟达公司的Tero Karras等人提出了ProgressiveGAN的方法(Progressive Growing of GANs for Improved Quality,Stability,andVariation,arxiv 1710.10196,27Oct,2017)得到更高分辨率的图像。
在红外图像超分辨率方面,经检索发现如下专利文献:CN 201710153279,一种基于稀疏表示的红外图像超分辨率重建方法;CN 201710282054,一种基于深度学习的近红外人脸图像超分辨率重建方法;CN104680502B,基于稀疏字典和非下采样Contourlet变换的红外图像超分辨重建方法。以上方法红外人脸图像超分辨率在清晰度的提升存在很大的提升空间。
发明内容
本发明的目的在于克服现有技术的不足,提出一种基于生成对抗网络的红外人脸图像超分辨率重建方法,其利用生成对抗网络技术,逐级提高分辨率,最终利用一幅低分辨率人脸图像重建出其对应的高分辨率人脸图像的方法,提高红外人脸识别等的效果。
本发明解决其技术问题是采取以下技术方案实现的:
一种基于生成对抗网络的红外人脸图像超分辨率重建方法,包括以下步骤:
步骤1、采用红外摄像机采集人脸近距离红外图像,构建红外人脸数据库;
步骤2、对人脸数据库中的图像按眼睛相对位置进行对齐;
步骤3、将对齐后的每幅图按不同的比例S进行缩放,生成其一一对应的不同缩放比例的低分辨率的人脸图像,并构建超分辨率重建训练数据集、验证数据集和测试数据集;
步骤4、构建对抗生成网络,采用低分辨率到高分辨率的逐步扩展方式进行对抗生成网络训练,完成红外人脸图像超分辨率重建;
步骤5:生成从低分辨红外人脸图像到高分辨率红外人脸图像的变换网络。
进一步,所述步骤3的比例S包括16:1、8:1、4:1。
进一步,所述步骤4构建的对抗生成网络,包括生成网络G和判别网络D,该生成网络G根据红外低分辨率图像Il生成图像Ig;图像Ig和红外高分辨率图像Ih分别作为判别图络D的输入,由判别网络D判断是真是假;生成网络G的目标是尽可能生成真实的红外高分辨率图像欺骗判别网络D,判别网络D的目标是提高自己的判断能力,生成网络G和判别网络D在对抗中不断完善提高自己的能力。
进一步,所述步骤4对抗生成网络训练时采用WGAN-GP损失函数,并且采用基于批量梯度下降的Adam方法训练网络,批处理大小取16。
进一步,所述步骤4每个低分辨率的对抗生成网络训练完成后,还需要对原对抗生成网络进行扩充。
本发明的优点和积极效果是:
1、本发明设计合理,其在近红外条件下将对抗性生成网络(GAN)方法用于人脸超分辨率的重建中,能够重建出高质量的红外超分辨率人脸图像;对对抗性生成网络(GAN)采用逐步增长的训练方式,有效保证了GAN训练的稳定性,极大地提高了人脸图像重建效果。
2、本发明采用条件式生成对抗网络;逐级增加生成式对抗网络中生成网络和判别网络的层数,高层逐级融入低层信息,逐级训练;最终获得一个可根据低分辨率的红外人脸自动生成高分辨率的人工神经网络模型;借助此模型可以实现低分辨率红外人脸输入,输出高分辨率红外人脸输出,可以大幅度提高红外人脸图像的分辨率,可广泛用夜间红外摄像场合,提高红外人脸识别的准确率。
附图说明
图1为本发明中的抗性生成网络的示意图;
图2为本发明中的抗性生成网络中随着分辨率提高逐级增加新的网络层的示意图。
具体实施方式
以下结合附图对本发明实施例做进一步详述。
一种基于生成对抗网络的红外人脸图像超分辨率重建方法,包括以下步骤:
步骤1、采用红外摄像机采集人脸近距离红外图像,构建红外人脸数据库。
步骤2、对红外人脸数据库中图像按眼睛相对位置进行对齐。
步骤3、将对齐后的红外人脸数据库中的每幅图按不同的比例S(16:1、8:1、4:1)进行缩放,生成其一一对应的不同缩放比例的低分辨率的人脸图像,整个数据集随机选择并按照7:2:1的关系构建超分辨率重建训练数据集、验证数据集、测试数据集。
在本实施例中,低分辨率人脸图像大小为8X 8像素、16X 16像素和32X 32像。
步骤4、从低分辨率红外人脸图像到较高分辨率红外人脸图像数据集,采用对抗生成网络(GAN)进行逐步训练。先训练一个小分辨率的图像生成,训练好以后再逐步过渡到更高分辨率的图像(相应GAN网络结构作相应调整)。本步骤的具体实现方法为:
步骤4.1、构建对抗生成网络。
如图1所示,该对抗生成网络由两部分组成:生成网络G和判别网络D。生成网络根据红外低分辨率图像Il生成图像Ig;Ig和红外高分辨率图像Ih分别作为判别图络D的输入,由D判断是真是假。G的目标是尽可能生成真实的红外高分辨率图像欺骗D,D的目标是提高自己的判断能力,G和D在对抗中不断完善提高自己的能力。对抗生成网络进行训练时采用的损失函数采用WGAN-GP(Gulrajani I,Ahmed F,Arjovsky M,et al.Improved trainingof wasserstein gans.Advances in Neural Information Processing Systems.2017:5769-5779.)。采用基于批量梯度下降的Adam方法训练网络,批处理大小取16。
步骤4.2、每个针对低分辨率的GAN训练完成后,需要对原GAN网络进行扩充。
以图2为例说明。图2展示了在完成16*16的红外低分辨率训练后(a),由(b)逐渐过渡到32*32红外分辨率(c)的过程。2x、0.5x表示对图像进行放大和缩小,分别采用最近邻插值、均值池化实现。toImage表示将网络特征值变换到图像,fromImage则相反表示将图像映射到网络特征值,均采用1*1的卷积操作实现,此变换和映射都是通过训练得到。每增大一级分辨率,生成器G在网络的输出端增加一层神经网络节点toImage层;判别器D在输入端增加一层神经网络节点,fromImage层;在(b)两者均以中灰色底纹显示。在(b)中渐近训练时,w由逐渐0变到1。
步骤5:当步骤4完成后,得到从低分辨红外人脸图像到高分辨率红外人脸图像的变换网络,即对抗生成网络中的生成网络部分。
需要强调的是,本发明所述的实施例是说明性的,而不是限定性的,因此本发明包括并不限于具体实施方式中所述的实施例,凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式,同样属于本发明保护的范围。

Claims (5)

1.一种基于生成对抗网络的红外人脸图像超分辨率重建方法,其特征在于包括以下步骤:
步骤1、采用红外摄像机采集人脸近距离红外图像,构建红外人脸数据库;
步骤2、对人脸数据库中的图像按眼睛相对位置进行对齐;
步骤3、将对齐后的每幅图按不同的比例S进行缩放,生成其一一对应的不同缩放比例的低分辨率的人脸图像,并构建超分辨率重建训练数据集、验证数据集和测试数据集;
步骤4、构建对抗生成网络,采用低分辨率到高分辨率的逐步扩展方式进行对抗生成网络训练,完成红外人脸图像超分辨率重建;
步骤5:生成从低分辨红外人脸图像到高分辨率红外人脸图像的变换网络。
2.根据权利要求1所述的一种基于生成对抗网络的红外人脸图像超分辨率重建方法,其特征在于:所述步骤3的比例S包括16:1、8:1、4:1。
3.根据权利要求1所述的一种基于生成对抗网络的红外人脸图像超分辨率重建方法,其特征在于:所述步骤4构建的对抗生成网络,包括生成网络G和判别网络D,该生成网络G根据红外低分辨率图像Il生成图像Ig;图像Ig和红外高分辨率图像Ih分别作为判别图络D的输入,由判别网络D判断是真是假;生成网络G的目标是尽可能生成真实的红外高分辨率图像欺骗判别网络D,判别网络D的目标是提高自己的判断能力,生成网络G和判别网络D在对抗中不断完善提高自己的能力。
4.根据权利要求1所述的一种基于生成对抗网络的红外人脸图像超分辨率重建方法,其特征在于:所述步骤4对抗生成网络训练时采用WGAN-GP损失函数,并且采用基于批量梯度下降的Adam方法训练网络,批处理大小取16。
5.根据权利要求1所述的一种基于生成对抗网络的红外人脸图像超分辨率重建方法,其特征在于:所述步骤4每个低分辨率的对抗生成网络训练完成后,还需要对原对抗生成网络进行扩充。
CN201810520505.9A 2018-05-28 2018-05-28 一种基于生成对抗网络的红外人脸图像超分辨率重建方法 Pending CN108805809A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810520505.9A CN108805809A (zh) 2018-05-28 2018-05-28 一种基于生成对抗网络的红外人脸图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810520505.9A CN108805809A (zh) 2018-05-28 2018-05-28 一种基于生成对抗网络的红外人脸图像超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN108805809A true CN108805809A (zh) 2018-11-13

Family

ID=64090569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810520505.9A Pending CN108805809A (zh) 2018-05-28 2018-05-28 一种基于生成对抗网络的红外人脸图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN108805809A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN109636721A (zh) * 2018-11-29 2019-04-16 武汉大学 基于对抗学习和注意力机制的视频超分辨率方法
CN109767386A (zh) * 2018-12-22 2019-05-17 昆明理工大学 一种基于深度学习的快速图像超分辨率重建方法
CN110009566A (zh) * 2019-04-04 2019-07-12 北京邮电大学 基于深度神经网络的红外热成像超分辨率仪器
CN110414463A (zh) * 2019-08-05 2019-11-05 北京深醒科技有限公司 一种基于人脸超分辨率的人脸检测模型
CN110533004A (zh) * 2019-09-07 2019-12-03 哈尔滨理工大学 一种基于深度学习的复杂场景人脸识别***
CN110569721A (zh) * 2019-08-01 2019-12-13 平安科技(深圳)有限公司 识别模型训练方法、图像识别方法、装置、设备及介质
CN111932456A (zh) * 2020-07-31 2020-11-13 浙江师范大学 一种基于生成对抗网络的单幅图像超分辨率重建方法
CN113011271A (zh) * 2021-02-23 2021-06-22 北京嘀嘀无限科技发展有限公司 生成和处理图像的方法、装置、设备、介质和程序产品
WO2022121256A1 (zh) * 2020-12-11 2022-06-16 平安科技(深圳)有限公司 人脸图像分辨率重建方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934766A (zh) * 2017-03-15 2017-07-07 西安理工大学 一种基于稀疏表示的红外图像超分辨率重建方法
CN107123091A (zh) * 2017-04-26 2017-09-01 福建帝视信息科技有限公司 一种基于深度学习的近红外人脸图像超分辨率重建方法
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934766A (zh) * 2017-03-15 2017-07-07 西安理工大学 一种基于稀疏表示的红外图像超分辨率重建方法
CN107123091A (zh) * 2017-04-26 2017-09-01 福建帝视信息科技有限公司 一种基于深度学习的近红外人脸图像超分辨率重建方法
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN LEDIG等: "Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network", 《ARXIV:1609.04802V1 [CS.CV]》 *
IAN J.GOODFELLOW等: "Generative Adversarial Nets", 《ARXIV:1406.2661V1 [STAT.ML]》 *
ISHAAN GULRAJANI等: "Improved Training of Wasserstein GANs", 《ARXIV:1704.00028V3 [CS.LG]》 *
TERO KARRAS等: "PROGRESSIVE GROWING OF GANS FOR IMPROVED QUALITY, STABILITY, AND VARIATION", 《ARXIV:1710.10196V3 [CS.NE]》 *
李方彪等: "生成式对抗神经网络的多帧红外图像超分辨率重建", 《红外与激光工程》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636721A (zh) * 2018-11-29 2019-04-16 武汉大学 基于对抗学习和注意力机制的视频超分辨率方法
CN109636721B (zh) * 2018-11-29 2023-06-23 武汉大学 基于对抗学习和注意力机制的视频超分辨率方法
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN109615582B (zh) * 2018-11-30 2023-09-01 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN109767386A (zh) * 2018-12-22 2019-05-17 昆明理工大学 一种基于深度学习的快速图像超分辨率重建方法
CN110009566A (zh) * 2019-04-04 2019-07-12 北京邮电大学 基于深度神经网络的红外热成像超分辨率仪器
CN110569721A (zh) * 2019-08-01 2019-12-13 平安科技(深圳)有限公司 识别模型训练方法、图像识别方法、装置、设备及介质
WO2021017261A1 (zh) * 2019-08-01 2021-02-04 平安科技(深圳)有限公司 识别模型训练方法、图像识别方法、装置、设备及介质
CN110569721B (zh) * 2019-08-01 2023-08-29 平安科技(深圳)有限公司 识别模型训练方法、图像识别方法、装置、设备及介质
CN110414463A (zh) * 2019-08-05 2019-11-05 北京深醒科技有限公司 一种基于人脸超分辨率的人脸检测模型
CN110533004A (zh) * 2019-09-07 2019-12-03 哈尔滨理工大学 一种基于深度学习的复杂场景人脸识别***
CN111932456A (zh) * 2020-07-31 2020-11-13 浙江师范大学 一种基于生成对抗网络的单幅图像超分辨率重建方法
CN111932456B (zh) * 2020-07-31 2023-05-16 浙江师范大学 一种基于生成对抗网络的单幅图像超分辨率重建方法
WO2022121256A1 (zh) * 2020-12-11 2022-06-16 平安科技(深圳)有限公司 人脸图像分辨率重建方法、装置、设备及存储介质
CN113011271A (zh) * 2021-02-23 2021-06-22 北京嘀嘀无限科技发展有限公司 生成和处理图像的方法、装置、设备、介质和程序产品

Similar Documents

Publication Publication Date Title
CN108805809A (zh) 一种基于生成对抗网络的红外人脸图像超分辨率重建方法
CN108765296B (zh) 一种基于递归残差注意力网络的图像超分辨率重建方法
CN113362223B (zh) 基于注意力机制和双通道网络的图像超分辨率重建方法
CN107145900B (zh) 基于一致性约束特征学习的行人再识别方法
CN109978762A (zh) 一种基于条件生成对抗网络的超分辨率重建方法
CN109325931A (zh) 基于生成对抗网络和超分辨率网络的多模态图像融合方法
CN110119780A (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN111079655B (zh) 一种基于融合神经网络的视频中人体行为识别方法
CN109846469B (zh) 一种基于卷积神经网络的非接触式心率测量方法
Bing et al. Medical image super resolution using improved generative adversarial networks
CN109214989A (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
CN108629291A (zh) 一种抗网格效应的人脸深度预测方法
CN110189286A (zh) 一种基于ResNet的红外与可见光图像融合方法
CN116468645B (zh) 一种对抗性高光谱多光谱遥感融合方法
CN110473142A (zh) 基于深度学习的单幅图像超分辨率重建方法
CN107993194A (zh) 一种基于平稳小波变换的超分辨率重建方法
He et al. Alzheimer's disease diagnosis model based on three-dimensional full convolutional DenseNet
CN109785270A (zh) 一种基于gan的图像超分辨率方法
CN116664397B (zh) TransSR-Net结构化图像超分辨重建方法
Jiang et al. CT image super resolution based on improved SRGAN
CN116029902A (zh) 一种基于知识蒸馏的无监督真实世界图像超分辨方法
CN112967185A (zh) 基于频率域损失函数的图像超分辨率算法
CN110060225A (zh) 一种基于快速有限剪切波变换与稀疏表示的医学图像融合法
Luo et al. Bi-GANs-ST for perceptual image super-resolution
Zhu et al. Super resolution reconstruction method for infrared images based on pseudo transferred features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181113