CN107123091A - 一种基于深度学习的近红外人脸图像超分辨率重建方法 - Google Patents
一种基于深度学习的近红外人脸图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN107123091A CN107123091A CN201710282054.5A CN201710282054A CN107123091A CN 107123091 A CN107123091 A CN 107123091A CN 201710282054 A CN201710282054 A CN 201710282054A CN 107123091 A CN107123091 A CN 107123091A
- Authority
- CN
- China
- Prior art keywords
- mrow
- resolution
- super
- msub
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 230000001815 facial effect Effects 0.000 claims abstract description 81
- 230000000694 effects Effects 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000006243 chemical reaction Methods 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 9
- 238000003475 lamination Methods 0.000 claims description 9
- 230000008929 regeneration Effects 0.000 claims description 6
- 238000011069 regeneration method Methods 0.000 claims description 6
- 241000208340 Araliaceae Species 0.000 claims description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 3
- 235000008434 ginseng Nutrition 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 210000004209 hair Anatomy 0.000 description 4
- 210000000887 face Anatomy 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于深度学习的近红外人脸图像超分辨率重建方法，其包括如下步骤：步骤1，利用人脸图像中两个眼睛的相对位置，把原始近红外人脸图像中所有人脸图像位置对齐；步骤2，将对齐后获得的人脸训练集以固定比例转换获得包含K幅超分辨率人脸图像训练图步骤3，将超分辨率人脸图像训练图以缩放比例S生成其一一对应的K幅低分辨率人脸图像训练图步骤4，利用低分辨率人脸图像训练图获得重建的超分辨率人脸图像Fl″(Y)；步骤5，计算重建的超分辨率人脸图像Fl″(Y)与超分辨率人脸图像训练图中的对应的图像之间的欧式距离；步骤6，基于欧式距离优化获得最优的卷积权值参数和偏置参数。本发明极大的提高了人脸图像重建效果。
Description
技术领域
本发明涉及计算机图像超分辨率领域，尤其涉及一种基于深度学习的近红外人脸图像超分辨率重建方法。
背景技术
人脸图像超分辨率重建是一种从低分辨率人脸图像重建出其相应的高分辨率人脸图像的技术。该技术在智能视频监控、人脸检测与识别、面部表情识别、人脸识别测颜龄等领域具有广泛的应用前景。
在实际应用环境中，行人常常与监控摄像机的距离较远，或者摄像头的光学分辨率不够，捕捉到的人脸往往分辨率较低，缺乏很多面部细节特征信息，从而人脸图像修复、放大和辨识受到严重干扰。因此在无需更高的硬件设备的情况下，很多领域利用人脸超分辨率重建算法提高人脸图像的分辨率，在安防监控、刑侦和取证领域有着广泛的应用。
人脸图像是由眼睛、鼻子、嘴唇、眉毛和耳朵等五种人体器官组成。Baker和Kanade首次提出一种专门只针对人脸的超分辨率重建技术[1]。人脸超分辨率重建技术可以细分为基于重建的方法和基于学习的方法。基于重建的方法是通过先验约束缩小求解范围以获得人脸超分辨率图像。而基于学习的法是通过训练集的人脸低分辨率图像和其对应的人脸超分辨率图像中存在的空间关系来重建出人脸超分辨率图像。
目前有以下几种较具代表性的基于学习的方法算法：Wang等人提出分别构建高分辨率与低分辨率的子空间，将求得的低分辨率图像在子空间的表达系数投影到高分辨率空间上，从而获得超分辨率人脸图像[2]。Liu等人提出先利用局部保持投影和径向函数回归得到全局的人脸图像，再由基于局部重建的方法补偿人脸特征的细节信息，从而获得人脸图像高分辨图像[3]。Park等人提出了基于局部保持投影的自适应流形学习方法，从局部子流形分析人脸的内在特征后重构低分辨率人脸图像中缺失的高频成分[4]。Huang等人提出一种基于经典相关分析的方法，求得人脸高分辨率与低分辨率的相关性，从而获得全局人脸高分辨率的图像和面部细节信息[5]。Ma等人利用位置块的线性权重投影算法重构出超分辨率的人脸图像[6]。中国公开专利“基于非线性压缩感知的人脸图像超分辨率重构方法”(公开号CN104952053A，公开日为2015.09.30)采用了核主成分分析得到稀疏系数，并且构造非线性压缩感知超分辨率重构模型。中国公开专利“基于局部约束低秩表示的人脸超分辨率重建方法”(公开号CN105469359A，公开日为2016.04.06)采用了局部约束和低秩约束条件下求得最优权重系数，结合其系数重建超分辨率人脸图像。
虽然相关研究已经得到长足的发展，但可见光条件下人脸图像超分辨率技术容易受到光照变化、光照不均匀等外界光线变化的影响，从而导致人脸超分辨率图像亮度失真或者重建超分辨率效果并不令人满意。最近，为了降低外界光线变化的影响，中国公开专利“基于稀疏字典和非上采样Contourlet变换的红外图像超分辨率重建方法”(公开号CN104680502A，公开日为2015.06.03)采用了稀疏字典和非下采样Contourlet变换的方法重建红外图像超分辨率。虽然红外图像对于光照变化具有很好的适应性，但是无法捕捉人脸面部细节信息。
参考文献如下：
[1]S.Baker and T.Kanade,Hallucinating faces,in:Proceedings of theIEEE International Conference on Automatic Face and Gesture Recognition(AFGR2000),Grenoble,France,pp.83-88.
[2]X.Wang and X.Tang,Hallucinating face by eigentransformation,IEEETrans.Syst.Man Cybern.Part C-Appl.Rev.,35(3)(2005)425-434.
[3]C.Liu,H.Shum and W.T.Freeman,Face hallucination:theory andpractice,International Journal of Computer Vision,75(1)(2007)115-134.
[4]S.Park and M.Savvides,Breaking the limitation of manifold analysisfor super-resolution of facial images,in:Proceedings of the IEEEInternational Conference on Acoustics,Speech and Signal Processing(ICASSP2007),Honolulu,HI,USA,pp.573-576.
[5]H.Huang,H.He,X.Fan and J.Zhang,Super-resolution of human faceimage using canonical correlation analysis,Pattern Recognit.,43(7)(2010)2532–2543.
[6]X.Ma,J.Zhang,C.Qi,Hallucinating face by position-patch,PatternRecognit.,43(6)(2010)2224–2236.
[7]M.Peng,C.Wang,T.Chen and G.Liu,NIRFaceNet:A convolutional neuralnetwork for Near-Infrared face identification,Information,7(4)(2016)1-14.
[8]C.Dong,C.C.Loy,K.He and X.Tang,Image super-resolution using deepconvolutional networks,IEEE Trans.,35(3)(2005)425-434.
[9]S.Z.Li,D.Yi,Z.Lei,S.Liao,The CASIA NIR-VIS 2.0 face database,in:Proceedings of the 9th IEEE Workshop on Perception Beyond the Visible Spectrum(PBVS,in conjunction with CVPR 2013),Portland,Oregon,pp.348-353.
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于深度学习的近红外人脸图像超分辨率重建方法，利用深度学习的技术将在近红外条件下捕捉的一幅低分辨率人脸图像重建出其对应的高分辨率人脸图像的方法，从而显著提高人脸识别以及人脸图像理解与分析效果。
本发明采用的技术方案是：
一种基于深度学习的近红外人脸图像超分辨率重建方法，其包括如下步骤：
步骤1，利用人脸图像中两个眼睛的相对位置，把原始近红外人脸图像中所有人脸图像位置对齐；
步骤2，将对齐后获得的人脸训练集以固定比例转换获得包含K幅M×N超分辨率人脸图像训练图其中M和N分别为人脸图像的宽度和高度，索引i＝1,2,…,K；
步骤3，将超分辨率人脸图像训练图中的每幅图像以缩放比例S生成其一一对应的K幅低分辨率人脸图像训练图索引i＝1,2,…,K；
步骤4，利用低分辨率人脸图像训练图的每幅图像低分辨率人脸图像分别执行的初始阶段、残差阶段、中间阶段、反卷积阶段和重建阶段获得重建的超分辨率人脸图像Fl″(Y)；
所述步骤4具体包括以下步骤：
步骤4.1，初始阶段：输入的低分辨率人脸图像进行卷积运算和激活函数运算得到第1层输出结果F1(Y)，其计算公式是：
其中W1和B1分别是本发明的第一层卷积权值参数和偏置参数；
步骤4.2，残差阶段：由多个残差运算块组成，每个残差运算块是由卷积运算、激活函数运算和相加运算组成，其计算公式是：
其中和分别是是第l层的第1个和第二个卷积权值参数，和分别是是第l层的第1个和第2个偏置参数。Fl(Y)和Fl-1(Y)分别是第l层和l-1层的输出结果，第l-1层的输出结果，Fl-1(Y)是通过快捷连接的方式与第l层的第n+1个卷积结果相加得到第l层的输出结果Fl(Y)；
步骤4.3，中间阶段：将步骤4.2获得的第l层输出结果Fl(Y)输入到第l+1层卷积层，并且通过快捷连接的方式与第1层输出结果F1(Y)相加获得的第l+1层输出结果Fl+1(Y)，其计算公式是：
Fl+1(Y)＝Wl+1*Fl(Y)+Bl+1+F1(Y) (3)
步骤4.4，反卷积阶段：将步骤4.3所获得的第l+1层输出结果Fl+1(Y)输入到第l+2层的反卷积层，并利用由多个反卷积层和激活函数层的反卷积阶段来逐步放大人脸图像获得初始超分辨率人脸图像Fl′(Y)，其计算公式是：
其中Wl′和Bl′分别是第l′反卷积层的卷积权值参数和偏置参数，Fl′(Y)和Fl′-1(Y)分别是第l′层和l′-1层的输出结果；
步骤4.5，重建阶段：利用步骤4.4获得的输出Fl′(Y)再执行一次卷积后就可以得到重建的超分辨率人脸图像Fl″(Y)，其计算公式是：
Fl″(Y)＝Wl″*Fl′(Y)+Bl″ (5)
其中Wl″和Bl″分别是第l″卷积层的卷积权值参数和偏置参数；
步骤5，利用重建的超分辨率人脸图像Fl″(Y)与超分辨率人脸图像训练图中的对应的图像进行比较，计算两幅人脸图像之间的欧式距离；
步骤6，基于计算的欧式距离不断更新并优化获得最优的卷积权值参数和偏置参数；
当重建的所有超分辨率人脸图像与其对应的超分辨率人脸图像进行比较时没有获得满足的重建效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤4；
当重建的所有超分辨率人脸图像与其对应的超分辨率人脸图像进行比较时已经获得满足的重建效果时，则停止反向传播，并最终求得步骤4所获得的卷积权值参数和偏置参数。
进一步地，所述步骤1中原始近红外人脸图像采用近红外补光装置捕获。
进一步地，所述步骤2中的固定比例转换成M×N中M×N为128×128。
进一步地，所述步骤3中缩放比例S包括16：1、8：1和4：1。
进一步地，所述步骤5中欧式距离的计算公式是：
其中为超分辨率人脸图像训练图，Fl″(Y)为重建的超分辨率人脸图像。
本发明采用以上技术方案，首次在近红外条件下将深度学习方法用于人脸超分辨率的重建中，获得了更高质量的超分辨率人脸图像，与真实人脸更为接近的重建效果。本发明提出的人脸超分辨率的算法主要体现在三个方面：第一，为了减少光照变化的影响，本发明首次提出用近红外补光装置捕捉的低分辨率人脸图像重建出超分辨率人脸图像的算法。第二，为了提高人脸重建效果，本发明用深度学习的方法直接从低分辨率的人脸图像执行初始阶段、残差阶段和中间阶段后，逐步利用反卷积运算的方式重建出超分辨率人脸图像，低分辨率人脸图像不需要进行传统的双三次插值的预处理。第三，甚至在低分辨率人脸图像大小极小(8像素×8像素)时，本发明不仅能够很好的重建出超分辨率人脸图像(128像素×128像素)，而且极大的提高了人脸图像重建效果。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明一种基于深度学习的近红外人脸图像超分辨率重建方法的原理示意图；
图2为本发明一种基于深度学习的近红外人脸图像超分辨率重建方法的流程示意图；
图3为本发明与现有技术低分辨率人脸图像8×8像素的重建效果比较图；
图4为本发明与现有技术低分辨率人脸图像16×16像素的重建效果比较图；
图5为本发明与现有技术的低分辨率人脸图像32×32像素的重建效果比较图。
具体实施方式
如图1-5之一所示，本发明公开了一种基于深度学习的近红外人脸图像超分辨率重建方法，其包括如下步骤：
步骤1，利用人脸图像中两个眼睛的相对位置，把原始近红外人脸图像中所有人脸图像位置对齐；进一步地，所述步骤1中原始近红外人脸图像采用近红外补光装置捕获。
步骤2，将对齐后获得的人脸训练集以固定比例转换获得包含K幅M×N超分辨率人脸图像训练图其中M和N分别为人脸图像的宽度和高度，索引i＝1,2,…,K；进一步地，所述步骤2中的固定比例转换成M×N中M×N为128×128。
步骤3，将超分辨率人脸图像训练图中的每幅图像以缩放比例S生成其一一对应的K幅低分辨率人脸图像训练图索引i＝1,2,…,K；进一步地，所述步骤3中缩放比例S包括16：1、8：1和4：1。具体地本发明中验证了比较代表性的三种尺度(16倍，8倍和4倍)的缩放比例，低分辨率人脸图像大小分别为8×8，16×16和32×32(单位：像素)。经过步骤2和步骤3所获得的超分辨率人脸图像样本和低分辨率人脸图像样本为本发明的人脸训练数据集。
步骤4，利用低分辨率人脸图像训练图的每幅图像低分辨率人脸图像分别执行的初始阶段、残差阶段、中间阶段、反卷积阶段和重建阶段获得重建的超分辨率人脸图像Fl″(Y)；
所述步骤4具体包括以下步骤：
步骤4.1，初始阶段：输入的低分辨率人脸图像进行卷积运算和激活函数运算得到第1层输出结果F1(Y)，其计算公式是：
其中W1和B1分别是本发明的第一层卷积权值参数和偏置参数；
步骤4.2，残差阶段：由多个残差运算块组成，每个残差运算块是由卷积运算、激活函数运算和相加运算组成，其计算公式是：
其中和分别是是第l层的第1个和第二个卷积权值参数，和分别是是第l层的第1个和第2个偏置参数。Fl(Y)和Fl-1(Y)分别是第l层和l-1层的输出结果，第l-1层的输出结果，Fl-1(Y)是通过快捷连接的方式与第l层的第n+1个卷积结果相加得到第l层的输出结果Fl(Y)；
步骤4.3，中间阶段：将步骤4.2获得的第l层输出结果Fl(Y)输入到第l+1层卷积层，并且通过快捷连接的方式与第1层输出结果F1(Y)相加获得的第l+1层输出结果Fl+1(Y)，其计算公式是：
Fl+1(Y)＝Wl+1*Fl(Y)+Bl+1+F1(Y) (3)
步骤4.4，反卷积阶段：为了提高显著重建效果，将步骤4.3所获得的第l+1层输出结果Fl+1(Y)输入到第l+2层的反卷积层，并利用由多个反卷积层和激活函数层的反卷积阶段来逐步放大人脸图像获得初始超分辨率人脸图像Fl′(Y)，其计算公式是：
其中Wl′和Bl′分别是第l′反卷积层的卷积权值参数和偏置参数，Fl′(Y)和Fl′-1(Y)分别是第l′层和l′-1层的输出结果；
步骤4.5，重建阶段：利用步骤4.4获得的输出Fl′(Y)再执行一次卷积后就可以得到重建的超分辨率人脸图像Fl″(Y)，其计算公式是：
Fl″(Y)＝Wl″*Fl′(Y)+Bl″ (5)
其中Wl″和Bl″分别是第l″卷积层的卷积权值参数和偏置参数；
步骤5，利用重建的超分辨率人脸图像Fl″(Y)与超分辨率人脸图像训练图中的对应的图像进行比较，计算两幅人脸图像之间的欧式距离；进一步地，所述步骤5中欧式距离的计算公式是：
其中为超分辨率人脸图像训练图，Fl″(Y)为重建的超分辨率人脸图像。
步骤6，基于计算的欧式距离不断更新并优化获得最优的卷积权值参数和偏置参数；
当重建的所有超分辨率人脸图像与其对应的超分辨率人脸图像进行比较时没有获得满足的重建效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤4；
当重建的所有超分辨率人脸图像与其对应的超分辨率人脸图像进行比较时已经获得满足的重建效果时，则停止反向传播，并最终求得步骤4所获得的卷积权值参数和偏置参数。
如图2-3之一所示，为了验证本发明的有效性，采用中国科学院自动化研究所的近红外人脸数据库(CASIA NIR-VIS 2.0)[9]进行实验，该数据库分四个阶段采集人脸数据。本发明选用前三个阶段采集的所有人脸图像为训练数据样本，最后一个阶段采集的所有人脸图像为测试数据样本。原始图像大小为640×480(单位：像素)，根据两个眼睛的相对位置从原始图像中截出人脸位置后，利用传统的双三次插值的预处理下采样后得到三种不同尺度(16倍，8倍和4倍)的低分辨率人脸图像。本发明得到的重建效果与一些现有技术比较，例如最近邻点插值法(Nearest neighbor interpolation)，双三次插值法(Bicubicinterpolation)和SRCNN(Image super-resolution using deep convolutionalnetworks)[8]等。
本发明采用峰值信噪比(PSNR:Peak Signal to Noise Ratio)和结构相似性(SSIM:Structural Similarity Index)来衡量人脸图像重建性能。
表1本发明与现有技术的PSNR值和SSIM值
从表1中可以看出，在三种不同的缩放比例下，本发明比现有技术中经典的超分辨率算法的(SRCNN)的PSNR值和SSIM值中分别提高了1.2202dB、2.2303dB、3.2874dB和0.0113、0.0547、0.1247。由此可见，本发明较其他现有技术相比，近红外人脸图像重建效果有了显著的提高。
本发明采用以上技术方案，首次在近红外条件下将深度学习方法用于人脸超分辨率的重建中，获得了更高质量的超分辨率人脸图像，与真实人脸更为接近的重建效果。本发明提出的人脸超分辨率的算法主要体现在三个方面：第一，为了减少光照变化的影响，本发明首次提出用近红外补光装置捕捉的低分辨率人脸图像重建出超分辨率人脸图像的算法。第二，为了提高人脸重建效果，本发明用深度学习的方法直接从低分辨率的人脸图像执行初始阶段、残差阶段和中间阶段后，逐步利用反卷积运算的方式重建出超分辨率人脸图像，低分辨率人脸图像不需要进行传统的双三次插值的预处理。第三，甚至在低分辨率人脸图像大小极小(8像素×8像素)时，本发明不仅能够很好的重建出超分辨率人脸图像(128像素×128像素)，而且极大的提高了人脸图像重建效果。
Claims (5)
1.一种基于深度学习的近红外人脸图像超分辨率重建方法，其特征在于：其包括如下步骤：
步骤1，利用人脸图像中两个眼睛的相对位置，把原始近红外人脸图像中所有人脸图像位置对齐；
步骤2，将对齐后获得的人脸训练集以固定比例转换获得包含K幅M×N超分辨率人脸图像训练图其中M和N分别为人脸图像的宽度和高度，索引i＝1,2,…,K；
步骤3，将超分辨率人脸图像训练图中的每幅图像以缩放比例S生成其一一对应的K幅低分辨率人脸图像训练图索引i＝1,2,…,K；
步骤4，利用低分辨率人脸图像训练图的每幅图像低分辨率人脸图像分别执行的初始阶段、残差阶段、中间阶段、反卷积阶段和重建阶段获得重建的超分辨率人脸图像Fl″(Y)；
所述步骤4具体包括以下步骤：
步骤4.1，初始阶段：输入的低分辨率人脸图像进行卷积运算和激活函数运算得到第1层输出结果F1(Y)，其计算公式是：
<mrow>
<msub>
<mi>F</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>Y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>W</mi>
<mn>1</mn>
</msub>
<mo>*</mo>
<msubsup>
<mi>I</mi>
<mi>i</mi>
<mi>L</mi>
</msubsup>
<mo>+</mo>
<msub>
<mi>B</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<mn>0</mn>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中W1和B1分别是本发明的第一层卷积权值参数和偏置参数；
步骤4.2，残差阶段：由多个残差运算块组成，每个残差运算块是由卷积运算、激活函数运算和相加运算组成，其计算公式是：
<mrow>
<msub>
<mi>F</mi>
<mi>l</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>Y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>W</mi>
<mi>l</mi>
<mn>2</mn>
</msubsup>
<mo>*</mo>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mo>(</mo>
<mrow>
<msubsup>
<mi>W</mi>
<mi>l</mi>
<mn>1</mn>
</msubsup>
<mo>*</mo>
<msub>
<mi>F</mi>
<mrow>
<mi>l</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>Y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msubsup>
<mi>B</mi>
<mi>l</mi>
<mn>1</mn>
</msubsup>
<mo>,</mo>
<mn>0</mn>
</mrow>
<mo>)</mo>
<mo>+</mo>
<msubsup>
<mi>B</mi>
<mi>l</mi>
<mn>2</mn>
</msubsup>
<mo>,</mo>
<mn>0</mn>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>F</mi>
<mrow>
<mi>l</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>Y</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mi>l</mi>
<mo>&GreaterEqual;</mo>
<mn>2</mn>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中Wl 1和Wl 2分别是是第l层的第1个和第二个卷积权值参数，和分别是是第l层的第1个和第2个偏置参数。Fl(Y)和Fl-1(Y)分别是第l层和l-1层的输出结果，第l-1层的输出结果，Fl-1(Y)是通过快捷连接的方式与第l层的第n+1个卷积结果相加得到第l层的输出结果Fl(Y)；
步骤4.3，中间阶段：将步骤4.2获得的第l层输出结果Fl(Y)输入到第l+1层卷积层，并且通过快捷连接的方式与第1层输出结果F1(Y)相加获得的第l+1层输出结果Fl+1(Y)，其计算公式是：
Fl+1(Y)＝Wl+1*Fl(Y)+Bl+1+F1(Y) (3)
步骤4.4，反卷积阶段：将步骤4.3所获得的第l+1层输出结果Fl+1(Y)输入到第l+2层的反卷积层，并利用由多个反卷积层和激活函数层的反卷积阶段来逐步放大人脸图像获得初始超分辨率人脸图像Fl′(Y)，其计算公式是：
<mrow>
<msub>
<mi>F</mi>
<msup>
<mi>l</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mrow>
<mo>(</mo>
<mi>Y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>W</mi>
<msup>
<mi>l</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>*</mo>
<msub>
<mi>F</mi>
<mrow>
<mi>l</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>Y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>B</mi>
<msup>
<mi>l</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msup>
<mi>l</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>W</mi>
<msup>
<mi>l</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>*</mo>
<msub>
<mi>F</mi>
<mrow>
<msup>
<mi>l</mi>
<mo>&prime;</mo>
</msup>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>Y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>B</mi>
<msup>
<mi>l</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msup>
<mi>l</mi>
<mo>&prime;</mo>
</msup>
<mo>&GreaterEqual;</mo>
<mn>2</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中Wl′和Bl′分别是第l′反卷积层的卷积权值参数和偏置参数，Fl′(Y)和Fl′-1(Y)分别是第l′层和l′-1层的输出结果；
步骤4.5，重建阶段：利用步骤4.4获得的输出Fl′(Y)再执行一次卷积后就可以得到重建的超分辨率人脸图像Fl″(Y)，其计算公式是：
Fl″(Y)＝Wl″*Fl′(Y)+Bl″ (5)
其中Wl″和Bl″分别是第l″卷积层的卷积权值参数和偏置参数；
步骤5，利用重建的超分辨率人脸图像Fl″(Y)与超分辨率人脸图像训练图中的对应的图像进行比较，计算两幅人脸图像之间的欧式距离；
步骤6，基于计算的欧式距离不断更新并优化获得最优的卷积权值参数和偏置参数；
当重建的所有超分辨率人脸图像与其对应的超分辨率人脸图像进行比较时没有获得满足的重建效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤4；
当重建的所有超分辨率人脸图像与其对应的超分辨率人脸图像进行比较时已经获得满足的重建效果时，则停止反向传播，并最终求得步骤4所获得的卷积权值参数和偏置参数。
2.根据权利要求1所述的一种基于深度学习的近红外人脸图像超分辨率重建方法，其特征在于：所述步骤1中原始近红外人脸图像采用近红外补光装置捕获。
3.根据权利要求1所述的一种基于深度学习的近红外人脸图像超分辨率重建方法，其特征在于：所述步骤2中的固定比例转换成M×N中M×N为128×128。
4.根据权利要求1所述的一种基于深度学习的近红外人脸图像超分辨率重建方法，其特征在于：所述步骤3中缩放比例S包括16：1、8：1和4：1。
5.根据权利要求1所述的一种基于深度学习的近红外人脸图像超分辨率重建方法，其特征在于：所述步骤5中欧式距离的计算公式是：
<mrow>
<mi>D</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>I</mi>
<mi>i</mi>
<mi>H</mi>
</msubsup>
<mo>,</mo>
<msub>
<mi>F</mi>
<msup>
<mi>l</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
</msub>
<mo>(</mo>
<mi>Y</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>I</mi>
<mi>i</mi>
<mi>H</mi>
</msubsup>
<mo>-</mo>
<msub>
<mi>F</mi>
<msup>
<mi>l</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
</msub>
<mrow>
<mo>(</mo>
<mi>Y</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
其中为超分辨率人脸图像训练图，Fl″(Y)为重建的超分辨率人脸图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710282054.5A CN107123091B (zh) | 2017-04-26 | 2017-04-26 | 一种基于深度学习的近红外人脸图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710282054.5A CN107123091B (zh) | 2017-04-26 | 2017-04-26 | 一种基于深度学习的近红外人脸图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107123091A true CN107123091A (zh) | 2017-09-01 |
| CN107123091B CN107123091B (zh) | 2020-02-14 |
Family
ID=59724831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710282054.5A Active CN107123091B (zh) | 2017-04-26 | 2017-04-26 | 一种基于深度学习的近红外人脸图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107123091B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610192A (zh) * | 2017-09-30 | 2018-01-19 | 西安电子科技大学 | 基于深度学习的自适应观测压缩感知图像重构方法 |
| CN108235058A (zh) * | 2018-01-12 | 2018-06-29 | 广州华多网络科技有限公司 | 视频质量处理方法、存储介质和终端 |
| CN108805809A (zh) * | 2018-05-28 | 2018-11-13 | 天津科技大学 | 一种基于生成对抗网络的红外人脸图像超分辨率重建方法 |
| CN109064423A (zh) * | 2018-07-23 | 2018-12-21 | 福建帝视信息科技有限公司 | 一种基于非对称循环生成对抗损失的智能修图方法 |
| CN109858472A (zh) * | 2019-04-09 | 2019-06-07 | 武汉领普科技有限公司 | 一种嵌入式实时人形检测方法和装置 |
| CN109924949A (zh) * | 2019-03-05 | 2019-06-25 | 北京工业大学 | 一种基于卷积神经网络的近红外光谱断层成像重建方法 |
| CN110009566A (zh) * | 2019-04-04 | 2019-07-12 | 北京邮电大学 | 基于深度神经网络的红外热成像超分辨率仪器 |
| CN111815513A (zh) * | 2020-06-09 | 2020-10-23 | 四川虹美智能科技有限公司 | 红外图像采集方法和装置 |
| CN112330541A (zh) * | 2020-11-11 | 2021-02-05 | 广州博冠信息科技有限公司 | 直播视频处理方法、装置、电子设备和存储介质 |
| CN112529825A (zh) * | 2020-12-11 | 2021-03-19 | 平安科技（深圳）有限公司 | 人脸图像分辨率重建方法、装置、设备及存储介质 |
| CN113011271A (zh) * | 2021-02-23 | 2021-06-22 | 北京嘀嘀无限科技发展有限公司 | 生成和处理图像的方法、装置、设备、介质和程序产品 |
| CN116258916A (zh) * | 2023-05-16 | 2023-06-13 | 彼图科技(青岛)有限公司 | 基于机器学习的啤酒生产线缺陷分类识别*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101872472A (zh) * | 2010-06-02 | 2010-10-27 | 中国科学院自动化研究所 | 一种基于样本学习的人脸图像超分辨率重建方法 |
| US20100317420A1 (en) * | 2003-02-05 | 2010-12-16 | Hoffberg Steven M | System and method |
| US20110026849A1 (en) * | 2009-07-31 | 2011-02-03 | Hirokazu Kameyama | Image processing apparatus and method, data processing apparatus and method, and program and recording medium |
| CN106204449A (zh) * | 2016-07-06 | 2016-12-07 | 安徽工业大学 | 一种基于对称深度网络的单幅图像超分辨率重建方法 |
| CN106228512A (zh) * | 2016-07-19 | 2016-12-14 | 北京工业大学 | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 |
| CN106600538A (zh) * | 2016-12-15 | 2017-04-26 | 武汉工程大学 | 一种基于区域深度卷积神经网络的人脸超分辨率算法 |
-
2017
- 2017-04-26 CN CN201710282054.5A patent/CN107123091B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100317420A1 (en) * | 2003-02-05 | 2010-12-16 | Hoffberg Steven M | System and method |
| US20110026849A1 (en) * | 2009-07-31 | 2011-02-03 | Hirokazu Kameyama | Image processing apparatus and method, data processing apparatus and method, and program and recording medium |
| CN101872472A (zh) * | 2010-06-02 | 2010-10-27 | 中国科学院自动化研究所 | 一种基于样本学习的人脸图像超分辨率重建方法 |
| CN106204449A (zh) * | 2016-07-06 | 2016-12-07 | 安徽工业大学 | 一种基于对称深度网络的单幅图像超分辨率重建方法 |
| CN106228512A (zh) * | 2016-07-19 | 2016-12-14 | 北京工业大学 | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 |
| CN106600538A (zh) * | 2016-12-15 | 2017-04-26 | 武汉工程大学 | 一种基于区域深度卷积神经网络的人脸超分辨率算法 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610192A (zh) * | 2017-09-30 | 2018-01-19 | 西安电子科技大学 | 基于深度学习的自适应观测压缩感知图像重构方法 |
| CN107610192B (zh) * | 2017-09-30 | 2021-02-12 | 西安电子科技大学 | 基于深度学习的自适应观测压缩感知图像重构方法 |
| CN108235058A (zh) * | 2018-01-12 | 2018-06-29 | 广州华多网络科技有限公司 | 视频质量处理方法、存储介质和终端 |
| CN108805809A (zh) * | 2018-05-28 | 2018-11-13 | 天津科技大学 | 一种基于生成对抗网络的红外人脸图像超分辨率重建方法 |
| CN109064423A (zh) * | 2018-07-23 | 2018-12-21 | 福建帝视信息科技有限公司 | 一种基于非对称循环生成对抗损失的智能修图方法 |
| CN109924949A (zh) * | 2019-03-05 | 2019-06-25 | 北京工业大学 | 一种基于卷积神经网络的近红外光谱断层成像重建方法 |
| CN110009566A (zh) * | 2019-04-04 | 2019-07-12 | 北京邮电大学 | 基于深度神经网络的红外热成像超分辨率仪器 |
| CN109858472A (zh) * | 2019-04-09 | 2019-06-07 | 武汉领普科技有限公司 | 一种嵌入式实时人形检测方法和装置 |
| CN109858472B (zh) * | 2019-04-09 | 2023-08-04 | 武汉领普科技有限公司 | 一种嵌入式实时人形检测方法和装置 |
| CN111815513B (zh) * | 2020-06-09 | 2023-06-23 | 四川虹美智能科技有限公司 | 红外图像采集方法和装置 |
| CN111815513A (zh) * | 2020-06-09 | 2020-10-23 | 四川虹美智能科技有限公司 | 红外图像采集方法和装置 |
| CN112330541A (zh) * | 2020-11-11 | 2021-02-05 | 广州博冠信息科技有限公司 | 直播视频处理方法、装置、电子设备和存储介质 |
| WO2022121256A1 (zh) * | 2020-12-11 | 2022-06-16 | 平安科技（深圳）有限公司 | 人脸图像分辨率重建方法、装置、设备及存储介质 |
| CN112529825A (zh) * | 2020-12-11 | 2021-03-19 | 平安科技（深圳）有限公司 | 人脸图像分辨率重建方法、装置、设备及存储介质 |
| CN113011271A (zh) * | 2021-02-23 | 2021-06-22 | 北京嘀嘀无限科技发展有限公司 | 生成和处理图像的方法、装置、设备、介质和程序产品 |
| CN116258916A (zh) * | 2023-05-16 | 2023-06-13 | 彼图科技(青岛)有限公司 | 基于机器学习的啤酒生产线缺陷分类识别*** |
| CN116258916B (zh) * | 2023-05-16 | 2023-08-15 | 彼图科技(青岛)有限公司 | 基于机器学习的啤酒生产线缺陷分类识别*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107123091B (zh) | 2020-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107123091A (zh) | 一种基于深度学习的近红外人脸图像超分辨率重建方法 | |
| Arad et al. | Ntire 2022 spectral recovery challenge and data set | |
| US11238602B2 (en) | Method for estimating high-quality depth maps based on depth prediction and enhancement subnetworks | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨*** | |
| Tang et al. | DATFuse: Infrared and visible image fusion via dual attention transformer | |
| CN106952228B (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
| Cai et al. | FCSR-GAN: Joint face completion and super-resolution via multi-task learning | |
| Li et al. | Deep learning methods in real-time image super-resolution: a survey | |
| Wang et al. | FaceFormer: Aggregating global and local representation for face hallucination | |
| CN109949217B (zh) | 基于残差学习和隐式运动补偿的视频超分辨率重建方法 | |
| Shi et al. | Exploiting multi-scale parallel self-attention and local variation via dual-branch transformer-CNN structure for face super-resolution | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| CN112686830A (zh) | 基于图像分解的单一深度图的超分辨率方法 | |
| CN113379606A (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN117115888A (zh) | 基于注意力的3DCNN和Transformer的呼吸率估计方法及*** | |
| CN111275620A (zh) | 一种基于Stacking集成学习的图像超分辨方法 | |
| CN114511470B (zh) | 一种基于注意力机制的双分支全色锐化方法 | |
| CN113205005B (zh) | 一种面向低光照低分辨率的人脸图像幻构方法 | |
| Hua et al. | An Efficient Multiscale Spatial Rearrangement MLP Architecture for Image Restoration | |
| CN114005157A (zh) | 一种基于卷积神经网络的像素位移向量的微表情识别方法 | |
| Wang et al. | D-ESRGAN: a dual-encoder GAN with residual CNN and vision transformer for iris image super-resolution | |
| Han et al. | Low-light images enhancement and denoising network based on unsupervised learning multi-stream feature modeling | |
| CN115311149A (zh) | 图像去噪方法、模型、计算机可读存储介质及终端设备 | |
| Gedik et al. | Joint Deep Image Restoration and Unsupervised Quality Assessment | |
| CN117541791B (zh) | 基于多域可变形卷积的眼部结构分割方法、***及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |