CN107680037A - 改进的基于最近特征线流形学习的人脸超分辨率重建方法 - Google Patents
改进的基于最近特征线流形学习的人脸超分辨率重建方法 Download PDFInfo
- Publication number
- CN107680037A CN107680037A CN201710817616.1A CN201710817616A CN107680037A CN 107680037 A CN107680037 A CN 107680037A CN 201710817616 A CN201710817616 A CN 201710817616A CN 107680037 A CN107680037 A CN 107680037A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- sample
- low
- subpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000013213 extrapolation Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 81
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 10
- 239000000203 mixture Substances 0.000 claims description 7
- 239000012141 concentrate Substances 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 239000002131 composite material Substances 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 14
- 230000001815 facial effect Effects 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 101100149325 Escherichia coli (strain K12) setC gene Proteins 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种改进的基于最近特征线流形学习的人脸超分辨率重建方法，在现有基于最近特征线流形学习的人脸超分辨率重建方法的基础上，通过对于投影点落在两个样本点之间的连接线的外推线上的情况进行区分处理，即当投影点到两个样本点的欧氏距离之和大于两个样本点之间的欧氏距离的W倍，则从两个样本点中查找距离投影点较近的样本点替换投影点，形成待筛选点集，这样对投影点进行限制使得其与样本点具有更强的关联性，可以很大程度地提高新得到的样本数据对输入低分辨率图像块的表达能力，尽量避免引入原图像不存在的细节信息，提高低分辨率图像的重建效果。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种改进的基于最近特征线流形学习的人脸超分辨率重建方法。
背景技术
2016年政府工作报告中强调：“创新社会治安综合治理机制，以信息化为支撑推进社会治安防控体系建设，依法惩治违法犯罪行为，严厉打击暴力恐怖活动，增强人民群众的安全感”；目前在众多安防手段中，视频监控及图像处理技术在预防打击犯罪等方面发挥着越来越重要的作用，但是据统计数据显示，白天获得的监控图像质量差比高达60％，夜晚更是高达95％，因此，如何在原始低质量嫌疑人的人脸图像的基础上重建得到高质量可辨识的人脸图像成为视频侦查的迫切需求。
目前，基于学习的人脸超分辨率重建方法的研究处于图像处理领域的主要研究方向，基于学习的人脸超分辨率重建方法是一种根据观测到的低分辨率人脸图像，利用高、低分辨率人脸图像训练库样本，重建得到与输入低分辨率人脸图像最相似的高分辨率人脸图像，它能够重现人脸的局部细节，达到增强人脸辨识的准确性的目的；相较于传统方法，基于学习的人脸超分辨率重建方法借助训练样本得到的先验信息，可以获得更好的重建效果和更高的放大倍数。
基于学习的人脸图像超分辨率重建方法的基本前提是低分辨率人脸图像的样本图像块和高分辨率人脸图像的样本图像块之间具有相似的局部几何结构，然而想要实现这种假设，则必须满足两个前提条件：第一，样本数据稠密地采样于潜在流形空间；第二，样本不受噪声干扰；针对第一个前提条件，在不考虑样本个体重复的情况下，现有人脸图像库样本数最大的也不会超过2000个样本数，即使将它们组成训练集放入高维人脸流形空间中，也不过组成一个稀疏样本空间；因此，现有人脸图像库样本并不能满足基于学习的人脸图像超分辨率重建方法假设成立的前提条件，并且，人脸图像库的创建又是一个非常耗时且复杂的过程，创建算法的运行过程中也会占用大量的计算资源；因此，通过简单地增加人脸图像样本数量来扩展人脸图像库来解决流形空间采样不够稠密的问题是不现实的。
2014年，武汉大学的Jiang等人在图像处理领域引入了最近特征线的思想，提出了一种基于最近特征线流形学习的人脸超分辨率重建方法，该专利的申请号为201110421817.2，该方法通过将最近特征线思想引入超分辨率重建，扩充样本库的表达能力；首先发明人从低分辨率训练样本库选出和待查询样本点最近邻的样本图像；其次将筛选后的样本图像作为样本点两两相连得到对应的特征线，求取待查询样本点在每条特征线上的投影点，从而实现样本数据的扩容工作，解决流形空间采样不够稠密的问题；然后从得到的投影点中选择与待查询样本点最近邻的部分投影点，求取待查询样本点与最近邻投影点之间的线性重构权重；最后用与最近邻部分低分辨率投影点相对应的高分辨率投影点替换低分辨率投影点，重建获得目标高分辨率图像。
上述方法虽然极大地扩充了样本数据的表达能力，但在选择最近邻投影点时，缺乏必要的约束信息，引入原图像不存在的细节信息，造成了图像重建效果不理想。
发明内容
本发明的目的在于提供改进的基于最近特征线流形学习的人脸超分辨率重建方法,能够在最近特征线流形学习的人脸超分辨率重建方法的基础上，尽量避免引入原图像不存在的细节信息，提高低分辨率图像的重建效果。
本发明采用的技术方案为：一种改进的基于最近特征线流形学习的人脸超分辨率重建方法，包括如下步骤：
步骤1，输入低分辨率人脸图像，对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块。
步骤2，对于输入的低分辨率人脸图像中每个图像块，取低分辨率训练集中每个低分辨率人脸样本图像相应位置的图像块作为样本点，建立低分辨率人脸样本块空间，计算在低分辨率人脸样本块空间上的K个最近的投影点，其中对于投影点落在样本点之间的连接线的外推线上的情况，根据约束参数W，找出不符合实际的投影点，计算出符合实际的最近的点作为替代。
步骤3，对于输入的低分辨率人脸图像中每个图像块，使用步骤2所得低分辨率人脸样本块空间上的K个最近的投影点进行线性重构，得到线性重构的权重系数。
步骤4，对于输入的低分辨率人脸图像中每个图像块，取高分辨率训练集中每个高分辨率人脸样本图像相应位置的图像块作为样本点，建立高分辨率人脸样本块空间，计算在高分辨率人脸样本块空间上与步骤2所得低分辨率人脸样本块空间上的K个最近的投影点分别对应的K个样本点。
步骤5，将步骤2所得低分辨率人脸样本块空间上的K个最近的投影点，替换为步骤4所得高分辨率人脸样本块空间上的K个样本点，使用步骤3所得权重系数，加权重构出高分辨率的图像块。
步骤6，将所有加权重构出的高分辨率的图像块按照位置叠加，然后除以每个像素位置交叠的次数，重构出高分辨率人脸图像。
进一步地在步骤1中将输入的低分辨率人脸图像、高分辨率训练集和低分辨率训练集分别转化为一维向量，得到待重建低分辨率图像x、高分辨率图像训练样本和低分辨率图像训练样本其中N表示高分辨率图像训练样本和低分辨率图像训练样本中训练样本图样的个数。
将待重建低分辨率图像x、高分辨率图像训练样本Y中的每个训练样本图样和低分辨率图像训练样本X中的每个训练样本图样分别划分为互相重叠且等大小的图像块后，所构成的待重建低分辨率图像块集、高分辨率图像训练样本集和低分辨率图像训练样本集分别为： {xi|1≤i≤M}，其中M表示每个图像划分的图像块个数。
步骤2中，对低分辨率人脸图像中的每个图像块，计算在低分辨率人脸样本块空间上的 K个最近的投影点具体包括步骤2.1-2.6：
步骤2.1，对待重建低分辨率图像块集中的第t个图像块xt，分别提取高分辨率图像训练样本集和低分辨率图像训练样本集中每个分块后训练样本图样的第t个图像块，组成高分辨率训练图像块集合Ht和低分辨率训练图像块集合Lt，
步骤2.2，从低分辨率训练图像块集合Lt中，选出和图像块xt欧氏距离最近的Kpre个样本图像块，组成筛选后的低分辨率近邻图像块集合其中表示xt的邻域集合，表示邻域中的图像块个数。
步骤2.3，将经过筛选后的低分辨率近邻图像块集合LKpre t中任意两个样本点和相连接，形成条特征线j1和j2均为整数且1≤j1≤j2≤N。
步骤2.4，计算输入图像块xt在所有特征线上的投影点 表示位置参数，其中
那么，输入图像块xt与特征线的距离可以看作是xt与投影点的距离，即
其中，表示输入图像块xt到投影点的欧氏距离。
步骤2.5，根据实际情况对投影点进行区分计算；当投影点没有落在样本点和外推线上时，说明投影点落在样本点和的连线的线段之间，投影点不用替换；当投影点落在样本点和外推线上时，计算投影点到样本点和的欧氏距离：和若投影点到样本点的欧氏距离较小，把两样本点和的欧氏距离乘以约束参数W，若则令投影点为令为放入待选择样本集合，若投影点到样本点的欧氏距离较小，处理方式与上述方式相同。
步骤2.6，根据步骤2.5得到的从低分辨率近邻图像块集合LKpre t中查找图像块xt的K个最近邻投影点，即相当于找出图像块xt与DR条特征线的投影点距离最近的K个，构成低分辨率最近邻样本投影点集合C(t)为K个最近邻样本投影点下标的集合。
步骤3中，对输入的待重建低分辨率图像块集中的第t个图像块xt，利用步骤2.6从低分辨率近邻图像块集合LKpre t中筛选出的K个最近邻样本的投影点构成的低分辨率最近邻样本投影点集合进行线性重构，获得目标重构权重Wt。
步骤4中，对于输入的待重建低分辨率图像块集中第t个图像块xt，在高分辨率训练图像块集合Ht中计算与低分辨率最近邻样本投影点集合的每个投影点分别对应的K个投影点图像块，构成高分辨率最近邻样本投影点集合其中
为步骤2.4计算出的在j1＝c，j2＝d时所取的值。
步骤5中，对于输入的待重建低分辨率图像块集中第t个图像块xt，将步骤4得到的高分辨率最近邻样本投影点集合线性合成目标高分辨率图像块yt，合成系数Wt：
进一步地步骤2.5中，约束参数W的值为1.25。
本发明的主要优点为：通过在现有基于最近特征线流形学习的人脸超分辨率重建方法的步骤中对于投影点落在两个样本点之间的连接线的外推线上的情况进行区分处理，若投影点到两个样本点的欧氏距离之和大于两个样本点之间的欧氏距离的W倍，则从两个样本点中查找距离投影点较近的样本点替换投影点，形成待筛选点集，这样对投影点进行限制使得其与样本点具有更强的关联性，可以很大程度地提高新得到的样本数据对输入低分辨率图像块的表达能力，尽量避免引入原图像不存在的细节信息，提高低分辨率图像的重建效果。
进一步地约束参数W的值取1.25，可以使低分辨率图像在进行重建时达到更好的重建效果。
附图说明
图1为本发明的流程图；
图2为本发明所述的投影点落在两个样本点之间的连接线的外推线上的示意图；
图3为本发明在不同约束条件W下客观评价指标PSNR的变化情况示意图；
图4为本发明在不同约束条件W下客观评价指标SSIM的变化情况示意图。
具体实施方式
本发明的技术方案可采用软件形式实现自动流程运行，下面结合实施例和附图对本发明的技术方案进行进一步的阐述，如图1所示，一种改进的基于最近特征线流形学习的人脸超分辨率重建方法，具体包括如下步骤：
步骤1，输入低分辨率人脸图像，对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块；本步骤中将输入的低分辨率人脸图像、高分辨率训练集和低分辨率训练集分别转化为一维向量，得到待重建低分辨率图像x、高分辨率图像训练样本和低分辨率图像训练样本其中N表示高分辨率图像训练样本和低分辨率图像训练样本中训练样本图样的个数。
将待重建低分辨率图像x、高分辨率图像训练样本Y中的每个训练样本图样和低分辨率图像训练样本X中的每个训练样本图样分别划分为互相重叠且等大小的图像块后，所构成的待重建低分辨率图像块集、高分辨率图像训练样本集和低分辨率图像训练样本集分别为： {xi|1≤i≤M}，其中M表示每个图像划分的图像块个数。
本实施例采用的是CAS-PEAL-RI人脸库，CAS-PEAL-RI人脸库是在专门的实验环境下得到，包含1040个个体，涵盖了这些个体在不同姿势、光照和表情下的共30871张面部图像；本发明选取数据库中的中性表情、正常光照下的1040个人脸图像，首先抠取个体图像的人脸区域，将其裁剪成112×100像素的图像，以人脸图像的鼻尖、两个嘴角和两眼中心作为特征点进行手工标注，然后进行放射变换对齐，获得高分辨率训练集；低分辨率训练集由高分辨率训练集进行模糊4倍下采样获得，将其中1000张图像对作为训练样本，另外40张作为测试图像。
本实施例共涉及五个参数，即预筛选图像块个数Kpre，最近邻样本投影个数K，待重建低分辨率图像块集、高分辨率图像训练样本集和低分辨率图像训练样本集中图像块的大小、相邻图像块之间的重叠像素数、样本点和投影点之间对比的约束条件W，将图像块的大小均设置为7×7，图像块之间交叠的像素数设置为4，为方便实验的顺利进行，针对其他参数分别进行测试，W>1，只有W>1的情况下，投影点才能在外推线上；1≤Kpre≤1040，但是如果取的样本值太小，由于缺乏样本数据，就会使结果不理想，若取值太大，算法复杂度极具增加，实验难度几何倍增大；经过最近特征线处理之后，总的投影点个数为大于3是为了获得足够的样本数据，使得效果更好。
步骤2，对于输入的低分辨率人脸图像中每个图像块，取低分辨率训练集中每个低分辨率人脸样本图像相应位置的图像块作为样本点，建立低分辨率人脸样本块空间，计算在低分辨率人脸样本块空间上的K个最近的投影点，其中对于投影点落在两个样本点之间的连接线的外推线上的情况，根据约束参数W，找出不符合实际的投影点，计算出符合实际的最近的点作为替代。
本步骤中对低分辨率人脸图像中的每个图像块，计算在低分辨率人脸样本块空间上的K 个最近的投影点又具体包括步骤2.1-2.6：
步骤2.1，对待重建低分辨率图像块集中的第t个图像块xt，分别提取高分辨率图像训练样本集和低分辨率图像训练样本集中每个分块后训练样本图样的第t个图像块，组成高分辨率训练图像块集合Ht和低分辨率训练图像块集合Lt，低分辨率训练图像块集合Lt代表低分辨率人脸样本块空间，高分辨率训练图像块集合Ht代表高分辨率人脸样本块空间。
步骤2.2，从低分辨率训练图像块集合Lt中，选出和图像块xt欧氏距离最近的Kpre个样本图像块，组成筛选后的低分辨率近邻图像块集合其中表示xt的邻域集合，表示邻域中的图像块个数。
步骤2.3，将经过筛选后的低分辨率近邻图像块集合LKpre t中任意两个样本点和相连接，形成条特征线j1和j2均为整数且1≤j1≤j2≤N。
步骤2.4，计算输入图像块xt在所有特征线上的投影点 表示位置参数，其中
那么，输入图像块xt与特征线的距离可以看作是xt与投影点的距离，即
其中，表示输入图像块xt到投影点的欧氏距离。
步骤2.5，根据实际情况对投影点进行区分计算，当投影点没有落在样本点和外推线上时，说明投影点落在样本点和的连线的线段之间，投影点不用替换；当投影点落在样本点和外推线上时，计算投影点到样本点和的欧氏距离：和若投影点到样本点的欧氏距离较小，把两样本点和的欧氏距离乘以约束参数W，若则令投影点为令为放入待选择样本集合，由于这种情况不存在，本发明中不考虑这种情况，另外当说明投影点落在样本点和的连线的线段之间，投影点不用替换；若投影点到样本点的欧氏距离较小，处理方式与上述方式相同。
如图2所示，和分别是输入查询点xi在特征线和上的投影点，xi到的距离更近即xi与有更相似的特征，但距离样本点和距离过远，若根据改进前的基于最近特征线流形学习的人脸超分辨率算法优先选择则与实际不符，因此对于样本点和构成的特征线，若输入查询点xi投影在和的外推线上如且距离最近的一个样本点的欧氏距离大于样本点和欧氏距离的W倍，则从样本点和中查找距离投影点较近的样本点替换投影点形成待筛选点集，对投影点的限制使得其与样本点具有更强的关联性，可以很大程度地提高新得到的样本数据对输入低分辨率图像块的表达能力。
为了更好地确定不同W对基于最近特征线流形学习的人脸超分辨率的改进算法重建结果的影响，在不同的W下确定其PSNR和SSIM的值，以方便分析算法性能，其中PSNR为峰值信噪比，是一种评价图像的客观标准，PSNR值越大，就代表失真越少，SSIM为结构相似性，是一种衡量两幅图像相似度的指标，结构相似性的范围为-1至1，当两张图像一模一样时，SSIM的值等于1。
参见图3和图4，随着约束参数W的增加，客观评价指标PSNR和SSIM的值处于先上升后下降的趋势，随着W不断增加，客观评价指标PSNR和SSIM值逐渐趋近于未改进前的基于最近特征线流形学习的人脸超分辨率算法，当W取1.25时重建图像的PSNR指标达到最佳，当W取1.7时重建图像的SSIM指标达到最好，由于SSIM值变化幅度较小，因此本实施例中将约束参数W设置为1.25。
图像重建效果随约束参数W变化的原因在于，随着W的变化约束条件对于投影点的选择约束力度变小，当W很小时，则会将处于样本点外侧却与最近样本点欧氏距离非常小的投影点替换掉，因此重建效果会出现短暂的降低；随着W的增加，约束条件对于距离样本点较远影响到图像重建的投影点没有及时进行替换，造成图像重建效果不理想，在保持其他参数不变的情况下，针对预选点个数和最近邻投影点个数分别进行试验，经过试验得知当Kpre为 60、K为30时，本实施例取得最佳实验效果。
步骤2.6，根据步骤2.5得到的从低分辨率近邻图像块集合LKpre t中查找图像块xt的K个最近邻投影点，即相当于找出图像块xt与DR条特征线的投影点距离最近的K个，构成低分辨率最近邻样本投影点集合C(t)为K个最近邻样本投影点下标的集合。
步骤3，对于输入的低分辨率人脸图像中每个图像块，使用步骤2所得低分辨率人脸样本块空间上的K个最近的投影点进行线性重构，得到线性重构的权重系数。
步骤3具体为，对输入的待重建低分辨率图像块集中的第t个图像块xt，利用步骤2.6从低分辨率近邻图像块集合LKpre t中筛选出的K个最近邻样本的投影点构成的低分辨率最近邻样本投影点集合进行线性重构，获得目标重构权重Wt，目标重构权重Wt的计算属于现有技术，在此不再赘述。
步骤4，对于输入的低分辨率人脸图像中每个图像块，取高分辨率训练集中每个高分辨率人脸样本图像相应位置的图像块作为样本点，建立高分辨率人脸样本块空间，计算在高分辨率人脸样本块空间上与步骤2所得低分辨率人脸样本块空间上的K个最近的投影点分别对应的K个样本点。
步骤4具体为，对于输入的待重建低分辨率图像块集中第t个图像块xt，在高分辨率训练图像块集合Ht中计算与低分辨率最近邻样本投影点集合的每个投影点分别对应的K个投影点图像块，构成高分辨率最近邻样本投影点集合其中
为步骤2.4计算出的在j1＝c，j2＝d时所取的值。
步骤5，将步骤2所得低分辨率人脸样本块空间上的K个最近的投影点，替换为步骤4所得高分辨率人脸样本块空间上的K个样本点，使用步骤3所得权重系数，加权重构出高分辨率的图像块。
步骤5具体为，对于输入的待重建低分辨率图像块集中第t个图像块xt，将步骤4得到的高分辨率最近邻样本投影点集合Ht K线性合成目标高分辨率图像块yt，合成系数Wt：
合成系数Wt在实际计算中为一个矩阵或集合，为其中的一个元素。
步骤6，将所有加权重构出的高分辨率的图像块按照位置叠加，然后除以每个像素位置交叠的次数，重构出高分辨率人脸图像。
综上所述，本发明在现有基于最近特征线流形学习的人脸超分辨率重建方法的基础上，通过对于投影点落在两个样本点之间的连接线的外推线上的情况进行区分处理，即当投影点到两个样本点的欧氏距离大于两个样本点之间的欧氏距离的W倍，则从两个样本点中查找距离投影点较近的样本点替换投影点，形成待筛选点集，这样对投影点进行限制使得其与样本点具有更强的关联性，可以很大程度地提高新得到的样本数据对输入低分辨率图像块的表达能力，尽量避免引入原图像不存在的细节信息，提高低分辨率图像的重建效果；另外本发明受到了国家自然科学基金项目(项目编号：U1404618)和河南省科技发展计划项目资助(项目编号：172102210186)，在图像处理技术领域具有很好的研究价值。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (3)
1.一种改进的基于最近特征线流形学习的人脸超分辨率重建方法，其特征在于，包括如下步骤：
步骤1，输入低分辨率人脸图像，对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块；
步骤2，对于输入的低分辨率人脸图像中每个图像块，取低分辨率训练集中每个低分辨率人脸样本图像相应位置的图像块作为样本点，建立低分辨率人脸样本块空间，计算在低分辨率人脸样本块空间上的K个最近的投影点，其中对于投影点落在样本点之间的连接线的外推线上的情况，根据约束参数W，找出不符合实际的投影点，计算出符合实际的最近的点作为替代；
步骤3，对于输入的低分辨率人脸图像中每个图像块，使用步骤2所得低分辨率人脸样本块空间上的K个最近的投影点进行线性重构，得到线性重构的权重系数；
步骤4，对于输入的低分辨率人脸图像中每个图像块，取高分辨率训练集中每个高分辨率人脸样本图像相应位置的图像块作为样本点，建立高分辨率人脸样本块空间，计算在高分辨率人脸样本块空间上与步骤2所得低分辨率人脸样本块空间上的K个最近的投影点分别对应的K个样本点；
步骤5，将步骤2所得低分辨率人脸样本块空间上的K个最近的投影点，替换为步骤4所得高分辨率人脸样本块空间上的K个样本点，使用步骤3所得权重系数，加权重构出高分辨率的图像块；
步骤6，将所有加权重构出的高分辨率的图像块按照位置叠加，然后除以每个像素位置交叠的次数，重构出高分辨率人脸图像。
2.根据权利要求1所述的改进的基于最近特征线流形学习的人脸超分辨率重建方法，其特征在于：
步骤1中将输入的低分辨率人脸图像、高分辨率训练集和低分辨率训练集分别转化为一维向量，得到待重建低分辨率图像x、高分辨率图像训练样本和低分辨率图像训练样本其中N表示高分辨率图像训练样本和低分辨率图像训练样本中训练样本图样的个数；
将待重建低分辨率图像x、高分辨率图像训练样本Y中的每个训练样本图样和低分辨率图像训练样本X中的每个训练样本图样分别划分为互相重叠且等大小的图像块后，所构成的待重建低分辨率图像块集、高分辨率图像训练样本集和低分辨率图像训练样本集分别为：{xi|1≤i≤M}，其中M表示每个图像划分的图像块个数；
步骤2中，对低分辨率人脸图像中的每个图像块，计算在低分辨率人脸样本块空间上的K个最近的投影点具体包括步骤2.1-2.6：
步骤2.1，对待重建低分辨率图像块集中的第t个图像块xt，分别提取高分辨率图像训练样本集和低分辨率图像训练样本集中每个分块后训练样本图样的第t个图像块，组成高分辨率训练图像块集合Ht和低分辨率训练图像块集合Lt，
步骤2.2，从低分辨率训练图像块集合Lt中，选出和图像块xt欧氏距离最近的Kpre个样本图像块，组成筛选后的低分辨率近邻图像块集合其中表示xt的邻域集合，表示邻域中的图像块个数；
步骤2.3，将经过筛选后的低分辨率近邻图像块集合LKpre t中任意两个样本点和相连接，形成条特征线j1和j2均为整数且1≤j1≤j2≤N；
步骤2.4，计算输入图像块xt在所有特征线上的投影点 表示位置参数，其中
那么，输入图像块xt与特征线的距离可以看作是xt与投影点的距离，即
其中，表示输入图像块xt到投影点的欧氏距离；
步骤2.5，根据实际情况对投影点进行区分计算；当投影点没有落在样本点和外推线上时，说明投影点落在样本点和的连线的线段之间，投影点不用替换；当投影点落在样本点和外推线上时，计算投影点到样本点和的欧氏距离：和若投影点到样本点的欧氏距离较小，把两样本点和的欧氏距离乘以约束参数W，若则令投影点为令为放入待选择样本集合，若投影点到样本点的欧氏距离较小，处理方式与上述方式相同；
步骤2.6，根据步骤2.5得到的从低分辨率近邻图像块集合LKpre t中查找图像块xt的K个最近邻投影点，即相当于找出图像块xt与DR条特征线的投影点距离最近的K个，构成低分辨率最近邻样本投影点集合C(t)为K个最近邻样本投影点下标的集合；
步骤3中，对输入的待重建低分辨率图像块集中的第t个图像块xt，利用步骤2.6从低分辨率近邻图像块集合LKpre t中筛选出的K个最近邻样本的投影点构成的低分辨率最近邻样本投影点集合进行线性重构，获得目标重构权重Wt；
步骤4中，对于输入的待重建低分辨率图像块集中第t个图像块xt，在高分辨率训练图像块集合Ht中计算与低分辨率最近邻样本投影点集合的每个投影点分别对应的K个投影点图像块，构成高分辨率最近邻样本投影点集合其中
为步骤2.4计算出的在j1＝c，j2＝d时所取的值；
步骤5中，对于输入的待重建低分辨率图像块集中第t个图像块xt，将步骤4得到的高分辨率最近邻样本投影点集合线性合成目标高分辨率图像块yt，合成系数Wt：
3.根据权利要求2所述的改进的基于最近特征线流形学习的人脸超分辨率重建方法，其特征在于：步骤2.5中，约束参数W的值为1.25。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710817616.1A CN107680037B (zh) | 2017-09-12 | 2017-09-12 | 改进的基于最近特征线流形学习的人脸超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710817616.1A CN107680037B (zh) | 2017-09-12 | 2017-09-12 | 改进的基于最近特征线流形学习的人脸超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107680037A true CN107680037A (zh) | 2018-02-09 |
| CN107680037B CN107680037B (zh) | 2020-09-29 |
Family
ID=61135193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710817616.1A Active CN107680037B (zh) | 2017-09-12 | 2017-09-12 | 改进的基于最近特征线流形学习的人脸超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107680037B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108447020A (zh) * | 2018-03-12 | 2018-08-24 | 南京信息工程大学 | 一种基于极深卷积神经网络的人脸超分辨率重建方法 |
| CN109343692A (zh) * | 2018-09-18 | 2019-02-15 | 河南大学 | 基于图像分割的移动设备显示器省电方法 |
| CN109359655A (zh) * | 2018-09-18 | 2019-02-19 | 河南大学 | 基于上下文正则化循环深度学习的图像分割方法 |
| CN113516588A (zh) * | 2021-04-26 | 2021-10-19 | 中国工商银行股份有限公司 | 一种图像生成方法、装置及设备 |
| CN114549323A (zh) * | 2022-02-28 | 2022-05-27 | 福建师范大学 | 基于经验关系偏差纠正的鲁棒人脸超分辨处理方法及其*** |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004075093A2 (en) * | 2003-02-14 | 2004-09-02 | University Of Rochester | Music feature extraction using wavelet coefficient histograms |
| CN102402784A (zh) * | 2011-12-16 | 2012-04-04 | 武汉大学 | 一种基于最近特征线流形学习的人脸图像超分辨率方法 |
| CN103336960A (zh) * | 2013-07-26 | 2013-10-02 | 电子科技大学 | 一种基于流形学习的人脸识别方法 |
| CN103824272A (zh) * | 2014-03-03 | 2014-05-28 | 武汉大学 | 基于k近邻重识别的人脸超分辨率重建方法 |
| CN104112147A (zh) * | 2014-07-25 | 2014-10-22 | 哈尔滨工业大学深圳研究生院 | 一种基于最近特征线的人脸特征提取方法和装置 |
| CN104933692A (zh) * | 2015-07-02 | 2015-09-23 | 中国地质大学（武汉） | 一种人脸超分辨率的重建方法及装置 |
| CN105023240A (zh) * | 2015-07-08 | 2015-11-04 | 北京大学深圳研究生院 | 基于迭代投影重建的字典类图像超分辨率***及方法 |
| CN105488776A (zh) * | 2014-10-10 | 2016-04-13 | 北京大学 | 超分辨率图像重建方法和装置 |
| CN107133921A (zh) * | 2016-02-26 | 2017-09-05 | 北京大学 | 基于多层次邻域嵌入的图像超分辨率重建方法及*** |
-
2017
- 2017-09-12 CN CN201710817616.1A patent/CN107680037B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004075093A2 (en) * | 2003-02-14 | 2004-09-02 | University Of Rochester | Music feature extraction using wavelet coefficient histograms |
| CN102402784A (zh) * | 2011-12-16 | 2012-04-04 | 武汉大学 | 一种基于最近特征线流形学习的人脸图像超分辨率方法 |
| CN103336960A (zh) * | 2013-07-26 | 2013-10-02 | 电子科技大学 | 一种基于流形学习的人脸识别方法 |
| CN103824272A (zh) * | 2014-03-03 | 2014-05-28 | 武汉大学 | 基于k近邻重识别的人脸超分辨率重建方法 |
| CN104112147A (zh) * | 2014-07-25 | 2014-10-22 | 哈尔滨工业大学深圳研究生院 | 一种基于最近特征线的人脸特征提取方法和装置 |
| CN105488776A (zh) * | 2014-10-10 | 2016-04-13 | 北京大学 | 超分辨率图像重建方法和装置 |
| CN104933692A (zh) * | 2015-07-02 | 2015-09-23 | 中国地质大学（武汉） | 一种人脸超分辨率的重建方法及装置 |
| CN105023240A (zh) * | 2015-07-08 | 2015-11-04 | 北京大学深圳研究生院 | 基于迭代投影重建的字典类图像超分辨率***及方法 |
| CN107133921A (zh) * | 2016-02-26 | 2017-09-05 | 北京大学 | 基于多层次邻域嵌入的图像超分辨率重建方法及*** |
Non-Patent Citations (3)
| Title |
|---|
| YOUFU DU，ET AL: "An improved classifier based on nearest feature line", 《2012 INTERNATIONAL CONFERENCE ON INFORMATION SECURITY AND》 * |
| 徐征: "人脸图像特征提取和分类算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 谭冠群，丁华福: "改进的K最近特征线算法在文本分类中的应用", 《哈尔滨理工大学学报》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108447020A (zh) * | 2018-03-12 | 2018-08-24 | 南京信息工程大学 | 一种基于极深卷积神经网络的人脸超分辨率重建方法 |
| CN109343692A (zh) * | 2018-09-18 | 2019-02-15 | 河南大学 | 基于图像分割的移动设备显示器省电方法 |
| CN109359655A (zh) * | 2018-09-18 | 2019-02-19 | 河南大学 | 基于上下文正则化循环深度学习的图像分割方法 |
| CN109359655B (zh) * | 2018-09-18 | 2021-07-16 | 河南大学 | 基于上下文正则化循环深度学习的图像分割方法 |
| CN109343692B (zh) * | 2018-09-18 | 2021-07-23 | 河南大学 | 基于图像分割的移动设备显示器省电方法 |
| CN113516588A (zh) * | 2021-04-26 | 2021-10-19 | 中国工商银行股份有限公司 | 一种图像生成方法、装置及设备 |
| CN114549323A (zh) * | 2022-02-28 | 2022-05-27 | 福建师范大学 | 基于经验关系偏差纠正的鲁棒人脸超分辨处理方法及其*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107680037B (zh) | 2020-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107680037A (zh) | 改进的基于最近特征线流形学习的人脸超分辨率重建方法 | |
| CN113065558B (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| Liu et al. | Adcrowdnet: An attention-injective deformable convolutional network for crowd understanding | |
| CN109819321A (zh) | 一种视频超分辨率增强方法 | |
| Zhang et al. | Two-stream action recognition-oriented video super-resolution | |
| CN108334847A (zh) | 一种真实场景下的基于深度学习的人脸识别方法 | |
| CN106203277B (zh) | 基于sift特征聚类的固定镜头实时监控视频特征提取方法 | |
| CN101630405B (zh) | 一种利用核Fisher分类与冗余小波变换的多聚焦图像融合方法 | |
| Xiaolin et al. | Small object detection in remote sensing images based on super-resolution | |
| Tian et al. | Small object detection via dual inspection mechanism for UAV visual images | |
| CN110458165A (zh) | 一种引入注意力机制的自然场景文本检测方法 | |
| CN109711401A (zh) | 一种基于Faster Rcnn的自然场景图像中的文本检测方法 | |
| Cai et al. | HIPA: hierarchical patch transformer for single image super resolution | |
| CN110413828A (zh) | 基于优化遗传算法的遥感海量影像自动筛选方法 | |
| CN110490796A (zh) | 一种高低频成分融合的人脸超分辨率处理方法及*** | |
| CN116503725A (zh) | 红外弱小目标实时检测方法及装置 | |
| CN116206214A (zh) | 一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法、***、设备及介质 | |
| Sivakumar et al. | Implementation of differential evolution algorithm to perform image fusion for identifying brain tumor | |
| CN114612709A (zh) | 图像金字塔特征指导的多尺度目标检测方法 | |
| Zhu et al. | Super resolution reconstruction method for infrared images based on pseudo transferred features | |
| CN117291803B (zh) | Pamgan轻量化面部超分辨率重建方法 | |
| CN104717574B (zh) | 一种视频摘要中事件与背景的融合方法 | |
| Yibin et al. | Terahertz image super-resolution reconstruction of passive safety inspection based on generative adversarial network | |
| Xiu et al. | Double discriminative face super-resolution network with facial landmark heatmaps | |
| Du et al. | Efficient spatial pyramid of dilated convolution and bottleneck network for zero-shot super resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |