CN107133921A - 基于多层次邻域嵌入的图像超分辨率重建方法及*** - Google Patents
基于多层次邻域嵌入的图像超分辨率重建方法及*** Download PDFInfo
- Publication number
- CN107133921A CN107133921A CN201610108841.3A CN201610108841A CN107133921A CN 107133921 A CN107133921 A CN 107133921A CN 201610108841 A CN201610108841 A CN 201610108841A CN 107133921 A CN107133921 A CN 107133921A
- Authority
- CN
- China
- Prior art keywords
- image
- neighborhood
- pass
- band
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 42
- 230000008569 process Effects 0.000 claims abstract description 12
- 230000009466 transformation Effects 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 15
- 230000015556 catabolic process Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000003780 insertion Methods 0.000 description 7
- 230000037431 insertion Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明提供了一种基于多层次邻域嵌入的图像超分辨率重建方法和一种基于多层次邻域嵌入的图像超分辨率重建***，其中，所述方法包括：对待处理图像进行可控金字塔分解操作，得到高通图像、低通剩余图像和多个方向上的带通子带图像；根据邻域嵌入算法对所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别进行重建处理，得到对应的高分辨率子带图像；对多个所述高分辨率子带图像进行所述可控金字塔分解操作的逆变换处理，以生成高分辨率图像。通过本发明的技术方案，可以有效地解决因直接重建图像的所有高频成分导致图像的纹理细节被平滑的问题，从而提高图像超分辨率重建的精确度。
Description
技术领域
本发明涉及计算机图像处理技术领域，具体而言，涉及一种基于多层次邻域嵌入的图像超分辨率重建方法和一种基于多层次邻域嵌入的图像超分辨率重建***。
背景技术
图像超分辨率重建是为了克服成像过程设备或技术的限制，从单帧低分辨率图像或低分辨率图像序列中重建一个高分辨率图像。目前，图像超分辨率重建算法可以分为三类：基于插值的算法，基于重建的算法和基于学习的算法。
具体地：(1)基于插值的算法是采用线性或非线性的算法，利用已知像素点估计出未知的像素值，例如NEDI(插值算法的简称，New Edge-Directed Interpolation)，SAI(插值算法的简称，Soft-decision Adaptive Interpolation)。(2)基于重建的算法是采用最大后验可能性模型使用各种正则项作为约束来描述自然图像的特征。(3)基于学习的算法是依赖于外部的数据集建立低分辨率图像块和高分辨率图像块之间的关系，本领域的研究人员提出了不同的模型来描述这种关系，包括利用马尔科夫随机场模型来描述，每一个低分辨率图像块对应几个高分辨率候选图像块，这一特点符合马尔科夫随机场模型的结构构造且可以通过图割或者置信传播的方法解决，然而这种算法计算复杂度很高。
另外，Yang等人(Jianchao Yang等人，2010TIP Image super-resolution viasparse representation的作者)提出基于稀疏表示的图像超分辨率算法，通过分别训练高低分辨率图像的字典，将输入的低分辨率图像用低分辨率字典稀疏表示，然后将该稀疏系数与对应的高分辨率字典相乘即可得高分辨率的图像。以及，基于高低分辨率图像块共享相似线性几何流形的假设，Chang等人(Hong Chang等人，2004CVPR Super-resolutionthrough neighbor embedding的作者)提出了邻域嵌入算法。
但是，现有的图像超分辨率算法均直接重建图像的空间差异部分，也就是图像的高频成分，然而，图像的结构特征可能体现在不同方向的频率域中，特别是在图像纹理比较丰富的情况下，直接重建图像的所有高频成分会导致图像的纹理细节直接被平滑。
因此，如何解决上述问题，提高图像超分辨率重建的精确度成为亟待解决的技术问题。
发明内容
本发明正是基于上述技术问题，提出了一种新的技术方案，可以有效地解决因直接重建图像的所有高频成分导致图像的纹理细节被平滑的问题，从而提高图像超分辨率重建的精确度。
有鉴于此，本发明的第一方面，提出了一种基于多层次邻域嵌入的图像超分辨率重建方法，包括：对待处理图像进行可控金字塔分解操作，得到高通图像、低通剩余图像和多个方向上的带通子带图像；根据邻域嵌入算法对所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别进行重建处理，得到对应的高分辨率子带图像；对多个所述高分辨率子带图像进行所述可控金字塔分解操作的逆变换处理，以生成高分辨率图像。
在该技术方案中，通过对将待处理图像(比如，单帧低分辨率图像或低分辨率图像序列)经可控金字塔分解操作得到的高通图像、低通剩余图像和多个方向上的带通子带图像均使用邻域嵌入算法进行重建，进而经可控金字塔分解操作的逆变换生成高分辨率图像，如此，有效地解决了现有的图像超分辨率重建方法中因直接重建图像的所有高频成分导致图像的纹理细节被平滑的问题，从而提高图像超分辨率重建的精确度。
在上述技术方案中，优选地，所述对待处理图像进行可控金字塔分解操作，得到高通图像、低通剩余图像和多个方向上的带通子带图像，具体包括：根据预设分解公式计算所述待处理图像对一组多方向的可控带通滤波器的响应，以得到所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像，所述预设分解公式为：其中，Xt表示所述待处理图像，表示所述多个方向上的带通子带，Xt 0表示所述高通图像，Xt N+1表示所述低通剩余图像，F(·)和F-1(·)分别代表傅里叶变换和傅里叶逆变换，f(θi)代表方向为θi的可控带通滤波器，gi表示根据可控带通滤波器计算出的高通滤波器或低通滤波器。
在该技术方案中，具体地通过一组多方向的可控带通滤波器对待处理图像进行滤波得到高通图像、低通剩余图像和多个方向上的带通子带图像，以确保得到多个图像层次，进而对每个图像层次的图像均进行相应的邻域嵌入处理。
在上述任一技术方案中，优选地，根据邻域嵌入算法对所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别进行重建处理，得到对应的高分辨率子带图像，具体包括：将所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别分解为对应的图像块；对于每个所述图像块利用K-NN算法在对应图像层次的字典数据库中查找K个近邻的邻域图像块，以得到K个重建系数；根据所述K个重建系数和所述K个近邻的领域图像块得到所述对应的高分辨率子带图像。
在该技术方案中，当根据邻域嵌入算法对分解得到的每个图像层次的图像进行重建处理时，首先需要将相应的图像分解为多个图像块，并针对每个图像块利用K-NN算法(K-Nearest Neighbor，一种寻找最近邻的算法)获取其最近邻的K个邻域图像块(即相似度高的图像块)，进而估计出相应的K个重建系数，然后经将每个邻域图像块与对应的重建系数相乘、将相乘结果合并，从而得到分辨率显著提高的高分辨率子带图像，其中，对应图像层次的字典数据库是指将待处理图像分解后形成的所有的高频图像集合、低频图像集合以及各个方向对应的图像集合。
在上述任一技术方案中，优选地，对于所述多个方向上的带通子带图像和所述高通图像，根据全局特征信息和局部特征信息在对应图像层次的字典数据库中查找所述K个近邻的邻域图像块；对于所述低通剩余图像，根据联合局部特征信息在对应图像层次的字典数据库中查找所述K个近邻的邻域图像块。
在该技术方案中，每个图像块的重建质量很大程度上取决于查找到的最近邻的邻域图像块的精确性，则用于选择相似块的标准显得至关重要，那么为了确保不同图像层次的图像块的重建效果，对于高通图像和多个方向上的带通子带图像，引入待处理图像的图像块特征信息作为全局特征信息，将高通图像和多个方向上的带通子带图像的图像块表现出的特征信息作为局部特征信息；而对于低通剩余图像，由于其低频性更加平滑，导致其梯度特征不能有效地被提取，但其是连续的且已包含了足够的图像结构信息，因此引入联合局部特征信息作为其相似性的度量。另外，特征信息指图像的纹理特征信息等，以确保图像超分辨率重建的精确度。
在上述任一技术方案中，优选地，还包括：利用非局部均值算法对所述高分辨率图像进行优化处理。
在该技术方案中，为了得到更好的重建效果，使用非局部均值算法将经可控金字塔分解操作的逆变换处理得到高分辨率图像进行优化处理，以减小高分辨率图像的各个相似图像块之间的重建误差。
本发明的第二方面，提出了一种基于多层次邻域嵌入的图像超分辨率重建***，包括：分解模块，用于对待处理图像进行可控金字塔分解操作，得到高通图像、低通剩余图像和多个方向上的带通子带图像；重建模块，用于根据邻域嵌入算法对所述分解模块分解得到的所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别进行重建处理，得到对应的高分辨率子带图像；处理模块，用于对所述重建模块处理得到的多个所述高分辨率子带图像进行所述可控金字塔分解操作的逆变换处理，以生成高分辨率图像。
在该技术方案中，通过对将待处理图像(比如，单帧低分辨率图像或低分辨率图像序列)经可控金字塔分解操作得到的高通图像、低通剩余图像和多个方向上的带通子带图像均使用邻域嵌入算法进行重建，进而经可控金字塔分解操作的逆变换生成高分辨率图像，如此，有效地解决了现有的图像超分辨率重建方法中因直接重建图像的所有高频成分导致图像的纹理细节被平滑的问题，从而提高图像超分辨率重建的精确度。
在上述技术方案中，优选地，所述分解模块具体用于：根据预设分解公式计算所述待处理图像对一组多方向的可控带通滤波器的响应，以得到所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像，所述预设分解公式为：其中，Xt表示所述待处理图像，表示所述多个方向上的带通子带，Xt 0表示所述高通图像，Xt N+1表示所述低通剩余图像，F(·)和F-1(·)分别代表傅里叶变换和傅里叶逆变换，f(θi)代表方向为θi的可控带通滤波器，gi表示根据可控带通滤波器计算出的高通滤波器或低通滤波器。
在该技术方案中，具体地通过一组多方向的可控带通滤波器对待处理图像进行滤波得到高通图像、低通剩余图像和多个方向上的带通子带图像，以确保得到多个图像层次，进而对每个图像层次的图像均进行相应的邻域嵌入处理。
在上述任一技术方案中，优选地，所述重建模块具体包括：分解子模块，用于将所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别分解为对应的图像块；查找子模块，用于对所述分解子模块分解得到的每个所述图像块利用K-NN算法在对应图像层次的字典数据库中查找K个近邻的邻域图像块，以得到K个重建系数；处理子模块，用于根据所述查找子模块处理得到的所述K个重建系数和所述K个近邻的领域图像块得到所述对应的高分辨率子带图像。
在该技术方案中，当根据邻域嵌入算法对分解得到的每个图像层次的图像进行重建处理时，首先需要将相应的图像分解为多个图像块，并针对每个图像块利用K-NN算法(K-Nearest Neighbor，一种寻找最近邻的算法)获取其最近邻的K个邻域图像块(即相似度高的图像块)，进而估计出相应的K个重建系数，然后经将每个邻域图像块与对应的重建系数相乘、将相乘结果合并，从而得到分辨率显著提高的高分辨率子带图像，其中，对应图像层次的字典数据库是指将待处理图像分解后形成的所有的高频图像集合、低频图像集合以及各个方向对应的图像集合。
在上述任一技术方案中，优选地，所述查找子模块具体用于：对于所述多个方向上的带通子带图像和所述高通图像，根据全局特征信息和局部特征信息在对应图像层次的字典数据库中查找所述K个近邻的邻域图像块；对于所述低通剩余图像，根据联合局部特征信息在对应图像层次的字典数据库中查找所述K个近邻的邻域图像块。
在该技术方案中，每个图像块的重建质量很大程度上取决于查找到的最近邻的邻域图像块的精确性，则用于选择相似块的标准显得至关重要，那么为了确保不同图像层次的图像块的重建效果，对于高通图像和多个方向上的带通子带图像，引入待处理图像的图像块特征信息作为全局特征信息，将高通图像和多个方向上的带通子带图像的图像块表现出的特征信息作为局部特征信息；而对于低通剩余图像，由于其低频性更加平滑，导致其梯度特征不能有效地被提取，但其是连续的且已包含了足够的图像结构信息，因此引入联合局部特征信息作为其相似性的度量。另外，特征信息指图像的纹理特征信息等，以确保图像超分辨率重建的精确度。
在上述任一技术方案中，优选地，还包括：优化模块，用于利用非局部均值算法对所述处理模块处理得到的所述高分辨率图像进行优化处理。
在该技术方案中，为了得到更好的重建效果，使用非局部均值算法将经可控金字塔分解操作的逆变换处理得到高分辨率图像进行优化处理，以减小高分辨率图像的各个相似图像块之间的重建误差。
通过以上技术方案，可以有效地解决因直接重建图像的所有高频成分导致图像的纹理细节被平滑的问题，从而提高图像超分辨率重建的精确度。
附图说明
图1示出了根据本发明的一个实施例的基于多层次邻域嵌入的图像超分辨率重建方法的流程示意图；
图2示出了根据本发明的一个实施例的低分辨率图像的分解结果示意图；
图3示出了根据本发明的一个实施例的基于多层次邻域嵌入的图像超分辨率重建***的框图；
图4示出了根据本发明的另一个实施例的基于多层次邻域嵌入的图像超分辨率重建方法的流程示意图；
图5示出了根据本发明的一个实施例的图像各层次相似块标准和重建示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
下面结合图1至图2对本发明的具体实施例进行详细说明。
图1示出了根据本发明的一个实施例的基于多层次邻域嵌入的图像超分辨率重建方法的流程示意图。
图2示出了根据本发明的一个实施例的低分辨率图像的分解结果示意图。
如图1所示，根据本发明的一个实施例的基于多层次邻域嵌入的图像超分辨率重建方法，包括：步骤102，对待处理图像进行可控金字塔分解操作，得到高通图像、低通剩余图像和多个方向上的带通子带图像；步骤104，根据邻域嵌入算法对所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别进行重建处理，得到对应的高分辨率子带图像；步骤106，对多个所述高分辨率子带图像进行所述可控金字塔分解操作的逆变换处理，以生成高分辨率图像。
在该技术方案中，通过对将待处理图像(比如，单帧低分辨率图像或低分辨率图像序列)经可控金字塔分解操作得到的高通图像、低通剩余图像和多个方向上的带通子带图像均使用邻域嵌入算法进行重建，进而经可控金字塔分解操作的逆变换生成高分辨率图像，如此，有效地解决了现有的图像超分辨率重建方法中因直接重建图像的所有高频成分导致图像的纹理细节被平滑的问题，从而提高图像超分辨率重建的精确度。
具体地，如图2所示，使用规模为1的自可逆、方向为2的可控金字塔变换从输入的待处理图像提取不同的频率成分的分解结果，从左至右分别为：高通图像，两个方向上的带通子带图像(0°,90°)，低通剩余图像。
在上述技术方案中，优选地，所述步骤102具体包括：根据预设分解公式计算所述待处理图像对一组多方向的可控带通滤波器的响应，以得到所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像，所述预设分解公式为：其中，Xt表示所述待处理图像，表示所述多个方向上的带通子带，Xt 0表示所述高通图像，Xt N+1表示所述低通剩余图像，F(·)和F-1(·)分别代表傅里叶变换和傅里叶逆变换，f(θi)代表方向为θi的可控带通滤波器，gi表示根据可控带通滤波器计算出的高通滤波器或低通滤波器。
在该技术方案中，具体地通过一组多方向的可控带通滤波器对待处理图像进行滤波得到高通图像、低通剩余图像和多个方向上的带通子带图像，以确保得到多个图像层次，进而对每个图像层次的图像均进行相应的邻域嵌入处理。
在上述任一技术方案中，优选地，所述步骤104具体包括：将所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别分解为对应的图像块；对于每个所述图像块利用K-NN算法在对应图像层次的字典数据库中查找K个近邻的邻域图像块，以得到K个重建系数；根据所述K个重建系数和所述K个近邻的领域图像块得到所述对应的高分辨率子带图像。
在该技术方案中，当根据邻域嵌入算法对分解得到的每个图像层次的图像进行重建处理时，首先需要将相应的图像分解为多个图像块，并针对每个图像块利用K-NN算法(K-Nearest Neighbor，一种寻找最近邻的算法)获取其最近邻的K个邻域图像块(即相似度高的图像块)，进而估计出相应的K个重建系数，然后经将每个邻域图像块与对应的重建系数相乘、将相乘结果合并，从而得到分辨率显著提高的高分辨率子带图像，其中，对应图像层次的字典数据库是指将待处理图像分解后形成的所有的高频图像集合、低频图像集合以及各个方向对应的图像集合。
为了更加高效地估计出更精确的重建系数，采用邻域嵌入算法使用l2范数来约束最小平方问题，可表示为如下：其中，图像块xt i为待重建的图像块，Nl i为xt i在低分辨率字典中通过K-NN算法得到的最近邻的图像块，为待求的重建系数，λ为平衡两项的权重，优选地可取值为0.15，则对应重建的高分辨率子带图像块可由计算出，整合高分辨率子带图像块可得高分辨率子带图像Yt i。
在上述任一技术方案中，优选地，对于所述多个方向上的带通子带图像和所述高通图像，根据全局特征信息和局部特征信息在对应图像层次的字典数据库中查找所述K个近邻的邻域图像块；对于所述低通剩余图像，根据联合局部特征信息在对应图像层次的字典数据库中查找所述K个近邻的邻域图像块。
在该技术方案中，每个图像块的重建质量很大程度上取决于查找到的最近邻的邻域图像块的精确性，则用于选择相似块的标准显得至关重要，那么为了确保不同图像层次的图像块的重建效果，对于高通图像和多个方向上的带通子带图像，引入待处理图像的图像块特征信息作为全局特征信息，将高通图像和多个方向上的带通子带图像的图像块表现出的特征信息作为局部特征信息；而对于低通剩余图像，由于其低频性更加平滑，导致其梯度特征不能有效地被提取，但其是连续的且已包含了足够的图像结构信息，因此引入联合局部特征信息作为其相似性的度量。另外，特征信息指图像的纹理特征信息等，以确保图像超分辨率重建的精确度。
具体地，对于多个方向上的带通子带图像和高通图像，图像块在K-NN中搜寻最近邻的图像块距离可以定义为下式：其中，代表梯度操作符，xt和xs j分别为图像块xt i，xs ij对应的待处理图像经上插后，所得图像中相同位置的图像块，η为平衡两项的权重，优选地可取值为1，式中第一项代表图像块xt i和xs ij的局部特征之间的距离，第二项表示二者全局特征之间的距离。
而对于低通剩余图像，图像块xt N+1在K-NN中搜寻最近邻的图像块距离可以定义为下式：
在上述任一技术方案中，优选地，对多个所述高分辨率子带图像进行所述可控金字塔分解操作的逆变换处理，生成最终的高分辨率图像Yt，可用下式表示：其中，代表所述多个方向上的带通子带对应的高分辨率子带图像，Yt 0表示所述高通图像对应的高分辨率子带图像，Yt N+1表示所述低通剩余图像对应的高分辨率子带图像，F(·)和F-1(·)分别代表傅里叶变换和傅里叶逆变换，f(θi)代表方向为θi的可控带通滤波器，g0表示根据可控带通滤波器计算出的低通滤波器，gN+1表示根据可控带通滤波器计算出的高通滤波器。
在上述任一技术方案中，优选地，还包括：利用非局部均值算法对所述高分辨率图像进行优化处理。
在该技术方案中，为了得到更好的重建效果，使用非局部均值算法将经可控金字塔分解操作的逆变换处理得到高分辨率图像进行优化处理，以减小高分辨率图像的各个相似图像块之间的重建误差。
具体地对于高分辨率图像Yt中的任一图像块yt，首先在全图中寻找其相似块yt l并限制最小重建误差，可用下式表示：其中，权重wl取决于图像块yt l和yt的距离，然后通过迭代优化得到最终重建的高分辨率图像Yt。
图3示出了根据本发明的一个实施例的基于多层次邻域嵌入的图像超分辨率重建***的框图。
如图3所示，根据本发明的一个实施例的基于多层次邻域嵌入的图像超分辨率重建***300，包括：分解模块302、重建模块304和处理模块306。
其中，分解模块302，用于对待处理图像进行可控金字塔分解操作，得到高通图像、低通剩余图像和多个方向上的带通子带图像；重建模块304，用于根据邻域嵌入算法对所述分解模块302分解得到的所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别进行重建处理，得到对应的高分辨率子带图像；处理模块306，用于对所述重建模块304处理得到的多个所述高分辨率子带图像进行所述可控金字塔分解操作的逆变换处理，以生成高分辨率图像。
在该技术方案中，通过对将待处理图像(比如，单帧低分辨率图像或低分辨率图像序列)经可控金字塔分解操作得到的高通图像、低通剩余图像和多个方向上的带通子带图像均使用邻域嵌入算法进行重建，进而经可控金字塔分解操作的逆变换生成高分辨率图像，如此，有效地解决了现有的图像超分辨率重建方法中因直接重建图像的所有高频成分导致图像的纹理细节被平滑的问题，从而提高图像超分辨率重建的精确度。
在上述技术方案中，优选地，所述分解模块302具体用于：根据预设分解公式计算所述待处理图像对一组多方向的可控带通滤波器的响应，以得到所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像，所述预设分解公式为：其中，Xt表示所述待处理图像，表示所述多个方向上的带通子带，Xt 0表示所述高通图像，Xt N+1表示所述低通剩余图像，F(·)和F-1(·)分别代表傅里叶变换和傅里叶逆变换，f(θi)代表方向为θi的可控带通滤波器，gi表示根据可控带通滤波器计算出的高通滤波器或低通滤波器。
在该技术方案中，具体地通过一组多方向的可控带通滤波器对待处理图像进行滤波得到高通图像、低通剩余图像和多个方向上的带通子带图像，以确保得到多个图像层次，进而对每个图像层次的图像均进行相应的邻域嵌入处理。
在上述任一技术方案中，优选地，所述重建模块304具体包括：分解子模块3042、查找子模块3044和处理子模块3046。
其中，分解子模块3042，用于将所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别分解为对应的图像块；查找子模块3044，用于对所述分解子模块3042分解得到的每个所述图像块利用K-NN算法在对应图像层次的字典数据库中查找K个近邻的邻域图像块，以得到K个重建系数；处理子模块3046，用于根据所述查找子模块3044处理得到的所述K个重建系数和所述K个近邻的领域图像块得到所述对应的高分辨率子带图像。
在该技术方案中，当根据邻域嵌入算法对分解得到的每个图像层次的图像进行重建处理时，首先需要将相应的图像分解为多个图像块，并针对每个图像块利用K-NN算法(K-Nearest Neighbor，一种寻找最近邻的算法)获取其最近邻的K个邻域图像块(即相似度高的图像块)，进而估计出相应的K个重建系数，然后经将每个邻域图像块与对应的重建系数相乘、将相乘结果合并，从而得到分辨率显著提高的高分辨率子带图像，其中，对应图像层次的字典数据库是指将待处理图像分解后形成的所有的高频图像集合、低频图像集合以及各个方向对应的图像集合。
在上述任一技术方案中，优选地，所述查找子模块3044具体用于：对于所述多个方向上的带通子带图像和所述高通图像，根据全局特征信息和局部特征信息在对应图像层次的字典数据库中查找所述K个近邻的邻域图像块；对于所述低通剩余图像，根据联合局部特征信息在对应图像层次的字典数据库中查找所述K个近邻的邻域图像块。
在该技术方案中，每个图像块的重建质量很大程度上取决于查找到的最近邻的邻域图像块的精确性，则用于选择相似块的标准显得至关重要，那么为了确保不同图像层次的图像块的重建效果，对于高通图像和多个方向上的带通子带图像，引入待处理图像的图像块特征信息作为全局特征信息，将高通图像和多个方向上的带通子带图像的图像块表现出的特征信息作为局部特征信息；而对于低通剩余图像，由于其低频性更加平滑，导致其梯度特征不能有效地被提取，但其是连续的且已包含了足够的图像结构信息，因此引入联合局部特征信息作为其相似性的度量。另外，特征信息指图像的纹理特征信息等，以确保图像超分辨率重建的精确度。
在上述任一技术方案中，优选地，还包括：优化模块308，用于利用非局部均值算法对所述处理模块306处理得到的所述高分辨率图像进行优化处理。
在该技术方案中，为了得到更好的重建效果，使用非局部均值算法将经可控金字塔分解操作的逆变换处理得到高分辨率图像进行优化处理，以减小高分辨率图像的各个相似图像块之间的重建误差。
下面结合图4和图5对本发明的另一个具体实施例进行说明。
图4示出了根据本发明的一个实施例的低分辨率图像的分解结果示意图。
图5示出了根据本发明的一个实施例的图像各层次相似块标准和重建示意图。
如图4所示，根据本发明的另一个实施例的基于多层次邻域嵌入的图像超分辨率重建方法，具体包括：
步骤402，输入低分辨率图像或训练集图片序列；
步骤404，利用可控滤波器将低分辨率图像或训练集图片序列分解；
步骤406，每个图像层次建立高低分辨率字典数据库；
步骤408，根据全局和局部图像特征利用邻域嵌入重建高通图像和带通子带图像，以及根据联合局部图像特征利用邻域嵌入重建低通图像；
步骤410，采用可控金字塔分解逆变换合成高分辨率图像；
步骤412，输出高分辨率图像。
具体地，图5示出了使用规模为1的自可逆、多方向的可控金字塔变换从输入的低分辨率图片和训练集图片中提取不同的频率成分的图像各层次相似块标准和重建过程。
本发明的技术方案，在邻域嵌入的框架基础上，考虑到图像的纹理等细节特征信息可能体现在不同的频率成分中，通过图像分解，针对性地恢复不同频率上的图像特征，并利用图像分解的逆变换得到重建图像，其高分辨率重建结果在主观和客观性能上都优于相关技术中的方案，而且，由于其实用性可灵活应用于视频监控、医疗图像、卫星图像或其他高端多媒体信息***中感兴趣区域放大与清晰化等领域。
以上结合附图详细说明了本发明的技术方案，通过本发明的技术方案，可以有效地解决因直接重建图像的所有高频成分导致图像的纹理细节被平滑的问题，从而提高图像超分辨率重建的精确度。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于多层次邻域嵌入的图像超分辨率重建方法，其特征在于，包括：
对待处理图像进行可控金字塔分解操作，得到高通图像、低通剩余图像和多个方向上的带通子带图像；
根据邻域嵌入算法对所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别进行重建处理，得到对应的高分辨率子带图像；
对多个所述高分辨率子带图像进行所述可控金字塔分解操作的逆变换处理，以生成高分辨率图像。
2.根据权利要求1所述的基于多层次邻域嵌入的图像超分辨率重建方法，其特征在于，所述对待处理图像进行可控金字塔分解操作，得到高通图像、低通剩余图像和多个方向上的带通子带图像，具体包括：
根据预设分解公式计算所述待处理图像对一组多方向的可控带通滤波器的响应，以得到所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像，所述预设分解公式为：
其中，Xt表示所述待处理图像，表示所述多个方向上的带通子带，Xt 0表示所述高通图像，Xt N+1表示所述低通剩余图像，F(.)和F-1(.)分别代表傅里叶变换和傅里叶逆变换，f(θi)代表方向为θi的可控带通滤波器，gi表示根据可控带通滤波器计算出的高通滤波器或低通滤波器。
3.根据权利要求2所述的基于多层次邻域嵌入的图像超分辨率重建方法，其特征在于，根据邻域嵌入算法对所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别进行重建处理，得到对应的高分辨率子带图像，具体包括：
将所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别分解为对应的图像块；
对于每个所述图像块利用K-NN算法在对应图像层次的字典数据库中查找K个近邻的邻域图像块，以得到K个重建系数；
根据所述K个重建系数和所述K个近邻的领域图像块得到所述对应的高分辨率子带图像。
4.根据权利要求3所述的基于多层次邻域嵌入的图像超分辨率重建方法，其特征在于，
对于所述多个方向上的带通子带图像和所述高通图像，根据全局特征信息和局部特征信息在对应图像层次的字典数据库中查找所述K个近邻的邻域图像块；
对于所述低通剩余图像，根据联合局部特征信息在对应图像层次的字典数据库中查找所述K个近邻的邻域图像块。
5.根据权利要求1至4中任一项所述的基于多层次邻域嵌入的图像超分辨率重建方法，其特征在于，还包括：
利用非局部均值算法对所述高分辨率图像进行优化处理。
6.一种基于多层次邻域嵌入的图像超分辨率重建***，其特征在于，包括：
分解模块，用于对待处理图像进行可控金字塔分解操作，得到高通图像、低通剩余图像和多个方向上的带通子带图像；
重建模块，用于根据邻域嵌入算法对所述分解模块分解得到的所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别进行重建处理，得到对应的高分辨率子带图像；
处理模块，用于对所述重建模块处理得到的多个所述高分辨率子带图像进行所述可控金字塔分解操作的逆变换处理，以生成高分辨率图像。
7.根据权利要求6所述的基于多层次邻域嵌入的图像超分辨率重建***，其特征在于，所述分解模块具体用于：
根据预设分解公式计算所述待处理图像对一组多方向的可控带通滤波器的响应，以得到所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像，所述预设分解公式为：
其中，Xt表示所述待处理图像，表示所述多个方向上的带通子带，Xt 0表示所述高通图像，Xt N+1表示所述低通剩余图像，F(.)和F-1(.)分别代表傅里叶变换和傅里叶逆变换，f(θi)代表方向为θi的可控带通滤波器，gi表示根据可控带通滤波器计算出的高通滤波器或低通滤波器。
8.根据权利要求7所述的基于多层次邻域嵌入的图像超分辨率重建***，其特征在于，所述重建模块具体包括：
分解子模块，用于将所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别分解为对应的图像块；
查找子模块，用于对所述分解子模块分解得到的每个所述图像块利用K-NN算法在对应图像层次的字典数据库中查找K个近邻的邻域图像块，以得到K个重建系数；
处理子模块，用于根据所述查找子模块处理得到的所述K个重建系数和所述K个近邻的领域图像块得到所述对应的高分辨率子带图像。
9.根据权利要求8所述的基于多层次邻域嵌入的图像超分辨率重建***，其特征在于，所述查找子模块具体用于：
对于所述多个方向上的带通子带图像和所述高通图像，根据全局特征信息和局部特征信息在对应图像层次的字典数据库中查找所述K个近邻的邻域图像块；
对于所述低通剩余图像，根据联合局部特征信息在对应图像层次的字典数据库中查找所述K个近邻的邻域图像块。
10.根据权利要求6至9中任一项所述的基于多层次邻域嵌入的图像超分辨率重建***，其特征在于，还包括：
优化模块，用于利用非局部均值算法对所述处理模块处理得到的所述高分辨率图像进行优化处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610108841.3A CN107133921B (zh) | 2016-02-26 | 2016-02-26 | 基于多层次邻域嵌入的图像超分辨率重建方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610108841.3A CN107133921B (zh) | 2016-02-26 | 2016-02-26 | 基于多层次邻域嵌入的图像超分辨率重建方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107133921A true CN107133921A (zh) | 2017-09-05 |
| CN107133921B CN107133921B (zh) | 2020-03-06 |
Family
ID=59720608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610108841.3A Expired - Fee Related CN107133921B (zh) | 2016-02-26 | 2016-02-26 | 基于多层次邻域嵌入的图像超分辨率重建方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107133921B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107680037A (zh) * | 2017-09-12 | 2018-02-09 | 河南大学 | 改进的基于最近特征线流形学习的人脸超分辨率重建方法 |
| CN111935417A (zh) * | 2020-07-02 | 2020-11-13 | 清华大学 | 基于多尺度相机阵列的分级视频拼接方法及装置 |
| WO2021093620A1 (en) * | 2019-11-15 | 2021-05-20 | Huawei Technologies Co., Ltd. | Method and system for high-resolution image inpainting |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102163329A (zh) * | 2011-03-15 | 2011-08-24 | 河海大学常州校区 | 基于尺度类推的单幅红外图像的超分辨率重建方法 |
| EP2662825A1 (en) * | 2012-05-10 | 2013-11-13 | Thomson Licensing | Method and device for generating a super-resolution version of a low resolution input data structure |
| CN103500436A (zh) * | 2013-09-17 | 2014-01-08 | 广东威创视讯科技股份有限公司 | 图像超分辨率处理方法和*** |
| CN103593825A (zh) * | 2013-10-17 | 2014-02-19 | 西安电子科技大学 | 基于改进的非局部约束和局部自相似性的图像超分辨方法 |
| JP2015197818A (ja) * | 2014-04-01 | 2015-11-09 | キヤノン株式会社 | 画像処理装置およびその方法 |
| EP2966613A1 (en) * | 2014-07-10 | 2016-01-13 | Thomson Licensing | Method and apparatus for generating a super-resolved image from an input image |
-
2016
- 2016-02-26 CN CN201610108841.3A patent/CN107133921B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102163329A (zh) * | 2011-03-15 | 2011-08-24 | 河海大学常州校区 | 基于尺度类推的单幅红外图像的超分辨率重建方法 |
| EP2662825A1 (en) * | 2012-05-10 | 2013-11-13 | Thomson Licensing | Method and device for generating a super-resolution version of a low resolution input data structure |
| CN103500436A (zh) * | 2013-09-17 | 2014-01-08 | 广东威创视讯科技股份有限公司 | 图像超分辨率处理方法和*** |
| CN103593825A (zh) * | 2013-10-17 | 2014-02-19 | 西安电子科技大学 | 基于改进的非局部约束和局部自相似性的图像超分辨方法 |
| JP2015197818A (ja) * | 2014-04-01 | 2015-11-09 | キヤノン株式会社 | 画像処理装置およびその方法 |
| EP2966613A1 (en) * | 2014-07-10 | 2016-01-13 | Thomson Licensing | Method and apparatus for generating a super-resolved image from an input image |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107680037A (zh) * | 2017-09-12 | 2018-02-09 | 河南大学 | 改进的基于最近特征线流形学习的人脸超分辨率重建方法 |
| CN107680037B (zh) * | 2017-09-12 | 2020-09-29 | 河南大学 | 改进的基于最近特征线流形学习的人脸超分辨率重建方法 |
| WO2021093620A1 (en) * | 2019-11-15 | 2021-05-20 | Huawei Technologies Co., Ltd. | Method and system for high-resolution image inpainting |
| US11501415B2 (en) | 2019-11-15 | 2022-11-15 | Huawei Technologies Co. Ltd. | Method and system for high-resolution image inpainting |
| CN111935417A (zh) * | 2020-07-02 | 2020-11-13 | 清华大学 | 基于多尺度相机阵列的分级视频拼接方法及装置 |
| CN111935417B (zh) * | 2020-07-02 | 2021-12-14 | 清华大学 | 基于多尺度相机阵列的分级视频拼接方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107133921B (zh) | 2020-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112767251B (zh) | 基于多尺度细节特征融合神经网络的图像超分辨率方法 | |
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| CN105046651B (zh) | 一种图像的超分辨率重构方法和装置 | |
| CN106056553B (zh) | 基于紧框架特征字典的图像修复方法 | |
| CN104123705B (zh) | 一种超分辨率重建图像质量Contourlet域评价方法 | |
| Dharejo et al. | TWIST-GAN: Towards wavelet transform and transferred GAN for spatio-temporal single image super resolution | |
| CN103854262A (zh) | 基于结构聚类与稀疏字典学习的医学图像降噪方法 | |
| CN107993194A (zh) | 一种基于平稳小波变换的超分辨率重建方法 | |
| CN104077742B (zh) | 基于Gabor特征的人脸素描合成方法及*** | |
| CN109949217B (zh) | 基于残差学习和隐式运动补偿的视频超分辨率重建方法 | |
| Zuo et al. | Frequency-dependent depth map enhancement via iterative depth-guided affine transformation and intensity-guided refinement | |
| He et al. | Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks | |
| Zhang et al. | Multi-scale image super-resolution via a single extendable deep network | |
| CN111724307A (zh) | 一种基于最大后验概率和非局部低秩先验的图像超分辨重建方法，终端及可读存储介质 | |
| Liu et al. | Research on super-resolution reconstruction of remote sensing images: A comprehensive review | |
| CN116797461A (zh) | 基于多级强化注意力机制的双目图像超分辨率重建方法 | |
| CN107133921A (zh) | 基于多层次邻域嵌入的图像超分辨率重建方法及*** | |
| Zhu et al. | Generative high-capacity image hiding based on residual CNN in wavelet domain | |
| CN106296583B (zh) | 基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法 | |
| Xie et al. | Super-resolution of Pneumocystis carinii pneumonia CT via self-attention GAN | |
| Huang et al. | Atrous pyramid transformer with spectral convolution for image inpainting | |
| Liu et al. | Image inpainting algorithm based on tensor decomposition and weighted nuclear norm | |
| Tang et al. | MFAGAN: A multiscale feature-attention generative adversarial network for infrared and visible image fusion | |
| CN114022356A (zh) | 基于小波域的河道流量水位遥感图像超分辨率方法与*** | |
| Zeng et al. | Densely connected transformer with linear self-attention for lightweight image super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220620 Address after: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee after: Peking University Patentee after: New founder holdings development Co.,Ltd. Patentee after: BEIJING FOUNDER ELECTRONICS Co.,Ltd. Address before: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee before: Peking University Patentee before: PEKING UNIVERSITY FOUNDER GROUP Co.,Ltd. Patentee before: BEIJING FOUNDER ELECTRONICS Co.,Ltd. |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200306 |