CN108416736A - 一种基于二次锚点邻域回归的图像超分辨率重建方法 - Google Patents
一种基于二次锚点邻域回归的图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN108416736A CN108416736A CN201810236623.7A CN201810236623A CN108416736A CN 108416736 A CN108416736 A CN 108416736A CN 201810236623 A CN201810236623 A CN 201810236623A CN 108416736 A CN108416736 A CN 108416736A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- low
- anchor point
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 91
- 238000013507 mapping Methods 0.000 claims abstract description 62
- 239000011159 matrix material Substances 0.000 claims abstract description 61
- 238000012360 testing method Methods 0.000 claims abstract description 59
- 230000008569 process Effects 0.000 claims description 17
- 238000000513 principal component analysis Methods 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000013178 mathematical model Methods 0.000 description 3
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 241000283070 Equus zebra Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000002969 morbid Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于二次锚点邻域回归的图像超分辨率重建方法,步骤包括:进行离线训练,包括低分辨率字典、正映射矩阵和逆映射矩阵的训练;提取低分辨率测试图像的特征图像块;选择一次锚点,对低分辨率测试图像进行一次超分辨率重建,获得一次重建高分辨率图像;将获得的一次重建高分辨率图像映射成不同的低分辨率图像,选取与原始的所述低分辨率测试图像分辨率最接近的低分辨率图像,将对应锚点定为二次锚点;根据二次锚点进行二次超分辨率重建,获得最终的高分辨率图像。本发明通过训练低、高分辨率空间的逆映射,能够选择到更好的锚点,进而能够超分辨率重建出质量更好,纹理更清晰,细节更丰富的高分辨率图像。
Description
技术领域
本发明属于图像处理技术领域,特别涉及一种基于二次锚点邻域回归的图像超分辨率重建方法。
背景技术
随着互联网和信息化的发展,图像作为最直接和最重要的的一种信息载体,已经遍布在生活的各个角落。人们对高分辨率数字图像的要求与日俱增,但是,在图像处理过程中,图像获取、转换、传输等操作往往会产生图像的模糊、失真、加噪声等降质的问题。因此,为了获得满足人们需求的高分辨率图像,就产生了图像超分辨率重建技术。图像超分辨率重建技术是通过一幅或多幅低分辨图像获得一幅高分辨率图像的技术。由于在图像降质过程中损失了一些细节信息,所以从低分辨率图像重建高分辨图相关本质是一个病态逆问题。图像超分辨率重建已经成为图像领域学者们研究的重要课题之一,目前存在的超分辨率重建算法大致分为三类:基于插值的算法、基于重构的算法、基于学习的算法。
基于插值的图像超分辨重建算法是通过建立未知像素点与其邻近像素点之间的插值核函数来计算未知点的像素值,通过***未知的像素点得到不同放大倍数的高分辨率图像。根据插值核函数的性质,又把插值算法分为线性插值算法和非线性插值算法。其中,传统的线性插值算法包括最近邻插值算法、双线性插值算法以及双三次插值算法等。非线性插值算法包括基于小波系数算法和基于边缘信息算法。这类算法的计算方法简单高效,但是恢复出来的高分辨率图像会出现边缘模糊和纹理不清晰等现象。
基于重建的超分辨率算法是根据先验信息建立从高分辨率图像到低分辨率图像过程的数学模型,然后通过求解该数学模型的逆过程,获得超分辨率图像。在基于重建的超分辨率算法中,具有代表性的算法包括迭代反投影、全变分正则化、马尔可夫随机场和基于梯度轮廓的方法。这类算法最大的优势就是可以很好的抑制重叠状的人工痕迹,获得轮廓边缘清晰的高分辨率图像。然而,实际的高分辨率图像未必能满足数学模型,而且不佳的模型会产生不好的重建图像。
基于学习的超分辨率算法是目前比较受欢迎的一类算法。这类算法通过机器学习方法建立高低分辨率图像之间的映射关系,然后利用这种关系重建出对应的高分辨率图像。最早的基于学习的算法是由Freemen等人提出的,他们通过马尔可夫网络学习高、低分辨率图像块之间的关系并重建高分辨率图像。Chang等人提出了基于局部线性嵌入的图像超分辨率算法。Yang等人提出通过稀疏表示对单幅图像进行重建。Zeyde等人在Yang算法进行了进一步改进。近年来,Timofte等人结合邻域嵌入算法和稀疏表示算法先后提出ANR算法和A+算法,A+算法利用K-SVD算法训练稀疏字典,以稀疏字典的原子为锚点在训练样本寻找近邻进行邻域回归,得到每个锚点对应的低、高分辨率空间的映射。但是已有的A+算法选择的锚点并不是最佳的锚点,获得的高分辨率图像质量不够好,细节纹理不够清晰丰富。
发明内容
本发明的目的在于提供一种基于二次锚点邻域回归的图像超分辨率重建方法,以解决上述存在的技术问题。本发明的超分辨率重建方法延续了基于学习算法的学习思想,通过训练低、高分辨率空间的逆映射,能够选择到更好的锚点,进而能够超分辨率重建出质量更好,纹理更清晰,细节更丰富的高分辨率图像。
为达到上述目的,本发明采用以下技术方案:
一种基于二次锚点邻域回归的图像超分辨率重建方法,具体步骤包括:
步骤1,进行离线训练,所述离线训练的过程包括低分辨率字典、正映射矩阵和逆映射矩阵的训练,将离线训练的结果存储;
步骤2,输入低分辨率测试图像,提取所述低分辨率测试图像的特征图像块;
步骤3,选择一次锚点,对步骤2中输入的低分辨率测试图像进行一次超分辨率重建,获得一次重建高分辨率图像;
步骤4,应用步骤1中的逆映射矩阵,将步骤3获得的一次重建高分辨率图像映射成不同的低分辨率图像,在获得所述不同的低分辨率图像中选取与原始低分辨率测试图像分辨率最接近的低分辨率图像,将选出的低分辨率图像对应的锚点定为二次锚点;
步骤5,根据步骤4中获得的二次锚点对步骤2中所述的低分辨率测试图像进行二次超分辨率重建,获得最终的高分辨率图像。
进一步的,在步骤1中,通过K-奇异值分解算法训练出低分辨率字典,通过邻域回归训练出正映射矩阵和逆映射矩阵。
进一步的,步骤1具体包括:
步骤1.1,采集高分辨率训练图像,提取每幅高分辨率训练图像的低分辨率训练特征图像块集和高分辨率训练特征图像块集;
步骤1.2,通过K-奇异值分解算法训练出低分辨率字典,记为其中Dl表示低分辨率字典矩阵,di为字典的第i个原子,N为字典原子的总个数,将训练得到的低分辨率字典存储到参数库中;
步骤1.3,以步骤1.2中的字典原子为锚点,以步骤1.1获得的低分辨率训练特征图像块集为邻域,计算锚点与低分辨率训练特征图像块之间的欧氏距离,为每个锚点找到一个低分辨率邻域集合Nl,对应在步骤1.1高分辨率训练图像块集合中找出相应的高分辨率邻域集合Nh;
步骤1.4,根据第i个锚点对应的低分辨率邻域集合和高分辨率邻域集合,计算该锚点的正映射矩阵和逆映射矩阵,数学公式表示为:
其中,Pi表示正映射矩阵,Qi表示逆映射矩阵,I表示单位矩阵,λ为平衡因子;计算所有锚点对应的正映射矩阵和逆映射矩阵,最后将计算结果存储到参数库中。
进一步的,步骤1.1具体包括:
首先,采集高分辨率训练图像,对每幅高分辨率训练图像Hs进行下采样和上采样,得到与所述每幅高分辨率图像Hs大小相同的低分辨变率训练样本
然后,应用高通滤波器f1=[1,-1],f2=f1 T,f3=[1,-2,1],f4=f3 T分别与低分辨变率训练样本进行卷积,获得梯度特征集梯度特征集的数量为4,r为梯度特征集的下标与高通滤波器的下标对应;
接下来,从特征集中提取维数为n,大小为的第i个位置的特征图像块;通过获得的4个梯度特征集,在i位置得到4个特征图像块,将获得的4个特征块按与梯度特征集相对应的顺序拉成列向量,构成i位置的低分辨率训练特征图像块大小为4n×1;
最后,利用主成分分析算法对获得的低分辨率训练特征图像块进行降维处理,降维处理的数学公式表示为:
其中,是主成分分析降维的变换矩阵,是降维处理后的低分辨率训练特征图像块;提取所有的降维处理后的低分辨率训练特征图像块,记为集合其中N1为训练特征图像块的总数目;
高分辨率训练图像Hs的高频成分的计算公式为:
其中,表示Hs的高频成分,低分辨变率训练样本表示高分辨图像Hs的低频成分;提取高分辨率训练图像块提取所有的高分辨率训练图像块记为集合
进一步的,步骤2具体包括:
步骤2.1,输入低分辨率测试图像Lt;
步骤2.2,对步骤2.1输入的低分辨率测试图像Lt进行上采样,获得放大后的低分辨率图像
步骤2.3,用4个高通滤波器f1=[1,-1],f2=f1 T,f3=[1,-2,1],f4=f3 T分别与低分辨率图像进行卷积,获得梯度特征集梯度特征集的数量为4,r为梯度特征集的下标与高通滤波器的下标对应;
步骤2.4,从特征集中提取维数为n,大小为的低分辨率测试图像的第i个特征图像块
步骤2.5,利用主成分分析算法对低分辨率测试特征图像块进行降维处理,降维处理的的数学公式为:
其中,是主成分分析降维的变换矩阵,降维处理后的特征图像块提取所有的低分辨率测试特征图像块,记为集合其中N2为测试特征图像块的总数目。
进一步的,步骤3具体包括:
逐块输入集合中的低分辨率测试特征图像块,选择一次锚点进行一次超分辨率重建,获得一次重建高分辨率图像。
进一步的,步骤3中一次锚点选择的具体步骤包括:
步骤3.1,通过计算第i块低分辨率测试特征图像块与锚点之间的欧式距离,选定与欧氏距离最近的锚点作为一次锚点;
步骤3.2,根据步骤3.1中获得的一次锚点的下标m1,得到所述一次锚点对应的正映射矩阵通过计算公式:
得到第i块低分辨率测试特征图像块对应的一次高分辨率图像块
步骤3.3,逐块处理完所有的低分辨率测试特征图像块,将获得的所有高分辨率图像块放到整幅图像中相应的位置上,重叠部分取均值,获得一幅整体的高分辨率图像
进一步的,步骤4具体包括:
步骤4.1,将获得的高分辨率图像进行分块,得到高分辨率图像块集合
步骤4.2,利用所有的逆映射矩阵处理高分辨率图像块得到N块不同的低分辨率特征图像块,计算原始低分辨率测试特征图像块与所述N块不同的低分辨率特征图像块之间的欧式距离,选择欧式距离最小的低分辨率特征图像块对应的逆映射矩阵的下标m2,作为二次锚点的索引。
进一步的,步骤5具体包括:
步骤5.1,根据获得的二次锚点的索引,得到相应的正映射矩阵计算二次超分辨率重建的高分辨率图像块计算公式为:
步骤5.2,逐块重建高分辨率图像块,得到高分辨率图像块集合
步骤5.3,将步骤5.2中得到的所有高分辨率图像块放到合适的位置上并平均重叠区域,获得高分辨图像的高频成分
步骤5.4,将含有低频成分的低分辨率图像与含有高频成分的高分辨图像相加,获得高分辨率图像Xh。
与现有技术相比,本发明具有以下有益效果:
本发明的基于二次锚点邻域回归的图像超分辨率重建方法,通过选择二次锚点的方法,对低分辨率图像进行超分辨率重建。本发明延续了基于学习算法的学习思想,通过训练低、高分辨率空间的正、逆映射,能够选择到更好的锚点,进而能够超分辨率重建出质量更好,纹理更清晰,细节更丰富的高分辨率图像。
本发明中先根据锚点与低分辨率测试特征图像块之间的欧式距离,选择一次锚点,进行第一次超分辨率重建。然后根据第一次超分辨率重建的高分辨率图像得到所有锚点空间的低分辨率图像,计算这些低分辨率图像与原始低分辨率测试图像之间的欧式距离,选择距离最小的低分辨率图像对应的锚点为二次锚点,进行第二次超分辨率重建。本发明经过两次超分辨率重建,能够选择到更好的锚点,获得质量更佳的高分辨率图像。
本发明通过训练低、高分辨率空间的逆映射提出了一种基于二次单锚点邻域回归单幅图像的超分辨率算法。所谓二次单锚点邻域回归,利用A+算法进行第一次选择锚点进行超分辨率算法重建,根据训练的所有逆映射矩阵,将已经进行过一次超分辨率的图像从高分辨率空间映射到不同的低分辨率空间,寻找与原始第分辨率空间最接近的低分辨率空间。根据最相近的低分辨空间对应的索引,重新选择锚点,进行第二次的超分辨率重建。
本发明的离线训练中的正、逆映射训练过程与传统锚点邻域回归算法显著不同,本发明中的锚点邻域回归算法是通过同时训练正映射矩阵和逆映射矩阵,将低分辨率图像从低维空间映射到高维空间,再从高维空间映射到低维空间,通过这样一个过程完成对锚点的二次选择,能够获得更好的锚点。
附图说明
下面结合附图和具体实施例对本发明做进一步详细说明。
图1是本发明的基于二次锚点邻域回归的图像超分辨率重建方法的离线训练阶段的流程示意图;
图2是本发明的基于二次锚点邻域回归的图像超分辨率重建方法的测试阶段流程示意图;
图3是利用本发明的重建方法将图像man放大2倍的实验结果对比示意图;
图4是利用本发明的重建方法将图像head放大3倍的实验结果对比示意图;
图5是利用本发明的重建方法将图像zebra放大4倍的实验结果对比示意图。
具体实施方式
参考图1和图2,本发明的一种基于二次锚点邻域回归的图像超分辨率重建方法,具体步骤包括:
步骤1:进行离线训练,所述离线训练的过程包括低分辨率字典、正映射矩阵和逆映射矩阵的训练,将离线训练的结果存储。离线训练过程包括三个训练过程。第一个训练过程是通过K-奇异值分解算法训练出低分辨率字典;第二个训练过程是通过邻域回归训练正映射矩阵;第三个训练过程是通过邻域回归训练逆映射矩阵,这一过程与传统锚点邻域回归算法显著不同,本锚点邻域回归算法是通过同时训练正映射矩阵和逆映射矩阵,将低分辨率图像从低维空间映射到高维空间,再从高维空间映射到低维空间,通过这样一个过程完成对锚点的二次选择。
步骤1具体包括:
步骤1.1,采集高分辨率训练图像,提取每幅高分辨率训练图像的低分辨率训练特征图像块集和高分辨率训练特征图像块集,低分辨率与高分辨率为相对概念,图像的分辨率由图像像素的多少决定,此处的高分辨率训练图像是指比步骤2中输入的低分辨率测试图像像素多的图像,通过高分辨率训练图像训练后,能够使低分辨率测试图像完成二次超分辨率重建,高分辨率(HD,High Definition),一般是指垂直分辨率大于等于720的图像或视频,也称为高清图像或高清视频,尺寸一般是1280×720和1920×1080;图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像;
步骤1.2,通过K-奇异值分解算法训练出低分辨率字典,记为其中Dl表示的低分辨率字典矩阵,di为字典的第i个原子,N为字典原子的总个数,将训练得到的低分辨率字典存储到参数库中;
步骤1.3,以步骤1.2中的字典原子为锚点,以步骤1.1获得的低分辨率训练特征图像块集为邻域,计算锚点与低分辨率训练特征图像块之间的欧氏距离,为每个锚点找到一个低分辨率邻域集合Nl。对应在高分辨率训练图像块集合中找出相应的高分辨率邻域集合Nh;
步骤1.4,根据第i个锚点对应的低分辨率邻域集合和高分辨率邻域集合,计算该锚点的正映射矩阵和逆映射矩阵,数学公式表示为:
其中,Pi表示正映射矩阵,Qi表示逆映射矩阵,I表示单位矩阵。计算所有锚点对应的正映射矩阵和逆映射矩阵,最后将计算结果存储到参数库中。
在步骤1.1中对收集到的现有的高分辨率训练图像进行如下步骤训练:
首先对每幅高分辨率训练图像Hs进行下采样和上采样,得到与高分辨率图像大小相同的低分辨变率训练样本
然后用高通滤波器f1=[1,-1],f2=f1 T,f3=[1,-2,1],f4=f3 T分别与图像进行卷积,从而获得梯度特征集
接下来从特征集中提取维数为n,大小为的第i个特征图像块。由于获得了4个梯度特征集,所以在这4个梯度特征集中,在i这个位置可以同时得到4个特征图像块,将获得的4个特征块按顺序拉成列向量,构成第i这个位置的低分辨率训练特征图像块大小为4n×1。
最后利用主成分分析算法对低分辨率特征图像块进行降维处理,降维的数学公式如下所示:
其中,是主成分分析降维的变换矩阵,降维后的特征图像块提取所有的低分辨率训练特征图像块,记为集合其中N1为训练特征图像块的总数目。
同时假设低分辨率图像表示高分辨图像Hs的低频成分,则通过下列公式可以获得Hs的高频成分:
其中,表示Hs的高频成分。同样提取高分辨率训练图像块提取所有的高分辨率训练图像块,记为集合
步骤2,输入低分辨率测试图像,提取所述低分辨率测试图像的特征图像块。
步骤2具体步骤包括:
步骤(1)输入低分辨率测试图像Lt。
步骤(2)对输入的低分辨率测试图像进行上采样,得到放大后的低分辨率图像
步骤(3)然后将4个高通滤波器f1=[1,-1],f2=f1 T,f3=[1,-2,1],f4=f3 T别与低分辨率图像进行卷积,得到梯度特征集
步骤(4)接下来提取维数为n,大小为的低分辨率测试图像的第i个特征图像块
步骤(5)最后利用主成分分析算法对低分辨率测试特征图像块进行降维处理,降维的数学公式如下所示:
其中,是主成分分析降维的变换矩阵,降维后的特征图像块提取所有的低分辨率测试特征图像块,记为集合其中N2为测试特征图像块的总数目。
步骤3,选择一次锚点,对步骤2中输入的低分辨率测试图像进行一次超分辨率重建,获得一次重建高分辨率图像;第一次选择最近邻锚点对低分辨率测试图像进行超分辨率重建。
步骤3具体包括:逐块输入低分辨率测试特征图像块第一次选择锚点进行超分辨率重建,具体一次锚点的选择步骤如下所示。
步骤(1)通过计算第i块低分辨率测试特征图像块与锚点之间的欧式距离,选定与距离最近的锚点作为一次锚点。
步骤(2)根据一次锚点的下标m1,得到该锚点对应的映射矩阵然后做如下计算,
得到第i块低分辨率测试特征图像块对应的一次高分辨率图像块
步骤(3)逐块处理完所有的低分辨率测试特征图像块,然后将得到的所有高分辨率图像块放到整幅图像中相应的位置上,重叠部分取均值。最后得到一幅整体的高分辨率图像
步骤4,利用逆映射矩阵,将一次重建的高分辨率图像映射到不同低分辨率图像,选择与原始低分辨变率图像最接近的低分辨率图像,其对应的锚点为第二次选择的锚点。即应用步骤1中的逆映射矩阵,将步骤3获得的一次重建高分辨率图像映射成不同的低分辨率图像,在获得所述不同的低分辨率图像中选取与原始的所述低分辨率测试图像分辨率最接近的低分辨率图像,将选出的所述低分辨率图像对应锚点定为二次锚点。
步骤4的具体步骤包括:
步骤(1)将高分辨率图像进行分块,得到高分辨率图像块集合
步骤(2)利用所有的逆映射矩阵处理高分辨率图像块得到N块不同的低分辨率特征图像块,计算原始低分辨率测试特征图像块与这些不同低分辨率特征图像块之间的欧式距离,选择距离最小的低分辨率特征图像块对应的逆映射矩阵的下标m2,作为二次锚点的索引。
步骤5,根据二次选择的锚点进行图像超分辨率重建,从而输出想要得到的高分辨率图像;即根据步骤4中获得的二次锚点进行步骤2中所述的低分辨率测试图像的二次超分辨率重建,获得最终的高分辨率图像。
步骤5的具体步骤包括:。
步骤(1)根据二次锚点的索引,得到相应的映射矩阵根据下列数学公式计算二次超分辨率重建的高分辨率图像块
步骤(2)逐块重建高分辨率图像块,得到高分辨率图像块集合
步骤(3)将得到的所有高分辨率图像块放到合适的位置上并平均重叠区域,获得高分辨图像的高频成分
步骤(4)将含有低频成分的低分辨率图像与含有高频成分的高分辨图像相加,输出高分辨率图像Xh。
实验结果对比分析:
本发明通过计算峰值信噪比(PSNR)和结构相似度(SSIM)来衡量超分辨率图像重建的结果。PSNR是基于重建图像和原始高清图像像素点之间的误差来衡量图像的重建质量。PSNR值越大,表明重建的图像质量越好,失真越小。而SSIM主要用来衡量重建图像与原始高清图像之间结构相似度的参数。SSIM值介于0到1之间。SSIM值越大,两幅图像之间的结构越相似。
参考图3,表1是将图像放大2倍时,各种算法重建图像的峰值信噪比和结构相似度比较结果。
表1.放大2倍时各方法比较结果
参考图4,表2是将图像放大3倍时,各种算法重建图像的峰值信噪比和结构相似度比较结果。
表2.放大3倍时各方法比较结果
参考图5,表3是将图像放大4倍时,各种算法重建图像的峰值信噪比和结构相似度比较结果。
表3.放大4倍时各方法比较结果
二次锚点邻域回归图像超分辨率算法在一次锚点映射的基础上对锚点进行了二次选择,一次锚点为二次锚点映射提供了依据,结合表1、表2和表3中的实验数据可以得出,本发明方法分别与双三次插值方法和ANR算法相比较,其结果值均比双三次插值方法和ANR算法的结果值高。参考图3、图4和图5,本发明方法重建的高分辨率图像的质量优于双三次插值方法和ANR算法重建的高分辨率图像。
本发明为一种基于二次锚点邻域回归的图像超分辨率重建方法,包括离线训练过程和在线测试过程。步骤1为离线训练过程,步骤2至步骤5为在线测试过程。本发明是通过训练并应用逆映射矩阵,根据一次超分辨率重建的高分辨率图像得到不同的低分辨率图像,利用这些不同的低分辨率图像与原始低分辨率图像之间的关系进行第二次锚点选择。这样选择的锚点使得超分辨率重建的图像质量更高,图像纹理更清晰,图像细节更丰富。
Claims (9)
1.一种基于二次锚点邻域回归的图像超分辨率重建方法,其特征在于,具体步骤包括:
步骤1,进行离线训练,所述离线训练的过程包括低分辨率字典、正映射矩阵和逆映射矩阵的训练,将离线训练的结果存储;
步骤2,输入低分辨率测试图像,提取所述低分辨率测试图像的特征图像块;
步骤3,选择一次锚点,对步骤2中输入的低分辨率测试图像进行一次超分辨率重建,获得一次重建高分辨率图像;
步骤4,应用步骤1中的逆映射矩阵,将步骤3获得的一次重建高分辨率图像映射成不同的低分辨率图像,在获得所述不同的低分辨率图像中选取与原始低分辨率测试图像分辨率最接近的低分辨率图像,将选出的低分辨率图像对应的锚点定为二次锚点;
步骤5,根据步骤4中获得的二次锚点对步骤2中所述的低分辨率测试图像进行二次超分辨率重建,获得最终的高分辨率图像。
2.根据权利要求1所述的一种基于二次锚点邻域回归的图像超分辨率重建方法,其特征在于,在步骤1中,通过K-奇异值分解算法训练出低分辨率字典,通过邻域回归训练出正映射矩阵和逆映射矩阵。
3.根据权利要求1所述的一种基于二次锚点邻域回归的图像超分辨率重建方法,其特征在于,步骤1具体包括:
步骤1.1,采集高分辨率训练图像,提取每幅高分辨率训练图像的低分辨率训练特征图像块集和高分辨率训练特征图像块集;
步骤1.2,通过K-奇异值分解算法训练出低分辨率字典,记为其中Dl表示低分辨率字典矩阵,di为字典的第i个原子,N为字典原子的总个数,将训练得到的低分辨率字典存储到参数库中;
步骤1.3,以步骤1.2中的字典原子为锚点,以步骤1.1获得的低分辨率训练特征图像块集为邻域,计算锚点与低分辨率训练特征图像块之间的欧氏距离,为每个锚点找到一个低分辨率邻域集合Nl,对应在步骤1.1高分辨率训练图像块集合中找出相应的高分辨率邻域集合Nh;
步骤1.4,根据第i个锚点对应的低分辨率邻域集合和高分辨率邻域集合,计算该锚点的正映射矩阵和逆映射矩阵,数学公式表示为:
其中,Pi表示正映射矩阵,Qi表示逆映射矩阵,I表示单位矩阵,λ为平衡因子;计算所有锚点对应的正映射矩阵和逆映射矩阵,最后将计算结果存储到参数库中。
4.根据权利要求3所述的一种基于二次锚点邻域回归的图像超分辨率重建方法,其特征在于,步骤1.1具体包括:
首先,采集高分辨率训练图像,对每幅高分辨率训练图像Hs进行下采样和上采样,得到与所述每幅高分辨率图像Hs大小相同的低分辨变率训练样本
然后,应用高通滤波器f1=[1,-1],f2=f1 T,f3=[1,-2,1],f4=f3 T分别与低分辨变率训练样本进行卷积,获得梯度特征集梯度特征集的数量为4,r为梯度特征集的下标与高通滤波器的下标对应;
接下来,从特征集中提取维数为n,大小为的第i个位置的特征图像块;通过获得的4个梯度特征集,在i位置得到4个特征图像块,将获得的4个特征块按与梯度特征集相对应的顺序拉成列向量,构成i位置的低分辨率训练特征图像块大小为4n×1;
最后,利用主成分分析算法对获得的低分辨率训练特征图像块进行降维处理,降维处理的数学公式表示为:
其中,是主成分分析降维的变换矩阵,是降维处理后的低分辨率训练特征图像块;提取所有的降维处理后的低分辨率训练特征图像块,记为集合其中N1为训练特征图像块的总数目;
高分辨率训练图像Hs的高频成分的计算公式为:
其中,表示Hs的高频成分,低分辨变率训练样本表示高分辨图像Hs的低频成分;提取高分辨率训练图像块提取所有的高分辨率训练图像块记为集合
5.根据权利要求1所述的一种基于二次锚点邻域回归的图像超分辨率重建方法,其特征在于,步骤2具体包括:
步骤2.1,输入低分辨率测试图像Lt;
步骤2.2,对步骤2.1输入的低分辨率测试图像Lt进行上采样,获得放大后的低分辨率图像
步骤2.3,用4个高通滤波器f1=[1,-1],f2=f1 T,f3=[1,-2,1],f4=f3 T分别与低分辨率图像进行卷积,获得梯度特征集梯度特征集的数量为4,r为梯度特征集的下标与高通滤波器的下标对应;
步骤2.4,从特征集中提取维数为n,大小为的低分辨率测试图像的第i个特征图像块
步骤2.5,利用主成分分析算法对低分辨率测试特征图像块进行降维处理,降维处理的的数学公式为:
其中,是主成分分析降维的变换矩阵,降维处理后的特征图像块提取所有的低分辨率测试特征图像块,记为集合其中N2为测试特征图像块的总数目。
6.根据权利要求5所述的一种基于二次锚点邻域回归的图像超分辨率重建方法,其特征在于,步骤3具体包括:
逐块输入集合中的低分辨率测试特征图像块,选择一次锚点进行一次超分辨率重建,获得一次重建高分辨率图像。
7.根据权利要求6所述的一种基于二次锚点邻域回归的图像超分辨率重建方法,其特征在于,步骤3中一次锚点选择的具体步骤包括:
步骤3.1,通过计算第i块低分辨率测试特征图像块与锚点之间的欧式距离,选定与欧氏距离最近的锚点作为一次锚点;
步骤3.2,根据步骤3.1中获得的一次锚点的下标m1,得到所述一次锚点对应的正映射矩阵通过计算公式:
得到第i块低分辨率测试特征图像块对应的一次高分辨率图像块
步骤3.3,逐块处理完所有的低分辨率测试特征图像块,将获得的所有高分辨率图像块放到整幅图像中相应的位置上,重叠部分取均值,获得一幅整体的高分辨率图像
8.根据权利要求7所述的一种基于二次锚点邻域回归的图像超分辨率重建方法,其特征在于,步骤4具体包括:
步骤4.1,将获得的高分辨率图像进行分块,得到高分辨率图像块集合
步骤4.2,利用所有的逆映射矩阵处理高分辨率图像块得到N块不同的低分辨率特征图像块,计算原始低分辨率测试特征图像块与所述N块不同的低分辨率特征图像块之间的欧式距离,选择欧式距离最小的低分辨率特征图像块对应的逆映射矩阵的下标m2,作为二次锚点的索引。
9.根据权利要求8所述的一种基于二次锚点邻域回归的图像超分辨率重建方法,其特征在于,步骤5具体包括:
步骤5.1,根据获得的二次锚点的索引,得到相应的正映射矩阵计算二次超分辨率重建的高分辨率图像块计算公式为:
步骤5.2,逐块重建高分辨率图像块,得到高分辨率图像块集合
步骤5.3,将步骤5.2中得到的所有高分辨率图像块放到合适的位置上并平均重叠区域,获得高分辨图像的高频成分
步骤5.4,将含有低频成分的低分辨率图像与含有高频成分的高分辨图像相加,获得高分辨率图像Xh。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810236623.7A CN108416736B (zh) | 2018-03-21 | 2018-03-21 | 一种基于二次锚点邻域回归的图像超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810236623.7A CN108416736B (zh) | 2018-03-21 | 2018-03-21 | 一种基于二次锚点邻域回归的图像超分辨率重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108416736A true CN108416736A (zh) | 2018-08-17 |
CN108416736B CN108416736B (zh) | 2021-11-16 |
Family
ID=63133325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810236623.7A Active CN108416736B (zh) | 2018-03-21 | 2018-03-21 | 一种基于二次锚点邻域回归的图像超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108416736B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110084750A (zh) * | 2019-04-12 | 2019-08-02 | 浙江师范大学 | 基于多层岭回归的单幅图像超分辨率方法 |
CN111402141A (zh) * | 2020-03-25 | 2020-07-10 | 中国计量大学 | 串联式单图像超分辨率重建方法 |
CN111724303A (zh) * | 2020-05-12 | 2020-09-29 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种具有图像类型适应性的超分辨率图像处理方法与*** |
CN112990013A (zh) * | 2021-03-15 | 2021-06-18 | 西安邮电大学 | 一种基于稠密边界时空网络的时序行为检测方法 |
US12008732B2 (en) | 2020-04-02 | 2024-06-11 | Sony Group Corporation | Super-resolution of block-compressed texture for texture mapping applications |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008067363A2 (en) * | 2006-11-27 | 2008-06-05 | Nec Laboratories America, Inc. | Soft edge smoothness prior and application on alpha channel super resolution |
CN107358575A (zh) * | 2017-06-08 | 2017-11-17 | 清华大学 | 一种基于深度残差网络的单幅图像超分辨率重建方法 |
CN107481189A (zh) * | 2017-06-28 | 2017-12-15 | 西安邮电大学 | 一种基于学习的稀疏表示的超分辨率图像重建方法 |
-
2018
- 2018-03-21 CN CN201810236623.7A patent/CN108416736B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008067363A2 (en) * | 2006-11-27 | 2008-06-05 | Nec Laboratories America, Inc. | Soft edge smoothness prior and application on alpha channel super resolution |
CN107358575A (zh) * | 2017-06-08 | 2017-11-17 | 清华大学 | 一种基于深度残差网络的单幅图像超分辨率重建方法 |
CN107481189A (zh) * | 2017-06-28 | 2017-12-15 | 西安邮电大学 | 一种基于学习的稀疏表示的超分辨率图像重建方法 |
Non-Patent Citations (3)
Title |
---|
JIAN XU 等: "Image superresolution by midfrequency sparse representation and total variation regularization", 《JOURNAL OF ELECTRONIC IMAGING》 * |
RADU TIMOFTE 等: "Anchored Neighborhood Regression for Fast Example-Based Super-Resolution", 《COMPUTER VISION FOUNDATION》 * |
范九伦 等: "基于多锚点邻域回归的图像超分辨率算法", 《西安邮电大学学报》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110084750A (zh) * | 2019-04-12 | 2019-08-02 | 浙江师范大学 | 基于多层岭回归的单幅图像超分辨率方法 |
CN110084750B (zh) * | 2019-04-12 | 2023-06-02 | 浙江师范大学 | 基于多层岭回归的单幅图像超分辨率方法 |
CN111402141A (zh) * | 2020-03-25 | 2020-07-10 | 中国计量大学 | 串联式单图像超分辨率重建方法 |
CN111402141B (zh) * | 2020-03-25 | 2024-02-09 | 中国计量大学 | 串联式单图像超分辨率重建方法 |
US12008732B2 (en) | 2020-04-02 | 2024-06-11 | Sony Group Corporation | Super-resolution of block-compressed texture for texture mapping applications |
CN111724303A (zh) * | 2020-05-12 | 2020-09-29 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种具有图像类型适应性的超分辨率图像处理方法与*** |
CN112990013A (zh) * | 2021-03-15 | 2021-06-18 | 西安邮电大学 | 一种基于稠密边界时空网络的时序行为检测方法 |
CN112990013B (zh) * | 2021-03-15 | 2024-01-12 | 西安邮电大学 | 一种基于稠密边界时空网络的时序行为检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108416736B (zh) | 2021-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108416736A (zh) | 一种基于二次锚点邻域回归的图像超分辨率重建方法 | |
CN111192200A (zh) | 基于融合注意力机制残差网络的图像超分辨率重建方法 | |
CN104778671B (zh) | 一种基于sae和稀疏表示的图像超分辨率方法 | |
CN110033410A (zh) | 图像重建模型训练方法、图像超分辨率重建方法及装置 | |
CN109886871A (zh) | 基于通道注意力机制和多层特征融合的图像超分辨率方法 | |
CN112037131A (zh) | 一种基于生成对抗网络的单图像超分辨率重建方法 | |
CN106952228A (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
CN108805808A (zh) | 一种利用卷积神经网络提高视频分辨率的方法 | |
CN111105352A (zh) | 超分辨率图像重构方法、***、计算机设备及存储介质 | |
CN107341765A (zh) | 一种基于卡通纹理分解的图像超分辨率重建方法 | |
CN112270644A (zh) | 基于空间特征变换和跨尺度特征集成的人脸超分辨方法 | |
Xiao et al. | A dual-UNet with multistage details injection for hyperspectral image fusion | |
CN112767252B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
CN114841856A (zh) | 基于深度残差通道空间注意力的密集连接网络的图像超像素重建方法 | |
CN110349085A (zh) | 一种基于生成对抗网络的单幅图像超分辨特征增强方法 | |
CN109559278B (zh) | 基于多特征学习的超分辨图像重建方法及*** | |
CN114066729A (zh) | 一种可恢复身份信息的人脸超分辨率重建方法 | |
CN103020940B (zh) | 一种基于局部特征转换的人脸超分辨率重建方法 | |
CN117575915A (zh) | 一种图像超分辨率重建方法、终端设备及存储介质 | |
CN117788295B (zh) | 一种遥感图像的超分辨率重建方法、***及介质 | |
CN112070669B (zh) | 一种针对任意模糊核的超分辨率图像重建方法 | |
CN112508786B (zh) | 面向卫星图像的任意尺度超分辨率重建方法及*** | |
CN109242919A (zh) | 一种图像下采样方法 | |
CN102708556A (zh) | 一种基于反向图保持的单张图像超分辨率方法 | |
CN113191950B (zh) | 一种超分辨率人脸图像重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |