CN104091364A - 单幅图像超分辨重建方法 - Google Patents
单幅图像超分辨重建方法 Download PDFInfo
- Publication number
- CN104091364A CN104091364A CN201410328001.9A CN201410328001A CN104091364A CN 104091364 A CN104091364 A CN 104091364A CN 201410328001 A CN201410328001 A CN 201410328001A CN 104091364 A CN104091364 A CN 104091364A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- image block
- dictionary
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明公开了一种单幅图像超分辨重建方法,用于解决现有图像超分辨重建方法图像重建精度低的技术问题。技术方案是首先利用大量高分辨图像提取高/低分辨率的图像块对作为字典,然后根据输入的图像块选取字典中的低分辨率图像块进行变形场的计算,进而对字典中对应的高分辨图像块进行变形。通过局部约束和全局约束得到最终的高分辨图像。本发明利用可变形的图像块,大大增强了字典的表述能力,进而提高了最终的重建效果。在选取30000个7×7个图像块对作为字典,图像块提取步长取为s=1时,对256×256的标准测试图像Lena图像进行放大倍数为3的超分辨重建时,能够达到PSNR=31.53的重建精度,高于文献中PSNR=29.68的重建精度。
Description
技术领域
本发明涉及一种图像超分辨重建方法,特别涉及一种单幅图像超分辨重建方法。
背景技术
高分辨率的图像在刑事侦察、行为监视、目标识别、医学影像处理等方面都有重要的应用价值。在不改变已有图像传感器和成像设备的前提下,利用超分辨重建的方法提高图像的分辨率具有非常重要的意义。现有的单幅图像超分辨重建的方法主要有:基于插值的方法、基于流形学习的方法,基于稀疏编码的方法以及基于自相似图像块的方法。
文献“基于局部约束线性编码的单帧和多帧图像超分辨率重建,吉林大学学报(工学版),2013,Vol.43,p365-371”公开了一种利用局部约束线性编码(LLC)进行单帧图像超分辨重建的方法。此方法对传统的稀疏编码进行了改进。首先依据一个高分辨率图像集提取大量图像块,训练出成对的高分辨率和低分辨率词典,然后根据低分辨率词典对输入的低分辨率图像用LLC方法进行编码,再依据高分辨率词典及编码系数初步重建高分辨率图像,最后添加全局约束重建高分辨率图像。由于图像降质造成的高低分辨率图像对应模式的不确定性,这种方法需要预先提取的大量图像块对中包含与需要超分辨的图像块极其相似的模式,如果不满足要求,仅仅利用LLC方法对低分辨率图像进行编码,必然造成重建的高分辨率图像产生模糊、块效应等影响图像质量的现象出现,因此文献提供的方法有很大的局限性。
发明内容
为了克服现有图像超分辨重建方法图像重建精度低的不足,本发明提供一种单幅图像超分辨重建方法。该方法首先利用大量高分辨图像提取高/低分辨率的图像块对作为字典,然后根据输入的图像块选取字典中的低分辨率图像块进行变形场的计算,进而对字典中对应的高分辨图像块进行变形。通过局部约束和全局约束得到最终的高分辨图像。本发明利用可变形的图像块,大大增强了字典的表述能力,进而提高了最终的重建效果。在选取30000个7×7个图像块对作为字典,图像块提取步长取为s=1时,对256×256的标准测试图像Lena图像进行放大倍数为3的超分辨重建时,能够达到PSNR=31.53的重建精度,高于文献中PSNR=29.68的重建精度。
本发明解决其技术问题所采用的技术方案是:一种单幅图像超分辨重建方法,其特点是包括以下步骤:
步骤一、建立单幅图像超分辨重建降质模型为:
Y=SHX+n (1)
其中,Y为观测到的低分辨率图像,X为需要估计的高分辨率图像,H为模糊矩阵,S为降采样矩阵,n为噪声矩阵。假设Ω={(ik,jk,tk)}N是从200幅图像中随机抽取的N个图像块的中心位置集合,k=1,...,N是Ω中元素的索引,(ik,jk,tk)代表第tk幅图像第ik行jk列的位置,tk∈{1,...,200},那么得到高低分辨率图像块对作为字典:
其中,Dh为字典的高分辨率部分,Dl为字典的低分辨率部分。Dhk和Dlk表示其中的第k列。为高分辨图像集中的第tk幅图像。代表提取图像中中心为(ik,jk)的固定大小为p×p的图像块并将其拉伸为列向量。SH为图像的降采样过程,为图像的上采样过程,这两个过程均使用三次插值方法实现,得到的字典Dh和Dl均为p2×N的矩阵,对应的相同列的列向量取自同一幅高分辨图像和相应的模糊低分辨图像的同一位置。Nor表示对所得到的向量进行归一化:
其中,为要归一化的向量,μx和分别为的均值和方差。
步骤二、对输入的低分辨率图像Y,首先将其利用图像三次插值方法对其进行上采样,然后将图像从左到右,从上到下以步长s提取p×p大小的图像块。得到低分辨率的图像块:
其中,Ri,j代表提取图像中中心为(i,j)的固定大小为p×p的图像块并将其拉伸为列向量。(i,j)属于以步长s的从左到右、从上到下的坐标位置集合。为简化起见,将Pl(i,j)记作Pl,表示提取到的一个图像块。
令φ为变形算子,对字典中的一个图像块对Bh和Bl,利用相同的变形场对其进行变形。假设u(x,y)和v(x,y)为变形场水平和数值方向上的分量,为了简化,用u和v表示它们。φ的泰勒展开式为:
其中,B为需要变形的图像块,Bh和Bl的变形均使用此公式。和分别为x方向和y方向上的梯度算子。表示以为对角线的对角矩阵,表示与u进行逐元素的相乘,同样。使用Bl和Pl进行变形场的计算,用Bh结合变形场u和v进行变形得到Pl的高分辨估计。对Bl和输入的图像块Pl,建立误差函数如下:
这里正则项对u和v的二阶导数进行了约束,使变形场的变化不致太剧烈。η为数据项和正则项的平衡因子,为拉普拉斯算子,本发明取 η=0.1。Nor为公式(3)所述的归一化函数。令:
Pd=Bl-Nor(Pl),
这时E写作下面的形式:
令得到公式(8)的解析解
此时,E有最小值依据这些公式进行以下操作:
1)衡量字典中每个低分辨率图像块与输入图像块的变形代价误差E,选取字典中最适合变形的低分辨率图像块,即:
2)对选定的字典中低分辨率图像块代入公式(7)和公式(9),得到低分辨率的变形场
3)对在字典中与对应的高分辨率图像块利用公式(5)进行变形,得到与输入低分辨率图像块相合的高分辨率图像块估计:
4)以上步骤均在归一化图像块上进行,因此得到的变形后的高分辨率的图像块的灰度范围也在附近。故需要将其映射到Pl所在的灰度范围。设有α和β,使最终的高分辨图像块则构造代价函数使其最小化得:
α和β的最小二乘解如下:
其中,1表示元素全为1的列向量。在获得α和β后,得最终的高分辨图像块:
步骤三、在得到高分辨率的图像块后,将其映射到高分辨率的图像网格上,与其他图像块重叠的部分按照重叠的图像块个数求取平均,假设中心位置为(i,j)的图像块的高分辨估计为Bdij,那么通过图像块进行局部约束生成的高分辨图像为:
其中,表示Ri,j的拟过程,即通过图像块形成一幅图像,只有在中心位置为(i,j),p×p大小的区域为此图像块,其余部分为零。显然为对角矩阵,对角线表示了每个像素所得到的图像块覆盖的个数。
步骤四、通过以上过程形成的高分辨图像仅仅在每个重建的图像块上符合超分辨的降质模型。对降质模型施加全局约束,在得到局部约束下的高分辨图像的基础上,最终的超分辨的结果为:
利用后向投影的方法得到求解以上公式:
其中,X0为迭代初始值,即迭代次数l=0时X的值。h为后向投影算子,利用三次插值实现图像的上采样与降采样。迭代收敛的结果即为最终的超分辨结果。
本发明的有益效果是:该方法首先利用大量高分辨图像提取高/低分辨率的图像块对作为字典,然后根据输入的图像块选取字典中的低分辨率图像块进行变形场的计算,进而对字典中对应的高分辨图像块进行变形。通过局部约束和全局约束得到最终的高分辨图像。本发明利用可变形的图像块,大大增强了字典的表述能力,进而提高了最终的重建效果。在选取30000个7×7个图像块对作为字典,图像块提取步长取为s=1时,对256×256的标准测试图像Lena图像进行放大倍数为3的超分辨重建时,能够达到PSNR=31.53的重建精度,高于文献中PSNR=29.68的重建精度。
以下结合具体实施方式详细说明本发明。
具体实施方式
本发明单幅图像超分辨重建方法具体步骤如下:
1、字典的选取。
本实施例选取加州大学伯克利分校国际标准图像库BSDS300中的训练集中的图像(200幅)作为高分辨图像集。单幅图像超分辨重建降质模型为:
Y=SHX+n (1)
其中,Y为观测到的低分辨率图像,X为需要估计的高分辨率图像,H为模糊矩阵,S为降采样矩阵,n为噪声矩阵。假设Ω={(ik,jk,tk)}N是从200幅图像中随机抽取的N个图像块的中心位置集合,k=1,...,N是Ω中元素的索引,(ik,jk,tk)代表第tk幅图像第ik行jk列的位置(tk∈{1,...,200}),那么得到高低分辨率图像块对作为字典:
其中,Dh为字典的高分辨率部分,Dl为字典的低分辨率部分。Dhk和Dlk表示其中的第k列。为高分辨图像集中的第tk幅图像。代表提取图像中中心为(ik,jk)的固定大小为p×p的图像块并将其拉伸为列向量。SH为图像的降采样过程,为图像的上采样过程,在本实施例中,这两个过程均使用三次插值方法实现,因此不需要给出S和H的显式形式。得到的字典Dh和Dl均为p2×N的矩阵,对应的相同列的列向量取自同一幅高分辨图像和相应的模糊低分辨图像的同一位置。Nor表示对所得到的向量进行归一化:
其中,为要归一化的向量,μx和分别为的均值和方差。
本实施例中取p=7,N=30000。
2、图像块的匹配和变形。
对输入的低分辨率图像Y,本实施例首先将其利用图像三次插值方法对其进行上采样,然后将图像从左到右,从上到下以步长s提取p×p大小的图像块。得到低分辨率的图像块:
同样,为利用三次插值图像的上采样过程,Ri,j代表提取图像中中心为(i,j)的固定大小为p×p的图像块并将其拉伸为列向量。(i,j)属于以步长s的从左到右、从上到下的坐标位置集合。为简化起见,本实施例将Pl(i,j)记作Pl,表示提取到的一个图像块。
令φ为变形算子,对字典中的一个图像块对Bh和Bl,本实施例利用相同的变形场对其进行变形。假设u(x,y)和v(x,y)为变形场水平和数值方向上的分量,为了简化,本实施例用u和v表示它们。φ的泰勒展开式为:
其中B为需要变形的图像块,在本实施例中Bh和Bl的变形均使用此公式。和分别为x方向和y方向上的梯度算子。表示以为对角线的对角矩阵,表示与u进行逐元素的相乘,同样。本实施例使用Bl和Pl进行变形场的计算,用Bh结合变形场u和v进行变形得到Pl的高分辨估计。对Bl和输入的图像块Pl,建立误差函数如下:
这里正则项对u和v的二阶导数进行了约束,使变形场的变化不致太剧烈。η为数据项和正则项的平衡因子,为拉普拉斯算子,本实施例取 η=0.1。Nor为公式(3)所述的归一化函数。令:
Pd=Bl-Nor(Pl),
这时E可以写作下面的形式:
令得到公式(8)的解析解
此时,E有最小值依据这些公式,本实施例进行以下操作:
1)衡量字典中每个低分辨率图像块与输入图像块的变形代价误差E,选取字典中最适合变形的低分辨率图像块,即:
2)对选定的字典中低分辨率图像块代入公式(7)和公式(9),得到低分辨率的变形场
3)对在字典中与对应的高分辨率图像块利用公式(5)进行变形,得到与输入低分辨率图像块相合的高分辨率图像块估计:
4)以上步骤均在归一化图像块上进行,因此得到的变形后的高分辨率的图像块的灰度范围也在附近。故需要将其映射到Pl所在的灰度范围。设有α和β,使最终的高分辨图像块则构造代价函数使其最小化可得:
α和β的最小二乘解如下:
其中,1表示元素全为1的列向量。在获得α和β后,可得最终的高分辨图像块:
本实施例中取图像块提取步长为s=1。
3、生成局部约束下的高分辨图像。
在得到高分辨率的图像块后,本实施例将其映射到高分辨率的图像网格上,与其他图像块重叠的部分按照重叠的图像块个数求取平均,假设中心位置为(i,j)的图像块的高分辨估计为Bdij,那么通过图像块进行局部约束生成的高分辨图像为:
其中表示Ri,j的拟过程,即通过图像块形成一幅图像,只有在中心位置为(i,j),p×p大小的区域为此图像块,其余部分为零。显然为对角矩阵,对角线表示了每个像素所得到的图像块覆盖的个数。
4、生成全局约束下的高分辨图像。
通过以上过程形成的高分辨图像仅仅在每个重建的图像块上符合超分辨的降质模型(公式(1))。而在整幅图像上未必符合此模型。因此需要对其施加全局约束,以进一步提高其重建精度。在得到局部约束下的高分辨图像的基础上,最终的超分辨的结果为:
本实施例利用后向投影的方法得到求解以上公式:
其中X0为迭代初始值,即迭代次数l=0时X的值。h为后向投影算子,本实施例取h为大小5×5,方差为1的高斯滤波模板。同样的利用三次插值实现图像的上采样与降采样。迭代收敛的结果即为最终的超分辨结果。
Claims (1)
1.一种单幅图像超分辨重建方法,其特征在于包括以下步骤:
步骤一、建立单幅图像超分辨重建降质模型为:
Y=SHX+n (1)
其中,Y为观测到的低分辨率图像,X为需要估计的高分辨率图像,H为模糊矩阵,S为降采样矩阵,n为噪声矩阵;假设Ω={(ik,jk,tk)}N是从200幅图像中随机抽取的N个图像块的中心位置集合,k=1,...,N是Ω中元素的索引,(ik,jk,tk)代表第tk幅图像第ik行jk列的位置,tk∈{1,...,200},那么得到高低分辨率图像块对作为字典:
其中,Dh为字典的高分辨率部分,Dl为字典的低分辨率部分;Dhk和Dlk表示其中的第k列;为高分辨图像集中的第tk幅图像;代表提取图像中中心为(ik,jk)的固定大小为p×p的图像块并将其拉伸为列向量;SH为图像的降采样过程,为图像的上采样过程,这两个过程均使用三次插值方法实现,得到的字典Dh和Dl均为p2×N的矩阵,对应的相同列的列向量取自同一幅高分辨图像和相应的模糊低分辨图像的同一位置;Nor表示对所得到的向量进行归一化:
其中,为要归一化的向量,μx和分别为的均值和方差;
步骤二、对输入的低分辨率图像Y,首先将其利用图像三次插值方法对其进行上采样,然后将图像从左到右,从上到下以步长s提取p×p大小的图像块;得到低分辨率的图像块:
其中,Ri,j代表提取图像中中心为(i,j)的固定大小为p×p的图像块并将其拉伸为列向量;(i,j)属于以步长s的从左到右、从上到下的坐标位置集合;为简化起见,将Pl(i,j)记作Pl,表示提取到的一个图像块;
令φ为变形算子,对字典中的一个图像块对Bh和Bl,利用相同的变形场对其进行变形;假设u(x,y)和v(x,y)为变形场水平和数值方向上的分量,为了简化,用u和v表示它们;φ的泰勒展开式为:
其中,B为需要变形的图像块,Bh和Bl的变形均使用此公式;和分别为x方向和y方向上的梯度算子;表示以为对角线的对角矩阵,表示与u进行逐元素的相乘,同样;使用Bl和Pl进行变形场的计算,用Bh结合变形场u和v进行变形得到Pl的高分辨估计;对Bl和输入的图像块Pl,建立误差函数如下:
这里正则项对u和v的二阶导数进行了约束,使变形场的变化不致太剧烈;η为数据项和正则项的平衡因子,为拉普拉斯算子,本发明取 η=0.1;Nor为公式(3)所述的归一化函数;令:
Pd=Bl-Nor(Pl),
这时E写作下面的形式:
令得到公式(8)的解析解
此时,E有最小值依据这些公式进行以下操作:
1)衡量字典中每个低分辨率图像块与输入图像块的变形代价误差E,选取字典中最适合变形的低分辨率图像块,即:
2)对选定的字典中低分辨率图像块代入公式(7)和公式(9),得到低分辨率的变形场
3)对在字典中与对应的高分辨率图像块利用公式(5)进行变形,得到与输入低分辨率图像块相合的高分辨率图像块估计:
4)以上步骤均在归一化图像块上进行,因此得到的变形后的高分辨率的图像块的灰度范围也在附近;故需要将其映射到Pl所在的灰度范围;设有α和β,使最终的高分辨图像块则构造代价函数使其最小化得:
α和β的最小二乘解如下:
其中,1表示元素全为1的列向量;在获得α和β后,得最终的高分辨图像块:
步骤三、在得到高分辨率的图像块后,将其映射到高分辨率的图像网格上,与其他图像块重叠的部分按照重叠的图像块个数求取平均,假设中心位置为(i,j)的图像块的高分辨估计为Bdij,那么通过图像块进行局部约束生成的高分辨图像为:
其中,表示Ri,j的拟过程,即通过图像块形成一幅图像,只有在中心位置为(i,j),p×p大小的区域为此图像块,其余部分为零;显然为对角矩阵,对角线表示了每个像素所得到的图像块覆盖的个数;
步骤四、通过以上过程形成的高分辨图像仅仅在每个重建的图像块上符合超分辨的降质模型;对降质模型施加全局约束,在得到局部约束下的高分辨图像的基础上,最终的超分辨的结果为:
利用后向投影的方法得到求解以上公式:
其中,X0为迭代初始值,即迭代次数l=0时X的值;h为后向投影算子,利用三次插值实现图像的上采样与降采样;迭代收敛的结果即为最终的超分辨结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410328001.9A CN104091364B (zh) | 2014-07-10 | 2014-07-10 | 单幅图像超分辨重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410328001.9A CN104091364B (zh) | 2014-07-10 | 2014-07-10 | 单幅图像超分辨重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104091364A true CN104091364A (zh) | 2014-10-08 |
CN104091364B CN104091364B (zh) | 2017-01-11 |
Family
ID=51639079
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410328001.9A Active CN104091364B (zh) | 2014-07-10 | 2014-07-10 | 单幅图像超分辨重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104091364B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104899835A (zh) * | 2015-04-28 | 2015-09-09 | 西南科技大学 | 基于盲模糊估计与锚定空间映射的图像超分辨处理方法 |
CN105405106A (zh) * | 2015-10-22 | 2016-03-16 | 华南农业大学 | 一种单图像超分辨率重建的方法 |
CN105844589A (zh) * | 2016-03-21 | 2016-08-10 | 深圳市未来媒体技术研究院 | 一种基于混合成像***的实现光场图像超分辨的方法 |
CN108475414A (zh) * | 2015-10-27 | 2018-08-31 | 华为技术有限公司 | 图像处理方法和装置 |
CN109191554A (zh) * | 2018-09-04 | 2019-01-11 | 清华-伯克利深圳学院筹备办公室 | 一种超分辨图像重建方法、装置、终端和存储介质 |
-
2014
- 2014-07-10 CN CN201410328001.9A patent/CN104091364B/zh active Active
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104899835A (zh) * | 2015-04-28 | 2015-09-09 | 西南科技大学 | 基于盲模糊估计与锚定空间映射的图像超分辨处理方法 |
CN104899835B (zh) * | 2015-04-28 | 2018-07-10 | 西南科技大学 | 基于盲模糊估计与锚定空间映射的图像超分辨处理方法 |
CN105405106A (zh) * | 2015-10-22 | 2016-03-16 | 华南农业大学 | 一种单图像超分辨率重建的方法 |
CN108475414A (zh) * | 2015-10-27 | 2018-08-31 | 华为技术有限公司 | 图像处理方法和装置 |
CN108475414B (zh) * | 2015-10-27 | 2020-09-11 | 华为技术有限公司 | 图像处理方法和装置 |
CN105844589A (zh) * | 2016-03-21 | 2016-08-10 | 深圳市未来媒体技术研究院 | 一种基于混合成像***的实现光场图像超分辨的方法 |
CN105844589B (zh) * | 2016-03-21 | 2018-12-21 | 深圳市未来媒体技术研究院 | 一种基于混合成像***的实现光场图像超分辨的方法 |
CN109191554A (zh) * | 2018-09-04 | 2019-01-11 | 清华-伯克利深圳学院筹备办公室 | 一种超分辨图像重建方法、装置、终端和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104091364B (zh) | 2017-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102156875B (zh) | 基于多任务ksvd字典学习的图像超分辨率重构方法 | |
CN103077511B (zh) | 基于字典学习和结构相似的图像超分辨率重建方法 | |
CN105046672B (zh) | 一种图像超分辨率重建方法 | |
CN105931179A (zh) | 一种联合稀疏表示与深度学习的图像超分辨率方法及*** | |
CN102136144B (zh) | 图像配准可靠性模型和超分辨率图像的重构方法 | |
CN102722876B (zh) | 一种基于残差的图像超分辨率重建方法 | |
CN104657962B (zh) | 基于级联线性回归的图像超分辨重建方法 | |
CN101719266B (zh) | 一种基于仿射变换的正面人脸图像超分辨率重建方法 | |
CN103810755B (zh) | 基于结构聚类稀疏表示的压缩感知光谱图像重建方法 | |
CN106952228A (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
CN106780342A (zh) | 基于稀疏域重构的单帧图像超分辨重建方法及装置 | |
CN103020909B (zh) | 基于多尺度结构自相似与压缩感知的单图像超分辨率方法 | |
CN101794440A (zh) | 图像序列的加权自适应超分辨率重建方法 | |
CN105139339A (zh) | 基于多级滤波和样本匹配的偏振图像超分辨率重建方法 | |
CN103366347B (zh) | 基于稀疏表示的图像超分辨率重建方法 | |
CN103455988B (zh) | 基于结构自相似性与稀疏表示的超分辨率图像重构方法 | |
CN105631807A (zh) | 基于稀疏域选取的单帧图像超分辨重建方法 | |
CN104091364A (zh) | 单幅图像超分辨重建方法 | |
CN103077505A (zh) | 基于字典学习和结构聚类的图像超分辨率重建方法 | |
CN106157244A (zh) | 一种基于稀疏表示的QR Code图像超分辨重建方法 | |
Chen et al. | Single image super-resolution using deep CNN with dense skip connections and inception-resnet | |
CN105488759B (zh) | 一种基于局部回归模型的图像超分辨率重建方法 | |
CN104867119A (zh) | 基于低秩矩阵重建的结构性缺失图像填充方法 | |
CN103473797B (zh) | 基于压缩感知采样数据修正的空域可缩小图像重构方法 | |
CN111861884A (zh) | 一种基于深度学习的卫星云图超分辨率重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |