CN106651770A - 基于拉普拉斯范数正则化的多光谱超分辨成像重构方法 - Google Patents

Abstract

本发明公开了一种基于二阶拉普拉斯变换的图像超分辨重构方法，主要解决现有技术重构后的图像可信度不高及出现错误有色块的问题。其技术方案是：1.对低分辨率图像进行插值处理得到初始图像；2.根据设定的迭代公式，对初始图像进行迭代；3.对迭代后的图像进行分块和匹配相似块；4.将匹配后的相似块合并成各图像矩阵块；5.对图像矩阵块进行奇异值分解，并利用迭代收缩方法更新相似块；6.合并相似块获得更新后的图像矩阵块；6.将更新后的各图像矩阵块合并成图像，迭代实现图像的超分辨重构。本发明减少了错误有色块，有效提高了重构后图像的可信度和空间分辨率，可用于从低分辨率图像中重构出高分辨率图像。

Description

基于拉普拉斯范数正则化的多光谱超分辨成像重构方法

技术领域

本发明属于图像处理技术领域，特别涉及一种多光谱超分辨成像重构方法，用于从低分辨率图像中重构出高分辨率图像。

背景技术

超分辨成像的重构，是对低分辨率图像通过特定的方法重构出高分辨率图像。通常，通过超分辨成像的重构获得图像的空间高分辨率和多光谱图像高可信度。虽然现有的超分辨成像重构方法可获得比较高的空间分辨率图像。但是，现有的超分辨成像重构方法重构出的高分辨率灰度图中出现错误的有色块，如附图4(a)、4(b)、4(c)所示。并且对于一些要求比较精密的工作，比如材料分析、识别鉴别、精确分类等方面，需要提高空间分辨率和多光谱图像可信度。

目前，在提高多光谱可信度上没有很好的解决方法。提高空间分辨率的方法主要有两种有效的方法。

第一种方法是，在空间域直接进行超分辨图像重构，以此重构出空间高分辨率图像。但由于该重构方法忽略了高阶的谱间相关性，通过数学分析可知重构后的解是次优解，因此该方法不能有效提高图像的可信度。

第二种方法是，在图像重构时先对图像进行RGB到YUV的变换，然后进行空间超分辨重构，以此重构出空间高分辨率图像。但这种方法在带间去相关方面和谱段间结构适应性方面存在不足，因此不能有效提高图像的可信度，并且，在由RGB到YUV的变换过程中，会使图像的R、G、B各分量对应的空间位置无法对齐，最终在灰度图中出现错误的有色块，导致重构后的图像包含错误信息，进而不能准确实现图像的重构。

发明内容

本发明的目的是针对上述现有技术的不足，提出一种基于拉普拉斯范数正则化的超分辨重构方法，以减少现有方法重构后图像出现的错误信息，提高图像的空间分辨率和可信度。

本发明的实施方案是这样完成的：

一种基于拉普拉斯范数正则化的图像超分辨重构方法，包括如下步骤：

(1)对低分辨率图像进行双三次插值，得到初始的图像X⁽⁰⁾；

(2)设定迭代公式其中L为最大迭代次数，为第次迭代后的图像,δ为迭代正则参数；

(3)对初始图像X⁽⁰⁾利用上述设定的迭代公式获得第一次迭代后的图X⁽¹⁾；

(4)将第一次迭代后的图像X⁽¹⁾分成M块，并对第i块利用块匹配方法获得S_i个相似块矩阵，记x_(i,j)为第i块第j个相似块矩阵，再将这S_i个相似块合并成第i个图像矩阵X_i，其中i＝1,2,....,M，j＝1,2,…,S_i；

(5)对图像矩阵X_i利用公式[U,Σ′,V]＝SVD(X_i)进行奇异值分解，获得U，Σ′，V三个分解矩阵，其中U是与图像矩阵X_i相关的左正交矩阵，Σ′是包含图像矩阵X_i奇异值的奇异矩阵，V是与图像矩阵X_i相关的右正交矩阵；

(6)根据步骤(5)获得的U，Σ′，V这三个矩阵，利用公X_i＝US_μ(∑′)V^T更新图像矩阵X_i，其中是对奇异矩阵Σ′的软阈值运算，V^T代表对右正交矩阵V的转置，μ_l取奇异值矩阵Σ′中第三大特征值，k₁为设定第一个正则项的参数，max()表示对其求最大值；

(7)利用基于全变分正则化中的重建方法更新相似块矩阵x_(i,j)获得更新矩阵

(8)计算更新矩阵秩的最大值γ_i,j；

(9)利用公式对更新矩阵进行奇异值分解，获得U₁，Σ₁，V₁三个分解矩阵，其中U₁是与更新矩阵相关的左正交矩阵，Σ₁是包含更新矩阵的奇异值的奇异矩阵，V₁是与更新矩阵相关的右正交矩阵；

(10)设定收缩操作公式对相似块矩阵x_(i,j)进行更新，式中，x为与相似块矩阵x_(i,j)距离最近的收缩矩阵，H(∑₁)是使约束Rank(x_(i,j))≤r_i,j成立的一个硬阈值运算，V₁ ^T代表对与相似块矩阵x_(i,j)相关的右正交矩阵V₁的转置，Rank(x_(i,j))代表相似块矩阵x_(i,j)的秩；

(11)将第i块的S_i个相似块矩阵合并，获得第i个图像矩阵X_i；

(12)将M个图像矩阵X_i合并，获得图像X⁽¹⁾，返回步骤(2)，重复上述步骤，直到经过L次迭代后输出超分辨重构图像X^(L)。

本发明与现有技术相比具有以下优点

第一：提高重构后图像的空间分辨率和可信度。

本发明在现有的重构方法如A+、BCSR、NCSR方法基础上，考虑到空间结构上的相关性，使用迭代收缩方法更新相似块矩阵，使得本方法在峰值信噪比PSNR以及结构相关性SSIM表现更好，有效提高图像的空间分辨率和可信度。

第二：有效减少错误有色块。

现有方法重构出的图像会出现错误的有色块，而本发明利用二阶拉普拉斯空间特性，以及对相似块矩阵加约束，会有效减少错误有色块。

第三：重构后的图像更加准确。

现有方法重构出的高分辨图像与原高分辨图像的光谱反射率曲线有出入，而本发明的方法能够很好地拟合原图的光谱反射率曲线，因而重构后的图像更加准确。

附图说明

图1是本发明的实现流程图；

图2是仿真使用的原始光谱图像；

图3是可视化对比实验仿真时使用的低分辨率图像；

图4分别是用现有的A+方法、BSSC方法、NSCR方法以及本发明方法对图3进行重构的仿真结果对比图；

图5是可信度验证实验仿真时使用的原图像

图6是可信度验证实验中，用现有的A+方法、BSSC方法、NSCR方法以及本发明方法对图5进行重构后绘制的光谱反射率曲线图。

具体实施方式

下面结合附图和实例对本发明进行详细说明

参照图1，本发明的实现步骤如下：

步骤1，初始化。

对图2所示的原始光谱图像进行下采样处理获得如图3所示的低分辨率图像Y；

对低分辨率图像Y进行双三次插值，即对低分辨率图像矩阵隔行隔列抽取压缩得到抽样矩阵，对获得的抽样矩阵在行方向和列方向分别利用进行三次插值得到初始的图像X⁽⁰⁾，式中，n为插值点个数，C_k是第k个原函数的值，h(x-x_k)是插值基函数，该插值基函数的最高次幂为三次，且在定义域内基函数的一阶.二阶导数连续。

步骤2，对初始图像进行第一次迭代后，依次作分块、合并处理，获得图像矩阵。

(2a)设定迭代公式其中，L为最大迭代次数，为第次迭代后的图像，δ为迭代正则化系数，其值为0.22；D(x)表示对x作下采样处理的函数；D^T(x)表示D(x)的转置；

(2b)对步骤1获得的初始图像X⁽⁰⁾利用(2a)中设定公式进行迭代，得到第一次迭代后的图像X⁽¹⁾；

(2c)将第一次迭代后的图像X⁽¹⁾分成M块，利用块匹配方法计算当前块与相邻块最近的块，获得S_i个相似块矩阵，记x_(i,j)为第i块第j个相似块矩阵，再将这S_i个相似块合并成第i个图像矩阵X_i，其中，i＝1,2,....,M，j＝1,2,…,S_i。

步骤3，对图像矩阵X_i进行奇异值分解，并更新该图像矩阵。

(3a)对图像矩阵X_i利用公式[U,Σ′,V]＝SVD(X_i)进行奇异值分解，获得U，Σ′，V三个分解矩阵，其中U是与图像矩阵X_i相关的左正交矩阵，Σ′是包含图像矩阵X_i奇异值的奇异矩阵，V是与图像矩阵X_i相关的右正交矩阵；

(3b)根据步骤3a所获得的U，Σ′，V这三个矩阵，利用公式X_i＝US_μ(∑′)V^T更新图像矩阵X_i，其中：

是对奇异矩阵Σ′的软阈值运算，

k₁为设定第一个正则项的参数，取值为0.5，

V^T代表对右正交矩阵V的转置，

μ_l取奇异值矩阵Σ′中第三大特征值，使得所获得的图像矩阵X_i低秩，

max()表示对其求最大值。

步骤4，利用基于全变分正则化的重建方法更新相似块矩阵x_(i,j)。

本步骤的具体实现是根据全变分正则化的重建方法中的公式：

求解最小值问题，获得与相似块矩阵x_(i,j)距离最近的更新矩阵式中：

x为自变量；argmin()表示使某个泛函取得最小值的函数；ρ_l是权重系数，取值为1；k₂为设定第二个正则项的参数，取值为0.59；▽²(x)是对x做二阶拉普拉斯运算得到的矩阵；||·||_1,2代表范数，代表范数的平方。

步骤5，估算更新矩阵的最大秩。

利用不等式约束估算得到更新矩阵的最大秩γ_i,j；其中，γ_k代表相似块矩阵x_(i,j)的第k个奇异值；Γ为给定的阈值，其值为第二大奇异值和第三大奇异值的平均值。

步骤6，对更新矩阵进行奇异值分解，并更新相似块矩阵x_(i,j)。

(6a)利用公式对更新矩阵进行奇异值分解，获得U₁，Σ₁，V₁三个分解矩阵，其中U₁是与更新矩阵相关的左正交矩阵，Σ₁是包含更新矩阵的奇异值的奇异矩阵，V₁是与更新矩阵的右正交矩阵；

(6b)设定收缩操作公式对相似块矩阵x_(i,j)进行更新，其中：

为与相似块矩阵x_(i,j)距离最近的收缩矩阵，

H(Σ₁)是使约束Rank(x_(i,j))≤r_i,j成立的一个硬阈值运算，

Rank(x_(i,j))代表相似块矩阵x_(i,j)的秩，

V₁ ^T代表对与相似块矩阵x_(i,j)相关的右正交矩阵V₁的转置。

步骤7，依次合并相似块x_(i,j)、图像矩阵X_i，迭代L次输出超分辨重构图像。

(7a)将步骤2中的图像X⁽¹⁾分成M块，对于第i块，循环j次得到S_i个相似块矩阵x_(i,j)，将其合并后获得第i个图像矩阵X_i，将M个图像矩阵X_i合并后获得图像X⁽¹⁾，其中i＝1,2,....,M，j＝1,2,…,S_i；

(7b)将图像X⁽¹⁾代入步骤2中设定的迭代公式获得图像X⁽²⁾，对图像X⁽²⁾执行步骤2～(7a)，获得新的图像X⁽²⁾，再返回步骤2，依次执行次迭代，获得第次迭代后的图像其中，L取值为200；

(7c)判断图像是否迭代了L次，若是，停止迭代，输出重构后的高分辨图像X^(L)，若不是，则继续重复执行步骤2～(7a)，直到

本发明的效果可通过以下的仿真进一步说明

1.仿真条件

本实验的硬件测试平台是：Intel Core i7 CPU，主频3.40GHz，内存8GB；软件仿真平台为：windows 7、64位操作***和Matlab 2013b。

2.仿真实验

仿真1：对比实验，

为了验证本发明中方法的有效性，以哥伦比亚公开的前八个光谱图像作为实验所需的原始光谱图像，对其进行下采样得到八个低分辨率图像A～H。

用本发明方法和现有的A+方法、NCSR方法、BSSC方法分别对低分辨率图像A～H进行重构获得八个重构后的高分辨率图像a～h，分别在σ²＝0和σ²＝25不同水平的噪声下，比较重构后的高分辨率图像a～h的信噪比PSNR的大小以及结构相似性SSIM的大小，结果在表1所示。

表1

从表1中可以看出：在不同水平的噪声下，本发明方法的信噪比PSNR的大小比A+方法平均能增加0.67dB～1.08dB、比BCSR方法平均增加0.7dB～2.22dB、比NCSR方法平均增加0.24dB～0.96dB，结构相关性SSIM从表中也可以看出，本发明方法的结构相关性大小均比其他方法要高。

仿真2：可视化对比实验

为了更加可视化的突出本发明会有效减少有色块的优点，对图2进行下采样处理获得图3所示的低分辨率图像，对图3通过本发明方法和现有的A+方法、NCSR方法、BSSC方法进行重构，获得如图4表示的重构后的彩色图像，结果如图所示，其中：

4(a)是通过A+方法进行重构后彩色图像，

4(b)是通过BSSC方法进行重构后彩色图像，

4(c)是通过NCSR方法进行重构后彩色图像，

4(d)是通过本发明方法进行重构后彩色图像。

从图4(a)～4(d)对比图2原图，可以看出，A+、BCSR、NCSR方法重构的高分辨图像会呈现不同程度的错误色块。而本发明重构后的高分辨率图像有效减少了错误有色块。

仿真3：可信度验证实验，

为了说明本发明方法在可信度上的优越性，从图5选取材料相同、光谱特征相同的三点：即第一点1、第二点2、第三点3。

对图5进行下采样处理获得低分辨率图像Y₁，对低分辨率图像Y₁通过本发明方法和现有的A+方法、NCSR方法、BSSC方法进行重构，获得重构后的高分辨率图像。

绘制重构后的高分辨率图像中点1、点2、点3的光谱反射率曲线图，同时绘制图5的光谱反射率曲线图，结果如图6所示，其中，

图6(a)表示第一点1的光谱反射率曲线图，

图6(b)表示第二点2的光谱反射率曲线图，

图6(c)表示第三点3的光谱反射率曲线图。

对比图6所示的三点光谱反射率曲线，可以明显看出A+、BCSR、NCSR方法重构的高分辨率图像与原图像的光谱反射率曲线有较大的出入，而本发明方法能够很好拟合原图的光谱反射率的曲线，实现准确重构，保证了重构的高分辨率图像的可信度。

Claims (3)

1.一种基于拉普拉斯范数正则化的图像超分辨重构方法，包括如下步骤：

(1)对低分辨率图像进行双三次插值，得到初始的图像X⁽⁰⁾；

(2)设定迭代公式其中L为最大迭代次数，为第次迭代后的图像，δ为迭代正则系数；

(3)对初始图像X⁽⁰⁾利用上述设定的迭代公式获得第一次迭代后的图像X⁽¹⁾；

(4)将第一次迭代后的图像X⁽¹⁾分成M块，并对第i块利用块匹配方法获得S_i个相似块矩阵，记x_(i,j)为第i块第j个相似块矩阵，再将这S_i个相似块合并成第i个图像矩阵X_i，其中i＝1,2,....,M，j＝1,2,…,S_i；

(5)对图像矩阵X_i利用公式[U,Σ′,V]＝SVD(X_i)进行奇异值分解，获得U，Σ′，V三个分解矩阵，其中U是与图像矩阵X_i相关的左正交矩阵，Σ′是包含图像矩阵X_i奇异值的奇异矩阵，V是与图像矩阵X_i相关的右正交矩阵；

(6)根据步骤(5)获得的U，Σ′，V这三个矩阵，利用公式X_i＝US_μ(Σ′)V^T更新图像矩阵X_i，其中是对奇异矩阵Σ′的软阈值运算，V^T代表对右正交矩阵V的转置，μ_l取奇异值矩阵Σ′中第三大特征值，k₁为设定第一个正则项的参数，max()表示对其求最大值；

(7)利用基于全变分正则化中的重建方法更新相似块矩阵x_(i,j)获得更新矩阵

(8)计算更新矩阵秩的最大值γ_i,j；

(9)利用公式对更新矩阵进行奇异值分解，获得U₁，Σ₁，V₁三个分解矩阵，其中U₁是与更新矩阵相关的左正交矩阵，Σ₁是包含更新矩阵的奇异值的奇异矩阵，V₁是与更新矩阵相关的右正交矩阵；

(10)设定收缩操作公式对相似块矩阵x_(i,j)进行更新，式中，为与相似块矩阵x_(i,j)距离最近的收缩矩阵，H(Σ₁)是使约束Rank(x_(i,j))≤r_i,j成立的一个硬阈值运算，V₁ ^T代表对与相似块矩阵x_(i,j)相关的右正交矩阵V₁的转置，Rank(x_(i,j))代表相似块矩阵x_(i,j)的秩；

(11)将第i块的S_i个相似块矩阵合并，获得第i个图像矩阵X_i；

(12)将M个图像矩阵X_i合并，获得图像X⁽¹⁾，返回步骤(2)，重复上述步骤，直到经过L次迭代后输出超分辨重构图像X^(L)。

2.根据权利要求1所述的方法，其中步骤(7)中利用基于全变分正则化的重建方法更新相似块矩阵x_(i,j)，通过如下公式进行：

$\hat{x}={\mathrm{argmin}}_x\left|\right|{\▿}^2\left(x\right)|{|}_{1,2}+{\mathrm{\ρ}}_l,k_2||x-x_{(i,j)}|{|}_2^2,$

式中，x为自变量；为更新后的矩阵；arg min()表示使某个泛函取得最小值的函数；ρ_l是权重系数，取值为1；k₂为设定第二个正则项的参数，取值为0.59；是对x做二阶拉普拉斯运算得到的矩阵；||·||_1,2代表范数，代表范数的平方。

3.根据权利要求1所述的方法，其中步骤(8)中计算相似块矩阵x_(i,j)的最大秩的γ_i,j，是通过不等式约束估算得到，其中，Σ表示求和符号；γ_k代表相似块矩阵x_(i,j)的第k个奇异值；Γ为给定的阈值，其值为第二大奇异值和第三大奇异值的平均值。