CN113506212A - 一种改进的基于pocs的高光谱图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种改进的基于POCS的高光谱图像超分辨率重建方法，该方法首先从序列低分辨率高光谱图像的第一波段的灰度图像中随机选取一幅，通过双三次插值得到初始参考帧，在一定程度上缓解了重建图像边缘模糊问题；然后利用剩余的第一波段的灰度图像根据引入了松弛算子的投影公式对其进行修正，抑制了重建图像平滑区的毛刺；在迭代两次以上后，根据前后两次迭代重建图像之间均方误差是否小于某个阈值作为退出迭代的条件，使迭代过程自适应化，避免了人为设定迭代次数的主观性；最后对高光谱图像的每一个波段的灰度图像都重复上述过程，得到空间分辨率提升的高光谱图像。该方法可以作为高光谱图像空间分辨率提升的一种有效手段。

Description

一种改进的基于POCS的高光谱图像超分辨率重建方法

技术领域

本发明涉及遥感图像处理技术领域，尤其涉及一种基于POCS的高光谱图像超分辨率重建方法。

背景技术

高光谱图像的光谱分辨率极高，但是这种高的光谱分辨率是以牺牲空间分辨率为代价的。在拍摄高光谱图像时，相机曝光时间一定，获取的光子数量也是固定的，光谱分辨率越高，意味着在成像的时候，分到每个波段上用于成像的光子数量就变少了，由此导致了高光谱图像低的空间分辨率。谱分辨率和空间分辨率的相互制约限制了高光谱图像的应用，因此如何提高高光谱图像的空间分辨率成为急需解决的问题。

考虑到从硬件的角度入手，即提高高光谱相机的性能，会受到成本以及技术工艺的双重限制，目前解决高光谱图像低空间分辨率问题的方法都是从软件的角度出发，利用超分辨率重建算法对图像进行重建，以提高其空间分辨率。

在序列图像空间域超分辨率重建方法中，凸集投影算法(POCS)由于其原理简单，重建效果良好等特点获得了众多学者的青睐。POCS算法所依托的理论为集合论，该类方法主要依据图像的多个先验信息，每一个先验信息构成一个闭合凸集，这些闭合凸集的交集即为POCS超分辨率重建的解空间。但通过这类算法重建出来的图像会存在边缘模糊、平滑区域出现毛刺、迭代次数过于主观等问题。

发明内容

根据传统POCS超分辨率重建方法重建得到的图像存在边缘模糊、平滑区域出现毛刺、迭代次数过于主观等问题，本发明公开了一种改进的基于POCS 的高光谱图像超分辨率重建方法，具体包括如下步骤：

S1：从序列低分辨率的高光谱图像中选取某个波段的灰度图像，得到此波段的序列低分辨率灰度图像；

S2：随机选取序列低分辨率灰度图像中的任意一幅并通过双三次插值方式对其进行插值处理得到初始参考帧；

S3：计算图像的梯度图、并对其进行高斯滤波处理，根据梯度图获取松弛算子，将松弛算子加入到投影公式中得到改进的投影公式；

S4：从剩余的低分辨率图像中选取一幅，通过运动估计找到低分辨率图像上的像素点在初始参考帧上的对应位置；

S5：采用点扩散函数PSF模拟退化过程，将初始参考帧图像缩小到与低分辨率图像相同的尺寸，再求二者的残差，根据残差并利用改进的投影公式对初始参考帧进行修正优化该波段的初始参考帧；

S6：判断序列低分辨率图像是否全部被用来优化初始参考帧，若是，则进入S7，若否，则返回S4；

S7：求本次迭代重建的高分辨率图像和上次迭代重建的高分辨率图像的均方误差，将该均方误差与设定阈值进行比较，若均方误差小于此设定阈值，则进入S8，若大于此设定阈值，则返回S4；

S8：重复S1到S7，直到高光谱图像所有波段的灰度图像均被重建。

S2中具体采用如下方式：利用待采样点周围16个点的灰度值作加权叠加，既考虑了4个直接相邻点的灰度影响，也考虑了各邻点间灰度值变化率的影响。具体采用如下方式：

S21：根据原图像A与放大图像B的倍数k计算放大图像中的点(X,Y)在原图像中的对应位置(x+u,y+v)；

S22：在原图像中找到与(x+u,y+v)距离最近的16个像素点；

S23：根据双三次插值基函数计算该16个像素点的水平权重与垂直权重，双三次插值基函数计算公式如下：

S24：将16个像素点的像素值结合其水平与垂直权重进行加权叠加，得到放大图像中的点(X,Y)的像素值，计算公式如下：

S3中具体采用如下方式：利用梯度图衡量当前像素与周围像素的差异程度，梯度越大，则差异越大，梯度越小，则差异越小；

所述梯度图采用如下方式获取：

设原始图像F＝[f(m₁,m₂)]_M1×M2的尺寸为M₁×M₂，根据当前像素的邻域分布，定义图像的加权梯度如式(2)所示。

式中：g₁，g₂，g₃，g₄分别如式(3)，式(4)，式(5)和式(6)所示；

式中：g₁，g₂，g₃，g₄分别是当前像素点在各个方向上的加权梯度值；

对计算得到的梯度图进行一次高斯滤波处理；

根据梯度图计算出的松弛算子有着和梯度图相同的性质，在强边缘的附近，梯度值大，在弱边缘附近梯度值小，将松弛算子加入至投影公式中就能得到改进的投影公式，改进的投影公式在对初始参考帧修正时能够很好地区分边缘区域和平滑区域，做不同程度的修正。

所述松弛算子采用如下方式获取：

其中min(g)表示梯度图的最小值，k为调整系数，取值范围为[-1,1]；

所述改进的投影公式采用如下方式获取：

其中x为初始参考帧，λ为松弛算子，r^(y)为残差，h是PSF模板，δ₀是一个跟噪声有关的量。

S7中具体采用如下方式：前后两次迭代重建的高分辨率图像之均方误差用来衡量两幅图像之间的相似性，若均方误差足够小，则认为相邻两次迭代重建出的两幅图像很相似，此次迭代重建的图像与上次迭代重建的图像差异性很小，没有继续迭代下去的必要，算法已收敛，反之算法未收敛，需要继续迭代，具体方式为：

根据下式计算前后两次迭代重建图像的均方误差：

判断均方误差与所设阈值的相对大小，若均方误差小，则退出迭代，反之，则返回S4。

基于上述技术方案，本发明提供了一种改进的基于POCS的高光谱图像超分辨率重建方法。该方法首先从序列低分辨率高光谱图像的第一波段的灰度图像中随机选取一幅，通过双三次插值得到初始参考帧，在一定程度上缓解了重建图像边缘模糊问题；然后利用剩余的第一波段的灰度图像根据引入了松弛算子的投影公式对其进行修正，抑制了重建图像平滑区的毛刺；在迭代两次以上后，根据前后两次迭代重建图像之间均方误差是否小于某个阈值作为退出迭代的条件，使迭代过程自适应化，避免了人为设定迭代次数的主观性；最后对高光谱图像的每一个波段的灰度图像都重复上述过程，得到空间分辨率提升的高光谱图像。该方法可以作为高光谱图像空间分辨率提升的一种有效手段，具有高空间分辨率的高光谱图像是高光谱图像应用于分类和检测等工作的前提，故该方法有重要的应用价值。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种改进的基于POCS的高光谱图像超分辨率重建方法的流程示意图；

图2a-图2b为本发明中所用的低分辨率AVIRIS Indian Pines数据集以及超分辨率重建之后结果示意图；

图3a-图3b为本发明中所用的低分辨率ROSIS University of Pavia数据集以及超分辨率重建结果示意图。

图4为本方法中实施例中的像素点规划说明图。

具体实施方式

为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1所示的一种改进的基于POCS的高光谱图像超分辨率重建方法，具体包括如下步骤：

假定一幅原始的高光谱图像记为

其中

b表示波段总数， N表示图像像元总数。

步骤101：选取序列低分辨率高光谱图像中某个波段的灰度图像，得到该波段的序列低分辨率灰度图像；

步骤102：随机选取序列低分辨率图像中的任意一幅通过双三次插值得到初始参考帧；

假设原数据A大小为m×n，目标数据B为A图像经过放大k倍得到，B 的大小为M×N，则

要找出目标图像B中像素点(X,Y)的值，首先要找到该点在原始图像A中对应的像素(x,y)，方法是找到图像A中距离像素(x,y)最近的16个像素点，利用双三次插值基函数，求出这16个点的权重，进而B中 (X,Y)的像素值就等于该16个像素点的加权和，A中点(x,y)也可称为待采样点。双三次插值基函数计算公式如下：

其中，a一般取-0.5或-0.75。

根据A、B图中两个点的对应关系，可以得出比例关系

进而 可得(X,Y)在A图上对应坐标P点的位置，即：

P坐标点的值一般会出现小数，假设 P(x+u,y+u)，其中x,y分别表示整数部分，u,v分别表示小数部分。则距离P 最近的16个像素点的位置如图4所示，用a(i,j)(i,j＝0,1,2,3)来表示。

在得到距离P最近的16个点的坐标位置后，下一步就要求出双三次插值基函数中的参数x，从而获取16个点所对应的权重W(x)。双三次插值基函数是一维函数，图像是二维的，故将图像中的像素点坐标拆解成行与列单独计算。参数x表示该像素点到P点的距离，例如a(0,0)距离P(x+u,y+u)的距离为 (1+u,1+v)，因此a(0,0)的水平权重为W(1+u)，垂直权重W(1+v)，a(0,0)对B(X,Y)的贡献值为a(0,0)×W(1+u)×W(1+v)。进一步推得a(0,i)的横坐标权重分别为W(1+u)，W(u)，W(1-u)，W(2-u)；a(j,0)的纵坐标权重分别为W(1+v)， W(v)，W(1-v)，W(2-v)；故B(X,Y)像素值为：

其中W(u+1-i)为水平权重，W(u+1-j)为垂直权重。

根据上式即可求得双三次插值图像中所有点的值。

步骤103：计算图像的梯度图，并对其进行高斯滤波去除噪声，计算出松弛算子加入到投影公式中；

图像梯度是一种常见的图像信息度量方法，它表示当前像素与周围像素的差异情况。梯度越大，则当前像素与周围像素的差异越大，表示该像素位于图像中的边缘区域，包含的信息量越大；梯度越小，当前像素与周围像素的差异越小，表示该像素包含的信息量越少。

引入高斯梯度图来衡量像素的重要程度。设原始图像

的尺寸为M₁×M₂，根据当前像素的邻域分布，可以定义图像的加权梯度如式(4) 所示。

式中：g₁，g₂，g₃，g₄分别如式(5)，式(6)，式(7)和式(8)所示。

式中：g₁，g₂，g₃，g₄分别是当前像素点在各个方向上的加权梯度值，使用加权梯度值是为了减弱噪声的影响。同时，距离较远的梯度取较小的权值，也加入了局部均值的思想。

对整帧图像中的每个像素根据公式计算梯度值，得到梯度图。由于噪声点与其邻域的差异值也很大，为了进一步滤除噪声，将计算出的梯度图进行一次高斯滤波，则剩下的梯度较大的点基本上可以确定是位于边缘附近的像素点。传统POCS法对初始参考帧是无差别修正，并未区分图像中的平滑区与边缘区，平滑区的灰度值变化比边缘区小，但对平滑区修正的程度却与边缘区一样，这样重建出来的图像在平滑区域便会出现毛刺。

由高斯梯度图可以表示像素邻域包含的不同信息量，在强边缘的附近，梯度值大，在弱边缘附近梯度值小，用它来定义方法的松弛算子也有此性质。松弛算子如上式(1)所示。之后将松弛算子加入到投影公式中。

步骤104：从剩余的低分辨率图像中选取一幅，通过运动估计找到低分辨率图像上的像素点在初始参考帧上的对应位置。

在成像过程中，图像传感器的轻微抖动以及目标物体的细微运动都会导致两幅图像中的同一物体产生亚像素级别的位移。因此，在进行序列图像的超分辨率重建之前，必须对序列图像进行运动参数估计。

序列图像的运动估计是指求解同一客观物体在两幅图像之间的位移差，也就是该物体在两幅图像之间的坐标位置的差异。运动估计在图像超分辨率重建过程中的应用，具体是指把低分辨率图像中的每一个像素，都准确定位到其对应的高分辨率图像相应像素的坐标位置。如果对应的位置坐标找不准确，则 POCS算法所定义的约束集合会处理错误位置的像素，也就无法起到图像超分辨率重建的作用。

对序列图像进行运动估计操作的方法有很多，本文采用基于块匹配的方法，在此法中，当前序列低分辨率图像的每一帧都被划分为若干个块。在目标高分辨率参考帧的搜索窗口内，搜索与之匹配结果最佳的图像块。搜索到的最佳图像块与原图像中图像块的位置之差称作运动向量。具体来说，若当前大小为3×3 的图像块其中心像素在一帧图像中的位置坐标为(m,n)，该图像块中心像素坐标在另一帧图像中的位置坐标为(m+i,n+j)，则这个图像块在两幅图像之间的位移差为(i,j)，这就是运动向量。寻找最匹配图像块的准则不一，本文采用最小均方误差准则，它定义直观，计算相对简洁，是目前最常用的匹配准则。

步骤105：用PSF模拟退化过程，将初始参考帧图像缩小到与低分辨率图像同尺寸，再求二者残差，根据残差并且利用改进的投影公式对初始参考帧进行修正；

所有成像***都不可能是理想的光学成像***，具体成像过程总会存在图像的退化。一个具体的成像点，在图像中不可能恰好完整地成像于一个像素网格，而是会产生一些模糊，部分成像信号会溢出到周围的成像网格。这是由成像***的点扩散函数PSF造成的。

POCS算法的具体实施过程中，逐个把低分辨率图像的每个像素映射到高分辨率成像网格中，并找出其PSF的作用范围。根据PSF以及图像的退化模型计算出当前像素对应低分辨率图像的估计值，并与低分辨率图像实际值做对比，如果计算得到的残差超出预设的范围，则对当前的高分辨率参考帧的相关像素点做出修正，直至残差缩小到预设的范围内。根据以上原理，POCS算法的修正过程不是一次性的修正，而是需要经过多次迭代，才能使所有像素点计算所得残差缩小到允许范围内。

在POCS算法的具体实现中，图像点扩散函数是由具体成像***决定的， h(x,y)表示常见高斯模型，可表示为：

上式中，X₀和Y₀表示点扩散函数的中心点坐标，x和y表示目标图像像素的横坐标与纵坐标，S_h表示点扩散函数的支撑域，支撑域大小一般是3×3或5×5。

修改后的投影公式为如下所示：

式中：x为初始参考帧，λ为松弛算子，r^(y)为残差，h是PSF模板，δ₀是一个跟噪声有关的量。根据式(10)，可以根据图像灰度变化特性对图像进行自适应修正，在平滑区，每次修正的程度小，抑制了毛刺，在边缘区，每次修正的程度大，加快了收敛速度。

步骤106：判断序列低分辨率图像是否均被使用；

使用序列低分辨率图像来指导初始参考帧的修正，所用的指导图像越多，初始参考帧中融入的空间信息也越多，最后修正完成的高分辨率图像空间分辨率也越高，所以应该尽可能多的使用低分辨率图像来指导修正。如果序列低分辨率图像均被使用，则进入下一步骤；如果还有序列低分辨率图像未被使用，则返回步骤104，再次选取低分辨率图像来指导修正。

步骤107：求本次迭代重建的高分辨率图像和上次迭代重建的高分辨率图像的均方误差，并将其与一个设定好的阈值作比较；

前后两次迭代重建的高分辨率图像之均方误差可以用来衡量两幅图像之间的相似性。若均方误差足够小，则认为两幅图像很相似，算法已收敛，该波段的灰度图像已重建完成，进入下一步骤；反之，则算法未收敛，应该返回步骤 104，进行下一次迭代。

步骤108：将高光谱图像所有波段的灰度图像均使用步骤101至步骤107，最终完成高光谱图像的超分辨率重建。

真实高光谱数据实验

下面将采用两组公开真实的高光谱图像数据集，对本发明提供的一种改进的基于POCS的高光谱图像超分辨率重建方法进行应用效果分析和评价。

1.数据集及参数设定

(1)CAVE数据集

实验所采用得两个数据集均来自CAVE数据库，分别是“face”和“fake and realfood”数据。CAVE数据集图像的光谱波段范围是400nm到700nm，共31个光谱波段，每个波段的高光谱图像尺寸是512×512。附图2a展示了face数据集经过2倍下采样之后得第10个波段得灰度图像；附图3a展示了fake and real food 数据集经过2倍下采样之后得第10个波段得灰度图像。

实验评价指标

(1)均方误差(Mean Square Error,MSE)

图像的均方误差是指两幅图像全部相应像素点灰度差绝对值的和除以图像的总像素数。均方误差越小，则表示两幅图像之间的差异度越小，图像越相似。图像均方误差MSE的定义形式为：

其中x和y分别代表两幅图像，M和N分别代表图像横、纵的长度。

(2)峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)

峰值信噪比PSNR的定义形式为：

(3)结构相似度(Structural SIMilarity,SSIM)

结构相似度是一种衡量两幅图像相似度的指标，定义形式为：

其中x和y是两幅图像，μ_x是x的平均值，μ_y是y的平均值，

是x的方差，

是y的方差，σ_xy是x和y的协方差C₁和C₂是用来维持稳定的常数。

2.实验结果分析及评价

本发明提供的一种改进的基于POCS的高光谱图像超分辨率重建方法(以下简称“改进的POCS方法”)在使用两组真实高光谱图像数据实验的结果如表1-2 所示，对应的重建结果图像如附图2b、3b所示。

本实验将引入传统POCS方法，将其重建结果与改进的POCS方法进行对比：

相较于传统POCS方法，改进的POCS方法在一定程度上消除了重建图像的边缘模糊、平滑区域出现毛刺两个问题，并且将迭代次数自适应化，避免了人为设定迭代次数的主观性。

表1 face数据集超分辨率重建结果

表2 fake and real food数据集超分辨率重建结果

本发明针对高光谱图像空间分辨率低的问题，提供了一种改进的基于POCS 的超分辨率重建方法来提高高光谱图像的空间分辨率。该方法的理论基础是集合论，主要利用到图像的多个先验信息，每一个先验信息可以看出是一个闭合凸集，这些闭合凸集的交集即为POCS方法的解空间。该方法首先从序列低分辨率高光谱图像的第一波段的灰度图像中随机选取一幅，通过双三次插值得到初始参考帧，在一定程度上缓解了重建图像边缘模糊问题；然后利用剩余的第一波段的灰度图像根据引入了松弛算子的投影公式对其进行修正，抑制了重建图像平滑区的毛刺；在迭代两次以上后，根据前后两次迭代重建图像之间均方误差是否小于某个阈值作为退出迭代的条件，使迭代过程自适应化，避免了认为设定迭代次数的主观性；最后对高光谱图像的每一个波段的灰度图像都重复上述过程，得到空间分辨率提升的高光谱图像。两组真实公开的高光谱数据集的实验结果证明了本发明提供的一种改进的基于POCS的高光谱图像超分辨率重建方法的有效性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种改进的基于POCS的高光谱图像超分辨率重建方法，其特征在于：包括以下步骤：

S1：从序列低分辨率的高光谱图像中选取某个波段的灰度图像，得到此波段的序列低分辨率灰度图像；

S2：随机选取序列低分辨率灰度图像中的任意一幅并通过双三次插值方式对其进行插值处理得到初始参考帧；

S3：计算图像的梯度图、并对其进行高斯滤波处理，根据梯度图获取松弛算子，将松弛算子加入到投影公式中得到改进的投影公式；

S4：从剩余的低分辨率图像中选取一幅、通过运动估计找到低分辨率图像上的像素点在初始参考帧上的对应位置；

S5：采用点扩散函数PSF模拟退化过程，将初始参考帧图像缩小到与低分辨率图像相同的尺寸，再获取退化图像与原始低分辨率图像的残差，根据残差并利用改进的投影公式对初始参考帧修正优化该波段的初始参考帧；

S6：判断序列低分辨率图像是否全部被用来优化初始参考帧，若是，则进入S7，若否，则返回S4；

S7：求本次迭代重建的高分辨率图像和上次迭代重建的高分辨率图像的均方误差，将该均方误差与设定阈值进行比较，若均方误差小于此设定阈值，则进入S8，若大于此设定阈值，则返回S4；

S8：重复S1至S7，直到高光谱图像所有波段的灰度图像均被重建。

2.根据权利要求1所述的改进的基于POCS的高光谱图像超分辨率重建方法，其特征还在于：S2中具体采用如下方式：

S21：根据原图像A与放大图像B的倍数k计算放大图像中的点(X,Y)在原图像中的对应位置(x+u,y+v)；

S22：在原图像中找到与(x+u,y+v)距离最近的16个像素点；

S23：根据双三次插值基函数计算该16个像素点的水平权重与垂直权重，双三次插值基函数计算公式如下：

S24：将16个像素点的像素值结合其水平与垂直权重进行加权叠加，得到放大图像中的点(X,Y)的像素值，计算公式如下：

。

3.根据权利要求1所述的一种改进的基于POCS的高光谱图像超分辨率重建方法，其特征还在于：S3中具体采用如下方式：

S31：根据以下公式求出当前像素点在各个方向上的加权梯度值：

S32：再以下式计算图像中每个像素总的加权梯度，得到具有自适应区域修正特性的图像梯度图：

S33：对得到的梯度图进行一次高斯滤波处理以去除噪声；

S34：根据上述所得的梯度图获取松弛算子：

S35：以残差r^(y)与噪声系数δ₀的相对大小为准则，将残差与噪声系数作差，并将PSF模板h做归一化处理，结合松弛算子λ对初始参考帧x中的每一个像素点进行自适应修正，该过程以改进的投影公式表示为：

。

4.根据权利要求1所述的一种改进的基于POCS的高光谱图像超分辨率重建方法，其特征还在于：S7中具体采用如下方式：

根据下式计算前后两次迭代重建图像的均方误差：

判断均方误差与所设阈值的相对大小，若均方误差小，则退出迭代，反之，则返回S4。

Images