CN108171656A

CN108171656A - 基于稀疏表示的自适应全局字典遥感图像超分辨方法

Info

Publication number: CN108171656A
Application number: CN201810031187.XA
Authority: CN
Inventors: 侯彪; 焦李成; 周康; 马晶晶; 马文萍; 王爽; 白静
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2018-01-12
Filing date: 2018-01-12
Publication date: 2018-06-15

Abstract

本发明公开了一种基于稀疏表示的自适应全局字典遥感图像超分辨方法，主要解决现有技术重建高分辨图像信息丢失大和边缘过平滑的问题。其实现方案为：对100幅高分辨图像分别提取其细节特征，得到高分辨细节特征图像；对细节特征图像进行分割，得到特征图像块集合Q；将图像集合分为K类并训练得到字典集D；根据输入的低分辨图像Y，通过高通滤波得到低分辨细节特征图像；选择与该低分辨细节特征图像最相似的图像集合所对应的子字典，计算最优的稀疏系数得到近似的高分辨图像X'；计算出低分辨细节特征图像的全局特征约束项权重W，并用X'和W得到最终高分辨图像。本发明重建高分辨边缘特征清晰，小目标的轮廓细节信息完整，可用于遥感图像目标检测和分类。

Description

基于稀疏表示的自适应全局字典遥感图像超分辨方法

技术领域

本发明属于图像处理技术领域，特别是一种涉及遥感图像超分辨的方法，可应用于光学遥感图像中目标的检测和分类。

背景技术

光学遥感图像即可见光遥感图像，指传感器工作在可见光波段范围所获取的遥感图像，可见光遥感是获取高空间分辨率的最佳波段，多应用于航空航天摄影测量测绘等方向。通过遥感技术和图像处理技术能探测和识别物体的应用是非常广泛的，在军用、民用和科学研究方面具有重要作用。例如，军事上识别和发现敌方军事活动和军事目标；民用上,包括资源调查，地质结构研究，探测牧场及森林火灾等等。遥感技术有着重要和广泛的应用，而更高质量，高分辨率的遥感图像对研究使用有其重要的作用。但是遥感卫星的发送，回收和更换的费用是昂贵的，而且受到卫星带宽的限制，往往不能得到超高分辨的图像，同时与自然图像相比，遥感图像包含复杂的特征信息，存在大量的点目标、小目标特征，相似的物体，而且遥感图像超分辨更注重实际物体的真实性，这就需要采取相应的技术从低分辨图像中重建得到高分辨的图像，即将低分辨率的图像通过一定的算法转提升到高分辨率。

高分辨率图像具有更高的像素密度，更多的细节信息，更细腻的画质。要获得高分辨率图像，最直接的办法是采用高分辨率的相机，然而，在实际应用过程中，由于制作工艺和工程成本的考虑，很多场合都不会采用高分辨率、超分辨率的相机来进行图像信号的采集。因此，通过超分辨率技术来获取高分辨图像具有一定的应用需求。

针对光学遥感图像的以上特点，经典超分辨方法有：

基于单图图像的方法。主要包括传统的各种插值方法，自回归方法和迭代后向投影方法等。这类方法相对比较简单，其中插值方法和自回归方法主要是根据未知像素周围的像素点来估计像素值，因而这两种方法速度相对较快，但是在图像边缘特征处会出现过平滑问题。迭代后向投影则是利用最小二乘方法逆向的求解模糊下采样的方法，由于这个方法是一个病态的逆问题，不确定最优解而且容易陷入局部最优，虽然很多研究者加入了约束项来限制最终解，但是还是没有充分利用图像特征的内在联系，不能得到高质量的高分辨图像。

基于学习的方法。这类方法需要大量用于训练的图像集，包括低分辨和高分辨的图像。通过学习图像中的某些特征联系，从低分辨图像中重建高分辨图像，主要包括过完备字典的稀疏表示方法，马尔科夫随机场以及深度学习框架等等。F.Bill, C.Liu等人提出了Markov随机场图像超分辨方法，通过收集了许多低分辨图像和对应高分辨图像高频图像块，并利用Markov随机场来重建高分辨图像。参见F.Bill, and C.Liu,“Markov randomfields for super-resolution and texture synthesis,”in Advances in MarkovRandom Fields for Vision&Image Processing,A.Blake,P.Kohli, C.Rother,MS,USA:MIT press,2011。由于特征相似的图像块，其原始图像可能相差甚远，其重建的高分辨图像存在局部的失真问题。随后杨建超，John Wright等人为了匹配相应高分辨图像和低分辨图像，利用稀疏表示在图像中的应用，提出了基于稀疏编码的联合字典方法。参见J.Yang,J.Wright,T.Huang,and Y.Ma,“Image super-resolution via sparse representation,”IEEE Trans.Image Process.,vol.19,no.11, pp.2861–2873,Nov.2010。随后董伟生等人提出了基于稀疏编码的自适应字典选择的方法，针对不同特征的图像块采用不同的字典进行编码。参加W.Dong,L.Zhang, G.Shi,and X.Wu,“Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization,”IEEE Trans.Image Process.,vol.20,no.7,pp. 1838–1857,Jul.2011。随着深度学习的发展，很多研究者将深度学习的框架应用到图像超分辨中，D.Liu,Z.W.Wang等人提出了稀疏先验深度网络的方法。参见D. Liu,Z.W.Wang,B.H.Wen,J.C.Yang,W.Han,and T.S.Huang,“Robust single image super-resolution via deep networks with sparse prior,”IEEE Trans.Image Process.,vol. 25,no.7,pp.3194–3207.Jul.2016。为了更准备的重建高分辨图像，Z.Y.Wang,Y. Yang等人结合基于单幅的方法和学习的方法，提出了联合学习的超分辨方法。参见 Z.Y.Wang,Y.Yang,Z.Wang,S.Chang,and J.Yanget,“Learningsuper-resolution jointly from external and internal examples,”IEEETrans.Image Process.,vol.24,no.11, pp.4359–4371,Nov.2015。

由于遥感图像更需要注重细节特征的完整性、边缘信息的清晰性、小目标，多目标的可辨识度和整体视觉的逼真性。而上述方法过度关注一个图像块内的局部特征，没有充分考虑图像的内在联系和全局性的特征，导致细节特征信息和全局联系信息的丢失，从而使重建的高分辨图像会产生一些过平滑问题，振铃现象及整体视觉的失真。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于稀疏表示的自适应全局字典遥感图像超分辨方法，以利用稀疏编码和全局约束项重建高分辨遥感图像，保证图像局部信息和全局信息的完整性，提高重建高分辨图像的质量

实现本发明目的的技术方案是：使用自适应字典和稀疏表示充分挖掘图像局部特征；提取图像块之间的全局联系作为先验知识，并充分利用了原始图像的内在联系等细节信息，从而实现自适应全局字典的遥感图像超分辨方法，其具体实现如下：

(1)对100幅高分辨图像，分别通过高通滤波提取其细节特征，得到高分辨细节特征图像；

(2)将细节特征图像分割为N个7×7大小的特征图像块，得到特征图像块集合 Q＝{p₁,p₂,...,p_n,...,p_N}，其中p_i为第n个特征图像块，n为从1到N的整数，N等于100000；

(3)使用K-means方法将图像集合分为K类P＝{s¹,s²,...,s^h,...,s^K}，其中s^h为第h类特征图像块集合，h为从1到K的整数，K为图像集合中的分类总数,并利用K-SVD 算法训练得到字典集D＝{D₁,D₂,...,D_h,...,D_K}，其中D_h为第h个子字典；

(4)获取近似高分辨图像：

(4a)输入的低分辨图像Y，通过高通滤波提取其细节特征，得到低分辨细节特征图像，并将该低分辨细节特征图像与(3)得到的K类图像集合相匹配，在字典集 D中，选择与该低分辨细节特征图像最相似的图像集合所对应的子字典，计算最优的稀疏系数

其中，α为待计算的稀疏系数变量，e表示约束项系数，L为下采样矩阵，Β表示模糊算子，|| ||₂表示二范数，|α|₁表示α的一范数；

(4b)根据最优的稀疏系数计算得到近似高分辨图像：

(5)计算出低分辨细节特征图像的全局特征约束项权重W:

(5a)将低分辨细节特征图像，分割为T个大小为7×7的特征图像块集合Y＝{y₁,y₂,..,y_i,...,y_T},其中y_i为第i个特征图像块，i从1到T，T为低分辨细节特征图像的图像块总数；

(5b)定义任意两个特征图像块之间的距离其中p_i为第i个特征图像块,p_j为第j个特征图像块,j从1到T，且j不等于i；

(5c)根据特征图像块集合Y，使用K近邻算法建立一个特征图像块的KD树；

(5d)利用建立好的特征图像块的KD树，为每一个图像块y_i得到M个最相似的图像块集其中为y_i的第m个相似的特征图像块，m从1 到M；

(5e)计算出每一个图像块所占的权重系数:其中第m 个特征图像块所占权重系数，Z_m是归一化因子，为数据相容性公式，其中exp()为自然常数e为底的指数函数,σ为平衡参数；

(5f)根据权重系数得到M行T列的全局特征约束项权重矩阵W，其中第 m行第i列的值为：

(6)利用近似高分辨图像X'和全局特征约束项权重矩阵W,通过求解如下优化公式，得到最终高分辨图像：

其中，λ为约束项参数，表示最终的高分辨图像,|| ||₂表示二范数,表示二范数的平方；X代表高分辨图像变量。

本发明与现有的技术相比具有以下优点：

1、本发明由于使用了自适应字典选择，能够对特征差异较大的图像选择合适的字典，保证了本方法的鲁棒性和适应性；

2、本发明将字典选择和稀疏编码相结合，可以准确的定位图像局部特征信息，降低优化误差，使重建高分辨图像更加逼真；

3、本发明由于加入了全局约束项，其特征图像块之间的联系更加紧密，易于小目标，多目标特征的重建，避免细节特征丢失，边缘特征过平滑问题；

仿真结果表明，本发明方法较双线性插值方法，自适应稀疏域选择方法，稀疏表示方法和非局部自回归方法能更加有效的重建高分辨图像。

附图说明

图1是本发明的流程示意图；

图2是本发明使用一幅简单特征遥感图像的超分辨结果图；

图3是本发明使用一幅多小目标复杂特征遥感图像的超分辨结果图；

具体实施方式

参照图1，本发明的具体实现步骤如下：

步骤一、对100幅高分辨图像，分别通过高通滤波器提取其细节特征，得到高分辨细节特征图像。

所述高通滤波器为高斯高通滤波器，高通滤波器大小与图像的大小相等，方差为60，对每一副图像提取细节特征，以为后面训练字典做准备。

步骤二、按照高分辨细节特征图像的行和宽依次选取7行、7列，将细节特征图像分割为N个7×7大小的特征图像块，得到特征图像块集合Q＝{p₁,p₂,...,p_n,...,p_N}，其中p_i为第n个特征图像块，n为从1到N的整数，N等于100000。

步骤三、使用K-means方法将图像集合分为K类P。

(3a)使用等概率不重复选取方法，随机在特征图像块集合 Q＝{p₁,p₂,...,p_n,...,p_N}中取K个特征图像块作为中心点集O＝{o¹,o²,...,o^h,...,o^K}，即所有中心点之间各不相同，其中o^h为第h类特征图像块集合s^h的中心点，h为从1 到K的整数，K为分类总数；

(3b)分别计算特征图像块集合Q中的每一个特征图像块p_n到这K个中心点的距离：

其中,p_n为第n个特征图像块，表示二范数的平方；

(3c)从计算出的距离中，找出距离特征图像块p_n最近的第h个中心点o^h，并把 p_n移动到集合s^h中,然后获得特征图像块集合分类为P＝{s¹,s²,...,s^h,...,s^K}，s^h为第h 类特征图像块集合；

(3d)重新在任一类特征图像块集合s^h中选择新的中心点o^h，得到新的中心点集O＝{o¹,o²,...,o^h,...,o^K}；

(3e)重复(3b)-(3d)，直到中心点集没有发生变化，并根据最终的中心点集，获得最终的特征图像块集合的分类为P＝{s¹,s²,...,s^h,...,s^K}。

步骤四、根据特征图像块集合的分类P，利用K-SVD算法对P进行训练，得到字典集D。

(4a)利用得到的特征图像块集合的分类P＝{s¹,s²,...,s^h,...,s^K}，通过下面公式，计算第h类特征图像块集合的最优字典D_h：

其中,s^h为第h类特征图像块集合，a^h为稀疏系数变量，ζ表示约束项系数, 表示二范数的平方，| |₁表示一范数；

(4b)根据每类特征图像块集合的最优字典D_h，获得字典集 D＝{D₁,D₂,...,D_h,...,D_K}。

步骤五、根据输入的低分辨图像Y，获取其近似高分辨图像。

(5a)输入的低分辨图像Y，通过高通滤波器提取其细节特征，得到低分辨细节特征图像：

为了选择与低分辨细节特征图像最相近的子字典D_h，需要将该低分辨细节特征图像与步骤三得到的K类图像集合逐个匹配，在字典集D中，选择与该低分辨细节特征图像最相似的图像集合所对应的子字典，并通过下式，计算最优的稀疏系数

其中，α为待计算的稀疏系数变量，ε表示约束项系数，L为下采样矩阵，Β表示模糊算子，|| ||₂表示二范数，|α|₁表示α的一范数；

所述高通滤波器为高斯高通滤波器，高通滤波器大小与图像的大小相等，方差为60，对输入的低分辨图像Y提取其细节特征，为后面得到近似高分辨图像做准备；

步骤六、计算低分辨细节特征图像的全局特征约束项权重W。

(6a)将低分辨细节特征图像，分割为T个大小为7×7的特征图像块集合 Y＝{y₁,y₂,..,y_i,...,y_T},其中y_i为第i个特征图像块，i从1到T，T为低分辨细节特征图像的图像块总数；

(6b)定义任意两个特征图像块之间的距离其中p_i为第i个特征图像块,p_j为第j个特征图像块,j从1到T，且j不等于i；

(6c)根据特征图像块集合Y，使用K近邻算法建立一个特征图像块的KD树：

(6c1)将特征图像块集合Y＝{y₁,y₂,..,y_i,...,y_T}中每一个特征图像块y_i转化为维度为49的向量v_i,得到特征图像块的向量集合V＝{v₁,v₂,..,v_i,...,v_T},其中v_i为第 i个特征图像块的向量；

(6c2)计算每一个维度的方差δ_r,得到特征图像块维度的方差集合δ＝{δ₁,δ₂,..,δ_r,...,δ₄₉},其中δ_r为第r个维度的方差，r从1到49；

(6c3)选出方差最大的一个维度r,选取该维度上的中间值，将V分成两个子树V_left,V_right；

(6c4)对第一个子树V_left重复执行(5c2)和(5c3)，直到新分成的两个子树V_{left_1}和V_left_₂大小都为1；

(6c5)对第二个子树V_right重复执行(5c2)和(5c3)，直到新分成的两个子树V_{right_1}和V_{right_2}大小都为1；

(6c6)根据(6c4)和(6c5)得到的所有子树，获得最终的特征图像块的KD树；

(6d)利用建立好的特征图像块的KD树，为每一个图像块y_i得到M个最相似的图像块集其中为y_i的第m个相似的特征图像块，m从1 到M；

(6e)计算每一个图像块所占的权重系数:其中第m个特征图像块所占权重系数，Z_m是归一化因子，为数据相容性公式，exp()为自然常数e为底的指数函，σ为平衡参数，其取值为d_i，j的方差；

(6f)根据权重系数得到M行T列的全局特征约束项权重矩阵W，其中第 m行第i列的值为：

步骤七、利用近似高分辨图像X'和全局特征约束项权重矩阵W,通过求解如下优化公式，得到最终高分辨图像：

其中，λ为约束项参数，表示最终的高分辨图像,X'为近似高分辨图像，W 为全局特征约束项权重矩阵，|| ||₂表示二范数,表示二范数的平方，X代表高分辨图像变量。

本发明的效果可通过以下仿真进一步说明：

1.仿真方法

应用本发明方法和双线性插值方法，自适应稀疏域选择方法，稀疏表示方法，非局部自回归方法分别对二幅遥感图像进行超分辨实验，并从细节特征的完整性；边缘信息的清晰性；小目标，多目标的可辨识度；整体视觉的逼真性评价这些方法的各自性能，使用峰值信噪比(PSNR)量性对比各方法重建高分辨遥感图的实验结果。

2.仿真内容与结果

仿真1、简单特征遥感图像的仿真实验。

用本方法以及双线性插值方法，自适应稀疏域选择方法，稀疏表示方法，非局部自回归方法对简单特征低分辨遥感图像进行超分辨重建，其结果如图2所示。其中：

图2(a)为低分辨遥感图像，该遥感图像特征较为单调；

图2(b)为用双线性插值方法对图2(a)进行超分辨重建得到的结果，由图2(b)可算出其超分辨重建结果的PSNR为35.521DB；

图2(c)为用自适应稀疏域选择方法对图2(a)进行超分辨重建得到的结果，由图 2(c)可算出其超分辨重建结果的PSNR为35.53DB；

图2(d)为用非局部自回归方法对图2(a)进行超分辨重建得到的结果，由图2(d)可算出其超分辨重建结果的PSNR为35.976DB；

图2(e)为用稀疏表示方法对图2(a)进行超分辨重建得到的结果，由图2(e)可算出其超分辨重建结果的PSNR为36.449DB；

图2(f)为用本方法对图2(a)进行超分辨重建得到的结果，由图2(f)可算出其超分辨重建结果的PSNR为37.015DB。

由图2可见，本发明重建的高分辨图像的边缘清晰细,节信息完整。相比之下，双线性插值方法，自适应稀疏域选择方法超分辨重建结果丢失大量细节信息。非局部自回归方法，稀疏表示方法超分辨重建结果整体的色彩等视觉表现有些失真，而且通过PSNR的指标更直观的表明本方法可以取得高质量的超分辨重建结果。

仿真2、多小目标复杂特征遥感图像的仿真实验。

用本方法以及双线性插值方法，自适应稀疏域选择方法，稀疏表示方法，非局部自回归方法对多小目标复杂低分辨遥感图像进行超分辨重建，其效果比较如图3 所示。其中:

图3(a)为多小目标复杂低分辨遥感图像；

图3(b)为双线性插值方法对图3(a)进行超分辨重建得到的结果,由图3(b)可算出其超分辨重建结果的PSNR为31.144DB；

图3(c)为自适应稀疏域选择方法对图3(a)进行超分辨重建得到的结果，由图3(c)可算出其超分辨重建结果的PSNR为31.897DB；

图3(d)为非局部自回归方法对图3(a)进行超分辨重建得到的结果,由图3(d)可算出其超分辨重建结果的PSNR为32.062DB；

图3(e)为稀疏表示方法对图3(a)进行超分辨重建得到的结果,由图3(e)可算出其超分辨重建结果的PSNR为32.686DB；

图3(f)为本发明对图3(a)进行超分辨重建得到的结果，由图3(f)可算出其超分辨重建结果的PSNR为33.451DB。

由图3可见，本发明超分辨重建结果的边缘特征不存在过平滑现象，波纹、小物体等轮廓也比较清晰。而双线性插值方法，自适应稀疏域选择方法，稀疏表示方法超分辨重建结果都存在大量过平滑的现象，非局部自回归方法的超分辨重建结果则丢失很多细节边缘特征信息，同时通过PSNR指标也表明本发明相比较其他方法可以取得较好的超分辨重建结果。

Claims

1.一种基于稀疏表示的自适应全局字典遥感图像超分辨方法，包括：

(2)将细节特征图像分割为N个7×7大小的特征图像块，得到特征图像块集合Q＝{p₁,p₂,...,p_n,...,p_N}，其中p_i为第n个特征图像块，n为从1到N的整数，N等于100000；

(3)使用K-means方法将图像集合分为K类P＝{s¹,s²,...,s^h,...,s^K}，其中s^h为第h类特征图像块集合，h为从1到K的整数，K为图像集合中的分类总数,并利用K-SVD算法训练得到字典集D＝{D₁,D₂,...,D_h,...,D_K}，其中D_h为第h个子字典；

(4)获取近似高分辨图像：

(4a)输入的低分辨图像Y，通过高通滤波提取其细节特征，得到低分辨细节特征图像，并将该低分辨细节特征图像与(3)得到的K类图像集合相匹配，在字典集D中，选择与该低分辨细节特征图像最相似的图像集合所对应的子字典，计算最优的稀疏系数

(4b)根据最优的稀疏系数计算得到近似高分辨图像：

(5)计算出低分辨细节特征图像的全局特征约束项权重W:

(5d)利用建立好的特征图像块的KD树，为每一个图像块y_i得到M个最相似的图像块集其中为y_i的第m个相似的特征图像块，m从1到M；

(5e)计算出每一个图像块所占的权重系数:其中第m个特征图像块所占权重系数，Z_m是归一化因子，为数据相容性公式，其中exp()为自然常数e为底的指数函数,σ为平衡参数；

(5f)根据权重系数得到M行T列的全局特征约束项权重矩阵W，其中第m行第i列的值为：

2.根据权利要求1所述的方法，其中步骤(3)中使用K-means方法将图像集合分为K类P＝{s¹,s²,...,s^h,...,s^K}，按如下步骤进行：

(3a)随机在特征图像块集合Q＝{p₁,p₂,...,p_n,...,p_N}中取K个特征图像块作为中心点集O＝{o¹,o²,...,o^h,...,o^K}，其中o^h为第h类特征图像块集合s^h的中心点，h为从1到K的整数，K为分类总数；

(3b)分别计算特征图像块集合Q中的每一个特征图像块p_n到这K个中心点的距离；

(3c)从计算出的距离中，找出距离最近的特征图像块p_n与第h个中心点o^h，并把p_n移动到集合s^h中,然后获得特征图像块集合分类为P＝{s¹,s²,...,s^h,...,s^K}，s^h为第h类特征图像块集合；

(3d)重新在s^h中选择新的中心点o^h，得到新的中心点集O＝{o¹,o²,...,o^h,...,o^K}；

(3e)重复(3b)-(3d)，直到中心点集没有发生变化，获得最终的特征图像块集合的分类为P＝{s¹,s²,...,s^h,...,s^K}。

3.根据权利要求1所述的方法，其中步骤(3)中利用K-SVD算法训练得到字典集D＝{D₁,D₂,...,D_h,...,D_K}，按如下步骤进行：

(3f)利用得到的特征图像块集合的分类P＝{s¹,s²,...,s^h,...,s^K}，计算第h类特征图像块集合的最优字典D_h：

其中,s^h为第h类特征图像块集合，α^h为稀疏系数变量，ζ表示约束项系数,表示二范数的平方，| |₁表示一范数；

(3g)根据最优字典D_h，获得字典集D＝{D₁,D₂,...,D_h,...,D_K}。

4.根据权利要求1所述的方法，其中步骤(5c)中根据特征图像块集合Y，使用K近邻算法建立一个特征图像块的KD树，按如下步骤进行：

(5c1)将特征图像块集合Y＝{y₁,y₂,..,y_i,...,y_T}中每一个特征图像块y_i转化为维度为49的向量v_i,得到特征图像块的向量集合V＝{v₁,v₂,..,v_i,...,v_T},其中v_i为第i个特征图像块的向量；

(5c2)计算每一个维度的方差δ_r,得到特征图像块维度的方差集合δ＝{δ₁,δ₂,..,δ_r,...,δ₄₉},其中δ_r为第r个维度的方差，r从1到49；

(5c3)选出方差最大的一个维度r,选取该维度上的中间值，将V分成两个子树V_left,V_right；

(5c4)对第一个子树V_left重复执行(5c2)和(5c3)，直到新分成的两个子树V_{left_1}和V_{left_2}大小都为1；

(5c5)对第二个子树V_right重复执行(5c2)和(5c3)，直到新分成的两个子树V_{right_1}和V_{right_2}大小都为1；

(5c6)根据(5c4)和(5c5)得到的所有子树，获得最终的特征图像块的KD树。