CN108171656A - 基于稀疏表示的自适应全局字典遥感图像超分辨方法 - Google Patents
基于稀疏表示的自适应全局字典遥感图像超分辨方法 Download PDFInfo
- Publication number
- CN108171656A CN108171656A CN201810031187.XA CN201810031187A CN108171656A CN 108171656 A CN108171656 A CN 108171656A CN 201810031187 A CN201810031187 A CN 201810031187A CN 108171656 A CN108171656 A CN 108171656A
- Authority
- CN
- China
- Prior art keywords
- characteristic image
- image block
- image
- resolution
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 16
- 238000001914 filtration Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 241000219000 Populus Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于稀疏表示的自适应全局字典遥感图像超分辨方法,主要解决现有技术重建高分辨图像信息丢失大和边缘过平滑的问题。其实现方案为:对100幅高分辨图像分别提取其细节特征,得到高分辨细节特征图像;对细节特征图像进行分割,得到特征图像块集合Q;将图像集合分为K类并训练得到字典集D;根据输入的低分辨图像Y,通过高通滤波得到低分辨细节特征图像;选择与该低分辨细节特征图像最相似的图像集合所对应的子字典,计算最优的稀疏系数得到近似的高分辨图像X';计算出低分辨细节特征图像的全局特征约束项权重W,并用X'和W得到最终高分辨图像。本发明重建高分辨边缘特征清晰,小目标的轮廓细节信息完整,可用于遥感图像目标检测和分类。
Description
技术领域
本发明属于图像处理技术领域,特别是一种涉及遥感图像超分辨的方法,可应用于光学遥感图像中目标的检测和分类。
背景技术
光学遥感图像即可见光遥感图像,指传感器工作在可见光波段范围所获取的遥感图像,可见光遥感是获取高空间分辨率的最佳波段,多应用于航空航天摄影测量测绘等方向。通过遥感技术和图像处理技术能探测和识别物体的应用是非常广泛的,在军用、民用和科学研究方面具有重要作用。例如,军事上识别和发现敌方军事活动和军事目标;民用上,包括资源调查,地质结构研究,探测牧场及森林火灾等等。遥感技术有着重要和广泛的应用,而更高质量,高分辨率的遥感图像对研究使用有其重要的作用。但是遥感卫星的发送,回收和更换的费用是昂贵的,而且受到卫星带宽的限制,往往不能得到超高分辨的图像,同时与自然图像相比,遥感图像包含复杂的特征信息,存在大量的点目标、小目标特征,相似的物体,而且遥感图像超分辨更注重实际物体的真实性,这就需要采取相应的技术从低分辨图像中重建得到高分辨的图像,即将低分辨率的图像通过一定的算法转提升到高分辨率。
高分辨率图像具有更高的像素密度,更多的细节信息,更细腻的画质。要获得高分辨率图像,最直接的办法是采用高分辨率的相机,然而,在实际应用过程中,由于制作工艺和工程成本的考虑,很多场合都不会采用高分辨率、超分辨率的相机来进行图像信号的采集。因此,通过超分辨率技术来获取高分辨图像具有一定的应用需求。
针对光学遥感图像的以上特点,经典超分辨方法有:
基于单图图像的方法。主要包括传统的各种插值方法,自回归方法和迭代后向投影方法等。这类方法相对比较简单,其中插值方法和自回归方法主要是根据未知像素周围的像素点来估计像素值,因而这两种方法速度相对较快,但是在图像边缘特征处会出现过平滑问题。迭代后向投影则是利用最小二乘方法逆向的求解模糊下采样的方法,由于这个方法是一个病态的逆问题,不确定最优解而且容易陷入局部最优,虽然很多研究者加入了约束项来限制最终解,但是还是没有充分利用图像特征的内在联系,不能得到高质量的高分辨图像。
基于学习的方法。这类方法需要大量用于训练的图像集,包括低分辨和高分辨的图像。通过学习图像中的某些特征联系,从低分辨图像中重建高分辨图像,主要包括过完备字典的稀疏表示方法,马尔科夫随机场以及深度学习框架等等。F.Bill, C.Liu等人提出了Markov随机场图像超分辨方法,通过收集了许多低分辨图像和对应高分辨图像高频图像块,并利用Markov随机场来重建高分辨图像。参见F.Bill, and C.Liu,“Markov randomfields for super-resolution and texture synthesis,”in Advances in MarkovRandom Fields for Vision&Image Processing,A.Blake,P.Kohli, C.Rother,MS,USA:MIT press,2011。由于特征相似的图像块,其原始图像可能相差甚远,其重建的高分辨图像存在局部的失真问题。随后杨建超,John Wright等人为了匹配相应高分辨图像和低分辨图像,利用稀疏表示在图像中的应用,提出了基于稀疏编码的联合字典方法。参见J.Yang,J.Wright,T.Huang,and Y.Ma,“Image super-resolution via sparse representation,”IEEE Trans.Image Process.,vol.19,no.11, pp.2861–2873,Nov.2010。随后董伟生等人提出了基于稀疏编码的自适应字典选择的方法,针对不同特征的图像块采用不同的字典进行编码。参加W.Dong,L.Zhang, G.Shi,and X.Wu,“Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization,”IEEE Trans.Image Process.,vol.20,no.7,pp. 1838–1857,Jul.2011。随着深度学习的发展,很多研究者将深度学习的框架应用到图像超分辨中,D.Liu,Z.W.Wang等人提出了稀疏先验深度网络的方法。参见D. Liu,Z.W.Wang,B.H.Wen,J.C.Yang,W.Han,and T.S.Huang,“Robust single image super-resolution via deep networks with sparse prior,”IEEE Trans.Image Process.,vol. 25,no.7,pp.3194–3207.Jul.2016。为了更准备的重建高分辨图像,Z.Y.Wang,Y. Yang等人结合基于单幅的方法和学习的方法,提出了联合学习的超分辨方法。参见 Z.Y.Wang,Y.Yang,Z.Wang,S.Chang,and J.Yanget,“Learningsuper-resolution jointly from external and internal examples,”IEEETrans.Image Process.,vol.24,no.11, pp.4359–4371,Nov.2015。
由于遥感图像更需要注重细节特征的完整性、边缘信息的清晰性、小目标,多目标的可辨识度和整体视觉的逼真性。而上述方法过度关注一个图像块内的局部特征,没有充分考虑图像的内在联系和全局性的特征,导致细节特征信息和全局联系信息的丢失,从而使重建的高分辨图像会产生一些过平滑问题,振铃现象及整体视觉的失真。
发明内容
本发明的目的在于针对上述已有技术的不足,提出一种基于稀疏表示的自适应全局字典遥感图像超分辨方法,以利用稀疏编码和全局约束项重建高分辨遥感图像,保证图像局部信息和全局信息的完整性,提高重建高分辨图像的质量
实现本发明目的的技术方案是:使用自适应字典和稀疏表示充分挖掘图像局部特征;提取图像块之间的全局联系作为先验知识,并充分利用了原始图像的内在联系等细节信息,从而实现自适应全局字典的遥感图像超分辨方法,其具体实现如下:
(1)对100幅高分辨图像,分别通过高通滤波提取其细节特征,得到高分辨细节特征图像;
(2)将细节特征图像分割为N个7×7大小的特征图像块,得到特征图像块集合 Q={p1,p2,...,pn,...,pN},其中pi为第n个特征图像块,n为从1到N的整数,N等于100000;
(3)使用K-means方法将图像集合分为K类P={s1,s2,...,sh,...,sK},其中sh为第h类特征图像块集合,h为从1到K的整数,K为图像集合中的分类总数,并利用K-SVD 算法训练得到字典集D={D1,D2,...,Dh,...,DK},其中Dh为第h个子字典;
(4)获取近似高分辨图像:
(4a)输入的低分辨图像Y,通过高通滤波提取其细节特征,得到低分辨细节特征图像,并将该低分辨细节特征图像与(3)得到的K类图像集合相匹配,在字典集 D中,选择与该低分辨细节特征图像最相似的图像集合所对应的子字典,计算最优的稀疏系数
其中,α为待计算的稀疏系数变量,e表示约束项系数,L为下采样矩阵,Β表示模糊算子,|| ||2表示二范数,|α|1表示α的一范数;
(4b)根据最优的稀疏系数计算得到近似高分辨图像:
(5)计算出低分辨细节特征图像的全局特征约束项权重W:
(5a)将低分辨细节特征图像,分割为T个大小为7×7的特征图像块集合Y={y1,y2,..,yi,...,yT},其中yi为第i个特征图像块,i从1到T,T为低分辨细节特征图像的图像块总数;
(5b)定义任意两个特征图像块之间的距离其中pi为第i个特征图像块,pj为第j个特征图像块,j从1到T,且j不等于i;
(5c)根据特征图像块集合Y,使用K近邻算法建立一个特征图像块的KD树;
(5d)利用建立好的特征图像块的KD树,为每一个图像块yi得到M个最相似的图像块集其中为yi的第m个相似的特征图像块,m从1 到M;
(5e)计算出每一个图像块所占的权重系数:其中第m 个特征图像块所占权重系数,Zm是归一化因子,为数据相容性公式,其中exp()为自然常数e为底的指数函数,σ为平衡参数;
(5f)根据权重系数得到M行T列的全局特征约束项权重矩阵W,其中第 m行第i列的值为:
(6)利用近似高分辨图像X'和全局特征约束项权重矩阵W,通过求解如下优化公式,得到最终高分辨图像:
其中,λ为约束项参数,表示最终的高分辨图像,|| ||2表示二范数,表示二范数的平方;X代表高分辨图像变量。
本发明与现有的技术相比具有以下优点:
1、本发明由于使用了自适应字典选择,能够对特征差异较大的图像选择合适的字典,保证了本方法的鲁棒性和适应性;
2、本发明将字典选择和稀疏编码相结合,可以准确的定位图像局部特征信息,降低优化误差,使重建高分辨图像更加逼真;
3、本发明由于加入了全局约束项,其特征图像块之间的联系更加紧密,易于小目标,多目标特征的重建,避免细节特征丢失,边缘特征过平滑问题;
仿真结果表明,本发明方法较双线性插值方法,自适应稀疏域选择方法,稀疏表示方法和非局部自回归方法能更加有效的重建高分辨图像。
附图说明
图1是本发明的流程示意图;
图2是本发明使用一幅简单特征遥感图像的超分辨结果图;
图3是本发明使用一幅多小目标复杂特征遥感图像的超分辨结果图;
具体实施方式
参照图1,本发明的具体实现步骤如下:
步骤一、对100幅高分辨图像,分别通过高通滤波器提取其细节特征,得到高分辨细节特征图像。
所述高通滤波器为高斯高通滤波器,高通滤波器大小与图像的大小相等,方差为60,对每一副图像提取细节特征,以为后面训练字典做准备。
步骤二、按照高分辨细节特征图像的行和宽依次选取7行、7列,将细节特征图像分割为N个7×7大小的特征图像块,得到特征图像块集合Q={p1,p2,...,pn,...,pN},其中pi为第n个特征图像块,n为从1到N的整数,N等于100000。
步骤三、使用K-means方法将图像集合分为K类P。
(3a)使用等概率不重复选取方法,随机在特征图像块集合 Q={p1,p2,...,pn,...,pN}中取K个特征图像块作为中心点集O={o1,o2,...,oh,...,oK},即所有中心点之间各不相同,其中oh为第h类特征图像块集合sh的中心点,h为从1 到K的整数,K为分类总数;
(3b)分别计算特征图像块集合Q中的每一个特征图像块pn到这K个中心点的距离:
其中,pn为第n个特征图像块,表示二范数的平方;
(3c)从计算出的距离中,找出距离特征图像块pn最近的第h个中心点oh,并把 pn移动到集合sh中,然后获得特征图像块集合分类为P={s1,s2,...,sh,...,sK},sh为第h 类特征图像块集合;
(3d)重新在任一类特征图像块集合sh中选择新的中心点oh,得到新的中心点集O={o1,o2,...,oh,...,oK};
(3e)重复(3b)-(3d),直到中心点集没有发生变化,并根据最终的中心点集,获得最终的特征图像块集合的分类为P={s1,s2,...,sh,...,sK}。
步骤四、根据特征图像块集合的分类P,利用K-SVD算法对P进行训练,得到字典集D。
(4a)利用得到的特征图像块集合的分类P={s1,s2,...,sh,...,sK},通过下面公式,计算第h类特征图像块集合的最优字典Dh:
其中,sh为第h类特征图像块集合,ah为稀疏系数变量,ζ表示约束项系数, 表示二范数的平方,| |1表示一范数;
(4b)根据每类特征图像块集合的最优字典Dh,获得字典集 D={D1,D2,...,Dh,...,DK}。
步骤五、根据输入的低分辨图像Y,获取其近似高分辨图像。
(5a)输入的低分辨图像Y,通过高通滤波器提取其细节特征,得到低分辨细节特征图像:
为了选择与低分辨细节特征图像最相近的子字典Dh,需要将该低分辨细节特征图像与步骤三得到的K类图像集合逐个匹配,在字典集D中,选择与该低分辨细节特征图像最相似的图像集合所对应的子字典,并通过下式,计算最优的稀疏系数
其中,α为待计算的稀疏系数变量,ε表示约束项系数,L为下采样矩阵,Β表示模糊算子,|| ||2表示二范数,|α|1表示α的一范数;
所述高通滤波器为高斯高通滤波器,高通滤波器大小与图像的大小相等,方差为60,对输入的低分辨图像Y提取其细节特征,为后面得到近似高分辨图像做准备;
步骤六、计算低分辨细节特征图像的全局特征约束项权重W。
(6a)将低分辨细节特征图像,分割为T个大小为7×7的特征图像块集合 Y={y1,y2,..,yi,...,yT},其中yi为第i个特征图像块,i从1到T,T为低分辨细节特征图像的图像块总数;
(6b)定义任意两个特征图像块之间的距离其中pi为第i个特征图像块,pj为第j个特征图像块,j从1到T,且j不等于i;
(6c)根据特征图像块集合Y,使用K近邻算法建立一个特征图像块的KD树:
(6c1)将特征图像块集合Y={y1,y2,..,yi,...,yT}中每一个特征图像块yi转化为维度为49的向量vi,得到特征图像块的向量集合V={v1,v2,..,vi,...,vT},其中vi为第 i个特征图像块的向量;
(6c2)计算每一个维度的方差δr,得到特征图像块维度的方差集合δ={δ1,δ2,..,δr,...,δ49},其中δr为第r个维度的方差,r从1到49;
(6c3)选出方差最大的一个维度r,选取该维度上的中间值,将V分成两个子树Vleft,Vright;
(6c4)对第一个子树Vleft重复执行(5c2)和(5c3),直到新分成的两个子树Vleft_1和Vleft_2大小都为1;
(6c5)对第二个子树Vright重复执行(5c2)和(5c3),直到新分成的两个子树Vright_1和Vright_2大小都为1;
(6c6)根据(6c4)和(6c5)得到的所有子树,获得最终的特征图像块的KD树;
(6d)利用建立好的特征图像块的KD树,为每一个图像块yi得到M个最相似的图像块集其中为yi的第m个相似的特征图像块,m从1 到M;
(6e)计算每一个图像块所占的权重系数:其中第m个特征图像块所占权重系数,Zm是归一化因子,为数据相容性公式,exp()为自然常数e为底的指数函,σ为平衡参数,其取值为di,j的方差;
(6f)根据权重系数得到M行T列的全局特征约束项权重矩阵W,其中第 m行第i列的值为:
步骤七、利用近似高分辨图像X'和全局特征约束项权重矩阵W,通过求解如下优化公式,得到最终高分辨图像:
其中,λ为约束项参数,表示最终的高分辨图像,X'为近似高分辨图像,W 为全局特征约束项权重矩阵,|| ||2表示二范数,表示二范数的平方,X代表高分辨图像变量。
本发明的效果可通过以下仿真进一步说明:
1.仿真方法
应用本发明方法和双线性插值方法,自适应稀疏域选择方法,稀疏表示方法,非局部自回归方法分别对二幅遥感图像进行超分辨实验,并从细节特征的完整性;边缘信息的清晰性;小目标,多目标的可辨识度;整体视觉的逼真性评价这些方法的各自性能,使用峰值信噪比(PSNR)量性对比各方法重建高分辨遥感图的实验结果。
2.仿真内容与结果
仿真1、简单特征遥感图像的仿真实验。
用本方法以及双线性插值方法,自适应稀疏域选择方法,稀疏表示方法,非局部自回归方法对简单特征低分辨遥感图像进行超分辨重建,其结果如图2所示。其中:
图2(a)为低分辨遥感图像,该遥感图像特征较为单调;
图2(b)为用双线性插值方法对图2(a)进行超分辨重建得到的结果,由图2(b)可算出其超分辨重建结果的PSNR为35.521DB;
图2(c)为用自适应稀疏域选择方法对图2(a)进行超分辨重建得到的结果,由图 2(c)可算出其超分辨重建结果的PSNR为35.53DB;
图2(d)为用非局部自回归方法对图2(a)进行超分辨重建得到的结果,由图2(d)可算出其超分辨重建结果的PSNR为35.976DB;
图2(e)为用稀疏表示方法对图2(a)进行超分辨重建得到的结果,由图2(e)可算出其超分辨重建结果的PSNR为36.449DB;
图2(f)为用本方法对图2(a)进行超分辨重建得到的结果,由图2(f)可算出其超分辨重建结果的PSNR为37.015DB。
由图2可见,本发明重建的高分辨图像的边缘清晰细,节信息完整。相比之下,双线性插值方法,自适应稀疏域选择方法超分辨重建结果丢失大量细节信息。非局部自回归方法,稀疏表示方法超分辨重建结果整体的色彩等视觉表现有些失真,而且通过PSNR的指标更直观的表明本方法可以取得高质量的超分辨重建结果。
仿真2、多小目标复杂特征遥感图像的仿真实验。
用本方法以及双线性插值方法,自适应稀疏域选择方法,稀疏表示方法,非局部自回归方法对多小目标复杂低分辨遥感图像进行超分辨重建,其效果比较如图3 所示。其中:
图3(a)为多小目标复杂低分辨遥感图像;
图3(b)为双线性插值方法对图3(a)进行超分辨重建得到的结果,由图3(b)可算出其超分辨重建结果的PSNR为31.144DB;
图3(c)为自适应稀疏域选择方法对图3(a)进行超分辨重建得到的结果,由图3(c)可算出其超分辨重建结果的PSNR为31.897DB;
图3(d)为非局部自回归方法对图3(a)进行超分辨重建得到的结果,由图3(d)可算出其超分辨重建结果的PSNR为32.062DB;
图3(e)为稀疏表示方法对图3(a)进行超分辨重建得到的结果,由图3(e)可算出其超分辨重建结果的PSNR为32.686DB;
图3(f)为本发明对图3(a)进行超分辨重建得到的结果,由图3(f)可算出其超分辨重建结果的PSNR为33.451DB。
由图3可见,本发明超分辨重建结果的边缘特征不存在过平滑现象,波纹、小物体等轮廓也比较清晰。而双线性插值方法,自适应稀疏域选择方法,稀疏表示方法超分辨重建结果都存在大量过平滑的现象,非局部自回归方法的超分辨重建结果则丢失很多细节边缘特征信息,同时通过PSNR指标也表明本发明相比较其他方法可以取得较好的超分辨重建结果。
Claims (4)
1.一种基于稀疏表示的自适应全局字典遥感图像超分辨方法,包括:
(1)对100幅高分辨图像,分别通过高通滤波提取其细节特征,得到高分辨细节特征图像;
(2)将细节特征图像分割为N个7×7大小的特征图像块,得到特征图像块集合Q={p1,p2,...,pn,...,pN},其中pi为第n个特征图像块,n为从1到N的整数,N等于100000;
(3)使用K-means方法将图像集合分为K类P={s1,s2,...,sh,...,sK},其中sh为第h类特征图像块集合,h为从1到K的整数,K为图像集合中的分类总数,并利用K-SVD算法训练得到字典集D={D1,D2,...,Dh,...,DK},其中Dh为第h个子字典;
(4)获取近似高分辨图像:
(4a)输入的低分辨图像Y,通过高通滤波提取其细节特征,得到低分辨细节特征图像,并将该低分辨细节特征图像与(3)得到的K类图像集合相匹配,在字典集D中,选择与该低分辨细节特征图像最相似的图像集合所对应的子字典,计算最优的稀疏系数
其中,α为待计算的稀疏系数变量,e表示约束项系数,L为下采样矩阵,Β表示模糊算子,|| ||2表示二范数,|α|1表示α的一范数;
(4b)根据最优的稀疏系数计算得到近似高分辨图像:
(5)计算出低分辨细节特征图像的全局特征约束项权重W:
(5a)将低分辨细节特征图像,分割为T个大小为7×7的特征图像块集合Y={y1,y2,..,yi,...,yT},其中yi为第i个特征图像块,i从1到T,T为低分辨细节特征图像的图像块总数;
(5b)定义任意两个特征图像块之间的距离其中pi为第i个特征图像块,pj为第j个特征图像块,j从1到T,且j不等于i;
(5c)根据特征图像块集合Y,使用K近邻算法建立一个特征图像块的KD树;
(5d)利用建立好的特征图像块的KD树,为每一个图像块yi得到M个最相似的图像块集其中为yi的第m个相似的特征图像块,m从1到M;
(5e)计算出每一个图像块所占的权重系数:其中第m个特征图像块所占权重系数,Zm是归一化因子,为数据相容性公式,其中exp()为自然常数e为底的指数函数,σ为平衡参数;
(5f)根据权重系数得到M行T列的全局特征约束项权重矩阵W,其中第m行第i列的值为:
(6)利用近似高分辨图像X'和全局特征约束项权重矩阵W,通过求解如下优化公式,得到最终高分辨图像:
其中,λ为约束项参数,表示最终的高分辨图像,|| ||2表示二范数,表示二范数的平方;X代表高分辨图像变量。
2.根据权利要求1所述的方法,其中步骤(3)中使用K-means方法将图像集合分为K类P={s1,s2,...,sh,...,sK},按如下步骤进行:
(3a)随机在特征图像块集合Q={p1,p2,...,pn,...,pN}中取K个特征图像块作为中心点集O={o1,o2,...,oh,...,oK},其中oh为第h类特征图像块集合sh的中心点,h为从1到K的整数,K为分类总数;
(3b)分别计算特征图像块集合Q中的每一个特征图像块pn到这K个中心点的距离;
(3c)从计算出的距离中,找出距离最近的特征图像块pn与第h个中心点oh,并把pn移动到集合sh中,然后获得特征图像块集合分类为P={s1,s2,...,sh,...,sK},sh为第h类特征图像块集合;
(3d)重新在sh中选择新的中心点oh,得到新的中心点集O={o1,o2,...,oh,...,oK};
(3e)重复(3b)-(3d),直到中心点集没有发生变化,获得最终的特征图像块集合的分类为P={s1,s2,...,sh,...,sK}。
3.根据权利要求1所述的方法,其中步骤(3)中利用K-SVD算法训练得到字典集D={D1,D2,...,Dh,...,DK},按如下步骤进行:
(3f)利用得到的特征图像块集合的分类P={s1,s2,...,sh,...,sK},计算第h类特征图像块集合的最优字典Dh:
其中,sh为第h类特征图像块集合,αh为稀疏系数变量,ζ表示约束项系数,表示二范数的平方,| |1表示一范数;
(3g)根据最优字典Dh,获得字典集D={D1,D2,...,Dh,...,DK}。
4.根据权利要求1所述的方法,其中步骤(5c)中根据特征图像块集合Y,使用K近邻算法建立一个特征图像块的KD树,按如下步骤进行:
(5c1)将特征图像块集合Y={y1,y2,..,yi,...,yT}中每一个特征图像块yi转化为维度为49的向量vi,得到特征图像块的向量集合V={v1,v2,..,vi,...,vT},其中vi为第i个特征图像块的向量;
(5c2)计算每一个维度的方差δr,得到特征图像块维度的方差集合δ={δ1,δ2,..,δr,...,δ49},其中δr为第r个维度的方差,r从1到49;
(5c3)选出方差最大的一个维度r,选取该维度上的中间值,将V分成两个子树Vleft,Vright;
(5c4)对第一个子树Vleft重复执行(5c2)和(5c3),直到新分成的两个子树Vleft_1和Vleft_2大小都为1;
(5c5)对第二个子树Vright重复执行(5c2)和(5c3),直到新分成的两个子树Vright_1和Vright_2大小都为1;
(5c6)根据(5c4)和(5c5)得到的所有子树,获得最终的特征图像块的KD树。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810031187.XA CN108171656A (zh) | 2018-01-12 | 2018-01-12 | 基于稀疏表示的自适应全局字典遥感图像超分辨方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810031187.XA CN108171656A (zh) | 2018-01-12 | 2018-01-12 | 基于稀疏表示的自适应全局字典遥感图像超分辨方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108171656A true CN108171656A (zh) | 2018-06-15 |
Family
ID=62514645
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810031187.XA Pending CN108171656A (zh) | 2018-01-12 | 2018-01-12 | 基于稀疏表示的自适应全局字典遥感图像超分辨方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108171656A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109035142A (zh) * | 2018-07-16 | 2018-12-18 | 西安交通大学 | 一种对抗网络结合航拍图像先验的卫星图像超分辨方法 |
CN110503631A (zh) * | 2019-07-24 | 2019-11-26 | 山东师范大学 | 一种遥感图像变化检测方法 |
CN111612691A (zh) * | 2020-04-17 | 2020-09-01 | 重庆大学 | 一种基于稀疏表示的图像超分辨率处理改进方法 |
CN111814814A (zh) * | 2019-04-10 | 2020-10-23 | 四川大学 | 一种基于图像超分辨网络的单阶段目标检测方法 |
CN112419333A (zh) * | 2020-11-17 | 2021-02-26 | 武汉大学 | 一种遥感影像自适应特征选择分割方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102156875A (zh) * | 2011-03-25 | 2011-08-17 | 西安电子科技大学 | 基于多任务ksvd字典学习的图像超分辨率重构方法 |
CN103093445A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于联合稀疏约束的统一特征空间图像超分辨重建方法 |
CN107067367A (zh) * | 2016-09-08 | 2017-08-18 | 南京工程学院 | 一种图像超分辨重建处理方法 |
-
2018
- 2018-01-12 CN CN201810031187.XA patent/CN108171656A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102156875A (zh) * | 2011-03-25 | 2011-08-17 | 西安电子科技大学 | 基于多任务ksvd字典学习的图像超分辨率重构方法 |
CN103093445A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于联合稀疏约束的统一特征空间图像超分辨重建方法 |
CN107067367A (zh) * | 2016-09-08 | 2017-08-18 | 南京工程学院 | 一种图像超分辨重建处理方法 |
Non-Patent Citations (3)
Title |
---|
BIAO HOU 等: "Adaptive Super-Resolution for Remote Sensing Images Based on Sparse Representation With Global Joint Dictionary Model", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 * |
WEISHENG DONG 等: "Image Deblurring and Super-Resolution by Adaptive Sparse Domain Selection and Adaptive Regularization", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
佚名: "K近邻算法实现之KD树", 《BLOG.SINA.COM.CN/S/BLOG_81963F3C0102Y6GH.HTML》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109035142A (zh) * | 2018-07-16 | 2018-12-18 | 西安交通大学 | 一种对抗网络结合航拍图像先验的卫星图像超分辨方法 |
CN109035142B (zh) * | 2018-07-16 | 2020-06-19 | 西安交通大学 | 一种对抗网络结合航拍图像先验的卫星图像超分辨方法 |
CN111814814A (zh) * | 2019-04-10 | 2020-10-23 | 四川大学 | 一种基于图像超分辨网络的单阶段目标检测方法 |
CN111814814B (zh) * | 2019-04-10 | 2022-04-12 | 四川大学 | 一种基于图像超分辨网络的单阶段目标检测方法 |
CN110503631A (zh) * | 2019-07-24 | 2019-11-26 | 山东师范大学 | 一种遥感图像变化检测方法 |
CN111612691A (zh) * | 2020-04-17 | 2020-09-01 | 重庆大学 | 一种基于稀疏表示的图像超分辨率处理改进方法 |
CN112419333A (zh) * | 2020-11-17 | 2021-02-26 | 武汉大学 | 一种遥感影像自适应特征选择分割方法及*** |
CN112419333B (zh) * | 2020-11-17 | 2022-04-29 | 武汉大学 | 一种遥感影像自适应特征选择分割方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110191299B (zh) | 一种基于卷积神经网络的多重帧插值方法 | |
Shao et al. | Remote sensing image fusion with deep convolutional neural network | |
CN112634137B (zh) | 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法 | |
CN108171656A (zh) | 基于稀疏表示的自适应全局字典遥感图像超分辨方法 | |
CN110827200B (zh) | 一种图像超分重建方法、图像超分重建装置及移动终端 | |
Liu et al. | A spectral grouping and attention-driven residual dense network for hyperspectral image super-resolution | |
CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨*** | |
CN106056155B (zh) | 基于边界信息融合的超像素分割方法 | |
Zhang et al. | CCR: Clustering and collaborative representation for fast single image super-resolution | |
CN103824272B (zh) | 基于k近邻重识别的人脸超分辨率重建方法 | |
CN108549891A (zh) | 基于背景与目标先验的多尺度扩散显著目标检测方法 | |
CN109360156A (zh) | 基于生成对抗网络的图像分块的单张图像去雨方法 | |
CN105718882B (zh) | 一种分辨率自适应特征提取与融合的行人重识别方法 | |
CN110084108A (zh) | 基于gan神经网络的行人重识别***及方法 | |
Cheng et al. | Zero-shot image super-resolution with depth guided internal degradation learning | |
Asokan et al. | Machine learning based image processing techniques for satellite image analysis-a survey | |
CN108510504A (zh) | 图像分割方法和装置 | |
CN106683046A (zh) | 用于警用无人机侦察取证的图像实时拼接方法 | |
CN111680579B (zh) | 一种自适应权重多视角度量学习的遥感图像分类方法 | |
CN111223049B (zh) | 一种基于结构-纹理分解的遥感图像变分融合方法 | |
Beaulieu et al. | Deep image-to-image transfer applied to resolution enhancement of sentinel-2 images | |
CN113298129B (zh) | 基于超像素和图卷积网络的极化sar图像分类方法 | |
CN108257093A (zh) | 基于可控核与高斯过程回归的单帧图像超分辨方法 | |
Zhang et al. | Learning stacking regressors for single image super-resolution | |
CN104408697A (zh) | 基于遗传算法和正则先验模型的图像超分辨重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180615 |
|
WD01 | Invention patent application deemed withdrawn after publication |