CN108520495B - 基于聚类流形先验的高光谱图像超分辨重建方法 - Google Patents
基于聚类流形先验的高光谱图像超分辨重建方法 Download PDFInfo
- Publication number
- CN108520495B CN108520495B CN201810226960.8A CN201810226960A CN108520495B CN 108520495 B CN108520495 B CN 108520495B CN 201810226960 A CN201810226960 A CN 201810226960A CN 108520495 B CN108520495 B CN 108520495B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- matrix
- hyperspectral image
- hyperspectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims description 44
- 230000003595 spectral effect Effects 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于聚类流形先验的高光谱图像超分辨重建方法,利用高分辨率RGB图像与高分辨率高光谱图像在空间上的流行结构的相似性来构造空间约束项,并利用其构建新的重建目标函数,再利用ADMM算法对目标函数进行优化求解,得到最终重建的高分辨率高光谱图像,重建图像更加接近原始图像,具有较高的重建精度。
Description
技术领域
本发明属高光谱图像处理技术领域,具体涉及一种基于聚类流形先验的高光谱图像超分辨重建方法。
背景技术
高光谱图像是利用成像光谱仪将视场中观测到的各种地物的光谱信息记录下来得到的影像数据,相比于传统RGB图像含有更为丰富的光谱信息,这些丰富的光谱信息促使原本主要在常规图像上开展的图像超分辨重建、人脸识别和目标跟踪等逐渐得以延伸到高光谱数据上。但是由于硬件条件的限制,在获得高光谱图像时无法获得具有较高空间分辨率的图像,这极大地限制了高光谱图像在计算机视觉领域的应用,所以通过超分辨重建的方法将低空间分辨率的高光谱图像重建成高空间分辨率的高光谱图像具有重大的研究价值。现有的超分辨重建算法的主要思路是在图像融合的框架下根据光谱解混和矩阵分解得到的丰度矩阵和端元矩阵来重建高分辨率图像,例如文献“Yokoya N,Yairi T,IwasakiA.Coupled Nonnegative Matrix Factorization Unmixing for Hyperspectral andMultispectral Data Fusion[J].IEEE Transactions on Geoscience&Remote Sensing,2012,50(2):528-537.”假设潜在的高分辨率高光谱图像(即待求结果)可以分解成一个端元矩阵和一个丰度矩阵的乘积,提出了一种对偶非负矩阵分解的高光谱图像超分辨重建方法,在光谱解混的思想下,通过构建合理的约束项来优化求解得到更好的端元矩阵和丰度矩阵,并由此求得更好的高分辨率高光谱图像。但该方法并没有考虑到高光谱图像内部的结构特性,如非局部相似性,所以其重建效果仍旧受限。事实上,高光谱图像的内部结构特性对超分辨重建具有重要作用,但目前方法并没有考虑高光谱图像空间域中的流行结构与相应的常规图像的空间域中的流行结构的关系,因此,重建精度并不理想。
发明内容
为了克服现有技术的不足,本发明提供一种基于聚类流形先验的高光谱图像超分辨重建方法,将高光谱图像内部结构(如非局部相似性)应用到高光谱超分辨重建模型中,提高重建精度。
一种基于聚类流形先验的高光谱图像超分辨重建方法,其特征在于包括以下步骤:
步骤1:给定低分辨率高光谱图像X和同一场景下的高分辨率RGB图像Y,在空间维上用一个h×w大小的窗以s=1为步长扫过图像Y,得到全波段图像块集合,其中,每一个图像块bk∈Rh×w×3,k=1,…,K,K为图像块个数,0<h<R,0<w<C,R为图像的长,C为图像的宽。
步骤3:按照s.t.diag(Wi)=0计算得到相似性权重矩阵W;其中,W={W1,W2,...,Wi},×2表示为模2的张量乘法,表示矩阵的Frobenius范数,i=1,…,Nc,λ=0.3表示权重系数。
步骤4:基于融合的高光谱图像超分辨重建算法的优化模型和流行先验的空间约束,构建高光谱图像超分辨重建的目标函数如下:
其中,Z即为待重建的高分辨率高光谱图像,P为光谱域上的降采样矩阵,H为空间域上的降采样矩阵,为基于流行先验的空间约束项,为的集合,为图像Z潜在的与在空间上对应的类,表示满足约束的隐含张量,η=0.001为平衡参数,i=1,…,Nc。
步骤5:利用ADMM算法求解步骤4的目标函数,得到重建后的高分辨率高光谱图像Z。
本发明的有益效果是:利用高分辨率RGB图像与高分辨率高光谱图像在空间上的流行结构相似性,设计了基于流行先验的空间约束项并完成重建目标函数构建,使得重建图像更加接近原始图像。
具体实施方式
本发明提供了一种基于聚类流形先验的高光谱图像超分辨重建方法,其具体过程如下:
1、数据预处理。
给定低分辨率高光谱图像X和同一场景下的高分辨率RGB图像Y,假设潜在的(即待重建的)高分辨率高光谱图像为Z,Y可以被看成Z在光谱维上降采样的结果,即Y=PZ,P可以被看成是光谱域上的降采样矩阵。其中,X和Z为R×C×L维矩阵,Y为R×C×3维矩阵,R表示图像的长,C表示图像的宽,L表示高光谱图像的波段数。
在空间维上用一个h×w大小的窗以s=1为步长有重叠地扫过RGB图像Y,便得到大量全波段图像块,每一个全波段图像块bk∈Rh×w×3,k=1,…,K,K为图像块个数,0<h<R,0<w<C,本实施例中取h=w=4。
2、利用K-means算法进行聚类处理。
为利用K-means算法对得到的图像块进行聚类处理,先将每一个图像块变换为二维矩阵形式,即对每一个图像块bk得到一个全波段矩阵Bk∈Rn×3,n=w×h;然后,将这些全波段矩阵用K-means算法进行聚类处理,得到Nc个类,即将相似的m个全波段矩阵聚成一个类每个类可以看成一个具有很强的自相似性的三维张量。类内的每一个全波段矩阵都可以看成是高维流形空间内的一个点。
3、基于流形先验的理论计算RGB图像Y与潜在的高分辨率高光谱图像之间Z的相似性权重矩阵W。
经聚类处理后得到的每一类内的全波段矩阵都是很相似的,所以任意一个全波段矩阵都能由类内的其他全波段矩阵来线性表示,即:
Bj=w1B1+w2B2+...+wmBm (2)
公式(3)和(4)说明了Y具有基于流行结构的非局部相似性。
根据Y=PZ可推导得到:
其中,是潜在的与在空间上对应的存在于图像Z中的类,表示推导出,×3表示为模3的张量乘法。可以看出,Y与Z之间共享同一个相似性权重矩阵W={W1,W2,...,Wi},i=1,…,Nc。因此,只需要在Y上求得这个权重矩阵便可以应用到Z上去,而在Y上求这个权重矩阵只需要求解如下公式即可:
λ为权重系数,本发明设置其值为0.3,对上式进行优化求解即得到Y与Z之间共享相似性权重矩阵W。
4、利用Y与Z之间共享相似性权重矩阵W构建约束项,与基于融合的高光谱图像超分辨目标优化式合并,得到基于聚类流形先验的高光谱图像超分辨重建方法的目标优化式。
传统的基于融合的高光谱图像超分辨重建算法的优化模型为:
其中,priors表示需要人工设计的先验,P为光谱域上的降采样矩阵,H为空间域上的降采样矩阵。
由于Z与Y具有基于流行结构的非局部相似性,可以认为Z与Y在结构上是相似的,只是光谱维数不同,则有:
并满足如下约束:
其中,标量η是用来平衡观测模型和非局部相似性约束的平衡参数,为了获得最佳的效果,该参数在本发明中设置为0.001;光谱域上的降采样矩阵P是根据使用相机的光谱反射曲线构造的矩阵,与相机的反射曲线对应,本发明使用cave数据集采集相机的光谱降采样矩阵,使用高斯模糊核矩阵作为空间域上的降采样矩阵H。
5、模型优化求解
通过优化求解公式(10),即可得到最终重建的高分辨率高光谱图像Z。本发明采用ADMM算法(交替方向乘子算法)求解公式(10),得到高分辨率高光谱图像Z,即重建图像。所述的ADMM算法记录在文献“Gabay D,Mercier B.A dual algorithm for the solution ofnonlinear variational problems via finite element approximation[J].Computers&Mathematics with Applications,1976,2(1):17-40”中。
具体求解过程如下:
由于公式(10)中未知变量Z同时被几个约束条件所耦合,先引入两个分离变量S和U来重写公式(10),即:
再引入拉格朗日乘子来消除这些约束,化简得目标函数如下:
其中,const表示一个恒定值。由于直接优化公式(13)比较困难,但是可以通过交替迭代最小化其中的几个更简单的子问题,直到整体收敛。Z与V1、V2的初始值为随机矩阵(在优化中迭代更新),则迭代更新过程为:
2)更新分离变量U:
同样的,通过分离与U不相关的变量,得到关于U的子问题如下:
这里,用所有更新后的全波段矩阵来重建一个新的高光谱图像L,其中即是把高光谱图像划分成全波段矩阵操作的逆,在重建的过程中,若全波矩阵块有重叠则采取平均操作,则对于给定的L,公式(16)能够被重新表示成如下形式:
上式是一个最简单的凸函数优化问题:二次函数求最小值,只需对其关于U求导,找出导数等于0时的值,因此,上式有如下闭合形式的解:
3)更新分离变量S:
分离与S不相关的变量,得到关于S的子问题如下:
同样的,对上式关于S求导,得到闭合解如下:
其中,I表示单位矩阵。
4)更新超分辨的高光谱图像Z:
分离与Z无关变量,得到关于Z的子问题如下:
关于Z有闭合形式的解如下:
需要注意的是,(HHT+2μI)是一个尺寸相当大的矩阵,工程上无法直接对其求逆,所以采用共轭梯度下降法来求得一个近似结果。
5)更新乘子V1和V2:
按如下公式更新乘子V1和V2:
V1=V1+2μ(Z-U),V2=V2+2μ(Z-S) (23)
重复步骤1)至5),直至重复次数超过T(T=20)次,得到最终结果Z。
本发明方法利用了高分辨率RGB图像与高分辨率高光谱图像在空间上的流行结构相似性,揭示了潜在的高分辨率高光谱图像在空间域中与高分辨率RGB图像之间的流形结构关系。利用两者在流行结构上的关系,巧妙的设计了基于流行先验的空间约束项并完成重建目标函数构建,使得重建图像更加接近原始图像。
为更好地说明本发明方法的效果,采用cave数据集(Columbia Object ImageLibrary Columbia Gaze Data Set Contaminants Database,地址:http://www.cs.columbia.edu/CAVE/databases/)进行高光谱图像超分辨重建,并与现在主流的超分辨重建方法——lan算法(Yokoya N,Yairi T,Iwasaki A.Coupled Nonnegative MatrixFactorization Unmixing for Hyperspectral and Multispectral Data Fusion[J].IEEE Transactions on Geoscience&Remote Sensing,2012,50(2):528-537)进行对比,分别计算峰值信噪比(PSNR)、结构相似性(SSIM)、均方根误差(RMSE)、光谱角(SAM),具体数据如表1所示。其中,RMSE值越小表明重建图像与原始图像之间越接近,PSNR值越大表明重建图像与原始图像数值上的平均误差越接近,SSIM值越接近1说明重建图像与原始图像结构越相似,SAM值越小就说明重建图像与原始图像的光谱越接近。可以看出,利用本发明方法进行高光谱图像超分辨重建的效果明显优于lan算法,具有较高的重建精度。
表1
PSNR | SSIM | RMSE | SAM | |
lan算法 | 34.48 | 0.9615 | 5.16 | 13.14 |
本发明方法 | 42.81 | 0.9927 | 2.03 | 4.11 |
Claims (1)
1.一种基于聚类流形先验的高光谱图像超分辨重建方法,其特征在于包括以下步骤:
步骤1:给定低分辨率高光谱图像X和同一场景下的高分辨率RGB图像Y,在空间维上用一个h×w大小的窗以s=1为步长扫过图像Y,得到全波段图像块集合,其中,每一个图像块bk∈Rh×w×3,k=1,…,K,K为图像块个数,0<h<R,0<w<C,R为图像的长,C为图像的宽;
步骤3:按照s.t.diag(Wi)=0计算得到相似性权重矩阵W;其中,W={W1,W2,...,Wi},×2表示为模2的张量乘法,表示矩阵的Frobenius范数,i=1,…,Nc,λ=0.3表示权重系数;
步骤4:基于融合的高光谱图像超分辨重建算法的优化模型和流行先验的空间约束,构建高光谱图像超分辨重建的目标函数如下:
其中,Z即为待重建的高分辨率高光谱图像,P为光谱域上的降采样矩阵,H为空间域上的降采样矩阵,为基于流行先验的空间约束项,为的集合,为图像Z潜在的与在空间上对应的类,表示满足约束的隐含张量,η=0.001为平衡参数,i=1,…,Nc;
步骤5:利用ADMM算法求解步骤4的目标函数,得到重建后的高分辨率高光谱图像Z。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810226960.8A CN108520495B (zh) | 2018-03-15 | 2018-03-15 | 基于聚类流形先验的高光谱图像超分辨重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810226960.8A CN108520495B (zh) | 2018-03-15 | 2018-03-15 | 基于聚类流形先验的高光谱图像超分辨重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108520495A CN108520495A (zh) | 2018-09-11 |
CN108520495B true CN108520495B (zh) | 2021-09-07 |
Family
ID=63432884
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810226960.8A Active CN108520495B (zh) | 2018-03-15 | 2018-03-15 | 基于聚类流形先验的高光谱图像超分辨重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108520495B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112364730B (zh) * | 2020-10-29 | 2023-01-17 | 济南大学 | 基于稀疏子空间聚类的高光谱地物自动分类方法及*** |
CN112561883B (zh) * | 2020-12-17 | 2024-06-21 | 成都亚讯星科科技股份有限公司 | 农作物rgb图像重建高光谱图像的方法 |
CN112907495B (zh) * | 2021-02-18 | 2023-08-29 | 北京印刷学院 | 高光谱图像的空间分辨率增强方法、装置及电子设备 |
CN112927149B (zh) * | 2021-02-18 | 2023-07-04 | 北京印刷学院 | 高光谱图像的空间分辨率增强方法、装置及电子设备 |
CN113409193B (zh) * | 2021-06-18 | 2023-07-04 | 北京印刷学院 | 高光谱图像的超分辨率重建方法和装置 |
CN117291808B (zh) * | 2023-11-27 | 2024-02-20 | 浙江优众新材料科技有限公司 | 一种基于流先验与极偏补偿的光场图像超分辨处理方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104050653A (zh) * | 2014-07-07 | 2014-09-17 | 西安电子科技大学 | 基于非负结构稀疏的高光谱图像超分辨率算法 |
EP2888720A1 (en) * | 2012-08-21 | 2015-07-01 | Pelican Imaging Corporation | Systems and methods for parallax detection and correction in images captured using array cameras |
CN105469360A (zh) * | 2015-12-25 | 2016-04-06 | 西北工业大学 | 基于非局部联合稀疏表示的高光谱图像超分辨率重建方法 |
CN106067165A (zh) * | 2016-05-31 | 2016-11-02 | 西北工业大学 | 基于聚类化稀疏随机场的高光谱图像去噪方法 |
CN106780345A (zh) * | 2017-01-18 | 2017-05-31 | 西北工业大学 | 基于耦合字典及空间转换估计的高光谱图像超分辨重建方法 |
CN106952317A (zh) * | 2017-03-23 | 2017-07-14 | 西安电子科技大学 | 基于结构稀疏的高光谱图像重建方法 |
-
2018
- 2018-03-15 CN CN201810226960.8A patent/CN108520495B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2888720A1 (en) * | 2012-08-21 | 2015-07-01 | Pelican Imaging Corporation | Systems and methods for parallax detection and correction in images captured using array cameras |
CN104050653A (zh) * | 2014-07-07 | 2014-09-17 | 西安电子科技大学 | 基于非负结构稀疏的高光谱图像超分辨率算法 |
CN105469360A (zh) * | 2015-12-25 | 2016-04-06 | 西北工业大学 | 基于非局部联合稀疏表示的高光谱图像超分辨率重建方法 |
CN106067165A (zh) * | 2016-05-31 | 2016-11-02 | 西北工业大学 | 基于聚类化稀疏随机场的高光谱图像去噪方法 |
CN106780345A (zh) * | 2017-01-18 | 2017-05-31 | 西北工业大学 | 基于耦合字典及空间转换估计的高光谱图像超分辨重建方法 |
CN106952317A (zh) * | 2017-03-23 | 2017-07-14 | 西安电子科技大学 | 基于结构稀疏的高光谱图像重建方法 |
Non-Patent Citations (2)
Title |
---|
Super-resolution of hyperspectral image via superpixel-based sparse representation;Leyuan Fang et al;《Neurocomputing》;20180131;第273卷;第171-177页 * |
光学遥感影像空间分辨率提升的正则化方法研究;江铖;《中国博士学位论文全文数据库电子期刊 基础科学辑》;20170715;第2016年卷(第7期);第A008-26页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108520495A (zh) | 2018-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108520495B (zh) | 基于聚类流形先验的高光谱图像超分辨重建方法 | |
Xu et al. | Nonlocal patch tensor sparse representation for hyperspectral image super-resolution | |
CN111260576B (zh) | 一种基于去噪三维卷积自编码网络的高光谱解混算法 | |
Salvador et al. | Naive bayes super-resolution forest | |
CN104112263B (zh) | 基于深度神经网络的全色图像与多光谱图像融合的方法 | |
CN111192193B (zh) | 一种基于1维-2维卷积神经网络高光谱单图超分辨方法 | |
Wang et al. | Tensor decompositions for hyperspectral data processing in remote sensing: A comprehensive review | |
Arun et al. | CNN based spectral super-resolution of remote sensing images | |
CN106780345B (zh) | 基于耦合字典及空间转换估计的高光谱图像超分辨重建方法 | |
CN114998167B (zh) | 一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法 | |
CN108257093B (zh) | 基于可控核与高斯过程回归的单帧图像超分辨方法 | |
Ma et al. | Sparse representation and position prior based face hallucination upon classified over-complete dictionaries | |
CN111340697A (zh) | 一种基于聚类回归的图像超分辨方法 | |
CN112215267B (zh) | 一种面向高光谱图像的深度空谱子空间聚类方法 | |
CN115496662A (zh) | 基于光谱信息融合的高阶张量光谱图像超分辨率重建方法 | |
Liu et al. | Multi-view subspace clustering based on tensor schatten-p norm | |
CN110097499B (zh) | 基于谱混合核高斯过程回归的单帧图像超分辨率重建方法 | |
CN106296583B (zh) | 基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法 | |
Jiang et al. | From less to more: Spectral splitting and aggregation network for hyperspectral face super-resolution | |
Fu et al. | Hyperspectral image denoising via robust subspace estimation and group sparsity constraint | |
Wang et al. | Unsupervised domain factorization network for thick cloud removal of multi-temporal remotely sensed images | |
CN109543717B (zh) | 基于自适应邻域及字典的联合协作表达高光谱分类方法 | |
Sun et al. | NF-3DLogTNN: An effective hyperspectral and multispectral image fusion method based on nonlocal low-fibered-rank regularization | |
Chen et al. | Unregistered hyperspectral and multispectral image fusion with synchronous nonnegative matrix factorization | |
Wei et al. | Fields of experts based multichannel compressed sensing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |