CN111861885B - 一种用于高光谱超分辨率重建的超像素稀疏表示方法 - Google Patents
一种用于高光谱超分辨率重建的超像素稀疏表示方法 Download PDFInfo
- Publication number
- CN111861885B CN111861885B CN202010681637.7A CN202010681637A CN111861885B CN 111861885 B CN111861885 B CN 111861885B CN 202010681637 A CN202010681637 A CN 202010681637A CN 111861885 B CN111861885 B CN 111861885B
- Authority
- CN
- China
- Prior art keywords
- super
- hyperspectral
- resolution
- msi
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000003595 spectral effect Effects 0.000 claims abstract description 64
- 230000011218 segmentation Effects 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 17
- 230000008878 coupling Effects 0.000 claims description 11
- 238000010168 coupling process Methods 0.000 claims description 11
- 238000005859 coupling reaction Methods 0.000 claims description 11
- 230000001427 coherent effect Effects 0.000 claims description 5
- 238000004321 preservation Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000001228 spectrum Methods 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 6
- 238000013139 quantization Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 4
- 238000005316 response function Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 101100043438 Mus musculus Srsf10 gene Proteins 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 101710082751 Carboxypeptidase S1 homolog A Proteins 0.000 description 1
- 102100023804 Coagulation factor VII Human genes 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于高光谱超分辨率重建的超像素稀疏表示方法，包括以下步骤：利用分割算法聚类MSI像素生成超像素，其中，超像素为同质像素的集合，再分别从HSI和MSI学习光谱特征及比例信息；然后采用联合稀疏正则化在学习的光谱特征上分解MSI超像素获取系数信息，最后利用学习的光谱特征及系数信息生成高分辨率的高光谱图像，完成用于高光谱超分辨率重建的超像素稀疏表示，该方法能够更好的实现高光谱超分辨率图像的重构。
Description
技术领域
本发明涉及一种超像素稀疏表示方法，具体涉及一种用于高光谱超分辨率重建的超像素稀疏表示方法。
背景技术
高光谱成像技术是指利用成像光谱仪获取许多非常窄且光谱连续的图像数据。随着高光谱传感器技术的发展，高光谱图像(Hyperspectral Image,HSI)以其丰富的光谱信息得到广泛的关注和研究，在地球遥感、计算机视觉任务等方面得到广泛的应用。高空间分辨率和高光谱分辨率能提升HSI分析任务的性能，然而受硬件的限制，高光谱图像不可避免的在空间分辨率和光谱分辨率进行折中，即为保证高信噪比，HSI通常具有高光谱分辨率和较低的空间分辨率。相比于HSI，多光谱图像(Multispectral Image,MSI)或者彩色图像(RGB)通常具有较高的空间分辨率，但其光谱分辨率相对较低。因此，为获取具有高空间分辨率的HSI，相同场景的MSI或RGB图像通常与HSI进行融合，此过程称为高光谱图像超分辨(Hyper-spectral Image Supersolution，HSISR)。
高空间分辨率的高光谱图像(High Resolution HSI,HR-HSI)的广泛需求使得HSISR技术得到广泛的关注和研究，目前许多HSI超分辨方法已经用以增强空间分辨率。HSI-MSI融合方法最初源于将多光谱全色锐化(Multispectral pan sharpening,MSI-PAN)方法，此方法利用高分辨率的全色图像(PAN)提高MSI的空间分辨率。多光谱全色锐化方法主要可以分为两类：(1)基于成分替换(Component Substitution,CS)的方法；(2)基于多分辨率分析(Multi-Resolution Analysis,MRA)方法，Gram–Schmidt adaptive(GSA)是最具代表性的基于成分替换的方法，smoothing filtered-based intensity modulation(SFIM)和generalized Laplacian pyramid(GLP)则是两个代表性MRA方法。尽管这两类方法通过调整可以应用到HSI-MSI融合领域，例如Aiazzi et al通过考虑谱响应函数对融合过程的影响进行改进，将其应用到HSI-MSI融合领域；但是高光谱图像需要保留远远多于多光谱全色锐化光谱信息，从而使得重构超分辨率图像包含光谱失真。
发明内容
本发明的目的在于克服上述现有技术的缺点，提供了一种用于高光谱超分辨率重建的超像素稀疏表示方法，该方法能够更好的实现高光谱超分辨率图像的重构。
为达到上述目的，本发明所述的用于高光谱超分辨率重建的超像素稀疏表示方法包括以下步骤：
利用分割算法聚类MSI像素生成超像素，其中，超像素为同质像素的集合，再分别从HSI和MSI学习光谱特征及比例信息；然后采用联合稀疏正则化在学习的光谱特征上分解MSI超像素获取系数信息，最后利用学习的光谱特征及系数信息生成高分辨率的高光谱图像，完成用于高光谱超分辨率重建的超像素稀疏表示。
采用ETPS对多光谱图像进行超像素分割，并采用马尔科夫随机场能量作为目标函数，通过迭代优化目标函数，最终得到超像素分割结果。
目标函数为：
其中，为外观连贯正则项，/>为形状正则项，Eb(sp,sq)表示边界长度，Etopo(s)表示拓扑保留，Esize(s)为保证最小尺寸。
基于高光谱超分辨的耦合自编码网络分别从HSI和MSI学习光谱特征及比例信息。
光谱特征通过自编码网络的解码部分隐式表示，比例信息通过自编码网络的隐层表示。
利用学习的光谱特征及系数信息生成高分辨率的高光谱图像为：
其中，Wsk,bk分别表示解码器中第k层权重和偏置。
本发明具有以下有益效果：
本发明所述的用于高光谱超分辨率重建的超像素稀疏表示方法在具体操作时，利用分割算法聚类MSI像素生成超像素，其中，超像素为同质像素的集合，再利用耦合深度网络分别从HSI和MSI学习光谱特征及比例信息，利用耦合深度网络强大的表示能力，可以保留更准确的光谱信息，基于相邻区域中的像素具有相似的光谱特征的事实，对丰度矩阵施加低秩约束以利用局部相似性；然后采用联合稀疏正则化在学习的光谱特征上分解MSI超像素获取系数信息，最后利用学习的光谱特征及系数信息生成高分辨率的高光谱图像，实验表明，本发明比其他方法具有更优的超分辨效果，重构高光谱超分辨率图像更优。
附图说明
图1为包含一个隐藏层的自编码器网络结构示意图；
图2为应用于高光谱超分辨的耦合自编码网的示意图；
图3为自编码网络的结构示意图；
图4a为CAVE数据集在参数λ1的RMSE变化图；
图4b为CAVE数据集在参数λ2的RMSE变化图；
图5为CAVE数据集的cloth图像的超分辨重建结果图；
图6为Harvard数据集的imgb8图像的结果图。
具体实施方式
下面结合附图对本发明做进一步详细描述：
本发明基于超像素稀疏表示的高光谱-多光谱图像融合方法实现HSI超分辨，主要包括：1)利用分割算法聚类MSI像素生成超像素，其中，超像素为同质像素的集合，其形状和尺寸为自适应的；利用耦合自编码网络分别从HSI和MSI学习光谱特征(端元)及比例信息(丰度)，光谱特征通过自编码网络的解码部分隐式表示，比例信息通过自编码网络的隐层表示；2)采用联合稀疏正则化在学习的光谱特征上分解MSI超像素获取系数信息，最后，利用学习的光谱特征及系数信息生成高分辨率的高光谱图像。
1、高光谱图像稀疏表示
像超分辨重建旨在通过融合低分辨率高光谱图像和相同场景的高分辨率多光谱图像/>生成高分辨率的高光谱图像/>其中，W,w,H,h分别表示图像的空间维度，B,b表示图像的光谱维度，通常多光谱图像相比高光谱图像具有较高的分辨率W＞＞w,H＞＞h，HSI相比MSI则具有较高的光谱分辨率B＞＞b，高光谱图像数据为数据立方体形式，为便于模型计算，对三维图像数据按字典序进行展开处理，分别对应为N＝W×H，n＝w×h，矩阵X,Y的每行表示某像素的光谱反射值，其中，HR-HSI、LR-HIS及HR-MSI的关系为：
X＝HZ，Y＝ZR (1)
其中，表示空间下采样及模糊操作，/>表示光谱响应函数(Spectral Response Functions)稀疏表示假设X的任一像素可以表示为c个基向量(或光谱特征)的线性组合，如式(2)所示，其中，/>表示光谱字典，矩阵Dh的行向量为基向量，基向量表示图像场景包含的纯净物质的光谱特性；/>表示对应的比例系数，系数矩阵表示图像特定空间位置光谱基向量的组合方式，矩阵Ah包含空间信息，同理，多光谱矩阵Y根据式(3)表示为光谱字典与比例系数的乘积，其中，/>包含空间信息，/>为光谱字典，矩阵Dm的行向量表示多光谱图像的光谱基向量，相应的，HR HSI为比例系数Am和光谱字典Dh的乘积，如式(4)所示
X≈AhDh (2)
Y＝AmDm (3)
Z＝AmDh (4)
根据式(1)至式(4)，得相同场景下多光谱字典和高光谱字典的关系为：
Dm＝DhR (5)
此时，LR HSI超分辨问题可以描述为P(Z|Yh,Ym)，即在HR HSIZ未知的情况下，从HSI和MSI图像分别学习到光谱字典Dh和丰度系数矩阵Am，然后高分辨率高光谱图像根据式(4)进行重建。
在无监督情景下，光谱基向量和权重系数是未知的，使得解空间无限大；先验信息可以有效的缩小解空间并使得解更具鲁棒性，现有文献已经将各种约束应用到权重变量和光谱基向量上，由于图像在空间维度上具有局部性，将稀疏约束应用在权重变量是常见的。可基于像素的稀疏模型解决如下问题：argmin||αi||0s.t.||yi-Dαi||F≤η。然而基于像素的稀疏模型忽略了MSI图像的局部相似性，因此不能充分利用图像的空间信息；因此Akhtar提出基于图像块的稀疏模型，假设局部图像块内的像素光谱可以用相同的光谱基向量进行重构，并提出G-SOMP(Generalized Simultaneous Orthogonal Matching Pursuit)算法预测稀疏权重系数。根据高光谱图像性质，权重系数应该是非负的且权值和为1，即
2、自编码器模型
自编码器属于无监督神经网络模型，其输入输出相同，通过反向传播算法进行网络模型的参数估计，参考图1，图1为包含一个隐藏层的自编码器网络结构，自编码器由编码模块和解码模块组成，输入-隐含层称为编码器，实现由数据到表示的映射，即
y＝fa(Wy+by) (6)
隐含-输出层称为解码器，实现隐含表示到重构数据的映射，即
z＝fs(Wzy+bz) (7)
其中，Wy,Wz及网络模型的权重系数，fa,fs及网络的激活函数。
3、本发明的具体操作过程为：
高光谱图像复杂的空间结构使得基于图像块的稀疏模型不能充分利用图像的空间信息，因此本发明提出了基于超像素的稀疏表示模型实现高光谱图像超分辨率重构，下面主要从以下几部分描述此模型：
(1)超像素分割和基于超像素的联合分解方案
利用稀疏模型将HR MSI分解为光谱字典Dm及系数矩阵Am，光谱字典Dm及系数矩阵Am分别包含HR MSI场景的光谱信息及空间信息，HR MSI通常具有复杂的结构，为充分利用HR MSI空间信息，利用HR MSI超像素分割并基于超像素进行联合分解，获取空间信息Am，基于超像素图像分解分为两部分，即HR MSI超像素分割及基于超像素的联合分解。
(2)MSI超像素分割
超像素分割的目标是聚类感知相似的像素为视觉有意义的实体，自2003年提出后得到广泛的关注和发展，目前许多公开可用的超像素算法已经成为低级视觉领域的标准工具。本发明针对28种先进的超像素分割算法测评结果，选用ETPS(Efficient TopologyPreserving Segmentation)对多光谱图像进行超像素分割，并采用马尔科夫随机场(Markov random field(MRF))能量作为目标函数，参考式(8)，通过不断迭代优化目标函数，最终得到超像素分割。
目标函数的构建过程为：首先图像按规则网格划分作为初始的超像素，然后K-means算法，通过不断交换相邻超像素中像素的所属超像素使得目标函数最优，为生成同质、紧凑的超像素，且使得生成的超像素外观连贯、形状正规，提出形状正则项和外观连贯正则项，对应的目标函数为：
其中，为外观连贯正则项，/>为形状正则项，Eb(sp,sq)表示边界长度，Etopo(s)表示拓扑保留，Esize(s)保证最小尺寸。
为有效的对HR MSI进行分割，首先应用稀疏主成分分析(Sparse PrincipalComponent Analysis,SPCA)获取主成分，为尽可能减少信息的损失，选取第一个主成分分量作为分割基图，在分割基图上应用ETPS算法获得分割图，根据分割图划分MSI生成超像素，获取超像素后，再采用耦合堆栈自编码器从HSI和MSI学习光谱字典和丰度信息。
(3)应用于高光谱超分辨的耦合自编码网络结构
为从HSI和MSI提取光谱信息和丰度信息，采用如图2所示的应用于高光谱超分辨的耦合自编码网络，图3为自编码网络具体结构示意图，其中，CASE由两个堆栈自编码器组成，通过共享解码器实现耦合，分别实现LR HSI和HR MSI的重构，以无监督的方式提取信息。
(4)耦合自编码网络重构高光谱图像
以LR HSI自编码网络为例，LR HSI自编码网络包含编码部分Eh及解码部分S：编码部分Eh将输入数据映射到低维稀疏表示Ah，解码部分S则利用稀疏表示重构数据在满足约束条件的情况下，LR HSI自编码网络的隐藏层输出作为表示层Ah，其包含图像数据的空间信息，此时解码部分S作为式(2)中的Dh；令Wsk,bk分别表示解码器中第k层权重和偏置，则自编码网络重构的高光谱图像表示为：
为从HR HSI提取光谱特征，表示层Ah含有高光谱图像光谱特征相应的空间信息，此时Ah满足式(5)描述的约束条件，当激活函数为恒等函数且解码器没有偏置b时，解码器的权重θhd＝Ws1Ws2…Wsk，此时解码器的权值θhd对应式(2)中的光谱字典Dh，即Dh＝θhd，此时Φh包含LR HSI光谱信息，Sh保留LR HSI的空间信息。
(5)耦合自编码网络解码器共享权重方法
HR MSI以类似的方式通过堆栈自编码器进行重构：编码器Em实现输入数据到稀疏表示的映射，解码器Sm实现数据的重构。由于HR MSI的光谱字典Dm和LR HSI的光谱字典Dh满足式(5)的关系，MSI的解码器Sm与HSI的解码器Sh共享权重θmd＝θhdR，此时MSI重构图像为解码器共享权重使得HR MSI网络和LR HSI网络耦合，有利于网络的训练和收敛。
验证性实验
为验证算法有效性，采用CAVE和Harvard数据集进行验证，CAVE数据集包含32幅室内场景，图像分辨率为512×512×31，光谱覆盖范围为400～700纳米，Harvard数据集包含50幅图像和室内外场景图像，分辨率为1392×1040×31，光谱覆盖范围为420～720纳米。实验中裁取左上角1024×1024进行实验，实验中，图像数据归一化为[0,1]。以原始图像作为参考图像，通过在32×32图像块计算均值的方法生成低分辨率图像，采用尼康D700相机的光谱响应函数合成多光谱图像。采用均方根误差(Root Mean Square Error,RMSE)、光谱角映射图(Spectral Angle Mapper,SAM)及ERGAS量化指标评价高光谱图像超分辨重构效果：
为验证提出的方法的超分辨重建效果，本发明和CNMF方法(Yokoya,Yairi,andIwasaki 2012)、SNNMF方法(Wycoff et al.2013),GSOMP+方法(Akhtar,Shafait,and Mian2014),BSR方法(Akhtar,Shafait,and Mian 2015),CSU方法(Lanaras,Baltsavias,andSchindler 2015),NSSR方法(Dong et al.2016)and uSDN方法(Qu,Qi,and Kwan 2018)进行比较。其中，CNMF,SNNMF,CSU and NSSR方法在实现过程中需要降采样函数作为已知信息，为模仿真实情况，本发明采用双三次降采样函数和低分辨图像仿真使用的降采样函数不同。
表1表示来自CAVE和Harvard数据集部分测试样例的超分辨重建量化结果，表2为不同方法在CAVE数据集和Harvard数据集的超分辨重建平均量化结果，分析表1和表2可知，本发明相比其他对比方法在均方根误差、光谱角映射图和EGRAS方面具有明显的提高，而且CAVE数据集优于Harvard数据集，其原因在于，CAVE数据集场景复杂度高于Harvard数据集。
另外，基于解混的方法通常光谱角映射量化值小于基于稀疏表示的方法，表明超分辨重建的图像光谱失真更小；但是均方根误差量化值相对较高；基于稀疏表示的方法则相反，均方根误差量化值通常较好，表明空间重建质量更好，但是具有较为严重的光谱失真。uSDN方法和本发明基于光谱解混框架，从而避免了超分辨重建的图像具有较为严重的光谱失真，在光谱解混过程中，采用耦合深度网络，使得提取端元和丰度信息更为精确，从而提高高光谱图像重建效果；而且，本发明引入超像素分割和低秩约束，从而进一步提高丰度信息的精确性，因此本发明在均方根误差和光谱角映射图方面具有更好的重建效果。
表1
表2
本发明包含三个自由参数：λ1,λ2和μ，其中，λ1,λ2实现自编码网络重建误差、稀疏约束和低秩约束的加权；μ表示解码器的参数损失，试验中，设置μ＝1e-6。为选择合适的参数λ1,λ2，本发明测量不同参数下高光谱图像的超分辨重建效果，设定λ1＝[0.1,0.5,1,1.5,2]×10-6和λ2＝[0.5,1,1.5,2，2.5]×10-1，首先，保持λ2不变，选取最优的参数λ1；然后保持λ1不变，选取最优参数λ2。不同参数的高光谱图像超分辨重建效果变化情况如图4a及图4b所示。
图5及图6表示在460nm，540nm，670nm波长下超分辨重建的高光谱图像和重建图像与真实图像的绝对差值图像。图5表示来自CAVE数据集的cloth图像的超分辨重建结果，图6表示来自Harvard数据集的imgb8图像的结果，根据绝对差的图像可以发现，本发明在视觉质量上具有比其他方法更好的超分辨率效果。
本发明通过组合光谱解混、超像素生成和低秩约束，以同时利用高光谱图像的光谱和空间信息，在具体操作时，首先将高分辨率多光谱图像中的像素聚类为超像素；再将高光谱图像与多光谱图像中的超像素进行解混，通过耦合深度网络获得端元和丰度信息。利用深度网络具有强大的表示能力，可以保留更准确的光谱信息，基于相邻区域中的像素具有相似的光谱特征的事实，对丰度矩阵施加低秩约束以利用局部相似性。在两个广泛使用的高光谱图像数据集上进行实验表明，本发明比其他方法具有更优的超分辨效果，其中，CAVE数据集的平均RMSE和SAM分别达到3.69和6.53。
Claims (2)
1.一种用于高光谱超分辨率重建的超像素稀疏表示方法，其特征在于，包括以下步骤：
利用分割算法聚类MSI像素生成超像素，其中，超像素为同质像素的集合，再利用自编码网络分别从HSI和MSI学习光谱特征及比例信息；然后采用联合稀疏正则化在学习的光谱特征上分解MSI超像素获取系数信息，最后利用学习的光谱特征及系数信息生成高分辨率的高光谱图像，完成用于高光谱超分辨率重建的超像素稀疏表示；
采用ETPS对多光谱图像进行超像素分割，并采用马尔科夫随机场能量作为目标函数，通过迭代优化目标函数，最终得到超像素分割结果；
基于高光谱超分辨的耦合自编码网络分别从HSI和MSI学习光谱特征及比例信息；
光谱特征通过自编码网络的解码部分隐式表示，比例信息通过自编码网络的隐层表示；
利用学习的光谱特征及系数信息生成高分辨率的高光谱图像为：
其中，Wk,bk分别表示解码器中第k层权重和偏置。
2.根据权利要求1所述的用于高光谱超分辨率重建的超像素稀疏表示方法，其特征在于，目标函数为：
其中，为外观连贯正则项，/>为形状正则项，Eb(sp,sq)表示边界长度，Etopo(s)表示拓扑保留，Esize(s)为保证最小尺寸。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010681637.7A CN111861885B (zh) | 2020-07-15 | 2020-07-15 | 一种用于高光谱超分辨率重建的超像素稀疏表示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010681637.7A CN111861885B (zh) | 2020-07-15 | 2020-07-15 | 一种用于高光谱超分辨率重建的超像素稀疏表示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111861885A CN111861885A (zh) | 2020-10-30 |
| CN111861885B true CN111861885B (zh) | 2024-05-24 |
Family
ID=72984117
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010681637.7A Active CN111861885B (zh) | 2020-07-15 | 2020-07-15 | 一种用于高光谱超分辨率重建的超像素稀疏表示方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111861885B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113409193B (zh) * | 2021-06-18 | 2023-07-04 | 北京印刷学院 | 高光谱图像的超分辨率重建方法和装置 |
| CN113870109A (zh) * | 2021-09-07 | 2021-12-31 | 西安理工大学 | 一种基于光谱反投影残差的逐步式光谱超分辨率方法 |
| CN114998167B (zh) * | 2022-05-16 | 2024-04-05 | 电子科技大学 | 一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107274343A (zh) * | 2017-06-01 | 2017-10-20 | 清华大学 | 一种稀疏框架下基于光谱库的多光谱遥感图像光谱超分辨率方法 |
| CN110852950A (zh) * | 2019-11-08 | 2020-02-28 | 中国科学院微小卫星创新研究院 | 基于稀疏表示和图像融合的高光谱图像超分辨率重建方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10192288B2 (en) * | 2016-12-23 | 2019-01-29 | Signal Processing, Inc. | Method and system for generating high resolution worldview-3 images |
| US10861143B2 (en) * | 2017-09-27 | 2020-12-08 | Korea Advanced Institute Of Science And Technology | Method and apparatus for reconstructing hyperspectral image using artificial intelligence |
-
2020
- 2020-07-15 CN CN202010681637.7A patent/CN111861885B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107274343A (zh) * | 2017-06-01 | 2017-10-20 | 清华大学 | 一种稀疏框架下基于光谱库的多光谱遥感图像光谱超分辨率方法 |
| CN110852950A (zh) * | 2019-11-08 | 2020-02-28 | 中国科学院微小卫星创新研究院 | 基于稀疏表示和图像融合的高光谱图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于向量总变差约束局部光谱解混的高光谱图像超分辨;张少磊;付光远;汪洪桥;赵玉清;;光学精密工程(12);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111861885A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110533620B (zh) | 基于aae提取空间特征的高光谱和全色图像融合方法 | |
| CN111861885B (zh) | 一种用于高光谱超分辨率重建的超像素稀疏表示方法 | |
| CN110555446B (zh) | 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法 | |
| Li et al. | Hyperspectral image super-resolution using deep convolutional neural network | |
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| Han et al. | Self-similarity constrained sparse representation for hyperspectral image super-resolution | |
| CN110363215B (zh) | 基于生成式对抗网络的sar图像转化为光学图像的方法 | |
| CN112819737B (zh) | 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法 | |
| CN107590515B (zh) | 基于熵率超像素分割的自编码器的高光谱图像分类方法 | |
| Huang et al. | Deep hyperspectral image fusion network with iterative spatio-spectral regularization | |
| CN105631807B (zh) | 基于稀疏域选取的单帧图像超分辨重建方法 | |
| Cheng et al. | Zero-shot image super-resolution with depth guided internal degradation learning | |
| Ren et al. | A locally optimized model for hyperspectral and multispectral images fusion | |
| US20130129201A1 (en) | Method for Pan-Sharpening Panchromatic and Multispectral Images Using Wavelet Dictionaries | |
| CN107067367A (zh) | 一种图像超分辨重建处理方法 | |
| CN111127374A (zh) | 一种基于多尺度密集网络的Pan-sharpening方法 | |
| Kato et al. | Multi-frame image super resolution based on sparse coding | |
| CN104657962B (zh) | 基于级联线性回归的图像超分辨重建方法 | |
| CN108921809B (zh) | 整体原则下基于空间频率的多光谱和全色图像融合方法 | |
| CN109886898B (zh) | 基于优化启发的神经网络的光谱成像***的成像方法 | |
| CN111223049B (zh) | 一种基于结构-纹理分解的遥感图像变分融合方法 | |
| CN112733596A (zh) | 一种基于中高空间分辨率遥感影像融合的森林资源变化监测方法及应用 | |
| CN113744136A (zh) | 基于通道约束多特征融合的图像超分辨率重建方法和*** | |
| CN111340697A (zh) | 一种基于聚类回归的图像超分辨方法 | |
| CN112686830A (zh) | 基于图像分解的单一深度图的超分辨率方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |