CN117726916A - 一种图像分辨率融合增强的隐式融合方法 - Google Patents
一种图像分辨率融合增强的隐式融合方法 Download PDFInfo
- Publication number
- CN117726916A CN117726916A CN202410181120.XA CN202410181120A CN117726916A CN 117726916 A CN117726916 A CN 117726916A CN 202410181120 A CN202410181120 A CN 202410181120A CN 117726916 A CN117726916 A CN 117726916A
- Authority
- CN
- China
- Prior art keywords
- fusion
- image
- function
- feature
- spectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 77
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 9
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000003595 spectral effect Effects 0.000 claims abstract description 35
- 238000001228 spectrum Methods 0.000 claims abstract description 27
- 230000001537 neural effect Effects 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 49
- 230000004913 activation Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000005316 response function Methods 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 claims 1
- 238000007499 fusion processing Methods 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 238000013461 design Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 abstract description 2
- 230000003993 interaction Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种图像分辨率融合增强的隐式融合方法,属于设计遥感图像融合领域;本方法采用了编码器‑解码器的网络结构,经过两阶段的精心设计。在第一阶段,通过隐式神经融合函数整合了坐标信息、空间信息和光谱信息。第二阶段则引入了傅里叶单元以提取频谱信息,通过双分支编码器实现了频谱信息和融合信息的有效交互。本发明相较于其他神经网络方法,在图像处理中实现了对图像的连续表示,成功地将空间坐标映射到像素信息上,并在融合过程中充分利用了多种模态信息,取得更优越的融合效果。实验证明,这一方法在两个不同数据集上取得了先进的性能,为其他多模态融合任务提供了一个通用的典范。
Description
技术领域
本发明属于设计遥感图像融合领域,具体涉及一种图像分辨率融合增强的隐式融合方法。
背景技术
高光谱图像(HSI)携带着大量的光谱波段具有丰富的光谱信息,有利于我们更全面地掌握物质在不同波长下的特性,可以有效地描述每个场景点的光谱分布,并提供场景的内在和鉴别性的光谱信息。采集到的密集光谱波段数据能够应用于众多领域,包括物体识别和分割、异常检测、医学图像分析和遥感等,所以在现实生活中的应用越来越多。但由于如今物理成像的内在机制影响,获得的高光谱图像通常空间分辨率较低。而多光谱图像(MSI)的空间分辨率较高,但同时带来的是光谱分辨率的降低。因此,将多光谱图像与高光谱图形进行融合,期望同时获得高光谱图像的高光谱分辨率和多光谱图像的高空间分辨率,越来越受到人们的关注。
高光谱图像融合是一种增强高光谱图像(HSI)空间分辨率的有效且经济的方法,该方法将高光谱图像(HSI)与相同场景的更高空间分辨率多光谱图像(MSI)相结合。多光谱图像提供有限波段的信息,而高光谱图像在更多波段采集光谱信息,融合可以提高信息的丰富度。多光谱图像通常具有较高的空间分辨率,而高光谱图像提供更详细的光谱信息。融合可以实现在高分辨率下获得更丰富的光谱细节。在农业、环境监测等领域,融合任务有助于更准确地识别地物、监测植被、检测环境变化等。对于遥感领域,融合任务有助于更全面地理解地表特征,提高遥感数据在资源管理和环境监测中的应用价值。
尽管现有技术研究在高光谱融合超分辨任务方面取得了显著成果,但不可避免地存在一些问题和缺陷。当前研究已经证明,为高分辨率多光谱图像(HR-MSI)与低分辨率高光谱图像(LR-HSI)设计双分支的融合网络受到图像特征的限制。大多数现有的网络都是基于一个通用的CNN框架,它缺乏对高光谱图像超分辨率融合任务的可解释性,并且大多都基于对图像的显式表示。在当前研究中,我们迫切需要紧密关注科技的快速发展,以寻找新的研究突破口和方法。
发明内容
本发明的目的是提供一种高效、精确的多光谱与高光谱图像融合超分辨方法,提出了基于隐式融合函数的高光谱图像融合超分辨方法,提供更加创新的图像融合任务的解决方案,为该领域应用提供更强大、更合理的技术支持。
为了实现上述目的,本发明的技术方案是:基于隐式融合函数的高光谱图像融合超分辨方法,包括步骤:
步骤1:数据集的获取及处理;获取图像数据集,对数据集里的图像进行预处理,得到低分辨率高光谱图像、高分辨率多光谱图像/>以及对应的真实像素值图像/>,并划分训练数据集与测试数据集;
步骤2:编码及多模态信息生成;
首先低分辨率高光谱图像经过双三次插值得到上采样后的低分辨率高光谱图像/>;
然后将上采样后的低分辨率高光谱图像与高分辨率多光谱图像/>在通道维度拼接在一起,得到拼接特征/>;
将低分辨率高光谱图像与拼接特征/>分别输入光谱编码函数和空间编码函数,计算光谱模态特征/>和空间模态特征/>;
将像素的中心位置表示为像素的坐标点,并将坐标图缩放成大小为2×2的正方形网格,得到高分辨域的归一化二维坐标图,进而获得查询坐标/>和最临近坐标/>的相对位置,得到坐标模态信息/>;
步骤3: 隐式神经图像插值进行第一阶段的融合;将步骤2得到的光谱模态特征、空间模态特征/>和坐标模态特征/>在通道维度进行拼接,利用隐式特征融合函数求得像素的插值像素值/>及相似性权重/>,然后进行相似性特征集成,获得融合特征图/>;
步骤4:解码阶段;将由高分辨率多光谱图像经过一个傅里叶单元获得的频谱响应信息/>与编码输出融合特征图/>同时输入双分支解码器Decoder进行融合,上支以融合特征/>为输入,下支以频谱特征/>为输入,融合过程中上支使用ReLU激活函数激活非线性,下支使用complex Gabor 小波激活函数激活非线性,得到解码阶段的输出/>;
步骤5:得到输出;采用长跳线连接的方式将步骤4得到的输出与上采样后的低分辨率高光谱图像/>逐元素相加,得到融合结果/>;经过训练与测试后,得到最终的融合结果。
本发明的有益效果如下:本发明提出的方法是一种高效的多光谱和高光谱图像融合方法,设计了编码器-解码器的网络结构进行了两阶段的融合,通过隐式神经融合函数在第一阶段融合了坐标信息、空间信息和光谱信息,设计了傅里叶单元提取频谱信息,利用双分支编码器实现第二阶段的频谱信息和融合信息的交互。通过多次融合坐标、空间和频谱数据等多模态信息,验证了该框架对频域信息的有效利用。相对于其他神经网络方法,本发明能够对图像进行连续地表示,实现空间坐标到像素信息的连续映射,并且在融合过程中利用了多种模态信息,以得到更好的融合效果,且隐式图像插值给MHIF任务带来了更合理的解释性。实验证明,本发明方法在两个不同的数据集上达到了最先进的性能,为其他多模态融合任务提供了一个通用的范例。
附图说明
图1是本发明具体实施例的主流程图。
图2是本发明具体实施例步骤2、步骤3的相对坐标示意图。
图3是本发明具体实施例步骤4的傅里叶单元示意图。
图4是本发明具体实施例步骤4的解码器示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。如图1所示,一种图像分辨率融合增强的隐式融合方法,包括以下步骤:
步骤1.图像数据集的获取及处理:从CAVE数据集随机选择20张图像进行训练,数据集其余的11张图像组成测试数据集。从Harvard数据集中选择20张图像,并且靠左上角裁剪1000×1000的部分,其中10张图像用于训练,10张用于测试。
对于CAVE数据集,我们从选定的20张训练图像中裁剪出3920个重叠小块,每个补丁(patch)的尺寸为64 × 64 × 31,并将其作为真实像素值图像(ground-truth,以下简称GT图像)。为生成适当的低分辨率高光谱图像(LR-HSI),使用标准偏差为的3 × 3高斯核对初始的高分辨率多光谱图像进行模糊处理,然后使用数值为/>的比例因子对模糊的块进行下采样,在本实施例中/>为0.5,/>为4。此外,我们利用尼康D7003相机和高分辨率多光谱图像(HR-HSI)的共同光谱响应函数创建了高分辨率多光谱图像补丁。因此,我们从输入对(LR-HSI,HR-MSI)中生成3920个大小为16 × 16 × 31的LR-HSI和大小为64 × 64 ×3的HR-MSI。然后,将输入对和对应GT图像随机分为训练数据(80%)和测试数据(20%)。
上述过程同样适用于Harvard数据集的生成。两个数据集应用上述操作后获得低分辨率高光谱图像和高分辨率多光谱图像/>以及对应的GT图像/>。
步骤2.生成光谱模态特征、空间模态特征/>和坐标模态特征/>:
步骤2.1:首先将低分辨率高光谱图像经过双三次插值得到上采样后的低分辨率高光谱图像(/>),该过程可表示为:/>
其中,为双三次插值上采样函数,/>为低分辨率高光谱图像,其空间大小为/>,且通道数为/>,/>为LR-HSI双三次插值上采样后的图像,其空间大小为/>,且通道数为/>,且/>为高分辨率多光谱图像,其空间大小为,且通道数为s。
将上采样后的低分辨率高光谱图像与高分辨率多光谱图像/>在通道维度拼接在一起,得到拼接特征/>,/>表示为通道维度的拼接,分别将低分辨率高光谱图像/>与拼接特征/>输入光谱编码函数和空间编码函数,计算其光谱模态特征和空间模态特征:/>
式中,为光谱模态特征,其空间大小为/>,通道数为/>;为光谱模态特征,其空间大小为/>,通道数为/>;/>为光谱编码函数,表示为光谱编码函数的可学习参数,同样,/>为空间编码函数,/>表示为空间编码函数的可学习参数,二者都以EDSR编码器网络实现。
步骤2.2:一般地,隐式神经表示使用相对位置坐标,本发明中,/>为高分辨率域地归一化二维坐标图,其空间大小为/>,通道数为2。其用像素的中心位置来表示像素,并将/>的坐标图缩放成大小为/>的正方形网格,使得本发明可以采用一种连续的图像表示方式,在高分辨率(HR)和低分辨率(LR)领域中能够共享相同的坐标。查询的位置坐标为/>,相对位置坐标则表示为:/>
其中,为与查询坐标/>最邻近的坐标,/>为HR中最临近q的四个角像素,在本发明中即为正方形网格中的四个角。在得到相对位置坐标/>后进行位置编码,从而得到坐标模态特征/>:/>
式中,为位置编码函数,L为超参数,本实施例中将L设为10。
将上采样后的低分辨率高光谱图像I LR_up 与高分辨率多光谱图像在通道维度拼接在一起,得到拼接特征/>,/>表示为通道维度的拼接,分别将低分辨率高光谱图像/>与拼接特征Cat(I LR_up ,I HR )输入光谱编码函数和空间编码函数,计算其光谱模态特征和空间模态特征,表示如下:/>;
步骤3.计算插值像素值与相似性权重,利用神经隐式图像插值,进行第一阶段的融合。具体过程如图3所示:步骤3.1:将步骤2中计算的光谱模态特征、空间模态特征和坐标模态特征/>输入到隐式特征融合函数/>,对上述特征进行融合,同时生成相似性权重/>。该过程表示为:/>
其中,V为由函数得到的插值值特征向量,W为插值权重特征向量。在本实施例中,隐式特征融合函数为一个2层全连接层的多层感知机(MLP),/>是它的可学习参数,其整合了插值权重和值的学习。如图2所示,对于查询像素q,其对应坐标/>,对应最临近位置坐标/>,由隐式特征融合函数/>得到对应临近坐标的插值像素值/>以及学习到的相似性权重/>,最后应用softmax函数对相似性权重进行归一化:
步骤3.2:进行神经隐式图像插值,达到特征集成的目的。具体的插值公式为:
其中,为坐标/>位置的融合特征,对于/>与/>,/>即为图像插值后和/>的融合特征图,其空间大小为/>,通道数为/>。
步骤4.在解码阶段,如图3所示,先将作傅里叶变换转换到傅里叶域,利用卷积层在频域捕获频谱特征,再作傅里叶逆变换将频谱特征转换到空间域,获得频谱特征/>;上述过程称作一个傅里叶单元,可表示为:
其中,为一个傅里叶单元。
获得频谱特征后,将其与融合特征图/>共同输入到双分支解码器中,得到最终的解码器输出特征:
其中,为双分支解码器,/>为解码器的可学习参数,该解码器由四层/>的卷积模块,卷积中间穿插ReLU激活函数和Complex Gabor小波激活函数的结构构成,是一个双分支的交互融合解码器。上支以融合特征/>为输入,下支以频谱特征/>为输入,频谱特征与融合特征首先分别进入1×1的卷积层,然后得到的两个特征图进行矩阵乘法作为新的频谱特征,该特征与输入解码器的融合特征在通道维度拼接后作为新的融合特征,得到新的频谱特征和融合特征之后,上支使用ReLU激活函数激活非线性,下支使用complexGabor 小波激活函数,新的两个特征则进入下一轮的卷积层,进行如上述操作4次后,双分支特征相乘后经过最后一个卷积层得到输出特征/>。具体结构见图4。其中ReLU激活函数表示为/>:/>
Complex Gabor小波激活函数为:
其中,均为输入到激活函数的特征,/>控制小波的频率,/>控制小波的宽度。
步骤5:将双分支解码器的输出特征/>与经过双三次插值得到上采样后的=/>作逐元素的加法,得到预期的高光谱融合图像/>:
其中,为双分支解码器decoder的输出,/>为双三次插值上采样后的图像。
本实施例在PyTorch 2.0.1、Python 3.9.15环境下,使用Adam优化器实现训练和测试,在训练过程中,共训练2000个epoch,前1000个epoch训练学习率设为0.0001,后1000个epoch训练学习率设为0.00001,Linux操作***为NVIDIA RTX3090 GPU (24GB)。通过最小化标准L1 loss绝对差的方式进行优化:
其中N为采样像素总数,为任意采样像素的坐标,/>为真实像素值Ground-Truth,/>为预测像素值。在测试中,本实施例查询目标域中所有像素的坐标以恢复完整的上采样融合图像。
在使用训练得到的最优模型对两个数据集进行测试时,本发明采用了四个评价指标,分别是PSNR(峰值信噪比)、SAM(光谱角)、ERGAS(相对整体维数综合误差)和SSIM(结构相似性)。这些指标用于评估模型性能。我们将CAVE数据集和Harvard数据集作四倍超分辨率的融合测试,得到如下结果:CAVE测试集平均PSNR值为52.40dB,平均SAM值为1.925,平均ERGAS值为0.996,平均SSIM值为0.999;Harvard测试集平均PSNR值为49.07dB,平均SAM值为2.093,平均ERGAS值为1.792,平均SSIM值为0.996。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的实施方法,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。
Claims (10)
1.一种图像分辨率融合增强的隐式融合方法,其特征在于,包括以下步骤:
步骤1:数据集的获取及处理;获取图像数据集,对数据集里的图像进行预处理,得到低分辨率高光谱图像I LR 、高分辨率多光谱图像I HR 以及对应的真实像素值图像I GT ,并划分训练数据集与测试数据集;
步骤2:编码及多模态信息生成;
首先低分辨率高光谱图像I LR 经过双三次插值得到上采样后的低分辨率高光谱图像I LR_up ;
然后将上采样后的低分辨率高光谱图像I LR_up 与高分辨率多光谱图像I HR 在通道维度拼接在一起,得到拼接特征Cat(I LR_up , I HR );
将低分辨率高光谱图像I LR 与拼接特征Cat(I LR_up , I HR )分别输入光谱编码函数和空间编码函数,计算光谱模态特征S pe 和空间模态特征S pa ;
将像素的中心位置表示为像素的坐标点,并将坐标图缩放成大小为2×2的正方形网格,得到高分辨域的归一化二维坐标图X HR ,进而获得查询坐标x q 和最临近坐标x q,i 的相对位置,得到坐标模态信息;
步骤3: 隐式神经图像插值进行第一阶段的融合;将步骤2得到的光谱模态特征S pe 、空间模态特征S pa 和坐标模态特征在通道维度进行拼接,利用隐式特征融合函数求得像素的插值像素值v q,i 及相似性权重w q,i ,然后进行相似性特征集成,获得融合特征图/>;
步骤4:解码阶段;将由高分辨率多光谱图像I HR 经过一个傅里叶单元获得的频谱响应信息与编码输出融合特征图/>同时输入双分支解码器Decoder进行融合,上支以融合特征/>为输入,下支以频谱特征/>为输入,融合过程中上支使用ReLU激活函数激活非线性,下支使用complex Gabor 小波激活函数激活非线性,得到解码阶段的输出/>;
步骤5:得到输出;采用长跳线连接的方式将步骤4得到的输出与上采样后的低分辨率高光谱图像I LR_up 逐元素相加,得到融合结果/>;经过训练与测试后,得到最终的融合结果。
2.根据权利要求1所述的一种图像分辨率融合增强的隐式融合方法,其特征在于,在训练过程中,通过最小化标准L1 loss绝对差的方式对融合结果进行优化:;
其中N为采样像素总数,为任意采样像素的坐标,/>为真实像素值,/>为预测像素值。
3.根据权利要求2所述的一种图像分辨率融合增强的隐式融合方法,其特征在于,对数据集里的图像进行预处理的步骤具体如下:
从数据集中的训练图像裁剪出M个重叠小块,每个补丁的尺寸为64 × 64 × 31,并将其作为真实像素值图像I GT ;
使用标准偏差为的高斯核对初始的高分辨率多光谱图像进行模糊处理,然后使用数值为/>的比例因子对模糊的块进行下采样,得到低分辨率高光谱图像I LR ;
使用相机和高分辨率多光谱图像的共同光谱响应函数创建高分辨率多光谱图像补丁,得到高分辨率多光谱图像I HR ;然后将低分辨率高光谱图像I LR 、高分辨率多光谱图像I HR 和对应的真实像素值图像随机分为训练数据和测试数据。
4.根据权利要求3所述的一种图像分辨率融合增强的隐式融合方法,其特征在于,生成光谱模态特征S pe 、空间模态特征S pa 的过程具体如下:
所述低分辨率高光谱图像I LR 经过双三次插值得到上采样后的低分辨率高光谱图像I LR_up 的过程表示为:;其中,/>为双三次插值上采样函数,/>为低分辨率高光谱图像,其空间大小为/>,且通道数为/>,/>为低分辨率高光谱图像双三次插值上采样后的图像,其空间大小为/>,且通道数为/>,且为高分辨率多光谱图像,其空间大小为/>,且通道数为s;
将上采样后的低分辨率高光谱图像I LR_up 与高分辨率多光谱图像在通道维度拼接在一起,得到拼接特征/>,/>表示为通道维度的拼接,分别将低分辨率高光谱图像/>与拼接特征Cat(I LR_up , I HR )输入光谱编码函数和空间编码函数,计算其光谱模态特征和空间模态特征,表示如下:/>;
式中,为光谱模态特征,其空间大小为/>,通道数为/>;/>为光谱模态特征,其空间大小为/>,通道数为/>;/>为光谱编码函数,/>表示为光谱编码函数的可学习参数,/>为空间编码函数,/>表示为空间编码函数的可学习参数。
5.根据权利要求4所述的一种图像分辨率融合增强的隐式融合方法,其特征在于,所述坐标模态信息的生成具体过程如下:
所述高分辨域的归一化二维坐标图空间大小为/>,通道数为2;其用像素的中心位置来表示像素,并将/>的坐标图缩放成大小为/>的正方形网格,采用连续的图像表示方式,在高分辨率和低分辨率领域中能够共享相同的坐标;查询的位置坐标为/>,相对位置坐标则表示为:/>;
其中,为与查询坐标/>最邻近的坐标,/>为HR中最临近q的四个角像素,在本发明中即为正方形网格中的四个角;在得到相对位置坐标/>后进行位置编码,从而得到坐标模态特征/>:/>;
式中,为位置编码函数,L为超参数。
6.根据权利要求5所述的一种图像分辨率融合增强的隐式融合方法,其特征在于,所述步骤3具体如下:
步骤3.1:将光谱模态特征、空间模态特征/>和坐标模态特征/>输入到隐式特征融合函数/>,对上述特征进行融合,同时生成相似性权重/>,该过程表示为:;其中,V为由函数得到的插值值特征向量,W为插值权重特征向量,/>为可学习参数;对于查询像素q,其对应坐标/>,对应最临近位置坐标/>,由隐式特征融合函数/>得到对应临近坐标的插值像素值/>以及学习到的相似性权重,最后应用softmax函数对相似性权重进行归一化:/>;
步骤3.2:进行神经隐式图像插值,具体的插值公式为:
;
其中,为坐标/>位置的融合特征,对于/>与/>,/>即为图像插值后/>和的融合特征图,其空间大小为/>,通道数为/>。
7.根据权利要求6所述的一种图像分辨率融合增强的隐式融合方法,其特征在于,所述经过一个傅里叶单元的过程具体为:先将高分辨率多光谱图像作傅里叶变换转换到傅里叶域,利用卷积层在频域捕获频谱特征,再作傅里叶逆变换将频谱特征转换到空间域,获得频谱特征/>;上述过程称作一个傅里叶单元,表示为:;
其中,为一个傅里叶单元。
8.根据权利要求7所述的一种图像分辨率融合增强的隐式融合方法,其特征在于,所述双分支解码器Decoder由四层的卷积模块,卷积中间穿插ReLU激活函数和ComplexGabor小波激活函数的结构构成,是一个双分支的交互融合解码器;该解码器上支以融合特征/>为输入,下支以频谱特征/>为输入,频谱特征与融合特征首先分别进入1×1的卷积层,然后得到的两个特征图进行矩阵乘法作为新的频谱特征,该特征与输入解码器的融合特征在通道维度拼接后作为新的融合特征,得到新的频谱特征和融合特征之后,上支使用ReLU激活函数激活非线性,下支使用complex Gabor 小波激活函数,新的两个特征则进入下一轮的卷积层,进行如上述操作4次后,双分支特征相乘后经过最后一个卷积层得到输出特征/>,表示如下:/>;
其中,为双分支解码器,/>为解码器的可学习参数;
其中ReLU激活函数表示为:
;
Complex Gabor小波激活函数为:
;
其中,均为输入到激活函数的特征,/>控制小波的频率,/>控制小波的宽度。
9.根据权利要求8所述的一种图像分辨率融合增强的隐式融合方法,其特征在于,所述光谱编码函数和所述空间编码函数都以EDSR编码器网络实现。
10.根据权利要求8所述的一种图像分辨率融合增强的隐式融合方法,其特征在于,所述隐式特征融合函数为2层全连接层的多层感知机。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410181120.XA CN117726916B (zh) | 2024-02-18 | 2024-02-18 | 一种图像分辨率融合增强的隐式融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410181120.XA CN117726916B (zh) | 2024-02-18 | 2024-02-18 | 一种图像分辨率融合增强的隐式融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117726916A true CN117726916A (zh) | 2024-03-19 |
CN117726916B CN117726916B (zh) | 2024-04-19 |
Family
ID=90205693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410181120.XA Active CN117726916B (zh) | 2024-02-18 | 2024-02-18 | 一种图像分辨率融合增强的隐式融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117726916B (zh) |
Citations (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018160963A1 (en) * | 2017-03-02 | 2018-09-07 | Spectral Md, Inc. | Machine learning systems and techniques for multispectral amputation site analysis |
CN110533620A (zh) * | 2019-07-19 | 2019-12-03 | 西安电子科技大学 | 基于aae提取空间特征的高光谱和全色图像融合方法 |
US20200302612A1 (en) * | 2019-03-22 | 2020-09-24 | Nvidia Corporation | Shape fusion for image analysis |
CN112184553A (zh) * | 2020-09-25 | 2021-01-05 | 西北工业大学 | 一种基于深度先验信息的高光谱图像超分辨率方法 |
CN112634137A (zh) * | 2020-12-28 | 2021-04-09 | 西安电子科技大学 | 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法 |
CN113763299A (zh) * | 2021-08-26 | 2021-12-07 | 中国人民解放军军事科学院国防工程研究院工程防护研究所 | 一种全色与多光谱图像融合方法、装置及其应用 |
CN114119444A (zh) * | 2021-11-29 | 2022-03-01 | 武汉大学 | 一种基于深度神经网络的多源遥感图像融合方法 |
WO2022051421A1 (en) * | 2020-09-04 | 2022-03-10 | Nvidia Corporation | Processor and system for automatic fusion of matrix multiplication and reduction operations |
US20220122250A1 (en) * | 2020-10-19 | 2022-04-21 | Northwestern University | Brain feature prediction using geometric deep learning on graph representations of medical image data |
CN114742985A (zh) * | 2022-03-17 | 2022-07-12 | 苏州大学 | 一种高光谱特征提取方法、装置及存储介质 |
CN114782246A (zh) * | 2022-03-19 | 2022-07-22 | 南京理工大学 | 利用非对称注意力与小波子带注入的高光谱超分辨方法 |
CN114862731A (zh) * | 2022-03-29 | 2022-08-05 | 武汉大学 | 低秩先验与空谱信息引导的多-高光谱影像融合方法 |
CN115147321A (zh) * | 2022-07-14 | 2022-10-04 | 武汉大学 | 一种基于可解译神经网络的多光谱图像融合方法 |
CN115512192A (zh) * | 2022-08-16 | 2022-12-23 | 南京审计大学 | 基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法 |
CN115564692A (zh) * | 2022-09-07 | 2023-01-03 | 宁波大学 | 顾及幅宽差异下的全色-多光谱-高光谱一体化融合方法 |
US20230062811A1 (en) * | 2021-08-24 | 2023-03-02 | PAIGE.AI, Inc. | Systems and methods for processing electronic images in forensic pathology |
CN115760814A (zh) * | 2022-11-25 | 2023-03-07 | 山东师范大学 | 一种基于双耦合深度神经网络的遥感图像融合方法及*** |
CN115861076A (zh) * | 2022-12-28 | 2023-03-28 | 江南大学 | 基于矩阵分解网络的无监督高光谱图像超分辨率方法 |
CN116051982A (zh) * | 2022-12-20 | 2023-05-02 | 北京林业大学 | 一种融合多源异构数据的松材线虫病受害木识别深度学习方法 |
US20230154007A1 (en) * | 2021-11-15 | 2023-05-18 | Elekta Limited | Few-shot semantic image segmentation using dynamic convolution |
CN116205830A (zh) * | 2023-02-09 | 2023-06-02 | 武汉大学 | 一种基于有监督、无监督学习相结合的遥感图像融合方法 |
CN116416375A (zh) * | 2023-02-17 | 2023-07-11 | 贵州大学 | 一种基于深度学习的三维重建方法和*** |
CN116433548A (zh) * | 2023-04-14 | 2023-07-14 | 西安电子科技大学 | 一种基于多级信息提取的高光谱与全色图像融合方法 |
CN116468645A (zh) * | 2023-06-20 | 2023-07-21 | 吉林大学 | 一种对抗性高光谱多光谱遥感融合方法 |
WO2023140488A1 (en) * | 2022-01-20 | 2023-07-27 | Samsung Electronics Co., Ltd. | Bandwidth extension and speech enhancement of audio |
CN116740340A (zh) * | 2023-07-11 | 2023-09-12 | 西安电子科技大学 | 基于深度学习的计算光谱成像误差矫正方法 |
CN116883799A (zh) * | 2023-07-11 | 2023-10-13 | 西安电子科技大学 | 成分替换模型引导的高光谱图像深度空间光谱融合方法 |
US20230360180A1 (en) * | 2022-05-04 | 2023-11-09 | Adobe Inc. | Digital image inpainting utilizing a cascaded modulation inpainting neural network |
WO2023219963A1 (en) * | 2022-05-08 | 2023-11-16 | The Medical College Of Wisconsin, Inc. | Deep learning-based enhancement of multispectral magnetic resonance imaging |
US20230368339A1 (en) * | 2022-05-13 | 2023-11-16 | Adobe Inc. | Object class inpainting in digital images utilizing class-specific inpainting neural networks |
CN117197008A (zh) * | 2023-08-15 | 2023-12-08 | 武汉大学 | 一种基于融合校正的遥感图像融合方法和*** |
CN117274759A (zh) * | 2023-09-21 | 2023-12-22 | 大连大学 | 一种基于蒸馏-融合-语义联合驱动的红外与可见光图像融合*** |
CN117474781A (zh) * | 2023-11-06 | 2024-01-30 | 东方通信股份有限公司 | 一种基于注意力机制的高光谱与多光谱图像融合方法 |
CN117557476A (zh) * | 2023-10-12 | 2024-02-13 | 杭州电子科技大学 | 一种基于fctft的图像重建方法及其*** |
-
2024
- 2024-02-18 CN CN202410181120.XA patent/CN117726916B/zh active Active
Patent Citations (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018160963A1 (en) * | 2017-03-02 | 2018-09-07 | Spectral Md, Inc. | Machine learning systems and techniques for multispectral amputation site analysis |
US20200302612A1 (en) * | 2019-03-22 | 2020-09-24 | Nvidia Corporation | Shape fusion for image analysis |
CN110533620A (zh) * | 2019-07-19 | 2019-12-03 | 西安电子科技大学 | 基于aae提取空间特征的高光谱和全色图像融合方法 |
WO2022051421A1 (en) * | 2020-09-04 | 2022-03-10 | Nvidia Corporation | Processor and system for automatic fusion of matrix multiplication and reduction operations |
CN112184553A (zh) * | 2020-09-25 | 2021-01-05 | 西北工业大学 | 一种基于深度先验信息的高光谱图像超分辨率方法 |
US20220122250A1 (en) * | 2020-10-19 | 2022-04-21 | Northwestern University | Brain feature prediction using geometric deep learning on graph representations of medical image data |
CN112634137A (zh) * | 2020-12-28 | 2021-04-09 | 西安电子科技大学 | 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法 |
US20230062811A1 (en) * | 2021-08-24 | 2023-03-02 | PAIGE.AI, Inc. | Systems and methods for processing electronic images in forensic pathology |
CN113763299A (zh) * | 2021-08-26 | 2021-12-07 | 中国人民解放军军事科学院国防工程研究院工程防护研究所 | 一种全色与多光谱图像融合方法、装置及其应用 |
US20230154007A1 (en) * | 2021-11-15 | 2023-05-18 | Elekta Limited | Few-shot semantic image segmentation using dynamic convolution |
CN114119444A (zh) * | 2021-11-29 | 2022-03-01 | 武汉大学 | 一种基于深度神经网络的多源遥感图像融合方法 |
WO2023140488A1 (en) * | 2022-01-20 | 2023-07-27 | Samsung Electronics Co., Ltd. | Bandwidth extension and speech enhancement of audio |
WO2023173884A1 (zh) * | 2022-03-17 | 2023-09-21 | 苏州大学 | 一种高光谱特征提取方法、装置及存储介质 |
CN114742985A (zh) * | 2022-03-17 | 2022-07-12 | 苏州大学 | 一种高光谱特征提取方法、装置及存储介质 |
CN114782246A (zh) * | 2022-03-19 | 2022-07-22 | 南京理工大学 | 利用非对称注意力与小波子带注入的高光谱超分辨方法 |
CN114862731A (zh) * | 2022-03-29 | 2022-08-05 | 武汉大学 | 低秩先验与空谱信息引导的多-高光谱影像融合方法 |
US20230360180A1 (en) * | 2022-05-04 | 2023-11-09 | Adobe Inc. | Digital image inpainting utilizing a cascaded modulation inpainting neural network |
WO2023219963A1 (en) * | 2022-05-08 | 2023-11-16 | The Medical College Of Wisconsin, Inc. | Deep learning-based enhancement of multispectral magnetic resonance imaging |
US20230368339A1 (en) * | 2022-05-13 | 2023-11-16 | Adobe Inc. | Object class inpainting in digital images utilizing class-specific inpainting neural networks |
CN115147321A (zh) * | 2022-07-14 | 2022-10-04 | 武汉大学 | 一种基于可解译神经网络的多光谱图像融合方法 |
CN115512192A (zh) * | 2022-08-16 | 2022-12-23 | 南京审计大学 | 基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法 |
CN115564692A (zh) * | 2022-09-07 | 2023-01-03 | 宁波大学 | 顾及幅宽差异下的全色-多光谱-高光谱一体化融合方法 |
CN115760814A (zh) * | 2022-11-25 | 2023-03-07 | 山东师范大学 | 一种基于双耦合深度神经网络的遥感图像融合方法及*** |
CN116051982A (zh) * | 2022-12-20 | 2023-05-02 | 北京林业大学 | 一种融合多源异构数据的松材线虫病受害木识别深度学习方法 |
CN115861076A (zh) * | 2022-12-28 | 2023-03-28 | 江南大学 | 基于矩阵分解网络的无监督高光谱图像超分辨率方法 |
CN116205830A (zh) * | 2023-02-09 | 2023-06-02 | 武汉大学 | 一种基于有监督、无监督学习相结合的遥感图像融合方法 |
CN116416375A (zh) * | 2023-02-17 | 2023-07-11 | 贵州大学 | 一种基于深度学习的三维重建方法和*** |
CN116433548A (zh) * | 2023-04-14 | 2023-07-14 | 西安电子科技大学 | 一种基于多级信息提取的高光谱与全色图像融合方法 |
CN116468645A (zh) * | 2023-06-20 | 2023-07-21 | 吉林大学 | 一种对抗性高光谱多光谱遥感融合方法 |
CN116883799A (zh) * | 2023-07-11 | 2023-10-13 | 西安电子科技大学 | 成分替换模型引导的高光谱图像深度空间光谱融合方法 |
CN116740340A (zh) * | 2023-07-11 | 2023-09-12 | 西安电子科技大学 | 基于深度学习的计算光谱成像误差矫正方法 |
CN117197008A (zh) * | 2023-08-15 | 2023-12-08 | 武汉大学 | 一种基于融合校正的遥感图像融合方法和*** |
CN117274759A (zh) * | 2023-09-21 | 2023-12-22 | 大连大学 | 一种基于蒸馏-融合-语义联合驱动的红外与可见光图像融合*** |
CN117557476A (zh) * | 2023-10-12 | 2024-02-13 | 杭州电子科技大学 | 一种基于fctft的图像重建方法及其*** |
CN117474781A (zh) * | 2023-11-06 | 2024-01-30 | 东方通信股份有限公司 | 一种基于注意力机制的高光谱与多光谱图像融合方法 |
Non-Patent Citations (3)
Title |
---|
DENG, SHANGQI等: "Implicit Neural Feature Fusion Function for Multispectral and Hyperspectral Image Fusion", 《ARXIV PREPRINT ARXIV:2307.07288》, 29 October 2023 (2023-10-29), pages 1 - 10 * |
FANG, JIAN等: "MIMO-SST: Multi-Input Multi-Output Spatial-Spectral Transformer for Hyperspectral and Multispectral Image Fusion", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》, vol. 62, 2 February 2024 (2024-02-02), pages 1 - 20 * |
方健等: "基于多层小波深度聚合网络的高光谱图像超分辨率方法", 《电子学报》, vol. 52, no. 1, 31 January 2024 (2024-01-31), pages 201 - 216 * |
Also Published As
Publication number | Publication date |
---|---|
CN117726916B (zh) | 2024-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bashir et al. | A comprehensive review of deep learning-based single image super-resolution | |
CN110660038B (zh) | 一种基于生成对抗网络的多光谱图像与全色图像融合方法 | |
Yue et al. | Deep recursive super resolution network with Laplacian Pyramid for better agricultural pest surveillance and detection | |
CN109102469B (zh) | 一种基于卷积神经网络的遥感图像全色锐化方法 | |
CN109727207B (zh) | 基于光谱预测残差卷积神经网络的高光谱图像锐化方法 | |
Li et al. | Deep learning methods in real-time image super-resolution: a survey | |
CN109064396A (zh) | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 | |
Xie et al. | Deep coordinate attention network for single image super‐resolution | |
Xie et al. | Deep convolutional networks with residual learning for accurate spectral-spatial denoising | |
Li et al. | A frequency domain neural network for fast image super-resolution | |
CN116343052B (zh) | 一种基于注意力和多尺度的双时相遥感图像变化检测网络 | |
Wang et al. | Dilated projection correction network based on autoencoder for hyperspectral image super-resolution | |
Li | Image super-resolution using attention based densenet with residual deconvolution | |
Li et al. | Single image super-resolution reconstruction based on fusion of internal and external features | |
Xiong et al. | Gradient boosting for single image super-resolution | |
Liu et al. | Cross-resolution feature attention network for image super-resolution | |
Gao et al. | Single image super-resolution based on multi-scale dense attention network | |
Nasrollahi et al. | Deep artifact-free residual network for single-image super-resolution | |
Catalbas | Modified VDSR-based single image super-resolution using naturalness image quality evaluator | |
Lei et al. | Convolution neural network with edge structure loss for spatiotemporal remote sensing image fusion | |
Ahmadian et al. | Single image super-resolution with self-organization neural networks and image laplace gradient operator | |
Chudasama et al. | E-ProSRNet: An enhanced progressive single image super-resolution approach | |
Liu et al. | Frequency separation-based multi-scale cascading residual block network for image super resolution | |
Cheng et al. | Adaptive feature denoising based deep convolutional network for single image super-resolution | |
CN117726916B (zh) | 一种图像分辨率融合增强的隐式融合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |