CN117726916B - 一种图像分辨率融合增强的隐式融合方法 - Google Patents

Abstract

本发明提供了一种图像分辨率融合增强的隐式融合方法，属于设计遥感图像融合领域；本方法采用了编码器‑解码器的网络结构，经过两阶段的精心设计。在第一阶段，通过隐式神经融合函数整合了坐标信息、空间信息和光谱信息。第二阶段则引入了傅里叶单元以提取频谱信息，通过双分支编码器实现了频谱信息和融合信息的有效交互。本发明相较于其他神经网络方法，在图像处理中实现了对图像的连续表示，成功地将空间坐标映射到像素信息上，并在融合过程中充分利用了多种模态信息，取得更优越的融合效果。实验证明，这一方法在两个不同数据集上取得了先进的性能，为其他多模态融合任务提供了一个通用的典范。

Description

一种图像分辨率融合增强的隐式融合方法

技术领域

本发明属于设计遥感图像融合领域，具体涉及一种图像分辨率融合增强的隐式融合方法。

背景技术

高光谱图像（HSI）携带着大量的光谱波段具有丰富的光谱信息，有利于我们更全面地掌握物质在不同波长下的特性，可以有效地描述每个场景点的光谱分布，并提供场景的内在和鉴别性的光谱信息。采集到的密集光谱波段数据能够应用于众多领域，包括物体识别和分割、异常检测、医学图像分析和遥感等，所以在现实生活中的应用越来越多。但由于如今物理成像的内在机制影响，获得的高光谱图像通常空间分辨率较低。而多光谱图像（MSI）的空间分辨率较高，但同时带来的是光谱分辨率的降低。因此，将多光谱图像与高光谱图形进行融合，期望同时获得高光谱图像的高光谱分辨率和多光谱图像的高空间分辨率，越来越受到人们的关注。

高光谱图像融合是一种增强高光谱图像（HSI）空间分辨率的有效且经济的方法，该方法将高光谱图像（HSI）与相同场景的更高空间分辨率多光谱图像（MSI）相结合。多光谱图像提供有限波段的信息，而高光谱图像在更多波段采集光谱信息，融合可以提高信息的丰富度。多光谱图像通常具有较高的空间分辨率，而高光谱图像提供更详细的光谱信息。融合可以实现在高分辨率下获得更丰富的光谱细节。在农业、环境监测等领域，融合任务有助于更准确地识别地物、监测植被、检测环境变化等。对于遥感领域，融合任务有助于更全面地理解地表特征，提高遥感数据在资源管理和环境监测中的应用价值。

尽管现有技术研究在高光谱融合超分辨任务方面取得了显著成果，但不可避免地存在一些问题和缺陷。当前研究已经证明，为高分辨率多光谱图像（HR-MSI）与低分辨率高光谱图像（LR-HSI）设计双分支的融合网络受到图像特征的限制。大多数现有的网络都是基于一个通用的CNN框架，它缺乏对高光谱图像超分辨率融合任务的可解释性，并且大多都基于对图像的显式表示。在当前研究中，我们迫切需要紧密关注科技的快速发展，以寻找新的研究突破口和方法。

发明内容

本发明的目的是提供一种高效、精确的多光谱与高光谱图像融合超分辨方法，提出了基于隐式融合函数的高光谱图像融合超分辨方法，提供更加创新的图像融合任务的解决方案，为该领域应用提供更强大、更合理的技术支持。

为了实现上述目的，本发明的技术方案是：基于隐式融合函数的高光谱图像融合超分辨方法，包括步骤：

步骤1：数据集的获取及处理；获取图像数据集，对数据集里的图像进行预处理，得到低分辨率高光谱图像、高分辨率多光谱图像/>以及对应的真实像素值图像/>，并划分训练数据集与测试数据集；

步骤2：编码及多模态信息生成；

首先低分辨率高光谱图像经过双三次插值得到上采样后的低分辨率高光谱图像/>；

然后将上采样后的低分辨率高光谱图像与高分辨率多光谱图像/>在通道维度拼接在一起，得到拼接特征/>；

将低分辨率高光谱图像与拼接特征/>分别输入光谱编码函数和空间编码函数，计算光谱模态特征/>和空间模态特征/>；

将像素的中心位置表示为像素的坐标点，并将坐标图缩放成大小为2×2的正方形网格，得到高分辨域的归一化二维坐标图，进而获得查询坐标/>和最临近坐标/>的相对位置，得到坐标模态信息/>；

步骤3： 隐式神经图像插值进行第一阶段的融合；将步骤2得到的光谱模态特征、空间模态特征/>和坐标模态特征/>在通道维度进行拼接，利用隐式特征融合函数求得像素的插值像素值/>及相似性权重/>，然后进行相似性特征集成，获得融合特征图/>；

步骤4：解码阶段；将由高分辨率多光谱图像经过一个傅里叶单元获得的频谱响应信息/>与编码输出融合特征图/>同时输入双分支解码器Decoder进行融合，上支以融合特征/>为输入，下支以频谱特征/>为输入，融合过程中上支使用ReLU激活函数激活非线性，下支使用complex Gabor 小波激活函数激活非线性，得到解码阶段的输出/>；

步骤5：得到输出；采用长跳线连接的方式将步骤4得到的输出与上采样后的低分辨率高光谱图像/>逐元素相加，得到融合结果/>；经过训练与测试后，得到最终的融合结果。

本发明的有益效果如下：本发明提出的方法是一种高效的多光谱和高光谱图像融合方法，设计了编码器-解码器的网络结构进行了两阶段的融合，通过隐式神经融合函数在第一阶段融合了坐标信息、空间信息和光谱信息，设计了傅里叶单元提取频谱信息，利用双分支编码器实现第二阶段的频谱信息和融合信息的交互。通过多次融合坐标、空间和频谱数据等多模态信息，验证了该框架对频域信息的有效利用。相对于其他神经网络方法，本发明能够对图像进行连续地表示，实现空间坐标到像素信息的连续映射，并且在融合过程中利用了多种模态信息，以得到更好的融合效果，且隐式图像插值给MHIF任务带来了更合理的解释性。实验证明，本发明方法在两个不同的数据集上达到了最先进的性能，为其他多模态融合任务提供了一个通用的范例。

附图说明

图1是本发明具体实施例的主流程图。

图2是本发明具体实施例步骤2、步骤3的相对坐标示意图。

图3是本发明具体实施例步骤4的傅里叶单元示意图。

图4是本发明具体实施例步骤4的解码器示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。如图1所示，一种图像分辨率融合增强的隐式融合方法，包括以下步骤：

步骤1．图像数据集的获取及处理：从CAVE数据集随机选择20张图像进行训练，数据集其余的11张图像组成测试数据集。从Harvard数据集中选择20张图像，并且靠左上角裁剪1000×1000的部分，其中10张图像用于训练，10张用于测试。

对于CAVE数据集，我们从选定的20张训练图像中裁剪出3920个重叠小块，每个补丁（patch）的尺寸为64 × 64 × 31，并将其作为真实像素值图像（ground-truth，以下简称GT图像）。为生成适当的低分辨率高光谱图像（LR-HSI），使用标准偏差为的3 × 3高斯核对初始的高分辨率多光谱图像进行模糊处理，然后使用数值为/>的比例因子对模糊的块进行下采样，在本实施例中/>为0.5，/>为4。此外，我们利用尼康D7003相机和高分辨率多光谱图像（HR-HSI）的共同光谱响应函数创建了高分辨率多光谱图像补丁。因此，我们从输入对（LR-HSI，HR-MSI）中生成3920个大小为16 × 16 × 31的LR-HSI和大小为64 × 64 ×3的HR-MSI。然后，将输入对和对应GT图像随机分为训练数据(80%)和测试数据(20%)。

上述过程同样适用于Harvard数据集的生成。两个数据集应用上述操作后获得低分辨率高光谱图像和高分辨率多光谱图像/>以及对应的GT图像/>。

步骤2．生成光谱模态特征、空间模态特征/>和坐标模态特征/>：

步骤2.1：首先将低分辨率高光谱图像经过双三次插值得到上采样后的低分辨率高光谱图像（/>），该过程可表示为：/>

其中，为双三次插值上采样函数，/>为低分辨率高光谱图像，其空间大小为/>，且通道数为/>，/>为LR-HSI双三次插值上采样后的图像，其空间大小为/>，且通道数为/>，且/>为高分辨率多光谱图像，其空间大小为，且通道数为s。

将上采样后的低分辨率高光谱图像与高分辨率多光谱图像/>在通道维度拼接在一起，得到拼接特征/>，/>表示为通道维度的拼接，分别将低分辨率高光谱图像/>与拼接特征/>输入光谱编码函数和空间编码函数，计算其光谱模态特征和空间模态特征：/>

式中，为光谱模态特征，其空间大小为/>，通道数为/>；为光谱模态特征，其空间大小为/>，通道数为/>；/>为光谱编码函数，表示为光谱编码函数的可学习参数，同样，/>为空间编码函数，/>表示为空间编码函数的可学习参数，二者都以EDSR编码器网络实现。

步骤2.2：一般地，隐式神经表示使用相对位置坐标，本发明中，/>为高分辨率域地归一化二维坐标图，其空间大小为/>，通道数为2。其用像素的中心位置来表示像素，并将/>的坐标图缩放成大小为/>的正方形网格，使得本发明可以采用一种连续的图像表示方式，在高分辨率（HR）和低分辨率（LR）领域中能够共享相同的坐标。查询的位置坐标为/>，相对位置坐标则表示为：/>

其中，为与查询坐标/>最邻近的坐标，/>为HR中最临近q的四个角像素，在本发明中即为正方形网格中的四个角。在得到相对位置坐标/>后进行位置编码，从而得到坐标模态特征/>：/>

式中，为位置编码函数，L为超参数，本实施例中将L设为10。

将上采样后的低分辨率高光谱图像I _{LR_up} 与高分辨率多光谱图像在通道维度拼接在一起，得到拼接特征/>，/>表示为通道维度的拼接，分别将低分辨率高光谱图像/>与拼接特征Cat（I _{LR_up} ,I _HR ）输入光谱编码函数和空间编码函数，计算其光谱模态特征和空间模态特征，表示如下：/>；

步骤3.计算插值像素值与相似性权重，利用神经隐式图像插值，进行第一阶段的融合。具体过程如图3所示：步骤3.1：将步骤2中计算的光谱模态特征、空间模态特征和坐标模态特征/>输入到隐式特征融合函数/>，对上述特征进行融合，同时生成相似性权重/>。该过程表示为：/>

其中，V为由函数得到的插值值特征向量，W为插值权重特征向量。在本实施例中，隐式特征融合函数为一个2层全连接层的多层感知机（MLP），/>是它的可学习参数，其整合了插值权重和值的学习。如图2所示，对于查询像素q，其对应坐标/>，对应最临近位置坐标/>，由隐式特征融合函数/>得到对应临近坐标的插值像素值/>以及学习到的相似性权重/>，最后应用softmax函数对相似性权重进行归一化：

步骤3.2：进行神经隐式图像插值，达到特征集成的目的。具体的插值公式为：

其中，为坐标/>位置的融合特征，对于/>与/>，/>即为图像插值后和/>的融合特征图，其空间大小为/>，通道数为/>。

步骤4．在解码阶段，如图3所示，先将作傅里叶变换转换到傅里叶域，利用卷积层在频域捕获频谱特征，再作傅里叶逆变换将频谱特征转换到空间域，获得频谱特征/>；上述过程称作一个傅里叶单元，可表示为：

其中，为一个傅里叶单元。

获得频谱特征后，将其与融合特征图/>共同输入到双分支解码器中，得到最终的解码器输出特征：

其中，为双分支解码器，/>为解码器的可学习参数，该解码器由四层/>的卷积模块，卷积中间穿插ReLU激活函数和Complex Gabor小波激活函数的结构构成，是一个双分支的交互融合解码器。上支以融合特征/>为输入，下支以频谱特征/>为输入，频谱特征与融合特征首先分别进入1×1的卷积层，然后得到的两个特征图进行矩阵乘法作为新的频谱特征，该特征与输入解码器的融合特征在通道维度拼接后作为新的融合特征，得到新的频谱特征和融合特征之后，上支使用ReLU激活函数激活非线性，下支使用complexGabor 小波激活函数，新的两个特征则进入下一轮的卷积层，进行如上述操作4次后，双分支特征相乘后经过最后一个卷积层得到输出特征/>。具体结构见图4。其中ReLU激活函数表示为/>：/>

Complex Gabor小波激活函数为：

其中，均为输入到激活函数的特征，/>控制小波的频率，/>控制小波的宽度。

步骤5：将双分支解码器的输出特征/>与经过双三次插值得到上采样后的=/>作逐元素的加法，得到预期的高光谱融合图像/>：

其中，为双分支解码器decoder的输出，/>为双三次插值上采样后的图像。

本实施例在PyTorch 2.0.1、Python 3.9.15环境下，使用Adam优化器实现训练和测试，在训练过程中，共训练2000个epoch，前1000个epoch训练学习率设为0.0001，后1000个epoch训练学习率设为0.00001，Linux操作***为NVIDIA RTX3090 GPU (24GB)。通过最小化标准L1 loss绝对差的方式进行优化：

其中N为采样像素总数，为任意采样像素的坐标，/>为真实像素值Ground-Truth，/>为预测像素值。在测试中，本实施例查询目标域中所有像素的坐标以恢复完整的上采样融合图像。

在使用训练得到的最优模型对两个数据集进行测试时，本发明采用了四个评价指标，分别是PSNR（峰值信噪比）、SAM（光谱角）、ERGAS（相对整体维数综合误差）和SSIM（结构相似性）。这些指标用于评估模型性能。我们将CAVE数据集和Harvard数据集作四倍超分辨率的融合测试，得到如下结果：CAVE测试集平均PSNR值为52.40dB，平均SAM值为1.925，平均ERGAS值为0.996，平均SSIM值为0.999；Harvard测试集平均PSNR值为49.07dB，平均SAM值为2.093，平均ERGAS值为1.792，平均SSIM值为0.996。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (6)

1.一种图像分辨率融合增强的隐式融合方法，其特征在于，包括以下步骤：

步骤1：数据集的获取及处理；获取图像数据集，对数据集里的图像进行预处理，得到低分辨率高光谱图像I_LR、高分辨率多光谱图像I_HR以及对应的真实像素值图像I_GT，并划分训练数据集与测试数据集；

步骤2：编码及多模态信息生成；

首先低分辨率高光谱图像I_LR经过双三次插值得到上采样后的低分辨率高光谱图像I_{LR_up}；

然后将上采样后的低分辨率高光谱图像I_{LR_up}与高分辨率多光谱图像I_HR在通道维度拼接在一起，得到拼接特征Cat(I_{LR_up}，I_HR)；

将低分辨率高光谱图像I_LR与拼接特征Cat(I_{LR_up}，I_HR)分别输入光谱编码函数和空间编码函数，计算光谱模态特征S_pe和空间模态特征S_pa；

将像素的中心位置表示为像素的坐标点，并将坐标图缩放成大小为2×2的正方形网格，得到高分辨域的归一化二维坐标图X^HR，进而获得查询坐标x_q和最临近坐标x_q，i的相对位置，得到坐标模态信息PE(δX)；所述坐标模态信息PE(δX)的生成具体过程如下：

所述高分辨域的归一化二维坐标图空间大小为H×W，通道数为2；其用像素的中心位置来表示像素，并将H×W的坐标图缩放成大小为[-1，1]×[-1，1]的正方形网格，采用连续的图像表示方式，在高分辨率和低分辨率领域中能够共享相同的坐标；查询的位置坐标为x_q∈X^HR，相对位置坐标则表示为：

其中，x_q，i为与查询坐标x_q最邻近的坐标，为HR中最临近q的四个角像素，即为正方形网格中的四个角；在得到相对位置坐标δX后进行位置编码，从而得到坐标模态特征PE(δX)：

PE(δX)＝[sin(2⁰δX)，cos(2⁰δX)，...，sin(2^L-1δX)，cos(2^L-1δX)]

式中，PE为位置编码函数，L为超参数；

步骤3：隐式神经图像插值进行第一阶段的融合；将步骤2得到的光谱模态特征S_pe、空间模态特征S_pa和坐标模态特征PE(δX)在通道维度进行拼接，利用隐式特征融合函数求得像素的插值像素值v_q，i及相似性权重w_q，i，然后进行相似性特征集成，获得融合特征图ε；具体步骤如下：

步骤3.1：将光谱模态特征S_pe、空间模态特征S_pa和坐标模态特征PE(δX)输入到隐式特征融合函数f_θ，对上述特征进行融合，同时生成相似性权重w_q，i，该过程表示为：

W，V＝f_θ(S_pe，S_pa，PE(δX))

其中，所述隐式特征融合函数f_θ为2层全连接层的多层感知机，V为由函数得到的插值值特征向量，W为插值权重特征向量，θ为可学习参数；对于查询像素q，其对应坐标x_q∈X^HR，对应最临近位置坐标x_q，i，由隐式特征融合函数f_θ得到对应临近坐标的插值像素值v_q，i∈V以及学习到的相似性权重w_q，i∈W，最后应用softmax函数对相似性权重进行归一化：

步骤3.2：进行神经隐式图像插值，具体的插值公式为：

其中，ε_q为坐标x_q位置的融合特征，对于I_LR与I_HR，即为图像插值后I_LR和I_HR的融合特征图，其空间大小为H×W，通道数为S；

步骤4：解码阶段；将由高分辨率多光谱图像I_HR经过一个傅里叶单元获得的频谱响应信息、与编码输出融合特征图ε同时输入双分支解码器Decoder进行融合，得到解码阶段的输出I_fusion；所述双分支解码器Decoder由四层1×1的卷积模块，卷积中间穿插ReLU激活函数和Complex Gabor小波激活函数的结构构成，是一个双分支的交互融合解码器；该解码器上支以融合特征/>为输入，下支以频谱特征/>为输入，频谱特征与融合特征首先分别进入1×1的卷积层，然后得到的两个特征图进行矩阵乘法作为新的频谱特征，该特征与输入解码器的融合特征在通道维度拼接后作为新的融合特征，得到新的频谱特征和融合特征之后，上支使用ReLU激活函数激活非线性，下支使用complex Gabor小波激活函数，新的两个特征则进入下一轮的卷积层，进行如上述操作4次后，双分支特征相乘后经过最后一个卷积层得到输出特征I_fusion，表示如下：

其中，为双分支解码器，/>为解码器的可学习参数；

其中ReLU激活函数表示为σ_ReLU：

σ_ReLU(x)＝max(0，x)

Complex Gabor小波激活函数为σ_Gabor：

其中，x均为输入到激活函数的特征，ω₀控制小波的频率，s₀控制小波的宽度；

步骤5：得到输出；采用长跳线连接的方式将步骤4得到的输出I_fusion与上采样后的低分辨率高光谱图像I_{LR_up}逐元素相加，得到融合结果经过训练与测试后，得到最终的融合结果。

2.根据权利要求1所述的一种图像分辨率融合增强的隐式融合方法，其特征在于，在训练过程中，通过最小化标准L1 loss绝对差的方式对融合结果进行优化：

其中N为采样像素总数，x_i为任意采样像素的坐标，I_GT(x_i)为真实像素值，为预测像素值。

3.根据权利要求2所述的一种图像分辨率融合增强的隐式融合方法，其特征在于，对数据集里的图像进行预处理的步骤具体如下：

从数据集中的训练图像裁剪出M个重叠小块，每个补丁的尺寸为64×64×31，并将其作为真实像素值图像I_GT；

使用标准偏差为σ的高斯核对初始的高分辨率多光谱图像进行模糊处理，然后使用数值为τ的比例因子对模糊的块进行下采样，得到低分辨率高光谱图像I_LR；

使用相机和高分辨率多光谱图像的共同光谱响应函数创建高分辨率多光谱图像补丁，得到高分辨率多光谱图像I_HR；然后将低分辨率高光谱图像I_LR、高分辨率多光谱图像I_HR和对应的真实像素值图像随机分为训练数据和测试数据。

4.根据权利要求3所述的一种图像分辨率融合增强的隐式融合方法，其特征在于，生成光谱模态特征S_pe、空间模态特征S_pa的过程具体如下：

所述将低分辨率高光谱图像I_LR经过双三次插值得到上采样后的低分辨率高光谱图像I_{LR_up}的过程表示为：

I_{LR_up}＝f_BI(I_LR)

其中，f_BI(·)为双三次插值上采样函数，为低分辨率高光谱图像，其空间大小为h×w，且通道数为S，/>为低分辨率高光谱图像双三次插值上采样后的图像，其空间大小为H×W，且通道数为S，且/>为高分辨率多光谱图像，其空间大小为H×W，且通道数为s；

将上采样后的低分辨率高光谱图像I_{LR_up}与高分辨率多光谱图像I_HR在通道维度拼接在一起，得到拼接特征Cat(·)表示为通道维度的拼接，分别将低分辨率高光谱图像I_LR与拼接特征Cat(I_{LR_up}，I_HR)输入光谱编码函数和空间编码函数，计算其光谱模态特征和空间模态特征，表示如下：

式中，为光谱模态特征，其空间大小为h×w，通道数为D；/>为光谱模态特征，其空间大小为H×W，通道数为D；E_φ为光谱编码函数，φ表示为光谱编码函数的可学习参数，E_ψ为空间编码函数，ψ表示为空间编码函数的可学习参数。

5.根据权利要求4所述的一种图像分辨率融合增强的隐式融合方法，其特征在于，所述经过一个傅里叶单元的过程具体为：先将作傅里叶变换转换到傅里叶域，利用卷积层在频域捕获频谱特征，再作傅里叶逆变换将频谱特征转换到空间域，获得频谱特征/>上述过程称作一个傅里叶单元，表示为：

其中，FU(·)为一个傅里叶单元。

6.根据权利要求5所述的一种图像分辨率融合增强的隐式融合方法，其特征在于，所述光谱编码函数和所述空间编码函数都以EDSR编码器网络实现。