CN110555458B - 基于注意力机制生成对抗网络的多波段图像特征级融合方法 - Google Patents

Abstract

本发明涉及图像融合方法，尤其涉及多波段图像融合方法，具体为基于注意力机制生成对抗网络的多波段图像特征级融合方法。本方法按如下步骤进行：设计并构建生成对抗网络，生成器中包含混合注意力机制的特征增强模块，通过生成器和判别器的动态平衡训练得到一个生成模型；本方法实现了多波段图像端到端的神经网络融合，显著提高了融合图像的细节质量。

Description

基于注意力机制生成对抗网络的多波段图像特征级融合方法

技术领域

本发明涉及图像融合方法，尤其涉及多波段图像融合方法，具体为基于注意力机制生成对抗网络的多波段图像特征级融合方法。

背景技术

对同一场景进行多波段同步探测成像是新一代高精度探测***的主要技术特征之一，其目的在于通过图像融合来综合利用不同波段探测信息的互补性，获得对场景更准确全面的认识。研究者普遍认为图像融合可分为像素级、特征级和决策级三个层次，但由于像素级融合便于保留较多的原始信息，所以，近十余年一直是图像融合研究的热点。实际上，一个不容忽视的事实是该层次的融合不仅计算量较大，而且对图像配准精度要求极高，十分不利于模型算法在高精度探测***中的运用。相比之下，特征级图像融合不仅能保留较多的原始信息，而且还能消除部分冗余信息，实现数据压缩，所以，在目标识别、图像分类、目标检测与跟踪等影像数据处理中获得了广泛应用。因此，在大数据背景下探索多波段图像特征级融合尤为必要。

特征级图像融合包括图像特征提取和特征合并两个关键技术。其中，特征提取是数字图像处理的经典难题之一。与传统方法需基于目标特性和成像机制等先验知识进行数学建模不同，深度学习是从大量数据中自主学习特征表示，可以同时获得低层特征以及高层语义特征。随着深度学习的发展，已有研究探索利用神经网络模型提取图像特征用于融合。如文献“基于深度堆叠卷积神经网络的图像融合”(计算机学报Vol.40No.11)通过预先设定高低频滤波器，利用堆叠自动编码器(Stack auto-encoder，SAE)网络成功获得了红外和可见光图像的高频、低频特征图，不过融合图像的清晰度和边缘强度不够理想。随后文献“DenseFuse:A fusion approach to infrared and visible image”(IEEE Transactionon image processing 28(5)2019 2614-2623)基于卷积层和密集块(dense block)的编码结构来提取多源图像特征，通过将dense block中每层卷积都与其后每个卷积序列连接，较好地解决了卷积操作带来的信息损失问题，但融合图像的细节依然不够丰富、清晰。实际上该类问题在传统的多尺度变换图像融合研究中已处理的较好。因此，如何引导神经网络像多尺度变换那样凸显局部区域(如红外热目标和可见光边缘等)是值得深入研究的。

为此，需要一种基于神经网络的特征级融合方法，能够解决多波段融合图像细节不丰富的问题，实现end-to-end的融合方法。

发明内容

本发明为了解决融合图像细节特征不丰富的问题，提出了一种基于注意力机制生成对抗网络的多波段图像特征级融合方法。

本发明是采用如下的技术方案实现的：基于注意力机制生成对抗网络的多波段图像特征级融合方法，包括以下步骤：

设计并构建生成对抗网络:对抗网络结构分为生成器和判别器两个模型，生成器由特征提取与增强模块和特征融合模块构成。

其中特征提取与增强模块以VGG-16网络的前7层卷积、两层池化为主干网络，主干网络作为特征提取器，训练集多波段图像经过主干网络后接着进行全局平均池化和reshape来获得多波段特征图的平均信息量并重置为张量，之后将主干网络提取的多波段特征图和reshape后的特征图进行作差，作差后经过激活函数激活得到多波段图像权重值，多波段特征图和多波段图像权重值点乘后得到注意力图，多波段特征图和注意力图相加构建得到特征增强图像；本发明提出的新颖混合注意力机制将多波段特征图与其对应均值的差值激活作为注意力权重。

特征融合模块将多通道特征增强图利用concate在通道维度上融合；为消除融合后不同波段特征图的分布差异，连接两层卷积和BN将其归一化到同一分布；最后接上采样和三层卷积，恢复原图大小并重构融合图像。

用判别器逼近生成器，不断的将融合图像和真实图像输入到判别器，通过优化生成器和判别器的损失函数，使判别器的损失函数的输出接近0.5，即生成器逐渐生成似真数据，训练得到生成器模型，利用该训练好的生成器模型进行图像融合。

上述的一种基于深度学习的多波段图像特征级融合方法，生成对抗网络的训练集多波段图像包含可见光(400-700nm)、红外短波(700-1000nm)和红外长波(8-14μm)三波段图像。

上述的基于注意力机制生成对抗网络的多波段图像特征级融合方法，生成对抗网络的生成器损失函数为多任务损失。

上述的基于注意力机制生成对抗网络的多波段图像特征级融合方法，判别器采用已训练好的VGG-16网络，并修改其全连接通道数为1024，512，1。

上述的基于注意力机制生成对抗网络的多波段图像特征级融合方法，对抗网络batch大小取值在16-36之间；学习率选用0.0002。

注意力机制能模拟人类视觉，在选择性关注感兴趣区域同时忽略其它可见信息。新近，该机制已被广泛用于自然语言处理、图像处理和语音识别等领域。空间注意力利用具有旋转、缩放功能的图像变换方法将图像信息从原始空间转换到不同图像空间，极大改善了特征提取结果；通道注意力对不同通道赋予不同权重以描述其与关键信息的相关度，达到了抑制背景、凸显目标的目的；结合了空域和通道域注意力机制的混合注意力，通过借鉴残差网络思想，有效扩展网络深度的同时改善了图像分类效果。鉴于注意力机制在以上领域取得的突破性成就，本发明尝试将注意力运用到图像融合领域中，用于改善图像细节特征，并针对具体场景，提出了一种新的混合注意力模型。利用图像与其均值的差值作为权重引导神经网络学习并关注感兴趣区域，从而提高图像中显著特征。

附图说明

图1为网络总体结构图。

图2为特征增强模块结构图。

图3为特征融合模块结构图。

图4为不同波段不同通道注意力图

图5为红外长波图像。

图6为红外短波图像。

图7为可见光图像。

图8为本发明的融合图像。

具体实施方法

一种基于注意力机制生成对抗网络的多波段图像融合方法，包括以下步骤：1、设计并构建特征提取与增强模块

主干网络采用VGG-16网络的前7层卷积、两层池化作为特征提取器。之后连接全局池化层来获得各通道特征图的平均信息量，以反映图像特征的平均水平。全局平均池化后，连接reshape层，将其重置为1×1×C张量，最后通过本发明设计的新颖混合注意力机制得到最终特征增强图。具体如下：

(1)定义网络输入多波段图像为X¹,X²,…,X^k，其中k≥2,这里假设k＝3。X^k∈R^{H ′,W′,C′}，H′,W′,C′分别为输入特征图的高、宽、通道数。主干网络提取特征后得到多波段特征图

其中c∈{1,2,…,C}，U∈R^H,W,C，H＝1/4H′,W＝1/4W′,C＝256，用如下公式表达：

式中，V_c ^k＝{V_c ^k,1,V_c ^k,2,…,V_c ^k,C′}，代表卷积核集合，*表示卷积操作，

为二维空间卷积。

(2)利用全局平均池化获得平均特征值

之后每个通道特征图

与其对应通道均值

(reshape后)相减，能很好反映图像中各通道显著信息如边缘以及目标。作差后，利用sigmoid激活，归一化到[0,1]之间，得到权重值。过程描述如下：

其中，(i,j)为特征图某位置，

为第k个波段图像第c个通道激活后特征图(权重值)；σ为sigmoid激活函数，R_eshape(·)表示reshape重置。

(3)将每个通道特征图

与其对应权重值

相乘得到注意力图，使网络自动选择有效特征，实现特定区域自适应。同时，为增强特征图全局信息量，将获得的注意力图与卷积转换后的通道特征图

相加，保留背景信息的同时增强了细节特征，具体如下所示：

式中，

为第k个波段图像第c个通道的注意力图；F_z(·)为增强函数，·表示点乘。

为第k个波段图像第c个通道的特征增强图，

2、设计并构建特征融合模块

(1)多通道特征增强图

首先利用concate在通道c维度上融合，为消除融合后不同波段特征图的分布差异，利用卷积和BN将其归一化到同一分布，过程描述如下：

N＝f^1×1(f^3×3(M))＝LReLU(W₁*(LReLU(W₀*M)))，式中，M为合并后特征图；F_c(·)表示concate函数。N为归一化特征图；f^3×3，f^1×1分别表示标准3×3、1×1卷积操作，W₀,W₁为对应卷积核大小，W₀∈R^3×3×1024,W₁∈R^1×1×1024，之后均使用非线性激活函数LReLU激活。

(2)N特征图之后连接上采样和卷积，恢复原图大小并重构融合图像，如公式所示：

其中，F表示融合图像，

表示N上采样后特征图，W₂∈R^3×3×512,W₃∈R^3×3×256，W₄∈R^3×3×1。

3、构建生成对抗网络

生成对抗网络由生成器和判别器两部分组成，具体如下：

(1)级联特征提取与增强模块和特征融合模块构成生成器，输出融合图像。

(2)判别器加载预训练的VGG-16网络，并修改全连接层通道数为1024、512、1以降低网络参数。

4、对抗网络训练

利用反向传播训练神经网络，具体如下：

(1)生成器和判别器间隔训练，即先训练一次生成器，再训练一次判别器，然后依次循环，直到两者达到动态平衡；

(2)设计多任务损失函数。通过最大化判别器损失、最小化生成器损失来训练判别器和生成器，判别器损失函数如公式所示：

式中，I^true,I^pred分别表示真实图像和生成的融合图像，

指真实数据期望，

代表生成数据。生成器损失L_G除对抗损失

外，还包括像素级均方误差损失L_mse＝||I^ture-I^pred||₂和结构相似性损失L_ssim＝1-SSIM(I^pred,I^true)。式中：|| ||₂表示L2范数；SSIM(·)表示结构相似性操作。

5、基于注意力机制生成对抗网络的图像融合

(1)将多波段图像数据集分别输入生成器，进行网络特征提取、自适应融合，用判别器逼近生成器，通过优化生成器和判别器的损失函数，使其逐渐生成似真数据，训练得到生成器模型；

(2)将待融合的多波段测试图像输入已训练好的生成模型，得到最终融合图像。

上述的一种基于深度学习的多波段图像特征级融合方法，生成对抗网络的训练集和测试集包含可见光(400-700nm)、红外短波(700-1000nm)和红外长波(8-14μm)三波段等比例混合图像。

上述的一种基于深度学习的多波段图像特征级融合方法，生成器结构由特征提取与增强模块和特征融合模块构成，判别器采用已训练好的VGG-16网络，并修改其全连接通道数为1024，512，1。

上述的一种基于深度学习的多波段图像特征级融合方法，batch大小取值在16-36之间，过小占用较多内存，过大不易收敛；学习率选用0.0002，学习率大小决定网络收敛速度，过大导致网络震荡，收敛不稳定，过小耗费更多时间，影响网络效率，因此选取0.02-0.00002之间。

Claims (5)

1.基于注意力机制生成对抗网络的多波段图像特征级融合方法，其特征在于包括以下步骤：

设计并构建生成对抗网络: 对抗网络结构分为生成器和判别器两个模型，生成器由特征提取与增强模块和特征融合模块构成；

其中特征提取与增强模块以VGG-16网络的前7层卷积、两层池化为主干网络，训练集多波段图像经过主干网络后接着进行全局平均池化和reshape，之后将主干网络提取的多波段特征图和reshape后的特征图进行作差，作差后经过激活函数激活得到多波段图像权重值，多波段特征图和多波段图像权重值点乘后得到注意力图，多波段特征图和注意力图相加构建得到特征增强图像；

特征融合模块将多通道特征增强图利用concate在通道维度上融合；为消除融合后不同波段特征图的分布差异，连接两层卷积和BN将其归一化到同一分布；最后接上采样和三层卷积，恢复原图大小并重构融合图像；

用判别器逼近生成器，不断的将融合图像和真实图像输入到判别器，通过优化生成器和判别器的损失函数，使判别器的损失函数的输出接近0.5，即生成器逐渐生成似真数据，训练得到生成器模型，利用该训练好的生成器模型进行图像融合。

2.根据权利要求1所述的基于注意力机制生成对抗网络的多波段图像特征级融合方法，其特征在于生成器的训练集多波段图像包含可见光、红外短波和红外长波三波段图像。

3.根据权利要求1或2所述的基于注意力机制生成对抗网络的多波段图像特征级融合方法，其特征在于生成对抗网络的生成器损失函数为多任务损失。

4.根据权利要求1或2所述的基于注意力机制生成对抗网络的多波段图像特征级融合方法，其特征在于判别器采用已训练好的VGG-16网络，并修改其全连接通道数为1024，512，1。

5.根据权利要求1或2所述的基于注意力机制生成对抗网络的多波段图像特征级融合方法，其特征在于对抗网络batch大小取值在16-36之间；学习率选用0.0002。

Images