CN115690578A - 一种图像融合方法和目标识别方法及装置 - Google Patents

Abstract

本发明公开了一种图像融合方法和目标识别方法及装置，涉及图像处理领域。为解决现有技术难以将可见光图像和红外图像进行融合的问题而发明。包括：S10、获取待融合的可见光图像和红外图像；S20、将所述红外图像复制为三个通道的复制图像；S30、根据预先训练的卷积神经网络模型对所述可见光图像进行处理，将所述预先训练的卷积神经网络模型的第一卷积模块输出的中间数据作为至少一个可见光特征；S40、根据所述预先训练的卷积神经网络模型对所述复制图像进行处理，将所述预先训练的卷积神经网络模型的第二卷积模块输出的中间数据作为至少一个红外特征；S50、基于所述至少一个可见光特征和至少一个红外特征进行图像融合，得到融合图像。

Description

一种图像融合方法和目标识别方法及装置

技术领域

本发明涉及图像处理领域，更具体地，涉及一种图像融合方法和目标识别方法及装置。

背景技术

在图像处理领域，可见光图像的分辨率较高，可以直观的展示目标的细节信息，例如目标的纹理图案、边缘轮廓以及颜色等；但是，可见光图像的质量容易受到环境影响，如夜间或者极端天气条件下成像效果较差，且对光照变化敏感，易过渡曝光或者欠曝光。而基于红外热成像技术生成的红外图像虽然图像细节信息较少，分辨率较低，但是红外图像的获取受环境的影响较小，在夜晚、雾天等极端天气条件下也能清晰成像。

如果能将可见光图像和红外图像进行融合，就能够得到受环境影响更小、细节更丰富的图像。因此，如何将可见光图像和红外图像进行融合是一个亟待解决的问题。

发明内容

本发明的目的在于提供一种图像融合方法和目标识别方法及装置，能够将可见光图像和红外图像进行融合。

一方面，本发明实施例提供一种图像融合方法，包括：S10、获取待融合的可见光图像和红外图像，所述可见光图像和红外图像为同一场景下拍摄的图像；

S20、将所述红外图像复制为三个通道的复制图像，所述复制图像的三个通道上的数据相同，均为所述红外图像对应的数据；S30、根据预先训练的卷积神经网络模型对所述可见光图像进行处理，将所述预先训练的卷积神经网络模型的第一卷积模块输出的中间数据作为至少一个可见光特征；该第一卷积模块的层数是预先设置的，其个数为一个或多个；S40、根据所述预先训练的卷积神经网络模型对所述复制图像进行处理，将所述预先训练的卷积神经网络模型的第二卷积模块输出的中间数据作为至少一个红外特征；该第二卷积模块的层数是预先设置的，其个数为一个或多个；第二卷积模块与第一卷积模块的层数不同；S50、基于所述至少一个可见光特征和至少一个红外特征进行图像融合，得到融合图像。

又一方面，本发明实施例提供一种目标识别方法，包括：根据图像融合方法对待识别目标对应的可见光图像和红外图像进行图像融合，得到待识别目标的融合图像；基于所述待识别目标的融合图像进行目标识别。

再一方面，本发明实施例提供一种图像融合装置，包括：

图像获取模块，获取待融合的可见光图像和红外图像，所述可见光图像和红外图像为同一场景下拍摄的图像；

图像复制模块，与所述图像获取模块相连，用于将所述红外图像复制为三个通道的复制图像，所述复制图像的三个通道上的数据相同，均为所述红外图像对应的数据；

第一处理模块，与所述图像获取模块相连，用于根据预先训练的卷积神经网络模型对所述可见光图像进行处理，将所述预先训练的卷积神经网络模型的第一卷积模块输出的中间数据作为至少一个可见光特征；该第一卷积模块的层数是预先设置的，其个数为一个或多个；

第二处理模块，与所述图像复制模块相连，用于根据所述预先训练的卷积神经网络模型对所述复制图像进行处理，将所述预先训练的卷积神经网络模型的第二卷积模块输出的中间数据作为至少一个红外特征；该第二卷积模块的层数是预先设置的，其个数为一个或多个；第二卷积模块与第一卷积模块的层数不同；

图像融合模块，分别与所述第一处理模块和所述第二处理模块相连，用于基于所述至少一个可见光特征和至少一个红外特征进行图像融合，得到融合图像。

另一方面，本发明实施例提供一种目标识别装置，包括：

目标图像获取模块，用于使用图像融合装置对待识别目标对应的可见光图像和红外图像进行图像融合，得到待识别目标的融合图像；

目标识别模块，与所述目标图像获取模块相连，用于基于所述待识别目标的融合图像进行目标识别。

本发明具有如下有益效果：获取同一场景下拍摄的可见光图像和红外图像，将红外图像复制为三个通道的复制图像后，分别根据预先训练的卷积神经网络模型进行处理，得到可见光特征和红外特征后，基于可见光特征和红外特征进行图像融合即可得到融合图像。由于可见光特征和红外特征为卷积神经网络模型的第一和第二卷积模块输出的中间数据，而卷积神经网络模型不同卷积模块输出的特征层次不同，因此本发明实施例提供的技术方案能够实现红外图像和可见光图像跨层融合及高效互补利用，从而提高融合图像的表示能力，进而提高目标识别的准确率。

附图说明

图1是本发明实施例1提供的图像融合方法的流程图一；

图2是本发明实施例1提供的图像融合方法的流程图二；

图3是本发明实施例2提供的图像融合方法的流程图一；

图4是本发明实施例2提供的图像融合方法的流程图二；

图5是本发明实施例3提供的目标识别方法的流程图；

图6是本发明实施例4提供的图像融合装置的结构示意图一；

图7是本发明实施例4提供的图像融合装置的结构示意图二；

图8是本发明实施例4提供的图像融合装置的结构示意图三；

图9是本发明实施例4提供的图像融合装置的结构示意图四；

图10是图6所示的图像融合装置中图像融合模块的结构示意图；

图11是本发明实施例5提供的目标识别装置的结构示意图。

具体实施方式

下面结合实施例及附图对本发明的技术方案作进一步阐述。

实施例1

如图1所示，本发明实施例提供一种图像融合方法，包括：

步骤101，获取待融合的可见光图像和红外图像。

在本实施例中，步骤101中可见光图像和红外图像为同一场景下拍摄的图像，即在同一场景下分别通过红外摄像头和可见光摄像头拍摄的图像。

步骤102，将红外图像复制为三个通道的复制图像。

在本实施例中，由于可见光图像为红黄蓝(Red、Green、Blue，RGB)三通道图像，而红外图像为单通道图像，为了便于两个图像进行融合，可以通过步骤102将红外图像进行复制，该复制图像的三个通道上的数据相同，均为红外图像对应的数据。

步骤103，根据预先训练的卷积神经网络模型对可见光图像进行处理，将预先训练的卷积神经网络模型的第一卷积模块输出的中间数据作为至少一个可见光特征。

在本实施例中，步骤103根据预先训练的第一卷积神经网络模型对可见光图像进行处理之前，还可以首先将可见光图像转换为预设尺寸的第一图像，然后通过步骤103根据预先训练的卷积神经网络模型对第一图像进行处理。步骤103中第一卷积模块的层数是预先设置的，其个数为一个或多个。

步骤104，根据预先训练的卷积神经网络模型对复制图像进行处理，将预先训练的卷积神经网络模型的第二卷积模块输出的中间数据作为至少一个红外特征。

在本实施例中，步骤104根据预先训练的卷积神经网络模型对复制图像进行处理之前，还可以首先将复制图像转换为预设尺寸的第二图像，然后通过步骤104根据预先训练的卷积神经网络模型对第二图像进行处理。步骤104中第二卷积模块的层数是预先设置的，其个数为一个或多个；第二卷积模块与第一卷积模块的层数不同。

由于将第一/二卷积模块输出的中间数据作为至少一个可见光/红外特征，因此本实施例中使用的卷积神经网络模型具体可以为只包括卷积模块和池化模块的卷积神经网络模型。

步骤105，基于至少一个可见光特征和至少一个红外特征进行图像融合，得到融合图像。

在本实施例中，通过步骤105进行图像融合的过程可以包括：将至少一个可见光特征和至少一个红外特征转换为相同尺寸；基于转换后的至少一个可见光特征和至少一个红外特征进行图像融合，得到融合图像。

其中，可以以某一个特征的尺寸作为基准尺寸，将出该特征之外的所有可见光特征和红外特征的尺寸均转换为基准尺寸；也可以任意设置一个标准尺寸，将所有可见光特征和红外特征的尺寸均转换为标准尺寸，在此不再一一赘述。具体的转换方式可以为下采样、反卷积等，在此不作限制。

进行图像融合的具体方式可以为加性融合、最大融合等；特别的，为了完整的保留所有输入特征的元素，有效利用互补特征增强融合图像的细节信息，该图像融合还可以采用级联平均融合。

进一步的，如图2所示，本实施例提供的图像融合方法，在步骤103之前还包括：

步骤106，对初始卷积神经网络模型进行训练，得到预先训练的卷积神经网络模型。

在本实施例中，通过步骤106进行训练的具体过程可以包括：获取多个测试图像对和每个测试图像对对应的类别标签，每个测试图像对由测试可见光图像和同一场景下拍摄的测试红外图像组成；分别将每个测试红外图像复制为三个通道的测试复制图像，测试复制图像的三个通道上的数据相同，均为测试红外图像对应的数据；对于任一测试图像对，根据当前初始卷积神经网络模型对该测试图像对中的测试可见光图像进行处理，将当前初始卷积神经网络模型的第一卷积模块输出的中间数据作为至少一个测试可见光特征；根据当前初始卷积神经网络模型对该测试图像对中的测试复制图像进行处理，将当前初始卷积神经网络模型的第二卷积模块输出的中间数据作为至少一个测试红外特征；分别将每个测试图像对对应的至少一个测试可见光特征和至少一个测试红外特征进行图像融合，得到多个测试融合图像；分别对每个测试融合图像进行全连接和softmax分类处理，得到每个测试图像对对应的训练类别；根据每个测试图像对对应的类别标签和训练类别，判断分类准确率是否大于预设分类阈值；如果不大于，根据每个测试图像对对应的类别标签和训练类别，更新当前初始卷积神经网络模型后执行测试可见光图像处理过程；如果大于，将分类准确率大于预设分类阈值时使用的当前初始卷积神经网络模型作为预先训练的卷积神经网络模型。

其中，多个测试图像对可以通过公开数据集获取；如果获取的测试图像对较少，为提高分类准确率，还可以首先对测试图像对进行图像增广，然后通过上述过程对增广后的图像进行训练；具体的增广方式包括翻转、选装、添加噪声等方式中的一种或多种，在此不作限制。特别的，在进行图像增广时，可以按类别增广，使各类别图像数量尽可能平衡。

在本实施例中，步骤106可以在步骤102和步骤103之间，如图2所示；步骤106还可以在步骤101和步骤102之间或者步骤101之前，在此不作限制。

在本实施例中，预先训练的卷积神经网络模型的网络结构可以为LeNet5网络、AlexNet网络、VGG网络、GoogleNet网络、ResNets等；以VGG16网络为例，此时第一卷积模块为第三层和第五层卷积模块；第二卷积模块为第四层卷积模块。

本发明具有如下有益效果：获取同一场景下拍摄的可见光图像和红外图像，将红外图像复制为三个通道的复制图像后，分别根据预先训练的卷积神经网络模型进行处理，得到可见光特征和红外特征后，基于可见光特征和红外特征进行图像融合即可得到融合图像。由于可见光特征和红外特征为卷积神经网络模型的第一和第二卷积模块输出的中间数据，而卷积神经网络模型不同卷积模块输出的特征层次不同，因此本发明实施例提供的技术方案能够实现红外图像和可见光图像跨层融合及高效互补利用，从而提高融合图像的表示能力，进而提高目标识别的准确率。

实施例2

如图3所示，本发明实施例提供一种图像融合方法，包括：

步骤301至步骤304，获取待融合的可见光图像和红外图像，将红外图像复制为复制图像，对可见光图像和复制图像进行处理，获取可见光特征和红外特征。具体过程与图1所示的步骤101至步骤104相似，在此不再一一赘述。

步骤305，根据预先训练的SENet模型分别对至少一个可见光特征和至少一个红外特征进行处理，得到至少一个可见光特征对应的至少一个可见注意力特征和至少一个红外特征对应的至少一个红外注意力特征。

在本实施例中，为了进一步提高融合图像的表示能力，从而进一步提高目标识别的准确率，在通过步骤303和步骤304得到至少一个可见光特征和红外特征后引入注意力机制，通过预先训练的SENet模型对至少一个可见光特征和红外特征进行进一步处理，以获取更加有效的特征表示。

步骤306，基于至少一个可见注意力特征和至少一个红外注意力特征进行图像融合，得到融合图像。

在本实施例中，步骤306进行图像融合的过程，与图1所示的步骤105相似，在此不再一一赘述。

进一步的，如图4所示，在步骤303之前，还可以包括：

步骤307，对初始卷积神经网络模型和初始SENet模型进行训练，得到预先训练的卷积神经网络模型和预先训练的SENet模型。

在本实施例中，通过步骤307进行训练的具体过程可以包括：获获取多个测试图像对和每个测试图像对对应的类别标签，每个测试图像对由测试可见光图像和同一场景下拍摄的测试红外图像组成；分别将每个测试红外图像复制为三个通道的测试复制图像，测试复制图像的三个通道上的数据相同，均为测试红外图像对应的数据；对于任一测试图像对，根据当前初始卷积神经网络模型对该测试图像对中的测试可见光图像进行处理，将当前初始卷积神经网络模型的第一卷积模块输出的中间数据作为至少一个测试可见光特征；根据当前初始卷积神经网络模型对该测试图像对中的测试复制图像进行处理，将当前初始卷积神经网络模型的第二卷积模块输出的中间数据作为至少一个测试红外特征；根据当前初始SENet模型分别对至少一个测试可见光特征和至少一个测试红外特征进行处理，得到至少一个测试可见光特征对应的至少一个测试可见注意力特征和至少一个测试红外特征对应的至少一个测试红外注意力特征；分别将每个测试图像对对应的至少一个测试可见注意力特征和至少一个测试红外注意力特征进行图像融合，得到多个测试注意力融合图像；分别对每个测试注意力融合图像进行全连接和softmax分类处理，得到每个测试图像对对应的训练类别；根据每个测试图像对对应的类别标签和训练类别，判断分类准确率是否大于预设分类阈值；如果不大于，根据每个测试图像对对应的类别标签和训练类别，更新当前初始卷积神经网络模型和当前初始SENet模型后执行测试可见光图像处理过程；如果大于，将分类准确率大于预设分类阈值时使用的当前初始卷积神经网络模型作为预先训练的卷积神经网络模型，将分类准确率大于预设分类阈值时使用的当前初始SENet模型作为预先训练的SENet模型。

本发明具有如下有益效果：获取同一场景下拍摄的可见光图像和红外图像，将红外图像复制为三个通道的复制图像后，分别根据预先训练的卷积神经网络模型进行处理，得到可见光特征和红外特征后，基于可见光特征和红外特征进行图像融合即可得到融合图像。由于可见光特征和红外特征为卷积神经网络模型的第一和第二卷积模块输出的中间数据，而卷积神经网络模型不同卷积模块输出的特征层次不同，因此本发明实施例提供的技术方案能够实现红外图像和可见光图像跨层融合及高效互补利用，从而提高融合图像的表示能力，进而提高目标识别的准确率。

实施例3

如图5所示，本发明实施例提供一种目标识别方法，包括：

步骤501，根据图像融合方法对待识别目标对应的可见光图像和红外图像进行图像融合，得到待识别目标的融合图像。

步骤502，基于待识别目标的融合图像进行目标识别。

在本实施例中，通过步骤502进行目标识别的具体过程可以为将融合图像进行全连接和softmax处理，确定对应的目标；也可以根据预先训练的分类模型对融合图像进行处理，确定对应的目标，在此不再一一赘述。

本发明具有如下有益效果：获取待识别目标对应的可见光图像和红外图像，将红外图像复制为三个通道的复制图像后，分别根据预先训练的卷积神经网络模型进行处理，得到可见光特征和红外特征后，基于可见光特征和红外特征进行图像融合即可得到融合图像，并基于融合图像进行目标识别。由于可见光特征和红外特征为卷积神经网络模型的第一和第二卷积模块输出的中间数据，而卷积神经网络模型不同卷积模块输出的特征层次不同，因此本发明实施例提供的技术方案能够实现红外图像和可见光图像跨层融合及高效互补利用，从而提高融合图像的表示能力，进而提高目标识别的准确率。

实施例4

如图6所示，本发明实施例提供一种图像融合装置，包括：

图像获取模块601，获取待融合的可见光图像和红外图像，可见光图像和红外图像为同一场景下拍摄的图像；

图像复制模块602，与图像获取模块相连，用于将红外图像复制为三个通道的复制图像，复制图像的三个通道上的数据相同，均为红外图像对应的数据；

第一处理模块603，与图像获取模块相连，用于根据预先训练的卷积神经网络模型对可见光图像进行处理，将预先训练的卷积神经网络模型的第一卷积模块输出的中间数据作为至少一个可见光特征；该第一卷积模块的层数是预先设置的，其个数为一个或多个；

第二处理模块604，与图像复制模块相连，用于根据预先训练的卷积神经网络模型对复制图像进行处理，将预先训练的卷积神经网络模型的第二卷积模块输出的中间数据作为至少一个红外特征；该第二卷积模块的层数是预先设置的，其个数为一个或多个；第二卷积模块与第一卷积模块的层数不同；

图像融合模块605，分别与第一处理模块和第二处理模块相连，用于基于至少一个可见光特征和至少一个红外特征进行图像融合，得到融合图像。

在本实施例中，通过上述模块实现图像融合的过程，与本发明实施例1提供的相似，在此不再一一赘述。

进一步的，如图7所示，本实施例提供的图像融合装置，还包括：

第一训练模块606，分别与第一处理模块和第二处理模块相连，用于初始卷积神经网络模型进行训练，得到预先训练的卷积神经网络模型；

第一训练模块，包括：

测试获取子模块，用于获取多个测试图像对和每个测试图像对对应的类别标签，每个测试图像对由测试可见光图像和同一场景下拍摄的测试红外图像组成；

测试复制子模块，与测试获取子模块相连，用于分别将每个测试红外图像复制为三个通道的测试复制图像，测试复制图像的三个通道上的数据相同，均为测试红外图像对应的数据；

第一测试处理子模块，与测试获取子模块相连，用于对于任一测试图像对，根据当前初始卷积神经网络模型对该测试图像对中的测试可见光图像进行处理，将当前初始卷积神经网络模型的第一卷积模块输出的中间数据作为至少一个测试可见光特征；

第二测试处理子模块，与测试复制子模块相连，用于根据当前初始卷积神经网络模型对该测试图像对中的测试复制图像进行处理，将当前初始卷积神经网络模型的第二卷积模块输出的中间数据作为至少一个测试红外特征；

第一测试融合子模块，分别与第一测试处理子模块和第二测试处理子模块相连，用于分别将每个测试图像对对应的至少一个测试可见光特征和至少一个测试红外特征进行图像融合，得到多个测试融合图像；

第一测试分类子模块，与第一测试融合子模块相连，用于分别对每个测试融合图像进行全连接和softmax分类处理，得到每个测试图像对对应的训练类别；

第一测试判断子模块，与第一测试分类子模块相连，用于根据每个测试图像对对应的类别标签和训练类别，判断分类准确率是否大于预设分类阈值；

第一测试更新子模块，分别与第一测试判断子模块和第一测试处理子模块相连，用于分类准确率不大于预设分类阈值时，根据每个测试图像对对应的类别标签和训练类别，更新当前初始卷积神经网络模型后执行第一测试处理子模块；

第一模型获取子模块，与第一测试判断子模块相连，用于分类准确率大于预设分类阈值时，将分类准确率大于预设分类阈值时使用的当前初始卷积神经网络模型作为预先训练的卷积神经网络模型。

在本实施例中，图像融合装置还包括第一训练模块时，图像融合过程与本发明实施例1提供的相似，在此不再一一赘述。

进一步的，如图8所示，本实施例提供的图像融合装置，还包括：

注意力处理模块607，分别与第一处理模块和第二处理模块相连，用于根据预先训练的SENet模型分别对至少一个可见光特征和至少一个红外特征进行处理，得到至少一个可见光特征对应的至少一个可见注意力特征和至少一个红外特征对应的至少一个红外注意力特征；

图像融合模块，还与注意力处理模块相连，具体用于基于至少一个可见注意力特征和至少一个红外注意力特征进行图像融合，得到融合图像。

在本实施例中，图像融合装置还包括注意力处理模块时，实现图像融合过程，与本发明实施例2提供的相似，在此不再一一赘述。

此时，如图9所示，本实施例提供的图像融合装置，还包括：

第二训练模块608，分别与第一处理模块、第二处理模块和注意力处理模块相连，用于对初始卷积神经网络模型和初始SENet模型进行训练，得到预先训练的卷积神经网络模型和预先训练的SENet模型；

第二训练模块，包括：

测试获取子模块，用于获取多个测试图像对和每个测试图像对对应的类别标签，每个测试图像对由测试可见光图像和同一场景下拍摄的测试红外图像组成；

测试复制子模块，与测试获取子模块相连，用于分别将每个测试红外图像复制为三个通道的测试复制图像，测试复制图像的三个通道上的数据相同，均为测试红外图像对应的数据；

第一测试处理子模块，与测试获取子模块相连，用于对于任一测试图像对，根据当前初始卷积神经网络模型对该测试图像对中的测试可见光图像进行处理，将当前初始卷积神经网络模型的第一卷积模块输出的中间数据作为至少一个测试可见光特征；

第二测试处理子模块，与测试复制子模块相连，用于根据当前初始卷积神经网络模型对该测试图像对中的测试复制图像进行处理，将当前初始卷积神经网络模型的第二卷积模块输出的中间数据作为至少一个测试红外特征；

注意力处理子模块，分别与第一测试处理子模块和第二测试处理子模块相连，用于根据当前初始SENet模型分别对至少一个测试可见光特征和至少一个测试红外特征进行处理，得到至少一个测试可见光特征对应的至少一个测试可见注意力特征和至少一个测试红外特征对应的至少一个测试红外注意力特征；

第二测试融合子模块，与注意力处理子模块相连，用于分别将每个测试图像对对应的至少一个测试可见光特征和至少一个测试红外特征进行图像融合，得到多个测试融合图像；

第二测试分类子模块，与第二测试融合子模块相连，用于分别对每个测试融合图像进行全连接和softmax分类处理，得到每个测试图像对对应的训练类别；

第二测试判断子模块，与第二测试分类子模块相连，用于根据每个测试图像对对应的类别标签和训练类别，判断分类准确率是否大于预设分类阈值；

第二测试更新子模块，分别与第二测试判断子模块和第一测试处理子模块相连，用于分类准确率不大于预设分类阈值时，根据每个测试图像对对应的类别标签和训练类别，更新当前初始卷积神经网络模型和当前初始SENet模型后执行第一测试处理子模块；

第二模型获取子模块，与第二测试判断子模块相连，用于分类准确率大于预设分类阈值时，将分类准确率大于预设分类阈值时使用的当前初始卷积神经网络模型作为预先训练的卷积神经网络模型，将分类准确率大于预设分类阈值时使用的当前初始SENet模型作为预先训练的SENet模型。

在本实施例中，图像融合装置还包括注意力处理模块和第二训练模块时，实现图像融合过程与本发明实施例2提供的相似，在此不再一一赘述。

如图10所示，本实施例提供的图像融合装置中图像融合模块605，包括：

尺寸转换子模块6051，用于将至少一个可见光特征和至少一个红外特征转换为相同尺寸；

融合子模块6052，与尺寸转换子模块相连，用于基于转换后的至少一个可见光特征和至少一个红外特征进行图像融合，得到融合图像。

在本实施例中，通过尺寸转换子模块6051和融合子模块6052获取融合图像的过程，与本发明实施例2提供的相似，在此不再一一赘述。

本发明具有如下有益效果：获取同一场景下拍摄的可见光图像和红外图像，将红外图像复制为三个通道的复制图像后，分别根据预先训练的卷积神经网络模型进行处理，得到可见光特征和红外特征后，基于可见光特征和红外特征进行图像融合即可得到融合图像。由于可见光特征和红外特征为卷积神经网络模型的第一和第二卷积模块输出的中间数据，而卷积神经网络模型不同卷积模块输出的特征层次不同，因此本发明实施例提供的技术方案能够实现红外图像和可见光图像跨层融合及高效互补利用，从而提高融合图像的表示能力，进而提高目标识别的准确率。

实施例5

如图11所示，本发明实施例提供一种目标识别装置，包括：

目标图像获取模块1101，用于使用图像融合装置对待识别目标对应的可见光图像和红外图像进行图像融合，得到待识别目标的融合图像；

目标识别模块1102，与目标图像获取模块相连，用于基于待识别目标的融合图像进行目标识别。

在本实施例中，通过上述模块实现目标识别的过程，与本发明实施例3提供的相似，在此不再一一赘述。

本发明具有如下有益效果：获取待识别目标对应的可见光图像和红外图像，将红外图像复制为三个通道的复制图像后，分别根据预先训练的卷积神经网络模型进行处理，得到可见光特征和红外特征后，基于可见光特征和红外特征进行图像融合即可得到融合图像，并基于融合图像进行目标识别。由于可见光特征和红外特征为卷积神经网络模型的第一和第二卷积模块输出的中间数据，而卷积神经网络模型不同卷积模块输出的特征层次不同，因此本发明实施例提供的技术方案能够实现红外图像和可见光图像跨层融合及高效互补利用，从而提高融合图像的表示能力，进而提高目标识别的准确率。

以上实施例的先后顺序仅为便于描述，不代表实施例的优劣。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种图像融合方法，其特征在于，包括：

S10、获取待融合的可见光图像和红外图像，所述可见光图像和红外图像为同一场景下拍摄的图像；

S20、将所述红外图像复制为三个通道的复制图像，所述复制图像的三个通道上的数据相同，均为所述红外图像对应的数据；

S30、根据预先训练的卷积神经网络模型对所述可见光图像进行处理，将所述预先训练的卷积神经网络模型的第一卷积模块输出的中间数据作为至少一个可见光特征；该第一卷积模块的层数是预先设置的，其个数为一个或多个；

S40、根据所述预先训练的卷积神经网络模型对所述复制图像进行处理，将所述预先训练的卷积神经网络模型的第二卷积模块输出的中间数据作为至少一个红外特征；该第二卷积模块的层数是预先设置的，其个数为一个或多个；第二卷积模块与第一卷积模块的层数不同；

S50、基于所述至少一个可见光特征和至少一个红外特征进行图像融合，得到融合图像。

2.根据权利要求1所述的图像融合方法，其特征在于，在所述S30之前，还包括：

S21、对初始卷积神经网络模型进行训练，得到预先训练的卷积神经网络模型；

所述S21具体包括：

S211、获取多个测试图像对和每个测试图像对对应的类别标签，每个测试图像对由测试可见光图像和同一场景下拍摄的测试红外图像组成；

S212、分别将每个测试红外图像复制为三个通道的测试复制图像，所述测试复制图像的三个通道上的数据相同，均为所述测试红外图像对应的数据；

S213、对于任一测试图像对，根据当前初始卷积神经网络模型对该测试图像对中的测试可见光图像进行处理，将当前初始卷积神经网络模型的第一卷积模块输出的中间数据作为至少一个测试可见光特征；

S214、根据当前初始卷积神经网络模型对该测试图像对中的测试复制图像进行处理，将当前初始卷积神经网络模型的第二卷积模块输出的中间数据作为至少一个测试红外特征；

S215、分别将每个测试图像对对应的至少一个测试可见光特征和至少一个测试红外特征进行图像融合，得到多个测试融合图像；

S216、分别对每个测试融合图像进行全连接和softmax分类处理，得到每个测试图像对对应的训练类别；

S217、根据每个测试图像对对应的类别标签和训练类别，判断分类准确率是否大于预设分类阈值；如果大于，执行S219；否则，执行S218；

S218、根据每个测试图像对对应的类别标签和训练类别，更新当前初始卷积神经网络模型后执行步骤S213；

S219、将分类准确率大于预设分类阈值时使用的当前初始卷积神经网络模型作为所述预先训练的卷积神经网络模型。

3.根据权利要求1所述的图像融合方法，其特征在于，在所述S50之前，还包括：

S41、根据预先训练的SENet模型分别对所述至少一个可见光特征和所述至少一个红外特征进行处理，得到所述至少一个可见光特征对应的至少一个可见注意力特征和所述至少一个红外特征对应的至少一个红外注意力特征；

所述S50具体为：基于所述至少一个可见注意力特征和至少一个红外注意力特征进行图像融合，得到融合图像。

4.根据权利要求3所述的图像融合方法，其特征在于，在所述S30之前，还包括：

S22、对初始卷积神经网络模型和初始SENet模型进行训练，得到预先训练的卷积神经网络模型和预先训练的SENet模型；

所述S22具体包括：

S221、获取多个测试图像对和每个测试图像对对应的类别标签，每个测试图像对由测试可见光图像和同一场景下拍摄的测试红外图像组成；

S222、分别将每个测试红外图像复制为三个通道的测试复制图像，所述测试复制图像的三个通道上的数据相同，均为所述测试红外图像对应的数据；

S223、对于任一测试图像对，根据当前初始卷积神经网络模型对该测试图像对中的测试可见光图像进行处理，将当前初始卷积神经网络模型的第一卷积模块输出的中间数据作为至少一个测试可见光特征；

S224、根据当前初始卷积神经网络模型对该测试图像对中的测试复制图像进行处理，将当前初始卷积神经网络模型的第二卷积模块输出的中间数据作为至少一个测试红外特征；

S225、根据当前初始SENet模型分别对所述至少一个测试可见光特征和所述至少一个测试红外特征进行处理，得到所述至少一个测试可见光特征对应的至少一个测试可见注意力特征和所述至少一个测试红外特征对应的至少一个测试红外注意力特征；

S226、分别将每个测试图像对对应的至少一个测试可见注意力特征和至少一个测试红外注意力特征进行图像融合，得到多个测试注意力融合图像；

S227、分别对每个测试注意力融合图像进行全连接和softmax分类处理，得到每个测试图像对对应的训练类别；

S228、根据每个测试图像对对应的类别标签和训练类别，判断分类准确率是否大于预设分类阈值；如果大于，执行S230；否则，执行S229；

S229、根据每个测试图像对对应的类别标签和训练类别，更新当前初始卷积神经网络模型和当前初始SENet模型后执行步骤S223；

S230、将分类准确率大于预设分类阈值时使用的当前初始卷积神经网络模型作为所述预先训练的卷积神经网络模型，将分类准确率大于预设分类阈值时使用的当前初始SENet模型作为预先训练的SENet模型。

5.根据权利要求1所述的图像融合方法，其特征在于，所述S50包括：

S501、将所述至少一个可见光特征和至少一个红外特征转换为相同尺寸；

S502、基于转换后的至少一个可见光特征和至少一个红外特征进行图像融合，得到融合图像。

6.根据权利要求1至5中任意一项所述的图像融合方法，其特征在于，所述预先训练的卷积神经网络模型为预先训练的VGG16网络时，

所述第一卷积模块为第三层和第五层卷积模块；

所述第二卷积模块为第四层卷积模块。

7.一种目标识别方法，其特征在于，包括：

根据权利要求1-6中任意一项所述的图像融合方法对待识别目标对应的可见光图像和红外图像进行图像融合，得到待识别目标的融合图像；

基于所述待识别目标的融合图像进行目标识别。

8.一种图像融合装置，其特征在于，包括：

图像获取模块，获取待融合的可见光图像和红外图像，所述可见光图像和红外图像为同一场景下拍摄的图像；

图像复制模块，与所述图像获取模块相连，用于将所述红外图像复制为三个通道的复制图像，所述复制图像的三个通道上的数据相同，均为所述红外图像对应的数据；

第一处理模块，与所述图像获取模块相连，用于根据预先训练的卷积神经网络模型对所述可见光图像进行处理，将所述预先训练的卷积神经网络模型的第一卷积模块输出的中间数据作为至少一个可见光特征；该第一卷积模块的层数是预先设置的，其个数为一个或多个；

第二处理模块，与所述图像复制模块相连，用于根据所述预先训练的卷积神经网络模型对所述复制图像进行处理，将所述预先训练的卷积神经网络模型的第二卷积模块输出的中间数据作为至少一个红外特征；该第二卷积模块的层数是预先设置的，其个数为一个或多个；第二卷积模块与第一卷积模块的层数不同；

图像融合模块，分别与所述第一处理模块和所述第二处理模块相连，用于基于所述至少一个可见光特征和至少一个红外特征进行图像融合，得到融合图像。

9.根据权利要求8所述的图像融合装置，其特征在于，还包括：

第一训练模块，分别与所述第一处理模块和所述第二处理模块相连，用于初始卷积神经网络模型进行训练，得到预先训练的卷积神经网络模型；

所述第一训练模块，包括：

测试获取子模块，用于获取多个测试图像对和每个测试图像对对应的类别标签，每个测试图像对由测试可见光图像和同一场景下拍摄的测试红外图像组成；

测试复制子模块，与所述测试获取子模块相连，用于分别将每个测试红外图像复制为三个通道的测试复制图像，所述测试复制图像的三个通道上的数据相同，均为所述测试红外图像对应的数据；

第一测试处理子模块，与所述测试获取子模块相连，用于对于任一测试图像对，根据当前初始卷积神经网络模型对该测试图像对中的测试可见光图像进行处理，将当前初始卷积神经网络模型的第一卷积模块输出的中间数据作为至少一个测试可见光特征；

第二测试处理子模块，与所述测试复制子模块相连，用于根据当前初始卷积神经网络模型对该测试图像对中的测试复制图像进行处理，将当前初始卷积神经网络模型的第二卷积模块输出的中间数据作为至少一个测试红外特征；

第一测试融合子模块，分别与所述第一测试处理子模块和所述第二测试处理子模块相连，用于分别将每个测试图像对对应的至少一个测试可见光特征和至少一个测试红外特征进行图像融合，得到多个测试融合图像；

第一测试分类子模块，与所述第一测试融合子模块相连，用于分别对每个测试融合图像进行全连接和softmax分类处理，得到每个测试图像对对应的训练类别；

第一测试判断子模块，与所述第一测试分类子模块相连，用于根据每个测试图像对对应的类别标签和训练类别，判断分类准确率是否大于预设分类阈值；

第一测试更新子模块，分别与所述第一测试判断子模块和第一测试处理子模块相连，用于分类准确率不大于预设分类阈值时，根据每个测试图像对对应的类别标签和训练类别，更新当前初始卷积神经网络模型后执行第一测试处理子模块；

第一模型获取子模块，与所述第一测试判断子模块相连，用于分类准确率大于预设分类阈值时，将分类准确率大于预设分类阈值时使用的当前初始卷积神经网络模型作为所述预先训练的卷积神经网络模型。

10.根据权利要求8所述的图像融合装置，其特征在于，还包括：

注意力处理模块，分别与所述第一处理模块和所述第二处理模块相连，用于根据预先训练的SENet模型分别对所述至少一个可见光特征和所述至少一个红外特征进行处理，得到所述至少一个可见光特征对应的至少一个可见注意力特征和所述至少一个红外特征对应的至少一个红外注意力特征；

所述图像融合模块，还与所述注意力处理模块相连，具体用于基于所述至少一个可见注意力特征和至少一个红外注意力特征进行图像融合，得到融合图像。

11.根据权利要求10所述的图像融合装置，其特征在于，还包括：

第二训练模块，分别与所述第一处理模块、第二处理模块和所述注意力处理模块相连，用于对初始卷积神经网络模型和初始SENet模型进行训练，得到预先训练的卷积神经网络模型和预先训练的SENet模型；

所述第二训练模块，包括：

测试获取子模块，用于获取多个测试图像对和每个测试图像对对应的类别标签，每个测试图像对由测试可见光图像和同一场景下拍摄的测试红外图像组成；

测试复制子模块，与所述测试获取子模块相连，用于分别将每个测试红外图像复制为三个通道的测试复制图像，所述测试复制图像的三个通道上的数据相同，均为所述测试红外图像对应的数据；

第一测试处理子模块，与所述测试获取子模块相连，用于对于任一测试图像对，根据当前初始卷积神经网络模型对该测试图像对中的测试可见光图像进行处理，将当前初始卷积神经网络模型的第一卷积模块输出的中间数据作为至少一个测试可见光特征；

第二测试处理子模块，与所述测试复制子模块相连，用于根据当前初始卷积神经网络模型对该测试图像对中的测试复制图像进行处理，将当前初始卷积神经网络模型的第二卷积模块输出的中间数据作为至少一个测试红外特征；

注意力处理子模块，分别与所述第一测试处理子模块和所述第二测试处理子模块相连，用于根据当前初始SENet模型分别对所述至少一个测试可见光特征和所述至少一个测试红外特征进行处理，得到所述至少一个测试可见光特征对应的至少一个测试可见注意力特征和所述至少一个测试红外特征对应的至少一个测试红外注意力特征；

第二测试融合子模块，与所述注意力处理子模块相连，用于分别将每个测试图像对对应的至少一个测试可见光特征和至少一个测试红外特征进行图像融合，得到多个测试融合图像；

第二测试分类子模块，与所述第二测试融合子模块相连，用于分别对每个测试融合图像进行全连接和softmax分类处理，得到每个测试图像对对应的训练类别；

第二测试判断子模块，与所述第二测试分类子模块相连，用于根据每个测试图像对对应的类别标签和训练类别，判断分类准确率是否大于预设分类阈值；

第二测试更新子模块，分别与所述第二测试判断子模块和第一测试处理子模块相连，用于分类准确率不大于预设分类阈值时，根据每个测试图像对对应的类别标签和训练类别，更新当前初始卷积神经网络模型和当前初始SENet模型后执行第一测试处理子模块；

第二模型获取子模块，与所述第二测试判断子模块相连，用于分类准确率大于预设分类阈值时，将分类准确率大于预设分类阈值时使用的当前初始卷积神经网络模型作为所述预先训练的卷积神经网络模型，将分类准确率大于预设分类阈值时使用的当前初始SENet模型作为预先训练的SENet模型。

12.根据权利要求8所述的图像融合装置，其特征在于，所述图像融合模块包括：

尺寸转换子模块，用于将所述至少一个可见光特征和至少一个红外特征转换为相同尺寸；

融合子模块，与所述尺寸转换子模块相连，用于基于转换后的至少一个可见光特征和至少一个红外特征进行图像融合，得到融合图像。

13.一种目标识别装置，其特征在于，包括：

目标图像获取模块，用于使用权利要求8-12任意一项所述的图像融合装置对待识别目标对应的可见光图像和红外图像进行图像融合，得到待识别目标的融合图像；

目标识别模块，与所述目标图像获取模块相连，用于基于所述待识别目标的融合图像进行目标识别。

Images