CN111611905B - 一种可见光与红外融合的目标识别方法 - Google Patents

Abstract

本发明公开一种可见光与红外融合的目标识别方法，属于目标检测技术领域，该方法通过建立清晰的融合图像数据集；训练可见光目标检测算法网络与红外目标检测算法网络；对可见光图像与红外图像进行DenseFuse像素级融合；对融合后图像进行限制对比度直方图均衡；将增强后图像与可见光图像输入训练好的可见光目标检测模型；将增强后图像与红外图像输入训练好的红外目标检测模型；将检测结果根据设计的决策级融合策略决策最佳结果并输出。提高了目标检测的置信度和准确性，有效的避免了数据融合过程中信息丢失较多以及单一传感器捕获图像局限性的问题，从而解决了目标检测中的误识别与漏识别的问题。

Description

一种可见光与红外融合的目标识别方法

技术领域

本发明涉及目标检测技术领域，尤其涉及一种可见光与红外融合的目标识别方法。

背景技术

目标检测的主要功能是根据输入的图像信息，定位人们感兴趣的目标，并对定位的目标进行具体的分类，最后给出置信度分数；目前目标检测技术已广泛应用于智能交通管理领域，其可以显著提高智能交通管理***中的交通监管以及车辆管控的性能；近年来，国内外学者对目标检测进行了大量的研究，包括基于像素点特征的目标检测、基于特征描述子的目标检测、基于灰度奇异值法的目标检测、基于磁阻传感器的目标检测及基于BP神经网络的目标检测方法等方法，还有学者使用基于卷积神经网络的目标检测方法，对人们感兴趣的目标进行检测，在某些情况下能够达到非常卓越的效果；但在单一传感器下捕获的目标图像，容易受到外界环境的干扰，使得目标图像不清晰甚至是不能够对目标进行成像，此时卷积神经网络的目标检测算法容易产生误识别与漏识别的问题；同时，有很多学者对基于卷积神经网络的目标检测算法进行了大量的改进，如：对多源传感器拍摄的图像进行像素级融合、特征级融合、或决策级融合的单一融合手段方法，对可见光于红外图像进行融合，但在单一的融合方法会在融合的过程中丢失大量的信息，仍然出现提取到的特征不能很好的区分目标的现象。

对于决策级融合方法，属于高层次融合手段，能够根据不同的实际任务需求设计决策融合策略。像素级融合方法，能够从传感器接收到的源图像信息进行融合，极大程度保留了图像的原始特征，并在融合过程中引入新的特征。同时DenseFuse像素级融合方法能够，结合卷积神经网络处理图像的优势，将可见光图像与红外图像进行融合。将像素级融合方法与决策级融合方法相结合的多手段融合，能够使目标检测算法适应多种恶劣环境下，如烟幕或黑夜环境下的准确检测。

目前，有学者已经提出使用多手段融合结合在故障诊断或信息评判等多领域。同时有学者使用单一融合方法对红外图像与可见光图像进行融合，并结合传统的目标属性算法进行目标检测，能够有效解决由单一传感器捕获图像的局限性，使得目标检测算法能够适应各种复杂环境，从而提高目标检测的准确率。

由于基于卷积神经网络的目标检测算法发展时间不长，理论基础和应用推广还需进一步深入研究，将多手段融合方法与基于卷积神经网络的目标检测算法相结合应用到目标检测，相关文献还很少。

因此希望设计一种可见光与红外融合的目标识别方法，可以克服或至少减轻现有技术的上述缺陷。

发明内容

针对上述现有技术的不足，本发明提供一种可见光与红外融合的目标识别方法。

为解决上述技术问题，本发明所采取的技术方案是：一种可见光与红外融合的目标识别方法，其流程如图1所示，包括如下步骤：

步骤1：利用可见光传感器和红外传感器分别对待检测区域进行采样，同时得到可见光图像VIS-Image和红外图像IR-Image；

步骤2：将可见光图像VIS-Image和红外图像IR-Image进行像素级融合，得到像素级融合后的图像Fusion-Image；

步骤2.1：将红外图像IR-Image与可见光图像VIS-Image同时送入DenseFuse像素级融合的编码网络，进行卷积操作与编码处理，得到k×M张编码后的特征图φ(x,y)，其中k为总共输入DenseFuse网络的图像数，M为提取到的特征图数量；

步骤2.2：计算融合层对提取到的红外图像与可见光图像的特征图l₁范数，公式如下：

其中，i是输入DenseFuse网络的图像序号，i∈{1,2,...,k}；

步骤2.3：计算融合层特征图，公式如下：

其中：超参数r＝1；

步骤2.4：计算融合参数ω_i，公式如下：

步骤2.5：计算融合后图像，得到M张融合后的特征图，公式如下：

其中，f^m(x,y)是融合后输出的图像，m∈{1,2,...,M}；

步骤2.6：进行反卷积操作，并进行限制对比度直方图均衡化，得到可见光与红外图像融合后的图像Fusion-Image。

步骤3：用可见光图像VIS-Image训练目标检测模型Mask R-CNN，将训练好的可见光图像目标检测模型命名为VIS-484-lrd；用红外图像IR-Image训练目标检测模型Mask R-CNN，将训练好的红外图像目标检测模型命名为AE-Enhance；

步骤4：将VIS-Image和Fusion-Image输入到训练好的目标检测模型VIS-484-lrd中进行目标检测，得到相应的评估图像结果；将IR-Image和Fusion-Image输入到训练好的目标检测模型AE-Enhance中进行目标检测，并得到相应的评估图像结果；

步骤4.1：将VIS-Image和Fusion-Image输入到训练好的目标检测模型VIS-484-lrd中进行目标检测，得到相应的评估图像结果：

步骤4.1.1：将图像Fusion-Image和可见光图像VIS-Image在backbone网络进行特征提取，分别得到相应的特征图；

步骤4.1.2：将得到的特征图输入到RPN网络中进行候选区域提议；

步骤4.1.3：将特征图与提议的候选框输入到head网络中评估图像结果，得到VIS-484-lrd识别的可见光图像VIS-Image与融合图像Fusion-Image的结果。

步骤4.2：将IR-Image和Fusion-Image输入到训练好的目标检测模型AE-Enhance中进行目标检测，并得到相应的评估图像结果：

步骤4.2.1：将图像Fusion-Image和红外图像IR-Image在backbone网络进行特征提取，分别得到相应的特征图；

步骤4.2.2：将得到的特征图输入到RPN网络中进行候选区域提议；

步骤4.2.3：将特征图与提议的候选框输入到head网络中评估图像结果，得到红外图像目标检测模型AE-Enhance识别的红外图像IR-Image与融合图像Fusion-Image的结果。

所述评估图像结果包括：位置坐标Box、分类信息class、掩码信息mask和置信度Score。

所述置信度Score由网络中softmax分类器得到，计算公式如下：

其中，V_i为分类器前级输出单元的输出，i表示类别索引，类别总数为C；Confidence表示分类置信度是当前元素指数与所有元素指数和的比值。

步骤5：根据步骤3及步骤4得到的评估图像结果进行匹配，并根据匹配结果进行去除和保留操作；

步骤5.1：计算可见光图像中检测到的第i个目标与红外图像中第j个目标的Intersection over Union，即IoU_ij，可以得到n×m大小的矩阵A如下：

其中，n为可见光图像共识别出的目标个数，m为红外图像识别出的目标个数；

步骤5.2：计算矩阵A中第i行元素中的最大值，公式如下：

a_i＝max A[IoU_ij],(1≤i≤n,1≤j≤m,)

其中，当a_i＝0时，表示可见光检测结果中的第i个目标没有匹配成功；当a_i≠0＝IoU_ij时，则表示可见光识别结果中的第i个目标与红外识别结果中的第j个目标匹配成功；

步骤5.3：对没有匹配成功的目标结果，判断该目标的置信度，如果置信度大于设定值s，则表示该目标检测结果识别正确，并进行保留；否则该目标为识别错误，进行去除；

步骤5.4：对于匹配成功的结果，比较当前识别结果中的可见光检测结果置信度VIS-Score与红外检测结果置信度IR-Score；如果可见光检测结果的置信度大，则保留该目标的可见光检测结果，包括目标位置，目标置信度，目标类别和目标实例掩码，否则保留红外图像检测结果。

步骤6：将所有保留的目标结果输出到DenseFuse像素级融合后图像Fusion-Image上，并输出决策级融合后的图像。

采用上述技术方案所产生的有益效果在于：

(1)将可见光图像与红外图像进行数据融合，并对数据融合后图像进行目标目标检测算法进行检测，避免了单一传感器对于复杂环境下不能对目标进行成像的问题，如可见光传感器对于夜间或烟幕环境下不能进行成像，而红外传感器对于环境与目标温差小时，不能清晰成像的问题；

(2)设计一种可见光与红外融合的目标识别方法，能够在融合过程中引入DenseFuse像素级融合的新特征，并能避免在决策级融合过程中造成的信息丢失问题，提高了卷积神经网络红外目标检测的置信度和准确性。

附图说明

图1为本发明一种可见光与红外融合的目标识别方法的流程图；

图2为本发明实施例中实施本发明方法前后的目标检测情况对比图；

图3为本发明实施例中实施本发明方法前后的目标检测置信度情况对比图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本实施例的方法如下所述：

1.将红外图像IR-Image与可见光图像VIS-Image同时输入到改进的DenseFuse像素级融合网络部分。

2.将数据集送入DenseFuse像素级融合的编码网络，进行卷积操作与编码处理，得到2×64张编码后的特征图φ(x,y)，其中2为可见光与红外图像的数量。

3.计算融合层对提取到的红外图像与可见光图像的特征图l₁范数，计算公式如下：

其中：M是提取到的特征图数量，取M＝64；i是输入DenseFuse网络的图像序号，这里仅输入两张图像，分别为可见光图像和红外图像，i∈{1,2}。

4.计算融合层特征图，计算公式如下：

其中：超参数r＝1。

5.计算融合参数ω_i，计算公式如下：

其中：k是总共输入DenseFuse网络的图像数，即k＝2。

6.计算融合后图像，得到64张融合后的特征图，计算公式如下：

其中，f^m(x,y)是融合后输出的图像。

7.进行反卷积操作，并进行限制对比度直方图均衡化，得到可见光与红外图像融合后的Fusion-Image。

8.将图像Fusion-Image与可见光图像VIS-Image输入到训练好的Mask R-CNN可见光目标检测模型中。

9.将图像Fusion-Image与红外图像IR-Image输入到训练好的Mask R-CNN红外目标检测模型中。

10.输入的四张图像在backbone网络进行特征提取，将得到的特征图输入到RPN网络中进行候选区域提议，将特征图与提议的候选框输入到head网络中评估图像结果。

11.根据输入的Mask R-CNN目标检测模型不同，会得到四组结果，即VIS-484-lrd识别的可见光图像与融合图像结果和AE-Enhance识别的红外图像与融合图像结果。每组结果中包括位置坐标Box、分类信息class、掩码信息mask和置信度Score。其中置信度由网络中softmax分类器得到，计算公式如下：

其中：V_i为分类器前级输出单元的输出，i表示类别索引，类别总数为C。Confidence表示分类置信度是当前元素指数与所有元素指数和的比值。

12.根据识别出目标的坐标信息进行匹配。可见光图像共识别出n个目标，红外图像识别出m个目标。计算可见光图像中检测到的第i个目标与红外图像中第j个目标的Intersection over Union(IoU)，即IoU_ij。可以得到n×m大小的矩阵A如下：

13.计算矩阵A中第i行元素中的最大值，计算公式如下：

a_i＝max A[IoU_ij],(1≤i≤n,1≤j≤m,)

14.当ai＝0时，表示可见光检测结果中的第i个目标没有匹配成功。

15.当ai≠0＝IoU_ij时，则表示可见光识别结果中的第i个目标与红外识别结果中的第j个目标匹配成功。

16.对没有匹配成功的目标结果，判断该目标的置信度，如果置信度大于0.9，则表示该目标检测结果识别正确，并进行保留。否则该目标为识别错误，进行去除。

17.对于匹配成功的结果，比较当前识别结果中的可见光检测结果置信度VIS-Score与红外检测结果置信度IR-Score。如果可见光检测结果的置信度大，则保留该目标的可见光检测结果，包括目标位置，目标置信度，目标类别和目标实例掩码，否则保留红外图像检测结果。

18.对所有保留的目标结果，包括目标分类，目标置信度，目标位置以及目标实例掩码输出到DenseFuse像素级融合后图像Fusion-Image上，并输出。

为验证本发明的基于限制对比度直方图均衡化增强的DenseFuse像素级融合方法(即LHE-DenseFuse-RCNN算法)与可见光与红外融合的目标识别方法(即DataFusion-RCNN算法)的有效性和可行性，利用Tensorflow-Linux，分别设计对比试验。对于LHE-DenseFuse-RCNN算法，与采用加权平均像素级融合方法(即WAM-RCNN算法)、采用拉普拉斯金字塔分解的像素级融合方法(即LP-RCNN算法)、增强的DesnFuse像素级融合方法的红外与可见光融合图像进行融合并进行目标检测的结果进行比较；对于DataFusion-RCNN算法，与采用单一手段融合方法，即LHE-DenseFuse-RCNN算法、Def-Fusion-RCNN融合后图像的检测结果进行比较，实验结果见表1和表2：

表1限制对比度直方图均衡化改进的DenseFuse像素级融合实验

由表1的统计数据可知，传统的像素级融合方法中，WAM-RCNN的检测结果最低。LP-RCNN和DenseFuse-RCNN的检测结果较为接近，但DenseFuse-RCNN比LP-RCNN检测AP值高2.14％。LHE-DenseFuse-RCNN的检测效果最高，比DenseFuse-RCNN检测AP值高1.48％，比其他像素级融合方法检测AP值高1.48％～8.67％。

表2可见光与红外融合的目标识别方法检测结果

由表2的统计数据可知，DataFusion-RCNN采用数据融合的Mask R-CNN检测效果最好，分别比采用像素级融合方法LHE-DenseFuse-RCNN和采用决策级融合方法DeF-Mask R-CNN检测AP值高2.67％和3.79％。

其中，AP值为目标检测算法的评价指标，本实施例沿用COCO挑战赛中的评价体系：AP、AP@50、AP@75。AP值的计算公式如下：

其中，Precision为精确率，Recall为召回率，m为该次检测结果中检测到的图像数，i为第i个检测到的图像；TP为将前景目标正确检测为前景目标的检测结果，FP为将背景错误检测为前景目标的检测结果，TN为将背景正确检测为背景的检测结果，FN为将前景目标错误检测为背景的检测结果。

目标检测算法中，IoU(Intersection-over-Union)是评价检测算法是否识别出前景目标的阈值，即当前景目标的检测置信度高于IoU阈值时才判定为Positive。因此设置不同的IoU，其计算的Positive样本数量以及AP值会不同，IoU的计算公式如下：

其中其中，

其中，S_A为标注框(Ground Truth)的面积，S_B为预测定位框的面积。

(1)AP：本实施例主要评价指标，当IoU为0.5到0.95范围内，每0.05计算一次AP值，并对所有的AP值取平均值；

(2)AP@50：当IoU取0.5时的AP值；

(3)AP@75：当IoU取0.75时的AP值；

(4)AP@S：对于像素点数量小于32²的目标计算(1)中的AP值；

(5)AP@M：对于像素点数量大于32²且小于96²的目标计算(1)中的AP值；

AP@L：对于像素点数量大于96²的目标计算(1)中的AP值。

通过图2和图3可以看出，DataFusion-RCNN算法的漏识别现象相对比未采用本发明的检测结果有明显的减少，并且检测的置信度明显的提高。DataFusion-RCNN算法目标检测有效的提高了检测的置信度和识别准确率，为基于卷积神经网络的目标检测问题提供了一种新的方法和途径。

Claims (6)

1.一种可见光与红外融合的目标识别方法，其特征在于包括如下步骤：

步骤1：利用可见光传感器和红外传感器分别对待检测区域进行采样，同时得到可见光图像VIS-Image和红外图像IR-Image；

步骤2：将可见光图像VIS-Image和红外图像IR-Image进行像素级融合，得到像素级融合后的图像Fusion-Image；

步骤3：用可见光图像VIS-Image训练目标检测模型Mask R-CNN，将训练好的可见光图像目标检测模型命名为VIS-484-lrd；用红外图像IR-Image训练目标检测模型Mask R-CNN，将训练好的红外图像目标检测模型命名为AE-Enhance；

步骤4：将VIS-Image和Fusion-Image输入到训练好的目标检测模型VIS-484-lrd中进行目标检测，得到相应的评估图像结果；将IR-Image和Fusion-Image输入到训练好的目标检测模型AE-Enhance中进行目标检测，并得到相应的评估图像结果；

步骤5：根据步骤3及步骤4得到的评估图像结果进行匹配，并根据匹配结果进行去除和保留操作；

步骤6：将所有保留的目标结果输出到DenseFuse像素级融合后图像Fusion-Image上，并输出决策级融合后的图像；

所述步骤2的过程如下：

步骤2.1：将红外图像IR-Image与可见光图像VIS-Image同时送入DenseFuse像素级融合的编码网络，进行卷积操作与编码处理，得到k×M张编码后的特征图φ(x,y)，其中k为总共输入DenseFuse网络的图像数，M为提取到的特征图数量；

步骤2.2：计算融合层对提取到的红外图像与可见光图像的特征图l₁范数，公式如下：

其中，i是输入DenseFuse网络的图像序号，i∈{1,2,...,k}；

步骤2.3：计算融合层特征图，公式如下：

其中：超参数r＝1；

步骤2.4：计算融合参数ω_i，公式如下：

步骤2.5：计算融合后图像，得到M张融合后的特征图，公式如下：

其中，f ^m(x,y)是融合后输出的图像，m∈{1,2,...,M}；

步骤2.6：进行反卷积操作，并进行限制对比度直方图均衡化，得到可见光与红外图像融合后的图像Fusion-Image。

2.根据权利要求1所述的一种可见光与红外融合的目标识别方法，其特征在于：所述步骤4所述将VIS-Image和Fusion-Image输入到训练好的目标检测模型VIS-484-lrd中进行目标检测，得到相应的评估图像结果的过程如下：

步骤4.1.1：将图像Fusion-Image和可见光图像VIS-Image在backbone网络进行特征提取，分别得到相应的特征图；

步骤4.1.2：将得到的特征图输入到RPN网络中进行候选区域提议；

步骤4.1.3：将特征图与提议的候选框输入到head网络中评估图像结果，得到VIS-484-lrd识别的可见光图像VIS-Image与融合图像Fusion-Image的结果。

3.根据权利要求1所述的一种可见光与红外融合的目标识别方法，其特征在于：所述步骤4所述将IR-Image和Fusion-Image输入到训练好的目标检测模型AE-Enhance中进行目标检测，并得到相应的评估图像结果的过程如下：

步骤4.2.1：将图像Fusion-Image和红外图像IR-Image在backbone网络进行特征提取，分别得到相应的特征图；

步骤4.2.2：将得到的特征图输入到RPN网络中进行候选区域提议；

步骤4.2.3：将特征图与提议的候选框输入到head网络中评估图像结果，得到红外图像目标检测模型AE-Enhance识别的红外图像IR-Image与融合图像Fusion-Image的结果。

4.根据权利要求1所述的一种可见光与红外融合的目标识别方法，其特征在于：所述评估图像结果包括：位置坐标Box、分类信息class、掩码信息mask和置信度Score。

5.根据权利要求4所述的一种可见光与红外融合的目标识别方法，其特征在于：所述置信度Score由网络中softmax分类器得到，计算公式如下：

其中，V_i为分类器前级输出单元的输出，i表示类别索引，类别总数为C；Confidence表示分类置信度是当前元素指数与所有元素指数和的比值。

6.根据权利要求2所述的一种可见光与红外融合的目标识别方法，其特征在于：所述步骤5的过程如下：

步骤5.1：计算可见光图像中检测到的第i个目标与红外图像中第j个目标的Intersection over Union，即IoU_ij，可以得到n×m大小的矩阵A如下：

其中，n为可见光图像共识别出的目标个数，m为红外图像识别出的目标个数；

步骤5.2：计算矩阵A中第i行元素中的最大值，公式如下：

a_i＝maxA[IoU_ij],(1≤i≤n,1≤j≤m,)

其中，当a_i＝0时，表示可见光检测结果中的第i个目标没有匹配成功；当a_i≠0＝IoU_ij时，则表示可见光识别结果中的第i个目标与红外识别结果中的第j个目标匹配成功；

步骤5.3：对没有匹配成功的目标结果，判断该目标的置信度，如果置信度大于设定值s，则表示该目标检测结果识别正确，并进行保留；否则该目标为识别错误，进行去除；

步骤5.4：对于匹配成功的结果，比较当前识别结果中的可见光检测结果置信度VIS-Score与红外检测结果置信度IR-Score；如果可见光检测结果的置信度大，则保留该目标的可见光检测结果，包括目标位置，目标置信度，目标类别和目标实例掩码，否则保留红外图像检测结果。

Images