CN114332655A - 一种车辆自适应融合检测方法及*** - Google Patents

Abstract

本发明公开了一种车辆自适应融合检测方法及***，通过对同一角度获取的航拍可见光图像和红外图像分别进行多级预处理，采用鲁棒特征对多级预处理后的可见光图像和红外图像进行配准，分别对可见光图像和红外图像中的车辆进行检测，建立基于多特征融合的YOLOv3算法，准确实现航拍可见光图像的车辆实时检测，在此基础上，设计航拍红外图像中的半监督迁移学习算法，实现航拍红外图像的车辆实时检测。基于图像质量的车辆自适应融合策略，实现航拍可见光红外图像的车辆自适应融合检测，本发明能够有效地检测出航拍可见光红外图像中的车辆。

Description

一种车辆自适应融合检测方法及***

技术领域

本发明涉及航拍图像的车辆检测方法，涉及一种车辆自适应融合检测方法及***，具体是采用航拍可见光红外图像的车辆自适应融合检测方法。

背景技术

航拍无人机部署方式灵活、监测范围广、不受地面交通干扰，在交通监测、事件预警、安全巡查等方面潜力巨大。利用航拍无人机图像进行车辆实时检测，是智能交通视频分析领域的主流研究方向之一。目前车辆检测大多基于航拍可见光视频，在低光照、雨天、烟雾等环境条件下，成像质量差；而红外摄像头无需辅助光源介入，对光照不敏感，但存在热交叉现象，导致目标与背景极难区分。总之，研究航拍可见光红外图像的车辆融合检测，对提高车辆检测的准确率有重要意义。

近年来，常用的车辆融合检测算法有像素级、特征级和决策级，像素级融合检测是先融合图像像素之后再进行检测，特征级融合检测是先融合各模态下的车辆特征之后再进行检测。针对特征级融合，可利用判别学习模型，学习来自不同模态的、具有判别一致性的特征；也可联合压缩感知的统一多特征跟踪框架，从不同光谱的图像中提取特征；或者建立多层卷积网络，基于多层卷积特征，实现可见光红外图像的车辆融合检测。而这些算法更关注对检测有利的特征融合，然而特征类型的差异往往会导致融合难度和计算消耗过大，严重限制了检测任务的实时性。

决策级融合检测是指先分别对多模态视频进行车辆检测，之后再将结果融合，是一种更高级的信息融合。针对决策级融合，可将两种模态下的多种特征通过相关滤波得到对应的响应图，通过加权融合实现车辆融合检测；也可基于深度学习建立可见光与红外决策级融合检测模型。与像素级和特征级融合检测相比，决策级融合检测算法可以有效降低计算量，但现有算法中融合方式机械，无法通过感知图像质量实现自适应融合，不能适用于航拍可见光红外图像的车辆自适应融合检测。航拍图像中背景复杂，航拍红外图像样本稀疏，都加剧了航拍可见光红外图像中车辆自适应融合检测的难度。

发明内容

本发明的目的在于提供一种车辆自适应融合检测方法及***，以克服现有技术的不足，本发明同时检测航拍可见光和红外图像中的车辆，结合图像质量建立车辆自适应融合检测策略，进而实现车辆自适应融合检测。

一种车辆自适应融合检测方法，包括以下步骤：

S1：对同一角度获取的可见光图像和红外图像分别进行多级预处理；

S2：采用鲁棒特征对多级预处理后的可见光图像和红外图像进行配准，分别对可见光图像和红外图像中的车辆进行检测；

S3，对可见光图像与红外图像中检测到的车辆分别进行加权自适应融合，从而得到对应车辆准确的融合检测结果，加权自适应融合算法为：

其中，m_r和m_v分别为航拍可见光图像和红外图像中的图像质量；

和

为对应的依据图像质量自适应调整的权重；R为融合后的车辆检测框。

进一步的，多级预处理包括图像的畸变校正、匀光处理和平滑滤波处理。

进一步的，畸变校正采用几何校正方法对图像进行畸变校正处理，实现矫正图像畸变，匀光处理采用直方图配准的方式使相邻两幅图像的直方图趋于一致；平滑滤波采用高斯滤波法，分别在水平方向上和垂直方向上进行一维高斯平滑。

进一步的，利用生成对抗网络从可见光图像中生成对应的伪红外图像，通过加速鲁棒特征算法提取伪红外图像的特征点信息，结合鲁棒特征描述子实现特征描述并且基于Hilbert空间重构的核方法，建立单高斯鲁棒点匹配模型，在存在异常值的情况下估计映射函数最后采用加权最小二乘法估计变换类型实现可见光图像和红外图像配准。

进一步的，基于多特征融合的YOLOv3方法对可见光图像的车辆实时检测。

进一步的，可见光图像的车辆检测网络，将其作为航拍红外图像车辆检测的预训练网络，利用半监督迁移学习对其进行调优，以建立最终航拍红外图像车辆检测网络。

进一步的，基于多特征融合的YOLOv3方法建立可见光图像车辆检测网络，以可见光图像车辆检测网络作为红外图像车辆检测的预训练网络，利用半监督迁移学习进行调优得到红外图像车辆检测网络，实现红外图像的车辆实时检测。

进一步的，判断车辆是否在航拍可见光图像中准确检测，车辆在可见光图像中检测框置信度小于阈值，则删除该检测结果；当车辆仅在红外图像中正确检测，则保留该检测结果；当车辆同时在可见光图像和红外图像中均正确检测，则建立融合策略实现车辆在航拍可见光红外图像的实时融合检测。

进一步的，在特征提取阶段，使用darknet-53网络作为特征提取网络，在纵向上生成四种尺度大小不同的特征图，使用concat操作与darknet-53网络自身生成的四种特征图融合。

一种车辆自适应融合检测***，包括：

预处理模块，用于对同一角度获取的可见光图像和红外图像分别进行多级预处理；

配准模块，采用鲁棒特征对多级预处理后的可见光图像和红外图像进行配准，分别对可见光图像和红外图像中的车辆进行检测；

融合模块，用于对可见光图像与红外图像中检测到的车辆分别进行加权自适应融合，从而得到对应车辆准确的融合检测结果。

与现有技术相比，本发明具有以下有益的技术效果：

本发明一种车辆自适应融合检测方法，通过对同一角度获取的可见光图像和红外图像分别进行多级预处理，采用鲁棒特征对多级预处理后的可见光图像和红外图像进行配准，分别对可见光图像和红外图像中的车辆进行检测，通过多级预处理对图像进行预处理，然后结合鲁棒特征的可见光图像和红外图像配准方法，建立单高斯鲁棒点匹配模型，实现可见光红外图像的配准，基于多特征融合的YOLOv3算法，准确实现可见光图像的车辆实时检测，基于图像质量的车辆自适应融合策略，实现航拍可见光红外图像的车辆自适应融合检测，本发明能够有效地检测出航拍可见光红外图像中的车辆。

进一步的，使用半监督目标检测损失函数对预训练网络进行微调，以此减小网络微调阶段的计算量，提高了航拍红外图像车辆检测的精度和效率。

进一步的，基于伪红外图像加速鲁棒特征的航拍可见光图像配准，通过建立航拍可见光图像对应的伪红外图像，提取伪红外图像的加速鲁棒特征点，建立高斯鲁棒点匹配模型，提高了可见光红外图像配准的精度。

附图说明

图1为本发明实例中所述车辆自适应融合检测方法流程框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

附图中图1是本发明的检测方法流程框图，本发明主要包含了多级预处理、航拍可见光红外图像配准、航拍可见光图像的车辆检测网络建立、航拍红外图像的车辆检测网络建立、自适应加权融合策略等步骤，具体实施方式如下：

S1：对同一角度获取的可见光图像和红外图像分别进行多级预处理；抑制航拍图像噪声大、光照差异大、景物畸变对车辆检测的影响。

具体的，利用多级预处理器对航拍图像进行预处理，抑制航拍图像噪声大、光照差异大、景物畸变对车辆检测的影响。多级预处理器用于对图像进行畸变校正、匀光处理和平滑滤波。可见光图像和红外图像均采用航拍获取。

畸变校正采用几何校正方法对图像进行畸变校正处理，达到矫正图像畸变的目的。匀光处理采用直方图配准的方式使相邻两幅图像的直方图趋于一致，达到图像匀光处理的目的。平滑滤波采用高斯滤波法，分别在水平方向上和垂直方向上进行一维高斯平滑，达到平滑滤波的目的。

S2：采用鲁棒特征对多级预处理后的可见光图像和红外图像进行配准，分别对可见光图像和红外图像中的车辆进行检测；

在航拍可见光图像和红外图像配准方法中，首先利用生成对抗网络从航拍可见光图像中生成对应的伪红外图像，通过加速鲁棒特征算法提取伪红外图像的特征点信息，结合鲁棒特征描述子实现特征描述并且基于Hilbert空间重构的核方法，建立单高斯鲁棒点匹配模型，在存在异常值的情况下估计映射函数最后采用加权最小二乘法估计变换类型实现可见光图像和红外图像配准。

采用航拍可见光图像中基于多特征融合的YOLOv3方法，建立可见光图像的车辆检测网络，实现航拍可见光图像的车辆实时检测。航拍可见光图像中基于多特征融合的YOLOv3算法在提取特征阶段，融合位置信息明确的浅层特征和语义信息丰富的深层特征；在预测阶段，利用卷积操作进行上采样，提高车辆检测的精度。

在特征提取阶段，使用darknet-53网络作为特征提取网络，在纵向上生成四种尺度大小不同的特征图(104×104，52×52，26×26，13×13)。对darknet-53网络产生的浅层特征图104×104进行3次下采样，其中卷积核为3×3，步长为2，得到3种特征图(52×52，26×26，13×13)；对darknet-53网络产生的特征图52×52进行2次上采样，其中卷积核为3×3，步长为2，得到2种特征图(26×26，13×13)；对darknet-53网络产生的特征图26×26进行1次下采样，其中卷积核为3×3，步长为2，得到1种特征图(13×13)。

然后，使用concat操作与darknet-53网络自身生成的四种特征图融合，concat操作可表示为：

其中，X_i和Y_i分别为第i组输入的X、Y通道，K为卷积核，c为融合前特征图的通道数。

接着，将通过concat操作最终输出4种特征图(104×104，52×52，26×26，13×13)，以此作为预测阶段的输入。

在预测阶段采用转置卷积进行上采样，相比于传统的插值法，转置卷积的权重可通过训练网络得到，能够有效提高车辆检测的精度。将多尺度融合输出的四种尺度特征图作为预测阶段的输入：对输入13×13的特征图利用转置卷积操作进行2倍上采样，与输入26×26的特征图融合，生成新的26×26特征图；对输入13×13的特征图利用转置卷积操作进行4倍上采样，同时对输入26×26的特征图利用转置卷积操作进行2倍上采样，并与输入52×52的特征图融合，生成新的52×52特征图；对输入13×13的特征图利用转置卷积操作进行8倍上采样，对输入26×26的特征图利用转置卷积操作进行4倍上采样，同时对输入52×52的特征图利用转置卷积操作进行2倍上采样，并与输入104×104的特征图融合，生成新的104×104特征图。最终，对多尺度的特征图(104×104，52×52，26×26，13×13)进行预测，加入了尺度为104×104的特征图，使得该网络能有效检测航拍可见光图像中较小的车辆，实现航拍可见光图像的车辆实时检测。

建立航拍红外图像中的半监督迁移学习网络，以实现航拍红外图像的车辆实时检测。

针对步航拍可见光图像的车辆检测网络，将其作为航拍红外图像车辆检测的预训练网络，利用半监督迁移学习对其进行调优，以建立最终航拍红外图像车辆检测网络。

建立半监督目标检测损失函数为：

其中，g(D_I,D_u,θ^b,θ^c,θ^r)为半监督损失函数，I为已标注的图像，D_I和D_u分别是已标注和未标注的图像集合；|D_I|为集合D_I的个数；θ为网络参数信息，θ^c、θ^r和θ^b分别为分类器参数、回归器参数、除分类器和回归器之外的其余网络参数；g^c和g^s分别为分类误差和位置误差的损失函数；δ为无监督损失的加权因子。

考虑到相比于航拍可见光图像，航拍红外图像的纹理信息更少，航拍红外图像中样本之间的高层信息的相似性更为重要，因此，设计无监督损失函数g^s为：

其中，|D_u|为集合D_u的个数；P为批次图像中车辆类别置信度向量的集合；p∈P表示单个车辆的类别置信度向量；Q为批次图像中车辆位置向量的集合；q∈Q表示单个车辆的位置向量；p_j和q_j分别为向量p和q的第j个元素；p_k和p_j,k分别为向量p和p_j的第k个元素；q_k和q_j,k分别为向量q和q_j的第k个元素；

为p对应分类器的输入特征向量，

为q对应回归器的输入特征向量；β为特征向量相似性的邻域参数。

在确定了半监督目标检测网络的损失函数后，需要设计半监督训练的优化策略。当β值比较大时，特征距离增大时，特征相似度急剧衰减，可舍弃掉特征距离较大的部分，因此，将上式改写为：

其中，N(p)和N(q)分别为向量p和q的邻域。

在此基础上，使用航拍可见光图像的车辆检测网络作为预训练网络，之后使用半监督目标检测损失函数对预训练网络进行微调。同时在进行微调时，根据预测车辆之间的特征距离，剔除掉邻域之外的配对，以此减小网络微调阶段的计算量。最后，对所建立的半监督损失函数求导，使用批量梯度下降法训练航拍红外图像的车辆检测网络，实现航拍红外图像的车辆实时检测。

S3，根据所建立的可见光图像的车辆检测网络，实现航拍可见光图像的车辆检测；根据所建立的红外图像的车辆检测网络，实现航拍红外图像的车辆检测。在此基础上，设计融合策略，实现航拍可见光红外图像的车辆实时融合检测。

判断车辆是否在航拍可见光图像中准确检测，如果车辆检测框的置信度小于阈值，则认为车辆时错误检测，放弃该结果，

其中，b_r和b_v分别车辆在航拍可见光图像和红外图像中的检测框；

和b_v分别车辆在航拍可见光图像和红外图像中检测框的置信度；Iou(b_r,b_v)为航拍可见光图像和红外图像中检测框的交并比；γ为检测框对应的阈值；λ为交并比对应的阈值。

根据上式，当

时，表示车辆在航拍可见光图像中检测框置信度小于阈值，则删除该检测结果；当

时，表示车辆仅在航拍红外图像中正确检测，则保留该检测结果；当

时，表示车辆同时在航拍可见光图像和红外图像中均正确检测，则建立融合策略实现车辆在航拍可见光红外图像的实时融合检测。

在此基础上，对同时在航拍可见光与红外图像中检测到的车辆进行加权自适应融合，从而得到对应车辆准确的融合检测结果。加权自适应融合算法为：

其中，m_r和m_v分别为航拍可见光图像和红外图像中的图像质量；

和

为对应的依据图像质量自适应调整的权重；R为融合后的车辆检测框。

本发明在对航拍可见光图像和红外图像分别进行车辆检测后，进而建立车辆自适应加权融合策略，可以实现航拍可见光红外图像的车辆融合检测。根据以上的分析，在对航拍可见光图像和红外图像分别进行车辆检测后，进而建立车辆自适应加权融合策略，可实现航拍可见光红外图像的车辆自适应融合检测，进一步提高了车辆检测的精准度。

Claims (10)

1.一种车辆自适应融合检测方法，其特征在于，包括以下步骤：

S1：对同一角度获取的可见光图像和红外图像分别进行多级预处理；

S2：采用鲁棒特征对多级预处理后的可见光图像和红外图像进行配准，分别对可见光图像和红外图像中的车辆进行检测；

S3，对可见光图像与红外图像中检测到的车辆分别进行加权自适应融合，从而得到对应车辆准确的融合检测结果，加权自适应融合算法为：

其中，m_r和m_v分别为航拍可见光图像和红外图像中的图像质量；

和

为对应的依据图像质量自适应调整的权重；R为融合后的车辆检测框。

2.根据权利要求1所述的一种车辆自适应融合检测方法，其特征在于，多级预处理包括图像的畸变校正、匀光处理和平滑滤波处理。

3.根据权利要求2所述的一种车辆自适应融合检测方法，其特征在于，畸变校正采用几何校正方法对图像进行畸变校正处理，实现矫正图像畸变，匀光处理采用直方图配准的方式使相邻两幅图像的直方图趋于一致；平滑滤波采用高斯滤波法，分别在水平方向上和垂直方向上进行一维高斯平滑。

4.根据权利要求1所述的一种车辆自适应融合检测方法，其特征在于，利用生成对抗网络从可见光图像中生成对应的伪红外图像，通过加速鲁棒特征算法提取伪红外图像的特征点信息，结合鲁棒特征描述子实现特征描述并且基于Hilbert空间重构的核方法，建立单高斯鲁棒点匹配模型，在存在异常值的情况下估计映射函数最后采用加权最小二乘法估计变换类型实现可见光图像和红外图像配准。

5.根据权利要求1所述的一种车辆自适应融合检测方法，其特征在于，基于多特征融合的YOLOv3方法实现对可见光图像的车辆实时检测。

6.根据权利要求1所述的一种车辆自适应融合检测方法，其特征在于，可见光图像的车辆检测网络，将其作为航拍红外图像车辆检测的预训练网络，利用半监督迁移学习对其进行调优，以建立最终航拍红外图像车辆检测网络。

7.根据权利要求6所述的一种车辆自适应融合检测方法，其特征在于，基于多特征融合的YOLOv3方法建立可见光图像车辆检测网络，以可见光图像车辆检测网络作为红外图像车辆检测的预训练网络，利用半监督迁移学习进行调优得到红外图像车辆检测网络，实现红外图像的车辆实时检测。

8.根据权利要求6所述的一种车辆自适应融合检测方法，其特征在于，判断车辆是否在航拍可见光图像中准确检测，车辆在可见光图像中检测框置信度小于阈值，则删除该检测结果；当车辆仅在红外图像中正确检测，则保留该检测结果；当车辆同时在可见光图像和红外图像中均正确检测，则建立融合策略实现车辆在航拍可见光红外图像的实时融合检测。

9.根据权利要求6所述的一种车辆自适应融合检测方法，其特征在于，在特征提取阶段，使用darknet-53网络作为特征提取网络，在纵向上生成四种尺度大小不同的特征图，使用concat操作与darknet-53网络自身生成的四种特征图融合。

10.一种车辆自适应融合检测***，其特征在于，包括：

预处理模块，用于对同一角度获取的可见光图像和红外图像分别进行多级预处理；

配准模块，采用鲁棒特征对多级预处理后的可见光图像和红外图像进行配准，分别对可见光图像和红外图像中的车辆进行检测；

融合模块，用于对可见光图像与红外图像中检测到的车辆分别进行加权自适应融合，从而得到对应车辆准确的融合检测结果。

Images