CN114549959A - 基于目标检测模型的红外弱小目标实时检测方法和*** - Google Patents

基于目标检测模型的红外弱小目标实时检测方法和*** Download PDF

Info

Publication number
CN114549959A
CN114549959A CN202210183525.8A CN202210183525A CN114549959A CN 114549959 A CN114549959 A CN 114549959A CN 202210183525 A CN202210183525 A CN 202210183525A CN 114549959 A CN114549959 A CN 114549959A
Authority
CN
China
Prior art keywords
layer
network
infrared
target
cbl
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210183525.8A
Other languages
English (en)
Inventor
刘晓涛
魏子翔
刘静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Institute of Technology of Xidian University
Original Assignee
Guangzhou Institute of Technology of Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Institute of Technology of Xidian University filed Critical Guangzhou Institute of Technology of Xidian University
Priority to CN202210183525.8A priority Critical patent/CN114549959A/zh
Publication of CN114549959A publication Critical patent/CN114549959A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明提供了一种基于目标检测模型的红外弱小目标实时检测方法和***，构建了红外弱小飞机检测数据集，其次对提取特征主干网络进行了重新设计，使得网络能够更适应弱小目标的特征提取；再次在骨干网络后添加空间金字塔池化层，以获得不同的感受野，使得网络模型对弱小目标的定位能力增强；最后针对红外弱小目标尺寸较固定和单一，减少检测头，并通过特征金子塔将浅层信息与深层信息进行融合，使得网络具有更高的检测准确率和具有更强的鲁棒性。本发明不仅提高了在复杂背景下弱小目标检测的准确率和速度，还提高了弱小目标检测算法的鲁棒性及适应性。

Description

基于目标检测模型的红外弱小目标实时检测方法和***
技术领域
本发明涉及图像识别技术领域，特别是涉及一种基于目标检测模型的红外弱小目标实时检测方法和***。
背景技术
红外弱小目标检测是目标检测领域的研究难点和重点，弱小目标检测在国防和军事上有着重要的作用。以往红外弱小目标检测主要依靠针对目标特性对感兴趣区域搜索的方式、利用红外成像物理特性的阈值分割法以及背景预测建模法等，但是这些算法存在着检测效率低，难以应对复杂多变的场景。近年来，随着深度学习的发展，基于深度学习的目标检测算法取得了长足的发展。深度学习通过网络层的非线性变化，通过反向传播算法提取图像中的抽象特征，从而准确识别目标。然而由于红外图像成像分辨率低、对比度低以及弱小目标缺少相应的纹理等问题，导致基于公共数据集而设计的目标检测算法并不适用于红外弱小目标检测。这些已有的算法大都是针对高分辨率的可见光图像而设计的，图片中含有大中小目标，这就导致算法并不适用于红外弱小目标检测，存在一定的设计冗余。因此针对红外弱小目标检测设计专用算法迫在眉睫。
现有技术中，红外弱小目标检测算法以单帧检测和多帧检测为主。多帧检测算法一般假定背景静止，耗时比单帧算法多，难以应用到红外弱小目标实时检测。申请公布号为CN113643315A,名称为“一种基于自适应峰值梯度下降滤波器的红外小目标检测方法”的专利申请，公开了一种基于自适应峰值梯度下降滤波器的红外小目标检测方法，解决了现有红外弱小目标检测方法中存在的使用矩形窗口提取红外图像局部特征导致的无法抑制不规则杂波及弱小目标检测性能低的问题，但方法仍然很难达到实时检测。
随着深度学习方法的迅速发展，目标检测领域取得了突破性发展，为红外弱小目标检测研究带来了新的方法和思路。申请公布号为CN113591968A,名称为“一种基于非对称注意力特征融合的红外弱小目标检测方法”的专利申请，公开了一种基于非对称注意力特征融合的红外弱小目标检测方法，该方法通过深度学习的方法提升了红外弱小目标的准确度，但是检测精度还提升的空间，同时较传统方法检测速度有所提升，但未达到实时检测。这些方法以基于深度学习的目标检测网络为基础，通过优化anchor box、引入注意力机制等方法优化弱小目标检测，使得改进后的网络更加关注浅层语义信息，从而提升弱小目标检测的能力。目前大多数网络仅仅关注网络的性能，不断提高网络的复杂程度来提高红外弱小目标的检测效果，然而由于红外弱小目标占有像素点少、缺乏纹理特征等，过深和过于复杂的网络反而会使红外弱小目标的特征丢失，因此针对红外弱小目标的特点设计专用网络，使其能够在资源受限的设备上实时运行具有重要意义。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种基于目标检测模型的红外弱小目标实时检测方法和***，能有效减轻推理过程中需要大量计算的网络结构，提升模型检测红外弱小目标的性能、降低网络的复杂程度，且可靠性更高。
为了达到上述目的，本发明所采用的具体技术方案如下：
一种基于目标检测模型的红外弱小目标实时检测方法，包括：
(1)获取红外弱小目标数据集并对其进行选取和标注，得到训练集和验证集；
(2)改进目标检测模型的特征提取主干网络，在特征提取网络后添加空间金字塔池化层，优化目标检测头，构建红外弱小目标检测网络；
(3)利用损失函数和步骤(1)中的训练集和验证集对红外弱小目标检测网络进行训练，得到改进后的目标检测模型；
(4)利用改进后的目标检测模型对红外弱小目标进行检测，得到检测结果。
优选的，步骤(1)获取红外弱小目标数据集并对其进行选取和标注，得到训练集和验证集，包括：
获取红外弱小目标数据集并从中选取一部分图像数据，每个目标对应一个位置中心点；根据位置中心点坐标以及设定框对图像数据进行标注；按照设定比例将得到的数据集进行划分，得到训练集和验证集。
优选的，步骤(2)包括以下步骤：
(2a)对目标检测模型的特征提取主干网络进行改进，降低其下采样倍数；
(2b)在修改后的特征提取网络后添加空间金字塔池化层；
(2c)采用特征金字塔结构，融合浅层信息和深层信息，保留浅层网络的特征信息和较深网络的全局信息；
(2d)减少检测头数量，减少网络的冗余结构；
(2e)构建网络模型，通过重新调整网络的配置文件，得到红外弱小目标检测的基础网络模型。
优选的，步骤(2a)中由32倍下采样改为16倍下采样。
优选的，步骤(2b)中空间金字塔池化层时将输入的特征图分为4个分支，第1个分支直接向后传输，另外三个分支分别使用设定数量内核做最大池化操作，扩大感受野，然后通过通道拼接丰富特征信息。
优选的，步骤(2d)中检测头缩减为1个。
优选的，步骤(2e)中网络模型的结构为输入层→第一CBL层→第二CBL层→第一Resblock层→最大池化层→第二Resblock层→最大池化层→第三CBL层→SPP层→第四CBL层→第五CLB层→上采样层→第六CBL层→Conv层→Yolo输出层；其中第二Resblock层与上采样层联接；所述CBL是由卷积层-归一化层-激活层组成，CSP-res是由第一CBL-第二CBL-第三CBL-第四CBL，其中第一CBL路由到输出，第二CBL路由到第四CBL；
所述第一CBL层卷积核大小设置为3x3，卷积步长设为2，卷积核的个数设置为32；第二CBL层卷积核大小设置为3x3，卷积步长设为2，卷积核的个数设置为64；第三CBL层卷积核大小设置为3x3，卷积步长设为1，卷积核的个数设置为256；第四CBL层卷积核大小设置为1x1，卷积步长设为1，卷积核的个数设置为256；第五CBL层卷积核大小设置为1x1，卷积步长设为1，卷积核的个数设置为128；第六CBL层卷积核大小设置为3x3，卷积步长设为1，卷积核的个数设置为256；
所述Conv层卷积核大小设置为1x1,卷积步长设置为1，卷积核的个数设置为18；
所述第一Resblock层，由四个CBL层构成，卷积核大小分别为3x3、3x3、3x3、1x1,卷积步长均为1，卷积核个数分别为64、32、32、64；
所述第二Resblock层，由四个CBL层构成，卷积核大小分别为3x3、3x3、3x3、1x1,卷积步长均为1，卷积核个数分别为128、64、64、128；
SPP模块输入经过1x1、5x5、9x9、13x13最大池化层进行联接；
优选的，步骤(3)包括以下步骤：
(3a)对红外弱小目标检测网络的训练参数进行初始化设置；
(3b)将训练集输入红外弱小目标检测网络，利用CIoU损失函数对网络进行训练。
优选的，步骤(4)包括以下步骤：
(4a)将待检测数据输入至改进后的目标检测模型，对多尺度预测信息进行处理时，对红外弱小目标的外框、弱小目标进行极大值抑制，统计得到正确的正样本数目、错误的正样本数目以及错误的负样本数量。
一种基于目标检测模型的红外弱小目标实时检测***，包括：
数据获取单元，用于获取红外弱小目标数据集并对其进行选取和标注，得到训练集和验证集；
模型构建单元，用于改进目标检测模型的特征提取主干网络，在特征提取网络后添加空间金字塔池化层，优化目标检测头，构建红外弱小目标检测网络；
模型训练单元，利用损失函数、训练集和验证集对红外弱小目标检测网络进行训练，得到改进后的目标检测模型；
目标检测单元，利用改进后的目标检测模型对红外弱小目标进行检测，得到检测结果。
本发明的有益效果在于：通过结合跨阶段局域网络、较少下采样倍数以及融合浅层网络特征以及深层网络的全局特征，使得网络能够更好的适应弱小目标的检测，提高了检测的精度，同时也降低了网络的复杂度。与现有技术相比，本发明不仅提高了复杂场景中红外弱小目标的检测能力，而且能够使用更少的计算资源，使得弱小目标检测算法能够轻松的部署到资源受限的边缘设备上。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种基于目标检测模型的红外弱小目标实时检测方法的流程图；
图2是本发明所设计的网络基本模块；
图3是本发明所设计的网络结构图；
图4是本发明对不同场景下弱小目标检测的效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。
如图1所示，本发明提出了一种基于目标检测模型的红外弱小目标实时检测方法，包括：
(1)获取红外弱小目标数据集并对其进行选取和标注，得到训练集和验证集；
(2)改进目标检测模型的特征提取主干网络，在特征提取网络后添加空间金字塔池化层，优化目标检测头，构建红外弱小目标检测网络；
(3)利用损失函数和步骤(1)中的训练集和验证集对红外弱小目标检测网络进行训练，得到改进后的目标检测模型；
(4)利用改进后的目标检测模型对红外弱小目标进行检测，得到检测结果。
优选的，步骤(1)获取红外弱小目标数据集并对其进行选取和标注，得到训练集和验证集，包括：
获取红外弱小目标数据集并从中选取一部分图像数据，每个目标对应一个位置中心点；根据位置中心点坐标以及设定框对图像数据进行标注；按照设定比例将得到的数据集进行划分，得到训练集和验证集。
优选的，步骤(2)包括以下步骤：
(2a)对目标检测模型的特征提取主干网络进行改进，降低其下采样倍数；
(2b)在修改后的特征提取网络后添加空间金字塔池化层；
(2c)采用特征金字塔结构，融合浅层信息和深层信息，保留浅层网络的特征信息和较深网络的全局信息；
(2d)减少检测头数量，减少网络的冗余结构；
(2e)构建网络模型，通过重新调整网络的配置文件，得到红外弱小目标检测的基础网络模型。
优选的，步骤(2a)中由32倍下采样改为16倍下采样。
优选的，步骤(2b)中空间金字塔池化层时将输入的特征图分为4个分支，第1个分支直接向后传输，另外三个分支分别使用设定数量内核做最大池化操作，扩大感受野，然后通过通道拼接丰富特征信息。
优选的，步骤(2d)中检测头缩减为1个。
优选的，步骤(2e)中网络模型的结构为输入层→第一CBL层→第二CBL层→第一Resblock层→最大池化层→第二Resblock层→最大池化层→第三CBL层→SPP层→第四CBL层→第五CLB层→上采样层→第六CBL层→Conv层→Yolo输出层；其中第二Resblock层与上采样层联接；所述CBL是由卷积层-归一化层-激活层组成，CSP-res是由第一CBL-第二CBL-第三CBL-第四CBL，其中第一CBL路由到输出，第二CBL路由到第四CBL；
所述第一CBL层卷积核大小设置为3x3，卷积步长设为2，卷积核的个数设置为32；第二CBL层卷积核大小设置为3x3，卷积步长设为2，卷积核的个数设置为64；第三CBL层卷积核大小设置为3x3，卷积步长设为1，卷积核的个数设置为256；第四CBL层卷积核大小设置为1x1，卷积步长设为1，卷积核的个数设置为256；第五CBL层卷积核大小设置为1x1，卷积步长设为1，卷积核的个数设置为128；第六CBL层卷积核大小设置为3x3，卷积步长设为1，卷积核的个数设置为256；
所述Conv层卷积核大小设置为1x1,卷积步长设置为1，卷积核的个数设置为18；
所述第一Resblock层，由四个CBL层构成，卷积核大小分别为3x3、3x3、3x3、1x1,卷积步长均为1，卷积核个数分别为64、32、32、64；
所述第二Resblock层，由四个CBL层构成，卷积核大小分别为3x3、3x3、3x3、1x1,卷积步长均为1，卷积核个数分别为128、64、64、128；
SPP模块输入经过1x1、5x5、9x9、13x13最大池化层进行联接；
优选的，步骤(3)包括以下步骤：
(3a)对红外弱小目标检测网络的训练参数进行初始化设置；
(3b)将训练集输入红外弱小目标检测网络，利用CIoU损失函数对网络进行训练。
优选的，步骤(4)包括以下步骤：
(4a)将待检测数据输入至改进后的目标检测模型，对多尺度预测信息进行处理时，对红外弱小目标的外框、弱小目标进行极大值抑制，统计得到正确的正样本数目、错误的正样本数目以及错误的负样本数量。
本发明还提出了一种基于目标检测模型的红外弱小目标实时检测***，包括：
数据获取单元，用于获取红外弱小目标数据集并对其进行选取和标注，得到训练集和验证集；
模型构建单元，用于改进目标检测模型的特征提取主干网络，在特征提取网络后添加空间金字塔池化层，优化目标检测头，构建红外弱小目标检测网络；
模型训练单元，利用损失函数、训练集和验证集对红外弱小目标检测网络进行训练，得到改进后的目标检测模型；
目标检测单元，利用改进后的目标检测模型对红外弱小目标进行检测，得到检测结果。
下面以红外弱小飞机实时检测为例，对本发明进行详细说明。
步骤1)获取红外弱小目标数据集，并对获取到的红外弱小目标数据集进行选取和标注，构建本发明所使用的红外弱小目标数据集：
步骤1a)本次实验所选用的数据集取自地/空背景下红外弱小飞机目标检测跟踪数据集中的data5、data10和data21，共计3900张，该数据集中图片格式为bmp，分辨率为256x256，位深为24位，每个目标对应一个标注位置中心点；
步骤1b)将data5、data10和data21文件夹下的bmp文件转换成jpg文件；
步骤1c)将data5、data10和data21文件夹中的jpg文件重命名并整合到JPEGImages文件夹中；
步骤1c1)对于每张图片按照datax_000xxx.jpg进行命名，以防止数据混乱；也可以其他方式进行统一命名，本发明不做限定。
步骤1d)根据目标中心点坐标，以及选用宽为12，高为6的框对数据进行标注，将类别、归一化后的中心点坐标以及归一化宽高写入与图片对应的txt文件中；
步骤1e)将JPEGImages文件夹下的70％的数据作为训练集样本，15％的数据作为验证集，剩下的作为测试集；也可将80％的数据作为训练集样本，20％的数据作为验证集，测试集从数据中随机抽取，具体的比例不做限定。
步骤1e1)采用随机抽出的方法从JPEGImages文件夹下抽出训练集、验证集和测试集；
步骤1e2)将训练样本集中的所有图片的路径和名称写入ImageSets/Main文件夹下的trainval.txt文件中，将测试样本集中所有图片的名称写入ImageSets/Main文件夹下的test.txt文件中，其中每幅图片的名称在trainval.txt文件和test.txt文件中作为一行；
步骤2)构建红外弱小目标检测网络：
步骤2a)对yolov4-tiny的特征提取主干网络进行改进，将网络由原来的32倍下采样改为16倍下采样，以保证弱小目标信息不丢失，同时减小了网络的计算复杂度；
步骤2a1)参照图2(a)CBL层是由标准卷积层batchnorm批量归一化层和Leaky非线性激活函数层构成，其中leaky非线性激活函数的斜率为0.1。
步骤2a2)参照图2(b)Resblock层，由四个CBL层构成和输出构成，其中第一个CBL输出直接到达输出，第二个CBL输出作为第四个CBL的一个输入，最大化梯度联合的差异能够网络的学习能力，减轻计算量。
步骤2b)在修改后的特征提取网络后面添加空间金字塔池化层，通过不同尺度的最大池化操作，获得更大的感受野，将全局特征和局部特征结合在一起，以加强网络对红外弱小目标的定位能力；
步骤2b1)参照图2(c)，空间金字塔池化模块时将输入的特征图分为4个分支，第1个分支不做任何处理，直接向后传输，另外三个分支分别使用最大池化核为5、9和13的内核做最大池化操作，扩大感受野，然后通过通道拼接丰富特征信息，提升检测性能。
步骤2c)将yolo的检测头由2个缩减为1个，使得网络能够更加精确的识别红外弱小目标；
步骤2c1)将原始网络结构中用于预测大物体的检测头去掉，只留下用于检测小物体的检测头。
步骤2c2)对Yolov4-tiny目标检测网络中的瞄框个数以及瞄框大小进行修正，将锚框数量由原来6个降至3个，瞄框大小设置为(10,3)、(12,6)和(14,7)；
如图3所示，步骤2d)构建网络模型，通过重新调整网络的配置文件，得到红外弱小目标检测的基础网络模型。
步骤2d1)搭建网络，其结构为输入层→第一CBL层→第二CBL层→第一Resblock层→最大池化层→第二Resblock层→最大池化层→第三CBL层→SPP层→第四CBL层→第五CLB层→上采样层→第六CBL层→Conv层→Yolo输出层。其中第二Resblock层与上采样层联接。所述CBL是由卷积层-归一化层-激活层组成，CSP-res是由第一CBL-第二CBL-第三CBL-第四CBL，其中第一CBL路由到输出，第二CBL路由到第四CBL。
步骤2d2)所述第一CBL层卷积核大小设置为3x3，卷积步长设为2，卷积核的个数设置为32；第二CBL层卷积核大小设置为3x3，卷积步长设为2，卷积核的个数设置为64第三CBL层卷积核大小设置为3x3，卷积步长设为1，卷积核的个数设置为256；第四CBL层卷积核大小设置为1x1，卷积步长设为1，卷积核的个数设置为256；第五CBL层卷积核大小设置为1x1，卷积步长设为1，卷积核的个数设置为128；第六CBL层卷积核大小设置为3x3，卷积步长设为1，卷积核的个数设置为256；
步骤2d3)Conv层卷积核大小设置为1x1,卷积步长设置为1，卷积核的个数设置为18；
步骤2d4)所述第一Resblock层，由四个CBL层构成如图2所示，卷积核大小分别为3x3、3x3、3x3、1x1,卷积步长均为1，卷积核个数分别为64、32、32、64；
步骤2d5)所述第二Resblock层，由四个CBL层构成如图2所示，卷积核大小分别为3x3、3x3、3x3、1x1,卷积步长均为1，卷积核个数分别为128、64、64、128；
步骤2d6)所述SPP模块如图所示，输入经过1x1、5x5、9x9、13x13最大池化层进行联接；
步骤2d7)具体实施时卷积层用来提取特征，route层用来联接特征图，最大池化层用来降低卷积层对位置的敏感性，上采样层用来增加特征图的维度，yolo层用来进行目标物体的类别和位置
步骤3)利用损失函数对红外弱小目标数据集进行训练
步骤3a)对红外弱小飞机检测网络的训练参数进行初始化设置：
修改文件voc.data中训练集和测试集的路径，并设置max_batches为6000次，学习率learning_rate设置为0.00261，batch＝64,subdivisions＝8,一次加载64张图片到内存，分8次完成前向传播，每次8张，经过64张图片的前向传播后，完成一次反向传播及更新，将输入图片的宽高设置为256。
步骤3b)利用CIoU损失函数对网络进行训练，CIoU损失函数可用以下四个式子表示：
Figure BDA0003522582760000091
Figure BDA0003522582760000092
Figure BDA0003522582760000093
Figure BDA0003522582760000094
CIou考虑了两个检测框的重叠面积、中心距离、和长宽比，ρ2(b，bgt)为预测框和标注框中心点欧氏距离，c是同时包含预测框和标注框的最小闭包区域的对角线距离，bgt表示标注框的中心点坐标。wgt和hgt为真实框的宽和高，w和h为预测框的宽和高，α是一个正数，v用来测量长宽比的一致性，IoU表示预测框和真实框的交并比
步骤4)使用改进后的yolov4-tiny模型对红外弱小飞机进行检测，得到检测结果
步骤4a)对多尺度预测信息进行处理时，对红外弱小目标的外框、弱小目标进行极大值抑制，并在对红外弱小目标外框、弱小目标均进行极大值抑制处理后，能统计得到正确的正样本数目NTP、错误的正样本数目NFP以及错误的负样本的个数NFN；
步骤4a1)正确率(Accuracy)：表示正负样本被正确分类的比例
Figure BDA0003522582760000101
步骤4a2)精确率(Precision)：表示原本为正类样本在所有被分类为正样本的比例
Figure BDA0003522582760000102
步骤4a3)召回率(Recall)：表示原本为正样本在原本正样本的比例
Figure BDA0003522582760000103
将待检测的红外弱小目标测试集输入到红外弱小目标检测网络中进行前向计算，得到红外弱小飞机目标的检测结果。
以下结合仿真实验，对本发明的技术效果作进一步说明：
1.仿真条件和内容：
本发明的仿真实验是在GPU GeForce GTX 2080Ti,RAM 32G的硬件环境与Ubuntu18.04的软件环境下基于Darknet框架实现的。实验中使用的数据集来源于2019年回丙伟等人通过典型场景设计、场外实验拍摄、数据处理标注等方法步骤所制备的面向红外序列图像中弱小飞机目标检测跟踪数据集中的部分数据。
仿真实验：根据本发明构建的红外弱小目标数据集后，对训练集使用优化后的网络进行6000次的迭代训练。将测试集输入到已训练好的红外弱小目标检测数据上进行检测，如图4所示。
2.仿真结果分析：
本发明所得到的红外弱小目标检测结果与其他红外弱小目标检测算法相比有明显的优势，本发明对红外弱小目标检测的准确率高达98.24％，而现有技术仅为92％。在GPUGeForce RTX 2080 Ti上对红外弱小飞机帧率测试,平均帧率达911.7fps，而原始的yolov4-tiny仅为443fps，检测速度提升两倍多。从检测结果可以看出，本发明对各种复杂场景下的红外弱小飞机目标都能达到很好的检测效果。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，本领域技术人员完全可以在不偏离本发明技术思想的范围内，进行多样的变更以及修改。本发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求书范围来确定其技术性范围。

Claims (10)

1.一种基于目标检测模型的红外弱小目标实时检测方法，其特征在于，包括：
(1)获取红外弱小目标数据集并对其进行选取和标注，得到训练集和验证集；
(2)改进目标检测模型的特征提取主干网络，在特征提取网络后添加空间金字塔池化层，优化目标检测头，构建红外弱小目标检测网络；
(3)利用损失函数和步骤(1)中的训练集和验证集对红外弱小目标检测网络进行训练，得到改进后的目标检测模型；
(4)利用改进后的目标检测模型对红外弱小目标进行检测，得到检测结果。
2.根据权利要求1所述的基于目标检测模型的红外弱小目标实时检测方法，其特征在于，步骤(1)获取红外弱小目标数据集并对其进行选取和标注，得到训练集和验证集，包括：
获取红外弱小目标数据集并从中选取一部分图像数据，每个目标对应一个位置中心点；根据位置中心点坐标以及设定框对图像数据进行标注；按照设定比例将得到的数据集进行划分，得到训练集和验证集。
3.根据权利要求1所述的基于目标检测模型的红外弱小目标实时检测方法，其特征在于，步骤(2)包括以下步骤：
(2a)对目标检测模型的特征提取主干网络进行改进，降低其下采样倍数；
(2b)在修改后的特征提取网络后添加空间金字塔池化层；
(2c)采用特征金字塔结构，融合浅层信息和深层信息，保留浅层网络的特征信息和较深网络的全局信息；
(2d)减少检测头数量，减少网络的冗余结构；
(2e)构建网络模型，通过重新调整网络的配置文件，得到红外弱小目标检测的基础网络模型。
4.根据权利要求3所述的基于目标检测模型的红外弱小目标实时检测方法，其特征在于，步骤(2a)中由32倍下采样改为16倍下采样。
5.根据权利要求3所述的基于目标检测模型的红外弱小目标实时检测方法，其特征在于，步骤(2b)中空间金字塔池化层时将输入的特征图分为4个分支，第1个分支直接向后传输，另外三个分支分别使用设定数量内核做最大池化操作，扩大感受野，然后通过通道拼接丰富特征信息。
6.根据权利要求3所述的基于目标检测模型的红外弱小目标实时检测方法，其特征在于，步骤(2d)中检测头缩减为1个。
7.根据权利要求3所述的基于目标检测模型的红外弱小目标实时检测方法，其特征在于，步骤(2e)中网络模型的结构为输入层→第一CBL层→第二CBL层→第一Resblock层→最大池化层→第二Resblock层→最大池化层→第三CBL层→SPP层→第四CBL层→第五CLB层→上采样层→第六CBL层→Conv层→Yolo输出层；其中第二Resblock层与上采样层联接；所述CBL是由卷积层-归一化层-激活层组成，CSP-res是由第一CBL-第二CBL-第三CBL-第四CBL，其中第一CBL路由到输出，第二CBL路由到第四CBL；
所述第一CBL层卷积核大小设置为3x3，卷积步长设为2，卷积核的个数设置为32；第二CBL层卷积核大小设置为3x3，卷积步长设为2，卷积核的个数设置为64；第三CBL层卷积核大小设置为3x3，卷积步长设为1，卷积核的个数设置为256；第四CBL层卷积核大小设置为1x1，卷积步长设为1，卷积核的个数设置为256；第五CBL层卷积核大小设置为1x1，卷积步长设为1，卷积核的个数设置为128；第六CBL层卷积核大小设置为3x3，卷积步长设为1，卷积核的个数设置为256；
所述Conv层卷积核大小设置为1x1,卷积步长设置为1，卷积核的个数设置为18；
所述第一Resblock层，由四个CBL层构成，卷积核大小分别为3x3、3x3、3x3、1x1,卷积步长均为1，卷积核个数分别为64、32、32、64；
所述第二Resblock层，由四个CBL层构成，卷积核大小分别为3x3、3x3、3x3、1x1,卷积步长均为1，卷积核个数分别为128、64、64、128；
SPP模块输入经过1x1、5x5、9x9、13x13最大池化层进行联接。
8.根据权利要求1所述的基于目标检测模型的红外弱小目标实时检测方法，其特征在于，步骤(3)包括以下步骤：
(3a)对红外弱小目标检测网络的训练参数进行初始化设置；
(3b)将训练集输入红外弱小目标检测网络，利用CIoU损失函数对网络进行训练。
9.根据权利要求1所述的基于目标检测模型的红外弱小目标实时检测方法，其特征在于，步骤(4)包括以下步骤：
(4a)将待检测数据输入至改进后的目标检测模型，对多尺度预测信息进行处理时，对红外弱小目标的外框、弱小目标进行极大值抑制，统计得到正确的正样本数目、错误的正样本数目以及错误的负样本数量。
10.一种基于目标检测模型的红外弱小目标实时检测***，其特征在于，包括：
数据获取单元，用于获取红外弱小目标数据集并对其进行选取和标注，得到训练集和验证集；
模型构建单元，用于改进目标检测模型的特征提取主干网络，在特征提取网络后添加空间金字塔池化层，优化目标检测头，构建红外弱小目标检测网络；
模型训练单元，利用损失函数、训练集和验证集对红外弱小目标检测网络进行训练，得到改进后的目标检测模型；
目标检测单元，利用改进后的目标检测模型对红外弱小目标进行检测，得到检测结果。
CN202210183525.8A 2022-02-28 2022-02-28 基于目标检测模型的红外弱小目标实时检测方法和*** Pending CN114549959A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210183525.8A CN114549959A (zh) 2022-02-28 2022-02-28 基于目标检测模型的红外弱小目标实时检测方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210183525.8A CN114549959A (zh) 2022-02-28 2022-02-28 基于目标检测模型的红外弱小目标实时检测方法和***

Publications (1)

Publication Number Publication Date
CN114549959A true CN114549959A (zh) 2022-05-27

Family

ID=81678571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210183525.8A Pending CN114549959A (zh) 2022-02-28 2022-02-28 基于目标检测模型的红外弱小目标实时检测方法和***

Country Status (1)

Country Link
CN (1) CN114549959A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665015A (zh) * 2023-06-26 2023-08-29 中国科学院长春光学精密机械与物理研究所 一种基于YOLOv5的红外序列图像弱小目标检测方法
CN117576488A (zh) * 2024-01-17 2024-02-20 海豚乐智科技(成都)有限责任公司 一种基于目标图像重建的红外弱小目标检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665015A (zh) * 2023-06-26 2023-08-29 中国科学院长春光学精密机械与物理研究所 一种基于YOLOv5的红外序列图像弱小目标检测方法
CN116665015B (zh) * 2023-06-26 2024-04-02 中国科学院长春光学精密机械与物理研究所 一种基于YOLOv5的红外序列图像弱小目标检测方法
CN117576488A (zh) * 2024-01-17 2024-02-20 海豚乐智科技(成都)有限责任公司 一种基于目标图像重建的红外弱小目标检测方法
CN117576488B (zh) * 2024-01-17 2024-04-05 海豚乐智科技(成都)有限责任公司 一种基于目标图像重建的红外弱小目标检测方法

Similar Documents

Publication Publication Date Title
CN111104898B (zh) 基于目标语义和注意力机制的图像场景分类方法及装置
Li et al. Cross-layer attention network for small object detection in remote sensing imagery
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN111783590A (zh) 一种基于度量学习的多类别小目标检测方法
CN111476159B (zh) 一种基于双角回归的检测模型训练、检测方法及装置
CN109978035B (zh) 基于改进的k-means和损失函数的行人检测方法
Wang et al. Small-object detection based on yolo and dense block via image super-resolution
CN108334848A (zh) 一种基于生成对抗网络的微小人脸识别方法
CN114565860B (zh) 一种多维度增强学习合成孔径雷达图像目标检测方法
CN114549959A (zh) 基于目标检测模型的红外弱小目标实时检测方法和***
CN111611861B (zh) 一种基于多尺度特征关联的图像变化检测方法
CN111191649A (zh) 一种识别弯曲多行文本图像的方法与设备
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN113435269A (zh) 一种基于YOLOv3改进的水面漂浮物检测与识别方法及***
CN114117614A (zh) 一种建筑物立面纹理自动生成方法和***
CN109409288A (zh) 图像处理方法、装置、电子设备和存储介质
CN110659601A (zh) 基于中心点的深度全卷积网络遥感图像密集车辆检测方法
CN111539456B (zh) 一种目标识别方法及设备
JP2019185787A (ja) 地理的地域内のコンテナのリモート決定
CN114119514B (zh) 一种红外弱小目标的检测方法、装置、电子设备和存储介质
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN115861848A (zh) 一种对岩体图像处理的方法及装置
Hu et al. Supervised multi-scale attention-guided ship detection in optical remote sensing images
CN114519819A (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN113111740A (zh) 一种遥感图像目标检测的特征编织方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination