CN117726807B - 基于尺度和位置敏感性的红外小目标检测方法及*** - Google Patents
基于尺度和位置敏感性的红外小目标检测方法及*** Download PDFInfo
- Publication number
- CN117726807B CN117726807B CN202410176677.4A CN202410176677A CN117726807B CN 117726807 B CN117726807 B CN 117726807B CN 202410176677 A CN202410176677 A CN 202410176677A CN 117726807 B CN117726807 B CN 117726807B
- Authority
- CN
- China
- Prior art keywords
- scale
- detection
- representing
- target
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 174
- 230000035945 sensitivity Effects 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 88
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 24
- 238000005516 engineering process Methods 0.000 claims abstract description 16
- 238000013434 data augmentation Methods 0.000 claims abstract description 15
- 230000003416 augmentation Effects 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 96
- 238000012545 processing Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000001965 increasing effect Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本申请提出了一种基于尺度和位置敏感性的红外小目标检测方法及***，该方法包括：对预设的红外小目标数据集进行预处理，通过多种数据增强技术对红外小目标数据集进行数据增广操作；将增广得到的不同尺度的训练数据输入深度卷积神经网络进行不同尺度的预测，获得多尺度预测结果；对深度卷积神经网络进行训练，获得训练完成的深度卷积检测模型，其中，在训练过程中通过尺度与位置敏感损失函数约束多尺度预测结果；将待检测的目标红外图像输入训练完成的深度卷积检测模型，获得对检测目标的预测结果。该方法通过更轻量化的检测模型，可以精确区分检测目标的尺度和位置，提高了红外小目标检测的精确性。
Description
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种基于尺度和位置敏感性的红外小目标检测方法及***。
背景技术
目前，红外小目标检测已经广泛应用于海上监视和交通管理等多个领域中，红外小目标检测是一项重要的计算机视觉任务，旨在从红外图像中精确地识别和定位相对较小和昏暗的检测目标。近年来，随着深度学习技术的发展，红外小目标检测已经由传统的手工设计特征的检测方式转变为基于深度学习模型的检测方式。
相关技术中，在基于深度学习模型进行红外小目标检测时，通常需要设计复杂的深度学习网络模型结构，以满足检测精度的需求。并且，对于深度学习网络模型在训练过程中采用的损失函数，一般是采用交并比损失函数。
然而，上述相关技术中的检测方案，构建复杂的模型会耗费较多的计算资源，增加训练成本，容易过拟合训练数据。并且，其采用的交并比损失函数对检测目标的尺度和位置缺乏敏感性，难以区分不同尺度和位置的目标。
因此，如何解决损失函数对尺度和位置不敏感的问题，且降低成深度学习网络模型的复杂度，成为目前亟需解决的技术问题。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种基于尺度和位置敏感性的红外小目标检测方法，该方法从红外小目标检测的需求出发，通过更轻量化的检测模型，可以精确的区分检测目标的尺度和位置，解决了检测网络模型复杂度高和损失函数设计不合理等问题，提高了红外小目标检测的精确性。
本申请的第二个目的在于提出一种基于尺度和位置敏感性的红外小目标检测***；
本申请的第三个目的在于提出一种电子设备；
本申请的第四个目的在于提出一种计算机可读存储介质。
为达上述目的，本申请的第一方面在于提出一种基于尺度和位置敏感性的红外小目标检测方法，该方法包括以下步骤：
对预设的红外小目标数据集进行预处理，通过多种数据增强技术对所述红外小目标数据集进行数据增广操作；
将增广得到的不同尺度的训练数据输入深度卷积神经网络进行不同尺度的预测，获得多尺度预测结果；
对所述深度卷积神经网络进行训练，获得训练完成的深度卷积检测模型，其中，在训练过程中通过尺度与位置敏感损失函数约束所述多尺度预测结果；
将待检测的目标红外图像输入所述训练完成的深度卷积检测模型，获得对检测目标的预测结果。
可选地，根据本申请的一个实施方式，所述通过多种数据增强技术对所述红外小目标数据集进行数据增广操作，包括：对于所述红外小目标数据集中的每张原始图像，通过随机裁剪技术裁剪所述原始图像的不同区域，生成不同尺寸和位置的训练样本；对每个所述训练样本进行随机的高斯模糊处理，以模拟原始红外图像的模糊效果。
可选地，根据本申请的一个实施方式，所述将增广得到的不同尺度的训练数据输入深度卷积神经网络进行不同尺度的预测，获得多尺度预测结果，包括：将所述不同尺度的训练数据分别输入至所述深度卷积神经网络中对应的检测头模块，获取每个所述检测头模块根据输入特征输出的预测结果；通过特征拼接算法将全部的所述预测结果拼接为所述多尺度预测结果。
可选地，根据本申请的一个实施方式，在存在四种尺度的训练数据时，通过以下公式计算所述多尺度预测结果：
其中，表示多尺度预测结果，/>表示激活函数，/>表示卷积函数，表示以第二个参数为倍数对第一个参数进行上采样的操作，/>表示拼接操作，p i表示不同检测头输出的预测结果，i=1，2，3，4。
可选地，根据本申请的一个实施方式，所述尺度与位置敏感损失函数由尺度敏感损失函数和位置敏感损失函数相加得到，所述尺度敏感损失函数根据检测目标的预测尺度和真实尺度计算损失权重，所述尺度敏感损失函数通过以下公式表示：
其中，，
其中，表示模型预测的检测目标的像素集合，/>表示实际的检测目标的像素集合，/>表示最小值函数，/>表示最大值函数，表示方差计算函数。
可选地，根据本申请的一个实施方式，所述位置敏感损失函数根据检测目标的预测中心点和真实中心点计算位置惩罚值，所述位置敏感损失函数通过以下公式表示：
其中，，/>，/>，/>，
其中，表示模型预测的检测目标的中心点，/>表示实际的检测目标的中心点，/>表示预测中心点与预设坐标系原点之间的距离，/>表示实际中心的与预设坐标系原点之间的距离，/>表示预测中心点至原点的连线与预设坐标系的x轴所成的夹角的角度值，/>表示实际中心至原点的连线与预设坐标系的x轴所成的夹角的角度值。
为达上述目的，本申请的第二方面还提出了一种基于尺度和位置敏感性的红外小目标检测***，包括以下模块：
数据增强模块，用于对预设的红外小目标数据集进行预处理，通过多种数据增强技术对所述红外小目标数据集进行数据增广操作；
计算模块，用于将增广得到的不同尺度的训练数据输入深度卷积神经网络进行不同尺度的预测，获得多尺度预测结果；
训练模块，用于对所述深度卷积神经网络进行训练，获得训练完成的深度卷积检测模型，其中，在训练过程中通过尺度与位置敏感损失函数约束所述多尺度预测结果；
检测模块，用于将待检测的目标红外图像输入所述训练完成的深度卷积检测模型，获得对检测目标的预测结果。
为达上述目的，本申请第三方面还提出了一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如上述第一方面中任一项所述的基于尺度和位置敏感性的红外小目标检测。
为达上述目的，本申请第四方面还提出了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面中任一项所述的基于尺度和位置敏感性的红外小目标检测。
本申请的实施例提供的技术方案至少带来以下有益效果：本申请在深度学习神经网络的训练过程中，采用了尺度敏感与位置敏感相融合的损失函数，根据多样化的训练数据自适应地学习以调整模型参数，基于对检测目标的尺度和位置具有敏感性的损失函数，使得训练完成的红外小目标检测模型能够区分不同尺度和不同位置的检测目标，实现更高精度的红外小目标检测。并且，本申请还实现了多尺度的预测，对不同尺度的预测结果进行损失约束，进一步提高了红外小目标检测的精度。并且，本申请可以充分利用不同尺度的特征信息，降低模型复杂度，实现更轻量化的红外小目标检测，减少了模型训练成本和检测所耗费的资源。由此，本申请通过更轻量化的检测模型可以精确区分检测目标的尺度和位置，提高了红外小目标检测的精确性和适用性。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提出的一种基于尺度和位置敏感性的红外小目标检测方法的流程图；
图2为本申请实施例提出的一种多尺度特征预测的原理示意图；
图3为本申请实施例提出的一种红外小目标的检测效果示意图；
图4为本申请实施例提出的一种基于尺度和位置敏感性的红外小目标检测***的工作原理示意图；
图5为本申请实施例提出的一种基于尺度和位置敏感性的红外小目标检测***的结构示意图；
图6为本申请实施例提出的一种电子设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
需要说明的是，本申请实施的基于尺度和位置敏感性的红外小目标检测方法，作为一种可能的实现方式，可以由本申请提出的基于尺度和位置敏感性的红外小目标检测方法***执行，该基于尺度和位置敏感性的红外小目标检测方法***可以应用于任一电子设备中，以使该电子设备可以执行红外小目标检测功能。
其中，该电子设备可以为任一具有计算能力的设备，例如可以为具有红外图像采集功能的检测设备，或者是接收检测数据后进行数据处理的个人电脑PC和移动终端。
还需说明的是，在相关实施例中进行红外小目标检测时，第一类方案是采用传统的手工设计特征。该方案中由于手工设计特征通常是基于经验和先验知识的，因此在面对多样化、动态性的实际应用场景时可能表现出较差的性能。其次，该类方案在处理噪声、光照变化和目标遮挡等复杂情况时可能效果不佳。这是因为这些方法往往难以捕捉到复杂场景中目标的抽象和高级特征，导致检测精度受到影响。
而第二类方案是采用基于深度学习的检测方法。该方案依赖于设计复杂模型结构，然而，增加模型复杂度可能导致在训练阶段需要更多的数据和计算资源，增加了训练成本和时间。其次，复杂模型容易过拟合训练数据，降低在真实场景中的泛化性能，尤其是在面对噪声和变化多端的红外场景时。此外，复杂模型在部署过程中的步骤更加复杂，需要更大的计算资源，不利于在资源受限的红外设备上进行实时应用。
并且，在深度学习过程中，损失函数的选择直接影响到模型的优化过程。一个合适的损失函数可以在不提高模型复杂度的情况下显著提高模型性能。然而，相关实施例中的红外小目标检测方法对于损失函数的研究相对较少。广泛使用的交并比损失对目标的尺度和位置缺乏敏感性，不同尺度和不同位置的目标可能具有相同的交并比损失。这种对尺度和位置不敏感的特性使得检测模型难以区分不同尺度和位置的目标，最终限制了检测性能。而其他的少数类型的损失函数大都是针对特定网络设计的，限制了它们的适用性。
为此，本申请提出一种基于尺度和位置敏感性的红外小目标检测方法，通过更轻量化的检测模型，可以精确区分检测目标的尺度和位置，提高了红外小目标检测的精确性。
下面参考附图描述本发明实施例所提出的一种基于尺度和位置敏感性的红外小目标检测方法、***及电子设备。
图1为本申请实施例提出的一种基于尺度和位置敏感性的红外小目标检测方法的流程图，如图1所示，该方法包括以下步骤：
步骤S101：对预设的红外小目标数据集进行预处理，通过多种数据增强技术对红外小目标数据集进行数据增广操作。
具体的，先获取已有的红外小目标数据集作为深度卷积神经网络的训练数据，然后预处理红外小目标数据集，在预处理过程中可以利用数据增强技术增加数据集中数据的多样性。
需要说明的是，由于通过各种方式获取的已公开的红外小目标数据集相对有限，数据集中图像数据的数量和类型等都较少，直接使用有限的原始数据进行训练可能导致深度神经网络过度拟合，降低了模型的泛化能力，使其在实际应用中难以取得理想效果。因此，本申请采用多种数据增强技术对原始数据进行增广操作，扩展了训练数据的规模，提升了数据的多样性，从而增强了模型的泛化性能和性能表现。具体采用的数据增强技术可以根据实际需要确定。
在本申请一个实施例中，通过多种数据增强技术对红外小目标数据集进行数据增广操作，包括：对于红外小目标数据集中的每张原始图像，通过随机裁剪技术裁剪原始图像的不同区域，生成不同尺寸和位置的训练样本；对每个训练样本进行随机的高斯模糊处理，以模拟原始红外图像的模糊效果。
具体而言，在本实施例中先利用随机裁剪技术，裁剪原始图像的不同区域，进而每张原始图像可以生成不同大小和位置的训练样本，从而模拟不同尺度和待测小目标在不同位置的真实红外图像。然后，对生成的图像随机添加高斯模糊，即，运用高斯模糊GaussianBlur算法在生成的各个训练样本中随机的添加噪点或纹理等，以使得生成的训练样本能够模拟真实的红外图像中的自然模糊效果。
由此，通过上述处理，可以增加训练数据的图像多样性，有助于增强训练后的模型的鲁棒性和泛化性，提高模型进行检测的准确率和性能。
步骤S102：将增广得到的不同尺度的训练数据输入深度卷积神经网络进行不同尺度的预测，获得多尺度预测结果。
具体的，将增广处理后的训练数据输入预先建立的深度卷积神经网络，深度卷积神经网络进行运算处理后输出关于图像数据中的检测目标的多尺度预测结果，以便后续根据神经网络输出的预测结果对深度卷积神经网络进行训练。
为了更加清楚的说明本申请进行多尺度特征预测以及根据预测结果进行模型训练的实现过程，下面结合图2所示的多尺度特征预测和训练深度卷积神经网络的实现原理进行示例性说明。
在本实施例中，可以选用实际应用中常用的U-Net网络作为主干网络。由于在上一步骤中，通过数据增广操作得到了不同尺度的图像作为训练数据，比如，如图2所示，对于一张原始图像可以生成4张不同尺寸的训练样本图像。因此在深度卷积神经网络的解码器部分，可以将具有不同尺度的特征图（即图2中x1至x4的训练样本图像）作为输入特征，输入到不同的检测头中以获得不同尺度的预测。即，如图2所示，对于x1至x4的每个特征图，均预设了一个对应的检测头模块进行预测运算，每个特征图对应一个预测结果。然后，将来自不同特征图的所有预测结果最终被拼接起来以获得最终的预测结果。
具体实施时，将增广得到的不同尺度的训练数据输入深度卷积神经网络进行不同尺度的预测，获得多尺度预测结果，包括：将不同尺度的训练数据分别输入至深度卷积神经网络中对应的检测头模块，获取每个检测头模块根据输入特征输出的预测结果；通过特征拼接算法将全部的预测结果拼接为所述多尺度预测结果。
举例而言，参照图2所示的示例，每个检测头获得预测结果的过程可以通过以下公式表示：
其中，和/>分别表示不同尺度的预测结果和特征输入，在本示例中i可以为1至4，和/>分别表示sigmoid激活函数和卷积操作，对应图2中的Sigmoid模块和Conv3×3卷积模块。
进一步的，在本示例中存在四种尺度的训练数据（即特征图）时，通过以下公式计算最终的多尺度预测结果：
其中，表示多尺度预测结果，/>表示激活函数，/>表示卷积函数，表示以第二个参数为倍数对第一个参数进行上采样的操作，/>表示拼接操作，p i表示不同检测头输出的预测结果，i=1，2，3，4。
由此，本申请对输入的一组不同尺度的训练数据，可以得到关于图像中的检测目标的多尺度预测结果，结果中包括待检测的红外小目标在不同尺度的特征图中的定位结果。在实际应用中，一组不同尺度的特征图中的尺度数量，可以根据实际的检测需要和数据增强过程等因素确定，本申请对此不做限制。
步骤S103：对深度卷积神经网络进行训练，获得训练完成的深度卷积检测模型，其中，在训练过程中通过尺度与位置敏感损失函数约束多尺度预测结果。
具体的，利用数据增强后的训练数据，对预先构建的深度卷积神经网络进行训练，直至深度卷积神经网络的预测结果能够满足实际红外小目标检测要求，从而得到用于红外小目标检测的深度卷积检测模型。
其中，在模型训练过程中，对于一组训练数据，通过上述步骤S102所示的方式得到多尺度预测结果，再对每一个预测结果通过本申请提出的尺度与位置敏感损失函数，计算尺度和位置敏感损失，以约束不同尺度预测结果，从而使得网络获得对于检测目标不同的注意力，获得更好的整体检测性能。
在本申请一个实施例中，本申请的尺度与位置敏感损失函数由尺度敏感损失函数和位置敏感损失函数相加得到，即可以将尺度和位置敏感损失函数通过以下公式表示：
其中，表示尺度敏感损失函数，/>表示位置敏感损失函数。
其中，尺度敏感损失函数根据检测目标的预测尺度和真实尺度计算损失权重，该尺度敏感损失函数通过以下公式表示：
其中，，
其中，表示模型预测的检测目标的像素集合，/>表示实际的检测目标的像素集合，/>表示最小值函数，/>表示最大值函数，表示方差计算函数。
由此可知，本申请的函数根据检测目标的预测尺度和真实尺度计算得到一个损失的权重。该权重改变了传统交并比的尺度不敏感性，当预测尺度和真实尺度之间的差距越大，检测网络就越关注该目标。
进一步的，在本实施例中，位置敏感损失函数根据检测目标的预测中心点和真实中心点计算位置惩罚值，该位置敏感损失函数可以通过以下公式表示：
其中，，/>，/>，/>，
其中，表示深度卷积神经网络模型预测的检测目标的中心点，/>表示实际的检测目标的中心点，/>表示预测中心点与预设坐标系原点之间的距离，/>表示实际中心的与预设坐标系原点之间的距离，/>表示预测中心点至原点的连线与预设坐标系的x轴所成的夹角的角度值，/>表示实际中心至原点的连线与预设坐标系的x轴所成的夹角的角度值。
在本实施例中，对于每张红外图像，预先以红外图像的左上角作为坐标系的原点，以图像的上边界作为x轴且左边界作为y轴，建立出上述的预设坐标系，进而再进行后续的运算。
由此可知，本申请的函数根据检测目标的预测中心点和真实中心点设计位置惩罚，惩罚值根据不同类型的定位误差而变化，使得网络能更精确地定位目标。
更进一步的，由于本申请将尺度敏感损失和位置敏感损失相加，得到了最终的尺度和位置敏感损失函数，通过该损失函数训练检测模型，因此，本申请可以具有更加精准的检测效果。
举例而言，本申请通过试验，对几种具有不同尺度和不同位置的红外小目标进行实际检测，采集了本申请的尺度与位置敏感损失函数对于不同检测目标的损失值，以及相关实施例中的交并比损失函数的检测结果。其中，本申请的尺度与位置敏感损失函数，对于不同尺度和不同位置的检测目标的检测结果如图3所示，对于每一种检测目标均具有精确的、不同的损失值L。而交并比损失函数在不同情况下具有相同的值， 比如，对于图3中第一行的检测目标，交并比损失均为0.4，而对于图3中第二行的检测目标，交并比损失均为0.3。由此可以看出，本申请的尺度与位置敏感损失函数能够从损失数值上反映出检测目标不同位置和尺度的差异。
由此，基于上述训练方式，可以通过大量训练数据对深度卷积神经网络进行多轮训练，根据每轮的计算结果调整模型参数，网络在训练过程中遵循梯度下降的原则，不断调整得到检测模型的最优参数，通过加载这些最优参数得到最优的检测模型。
步骤S104：将待检测的目标红外图像输入训练完成的深度卷积检测模型，获得对检测目标的预测结果。
具体的，在实际进行红外小目标检测过程中，调用已训练完成的深度卷积检测模型，将当前待检测的目标红外图像输入训练完成的深度卷积检测模型，得到深度卷积检测模型输出的从目标红外图像中识别出的检测目标，以及对于检测目标的定位信息等检测结果。
综上所述，本申请实施例的基于尺度和位置敏感性的红外小目标检测方法，在深度学习神经网络的训练过程中，采用了尺度敏感与位置敏感相融合的损失函数，根据多样化的训练数据自适应地学习以调整模型参数，基于对检测目标的尺度和位置具有敏感性的损失函数，使得训练完成的红外小目标检测模型能够区分不同尺度和不同位置的检测目标，实现更高精度的红外小目标检测。并且，该方法还实现了多尺度的预测，对不同尺度的预测结果进行损失约束，进一步提高了红外小目标检测的精度。并且，该方法可以充分利用不同尺度的特征信息，降低模型复杂度，实现更轻量化的红外小目标检测，减少了模型训练成本和检测所耗费的资源。由此，该方法通过更轻量化的检测模型可以精确区分检测目标的尺度和位置，提高了红外小目标检测的精确性和适用性。
为了实现上述实施例，本申请实施例还提出了一种基于扩散模型的可控噪声去除***，该***包括数据增强模块10和多尺度预测模块20。该***的工作原理如图4所示，包括训练阶段（图中用虚线表示）和实际检测阶段（图中用实线箭头表示检测过程）。
其中，数据增强模块10作用于***的训练阶段，利用随机裁剪和高斯模糊引入图像多样性，来增强***的鲁棒性和泛化性。
而多尺度预测模块20，在训练阶段用于获得目标不同尺度的预测结果，通过计算这些结果的尺度和位置敏感损失，根据梯度下降法则进行模块参数的更新。在实际检测阶段中，将目标图像将输入多尺度预测模块20，多尺度预测模块20可输出预测结果。
具体实施时，作为一种实现方式，多尺度预测模块20包括计算模块21、训练模块22和检测模块23以实现其功能。下面结合图5所示的模型结构进行说明。
图5为本申请实施例提出的一种基于尺度和位置敏感性的红外小目标检测***的结构示意图，如图5所示，该***包括数据增强模块10、计算模块21、训练模块22和检测模块23。
其中，数据增强模块10，用于对预设的红外小目标数据集进行预处理，通过多种数据增强技术对红外小目标数据集进行数据增广操作。
计算模块21，用于将增广得到的不同尺度的训练数据输入深度卷积神经网络进行不同尺度的预测，获得多尺度预测结果。
训练模块22，用于对深度卷积神经网络进行训练，获得训练完成的深度卷积检测模型，其中，在训练过程中通过尺度与位置敏感损失函数约束多尺度预测结果。
检测模块23，用于将待检测的目标红外图像输入训练完成的深度卷积检测模型，获得对检测目标的预测结果。
在本申请一个实施例中，数据增强模块10，具体用于：对于红外小目标数据集中的每张原始图像，通过随机裁剪技术裁剪所述原始图像的不同区域，生成不同尺寸和位置的训练样本；对每个训练样本进行随机的高斯模糊处理，以模拟原始红外图像的模糊效果。
在本申请一个实施例中，计算模块21，具体用于：将不同尺度的训练数据分别输入至深度卷积神经网络中对应的检测头模块，获取每个检测头模块根据输入特征输出的预测结果；通过特征拼接算法将全部的预测结果拼接为多尺度预测结果。
在本申请一个实施例中，在存在四种尺度的训练数据时，计算模块21可以通过以下公式计算多尺度预测结果：
其中，表示多尺度预测结果，/>表示激活函数，/>表示卷积函数，表示以第二个参数为倍数对第一个参数进行上采样的操作，/>表示拼接操作，p i表示不同检测头输出的预测结果，i=1，2，3，4。
需要说明的是，上述对基于尺度和位置敏感性的红外小目标检测方法的实施例的相关描述，也适用于本申请的基于尺度和位置敏感性的红外小目标检测***，实现原理相同，本申请对此不做赘述。
综上所述，本申请实施例的基于尺度和位置敏感性的红外小目标检测***，在深度学习神经网络的训练过程中，采用了尺度敏感与位置敏感相融合的损失函数，根据多样化的训练数据自适应地学习以调整模型参数，基于对检测目标的尺度和位置具有敏感性的损失函数，使得训练完成的红外小目标检测模型能够区分不同尺度和不同位置的检测目标，实现更高精度的红外小目标检测。并且，该***还实现了多尺度的预测，对不同尺度的预测结果进行损失约束，进一步提高了红外小目标检测的精度。并且，该***可以充分利用不同尺度的特征信息，降低模型复杂度，实现更轻量化的红外小目标检测，减少了模型训练成本和检测所耗费的资源。由此，该***通过更轻量化的检测模型可以精确区分检测目标的尺度和位置，提高了红外小目标检测的精确性和适用性。
为了实现上述实施例，本申请还提出了一种电子设备，如图6所示，该电子设备600包括：处理器610；用于存储处理器610可执行指令的存储器620；其中，处理器960被配置为执行指令，以实现如上述第一方面实施例中任一所述的基于尺度和位置敏感性的红外小目标检测方法。
为了实现上述实施例，本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面实施例中任一所述的基于尺度和位置敏感性的红外小目标检测方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备（如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***）使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (6)
1.一种基于尺度和位置敏感性的红外小目标检测方法，其特征在于，包括以下步骤：
对预设的红外小目标数据集进行预处理，通过多种数据增强技术对所述红外小目标数据集进行数据增广操作；
将增广得到的不同尺度的训练数据输入深度卷积神经网络进行不同尺度的预测，获得多尺度预测结果；
对所述深度卷积神经网络进行训练，获得训练完成的深度卷积检测模型，其中，在训练过程中通过尺度与位置敏感损失函数约束所述多尺度预测结果；
将待检测的目标红外图像输入所述训练完成的深度卷积检测模型，获得对检测目标的预测结果；
其中，所述将增广得到的不同尺度的训练数据输入深度卷积神经网络进行不同尺度的预测，获得多尺度预测结果，包括：
将所述不同尺度的训练数据分别输入至所述深度卷积神经网络中对应的检测头模块，获取每个所述检测头模块根据输入特征输出的预测结果；
通过特征拼接算法将全部的所述预测结果拼接为所述多尺度预测结果；
在存在四种尺度的训练数据时，通过以下公式计算所述多尺度预测结果：
其中，表示多尺度预测结果，/>表示激活函数，/>表示卷积函数，/>表示以第二个参数为倍数对第一个参数进行上采样的操作，/>表示拼接操作，p i表示不同检测头输出的预测结果，i=1，2，3，4；
所述尺度与位置敏感损失函数由尺度敏感损失函数和位置敏感损失函数相加得到，所述尺度敏感损失函数根据检测目标的预测尺度和真实尺度计算损失权重，所述尺度敏感损失函数通过以下公式表示：
其中，，
其中，表示模型预测的检测目标的像素集合，/>表示实际的检测目标的像素集合，/>表示最小值函数，/>表示最大值函数，/>表示方差计算函数；
所述位置敏感损失函数根据检测目标的预测中心点和真实中心点计算位置惩罚值，所述位置敏感损失函数通过以下公式表示：
其中，，/>，/>，/>，
其中，表示模型预测的检测目标的中心点，/> 表示实际的检测目标的中心点，/>表示预测中心点与预设坐标系原点之间的距离，/>表示实际中心的与预设坐标系原点之间的距离，/>表示预测中心点至原点的连线与预设坐标系的x轴所成的夹角的角度值，/>表示实际中心至原点的连线与预设坐标系的x轴所成的夹角的角度值。
2.根据权利要求1所述的方法，其特征在于，所述通过多种数据增强技术对所述红外小目标数据集进行数据增广操作，包括：
对于所述红外小目标数据集中的每张原始图像，通过随机裁剪技术裁剪所述原始图像的不同区域，生成不同尺寸和位置的训练样本；
对每个所述训练样本进行随机的高斯模糊处理，以模拟原始红外图像的模糊效果。
3.一种基于尺度和位置敏感性的红外小目标检测***，其特征在于，包括以下模块：
数据增强模块，用于对预设的红外小目标数据集进行预处理，通过多种数据增强技术对所述红外小目标数据集进行数据增广操作；
计算模块，用于将增广得到的不同尺度的训练数据输入深度卷积神经网络进行不同尺度的预测，获得多尺度预测结果；
训练模块，用于对所述深度卷积神经网络进行训练，获得训练完成的深度卷积检测模型，其中，在训练过程中通过尺度与位置敏感损失函数约束所述多尺度预测结果；
检测模块，用于将待检测的目标红外图像输入所述训练完成的深度卷积检测模型，获得对检测目标的预测结果；
其中，所述将增广得到的不同尺度的训练数据输入深度卷积神经网络进行不同尺度的预测，获得多尺度预测结果，包括：
将所述不同尺度的训练数据分别输入至所述深度卷积神经网络中对应的检测头模块，获取每个所述检测头模块根据输入特征输出的预测结果；
通过特征拼接算法将全部的所述预测结果拼接为所述多尺度预测结果；
在存在四种尺度的训练数据时，通过以下公式计算所述多尺度预测结果：
其中，表示多尺度预测结果，/>表示激活函数，/>表示卷积函数，/>表示以第二个参数为倍数对第一个参数进行上采样的操作，/>表示拼接操作，p i表示不同检测头输出的预测结果，i=1，2，3，4；
所述尺度与位置敏感损失函数由尺度敏感损失函数和位置敏感损失函数相加得到，所述尺度敏感损失函数根据检测目标的预测尺度和真实尺度计算损失权重，所述尺度敏感损失函数通过以下公式表示：
其中，，
其中，表示模型预测的检测目标的像素集合，/>表示实际的检测目标的像素集合，/>表示最小值函数，/>表示最大值函数，/>表示方差计算函数；
所述位置敏感损失函数根据检测目标的预测中心点和真实中心点计算位置惩罚值，所述位置敏感损失函数通过以下公式表示：
其中，，/>，/>，/>，
其中，表示模型预测的检测目标的中心点，/> 表示实际的检测目标的中心点，/>表示预测中心点与预设坐标系原点之间的距离，/>表示实际中心的与预设坐标系原点之间的距离，/>表示预测中心点至原点的连线与预设坐标系的x轴所成的夹角的角度值，/>表示实际中心至原点的连线与预设坐标系的x轴所成的夹角的角度值。
4.根据权利要求3所述的***，其特征在于，所述数据增强模块，具体用于：
对于所述红外小目标数据集中的每张原始图像，通过随机裁剪技术裁剪所述原始图像的不同区域，生成不同尺寸和位置的训练样本；
对每个所述训练样本进行随机的高斯模糊处理，以模拟原始红外图像的模糊效果。
5.一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1-2中任一项所述的基于尺度和位置敏感性的红外小目标检测方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-2中任一项所述的基于尺度和位置敏感性的红外小目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410176677.4A CN117726807B (zh) | 2024-02-08 | 2024-02-08 | 基于尺度和位置敏感性的红外小目标检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410176677.4A CN117726807B (zh) | 2024-02-08 | 2024-02-08 | 基于尺度和位置敏感性的红外小目标检测方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117726807A CN117726807A (zh) | 2024-03-19 |
| CN117726807B true CN117726807B (zh) | 2024-06-21 |
Family
ID=90211076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410176677.4A Active CN117726807B (zh) | 2024-02-08 | 2024-02-08 | 基于尺度和位置敏感性的红外小目标检测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117726807B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102819740A (zh) * | 2012-07-18 | 2012-12-12 | 西北工业大学 | 一种单帧红外图像弱小目标检测和定位方法 |
| CN108510012A (zh) * | 2018-05-04 | 2018-09-07 | 四川大学 | 一种基于多尺度特征图的目标快速检测方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110991359A (zh) * | 2019-12-06 | 2020-04-10 | 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) | 基于多尺度深度卷积神经网络的卫星图像目标检测方法 |
| CN112949508B (zh) * | 2021-03-08 | 2024-07-19 | 咪咕文化科技有限公司 | 模型训练方法、行人检测方法、电子设备及可读存储介质 |
| US11580646B2 (en) * | 2021-03-26 | 2023-02-14 | Nanjing University Of Posts And Telecommunications | Medical image segmentation method based on U-Net |
| CN114511780A (zh) * | 2022-01-21 | 2022-05-17 | 南京航空航天大学 | 基于遥感图像的多模态小目标检测方法及*** |
| CN115546502A (zh) * | 2022-10-14 | 2022-12-30 | 西安镭映光电科技有限公司 | 一种基于YOLOv4多尺度特征融合的红外小目标检测方法 |
| CN115690536A (zh) * | 2022-10-26 | 2023-02-03 | 清华大学深圳国际研究生院 | 一种单帧红外小目标检测方法及装置 |
-
2024
- 2024-02-08 CN CN202410176677.4A patent/CN117726807B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102819740A (zh) * | 2012-07-18 | 2012-12-12 | 西北工业大学 | 一种单帧红外图像弱小目标检测和定位方法 |
| CN108510012A (zh) * | 2018-05-04 | 2018-09-07 | 四川大学 | 一种基于多尺度特征图的目标快速检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117726807A (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110781924B (zh) | 一种基于全卷积神经网络的侧扫声纳图像特征提取方法 | |
| CN111582105A (zh) | 基于局部全局双向推理的无监督点云特征学习方法及装置 | |
| CN115810133B (zh) | 基于图像处理和点云处理的焊接控制方法及相关设备 | |
| CN112381062A (zh) | 一种基于卷积神经网络的目标检测方法及装置 | |
| CN111105452A (zh) | 基于双目视觉的高低分辨率融合立体匹配方法 | |
| Liu et al. | Image edge recognition of virtual reality scene based on multi-operator dynamic weight detection | |
| CN113516697B (zh) | 图像配准的方法、装置、电子设备及计算机可读存储介质 | |
| CN109242882B (zh) | 视觉跟踪方法、装置、介质及设备 | |
| CN117726807B (zh) | 基于尺度和位置敏感性的红外小目标检测方法及*** | |
| CN116645365B (zh) | 基于频谱的石英玻璃检测方法、装置、设备及介质 | |
| CN113034582A (zh) | 位姿优化装置及方法、电子设备及计算机可读存储介质 | |
| CN116258877A (zh) | 土地利用场景相似度变化检测方法、装置、介质及设备 | |
| CN110889316B (zh) | 一种目标对象识别方法、装置及存储介质 | |
| CN114549429B (zh) | 基于超图结构的深度数据质量评价方法及装置 | |
| CN114372944B (zh) | 一种多模态和多尺度融合的候选区域生成方法及相关装置 | |
| CN113807354B (zh) | 图像语义分割方法、装置、设备和存储介质 | |
| CN115879536A (zh) | 一种基于因果效应的学习认知分析模型鲁棒性优化方法 | |
| CN115331021A (zh) | 基于多层特征自身差异融合的动态特征提取与描述方法 | |
| CN111382834B (zh) | 一种置信度比较方法及装置 | |
| CN112633065A (zh) | 一种基于数据增强的人脸检测方法、***、存储介质及终端 | |
| Lee et al. | Overfitting control for surface reconstruction | |
| CN111626913A (zh) | 一种图像处理方法、装置及存储介质 | |
| CN113538534B (zh) | 一种基于深度强化学习的纳米成像的图像配准方法 | |
| CN113627104B (zh) | 多约束条件下的水下潜艇航迹模拟方法和装置及设备 | |
| CN114440888B (zh) | 基于序列分组滑动窗口的室内定位方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |