CN113435435A - 一种红外图像弱小目标检测方法和*** - Google Patents
一种红外图像弱小目标检测方法和*** Download PDFInfo
- Publication number
- CN113435435A CN113435435A CN202110608072.4A CN202110608072A CN113435435A CN 113435435 A CN113435435 A CN 113435435A CN 202110608072 A CN202110608072 A CN 202110608072A CN 113435435 A CN113435435 A CN 113435435A
- Authority
- CN
- China
- Prior art keywords
- layer
- size
- characteristic diagram
- output characteristic
- unchanged
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种红外图像弱小目标检测方法和***，属于图像处理领域。本发明通过使用深度学习估计背景、在抑制背景后检测目标的思路，解决了红外弱小目标特征难以直接学习的困难。本发明通过使用下采样、上采样和快捷链路等操作来实现待检测图像的多尺度目标的背景估计，进而实现多尺度目标的目标检测和下采样所丢失信息的补充，解决了背景特征学习和局部细节学习无法兼顾的问题。本发明通过提出目标区域隶属度的加权均方误差损失函数，提高了目标区域背景估计的准确性。本发明通过使用深度可分离卷积，包括逐层卷积和逐点卷积，降低了网络模型的参数量和计算量，加快了目标检测的速度。
Description
技术领域
本发明属于图像处理技术领域，更具体地，涉及一种红外图像弱小目标检测方法和***。
背景技术
红外探测***具有探测距离远、利于隐蔽、无间断工作、可穿透云雾等优点，在军事侦察、灾害搜救等军用和民用领域具有广泛的应用。遥感红外探测作为红外目标探测方式之一，具有探测视野广、精度高、不受地理位置和气象条件的制约等优点。遥感红外成像图像幅面较广，感兴趣目标在图像中往往占比很小且信噪比较低，因此将感兴趣的目标从背景和噪声中分离、提取和识别出来则一般需要红外弱小目标检测的相关算法。
现有方法当中，针对红外弱小目标检测大多数使用目标增强、背景抑制等方法，而使用深度学习的方法较少提出。这些方法当中，申请CN110728697A使用亮度特征估计目标中心与邻域像素的欧氏距离的计算方法突出真实目标。但是由于弱小目标特征不明显而背景杂波强，因此容易将背景中的亮噪声误判为目标，从而导致虚警率较高。申请CN110889399A通过采用下采样、先验框、聚类算法等流程技术得到目标的坐标信息。但是由于下采样处理会丢失弱小目标的信息，而没有通过快捷链路补充信息，从而导致检出率较低。申请CN111784743A通过使用卷积神经网络来学习滤波器，可以对红外图像的背景进行很好的抑制。但是由于采用MNIST手写数据集作为前景目标，目标不够弱小，因此不具有代表性，并且对弱小目标的检测性能不佳。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种红外图像弱小目标检测方法和***，其目的在于提高红外弱小目标检测的检出率，并降低虚警率。
为实现上述目的，本发明提供了一种红外图像弱小目标检测方法，包括以下步骤：
S1.下载星载中分辨率成像光谱仪数据产品；
S2.从下载的数据产品中选取设定波段提取出图片文件；
S3.依据图片文件构建包括背景图像、待检测图像和残差图像的训练集和验证集；
S4.构建基于卷积神经网络的红外弱小目标检测IU-Net网络模型；
S5.使用待检测图像训练集和残差图像训练集训练IU-Net网络模型的参数；
S6.使用待检测图像验证集作为IU-Net网络模型的输入，得到包含检测结果的二值化图像。
进一步地，步骤S3包括：
S301.将所有bmp格式的图像文件按固定比例分成原始图像训练集和原始图像验证集；
S302.从原始图像中随机选取一张图像，随机选取裁剪的位置，将原始图像训练集裁剪成固定大小的图像作为背景图像；
S303.在背景图像上随机选取目标中心的位置，随机选取固定多种尺寸中的一种尺寸和固定中心强度范围内的一个中心强度值叠加弱小目标，得到待检测图像；
S304.将待检测图像和背景图像作差得到期望残差图像；
S305.对于原始图像训练集，重复S302～S304得到固定数量的包括背景图像、待检测图像和残差图像的训练集；
S306.对于原始图像验证集，重复S302～S304，得到固定数量的包括背景图像、待检测图像和残差图像的验证集；
S307.将验证集按信杂比不同划分成若干个子集。
进一步地，IU-Net网络模型具体结构如下：
第1层为卷积核大小为3×3、步长为1、填充边界为1、分组数为1、空洞率为1的卷积，输出特征图的尺寸为H×W，通道数为64，取名为C1；
第2层为Mish激活函数层，其表达式为y(x)＝x*tanh(ln(1+e^x))，输出特征图的尺寸和通道数不变，取名为M1；
第3层为卷积核大小为3×3、步长为1、填充边界为1、分组数为64的逐层卷积，输出特征图的尺寸和通道数不变，取名为L1；
第4层为卷积核大小为1×1、步长为1、填充边界为0的逐点卷积，输出特征图的尺寸和通道数不变，取名为P1；
第5层为Mish激活函数层，输出特征图的尺寸和通道数不变，取名为M2；
第6层为卷积核大小为3×3、步长为1、填充边界为3、分组数为64、空洞率为3的逐层卷积，输出特征图的尺寸和通道数不变，取名为L2；
第7层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P2；
第8层为Mish激活函数层，输出特征图的尺寸和通道数不变，取名为M3；
第9层为特征融合层，输入特征图为M1和M3，输出特征图取名为F1，为M1和M3的特征融合，即F1＝M1+M3，尺寸和通道数不变；
第10层为卷积核大小为2×2，步长为2的下采样卷积，输出特征图的尺寸为(H/2)×(W/2)，通道数为128，取名为D1；
第11层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M4；
第12层为卷积核大小为3×3、步长为1、填充边界为1、分组数为128的逐层卷积，输出特征图的尺寸和通道数不变，取名为L3；
第13层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P3；
第14层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M5；
第15层为卷积核大小为3×3、步长为1、填充边界为3、分组数为128、空洞率为3的逐层卷积，输出特征图的尺寸和通道数不变，取名为L4；
第16层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P4；
第17层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M6；
第18层为特征融合层，输入特征图为M4和M6，输出特征图取名为F2，为M4和M6的特征融合，即F2＝M4+M6，尺寸和通道数不变；
第19层为卷积核大小为2×2，步长为2的下采样卷积，输出特征图的尺寸为(H/4)×(W/4)，通道数为256，取名为D2；
第20层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M7；
第21层为卷积核大小为3×3、步长为1、填充边界为1、分组数为256的逐层卷积，输出特征图的尺寸和通道数不变，取名为L5；
第22层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P5；
第23层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M8；
第24层为卷积核大小为3×3、步长为1、填充边界为3、分组数为256、空洞率为3的逐层卷积，输出特征图的尺寸和通道数不变，取名为L6；
第25层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P6；
第26层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M9；
第27层为特征融合层，输入特征图为M7和M9，输出特征图取名为F3，为M7和M9的特征融合，即F3＝M7+M9，尺寸和通道数不变；
第28层为卷积核大小为2×2，步长为2的下采样卷积，输出特征图的尺寸为(H/8)×(W/8)，通道数为512，取名为D3；
第29层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M10；
第30层为卷积核大小为3×3、步长为1、填充边界为1、分组数为512的逐层卷积，输出特征图的尺寸和通道数不变，取名为L7；
第31层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P7；
第32层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M11；
第33层为卷积核大小为3×3、步长为1、填充边界为3、分组数为512、空洞率为3的逐层卷积，输出特征图的尺寸和通道数不变，取名为L8；
第34层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P8；
第35层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M12；
第36层为特征融合层，输入特征图为M10和M12，输出特征图取名为F4，为M10和M11的特征融合，即F4＝M10+M12，尺寸和通道数不变；
第37层为卷积核大小为2×2，步长为2的上采样转置卷积，输出特征图的尺寸为(H/4)×(W/4)，通道数为256，取名为T1；
第38层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M13；
第39层为卷积核大小为3×3、步长为1、填充边界为1、分组数为256的逐层卷积，输出特征图的尺寸和通道数不变，取名为L9；
第40层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P9；
第41层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M14；
第42层为卷积核大小为3×3、步长为1、填充边界为1、分组数为256的逐层卷积，输出特征图的尺寸和通道数不变，取名为L10；
第43层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P10；
第44层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M15；
第45层为特征融合层，输入特征图为M7、M13和M15，输出特征图取名为F5，为M7、M13和M15的特征融合，即F5＝M7+M13+M15，尺寸和通道数不变；
第46层为卷积核大小为2×2，步长为2的上采样转置卷积，输出特征图的尺寸为(H/2)×(W/2)，通道数为128，取名为T2；
第47层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M16；
第48层为卷积核大小为3×3、步长为1、填充边界为1、分组数为128的逐层卷积，输出特征图的尺寸和通道数不变，取名为L11；
第49层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P11；
第50层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M17；
第51层为卷积核大小为3×3、步长为1、填充边界为1、分组数为128的逐层卷积，输出特征图的尺寸和通道数不变，取名为L12；
第52层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P12；
第53层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M18；
第54层为特征融合层，输入特征图为M4、M16和M18，输出特征图取名为F6，为M4、M16和M18的特征融合，即F6＝M4+M16+M18，尺寸和通道数不变；
第55层为卷积核大小为2×2，步长为2的上采样转置卷积，输出特征图的尺寸为H×W，通道数为64，取名为T3；
第56层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M19；
第57层为卷积核大小为3×3、步长为1、填充边界为1、分组数为64的逐层卷积，输出特征图的尺寸和通道数不变，取名为L13；
第58层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P13；
第59层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M20；
第60层为卷积核大小为3×3、步长为1、填充边界为1、分组数为64的逐层卷积，输出特征图的尺寸和通道数不变，取名为L14；
第61层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P14；
第62层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M21；
第63层为卷积核大小为3×3、步长为1、填充边界为1的卷积，输出特征图的尺寸为H×W，通道数为1，取名为C2；
第64层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M22。
进一步地，红外弱小目标检测IU-Net网络模型训练过程为：
S501.将待检测图像D作为IU-Net网络模型的输入，得到预测输出图像R(D)；
S502.将待检测图像和预测输出图像作差得到预测残差图像S，即S＝D-R(D)；
S503.使用目标区域隶属度的加权均方误差损失函数
计算预测残差图像和期望残差图像T的误差；
其中，xc表示目标中心的横坐标，yc表示目标中心的纵坐标，M表示输入图像的宽度，N表示输入图像的高度；
S504.依据计算出来的误差值进行反向传播，并使用Nadam算法更新网络模型的参数。
进一步地，步骤S6包括：
S601.针对验证集利用步骤S501～S502，得到预测残差图像S；
S602.计算预测残差图像S的像素值均值μ：
其中，M表示输入图像的宽度，N表示输入图像的高度；
S603.计算预测残差图像的像素值标准差σ：
S604.对预测残差图像S使用自适应域值τ：τ＝μ+K×σ进行分隔，得到阈值分割后的包含检测结果的二值化图像，其中K为可手动的自适应超参数。
进一步地，步骤S2具体为，
从下载的数据产品中选取波长为3-5微米，信杂比低于0.05的波段提取出图片文件。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果。
(1)本发明通过使用深度学习估计背景、在抑制背景后检测目标的思路，解决了红外弱小目标特征难以直接学习的困难。
(2)本发明通过使用下采样、上采样和快捷链路等操作来实现待检测图像的多尺度目标的背景估计，进而实现多尺度目标的目标检测和下采样所丢失信息的补充，解决了背景特征学习和局部细节学习无法兼顾的问题。
(3)本发明通过提出目标区域隶属度的加权均方误差损失函数，提高了目标区域背景估计的准确性。
(4)本发明通过使用深度可分离卷积，包括逐层卷积和逐点卷积，降低了网络模型的参数量和计算量，加快了目标检测的速度。
附图说明
图1是按照本发明一种基于卷积神经网络的红外弱小目标检测方法流程框图；
图2是IU-Net网络模型的结构图；
图3是按照本发明步骤S4实施Mish激活函数的函数图像；
图4是按照本发明步骤S4实施包括逐层卷积和逐点卷积的深度可分离卷积操作示意图；
图5是按照本发明步骤S4实施转置卷积操作的示意图；
图6是按照本发明步骤S5实施基于目标区域隶属度的加权损失函数的对应函数z＝1/(1+ln(1+(x^2+y^2)))的函数图像；
图7是IU-Net网络模型在第22波段数据集的样例图像上的目标检测效果；
图8是IU-Net网络模型在第24波段数据集的样例图像上的目标检测效果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明通过背景估计的方法降低了红外弱小目标检测的虚警率；通过使用快捷链路的方法提高了红外弱小目标检测的检出率；通过构建红外弱小目标仿真图像数据集来解决数据集中的目标不具有代表性的问题。
下面以第20波段(3.660～3.840μm)数据为背景，以裁剪尺寸为256×256的包括背景图像、待检测图像和残差图像的训练集和验证集为例，详细地介绍本发明的具体实施方式，图1为本发明的流程框图，具体步骤如下：
S1.下载代号为MOD021KM的星载中分辨率成像光谱仪(Moderate-resolutionImaging Spectroradiometer，MODIS)数据产品，包括150份白天的全球的HDF格式的产品数据和150份夜晚的全球的HDF格式的产品数据；
S2.从星载中分辨率成像光谱仪HDF格式数据产品中选取第20波段提取出bmp格式的图片文件；
S3.依据bmp格式的图片文件，构建包括背景图像、待检测图像和残差图像的训练集和验证集；
对于步骤3，具体解释为：
S301.将所有bmp格式的图像文件按9:1的比例分成原始图像训练集和原始图像验证集，其中原始图像训练集包括135幅白天的图像和135幅夜晚的图像，原始图像验证集包括15幅白天的图像和15幅夜晚的图像；
S302.从原始图像训练集中随机选取一张图像，随机选取裁剪的位置，将原始图像训练集裁剪成尺寸为256×256的图像作为背景图像；
S303.在背景图像上随机选取目标中心的位置，随机选取1×1、3×3、5×5和7×7等多种尺寸中的一种尺寸和中心强度为120～240范围内的一个中心强度值叠加弱小目标，得到待检测图像；
S304.将待检测图像和背景图像作差得到期望残差图像；
S305.重复S302～S304得到9000张的包括背景图像、待检测图像和残差图像的训练集；
S306.对于原始图像验证集，重复S301～S305，得到1000张的包括背景图像、待检测图像和残差图像的验证集；
S307.将验证集按信杂比不同划分成5个子集；
S4.构建基于卷积神经网络的红外弱小目标检测IU-Net网络模型，如图2所示；
对于步骤S4，IU-Net网络模型的输入特征图为待检测图像训练集，其尺寸为256×256，通道数为1，IU-Net网络模型具体结构如下：
第1层为卷积核大小为3×3、步长为1(默认)、填充边界为1、分组数为1(默认)、空洞率为1(默认)的卷积，输出特征图的尺寸为H×W，通道数为64，取名为C1；
第2层为Mish激活函数层，其表达式为y(x)＝x*tanh(ln(1+e^x))，如图3所示，输出特征图的尺寸和通道数不变，取名为M1；
第3层、第4层结构如图4所示，第3层为卷积核大小为3×3、步长为1、填充边界为1、分组数为64的逐层卷积，输出特征图的尺寸和通道数不变，取名为L1；第4层为卷积核大小为1×1、步长为1、填充边界为0(默认)的逐点卷积，输出特征图的尺寸和通道数不变，取名为P1；
第5层为Mish激活函数层，输出特征图的尺寸和通道数不变，取名为M2；
第6层为卷积核大小为3×3、步长为1、填充边界为3、分组数为64、空洞率为3的逐层卷积，输出特征图的尺寸和通道数不变，取名为L2；
第7层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P2；
第8层为Mish激活函数层，输出特征图的尺寸和通道数不变，取名为M3；
第9层为特征融合层，输入特征图为M1和M3，输出特征图取名为F1，为M1和M3的特征融合，即F1＝M1+M3，尺寸和通道数不变；
第10层为卷积核大小为2×2，步长为2的下采样卷积，输出特征图的尺寸为128×128，通道数为128，取名为D1；
第11层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M4；
第12层为卷积核大小为3×3、步长为1、填充边界为1、分组数为128的逐层卷积，输出特征图的尺寸和通道数不变，取名为L3；
第13层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P3；
第14层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M5；
第15层为卷积核大小为3×3、步长为1、填充边界为3、分组数为128、空洞率为3的逐层卷积，输出特征图的尺寸和通道数不变，取名为L4；
第16层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P4；
第17层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M6；
第18层为特征融合层，输入特征图为M4和M6，输出特征图取名为F2，为M4和M6的特征融合，即F2＝M4+M6，尺寸和通道数不变；
第19层为卷积核大小为2×2，步长为2的下采样卷积，输出特征图的尺寸为64×64，通道数为256，取名为D2；
第20层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M7；
第21层为卷积核大小为3×3、步长为1、填充边界为1、分组数为256的逐层卷积，输出特征图的尺寸和通道数不变，取名为L5；
第22层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P5；
第23层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M8；
第24层为卷积核大小为3×3、步长为1、填充边界为3、分组数为256、空洞率为3的逐层卷积，输出特征图的尺寸和通道数不变，取名为L6；
第25层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P6；
第26层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M9；
第27层为特征融合层，输入特征图为M7和M9，输出特征图取名为F3，为M7和M9的特征融合，即F3＝M7+M9，尺寸和通道数不变；
第28层为卷积核大小为2×2，步长为2的下采样卷积，输出特征图的尺寸为32×32，通道数为512，取名为D3；
第29层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M10；
第30层为卷积核大小为3×3、步长为1、填充边界为1、分组数为512的逐层卷积，输出特征图的尺寸和通道数不变，取名为L7；
第31层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P7；
第32层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M11；
第33层为卷积核大小为3×3、步长为1、填充边界为3、分组数为512、空洞率为3的逐层卷积，输出特征图的尺寸和通道数不变，取名为L8；
第34层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P8；
第35层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M12；
第36层为特征融合层，输入特征图为M10和M12，输出特征图取名为F4，为M10和M11的特征融合，即F4＝M10+M12，尺寸和通道数不变；
第37层为卷积核大小为2×2，步长为2的上采样转置卷积，转置卷积的计算方式如图5所示，输出特征图的尺寸为64×64，通道数为256，取名为T1；
第38层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M13；
第39层为卷积核大小为3×3、步长为1、填充边界为1、分组数为256的逐层卷积，输出特征图的尺寸和通道数不变，取名为L9；
第40层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P9；
第41层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M14；
第42层为卷积核大小为3×3、步长为1、填充边界为1、分组数为256的逐层卷积，输出特征图的尺寸和通道数不变，取名为L10；
第43层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P10；
第44层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M15；
第45层为特征融合层，输入特征图为M7、M13和M15，输出特征图取名为F5，为M7、M13和M15的特征融合，即F5＝M7+M13+M15，尺寸和通道数不变；
第46层为卷积核大小为2×2，步长为2的上采样转置卷积，输出特征图的尺寸为128×128，通道数为128，取名为T2；
第47层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M16；
第48层为卷积核大小为3×3、步长为1、填充边界为1、分组数为128的逐层卷积，输出特征图的尺寸和通道数不变，取名为L11；
第49层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P11；
第50层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M17；
第51层为卷积核大小为3×3、步长为1、填充边界为1、分组数为128的逐层卷积，输出特征图的尺寸和通道数不变，取名为L12；
第52层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P12；
第53层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M18；
第54层为特征融合层，输入特征图为M4、M16和M18，输出特征图取名为F6，为M4、M16和M18的特征融合，即F6＝M4+M16+M18，尺寸和通道数不变；
第55层为卷积核大小为2×2，步长为2的上采样转置卷积，输出特征图的尺寸为256×256，通道数为64，取名为T3；
第56层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M19；
第57层为卷积核大小为3×3、步长为1、填充边界为1、分组数为64的逐层卷积，输出特征图的尺寸和通道数不变，取名为L13；
第58层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P13；
第59层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M20；
第60层为卷积核大小为3×3、步长为1、填充边界为1、分组数为64的逐层卷积，输出特征图的尺寸和通道数不变，取名为L14；
第61层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P14；
第62层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M21；
第63层为卷积核大小为3×3、步长为1、填充边界为1的卷积，输出特征图的尺寸为256×256，通道数为1，取名为C2；
第64层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M22。
本发明对传统的U-net网络结构做了如下改进：在下采样过程中增加了下采样残差块，在上采样过程中增加了上采样残差块，加快了梯度下降网络收敛，提高了网络训练速度；残差块中使用深度可分离卷积降低了参数量和计算量，提高了弱小目标检测的速度；使用Mish激活函数替代原网络中的ReLU激活函数，进一步加快了梯度下降网络收敛，提高了网络训练速度；
S5.使用待检测图像训练集和残差图像训练集训练IU-Net网络模型的参数；对于步骤S5，具体解释为：
S501.将待检测图像D作为IU-Net网络模型的输入，得到预测输出图像R(D)；
S502.将待检测图像和预测输出图像作差得到预测残差图像S，即S＝D-R(D)；
S503.使用目标区域隶属度的加权均方误差(weight mean square error，WMSE)损失函数，计算预测残差图像和期望残差图像T的误差；损失函数具体见公式(1)，其函数图像如图6所示。其中，xc表示目标中心的横坐标，yc表示目标中心的纵坐标；
S504.依据计算出来的误差值进行反向传播，并使用Nadam算法更新网络模型的参数；
本申请采用先估计背景，在抑制背景后检测目标的方法替代传统的直接检测目标的方法，从而提高了背景抑制率，进而提高了红外弱小目标检测的准确率；本申请采用目标区域隶属度的加权均方误差函数替代常见的加权均方误差函数，降低了红外弱小目标检测的虚警率。
S6.使用待检测图像验证集作为IU-Net网络模型的输入，得到包含检测结果的二值化图像；对于步骤S6，具体解释为：
S601.重复上述步骤S501～S502，得到预测残差图像S；
S602.计算预测残差图像的像素值均值μ，计算公式见公式(2)；
S603.计算预测残差图像的像素值标准差σ，计算公式见公式(3)；
S604.对预测残差图像S使用自适应阈值分隔，自适应域值τ的计算方式见公式(4)，得到阈值分割后的包含检测结果的二值化图像，其中K为可手动的自适应超参数；
τ＝μ+K×σ (4)
为进一步说明本发明的优越性，接下来将IU-Net网络模型与现有方法的目标检测效果进行对比。表为本申请与现有其他常用方法在5个子集上的背景抑制和目标增强效果的情况统计表。
表1
其中，加粗的数据代表最优的效果。由于评价指标SCRG和评价指标BSF的计算结果可能会出现无穷大，即代表目标区域的邻域或背景区域都被清除，在求平均数之前需要对数据进行一定的筛选，数据旁边括号里的数字代表有效数据的个数。从表中可以看出，本申请较现有方法目标增强和背景抑制都有明显提升。
图7是IU-Net网络模型在第22波段数据集的样例图像上的目标检测效果；图8是IU-Net网络模型在第24波段数据集的样例图像上的目标检测效果；从图7和图8中可以看出，本申请较现有方法在检出率上有明显提升，在虚警率上有明显下降，并且具有良好的泛化能力。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种红外图像弱小目标检测方法，其特征在于，包括以下步骤：
S1.下载星载中分辨率成像光谱仪数据产品；
S2.从下载的数据产品中选取设定波段提取出图片文件；
S3.依据图片文件构建包括背景图像、待检测图像和残差图像的训练集和验证集；
S4.构建基于卷积神经网络的红外弱小目标检测IU-Net网络模型；
S5.使用待检测图像训练集和残差图像训练集训练IU-Net网络模型的参数；
S6.使用待检测图像验证集作为IU-Net网络模型的输入，得到包含检测结果的二值化图像。
2.根据权利要求1所述的一种红外图像弱小目标检测方法，其特征在于，步骤S3包括：
S301.将所有bmp格式的图像文件按固定比例分成原始图像训练集和原始图像验证集；
S302.从原始图像中随机选取一张图像，随机选取裁剪的位置，将原始图像训练集裁剪成固定大小的图像作为背景图像；
S303.在背景图像上随机选取目标中心的位置，随机选取固定多种尺寸中的一种尺寸和固定中心强度范围内的一个中心强度值叠加弱小目标，得到待检测图像；
S304.将待检测图像和背景图像作差得到期望残差图像；
S305.对于原始图像训练集，重复S302～S304得到固定数量的包括背景图像、待检测图像和残差图像的训练集；
S306.对于原始图像验证集，重复S302～S304，得到固定数量的包括背景图像、待检测图像和残差图像的验证集；
S307.将验证集按信杂比不同划分成若干个子集。
3.根据权利要求1所述的一种红外图像弱小目标检测方法，其特征在于，IU-Net网络模型具体结构如下：
第1层为卷积核大小为3×3、步长为1、填充边界为1、分组数为1、空洞率为1的卷积，输出特征图的尺寸为H×W，通道数为64，取名为C1；
第2层为Mish激活函数层，其表达式为y(x)＝x*tanh(ln(1+e^x))，输出特征图的尺寸和通道数不变，取名为M1；
第3层为卷积核大小为3×3、步长为1、填充边界为1、分组数为64的逐层卷积，输出特征图的尺寸和通道数不变，取名为L1；
第4层为卷积核大小为1×1、步长为1、填充边界为0的逐点卷积，输出特征图的尺寸和通道数不变，取名为P1；
第5层为Mish激活函数层，输出特征图的尺寸和通道数不变，取名为M2；
第6层为卷积核大小为3×3、步长为1、填充边界为3、分组数为64、空洞率为3的逐层卷积，输出特征图的尺寸和通道数不变，取名为L2；
第7层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P2；
第8层为Mish激活函数层，输出特征图的尺寸和通道数不变，取名为M3；
第9层为特征融合层，输入特征图为M1和M3，输出特征图取名为F1，为M1和M3的特征融合，即F1＝M1+M3，尺寸和通道数不变；
第10层为卷积核大小为2×2，步长为2的下采样卷积，输出特征图的尺寸为(H/2)×(W/2)，通道数为128，取名为D1；
第11层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M4；
第12层为卷积核大小为3×3、步长为1、填充边界为1、分组数为128的逐层卷积，输出特征图的尺寸和通道数不变，取名为L3；
第13层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P3；
第14层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M5；
第15层为卷积核大小为3×3、步长为1、填充边界为3、分组数为128、空洞率为3的逐层卷积，输出特征图的尺寸和通道数不变，取名为L4；
第16层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P4；
第17层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M6；
第18层为特征融合层，输入特征图为M4和M6，输出特征图取名为F2，为M4和M6的特征融合，即F2＝M4+M6，尺寸和通道数不变；
第19层为卷积核大小为2×2，步长为2的下采样卷积，输出特征图的尺寸为(H/4)×(W/4)，通道数为256，取名为D2；
第20层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M7；
第21层为卷积核大小为3×3、步长为1、填充边界为1、分组数为256的逐层卷积，输出特征图的尺寸和通道数不变，取名为L5；
第22层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P5；
第23层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M8；
第24层为卷积核大小为3×3、步长为1、填充边界为3、分组数为256、空洞率为3的逐层卷积，输出特征图的尺寸和通道数不变，取名为L6；
第25层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P6；
第26层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M9；
第27层为特征融合层，输入特征图为M7和M9，输出特征图取名为F3，为M7和M9的特征融合，即F3＝M7+M9，尺寸和通道数不变；
第28层为卷积核大小为2×2，步长为2的下采样卷积，输出特征图的尺寸为(H/8)×(W/8)，通道数为512，取名为D3；
第29层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M10；
第30层为卷积核大小为3×3、步长为1、填充边界为1、分组数为512的逐层卷积，输出特征图的尺寸和通道数不变，取名为L7；
第31层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P7；
第32层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M11；
第33层为卷积核大小为3×3、步长为1、填充边界为3、分组数为512、空洞率为3的逐层卷积，输出特征图的尺寸和通道数不变，取名为L8；
第34层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P8；
第35层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M12；
第36层为特征融合层，输入特征图为M10和M12，输出特征图取名为F4，为M10和M11的特征融合，即F4＝M10+M12，尺寸和通道数不变；
第37层为卷积核大小为2×2，步长为2的上采样转置卷积，输出特征图的尺寸为(H/4)×(W/4)，通道数为256，取名为T1；
第38层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M13；
第39层为卷积核大小为3×3、步长为1、填充边界为1、分组数为256的逐层卷积，输出特征图的尺寸和通道数不变，取名为L9；
第40层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P9；
第41层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M14；
第42层为卷积核大小为3×3、步长为1、填充边界为1、分组数为256的逐层卷积，输出特征图的尺寸和通道数不变，取名为L10；
第43层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P10；
第44层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M15；
第45层为特征融合层，输入特征图为M7、M13和M15，输出特征图取名为F5，为M7、M13和M15的特征融合，即F5＝M7+M13+M15，尺寸和通道数不变；
第46层为卷积核大小为2×2，步长为2的上采样转置卷积，输出特征图的尺寸为(H/2)×(W/2)，通道数为128，取名为T2；
第47层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M16；
第48层为卷积核大小为3×3、步长为1、填充边界为1、分组数为128的逐层卷积，输出特征图的尺寸和通道数不变，取名为L11；
第49层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P11；
第50层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M17；
第51层为卷积核大小为3×3、步长为1、填充边界为1、分组数为128的逐层卷积，输出特征图的尺寸和通道数不变，取名为L12；
第52层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P12；
第53层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M18；
第54层为特征融合层，输入特征图为M4、M16和M18，输出特征图取名为F6，为M4、M16和M18的特征融合，即F6＝M4+M16+M18，尺寸和通道数不变；
第55层为卷积核大小为2×2，步长为2的上采样转置卷积，输出特征图的尺寸为H×W，通道数为64，取名为T3；
第56层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M19；
第57层为卷积核大小为3×3、步长为1、填充边界为1、分组数为64的逐层卷积，输出特征图的尺寸和通道数不变，取名为L13；
第58层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P13；
第59层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M20；
第60层为卷积核大小为3×3、步长为1、填充边界为1、分组数为64的逐层卷积，输出特征图的尺寸和通道数不变，取名为L14；
第61层为卷积核大小为1×1、步长为1的逐点卷积，输出特征图的尺寸和通道数不变，取名为P14；
第62层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M21；
第63层为卷积核大小为3×3、步长为1、填充边界为1的卷积，输出特征图的尺寸为H×W，通道数为1，取名为C2；
第64层为Mish激活函数层，输出特征图尺寸和通道数不变，取名为M22。
4.根据权利要求3所述的一种红外图像弱小目标检测方法，其特征在于，红外弱小目标检测IU-Net网络模型训练过程为：
S501.将待检测图像D作为IU-Net网络模型的输入，得到预测输出图像R(D)；
S502.将待检测图像和预测输出图像作差得到预测残差图像S，即S＝D-R(D)；
S503.使用目标区域隶属度的加权均方误差损失函数
计算预测残差图像和期望残差图像T的误差；
其中，xc表示目标中心的横坐标，yc表示目标中心的纵坐标，M表示输入图像的宽度，N表示输入图像的高度；
S504.依据计算出来的误差值进行反向传播，并使用Nadam算法更新网络模型的参数。
5.根据权利要求3所述的一种红外图像弱小目标检测方法，其特征在于，步骤S6包括：
S601.针对验证集利用步骤S501～S502，得到预测残差图像S；
S602.计算预测残差图像S的像素值均值μ：
其中，M表示输入图像的宽度，N表示输入图像的高度；
S603.计算预测残差图像的像素值标准差σ：
S604.对预测残差图像S使用自适应域值τ：τ＝μ+K×σ进行分隔，得到阈值分割后的包含检测结果的二值化图像，其中K为可手动的自适应超参数。
6.根据权利要求1-5任一项所述的一种红外图像弱小目标检测方法，其特征在于，步骤S2具体为，
从下载的数据产品中选取波长为3-5微米，信杂比低于0.05的波段提取出图片文件。
7.一种红外图像弱小目标检测***，其特征在于，包括：计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行指令；
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行权利要求1至6任一项所述的红外图像弱小目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110608072.4A CN113435435B (zh) | 2021-06-01 | 2021-06-01 | 一种红外图像弱小目标检测方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110608072.4A CN113435435B (zh) | 2021-06-01 | 2021-06-01 | 一种红外图像弱小目标检测方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113435435A true CN113435435A (zh) | 2021-09-24 |
| CN113435435B CN113435435B (zh) | 2022-07-12 |
Family
ID=77803415
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110608072.4A Active CN113435435B (zh) | 2021-06-01 | 2021-06-01 | 一种红外图像弱小目标检测方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113435435B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392095A (zh) * | 2017-06-15 | 2017-11-24 | 杭州红辉电子科技有限公司 | 一种基于掩码图像的红外弱小目标检测算法 |
| CN107563433A (zh) * | 2017-08-29 | 2018-01-09 | 电子科技大学 | 一种基于卷积神经网络的红外小目标检测方法 |
| US20180068429A1 (en) * | 2015-04-15 | 2018-03-08 | Institute Of Automation Chinese Academy Of Sciences | Image Steganalysis Based on Deep Learning |
| CN111046871A (zh) * | 2019-12-11 | 2020-04-21 | 厦门大学 | 一种感兴趣区域提取方法及*** |
-
2021
- 2021-06-01 CN CN202110608072.4A patent/CN113435435B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180068429A1 (en) * | 2015-04-15 | 2018-03-08 | Institute Of Automation Chinese Academy Of Sciences | Image Steganalysis Based on Deep Learning |
| CN107392095A (zh) * | 2017-06-15 | 2017-11-24 | 杭州红辉电子科技有限公司 | 一种基于掩码图像的红外弱小目标检测算法 |
| CN107563433A (zh) * | 2017-08-29 | 2018-01-09 | 电子科技大学 | 一种基于卷积神经网络的红外小目标检测方法 |
| CN111046871A (zh) * | 2019-12-11 | 2020-04-21 | 厦门大学 | 一种感兴趣区域提取方法及*** |
Non-Patent Citations (2)
| Title |
|---|
| TONG G等: "Improved U-NET network for pulmonary nodules segmentation", 《OPTIK》 * |
| 胡世根等: "基于深度分割模型的小目标检测", 《测控技术》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113435435B (zh) | 2022-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110532859B (zh) | 基于深度进化剪枝卷积网的遥感图像目标检测方法 | |
| CN114202696B (zh) | 基于上下文视觉的sar目标检测方法、装置和存储介质 | |
| CN109271856B (zh) | 基于扩张残差卷积的光学遥感图像目标检测方法 | |
| CN109086668B (zh) | 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法 | |
| CN109117802B (zh) | 面向大场景高分遥感影像的舰船检测方法 | |
| CN112084869B (zh) | 一种基于紧致四边形表示的建筑物目标检测方法 | |
| CN113223059B (zh) | 基于超分辨率特征增强的弱小空域目标检测方法 | |
| CN108416292B (zh) | 一种基于深度学习的无人机航拍图像道路提取方法 | |
| CN108596108B (zh) | 基于三元组语义关系学习的航拍遥感图像变化检测方法 | |
| CN111914924B (zh) | 一种快速舰船目标检测方法、存储介质及计算设备 | |
| KR102349854B1 (ko) | 표적 추적 시스템 및 방법 | |
| CN113920436A (zh) | 一种基于改进YOLOv4算法的遥感图像海上船舶识别***及其方法 | |
| CN111144234A (zh) | 一种基于深度学习的视频sar目标检测方法 | |
| CN115272876A (zh) | 一种基于深度学习的遥感图像船舶目标检测方法 | |
| CN110866926A (zh) | 一种红外遥感图像快速精细海陆分割方法 | |
| CN113822352A (zh) | 基于多特征融合的红外弱小目标检测方法 | |
| CN113486819A (zh) | 一种基于YOLOv4算法的船舶目标检测方法 | |
| CN115861756A (zh) | 基于级联组合网络的大地背景小目标识别方法 | |
| CN116469020A (zh) | 一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法 | |
| CN110059699B (zh) | 一种基于卷积神经网络的图像中天际线自动检测方法 | |
| CN115170978A (zh) | 车辆目标检测方法、装置、电子设备及存储介质 | |
| CN111797940A (zh) | 一种基于海洋搜救的图像识别方法及相关装置 | |
| CN113435435B (zh) | 一种红外图像弱小目标检测方法和*** | |
| Molin et al. | A change detection algorithm for SAR images based on logistic regression | |
| Zhang et al. | Change detection between digital surface models from airborne laser scanning and dense image matching using convolutional neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |