CN113963178A - 地空背景下红外弱小目标检测方法、装置、设备及介质 - Google Patents
地空背景下红外弱小目标检测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113963178A CN113963178A CN202111345039.3A CN202111345039A CN113963178A CN 113963178 A CN113963178 A CN 113963178A CN 202111345039 A CN202111345039 A CN 202111345039A CN 113963178 A CN113963178 A CN 113963178A
- Authority
- CN
- China
- Prior art keywords
- image
- infrared
- ground
- edge
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 162
- 238000004364 calculation method Methods 0.000 claims abstract description 42
- 238000000605 extraction Methods 0.000 claims abstract description 33
- 238000001914 filtration Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012216 screening Methods 0.000 claims description 12
- 238000005192 partition Methods 0.000 claims description 11
- 230000001629 suppression Effects 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 description 23
- 238000013145 classification model Methods 0.000 description 21
- 238000004088 simulation Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种地空背景下红外弱小目标检测方法、装置、设备及介质，其中方法包括：获取待处理的红外检测图像；对所述红外检测图像进行目标提取，得到红外目标图像；对所述红外检测图像进行地空背景估计，得到地空背景图像；提取所述地空背景图像的边缘，得到地空背景边缘图像；将所述红外目标图像与所述地空背景边缘图像进行第一差分计算，得到去除地空背景边缘的红外目标图像；根据该去除地空背景边缘的红外目标图像进行目标检测。本方案，能够通过提取地空背景边缘，再做差分计算得到去除地空背景边缘的红外目标图像，消除边缘噪声对检测结果的影响，提高地空背景下红外弱小目标检测的检测概率。
Description
技术领域
本发明实施例涉及图像处理技术领域，特别涉及一种地空背景下红外弱小目标检测方法、装置、设备及介质。
背景技术
当前，针对地空区域的反无人机探测是军用防空和民用安防领域的重要课题。红外搜索***以其高分辨率成像、360°全方位探测的特点，现已成为重点区域安防监控不可或缺的目标探测手段。地空背景是反无人机探测应用场景中最为常见的背景，故针对地空背景下红外弱小目标检测算法的研究十分必要。
传统的红外弱小目标检测方法是针对单帧图像进行处理的跟踪前检测算法，该方法能够应用在需要实时响应的嵌入式平台中。然而，传统的红外弱小目标检测方法在背景较为单一时检测概率较高，但在边缘噪声较为复杂的地空背景下，检测概率较低。
发明内容
基于传统红外弱小目标检测方法在边缘噪声较为复杂的地空背景下检测概率较低的问题，本发明实施例提供了一种地空背景下红外弱小目标检测方法、装置、设备及介质，能够提高地空背景下红外弱小目标检测的检测概率。
第一方面，本发明实施例提供了一种地空背景下红外弱小目标检测方法，包括：
获取待处理的红外检测图像；
对所述红外检测图像进行目标提取，得到红外目标图像；
对所述红外检测图像进行地空背景估计，得到地空背景图像；
提取所述地空背景图像的边缘，得到地空背景边缘图像；
将所述红外目标图像与所述地空背景边缘图像进行第一差分计算，得到去除地空背景边缘的红外目标图像；
根据该去除地空背景边缘的红外目标图像进行目标检测。
优选的，在所述将所述红外目标图像与所述地空背景边缘图像进行第一差分计算之后，得到去除地空背景边缘的红外目标图像之前，还包括：
对所述红外检测图像进行边缘提取，得到红外边缘图像；所述红外边缘图像中的边缘精度大于所述地空背景边缘图像中的边缘精度；
将所述红外边缘图像与第一差分计算后的红外目标图像进行第二差分计算，得到所述去除地空背景边缘的红外目标图像。
优选的，对所述红外检测图像进行边缘提取，包括：
对所述红外检测图像进行高斯滤波处理；
计算高斯滤波处理后的所述红外检测图像中每一个像素点的梯度幅值和梯度方向；
根据每一个像素点的梯度幅值和梯度方向对高斯滤波处理后的所述红外检测图像进行非极大值抑制，以滤除非边缘像素点；
根据预先设定的两个像素阈值，从滤除非边缘像素点的所述红外检测图像中确定出边缘线，得到所述红外边缘图像。
优选的，所述根据预先设定的两个像素阈值，从滤除非边缘像素点的所述红外检测图像中确定出边缘线，包括：
对滤除非边缘像素点的所述红外检测图像中的像素点进行分区；
针对每一个分区，均执行：将该分区内梯度幅值大于第一像素阈值的像素点连接，并确定连接后形成的边缘线是否闭合，若未闭合，则针对未闭合边缘线的端点，均确定端点的相邻像素点中梯度幅值大于第二像素阈值的目标像素点，利用所述目标像素点与端点连接，直至形成的边缘线闭合；
所述第一像素阈值大于第二像素阈值。
优选的，在所述得到去除地空背景边缘的红外目标图像之后，还包括：
计算所述去除地空背景边缘的红外目标图像中各像素点的像素值；
将像素值满足预设条件的像素点筛除，利用像素点筛除后的所述去除地空背景边缘的红外目标图像执行所述进行目标检测。
优选的，所述将像素值满足预设条件的像素点筛除，包括：
将最大像素值与预设比例的乘积确定为比较阈值；
将像素值小于所述比较阈值的像素点筛除。
优选的，
利用形态学顶帽变换执行所述对所述红外检测图像进行目标提取；
和/或，
利用设定尺度的中值滤波算子对所述红外检测图像进行地空背景估计；所述设定尺度为覆盖目标尺度的最小尺度；
和/或，
利用拉普拉斯滤波执行所述提取所述地空背景图像的边缘。
第二方面，本发明实施例还提供了一种地空背景下红外弱小目标检测装置，包括：
图像获取单元，用于获取待处理的红外检测图像；
目标提取单元，用于对所述红外检测图像进行目标提取，得到红外目标图像；
背景估计单元，用于对所述红外检测图像进行地空背景估计，得到地空背景图像；
背景边缘提取单元，用于提取所述地空背景图像的边缘，得到地空背景边缘图像；
第一差分计算单元，用于将所述红外目标图像与所述地空背景边缘图像进行第一差分计算，得到去除地空背景边缘的红外目标图像；
目标检测单元，用于根据该去除地空背景边缘的红外目标图像进行目标检测。
第三方面，本发明实施例还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现本说明书任一实施例所述的方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行本说明书任一实施例所述的方法。
本发明实施例提供了一种地空背景下红外弱小目标检测方法、装置、设备及介质，通过对红外检测图像进行目标提取，得到红外目标图像，同时对红外检测图像进行地空背景估计，并提取地空背景的边缘，得到去除目标的地空背景边缘图像，从而可以将得到的红外目标图像与地空背景边缘图像进行第一差分计算，得到去除地空背景边缘的红外目标图像，最后根据去除地空背景边缘的红外目标图像进行目标检测。可见，本方案通过提取地空背景边缘，再做差分计算得到去除地空背景边缘的红外目标图像，消除了边缘噪声对检测结果的影响，提高了地空背景下红外弱小目标检测的检测概率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种地空背景下红外弱小目标检测方法流程图；
图2是本发明一实施例提供的另一种地空背景下红外弱小目标检测方法流程图；
图3是本发明一实施例提供的一种计算设备的硬件架构图；
图4是本发明一实施例提供的一种地空背景下红外弱小目标检测装置结构图；
图5是本发明一实施例提供的另一种地空背景下红外弱小目标检测装置结构图；
图6是本发明一实施例提供的另一种地空背景下红外弱小目标检测装置结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如前所述，传统的红外弱小目标检测方法在背景较为单一时检测概率较高，但在边缘噪声较为复杂的地空背景下，这些边缘噪声会极大的影响弱小目标的检测，导致检测概率较低。因此若需要对复杂背景下进行红外弱小目标的检测，首先需要考虑去除这些边缘噪声。可以考虑将红外目标和地空背景边缘分别从红外检测图像中提取出来，然后将提取的红外目标图像与地空背景边缘图像进行差分计算，从而可以将红外目标图像中存在的地空背景边缘去除，得到去除地空背景边缘的红外目标图像，达到去除地空背景边缘噪声的目的，以此来提高地空背景下红外弱小目标检测的检测概率。
下面描述以上构思的具体实现方式。
请参考图1，本发明实施例提供了一种地空背景下红外弱小目标检测方法，该方法包括：
步骤100，获取待处理的红外检测图像。
步骤102，对所述红外检测图像进行目标提取，得到红外目标图像。
步骤104，对所述红外检测图像进行地空背景估计，得到地空背景图像。
步骤106，提取所述地空背景图像的边缘，得到地空背景边缘图像。
步骤108，将所述红外目标图像与所述地空背景边缘图像进行第一差分计算，得到去除地空背景边缘的红外目标图像。
步骤110，根据该去除地空背景边缘的红外目标图像进行目标检测。
本发明实施例中，通过对红外检测图像进行目标提取，得到红外目标图像，同时对红外检测图像进行地空背景估计，并提取地空背景的边缘，得到去除目标的地空背景边缘图像，从而可以将得到的红外目标图像与地空背景边缘图像进行第一差分计算，得到去除地空背景边缘的红外目标图像，最后根据去除地空背景边缘的红外目标图像进行目标检测。可见，本方案通过提取地空背景边缘，再做差分计算得到去除地空背景边缘的红外目标图像，消除了边缘噪声对检测结果的影响，提高了地空背景下红外弱小目标检测的检测概率。
下面描述图1所示的各个步骤的执行方式。
首先，针对步骤100，获取待处理的红外检测图像。
由于自然界中，一切物体都可以辐射红外线，因此相较于可见光图像，利用红外探测仪器得到的红外检测图像更能适应夜间光强不足及对比度差的情况，因此红外检测是重点区域安防监控不可或缺的目标探测手段。
在本发明实施例中，地空背景中不仅有地平线、建筑与天空的分界线这些较为明显的边缘噪声，还会受到云层飘移、树木晃动、背景噪声杂波等因素引起的细小边缘噪声，想要通过消除边缘噪声来实现地空背景下红外弱小目标的检测，首先需要获取单帧的待处理红外检测图像。
然后，针对步骤102，对所述红外检测图像进行目标提取，得到红外目标图像。
在本发明实施例中，利用形态学顶帽变换对所述红外检测图像进行目标提取，由于在红外检测图像中，红外弱小目标的尺寸一般为2*2像素，因此选用2*2的结构元对红外检测图像进行处理，得到红外目标图像，虽然该算法可以将红外目标从红外检测图像中提取出来，但是同时会保留较多地空背景边缘和噪声点，因此还需要对边界进行抑制。
接下来，针对步骤104，对所述红外检测图像进行地空背景估计，得到地空背景图像。
在本发明实施例中，利用设定尺度的中值滤波算子对所述红外检测图像进行地空背景估计，所述设定尺度为覆盖目标尺度的最小尺度。由于红外弱小目标的尺寸最大为4*4像素，不会超过5*5像素，因此选用5*5的中值滤波对红外检测图像进行地空背景估计，得到滤除红外目标的地空背景图像。
紧接着，针对步骤106，提取所述地空背景图像的边缘，得到地空背景边缘图像。
在本发明实施例中，由于在步骤104中得到的地空背景图像中已经滤除了红外目标，那么直接利用拉普拉斯变换对步骤104中得到的地空背景图像进行边缘提取，可以直接得到地空背景边缘图像。
接着，针对步骤108，将所述红外目标图像与所述地空背景边缘图像进行第一差分计算，得到去除地空背景边缘的红外目标图像。
在本发明实施例中，将步骤102中得到的红外目标图像与步骤106中得到的地空背景边缘图像进行第一差分计算，由于拉普拉斯变换提取的地空背景边缘精度较小，即边缘线型较粗，第一差分计算后得到的红外目标图像依然存在细小的地空背景边缘，直接进行目标检测的话，容易造成虚警率高，检测概率较低的情况。
在本发明一个实施例中，在将所述红外目标图像与所述地空背景边缘图像进行第一差分计算之后，得到去除地空背景边缘的红外目标图像之前，还可以通过如下步骤S1-S2进行第二差分计算：
S1，对所述红外检测图像进行边缘提取，得到红外边缘图像；所述红外边缘图像中的边缘精度大于所述地空背景边缘图像中的边缘精度。
由于第一差分计算后得到的红外目标图像依然存在细小的地空背景边缘，因此需要对残留的地空背景细边缘进行二次抑制。那么为了达到这个目的，首先需要对红外检测图像进行精度更高的边缘提取，将第一差分计算后得到的红外目标图像与精度更高的边缘提取图像进行第二差分计算，以去除细小的地空背景边缘。
需要说明的是，在本发明实施例中，红外边缘图像是对红外检测图像进行边缘提取，而不是对第一差分计算后得到的红外目标图像进行边缘提取，是因为红外边缘图像是用来通过第二差分计算去除第一差分计算后得到的红外目标图像中地空背景细边缘的，因此直接对红外检测图像进行边缘提取，得到的地空背景边缘信息就会更加完整，那么就能更大程度的去除红外目标图像中的地空背景细边缘。
另外，由于在使用拉普拉斯变换得到的地空背景边缘图像中的边缘精度较低，提取的地空背景边缘线型较粗，第一次差分计算后的红外目标图像依然需要去除细小的边缘，因此在本步骤中对所述红外检测图像进行精度更高的边缘提取方法是能够细化地空背景边缘的，即提取的边缘精度更高，因此得到红外边缘图像中的边缘精度大于所述地空背景边缘图像中的边缘精度。
在本发明实施例中，请参考图2，对所述红外检测图像进行精度更高的边缘提取如步骤200-204所示：
步骤200，对所述红外检测图像进行高斯滤波处理。
步骤202，计算高斯滤波处理后的所述红外检测图像中每一个像素点的梯度幅值和梯度方向。
步骤204，根据每一个像素点的梯度幅值和梯度方向对高斯滤波处理后的所述红外检测图像进行非极大值抑制，以滤除非边缘像素点。
在本发明实施例中，首先根据每一个像素点的梯度幅值，判断高斯滤波处理后的红外检测图像中每一个像素点在以该像素点为中心的八像素邻域内是否为八值邻域最大值像素点，若是，则保留该八值邻域最大值像素点，若否，则确定为非边缘像素点。
针对每一个八值邻域最大值像素点均执行：根据该八值邻域最大值像素点的梯度方向确定该梯度方向上与八个邻域像素点的交点，再根据八个邻域像素点中的与每个交点距离最近的两个像素点的梯度幅值，做插值求得每个交点的梯度幅值；判断该八值邻域最大值像素点的梯度幅值是否大于每一个交点的梯度幅值，若是则保留该八值邻域最大值像素点，若否，则将该八值邻域最大值像素点确定为非边缘像素点。
判断完所有八值邻域最大值像素点是否为非边缘像素点后，将所有非边缘像素点的梯度幅值置0，达到滤除非边缘像素点的目的。
步骤206，根据预先设定的两个像素阈值，从滤除非边缘像素点的所述红外检测图像中确定出边缘线，得到所述红外边缘图像。
在本步骤中，首先对滤除非边缘像素点的所述红外检测图像中的像素点进行分区；针对每一个分区，均执行：将该分区内梯度幅值大于第一像素阈值的像素点连接，并确定连接后形成的边缘线是否闭合，若未闭合，则针对未闭合边缘线的端点，均确定端点的相邻像素点中梯度幅值大于第二像素阈值的目标像素点，利用所述目标像素点与端点连接，直至形成的边缘线闭合；所述第一像素阈值大于第二像素阈值。
在本发明实施例中，首先确定滤除非边缘像素点的所述红外检测图像中保留下来的所有八值邻域最大值像素点的位置信息，然后根据原始红外检测图像中目标及地空背景的位置信息以及经验对所有八值邻域最大值像素点进行分区。
针对每一个分区，均执行：将该分区内梯度幅值大于第一像素阈值的所有八值邻域最大值像素点连接起来，确定连接后形成的边缘线是否闭合，若不闭合，则针对未闭合边缘线端点，判断其八个邻域像素点中是否有梯度幅值大于第二像素阈值并小于第一像素阈值的目标像素点，若有则将目标像素点与端点进行连接，直至形成的边缘线闭合，得到红外边缘图像。
S2，将所述红外边缘图像与第一差分计算后的红外目标图像进行第二差分计算，得到所述去除地空背景边缘的红外目标图像。
在步骤S2中，将第一差分计算后的红外目标图像与步骤S1中进行精度更高的边缘提取得到的红外边缘图像进行第二差分计算，得到去除地空背景边缘的红外目标图像，达到了对残留的地空背景细边缘进行二次抑制的目的。
另外，在所述得到去除地空背景边缘的红外目标图像之后，还需要对去除地空背景边缘的红外目标图像进行自适应阈值分割，具体操作包括如下步骤：
H1，计算所述去除地空背景边缘的红外目标图像中各像素点的像素值。
H2，将像素值满足预设条件的像素点筛除，利用像素点筛除后的所述去除地空背景边缘的红外目标图像执行所述进行目标检测。
在步骤H2中，所述将像素值满足预设条件的像素点筛除，包括：将最大像素值与预设比例的乘积确定为比较阈值；将像素值小于所述比较阈值的像素点筛除。
举例来说，需要保留像素值在前40％的像素点，那么预设比例为60％，假如去除地空背景边缘的红外目标图像各像素点中的最大像素值为100，将最大像素值与预设比例的乘积确定为比较阈值，那么计算得到比较阈值为60，将像素值小于60的像素点置0，保留像素值在60-100的像素点。将保留下来像素值在60-100像素点的去除地空背景边缘的红外目标图像进行下述的目标检测。
最后，针对步骤110，根据该去除地空背景边缘的红外目标图像进行目标检测。
本发明一个实施例中，为了对去除地空背景边缘的红外目标图像进行目标检测，至少可以通过如下两种方式来实现：
方式一、根据去除地空背景边缘的红外目标图像中各目标在时间序列红外检测图像中的运动特性来判断最终的检测目标。
方式二、利用预先训练好的分类模型对所述去除地空背景边缘的红外目标图像中包含的各目标进行分类，得到最终的检测目标。
下面对上述两种方式分别进行说明。
首先对方式一进行说明。
在该方式一中，本发明实施例具体可以包括：将红外检测图像与去除地空背景边缘的红外目标图像中各目标对应的目标位置标出，确定红外检测图像中的各目标；针对各目标在时间序列红外检测图像中的运动特性来判断哪个是最终的检测目标。
举例来说，若目标在时间序列红外检测图像中处于不动的状态，那么该目标确定为地空背景，若目标在时间序列红外检测图像中处于存在较平缓的位置移动，符合真实目标的运动特性，那么可以确定该目标为最终的检测目标。
在该方式二中，本发明实施例具体可以包括如下步骤N1-N3：
N1，训练分类模型。
本发明一个实施例中，所述分类模型的训练方式，具体可以包括如下步骤M1-M2：
M1，获取若干个正样本图像和若干个负样本图像；所述正样本图像为包含红外目标的图像；所述负样本图像为不包含红外目标的图像；各样本图像的尺寸相同。
在本发明实施例中，分类模型的主要作用是对各目标进行判断，判断其是红外目标还是背景边缘，因此其本质上是一个二分类网络，在预先对分类模型进行训练时将输入的图像分为红外目标和背景边缘两个类别。获取若干张包含红外目标的图像作为正样本图像，若干张不包含红外目标的图像作为负样本图像。
另外，由于红外弱小目标没有明显纹理特征和轮廓特征，且红外目标像素占比较整幅去除地空背景边缘的红外目标图像的像素个数而言较少，在使用分类模型进行分类时，只需要对包含各目标的区域进行局部判断。为了提高检测速度和准确率，并且需要大于目标的尺寸，在本发明实施例中，设定正样本图像和负样本图像尺寸都为13*13像素。
在本发明实施例中，由于训练分类网络时正样本图像和负样本图像的多样性将会影响分类网络的分类性能，所以正样本图像中除了实际红外图像中的真实目标图像之外，还增加了许多红外目标为仿真目标的图像，以此来增加训练图像的多样性。正样本图像中的仿真目标图像按照如下公式构建：
其中，α为所述正样本图像中的最大灰度值，(x0,y0)为所述仿真目标中心所处的位置坐标，I(x,y)为所述正样本图像中位于(x,y)位置处像素的灰度值，σx与σy为控制仿真目标在横向与纵向分散程度的参数，σx与σy的取值位于设定取值范围内，用于控制构建的正样本图像中仿真目标的尺寸不大于设定尺寸。
举例来说，当σx与σy的取值过于小时，会存在单个像素值过高的情况，由于红外弱小目标的尺寸一般不超过5*5，当σx与σy的取值过于大时，仿真目标的尺寸会超过真实，造成仿真目标失去真实性，这两种情况都会影响检测结果，因此将σx与σy的取值范围控制在[0.5,2]。
在本发明实施例中，由于使用仿真目标图像与真实目标图像相结合的训练数据有利于分类网络提高其自身的泛化能力，因此根据以上方式构建了3500张仿真目标图像的同时，还截取3500张实际红外图像中的真实目标图像，将这7000张图像作为分类网络的正样本图像。负样本图像则为从实际红外图像中随机截取的无目标红外背景图像，由于正负样本图像的比例悬殊过大，容易造成训练出来的分类模型的分类结果出现偏差，因此负样本图像同样也截取7000张。
在本发明一个实施例中，正样本图像中仿真目标与真实目标的中心都位于对应正样本图像的中心位置处，这样可以省去对于目标位置的回归网络设计，能够大大降低网络结构的复杂程度和计算成本，提高检测速度。另外，将目标的中心位于正样本图像的中心位置处，可以使得分类模型在训练过程中能够更加关注样本图像中心区域内的像素点的特征，从而在对待分类图像进行分类时，也能够利用待分类图像中心区域内像素点的特征进行分类。
M2，利用所述若干个正样本图像和若干个负样本图像对卷积神经网络进行训练，得到所述分类模型；所述卷积神经网络的最后一层卷积层为1×1的卷积核。
在本发明实施例中，从步骤H1确定的正样本图像和负样本图像中确定训练集和测试集，从正样本图像中随机选取10％的图像作为测试集，测试集中既有真实目标图像，又有仿真目标图像。抽取的1400张正样本图像为测试集，剩余的12600正样本图像和负样本图像为训练集。
在本发明实施例中，相较于需要人工设计特征，再基于单帧图像进行特征提取，最后再通过人为调参判断目标类别的传统方法而言，卷积神经网络的局部感受野与权值共享机制，在图像处理领域有着极高的成就。卷积神经网络有着强大的特征提取能力，可以自动提取目标图像的特征，然后进行分类。
但是，由于红外目标的尺寸太小，只需要对包含各目标的区域进行局部判断，因此设定正样本图像和负样本图像尺寸都为13*13像素，使用常用的卷积神经网络结构并不适用，常用的结构中网络层数较多，且输入的图像都是整幅图像，直接使用会造成大量计算资源和时间的浪费。因此可以重新设计轻量化的卷积神经网络架构进行红外弱小目标的分类检测。
在网络结构的设计中，可以尝试多种结构的网络，使用相同的方法进行训练，通过在训练集上损失函数的收敛情况以及在测试集上检测概率Pd以及虚警概率Fa来评价这几种网络对红外弱小目标分类效果的好坏。
在本发明实施例中，选择的卷积神经网络包括三层卷积层和两层全连接层，前两层卷积层的卷积核为3*3，最后一层卷积层的卷积核大小为1*1。
使用确定好的训练集对搭建好的卷积神经网络进行训练，训练时使用归一化处理对训练集中的正样本图像和负样本图像进行处理，训练批(batch size)的大小设为72，并且训练时打乱正样本图像和负样本图像的顺序，使用交叉熵误差作为训练时的损失函数，交叉熵误差的计算公式如下所示：
其中，yk代表卷积神经网络的输出，tk代表正确解标签。优化器选择Adam算法，使用这种优化算法可以使得训练更加快速有效地进行，加速网络的收敛速度，减少训练时间。学习率设置为0.00003，分成7个epoch进行训练，每50步评估一次，最后将损失函数最小，检测概率最高的一次，作为最终分类模型。
N2，针对所述去除地空背景边缘的红外目标图像中包含的每一个目标，分别截取所述去除地空背景边缘的红外目标图像的局部图像，使得每一个目标分别位于对应的局部图像中。
在本发明实施例中，如果直接将一幅256*256像素的去除地空背景边缘的红外目标图像，以每一个像素点为中心，分割出若干张局部图像进行分类判断，会造成大量计算资源和时间的浪费。另外，由于分类模型在训练过程中使用了相同尺寸的正样本图像和负样本图像，为降低不同尺寸的图像对分类结果的影响，因此，在分割得到局部图像时，分割出的局部图像的尺寸与训练该分类模型时使用的样本图像的尺寸相同。
进一步地，根据步骤N1可知，分类模型在训练过程中使用的正样本图像，目标的中心位置位于正样本图像的中心位置处，可以理解，分类模型更加关注输入的图像的中心区域像素点的特征，因此，为了提高分类结果的准确性，在针对每一个目标分割对应的局部图像时，该目标的中心位置位于对应局部图像的中心位置处。另外，在去除地空背景边缘的红外目标图像中，可能存在多个目标距离较近的情况，因此，在针对每一个目标分割对应的局部图像时，该局部图像的边缘区域可能存在其它目标，通过将该目标的中心位置位于对应局部图像的中心位置处，可以使得分类模型更加关注局部图像的中心区域像素点的特征，从而能够降低边缘区域的目标对分类结果的影响。
在分割局部图像时，可以借助之前得到步骤108中得到的去除地空背景边缘的红外目标图像中各目标的位置信息，以每一个目标为中心区域，截取13*13像素的完整目标的局部图像。
N3，将每一个局部图像分别输入到所述分类模型中，根据所述分类模型的输出确定最终的检测目标。
将截取的每一个局部图像分别输入到训练好的分类模型中，根据分类模型的输出结果得到最终的检测目标。
最后，将红外检测图像与去除地空背景边缘的红外目标图像中最终的检测目标对应的目标位置标出，以实现对红外弱小目标的检测。
可以看出，不论是通过方式一，还是方式二都可以完成根据该去除地空背景边缘的红外目标图像进行目标检测，最终实现对红外弱小目标的检测。
如图3、图4所示，本发明实施例提供了一种地空背景下红外弱小目标检测装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图3所示，为本发明实施例提供的一种地空背景下红外弱小目标检测装置所在计算设备的一种硬件架构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的计算设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图4所示，作为一个逻辑意义上的装置，是通过其所在计算设备的CPU将非易失性存储器中对应的计算机程序读取到内存中运行形成的。本实施例提供的一种地空背景下红外弱小目标检测装置，包括：
图像获取单元401，用于获取待处理的红外检测图像；
目标提取单元402，用于对所述红外检测图像进行目标提取，得到红外目标图像；
背景估计单元403，用于对所述红外检测图像进行地空背景估计，得到地空背景图像；
背景边缘提取单元404，用于提取所述地空背景图像的边缘，得到地空背景边缘图像；
第一差分计算单元405，用于将所述红外目标图像与所述地空背景边缘图像进行第一差分计算，得到去除地空背景边缘的红外目标图像；
目标检测单元406，用于根据该去除地空背景边缘的红外目标图像进行目标检测。
本发明一个实施例中，所述第一差分计算单元405，在执行将所述红外目标图像与所述地空背景边缘图像进行第一差分计算之后，得到去除地空背景边缘的红外目标图像之前，如图5本发明一实施例提供的另一种地空背景下红外弱小目标检测装置结构图所示，还包括第二差分计算单元407。
本发明一个实施例中，所述第二差分计算单元407，具体用于对所述红外检测图像进行边缘提取，得到红外边缘图像；所述红外边缘图像中的边缘精度大于所述地空背景边缘图像中的边缘精度；所述第二差分计算单元407，具体还用于将所述红外边缘图像与第一差分计算后的红外目标图像进行第二差分计算，得到所述去除地空背景边缘的红外目标图像。
本发明一个实施例中，所述第二差分计算单元407，在执行对所述红外检测图像进行边缘提取时，具体用于对所述红外检测图像进行高斯滤波处理；计算高斯滤波处理后的所述红外检测图像中每一个像素点的梯度幅值和梯度方向；根据每一个像素点的梯度幅值和梯度方向对高斯滤波处理后的所述红外检测图像进行非极大值抑制，以滤除非边缘像素点；根据预先设定的两个像素阈值，从滤除非边缘像素点的所述红外检测图像中确定出边缘线，得到所述红外边缘图像。
本发明一个实施例中，所述第二差分计算单元407，在执行所述根据预先设定的两个像素阈值，从滤除非边缘像素点的所述红外检测图像中确定出边缘线时，还用于对滤除非边缘像素点的所述红外检测图像中的像素点进行分区；针对每一个分区，均执行：将该分区内梯度幅值大于第一像素阈值的像素点连接，并确定连接后形成的边缘线是否闭合，若未闭合，则针对未闭合边缘线的端点，均确定端点的相邻像素点中梯度幅值大于第二像素阈值的目标像素点，利用所述目标像素点与端点连接，直至形成的边缘线闭合；所述第一像素阈值大于第二像素阈值。
本发明一个实施例中，所述第一差分计算单元405，在执行得到去除地空背景边缘的红外目标图像之后，如图6本发明一实施例提供的另一种地空背景下红外弱小目标检测装置结构图所示，还包括自适应阈值分割单元408。
本发明一个实施例中，所述自适应阈值分割单元408，具体用于计算所述去除地空背景边缘的红外目标图像中各像素点的像素值；将像素值满足预设条件的像素点筛除，利用像素点筛除后的所述去除地空背景边缘的红外目标图像执行所述进行目标检测。
本发明一个实施例中，所述自适应阈值分割单元408，在执行将像素值满足预设条件的像素点筛除时，具体用于将最大像素值与预设比例的乘积确定为比较阈值；将像素值小于所述比较阈值的像素点筛除。
本发明一个实施例中，所述目标提取单元402具体用于利用形态学顶帽变换执行所述对所述红外检测图像进行目标提取；和/或，所述背景估计单元403具体用于利用设定尺度的中值滤波算子对所述红外检测图像进行地空背景估计；所述设定尺度为覆盖目标尺度的最小尺度；和/或，所述背景边缘提取单元404具体用于利用拉普拉斯滤波执行所述提取所述地空背景图像的边缘。
可以理解的是，本发明实施例示意的结构并不构成对一种地空背景下红外弱小目标检测装置的具体限定。在本发明的另一些实施例中，一种地空背景下红外弱小目标检测装置可以包括比图示更多或者更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。
上述装置内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本发明实施例还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现本发明任一实施例中的一种地空背景下红外弱小目标检测方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时，使所述处理器执行本发明任一实施例中的一种地空背景下红外弱小目标检测方法。
具体地，可以提供配有存储介质的***或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该***或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作***等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到***计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展模块中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展模块上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种地空背景下红外弱小目标检测方法，其特征在于，包括：
获取待处理的红外检测图像；
对所述红外检测图像进行目标提取，得到红外目标图像；
对所述红外检测图像进行地空背景估计，得到地空背景图像；
提取所述地空背景图像的边缘，得到地空背景边缘图像；
将所述红外目标图像与所述地空背景边缘图像进行第一差分计算，得到去除地空背景边缘的红外目标图像；
根据该去除地空背景边缘的红外目标图像进行目标检测。
2.根据权利要求1所述的方法，其特征在于，在所述将所述红外目标图像与所述地空背景边缘图像进行第一差分计算之后，得到去除地空背景边缘的红外目标图像之前，还包括：
对所述红外检测图像进行边缘提取，得到红外边缘图像；所述红外边缘图像中的边缘精度大于所述地空背景边缘图像中的边缘精度；
将所述红外边缘图像与第一差分计算后的红外目标图像进行第二差分计算，得到所述去除地空背景边缘的红外目标图像。
3.根据权利要求2所述的方法，其特征在于，对所述红外检测图像进行边缘提取，包括：
对所述红外检测图像进行高斯滤波处理；
计算高斯滤波处理后的所述红外检测图像中每一个像素点的梯度幅值和梯度方向；
根据每一个像素点的梯度幅值和梯度方向对高斯滤波处理后的所述红外检测图像进行非极大值抑制，以滤除非边缘像素点；
根据预先设定的两个像素阈值，从滤除非边缘像素点的所述红外检测图像中确定出边缘线，得到所述红外边缘图像。
4.根据权利要求3所述的方法，其特征在于，所述根据预先设定的两个像素阈值，从滤除非边缘像素点的所述红外检测图像中确定出边缘线，包括：
对滤除非边缘像素点的所述红外检测图像中的像素点进行分区；
针对每一个分区，均执行：将该分区内梯度幅值大于第一像素阈值的像素点连接，并确定连接后形成的边缘线是否闭合，若未闭合，则针对未闭合边缘线的端点，均确定端点的相邻像素点中梯度幅值大于第二像素阈值的目标像素点，利用所述目标像素点与端点连接，直至形成的边缘线闭合；
所述第一像素阈值大于第二像素阈值。
5.根据权利要求1所述的方法，其特征在于，在所述得到去除地空背景边缘的红外目标图像之后，还包括：
计算所述去除地空背景边缘的红外目标图像中各像素点的像素值；
将像素值满足预设条件的像素点筛除，利用像素点筛除后的所述去除地空背景边缘的红外目标图像执行所述进行目标检测。
6.根据权利要求5所述的方法，其特征在于，所述将像素值满足预设条件的像素点筛除，包括：
将最大像素值与预设比例的乘积确定为比较阈值；
将像素值小于所述比较阈值的像素点筛除。
7.根据权利要求1-6中任一所述的方法，其特征在于，
利用形态学顶帽变换执行所述对所述红外检测图像进行目标提取；
和/或，
利用设定尺度的中值滤波算子对所述红外检测图像进行地空背景估计；所述设定尺度为覆盖目标尺度的最小尺度；
和/或，
利用拉普拉斯滤波执行所述提取所述地空背景图像的边缘。
8.一种地空背景下红外弱小目标检测装置，其特征在于，包括：
图像获取单元，用于获取待处理的红外检测图像；
目标提取单元，用于对所述红外检测图像进行目标提取，得到红外目标图像；
背景估计单元，用于对所述红外检测图像进行地空背景估计，得到地空背景图像；
背景边缘提取单元，用于提取所述地空背景图像的边缘，得到地空背景边缘图像；
第一差分计算单元，用于将所述红外目标图像与所述地空背景边缘图像进行第一差分计算，得到去除地空背景边缘的红外目标图像；
目标检测单元，用于根据该去除地空背景边缘的红外目标图像进行目标检测。
9.一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111345039.3A CN113963178A (zh) | 2021-11-15 | 2021-11-15 | 地空背景下红外弱小目标检测方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111345039.3A CN113963178A (zh) | 2021-11-15 | 2021-11-15 | 地空背景下红外弱小目标检测方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113963178A true CN113963178A (zh) | 2022-01-21 |
Family
ID=79470398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111345039.3A Pending CN113963178A (zh) | 2021-11-15 | 2021-11-15 | 地空背景下红外弱小目标检测方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113963178A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114648547A (zh) * | 2022-03-09 | 2022-06-21 | 中国空气动力研究与发展中心计算空气动力研究所 | 用于反无人机红外探测***的弱小目标检测方法和装置 |
-
2021
- 2021-11-15 CN CN202111345039.3A patent/CN113963178A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114648547A (zh) * | 2022-03-09 | 2022-06-21 | 中国空气动力研究与发展中心计算空气动力研究所 | 用于反无人机红外探测***的弱小目标检测方法和装置 |
| CN114648547B (zh) * | 2022-03-09 | 2023-06-27 | 中国空气动力研究与发展中心计算空气动力研究所 | 用于反无人机红外探测***的弱小目标检测方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110472627B (zh) | 一种端到端的sar图像识别方法、装置及存储介质 | |
| Hu et al. | Fast forest fire smoke detection using MVMNet | |
| CN109614985B (zh) | 一种基于密集连接特征金字塔网络的目标检测方法 | |
| Xie et al. | Multilevel cloud detection in remote sensing images based on deep learning | |
| Bhanu | Automatic target recognition: State of the art survey | |
| CN110084234B (zh) | 一种基于实例分割的声呐图像目标识别方法 | |
| CN113567984A (zh) | 一种sar图像中人造小目标的检测方法及*** | |
| US9189867B2 (en) | Adaptive image processing apparatus and method based in image pyramid | |
| CN110309781B (zh) | 基于多尺度光谱纹理自适应融合的房屋损毁遥感识别方法 | |
| CN109902715B (zh) | 一种基于上下文聚合网络的红外弱小目标检测方法 | |
| WO2021146700A1 (en) | Systems for multiclass object detection and alerting and methods therefor | |
| CN111046880A (zh) | 一种红外目标图像分割方法、***、电子设备及存储介质 | |
| CN109934216B (zh) | 图像处理的方法、装置、计算机可读存储介质 | |
| CN112734775A (zh) | 图像标注、图像语义分割、模型训练方法及装置 | |
| CN110610143B (zh) | 多任务联合训练的人群计数网络方法、***、介质及终端 | |
| CN110008900B (zh) | 一种由区域到目标的可见光遥感图像候选目标提取方法 | |
| Doi et al. | The effect of focal loss in semantic segmentation of high resolution aerial image | |
| CN116469020A (zh) | 一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法 | |
| CN113962900A (zh) | 复杂背景下红外弱小目标检测方法、装置、设备及介质 | |
| CN115115601A (zh) | 一种基于形变注意金字塔的遥感舰船目标检测方法 | |
| CN113177956B (zh) | 一种面向无人机遥感影像的语义分割方法 | |
| CN113963178A (zh) | 地空背景下红外弱小目标检测方法、装置、设备及介质 | |
| CN111368865A (zh) | 遥感影像储油罐检测方法、装置、可读存储介质及设备 | |
| CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
| CN117218545A (zh) | 基于LBP特征与改进Yolov5的雷达图像检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |