CN110807384A - 低能见度下的小目标检测方法和*** - Google Patents

低能见度下的小目标检测方法和*** Download PDF

Info

Publication number
CN110807384A
CN110807384A CN201911019371.3A CN201911019371A CN110807384A CN 110807384 A CN110807384 A CN 110807384A CN 201911019371 A CN201911019371 A CN 201911019371A CN 110807384 A CN110807384 A CN 110807384A
Authority
CN
China
Prior art keywords
anchor point
target
image
representing
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911019371.3A
Other languages
English (en)
Inventor
高明柯
杜欣军
逄涛
王熠
郭威
刘鹏飞
冒睿瑞
张浩博
于楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 32 Research Institute
Original Assignee
CETC 32 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 32 Research Institute filed Critical CETC 32 Research Institute
Priority to CN201911019371.3A priority Critical patent/CN110807384A/zh
Publication of CN110807384A publication Critical patent/CN110807384A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种低能见度下的小目标检测方法和***，使用RefineDet作为检测器，采用带色彩恢复的多尺度视网膜增强对目标图像进行处理，得到增强图像，使用锚点细化模型滤除增强图像中的负锚点，建立锚点细化模型与目标检测模型之间的关联关系，基于关联关系将锚点细化模型中的特征图像分享到目标检测模型中进行回归和预测类别，并输出识别结果。在低亮度、背光、环境模糊的情况下，采用带色彩恢复的多尺度视网膜增强算法降低了不同光照下图像的敏感度，减少了噪声，提高了小目标被卷积神经网络提取后的特征性；通过高层语义特征与底层特征的融合，获得感受野丰富、细节充足、内容抽象的特征，提高了小目标的辨析度。

Description

低能见度下的小目标检测方法和***
技术领域
本发明涉及计算机视觉技术领域，具体地，涉及一种低能见度下的小目标检测方法和***。
背景技术
小目标问题在物体检测和语义分割等视觉任务中一直是存在的一个难点，小目标的检测精度通常只有大目标的一半。在MS COCO数据集中，小目标被定义为面积小于32*32的物体。小目标由于分辨率低，图像模糊，携带的信息少，因此导致特征表达能力弱，难以提取较多的有效特征，致使小目标难以检测。目前在解决小目标检测问题上比较流行的方法有尺度放大法，即将图片放大后再做检测；Anchor窗口改进法，即改进Anchor窗口的密度、范围和形状数量；感兴趣区域的池化改进法，即改进小目标在池化之后导致物体结构失真的问题；数据增强法，由于在MS COCO训练集中通常小目标多，大目标少，但是小目标被Anchor包含概率小，因此需要对小目标数据集进行增强。一种策略是采取过采样，即通过在训练期间过采样来解决包含小目标图像相对较少的问题；另一种策略是小目标扩充，即将小目标在图像中复制多份，在保证不影响其他目标的基础上，增加小目标在图像中出现的次数，提升被Anchor包含的概率。
国内专利CN109886359A公开了一种基于卷积神经网络的小目标检测方法及检测模型，检测方法包括：对训练集图像中的小目标进行标注，建立小目标数据集；以caffe-ssd为底层训练平台，构建加强低层特征融合的单步检测器模型ELFSSD；采用预训练的VGG-16网络初始化构建的模型，输入lmdb格式的小目标数据集，进行迭代训练。该发明加强了低层特征，去除了高层冗余特征，简化了检测流程，提高了检测速度，实时准确地检测出图像中的小目标，解决了现有技术中小目标检测效果差的问题。
国内专利CN110097129A公开了一种基于轮廓波分组特征金字塔卷积的遥感目标检测方法，解决了光学遥感图像飞机与舰船在边缘模糊时召回率低、虚警率高的问题。该发明采用非下采样轮廓边缘加强图像边缘特征，并构建分组卷积和特征金字塔网络，更适于光学遥感图像目标检测，针对边缘模糊的小目标检测准确率明显提高。
国内专利CN110135312A公开了一种基于分级LCM的快速小目标检测方法。该发明首先针对待检测图像进行预处理，然后以图像块为基础进行第一级LCM滤波处理，筛选出可疑目标区块，其次以改进的多尺度LCM算法进行第二级滤波处理，实现对可疑目标区块的目标增强，最后根据自适应阈值划分，提取出待检测小目标。国内专利CN109886082A公开了一种基于SSD的小目标增强预测模块检测方法。该发明先对检测目标进行拍照采样，然后对检测目标进行特征重建；最后对检测目标使用像素校准模块进行进一步优化。该发明增加了针对小目标检测的预测模块，通过降低其他层预测器的压力，提升浅层特征来进行检测，提高了融合效率并增强了预测器的能力。
国外专利US10147019B2公开了一个小目标检测***。该发明包含处理器和存储器。该发明通过至少融合第一特征图集和第二特征图集生成级联的特征图集，并基于融合的特征图集通过卷积神经网络对图像进行分类。
国外专利US20180300880A1公开了大尺度图像中小目标检测方法。该发明从至少包含一个感兴趣目标的原始图像中计算并构建图像金字塔。由图像金字塔中每个图像的预定尺寸构建图像块，并利用图像块训练卷积神经网络，最后采用相似的图像块通过卷积神经网络分析后续的图像。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种低能见度下的小目标检测方法和***。
根据本发明提供的一种低能见度下的小目标检测方法，使用RefineDet作为检测器，采用带色彩恢复的多尺度视网膜增强对目标图像进行处理，得到增强图像，使用锚点细化模型滤除增强图像中的负锚点，建立锚点细化模型与目标检测模型之间的关联关系，基于关联关系将锚点细化模型中的特征图像分享到目标检测模型中进行回归和预测类别，并输出识别结果。
优选地，所述的低能见度下的小目标检测方法，包括以下步骤：
图像增强步骤：将输入的目标图像根据RGB分量分解为三幅图像，根据波长尺度区分计算波段内像素间的明暗关系，以确定每个像素的色彩度，根据色彩度对目标图像进行色彩增强，得到增强图像；
锚点细化步骤：基于锚点细化模型，通过锚点细化将增强图像基于不同尺度分别产生锚点窗口，预测锚点窗口的位置、前景置信度或背景置信度、前景类别或背景类别，从多个锚点窗口中滤除高概率的负样本，调整锚点窗口的位置和大小，得到区域提议；
特征转换步骤：将区域提议通过特征转化为目标检测模型特征，将不同网络层进行特征融合，通过在传输的特征中添加高层特征以集成大尺度语义信息，采用反卷积放大得到高层特征图，按像素求和后加入一个卷积层，得到转换图像；
候选框精调步骤：将增强图像作为基础层通过特征金字塔方式连接，对区域提议进行类别细分和位置精修，进行目标预测后对各层的预测结果进行综合，输出识别结果
优选地，所述的低能见度下的小目标检测方法，还包括损失计算步骤：在锚点细化时进行二分类损失计算和回归损失计算，在目标预测时进行多分类损失计算和回归损失计算。
优选地，所述二分类损失计算、多分类损失计算、回归损失计算均采用以下损失函数：
Figure BDA0002246703490000031
其中i表示批梯度下降中锚点的索引，
Figure BDA0002246703490000032
表示第i个锚点所对应的真实类别的标签，表示第i个锚点所对应的真实边框的位置和大小；pi和xi表示ARM阶段预测出来的第i个锚点的二分类置信度和细化后锚点的坐标；ci和ti表示ODM阶段预测出的目标分类和最终的目标框坐标。NARM和NODM分别表示ARM和ODM中正样本的数量。二分类损失Lb为交叉熵损失函数，多分类损失Lm为Softmax函数，Lr为smooth L1损失函数。[]为示性函数，框内表达式为真时，输出1，否则输出0。当NARM或NODM为0时，则将对应损失置0。
优选地，所述波长尺度按照大、中、小三种尺度进行区分；所述波段分为长波波段、中波波段和短波波段。
根据本发明提供的一种低能见度下的小目标检测***，使用RefineDet作为检测器，采用带色彩恢复的多尺度视网膜增强对目标图像进行处理，得到增强图像，使用锚点细化模型滤除增强图像中的负锚点，建立锚点细化模型与目标检测模型之间的关联关系，基于关联关系将锚点细化模型中的特征图像分享到目标检测模型中进行回归和预测类别，并输出识别结果。
优选地，所述的低能见度下的小目标检测***，包括以下模块：
图像增强模块：将输入的目标图像根据RGB分量分解为三幅图像，根据波长尺度区分计算波段内像素间的明暗关系，以确定每个像素的色彩度，根据色彩度对目标图像进行色彩增强，得到增强图像；
锚点细化模块：基于锚点细化模型，通过锚点细化将增强图像基于不同尺度分别产生锚点窗口，预测锚点窗口的位置、前景置信度或背景置信度、前景类别或背景类别，从多个锚点窗口中滤除高概率的负样本，调整锚点窗口的位置和大小，得到区域提议；
特征转换模块：将区域提议通过特征转化为目标检测模型特征，将不同网络层进行特征融合，通过在传输的特征中添加高层特征以集成大尺度语义信息，采用反卷积放大得到高层特征图，按像素求和后加入一个卷积层，得到转换图像；
候选框精调模块：将增强图像作为基础层通过特征金字塔方式连接，对区域提议进行类别细分和位置精修，进行目标预测后对各层的预测结果进行综合，输出识别结果
优选地，所述的低能见度下的小目标检测***，还包括损失计算模块：在锚点细化时进行二分类损失计算和回归损失计算，在目标预测时进行多分类损失计算和回归损失计算。
优选地，所述二分类损失计算、多分类损失计算、回归损失计算均采用以下损失函数：
Figure BDA0002246703490000041
其中i表示批梯度下降中锚点的索引，
Figure BDA0002246703490000042
表示第i个锚点所对应的真实类别的标签，
Figure BDA0002246703490000043
表示第i个锚点所对应的真实边框的位置和大小；pi和xi表示ARM阶段预测出来的第i个锚点的二分类置信度和细化后锚点的坐标；ci和ti表示ODM阶段预测出的目标分类和最终的目标框坐标。NARM和NODM分别表示ARM和ODM中正样本的数量。二分类损失Lb为交叉熵损失函数，多分类损失Lm为Softmax函数，Lr为smooth L1损失函数。[]为示性函数，框内表达式为真时，输出1，否则输出0。当NARM或NODM为0时，则将对应损失置0。
与现有技术相比，本发明具有如下的有益效果：
1、本发明在低亮度、背光、环境模糊的情况下，采用带色彩恢复的多尺度视网膜增强算法降低了不同光照下图像的敏感度，减少了噪声，提高了小目标被卷积神经网络提取后的特征性。
2、本发明基于RefineDet检测器，有效结合了一步检测的速度和二步检测的精度，兼顾了检测效率和准确率；通过高层语义特征与底层特征的融合，获得感受野丰富、细节充足、内容抽象的特征，提高了小目标的辨析度。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的流程示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
得益于深度卷积神经网络的飞速发展，目标检测问题已逐步取得很大的进展。然而由于图像中小目标信息少、分辨率低，尤其在低亮度、背光、环境模糊的情况下，存在更多噪声，致使其被卷积神经网络提取后，特征性仍然很弱，因此小目标检测难度大，精度低。现有的目标检测方法中，诸如Yolo、SSD等一步检测算法虽然速度较快，但是由于对原图进行了缩放，感受野较小，导致小目标特征图不明显，因此检测困难；诸如Fast-RCNN、Mask-RCNN等两步检测算法虽然不对尺度进行处理，但检测速度相对要慢很多，且当小目标聚集性较大时，检测效果也不理想。
本发明提出一种低能见度下的小目标检测***和方法，采用带色彩恢复的多尺度视网膜增强算法对图像重建与增强，并结合单发细化目标探测器解决以上技术问题。
本发明使用RefineDet作为检测器，并辅以带色彩恢复的多尺度视网膜增强算法(MSRCR)对小目标图像进行特殊处理，能够克服低能见度环境、目标小且模糊所带来的影响，有效提高了小目标的检测精度。本发明在图像增强的基础上，使用锚点细化模型(ARM,Anchor Refinement Module)滤除负锚点以减少分类器的搜索空间，粗略调整锚点的位置和大小，以便更好地初始化后续的回归器；使用转换连接模块(TCB,TransferConnectionBlock)建立ARM和目标检测模型(ODM,Object Detection Module)之间联系，将ARM中的特征图分享到ODM中；使用ODM在锚点细化模型的基础上，进一步回归和预测类别，兼顾了准确率和检测效率，适用于行人检测、车辆检测、物体检测等目标检测相关的实际应用。
在具体实施中，本发明通过图像增强和目标检测进行。所述图像增强用于在Retinex理论基础上，通过带色彩恢复的多尺度视网膜增强算法对原图像进行色彩增强，避免图像局部细节的色彩失真，增强整体视觉效果，提升小目标的解析度。所述目标检测用于融合一步检测器和两步检测器的优点，通过锚点细化模型、转换连接模块和目标检测模型对所述图像增强模块获得的增强图像进行小目标检测。
所述带色彩恢复的多尺度视网膜增强算法，首先根据R、G、B分量将输入的彩色图像分解为三幅图像，代表场景中波长不同的反射光的强度；然后按照大、中、小三种尺度分别计算长波、中波和短波波段内像素间的相对明暗关系，进而确定每个像素的色彩；最后，进行颜色恢复和颜色均衡，获得增强图像。
所述锚点细化是在多个不同尺度的特征图上进行了锚点窗口的预测。该模块只做二分类，即确定有无目标，去除一些无物体的候选区域，并对位置和尺寸进行大致的调整，为之后的ODM提供一个良好的初始化。首先在4个不同尺度的特征图上分别产生锚点窗口，并分别预测出窗口的位置和前景/背景的置信度；然后对特征图上产生的锚点窗口进行前景/背景类别预测，从大量的锚点窗口中滤除高概率的负样本，最后对锚点的位置粗略调整以产生区域提议。
所述转换连接是根据ARM所产生的区域提议，将其特征转化为ODM特征，将不同网络层的特征融合起来。通过在传输的特征中添加高层特征以集成大尺度的context，采用反卷积放大高层特征图，然后按像素求和，并在其后加入一个卷积层，以保证特征的可识别性。
所述目标检测主要进行多类别分类和矩形框回归，将ARM模块中下采样所使用到4个不同尺度的特征图通过特征金字塔的方式连接起来，以实现对ARM输出的区域提议进行类别细分和位置精修。该模块得益于TCB的特征融合，使得ODM低层的特征图融合了高层特征图的语义信息，并基于每层的特征图进行预测，最后对各层的预测结果进行综合，有效提升对小目标的检测效果。
如图1所示，本发明在实施时采用如下步骤：
步骤1，图像增强：
首先根据R、G、B分量将输入的彩色图像分解为三幅图像，代表场景中波长不同的反射光的强度；然后按照大、中、小三种尺度分别计算长波、中波和短波波段内像素间的相对明暗关系，进而确定每个像素的色彩；最后，进行颜色恢复和颜色均衡，获得增强图像；
步骤2，锚点二分类：
采用卷积框架中的conv4_3、conv5_3、conv_fc7和conv6_2作为检测层，设置4个不同的尺度(8，16，32，64)，在每个尺度的特征图上按照固定的先验框和纵横比设置产生锚点窗口，并分别预测出窗口的位置和前景/背景的置信度；
步骤3，区域提议：
对特征图上产生的锚点窗口进行前景/背景类别预测，经过softmax函数后，产生对于两个类别的概率预测值；并从大量的锚点窗口中滤除概率高于0.99的负样本，最后计算损失，并对锚点的位置粗略调整以产生区域提议。
步骤4，损失计算：
损失计算包含两部分，即ARM的损失和ODM的损失。ARM部分，由于每个锚点具有一个二分类标签，同时需要回归锚点窗口的位置和大小以获得细化的锚点窗口，因此主要包括二分类损失和回归损失；ODM部分，由于需要将ARM传入的锚点窗口进行更进一步的目标类别预测和目标位置、大小回归，因此主要包括多分类损失和回归损失。具体损失函数如下：
其中i表示批梯度下降中锚点的索引，
Figure BDA0002246703490000072
表示第i个锚点所对应的真实类别的标签，
Figure BDA0002246703490000073
表示第i个锚点所对应的真实边框的位置和大小；pi和xi表示ARM阶段预测出来的第i个锚点的二分类置信度和细化后锚点的坐标；ci和ti表示ODM阶段预测出的目标分类和最终的目标框坐标。NARM和NODM分别表示ARM和ODM中正样本的数量。二分类损失Lb为交叉熵损失函数，多分类损失Lm为Softmax函数，Lr为smooth L1损失函数。[]为示性函数，框内表达式为真时，输出1，否则输出0。当NARM或NODM为0时，则将对应损失置0。
步骤5，特征转换：
在通过ARM传入的特征中添加高层语义特征以集成大尺度的上下文信息，首先将ARM传入的特征图采用卷积核3×3，步长1，通道数256的卷积进行2次操作；同时将高层特征图采用卷积核4×4，步长2，通道数256的反卷积放大高层语义特征图，然后按像素相加融合；最后通过一个卷积核3×3，步长1，通道数256的卷积层，以保证特征的可识别性；
步骤6，候选框精调及分类
采用提取层conv4_3、conv5_3、conv_fc7和conv6_2作为基础层，对TCB传入的每层特征融合后的候选区域进行进一步精确回归，损失计算并且通过非极大值算法获取不同尺度的检测结果，以此预测目标类别、边框位置和大小等信息。
步骤7，输出最终结果。
在本发明中，GAN表示生成式对抗神经网络(Generative AdversarialNetworks)，是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。
Feather Map表示在卷积神经网络的每个卷积层中，数据都是以三维形式存在的。也可以看成许多个二维图片叠在一起，其中每一个称为一个feature map。在输入层，若是灰度图片，则只有一个feature map；若是彩色图片，一般有3个feature map，对应红绿蓝三个颜色通道。层与层之间有若干个卷积核，上一层和每个feature map跟每个卷积核做卷积，便产生下一层的一个feature map。
Anchor表示在feature map中使用滑动窗口的操作方式，当前滑窗的中心在原像素空间的映射点就称为Anchor。Anchor是在原图像像素空间中，而不是在feature map上。
RefineDet表示一种继承了以一步检测和两步检测优点且克服其缺点的单发目标探测器。它属于一步法,但是具备了二步法的二阶段分类、二阶段回归、二阶段特征这3个优势。它比两步方法更精准,同时保持了一步法的效率。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***、装置及其各个模块以外，完全可以通过将方法模块进行逻辑编程来使得本发明提供的***、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的***、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种低能见度下的小目标检测方法，其特征在于，使用RefineDet作为检测器，采用带色彩恢复的多尺度视网膜增强对目标图像进行处理，得到增强图像，使用锚点细化模型滤除增强图像中的负锚点，建立锚点细化模型与目标检测模型之间的关联关系，基于关联关系将锚点细化模型中的特征图像分享到目标检测模型中进行回归和预测类别，并输出识别结果。
2.根据权利要求1所述的低能见度下的小目标检测方法，其特征在于，包括以下步骤：
图像增强步骤：将输入的目标图像根据RGB分量分解为三幅图像，根据波长尺度区分计算波段内像素间的明暗关系，以确定每个像素的色彩度，根据色彩度对目标图像进行色彩增强，得到增强图像；
锚点细化步骤：基于锚点细化模型，通过锚点细化将增强图像基于不同尺度分别产生锚点窗口，预测锚点窗口的位置、前景置信度或背景置信度、前景类别或背景类别，从多个锚点窗口中滤除高概率的负样本，调整锚点窗口的位置和大小，得到区域提议；
特征转换步骤：将区域提议通过特征转化为目标检测模型特征，将不同网络层进行特征融合，通过在传输的特征中添加高层特征以集成大尺度语义信息，采用反卷积放大得到高层特征图，按像素求和后加入一个卷积层，得到转换图像；
候选框精调步骤：将增强图像作为基础层通过特征金字塔方式连接，对区域提议进行类别细分和位置精修，进行目标预测后对各层的预测结果进行综合，输出识别结果。
3.根据权利要求2所述的低能见度下的小目标检测方法，其特征在于，还包括损失计算步骤：在锚点细化时进行二分类损失计算和回归损失计算，在目标预测时进行多分类损失计算和回归损失计算。
4.根据权利要求3所述的低能见度下的小目标检测方法，其特征在于，所述二分类损失计算、多分类损失计算、回归损失计算均采用以下损失函数：
Figure FDA0002246703480000011
其中，下标i表示批梯度下降中锚点的索引；
Figure FDA0002246703480000012
表示第i个锚点所对应的真实类别的标签；
Figure FDA0002246703480000021
表示第i个锚点所对应的真实边框的位置和大小；
pi表示预测出来的第i个锚点的二分类置信度；
xi表示预测出来的第i个锚点的细化后锚点的坐标；
ci表示预测出的目标分类；
ti表示预测出的最终的目标框坐标；
NARM和NODM分别表示锚点细化中和目标检测中正样本的数量；
二分类损失Lb为交叉熵损失函数；
多分类损失Lm为Softmax函数；
Lr为smooth L1损失函数；
[]为示性函数，框内表达式为真时，输出1，否则输出0；
当NARM或NODM为0时，则将对应损失置0。
5.根据权利要求2所述的低能见度下的小目标检测方法，其特征在于，所述波长尺度按照大、中、小三种尺度进行区分；所述波段分为长波波段、中波波段和短波波段。
6.一种低能见度下的小目标检测***，其特征在于，使用RefineDet作为检测器，采用带色彩恢复的多尺度视网膜增强对目标图像进行处理，得到增强图像，使用锚点细化模型滤除增强图像中的负锚点，建立锚点细化模型与目标检测模型之间的关联关系，基于关联关系将锚点细化模型中的特征图像分享到目标检测模型中进行回归和预测类别，并输出识别结果。
7.根据权利要求6所述的低能见度下的小目标检测***，其特征在于，包括以下模块：
图像增强模块：将输入的目标图像根据RGB分量分解为三幅图像，根据波长尺度区分计算波段内像素间的明暗关系，以确定每个像素的色彩度，根据色彩度对目标图像进行色彩增强，得到增强图像；
锚点细化模块：基于锚点细化模型，通过锚点细化将增强图像基于不同尺度分别产生锚点窗口，预测锚点窗口的位置、前景置信度或背景置信度、前景类别或背景类别，从多个锚点窗口中滤除高概率的负样本，调整锚点窗口的位置和大小，得到区域提议；
特征转换模块：将区域提议通过特征转化为目标检测模型特征，将不同网络层进行特征融合，通过在传输的特征中添加高层特征以集成大尺度语义信息，采用反卷积放大得到高层特征图，按像素求和后加入一个卷积层，得到转换图像；
候选框精调模块：将增强图像作为基础层通过特征金字塔方式连接，对区域提议进行类别细分和位置精修，进行目标预测后对各层的预测结果进行综合，输出识别结果。
8.根据权利要求7所述的低能见度下的小目标检测***，其特征在于，还包括损失计算模块：在锚点细化时进行二分类损失计算和回归损失计算，在目标预测时进行多分类损失计算和回归损失计算。
9.根据权利要求8所述的低能见度下的小目标检测***，其特征在于，所述二分类损失计算、多分类损失计算、回归损失计算均采用以下损失函数：
其中，下标i表示批梯度下降中锚点的索引；
Figure FDA0002246703480000032
表示第i个锚点所对应的真实类别的标签；
Figure FDA0002246703480000033
表示第i个锚点所对应的真实边框的位置和大小；
pi表示预测出来的第i个锚点的二分类置信度；
xi表示预测出来的第i个锚点的细化后锚点的坐标；
ci表示预测出的目标分类；
ti表示预测出的最终的目标框坐标；
NARM和NODM分别表示锚点细化中和目标检测中正样本的数量；
二分类损失Lb为交叉熵损失函数；
多分类损失Lm为Softmax函数；
Lr为smooth L1损失函数；
[]为示性函数，框内表达式为真时，输出1，否则输出0；
当NARM或NODM为0时，则将对应损失置0。
10.根据权利要求7所述的低能见度下的小目标检测***，其特征在于，所述波长尺度按照大、中、小三种尺度进行区分；所述波段分为长波波段、中波波段和短波波段。
CN201911019371.3A 2019-10-24 2019-10-24 低能见度下的小目标检测方法和*** Pending CN110807384A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911019371.3A CN110807384A (zh) 2019-10-24 2019-10-24 低能见度下的小目标检测方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911019371.3A CN110807384A (zh) 2019-10-24 2019-10-24 低能见度下的小目标检测方法和***

Publications (1)

Publication Number Publication Date
CN110807384A true CN110807384A (zh) 2020-02-18

Family

ID=69489212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911019371.3A Pending CN110807384A (zh) 2019-10-24 2019-10-24 低能见度下的小目标检测方法和***

Country Status (1)

Country Link
CN (1) CN110807384A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401290A (zh) * 2020-03-24 2020-07-10 杭州博雅鸿图视频技术有限公司 一种人脸检测方法及***、计算机可读存储介质
CN111753916A (zh) * 2020-06-30 2020-10-09 苏州慧维智能医疗科技有限公司 高清医疗图像中的小型病变的自动标记方法及***
CN111767944A (zh) * 2020-05-27 2020-10-13 重庆大学 一种基于深度学习的适用于多尺度目标检测的单阶段检测器设计方法
CN113469920A (zh) * 2021-09-02 2021-10-01 中国建筑第五工程局有限公司 用于智能化设备管理的图像处理方法及***
CN113763424A (zh) * 2021-08-13 2021-12-07 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于嵌入式平台的实时智能目标检测方法及***
CN114581315A (zh) * 2022-01-05 2022-06-03 中国民用航空飞行学院 一种低能见度进近飞行多模态监视图像增强方法
CN116587327A (zh) * 2023-06-20 2023-08-15 广东电网有限责任公司广州供电局 运动控制***、带电作业机器人检测方法及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944341A (zh) * 2017-10-27 2018-04-20 荆门程远电子科技有限公司 基于交通监控图像的司机未系安全带自动检测***
CN109064426A (zh) * 2018-07-26 2018-12-21 电子科技大学 一种用于抑制低照度图像中眩光并增强图像的方法及装置
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
CN109685066A (zh) * 2018-12-24 2019-04-26 中国矿业大学(北京) 一种基于深度卷积神经网络的矿井目标检测与识别方法
CN109886359A (zh) * 2019-03-25 2019-06-14 西安电子科技大学 基于卷积神经网络的小目标检测方法及检测模型

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944341A (zh) * 2017-10-27 2018-04-20 荆门程远电子科技有限公司 基于交通监控图像的司机未系安全带自动检测***
CN109064426A (zh) * 2018-07-26 2018-12-21 电子科技大学 一种用于抑制低照度图像中眩光并增强图像的方法及装置
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
CN109685066A (zh) * 2018-12-24 2019-04-26 中国矿业大学(北京) 一种基于深度卷积神经网络的矿井目标检测与识别方法
CN109886359A (zh) * 2019-03-25 2019-06-14 西安电子科技大学 基于卷积神经网络的小目标检测方法及检测模型

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIFENG ZHANG等: ""Single-Shot Refinement Neural Network for Object Detection"", 《ARXIV》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401290A (zh) * 2020-03-24 2020-07-10 杭州博雅鸿图视频技术有限公司 一种人脸检测方法及***、计算机可读存储介质
CN111767944A (zh) * 2020-05-27 2020-10-13 重庆大学 一种基于深度学习的适用于多尺度目标检测的单阶段检测器设计方法
CN111767944B (zh) * 2020-05-27 2023-08-15 重庆大学 一种基于深度学习的适用于多尺度目标检测的单阶段检测器设计方法
CN111753916A (zh) * 2020-06-30 2020-10-09 苏州慧维智能医疗科技有限公司 高清医疗图像中的小型病变的自动标记方法及***
CN113763424A (zh) * 2021-08-13 2021-12-07 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于嵌入式平台的实时智能目标检测方法及***
CN113763424B (zh) * 2021-08-13 2024-03-29 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于嵌入式平台的实时智能目标检测方法及***
CN113469920A (zh) * 2021-09-02 2021-10-01 中国建筑第五工程局有限公司 用于智能化设备管理的图像处理方法及***
CN113469920B (zh) * 2021-09-02 2021-11-19 中国建筑第五工程局有限公司 用于智能化设备管理的图像处理方法及***
CN114581315A (zh) * 2022-01-05 2022-06-03 中国民用航空飞行学院 一种低能见度进近飞行多模态监视图像增强方法
CN116587327A (zh) * 2023-06-20 2023-08-15 广东电网有限责任公司广州供电局 运动控制***、带电作业机器人检测方法及相关设备

Similar Documents

Publication Publication Date Title
CN110807384A (zh) 低能见度下的小目标检测方法和***
CN111210443B (zh) 基于嵌入平衡的可变形卷积混合任务级联语义分割方法
CN113052210B (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及***
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN114118124B (zh) 图像检测方法和装置
CN111695633B (zh) 基于rpf-cam的低照度目标检测方法
CN110929593A (zh) 一种基于细节辨别区别的实时显著性行人检测方法
CN111401293B (zh) 一种基于Head轻量化Mask Scoring R-CNN的手势识别方法
CN110569782A (zh) 一种基于深度学习目标检测方法
CN113723377B (zh) 一种基于ld-ssd网络的交通标志检测方法
CN107315990B (zh) 一种基于xcs-lbp特征的行人检测算法
CN113096140B (zh) 实例分割方法及装置、电子设备及存储介质
CN114202743A (zh) 自动驾驶场景下基于改进faster-RCNN的小目标检测方法
CN115861380A (zh) 雾天低照度场景下端到端无人机视觉目标跟踪方法及装置
CN114627269A (zh) 一种基于深度学***台
Tang et al. SDRNet: An end-to-end shadow detection and removal network
Saravanarajan et al. Improving semantic segmentation under hazy weather for autonomous vehicles using explainable artificial intelligence and adaptive dehazing approach
CN116311212B (zh) 基于高速摄像机实现运动状态下的船号识别方法及装置
CN117197438A (zh) 一种基于视觉显著性的目标检测方法
CN117409244A (zh) 一种SCKConv多尺度特征融合增强的低照度小目标检测方法
CN115147450B (zh) 基于运动帧差图像的移动目标检测方法及检测装置
WO2023029559A1 (zh) 一种数据处理方法以及装置
WO2022127819A1 (en) Sequence processing for a dataset with frame dropping
CN114998711A (zh) 一种空中红外弱小目标检测方法、***及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200218