CN116543171A - 目标检测方法、装置和电子设备 - Google Patents

目标检测方法、装置和电子设备 Download PDF

Info

Publication number
CN116543171A
CN116543171A CN202310299475.4A CN202310299475A CN116543171A CN 116543171 A CN116543171 A CN 116543171A CN 202310299475 A CN202310299475 A CN 202310299475A CN 116543171 A CN116543171 A CN 116543171A
Authority
CN
China
Prior art keywords
target
detected
image
target sub
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310299475.4A
Other languages
English (en)
Inventor
郑可尧
张栋
孙玉泉
郑红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weisen Vision Danyang Co ltd Beijing Branch
Original Assignee
Weisen Vision Danyang Co ltd Beijing Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weisen Vision Danyang Co ltd Beijing Branch filed Critical Weisen Vision Danyang Co ltd Beijing Branch
Priority to CN202310299475.4A priority Critical patent/CN116543171A/zh
Publication of CN116543171A publication Critical patent/CN116543171A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种目标检测方法、装置和电子设备，涉及图像处理技术领域，所述方法包括：获取待检测目标图像；基于所述待检测目标图像对应的角点特征，对所述待检测目标图像中的各待检测目标进行定位，得到初始待检测目标子图像集；基于所述待检测目标图像对应的轮廓约束特征和所述初始待检测目标子图像集，确定包含至少一个完整待检测目标的待检测目标子图像集；对所述待检测目标子图像集中各待检测目标子图像进行评分，并基于评分结果，确定目标检测结果。本发明可实现目标的高效采样，提高采样精准度、检测效率和检测准确度。

Description

目标检测方法、装置和电子设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种目标检测方法、装置和电子设备。
背景技术
在图像处理中，目标检测方法一般是通过滑窗方式搜索并定位目标，即，首先通过不同尺度和固定尺寸的窗口框，以固定步长进行滑窗采样，再基于采样结果判断窗口框对应的图像块中是否存在目标。
然而，针对小尺度目标，如，机场背景、天空背景、大海背景下的小尺度飞鸟，由于飞鸟在图像中所处的区域无法确定，且在不同区域中的分布密度可能不同，在通过滑窗方式采集的图像块的冗余度较高，即，大部分图像块中不存在目标或存在部分目标，导致采样精准度较低，进一步导致目标检测的检测效率较低。
发明内容
本发明提供一种目标检测方法、装置和电子设备，用以解决现有技术中采样精准度和检测效率较低的缺陷，实现目标的高效采样，提高采样精准度、检测效率和检测准确度。
本发明提供一种目标检测方法，包括：
获取待检测目标图像；
基于所述待检测目标图像对应的角点特征，对所述待检测目标图像中的各待检测目标进行定位，得到初始待检测目标子图像集；
基于所述初始待检测目标子图像集对应的轮廓约束特征和所述初始待检测目标子图像集，确定包含至少一个完整待检测目标的待检测目标子图像集；
对所述待检测目标子图像集中各待检测目标子图像进行评分，并基于评分结果，确定目标检测结果。
根据本发明提供的目标检测方法，所述基于所述待检测目标图像对应的角点特征，对所述待检测目标图像中的各待检测目标进行定位，得到初始待检测目标子图像集，包括：
将所述待检测目标图像进行角点定位检测，确定所述待检测目标图像对应的角点特征；
基于所述角点特征和预先确定的锚框，确定初始待检测目标子图像集，所述锚框用于确定所述初始待检测目标子图像集中各初始待检测目标子图像的区域大小。
根据本发明提供的目标检测方法，所述锚框包括：目标尺度信息和目标尺寸信息；
所述锚框是基于以下步骤确定的：
获取样本目标锚框训练数据集，所述样本目标锚框训练数据集中包括：各样本目标锚框对应的样本尺度信息和样本尺寸信息，所述样本尺度信息和所述样本尺寸信息均是基于所述样本目标锚框对应的像素数量确定的；
将所述样本目标锚框训练数据集进行聚类，基于聚类结果，确定所述样本尺度信息对应的聚类类别和各所述样本目标锚框对应的平均重合度的关联关系；
基于所述关联关系，确定各所述聚类类别对应的聚类中心值；
将各所述聚类中心值确定为所述锚框的目标尺寸信息，将各所述聚类中心值对应的样本尺度信息确定为所述锚框的目标尺度信息。
根据本发明提供的目标检测方法，所述基于所述角点特征和预先确定的锚框，确定初始待检测目标子图像集，包括：
确定所述角点特征和所述锚框的位置关系，所述位置关系包括：所述角点特征对应的像素点与所述锚框的顶点重合、所述角点特征对应的像素点位于所述锚框的边缘线上、所述角点特征对应的像素点与所述锚框的中心点重合；
遍历所述角点特征对应的各目标像素点，基于所述位置关系和所述待检测目标图像，确定各所述目标像素点对应的至少两个初始待检测目标子图像；
基于各所述初始待检测目标子图像，确定初始待检测目标子图像集。
根据本发明提供的目标检测方法，所述初始待检测目标子图像集对应的轮廓约束特征是基于以下步骤确定的：
将所述待检测目标图像输入目标轮廓检测模型，输出所述待检测目标图像对应的轮廓特征，所述目标轮廓检测模型是基于样本目标轮廓训练数据和所述样本目标轮廓训练数据对应的标签进行监督训练得到的；
基于所述轮廓特征，确定与各所述初始待检测目标子图像对应的轮廓约束特征。
根据本发明提供的目标检测方法，所述基于所述初始待检测目标子图像集对应的轮廓约束特征和所述初始待检测目标子图像集，确定包含至少一个完整待检测目标的待检测目标子图像集，包括：
遍历所述初始待检测目标子图像集，将所述轮廓约束特征和各所述初始待检测目标子图像进行比较；
在比较结果为所述初始待检测目标子图像包含所述轮廓约束特征的情况下，将所述初始待检测目标子图像确定为待检测目标子图像；
基于各所述待检测目标子图像，确定所述待检测目标子图像集。
根据本发明提供的目标检测方法，确定所述评分结果，包括：
遍历所述待检测目标子图像集，确定各待检测目标子图像的目标尺寸信息和边缘像素信息，所述目标尺寸信息包括：所述待检测目标子图像的长度值和宽度值，所述边缘像素信息包括：所述待检测目标子图像中相邻像素差值的权重值和相邻像素差值的绝对值；
调用评分函数，并基于所述目标尺寸信息和边缘像素信息，确定各所述待检测目标子图像对应的评分结果，所述评分函数用于表征所述待检测目标子图像集中各所述待检测目标子图像属于目标类别的概率。
根据本发明提供的目标检测方法，所述评分函数包括周长敏感参数，所述周长敏感参数用于表征待检测目标子图像对应的周长对所述评分结果的影响；
所述周长敏感参数是基于各所述待检测目标子图像对应的目标尺度信息确定的。
本发明还提供一种目标检测装置，包括：
获取模块，用于获取待检测目标图像；
第一确定模块，用于基于所述待检测目标图像对应的角点特征，对所述待检测目标图像中的各待检测目标进行定位，得到初始待检测目标子图像集；
第二确定模块，用于基于所述初始待检测目标子图像集对应的轮廓约束特征和所述初始待检测目标子图像集，确定包含至少一个完整待检测目标的待检测目标子图像集；
第三确定模块，用于对所述待检测目标子图像集中各待检测目标子图像进行评分，并基于评分结果，确定目标检测结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述目标检测方法。
本发明提供的目标检测方法、装置和电子设备，基于角点敏感性，对待检测目标图像中的目标进行角点定位，并通过确定角点特征对应的轮廓约束特征，确保待检测目标子图像集中各待检测目标子图像中包含至少一个完整待检测目标，并在通过对待检测目标子图像集中各待检测目标子图像的评分，进一步确定目标检测结果，确保采样精准度的同时，通过减少采样冗余度提高对各待检测目标子图像的检测效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的应用场景的示例示意图；
图2是本发明提供的目标检测方法的流程示意图；
图3是本发明提供的小尺度聚类结果的示例示意图之一；
图4是本发明提供的小尺度聚类结果的示例示意图之二；
图5是本发明提供的中尺度聚类结果的示例示意图之一；
图6是本发明提供的中尺度聚类结果的示例示意图之二；
图7是本发明提供的大尺度聚类结果的示例示意图之一；
图8是本发明提供的大尺度聚类结果的示例示意图之二；
图9是本发明提供的锚框采样方向的示意图；
图10是本发明提供的轮廓特征的示例示意图；
图11是本发明提供的小尺度飞鸟检测PR曲线；
图12是本发明提供的不同周长敏感参数对应的PR曲线的示例示意图；
图13是本发明提供的角点响应值对应的不同第二预设阈值对应的PR曲线的示例示意图；
图14是本发明提供的目标检测方法的性能比较示意图之一；
图15是本发明提供的目标检测方法的性能比较示意图之二；
图16是本发明提供的目标检测方法的性能比较示意图之三；
图17是本发明提供的目标检测方法的性能比较示意图之四；
图18是本发明提供的目标检测方法的性能比较示意图之五；
图19是本发明提供的目标检测装置的结构示意图；
图20是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中，对图像进行目标检测时，一般通过滑窗方式进行搜索并定位目标。通过设定不同尺度和长宽比的窗口用于对似物性目标进行采样，然后分析判断窗口框定的图像块中是否存在目标，若针对小尺度飞鸟依然采用上述方法，则只有增多采样窗口尺度数量，才能够获得较高的定位精度，当后期采用逐个判断的方式筛选图像块时，无疑会增加检测判别时长，降低算法实时性。例如，图1是本发明提供的应用场景的示例示意图，如图1所示，待检测图像以机场为背景，检测目标以飞鸟为例，在图像中，在飞机一侧机翼处分布着265只小尺度飞鸟，该区域约为320*240像素，若采用滑窗方式采样时，采样框设定16*16、32*8、8*32三个尺度，以步长为2对待检测图像进行滑窗采样，遍布全图可产生332100个图像块，然而，仅有718个图像块中至少包含一只完整的待检飞鸟，约占采样总数的0.22％，其余99.78％的图像块中仅包含部分飞鸟或不包含飞鸟，不仅造成计算资源的浪费，导致采样精准度较低，同时，在对上述图像块进行目标检测时，大大延长了计算时间，导致目标检测的检测效率较低。针对上述问题，本发明实施例以飞鸟为待检测目标，提供一种目标检测方法，图2是本发明提供的目标检测方法的流程示意图，如图2所示，该方法包括：
步骤210、获取待检测目标图像。
可选地，该待检测目标图像中可以包含至少一个目标，在目标的数量大于1的情况下，各目标的尺度信息可以不同，本发明实施例中，可将目标分为三个尺度，分别为小尺度、中尺度和大尺度，其中，小尺度的目标所占像素数小于32*32像素，中尺度的目标所占像素数大于或等于32*32像素，且小于96*96像素，大尺度的目标所占像素数大于或等于96*96像素。此外，需要说明的是，本发明实施例中，尺度信息仅针对目标的成像尺度，不考虑目标外形尺寸与成像距离对成像尺度的影响，以飞鸟检测为例，图像信息中的飞鸟尺度与飞鸟外形尺寸、飞鸟与成像设备之间的距离相关，在外形尺寸一定的情况下，飞鸟距离成像设备越远，飞鸟成像尺度越小；在成像距离一定的情况下，飞鸟外形尺寸越小，成像尺度越小，而本发明实施例中，仅关注飞鸟的成像尺度，并按其成像所占区域的绝对相速度作为评判飞鸟尺度的标准，不考虑飞鸟外形尺寸与成像距离。
步骤220、基于所述待检测目标图像对应的角点特征，对所述待检测目标图像中的各待检测目标进行定位，得到初始待检测目标子图像集。
具体地，由于通过滑窗采集到的图像块中，大部分不包含目标或仅包含部分目标，使得采样进准度较低，同时影响后续对图像块的判断效率，因此，本发明实施例中，利用待检测目标图像的角点敏感性，获取待检测目标的角点特征，即，通过角点特征定位待检测目标，确保每个角点特征对应的像素点均表征待检测目标角点敏感性较大的部位，在确保漏检率小于第一预设阈值的同时，减少采样冗余度。
步骤230、基于所述初始待检测目标子图像集对应的轮廓约束特征和所述初始待检测目标子图像集，确定包含至少一个完整待检测目标的待检测目标子图像集。
具体地，在确定各角点特征对应的待检测目标子图像后，通过轮廓约束特征进一步约束每个待检测目标子图像中包含至少一个完整的待检测目标，提高后续对待检测目标子图像的检测效率和准确度。
步骤240、对所述待检测目标子图像集中各待检测目标子图像进行评分，并基于评分结果，确定目标检测结果。
具体地，在确定待检测目标子图像集后，还需遍历待检测目标子图像集中的各待检测目标子图像，并对待检测目标子图像进行评分，基于评分结果计算各待检测目标子图像属于待检测目标类别的概率，以确定最终的目标检测结果，避免由于尺度原因造成漏检，进而提高目标检测的准确度。
可选地，所述基于所述待检测目标图像对应的角点特征，对所述待检测目标图像中的各待检测目标进行定位，得到初始待检测目标子图像集，包括：
将所述待检测目标图像进行角点定位检测，确定所述待检测目标图像对应的角点特征；
基于所述角点特征和预先确定的锚框，确定初始待检测目标子图像集，所述锚框用于确定所述初始待检测目标子图像集中各初始待检测目标子图像的区域大小。
具体地，为提高采样精准度，本发明实施例中，通过对待检测目标图像进行角点定位检测，在确定角点特征对应的多个角点后，通过锚框确定包含角点的初始待检测目标子图像的区域，以确保锚框内包含角点，且与角点对应的待检测目标存在交集。
可选地，以待检测目标为飞鸟为例，由于飞鸟的喙、翅膀尖端、尾部均具有尖锐的形状，飞鸟在图像中无论视角变化、尺度大小都会呈现出边缘角点突出的视觉效果。因此，本发明实施例中，采用Harris角点检测算法对待检测目标图像中不同尺度下且处于不同飞行姿态的飞鸟进行角点定位检测，在飞鸟在图像中分布区域未知的情况下，可定位图像中所有飞鸟的位置，且每个样本尽可能仅包含一只飞鸟，实现对飞鸟的精准检测，降低漏检机率。利用Harris角点检测算法提取角点特征包括以下步骤：
1)将待检测目标图像转换为二维灰度图像，任意取出一个图像块W并平移Δx、Δy，则图像块W的灰度值与平移图像之差的平方和Sw(Δx,Δy)如式(1)所示，式(1)为：
其中，f(xi,yj)表示图像块的灰度值，f(xi-Δx,yj-Δy)表示图像块平移后的图像的灰度值，i表示图像块W中像素点的行序号，j表示图像块W中像素点的列序号。
2)对平移图像f(xi-Δx,yj-Δy)计算一阶泰勒展开近似，使得平方和Sw(Δx,Δy)的最小值存在解析解，则平移图像f(xi-Δx,yj-Δy)如式(2)所示，式(2)为：
3)将式(2)带入式(1)，得到Harris矩阵A(x,y)，用于表示图像块W在点(x,y)＝(0,0)处的二阶导数的二分之一，该Harris矩阵A(x,y)为半正定对称矩阵，其主要变化模式对应于正交方向的偏微分，并由它的特征值λ1和λ2反应出来，在特征值λ1和λ2均大于第二预设阈值的情况下，可将该图像块W的中心点对应的像素点确定为角点，并确定该角点在待检测目标图像中的坐标信息。Harris矩阵A(x,y)如式(3)所示，式(3)为：
4)基于Harris矩阵A(x,y)中两个特征值λ1和λ2的单调函数关系，确定角点响应值R’，角点响应值R’如式(4)所示，式(4)为：
R′＝detA-υ(traceA)2
其中，detA＝λ1*λ2，traceA＝λ1+λ2，υ表示灵敏度因子，角点响应值R’越大，表明角点特征越显著，即，通过计算待检测目标图像中像素点对应的角点响应值，若该像素点对应的角点响应值大于角点响应值的第二预设阈值，则该像素点为角点。
可选地，对待检测目标图像进行角点定位检测的方法还包括：尺度不变特征转换算法(Scale-invariant feature transform，SIFT)、加速稳健特征检测算法(Speed UpRobust Features，SURF)和FAST角点检测算法(Features from Accelerated SegmentTest)，然而，Harris角点检测算法相较于上述三种算法，对于角点检测、查全率、查准率、稳定性和鲁棒性均最佳。本发明实施例中，在MS COCO鸟类数据集中，分别运行Harris角点检测算法、SIFT算法、SURF算法和FAST算法，对不同背景、不同尺度、不同视角下的角点检测结果进行统计分析，并根据查全率和查准率评估上述四种算法的飞鸟定位性能。
1)背景包括天空和大海等场景，同时包括飞机和风筝等人造飞行物。其中：
(1)在背景为大海和天空时，图像中包含飞鸟的数量为6只，则四种算法在大海和天空背景下定位飞鸟的结果比较表如表1所示，由表1可知，Harris角点检测算法的查全率比SIFT算法和SURF算法均高出17％，Harris角点检测算法的查全率比FAST算法高出33％。同时，Harris角点检测算法的查准率分别比SIFT算法、SURF算法和FAST算法高出44％、55％、79％，表明在背景为大海和天空时，Harris角点检测算法检测飞鸟的稳定性与鲁棒性要优于其他三种算法。
表1四种算法在大海和天空背景下定位飞鸟的结果比较表
特征算子 飞鸟总数 飞鸟定位检测总数 虚警总数 查全率 查准率
Harris 6 6 0 100％ 100％
SIFT 6 5 4 83％ 56％
SURF 6 5 6 83％ 45％
FAST 6 4 15 67％ 21％
表2四种算法在飞机和天空背景下定位飞鸟的第一比较结果
特征算子 飞鸟总数 飞鸟定位检测总数 虚警总数 查全率 查准率
Harris 1 1 1 100％ 50％
SIFT 1 0 1 0 0
SURF 1 0 2 0 0
FAST 1 0 1 0 0
(2)在背景为飞机和天空时，图像中包含飞鸟的数量为1只，且飞鸟区域包含63个像素，属于小尺度飞鸟，但背景中还包括一架倾斜旋翼机和一架直升机，则四种算法在飞机和天空背景下定位飞鸟的第一比较结果如表2所示，由表2可知，仅有Harris角点检测算法检测到飞鸟，其余三种算法均存在漏检。同时，Harris角点检测算法的查准率均比SIFT算法、SURF算法和FAST算法高出50％，表明在背景为飞机和天空时，Harris角点检测算法检测小尺度飞鸟的稳定性与鲁棒性要优于其他三种算法。
(3)在背景为飞机和天空时，图像中包含飞鸟的数量为14只，则四种算法在飞机和天空背景下定位飞鸟的第二比较结果如表3所示，由表3可知，Harris角点检测算法的查全率为100％，所有飞鸟均被检测到，而其他三种算法均存在不同程度的漏检，表明Harris角点检测算法的检测性能比其余三种算法更高。同时，Harris角点检测算法的虚警除在飞机上出现之外，天空中并未出现任何虚警，而其他三种算法则在飞机上和天空中均出现虚警，表明在背景为天空时，Harris角点检测算法的查准率高于其他三种算法，但是四种算法均无法避开飞机干扰产生的虚警，表明对于角点定位而言，飞机是不可避免的干扰，检测小尺度飞鸟的稳定性与鲁棒性要优于其他三种算法。
表3四种算法在飞机和天空背景下定位飞鸟的第二比较结果
特征算子 飞鸟总数 飞鸟定位检测总数 虚警总数 查全率 查准率
Harris 14 14 1 100％ 93％
SIFT 14 11 4 79％ 73％
SURF 14 9 4 64％ 69％
FAST 14 8 5 57％ 62％
2)以小尺度飞鸟为例，分别从侧视、俯视、仰视三个视角检测4个不同图像分辨率的小尺度飞鸟，4个分辨率从大到小依次为：32×32、16×16、8×8、4×4，单位为像素。
(1)针对Harris角点检测算法，在侧视图和俯视图中，随着图像分辨率的减小，Harris角点检测算法可以稳定的检测到飞鸟的喙。在仰视图中，Harris角点检测算法可以稳定的检测到飞鸟的尾部，因此，飞鸟喙和尾部的角点特征较为突出。同时，图像分辨率越低，出现在飞鸟上的Harris角点数量越少，但是，Harris角点检测算法的漏检率为0，表明Harris角点检测算法具有较强的稳定性。
(2)针对SIFT算法和SURF算法，在侧视图和俯视图中，当图像分辨率小于8×8时，这两种算法可能无法检测出飞鸟的角点特征，在仰视图中，当图像分辨率小于4×4时，这两种算法未能检测出飞鸟的角点特征。同时，这两种算法的漏检率均为41％，表明当图像分辨率小于8×8时，这两种算法会出现漏检。
(3)针对FAST算法，在三个视角的检测图中，当图像分辨率小于8×8时，FAST算法未能检测出飞鸟的角点特征，同时，FAST算法的漏检率为50％，表明当图像分辨率小于8×8时，FAST算法将会出现漏检。
可选地，本发明实施例中，通过Harris角点检测算法、SIFT算法、SURF算法和FAST算法检测MS COCO鸟类数据集中10806只飞鸟，四种算法的飞鸟定位性能比较如表4所示。
表4四种算法的飞鸟定位性能比较表
由表4可知，Harris角点检测算法对不同尺度的飞鸟定位的查全率均为100％，查准率为91％，均优于SIFT算法、SURF算法和FAST算法三种算法。其中，SIFT算法中，大尺度飞鸟和中尺度飞鸟的查全率均为100％，虚警数为2322，查准率为79％，但小尺度飞鸟的查全率为70％。这是由于使用高斯核与图像做卷积建立尺度空间，通过高斯空间金字塔的差分运算来提取角点。但是，由于飞鸟尺度较小时，不利于在尺度空间做下采样运算。而SURF算法中，小尺度飞鸟的查全率是69％，虚警总数为2372，查准率为78％。SURF算法虽然在SIFT算法上进行改进，提高了检测速度，但还是存在与SIFT算法同样的问题。因此，SIFT算法和SURF算法检测小尺度飞鸟的定位效果要弱于Harris角点检测算法。而FAST算法中，对于大尺度飞鸟和中尺度飞鸟的查全率为100％，虚警总数为2853，查准率为74％，对于小尺度飞鸟的查全率是63％。这是由于FAST算法是通过计算某像素点与其周围邻域内像素点的差异程度，来判断该像素点是否为角点，而FAST算法计算某像素点的邻域面积为32个像素要大于分辨率较低的小尺度飞鸟区域，因此，小尺度飞鸟背景会影响角点的生成，使得在小尺度飞鸟检测中，FAST算法要弱于Harris角点检测算法。而Harris角点检测算法中，对于三种尺度飞鸟的查全率均为100％，其中，对于小尺度飞鸟的查全率分别比SIFT算法、SURF算法和FAST算法高出30％、31％、37％，表明Harris角点检测算法具有较强的稳定性，Harris角点检测算法的查准率为91％，分别比SIFT算法、SURF算法和FAST算法高出12％、13％、17％，表明Harris角点检测算法受背景干扰较小，具有较强的鲁棒性，因此，Harris角点检测算法的检测性能优于其他三种算法。
此外，由于飞鸟飞行的姿态变化随不同视角观察呈现不同的成像效果，其实际大小和距离远近也呈现不同的尺度变化，因此，本发明实施例中，在MS COCO鸟类数据集中运行Harris角点检测算法，从侧视、仰视、俯视三个视角对不同尺度的飞鸟进行角点定位检测，由检测结果可知，在大尺度飞鸟的检测结果中，Harris角点主要分布在飞鸟的喙，翅膀、尾部羽毛等边缘尖锐处，且不受视角影响；在中尺度飞鸟的检测结果中，Harris角点主要分布在飞鸟的尾部边缘尖锐处，但不存在漏检；在小尺度飞鸟的检测结果中，对每只飞鸟至少检测出一个角点，Harris角点主要分布在飞鸟的轮廓尖端处，但不存在漏检，且不受视角影响。
可选地，所述锚框包括：目标尺度信息和目标尺寸信息；
所述锚框是基于以下步骤确定的：
获取样本目标锚框训练数据集，所述样本目标锚框训练数据集中包括：各样本目标锚框对应的样本尺度信息和样本尺寸信息，所述样本尺度信息和所述样本尺寸信息均是基于所述样本目标锚框对应的像素数量确定的；
将所述样本目标锚框训练数据集进行聚类，基于聚类结果，确定所述样本尺度信息对应的聚类类别和各所述样本目标锚框对应的平均重合度的关联关系；
基于所述关联关系，确定各所述聚类类别对应的聚类中心值；
将各所述聚类中心值确定为所述锚框的目标尺寸信息，将各所述聚类中心值对应的样本尺度信息确定为所述锚框的目标尺度信息。
具体地，在确定角点特征后，为使包含角点的图像块尽可能地包含飞鸟区域，还需在角点特征对应的每个角点位置按照预先定义目标尺度信息和目标尺寸信息的锚框对待检测目标图像进行采样。因此，本发明实施例中，在与待检测目标图像中同属性目标的样本目标锚框训练数据集上进行聚类操作，使得样本目标锚框训练数据与聚类得到的聚类中心对应的锚框具有较大的重合度IoU，而提高锚框的平均重合度，则意味着目标检测精度的提升。在进行聚类后，可得到聚类类别与平均重合度的关联关系，可基于采样效率的考虑，确定聚类类别以及聚类类别对应的聚类中心值，并基于聚类中心值确定对应尺度下不同重合度对应的锚框的目标尺寸信息。
需要说明的是，以飞鸟为例，在每个角点位置，按照预先定义的尺度和长宽比进行采样，得到飞鸟样本集合，其中，每个样本的矩形边框即为飞鸟的锚框。
可选地，可采用K均值(k-means)聚类方法，确定不同目标尺度下锚框的目标尺度信息，且同一目标尺度下，聚类得到的类别中心值的数量与该目标尺度下锚框的数量相同。在进行K均值聚类时，可确定初始聚类中心对应的目标区域，通过样本目标锚框训练数据与目标区域，确定重合度，并基于重合度，以两个锚框之间的欧式距离作为距离度量，判别样本目标锚框训练数据是否与目标区域属于同一类别，在对样本目标锚框训练数据集进行全部计算后，可更新类别中心值，并基于更新后的类别中心值，进行迭代计算，在计算达到设定次数后，输出最终的聚类结果。其中，K表示聚类的类别数量，K的值域是大于或等于1，且小于数据集中样本总数的整数。上述重合度IoU(T，C)如式(5)所示，式(5)为：
其中，T表示样本目标锚框训练数据中的真值框，C表示聚类生成的聚类中心对应的目标区域。
此外，距离度量D(T，C)可以为：D(T,C)＝1-IoU(T,C)，上述样本目标锚框训练数据集可以为MS COCO鸟类数据集。
示例地，不同尺度下的聚类结果如下所示：
1)图3是本发明提供的小尺度聚类结果的示例示意图之一，如图3所示，以小尺度飞鸟聚类结果为例，图3中横轴为聚类类别的数量，纵轴为生成锚框的平均重合度，图3中折线表示聚类类别和平均重合度的关联关系，且聚类类别的数量进行取整操作。由图3可知，当聚类类别K大于或等于3时，平均重合度大于70％，且K值每增加1，平均重合度值增长小于0.1，由于K值与小尺度信息下设置的锚框数量相等，即，K值越大，采集的初始待检测目标子图像的数量越多，计算样本时间越长，因此，为平衡检测精度和检测效率之间的平衡性，当待检测目标为小尺度时，将聚类类别K设置为3。
当小尺度飞鸟聚类类别K值为3时，图4是本发明提供的小尺度聚类结果的示例示意图之二，如图4所示，图4中的横轴表示锚框的长度值，纵轴表示锚框的宽度值，由图4可知，三个聚类类别的聚类中心值分别为(13，14)、(28，16)、(18，30)，将聚类中心值分别作为小尺度锚框的长度值和宽度值时，样本目标锚框训练数据集中与上述三个锚框的平均重合度约为70.13％，与通过Faster-rcnn确定的9个锚框相比，平均重合度提升了9.23％，同时，与YOLOv2方法相比，平均重合度提升了3％。
2)图5是本发明提供的中尺度聚类结果的示例示意图之一，如图5所示，以中尺度飞鸟聚类结果为例，当聚类类别K大于或等于4时，平均重合度大于70％，且K值每增加1，平均重合度值增长小于0.1。为平衡检测精度和检测效率之间的平衡性，当待检测目标为中尺度时，将聚类类别K设置为4。当中尺度飞鸟聚类类别K值为4时，图6是本发明提供的中尺度聚类结果的示例示意图之二，如图6所示，四个聚类类别的聚类中心值分别为(32，62)、(62，40)、(58，79)、(60，105)，即，中尺度锚框的尺寸信息分别为(32，62)、(62，40)、(58，79)。
3)图7是本发明提供的大尺度聚类结果的示例示意图之一，如图7所示，以大尺度飞鸟聚类结果为例，当聚类类别K大于或等于5时，平均重合度大于70％，且K值每增加1，平均重合度值增长小于0.1。为平衡检测精度和检测效率之间的平衡性，当待检测目标为大尺度时，将聚类类别K设置为5。当大尺度飞鸟聚类类别K值为5时，图8是本发明提供的大尺度聚类结果的示例示意图之二，如图8所示，五个聚类类别的聚类中心值分别为(111，180)、(126，173)、(144，146)、(160，131)、(183，106)，即，大尺度锚框的尺寸信息分别为(111，180)、(126，173)、(144，146)、(160，131)、(183，106)。
可选地，所述基于所述角点特征和预先确定的锚框，确定初始待检测目标子图像集，包括：
确定所述角点特征和所述锚框的位置关系，所述位置关系包括：所述角点特征对应的像素点与所述锚框的顶点重合、所述角点特征对应的像素点位于所述锚框的边缘线上、所述角点特征对应的像素点与所述锚框的中心点重合；
遍历所述角点特征对应的各目标像素点，基于所述位置关系和所述待检测目标图像，确定各所述目标像素点对应的至少两个初始待检测目标子图像；
基于各所述初始待检测目标子图像，确定初始待检测目标子图像集。
具体地，在确定上述12个锚框后，由于无法确保角点出现的具***置，为使采集得到的待检测目标子图像可包含至少一个完整的待检测目标，还需基于角点和锚框的位置关系，进一步确定该角点对应的初始待检测目标子图像。角点与锚框的位置关系存在三种情况：角点与锚框的顶点重合、角点位于锚框的边缘线上、角点与所述锚框的中心点重合。图9是本发明提供的锚框采样方向的示意图，如图9所示，基于上述考虑，可以确定采样方向为：角点在锚框的四条边的中心点上、角点与锚框的四个顶点重合、角点与锚框的中心点重合共9个采样方向，即，每个角点对应有12个锚框，且锚框与角点的采样方向有9个，即每个角点对应的初始待检测目标子图像共计108个。
可选地，所述初始待检测目标子图像集对应的轮廓约束特征是基于以下步骤确定的：
将所述待检测目标图像输入目标轮廓检测模型，输出所述待检测目标图像对应的轮廓特征，所述目标轮廓检测模型是基于样本目标轮廓训练数据和所述样本目标轮廓训练数据对应的标签进行监督训练得到的；
基于所述轮廓特征，确定与各所述初始待检测目标子图像对应的轮廓约束特征。
具体地，在通过Harris角点检测算法检测角点特征，并确定初始待检测目标子图像集后，其中的初始待检测目标子图像数量较多，且无法确保每个初始待检测目标子图像中均包含至少一个完整的待检测目标，同时，在待检测目标图像中，除待检测目标以外的背景图像中还可能有物体存在角点，即，采用Harris角点检测算法提取角点时，会受到较小的背景干扰，存在约9％的虚警率。因此，为进一步提高采样准确度和检测准确度，本发明实施例中，将待检测目标图像输入目标轮廓检测模型，输出待检测目标图像中包含的所有物体的轮廓特征，该轮廓特征为封闭边缘特征，由于待检测目标图像中的物体并非全部是待检测目标，因此，为剔除与待检测目标无关的角点，减小背景干扰，将与各所述初始待检测目标子图像相关的轮廓特征确定为轮廓约束特征，如，将与初始待检测目标子图像存在交集的轮廓特征确定为轮廓约束特征，即，将与角点生成的锚框存在交集的轮廓特征确定为轮廓约束特征。
可选地，所述基于所述初始待检测目标子图像集对应的轮廓约束特征和所述初始待检测目标子图像集，确定包含至少一个完整待检测目标的待检测目标子图像集，包括：
遍历所述初始待检测目标子图像集，将所述轮廓约束特征和各所述初始待检测目标子图像进行比较；
在比较结果为所述初始待检测目标子图像包含所述轮廓约束特征的情况下，将所述初始待检测目标子图像确定为待检测目标子图像；
基于各所述待检测目标子图像，确定所述待检测目标子图像集。
具体地，在确定初始待检测目标子图像集后，为进一步提高采样准确度和检测准确度，本发明实施例中，将初始待检测目标子图像与目标轮廓检测模型输出的轮廓约束特征进行比较，若初始待检测目标子图像中包含完整的待检测目标的轮廓，则将该初始待检测目标子图像添加至待检测目标子图像集中，即，针对每个角点而言，在该角点对应的108个初始待检测目标子图像中，通过上述轮廓约束，可剔除大部分仅包含部分待检测目标的初始待检测目标子图像，仅保留包含完整待检测目标的初始待检测目标子图像，便于后续进行目标检测，同时，基于轮廓约束特征，剔除不属于待检测目标的角点，克服背景干扰，且降低虚警率，且大大减少采集的数据量，提高后续目标检测的精准度和判断效率。
可选地，在确定待检测目标子图像集之前，本发明实施例中，可通过结构化森林边缘检测算法构建初始目标轮廓检测模型，并通过构建样本目标轮廓训练数据和样本目标轮廓训练数据对应的标签，对初始目标轮廓检测模型进行监督训练，得到训练完成的目标轮廓检测模型。以待检测目标为飞鸟为例，样本目标轮廓训练数据和对应的轮廓标签可基于MS COCO鸟类数据集进行构建。其中，结构化森林边缘检测算法可以选择N棵决策树训练飞鸟轮廓，并对N棵决策树的输出数据进行加权，得到结构化森林最终的输出结果，结构化森林最终的输出结果G如式(6)所示，式(6)为：
其中，di表示第i棵决策树的输出数据，wi表示第i棵决策树的权重，D表示决策树的数量，G表示结构化森林最终的输出结果，用于表示轮廓约束特征的计算结果，且值域为[0，255]。
可选地，基于结构化森林最终的输出结果，确定的轮廓约束条件如式(7)所示，式(7)为：
其中，hn表示角点序列集，且{hn|1≤n≤N}，N表示角点总数，表示经角点定位检测得到的初始待检测目标子图像集，且/>Y表示单个角点对应的初始待检测目标子图像总数，Gk表示结构化森林最终输出的轮廓，Φ表示轮廓总数，且{Ck|1≤k≤Φ}，/>表示同时包含角点和轮廓的待检测目标子图像集，且
需要说明的是，上述结构化森林方法最终输出的轮廓数量较多，可以将与每个角点对应的锚框存在交集的轮廓确定为轮廓约束特征。
示例地，图10是本发明提供的轮廓特征的示例示意图，背景为飞机和天空的待检测目标图像经结构化森林方法处理后，共产生367个如图10所示的封闭轮廓，其中飞鸟轮廓为265个，不存在漏检，背景轮廓为102个。图10中许多轮廓特征与飞鸟无关、与飞鸟对应的角点无关，与飞鸟角点生成的锚框无交集，因此，可剔除102个背景轮廓，仅保留265个飞鸟轮廓作为轮廓约束特征。在此基础上，265个飞鸟轮廓对应有34128个锚框，若锚框内包含角点和完整的轮廓约束特征，则选择该锚框作为样本，并丢弃包含非完整的轮廓约束特征的锚框，上述34128个锚框经轮廓约束后，剩余5460个锚框，约为原有总数的16％，丢弃的锚框数量占锚框总数的84％，其中10％是由于Harris角点检测算法产生的虚警所产生的，其余74％锚框为包含非完整的轮廓约束特征的锚框。因此，通过上述轮廓约束既可降低Harris角点检测算法产生的虚警率，又可以减少非完整飞鸟锚框，通过减少需辨别的样本数量，进而提高检测效率。
可选地，上述初始目标轮廓检测模型还可以基于Canny算子、DeepNet、SCG(scaledconjugate gradient，量化共轭梯度法)进行构建，本发明实施例对此不作限制。
可选地，以飞鸟为待检测目标为例，上述轮廓约束特征可以为鸟类静止轮廓和鸟类飞行轮廓。
可选地，确定所述评分结果，包括：
遍历所述待检测目标子图像集，确定各待检测目标子图像的目标尺寸信息和边缘像素信息，所述目标尺寸信息包括：所述待检测目标子图像的长度值和宽度值，所述边缘像素信息包括：所述待检测目标子图像中相邻像素差值的权重值和相邻像素差值的绝对值；
调用评分函数，并基于所述目标尺寸信息和边缘像素信息，确定各所述待检测目标子图像对应的评分结果，所述评分函数用于表征所述待检测目标子图像集中各所述待检测目标子图像属于目标类别的概率。
具体地，以飞鸟目标检测为例，现有技术中的似物性采样方法在采集样本后，利用评分函数计算所有样本属于飞鸟类别的概率，以归属飞鸟类别概率超过给定阈值作为检测结果。上述评分函数是根据目标特征确定的表达式，似物性样本中目标特征越强，属于目标的概率越高，反之越低。在确定待检测目标图像对应的角点特征后，由于可能存在物体与飞鸟轮廓相似度较大，如鸟形风筝，该鸟形风筝存在角点，且轮廓与飞鸟相似，在进行轮廓约束时，会将该鸟形风筝对应的初始待检测目标子图像确定为待检测目标子图像，即，仅通过轮廓特征进行评分时，若锚框内包含的轮廓与飞鸟的轮廓越相似，评分越高，即锚框中包含飞鸟的概率越高，反之越低，且若两个内包含相同的飞鸟轮廓，锚框面积越小，评分越高，反之越低。因此，待检测目标子图像集中，存在包含完整轮廓但不属于目标类别的待检测目标子图像。因此，本发明实施例中，遍历各待检测目标子图像，调用评分函数，并基于各待检测目标子图像对应的目标尺寸信息和边缘像素信息，确定各待检测目标子图像对应的评分结果，并通过评分结果，确定该待检测目标子图像属于目标类别的概率，通过概率与第三预设阈值的比较，进而确定最终的目标检测结果。
可选地，现有的EdgeBoxes方法中的轮廓评分函数pb如式(8)所示，式(8)为：
其中，b表示图像块，bw表示图像块的宽度，bh表示图像块的高度，表示锚框内边缘像素组ei的权重，边缘像素组ei表示两个相邻像素的差值，表示方向矢量，包括幅度和角度两个参数，幅度表示相邻像素的差值的绝对值，用于表示相邻像素的光强变化，且幅度越大，光强变化越大，边缘越明显。mi表示边缘像素组ei的边缘幅值之和，δ表示周长敏感参数，用于待检测目标子图像的周长对评分结果的敏感程度。bin表示图像块内部中心区域的矩形图像块，该矩形图像块与图像块b的中心点相同，宽度为bw/2，高度为bh/2，p表示矩形图像块bin内包含的边缘像素组，mp表示边缘像素组ep的边缘幅值的总和。
而本发明实施例中，上述评分函数hb如式(9)所示，式(9)为：
其中，b表示待检测目标子图像，bw表示宽度值，bh表示高度值。
可选地，图11是本发明提供的小尺度飞鸟检测PR曲线，可通过EdgeBoxes方法中的轮廓评分函数pb和本发明实施例提供的评分函数hb对经过轮廓约束的小尺度飞鸟锚框进行评分，并根据锚框的评分序列得出检测结果，将检测结果和真值结果的重合度作为参变量，并定义为检测与否的判定参数，确定如图11所示的查准率与查全率的关系曲线，如图11所示，横轴表示查全率，纵轴表示查准率，由图11可知，本发明实施例提供的评分函数hb对应的曲线整体高于EdgeBoxes方法中的轮廓评分函数pb对应的曲线，表明本发明实施例提供的评分函数hb输出的检测结果整体优于EdgeBoxes方法中的轮廓评分函数pb输出的检测结果。这是由于EdgeBoxes方法中的轮廓评分函数pb为hb评分减去矩形图像块bin内分数，该中心区域的面积为整个锚框的四分之一，会降低小尺度飞鸟的评分。而本发明实施例中的评分函数中，由于保存了待检测目标子图像中心区域的评分，提高小尺度目标对应的评分结果和排名，增加了小尺度目标检测的查准率。
可选地，上述评分函数是基于待检测目标的目标特征设计的，选取的目标特征越强，则属于待检测目标的概率越高。
可选地，所述评分函数包括周长敏感参数，所述周长敏感参数用于表征待检测目标子图像对应的周长对所述评分结果的影响；
所述周长敏感参数是基于各所述待检测目标子图像对应的目标尺度信息确定的。
具体地，由于小尺度目标和大尺度目标相比，小尺度目标的轮廓周长和强度均较小，使得小尺度目标对应的待检测目标子图像的周长较小，在通过评分函数计算评分结果时，大尺度目标对应的评分分数要高于小尺度目标对应的评分分数，影响小尺度目标对应的排名和对小尺度目标的目标检测结果。例如，以飞鸟为例，由于小尺度飞鸟空间相关信息较少，采样窗口内小尺度飞鸟的纹理、颜色、边缘信息均较为模糊，而窗口中类似飞鸟形态的风筝相关信息较强，在这种情况下，小尺度飞鸟的飞鸟类别归属概率可能小于风筝，样本排名会在风筝样本之后，而且，可能因为属于飞鸟类别的概率低于给定阈值而造成漏检。因此，为减少不同尺度造成评分结果的不平衡性，本发明实施例中，可基于经验或试探性的设置周长敏感参数的取值范围，并在取值范围内设定多个周长敏感参数，通过确定不同周长敏感参数对应的查准率和查全率曲线图，选择最佳的周长敏感参数，以提高目标检测的检测性能。
示例地，图12是本发明提供的不同周长敏感参数对应的PR曲线的示例示意图，如图12所示，可以将周长敏感参数分别设置为[1.6，1.65，1.7，1.75，1.8]，横轴表示查全率，纵轴表示查准率，由图12可知，当周长敏感参数δ＝1.7时对应的PR曲线整体上高于其他颜色的曲线，即目标检测结果最优，因此，将评分函数中周长敏感参数δ设置为1.7。
此外，由于角点的数量直接影响采样的待检测目标子图像的数量，进而直接影响目标检测的检测性能。而第二预设阈值的设定则直接影响角点数量，即，第二预设阈值越大，生成的角点数量越少，第二预设阈值越小，则生成的角点数量越多。因此，本发明实施例中，基于经验或试探性的设置第二预设阈值的取值范围，并在取值范围内设定多个第二预设阈值，通过确定不同第二预设阈值对应的查准率和查全率曲线图，选择最佳的第二预设阈值，以确保目标检测的检测性能。图13是本发明提供的角点响应值对应的不同第二预设阈值对应的PR曲线的示例示意图，如图13所示，可以将第二预设阈值R分别设置为[0.01，0.015，0.02，0.025，0.03]，横轴表示查全率，纵轴表示查准率，由图13可知，当第二预设阈值R＝0.02时对应的PR曲线整体上高于其他颜色的曲线，即目标检测结果最优，因此，将第二预设阈值R设置为0.02。
可选地，由于EdgeBoxes方法在窗口评分似物性采样方法中性能最优，MCG方法在分组似物性采样方法中性能最优，本发明实施例中，将本发明实施例提供的目标检测方法与现有技术中的EdgeBoxes和MCG两种方法进行采样性能比较，其中：
1)图14是本发明提供的目标检测方法的性能比较示意图之一，在采样数量为1000时，得到如图14所示的查全率与重合度的性能曲线，其中，横轴为重合度，纵轴为查全率。由图14可知，随着重合度的增长，三条曲线的查全率呈下降趋势。其中，本发明实施例提供的目标检测方法CCOP的查全率整体高于EdgeBoxes和MCG两种方法，且在重合度为0.5时，本发明实施例提供的目标检测方法CCOP的查全率为0.81，这是由于本发明实施例提供的目标检测方法CCOP利用角点特征进行初筛目标，并在角点出定位采样，采样的锚框是由K均值聚类所得，且聚类的距离度量为重合度的函数，聚类越多，生成的锚框与真值框的重合度越高，同时，本发明实施例提供的目标检测方法CCOP中设定的锚框与真值框的平均重合度超过0.7，因此，提升了查全率。
2)图15是本发明提供的目标检测方法的性能比较示意图之二，在采样数量为1000时，还可得到如图15所示的3种似物性采样方法的PR曲线，其中，横轴为查全率，纵轴为查准率。由图15可知，随着查全率的增长，三条曲线的查准率呈下降趋势，其中，以飞鸟检测为例，本发明实施例提供的目标检测方法CCOP的飞鸟检测性能整体优于EdgeBoxes和MCG两种方法，这是由于本发明实施例提供的目标检测方法CCOP在具有较高重合度样本的基础上，使用改进后的评分函数，通过保留飞鸟样本中心区域的分数，同时，通过设置周长敏感参数，平衡大尺度飞鸟、中尺度飞鸟和小尺度飞鸟的得分，解决小尺度飞鸟得分较低的问题，从而提升小尺度飞鸟的排名，因此，提升了检测性能。
3)以飞鸟检测为例，三种方法的采样性能比较如表5所示，由表5可知，本发明实施例提供的目标检测方法CCOP在不同尺度下的查全率、查准率和检测速度均高于EdgeBoxes方法和MCG方法，尤其是在小尺度飞鸟检测上，本发明实施例提供的目标检测方法CCOP的查全率比EdgeBoxes方法高出13％，比MCG方法高出11％。本发明实施例提供的目标检测方法CCOP的查准率比EdgeBoxes方法高出14％，比MCG方法高出10％。同时，本发明实施例提供的目标检测方法CCOP检测一张图片速度为0.043s，比EdgeBoxes方法快0.2s，比MCG方法快11.4s，表明本发明实施例提供的目标检测方法CCOP相较于EdgeBoxes方法和MCG方法，更适合飞鸟检测，尤其是小尺度飞鸟检测。
表5三种方法采样性能比较表
可选地，图16是本发明提供的目标检测方法的性能比较示意图之三，图17是本发明提供的目标检测方法的性能比较示意图之四，图18是本发明提供的目标检测方法的性能比较示意图之五，还可以飞鸟检测为例，针对不同尺度的飞鸟，将本发明实施例提供的目标检测方法CCOP、Faster R-CNN和YOLOv2进行比较，得到图16所示的小尺度飞鸟的PR曲线、如图17所示的中尺度飞鸟的PR曲线、以及图18所示的大尺度飞鸟的PR曲线，横轴表示查全率，纵轴表示查准率。其中，Faster R-CNN最先提出使用锚框采样，当锚框数量设置为9时，锚框与真值框的平均重合度为60.9％，目标检测的查准率同未添加锚框的Faster R-CNN相比提升了2.0％。YOLOv2最先提出使用K均值聚类生成锚框，当K为9时，锚框与真值框的平均重合度为67.2％，目标检测的查准率同未使用K均值聚类生成锚框相比提升了4.8％。
由图16至图18可知，本发明实施例提供的目标检测方法CCOP对飞鸟的检测性能要优于Faster R-CNN和YOLOv2两种方法，尤其是针对图16所示的小尺度飞鸟，一方面是由于本发明实施例提供的目标检测方法CCOP是将小尺度飞鸟、中尺度飞鸟、大尺度飞鸟的真值框分别进行K均值聚类生成锚框，且聚类的距离度量是与重合度相关的函数，因此，可以提升锚框与真值框的平均重合度，例如，CCOP中锚框与真值框的平均重合度为70.2％，比Faster R-CNN高9.3％，YOLOv2高3％；另一个因素是Faster R-CNN和YOLOv2通过深度卷积神经网络来提取小尺度飞鸟特征，在此过程中，目标特征经过4次最大池化，每个池化层都会对特征做一次下采样，经过池化后的特征图分辨率变为池化前的1/4。由于小尺度飞鸟特征信息原本就比较少，池化后将会进一步减少目标特征信息，最终所学到的目标特征是难以令网络辨别出数据集中全部的小尺度飞鸟，因此，本发明实施例提供的目标检测方法CCOP检测小尺度飞鸟的效果优于其他两种深度学习方法。
本发明提供的目标检测方法，基于角点敏感性，对待检测目标图像中的目标进行角点定位，并通过确定角点特征对应的轮廓约束特征，确保待检测目标子图像集中各待检测目标子图像中包含至少一个完整待检测目标，并在通过对待检测目标子图像集中各待检测目标子图像的评分，进一步确定目标检测结果，确保采样精准度的同时，通过减少采样冗余度提高对各待检测目标子图像的检测效率，进而提高目标检测的精准度、采样稳定性和鲁棒性。
下面对本发明提供的目标检测装置进行描述，下文描述的目标检测装置与上文描述的目标检测方法可相互对应参照。
本发明还提供一种目标检测装置，图19是本发明提供的目标检测装置的结构示意图，如图19所示，该目标检测装置1900包括：获取模块1901、第一确定模块1902、第二确定模块1903和第三确定模块1904，其中：
获取模块1901，用于获取待检测目标图像；
第一确定模块1902，用于基于所述待检测目标图像对应的角点特征，对所述待检测目标图像中的各待检测目标进行定位，得到初始待检测目标子图像集；
第二确定模块1903，用于基于所述初始待检测目标子图像集对应的轮廓约束特征和所述初始待检测目标子图像集，确定包含至少一个完整待检测目标的待检测目标子图像集；
第三确定模块1904，用于对所述待检测目标子图像集中各待检测目标子图像进行评分，并基于评分结果，确定目标检测结果。
本发明提供的目标检测装置，基于角点敏感性，对待检测目标图像中的目标进行角点定位，并通过确定角点特征对应的轮廓约束特征，确保待检测目标子图像集中各待检测目标子图像中包含至少一个完整待检测目标，并在通过对待检测目标子图像集中各待检测目标子图像的评分，进一步确定目标检测结果，确保采样精准度的同时，通过减少采样冗余度提高对各待检测目标子图像的检测效率，进而提高目标检测的精准度、采样稳定性和鲁棒性。
可选地，第一确定模块1902，具体用于：
将所述待检测目标图像进行角点定位检测，确定所述待检测目标图像对应的角点特征；
基于所述角点特征和预先确定的锚框，确定初始待检测目标子图像集，所述锚框用于确定所述初始待检测目标子图像集中各初始待检测目标子图像的区域大小。
可选地，所述锚框包括：目标尺度信息和目标尺寸信息。
可选地，第一确定模块1902，具体用于：
所述锚框是基于以下步骤确定的：
获取样本目标锚框训练数据集，所述样本目标锚框训练数据集中包括：各样本目标锚框对应的样本尺度信息和样本尺寸信息，所述样本尺度信息和所述样本尺寸信息均是基于所述样本目标锚框对应的像素数量确定的；
将所述样本目标锚框训练数据集进行聚类，基于聚类结果，确定所述样本尺度信息对应的聚类类别和各所述样本目标锚框对应的平均重合度的关联关系；
基于所述关联关系，确定各所述聚类类别对应的聚类中心值；
将各所述聚类中心值确定为所述锚框的目标尺寸信息，将各所述聚类中心值对应的样本尺度信息确定为所述锚框的目标尺度信息。
可选地，第一确定模块1902，具体用于：
确定所述角点特征和所述锚框的位置关系，所述位置关系包括：所述角点特征对应的像素点与所述锚框的顶点重合、所述角点特征对应的像素点位于所述锚框的边缘线上、所述角点特征对应的像素点与所述锚框的中心点重合；
遍历所述角点特征对应的各目标像素点，基于所述位置关系和所述待检测目标图像，确定各所述目标像素点对应的至少两个初始待检测目标子图像；
基于各所述初始待检测目标子图像，确定初始待检测目标子图像集。
可选地，第二确定模块1903，具体用于：
将所述待检测目标图像输入目标轮廓检测模型，输出所述待检测目标图像对应的轮廓特征，所述目标轮廓检测模型是基于样本目标轮廓训练数据和所述样本目标轮廓训练数据对应的标签进行监督训练得到的；
基于所述轮廓特征，确定与各所述初始待检测目标子图像对应的轮廓约束特征。
可选地，第二确定模块1903，具体用于：
遍历所述初始待检测目标子图像集，将所述轮廓约束特征和各所述初始待检测目标子图像进行比较；
在比较结果为所述初始待检测目标子图像包含所述轮廓约束特征的情况下，将所述初始待检测目标子图像确定为待检测目标子图像；
基于各所述待检测目标子图像，确定所述待检测目标子图像集。
可选地，第三确定模块1904，具体用于：
遍历所述待检测目标子图像集，确定各待检测目标子图像的目标尺寸信息和边缘像素信息，所述目标尺寸信息包括：所述待检测目标子图像的长度值和宽度值，所述边缘像素信息包括：所述待检测目标子图像中相邻像素差值的权重值和相邻像素差值的绝对值；
调用评分函数，并基于所述目标尺寸信息和边缘像素信息，确定各所述待检测目标子图像对应的评分结果，所述评分函数用于表征所述待检测目标子图像集中各所述待检测目标子图像属于目标类别的概率。
可选地，所述评分函数包括周长敏感参数，所述周长敏感参数用于表征待检测目标子图像对应的周长对所述评分结果的影响；
所述周长敏感参数是基于各所述待检测目标子图像对应的目标尺度信息确定的。
图20是本发明提供的电子设备的结构示意图，如图20所示，该电子设备可以包括：处理器(processor)2010、通信接口(Communications Interface)2020、存储器(memory)2030和通信总线2040，其中，处理器2010，通信接口2020，存储器2030通过通信总线2040完成相互间的通信。处理器2010可以调用存储器2030中的逻辑指令，以执行目标检测方法，该方法包括：
获取待检测目标图像；
基于所述待检测目标图像对应的角点特征，对所述待检测目标图像中的各待检测目标进行定位，得到初始待检测目标子图像集；
基于所述初始待检测目标子图像集对应的轮廓约束特征和所述初始待检测目标子图像集，确定包含至少一个完整待检测目标的待检测目标子图像集；
对所述待检测目标子图像集中各待检测目标子图像进行评分，并基于评分结果，确定目标检测结果。
此外，上述的存储器2030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的目标检测方法，该方法包括：
获取待检测目标图像；
基于所述待检测目标图像对应的角点特征，对所述待检测目标图像中的各待检测目标进行定位，得到初始待检测目标子图像集；
基于所述初始待检测目标子图像集对应的轮廓约束特征和所述初始待检测目标子图像集，确定包含至少一个完整待检测目标的待检测目标子图像集；
对所述待检测目标子图像集中各待检测目标子图像进行评分，并基于评分结果，确定目标检测结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的目标检测方法，该方法包括：
获取待检测目标图像；
基于所述待检测目标图像对应的角点特征，对所述待检测目标图像中的各待检测目标进行定位，得到初始待检测目标子图像集；
基于所述初始待检测目标子图像集对应的轮廓约束特征和所述初始待检测目标子图像集，确定包含至少一个完整待检测目标的待检测目标子图像集；
对所述待检测目标子图像集中各待检测目标子图像进行评分，并基于评分结果，确定目标检测结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种目标检测方法，其特征在于，包括：
获取待检测目标图像；
基于所述待检测目标图像对应的角点特征，对所述待检测目标图像中的各待检测目标进行定位，得到初始待检测目标子图像集；
基于所述初始待检测目标子图像集对应的轮廓约束特征和所述初始待检测目标子图像集，确定包含至少一个完整待检测目标的待检测目标子图像集；
对所述待检测目标子图像集中各待检测目标子图像进行评分，并基于评分结果，确定目标检测结果。
2.根据权利要求1所述的目标检测方法，其特征在于，所述基于所述待检测目标图像对应的角点特征，对所述待检测目标图像中的各待检测目标进行定位，得到初始待检测目标子图像集，包括：
将所述待检测目标图像进行角点定位检测，确定所述待检测目标图像对应的角点特征；
基于所述角点特征和预先确定的锚框，确定初始待检测目标子图像集，所述锚框用于确定所述初始待检测目标子图像集中各初始待检测目标子图像的区域大小。
3.根据权利要求2所述的目标检测方法，其特征在于，所述锚框包括：目标尺度信息和目标尺寸信息；
所述锚框是基于以下步骤确定的：
获取样本目标锚框训练数据集，所述样本目标锚框训练数据集中包括：各样本目标锚框对应的样本尺度信息和样本尺寸信息，所述样本尺度信息和所述样本尺寸信息均是基于所述样本目标锚框对应的像素数量确定的；
将所述样本目标锚框训练数据集进行聚类，基于聚类结果，确定所述样本尺度信息对应的聚类类别和各所述样本目标锚框对应的平均重合度的关联关系；
基于所述关联关系，确定各所述聚类类别对应的聚类中心值；
将各所述聚类中心值确定为所述锚框的目标尺寸信息，将各所述聚类中心值对应的样本尺度信息确定为所述锚框的目标尺度信息。
4.根据权利要求2所述的目标检测方法，其特征在于，所述基于所述角点特征和预先确定的锚框，确定初始待检测目标子图像集，包括：
确定所述角点特征和所述锚框的位置关系，所述位置关系包括：所述角点特征对应的像素点与所述锚框的顶点重合、所述角点特征对应的像素点位于所述锚框的边缘线上、所述角点特征对应的像素点与所述锚框的中心点重合；
遍历所述角点特征对应的各目标像素点，基于所述位置关系和所述待检测目标图像，确定各所述目标像素点对应的至少两个初始待检测目标子图像；
基于各所述初始待检测目标子图像，确定初始待检测目标子图像集。
5.根据权利要求1至4任一项所述的目标检测方法，其特征在于，所述初始待检测目标子图像集对应的轮廓约束特征是基于以下步骤确定的：
将所述待检测目标图像输入目标轮廓检测模型，输出所述待检测目标图像对应的轮廓特征，所述目标轮廓检测模型是基于样本目标轮廓训练数据和所述样本目标轮廓训练数据对应的标签进行监督训练得到的；
基于所述轮廓特征，确定与各所述初始待检测目标子图像对应的轮廓约束特征。
6.根据权利要求5所述的目标检测方法，其特征在于，所述基于所述初始待检测目标子图像集对应的轮廓约束特征和所述初始待检测目标子图像集，确定包含至少一个完整待检测目标的待检测目标子图像集，包括：
遍历所述初始待检测目标子图像集，将所述轮廓约束特征和各所述初始待检测目标子图像进行比较；
在比较结果为所述初始待检测目标子图像包含所述轮廓约束特征的情况下，将所述初始待检测目标子图像确定为待检测目标子图像；
基于各所述待检测目标子图像，确定所述待检测目标子图像集。
7.根据权利要求1至4任一项所述的目标检测方法，其特征在于，确定所述评分结果，包括：
遍历所述待检测目标子图像集，确定各待检测目标子图像的目标尺寸信息和边缘像素信息，所述目标尺寸信息包括：所述待检测目标子图像的长度值和宽度值，所述边缘像素信息包括：所述待检测目标子图像中相邻像素差值的权重值和相邻像素差值的绝对值；
调用评分函数，并基于所述目标尺寸信息和边缘像素信息，确定各所述待检测目标子图像对应的评分结果，所述评分函数用于表征所述待检测目标子图像集中各所述待检测目标子图像属于目标类别的概率。
8.根据权利要求7所述的目标检测方法，其特征在于，所述评分函数包括周长敏感参数，所述周长敏感参数用于表征待检测目标子图像对应的周长对所述评分结果的影响；
所述周长敏感参数是基于各所述待检测目标子图像对应的目标尺度信息确定的。
9.一种目标检测装置，其特征在于，包括：
获取模块，用于获取待检测目标图像；
第一确定模块，用于基于所述待检测目标图像对应的角点特征，对所述待检测目标图像中的各待检测目标进行定位，得到初始待检测目标子图像集；
第二确定模块，用于基于所述初始待检测目标子图像集对应的轮廓约束特征和所述初始待检测目标子图像集，确定包含至少一个完整待检测目标的待检测目标子图像集；
第三确定模块，用于对所述待检测目标子图像集中各待检测目标子图像进行评分，并基于评分结果，确定目标检测结果。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述目标检测方法。
CN202310299475.4A 2023-03-24 2023-03-24 目标检测方法、装置和电子设备 Pending CN116543171A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310299475.4A CN116543171A (zh) 2023-03-24 2023-03-24 目标检测方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310299475.4A CN116543171A (zh) 2023-03-24 2023-03-24 目标检测方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN116543171A true CN116543171A (zh) 2023-08-04

Family

ID=87449521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310299475.4A Pending CN116543171A (zh) 2023-03-24 2023-03-24 目标检测方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN116543171A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778532A (zh) * 2023-08-24 2023-09-19 汶上义桥煤矿有限责任公司 一种煤矿井下人员目标跟踪方法
CN117295157A (zh) * 2023-11-24 2023-12-26 北京国旺盛源智能终端科技有限公司 一种用于可穿戴式背夹终端的定位方法及***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778532A (zh) * 2023-08-24 2023-09-19 汶上义桥煤矿有限责任公司 一种煤矿井下人员目标跟踪方法
CN116778532B (zh) * 2023-08-24 2023-11-07 汶上义桥煤矿有限责任公司 一种煤矿井下人员目标跟踪方法
CN117295157A (zh) * 2023-11-24 2023-12-26 北京国旺盛源智能终端科技有限公司 一种用于可穿戴式背夹终端的定位方法及***
CN117295157B (zh) * 2023-11-24 2024-02-13 北京国旺盛源智能终端科技有限公司 一种用于可穿戴式背夹终端的定位方法及***

Similar Documents

Publication Publication Date Title
CN108510467B (zh) 基于深度可变形卷积神经网络的sar图像目标识别方法
CN108898065B (zh) 候选区快速筛选与尺度自适应的深度网络舰船目标检测方法
CN116543171A (zh) 目标检测方法、装置和电子设备
CN107808138B (zh) 一种基于FasterR-CNN的通信信号识别方法
CN111666855B (zh) 基于无人机的动物三维参数提取方法、***及电子设备
CN109871829B (zh) 一种基于深度学习的检测模型训练方法和装置
CN110807473A (zh) 目标检测方法、装置及计算机存储介质
CN106485651B (zh) 快速鲁棒性尺度不变的图像匹配方法
JP7054278B1 (ja) 深層学習に基づくエッジ識別方法
CN113095333B (zh) 无监督特征点检测方法及装置
CN110716792B (zh) 一种目标检测器及其构建方法和应用
CN112489089B (zh) 一种微型固定翼无人机机载地面运动目标识别与跟踪方法
CN114255468A (zh) 一种笔迹识别方法及其相关设备
Jing et al. Island road centerline extraction based on a multiscale united feature
CN113793385A (zh) 鱼头鱼尾定位方法及装置
CN113378837A (zh) 车牌遮挡识别方法、装置、电子设备和存储介质
CN111931558A (zh) 船舶类别识别方法及***
CN107729903A (zh) 基于区域概率统计和显著性分析的sar图像目标检测方法
CN116740528A (zh) 一种基于阴影特征的侧扫声呐图像目标检测方法及***
CN109977892A (zh) 基于局部显著性特征和cnn-svm的舰船检测方法
CN112686222B (zh) 星载可见光探测器对船舶目标检测的方法和***
CN113963178A (zh) 地空背景下红外弱小目标检测方法、装置、设备及介质
CN113657196A (zh) Sar图像目标检测方法、装置、电子设备和存储介质
CN112907574A (zh) 一种飞行器的降落点寻找方法、装置、***及存储介质
CN111797737A (zh) 遥感目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination