CN115311553A - 目标检测方法、装置、电子设备及存储介质 - Google Patents

目标检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115311553A
CN115311553A CN202210819568.0A CN202210819568A CN115311553A CN 115311553 A CN115311553 A CN 115311553A CN 202210819568 A CN202210819568 A CN 202210819568A CN 115311553 A CN115311553 A CN 115311553A
Authority
CN
China
Prior art keywords
target
detected
sample
features
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210819568.0A
Other languages
English (en)
Inventor
刘文龙
曾卓熙
肖嵘
王孝宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Yuntian Lifei Technology Co ltd
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Qingdao Yuntian Lifei Technology Co ltd
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Yuntian Lifei Technology Co ltd, Shenzhen Intellifusion Technologies Co Ltd filed Critical Qingdao Yuntian Lifei Technology Co ltd
Priority to CN202210819568.0A priority Critical patent/CN115311553A/zh
Publication of CN115311553A publication Critical patent/CN115311553A/zh
Priority to PCT/CN2022/143514 priority patent/WO2024011873A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种目标检测方法,方法包括:获取待检测图像,所述待检测图像包括待检测旋转目标;通过训练好的目标检测模型对所述待检测图像进行特征提取,得到所述待检测旋转目标的分类特征和辅助特征;基于所述辅助特征对所述分类特征进行辅助处理,得到所述待检测旋转目标的检测结果。通过提取待检测旋转目标的分类特征和辅助特征,利用辅助特征来对分类特征进行辅助处理,从而得到待检测旋转目标的检测结果,不需要对anchor进行设计,因此也不需要进行非极大值抑制,提高了旋转目标检测的检测准确率,进而提高了旋转目标检测的检测性能。

Description

目标检测方法、装置、电子设备及存储介质
技术领域
本发明涉及人工智能领域,尤其涉及一种目标检测方法、装置、电子设备及存储介质。
背景技术
旋转目标检测指的是将具有旋转方向的目标检测出来,也就是需要检测目标的中心点、宽高、角度。在俯视图的目标检测中比较常见,如遥感图像目标检测、航拍图像目标检测等。当前的旋转目标检测往往是基于anchor锚点和非极大值抑制的目标检测算法,由于图像中旋转目标的大小和位置不一样,基于anchor的目标检测算法有一些固有缺点,比如想要检测所有大小和位置的旋转目标,anchor的设计会非常复杂,要去设计不同的比例,不同的尺寸,而且anchor的比例和尺寸设计不适当,还会影响后续的非极大值抑制,造成误差累积,从而影响目标检测模型的检测准确率。因此,现有的旋转目标检测算法具有检测准确率不高的问题。
发明内容
本发明实施例提供一种目标检测方法,旨在解决现有目标检测过程中,旋转目标检测算法具有检测准确率不高的问题。通过提取待检测旋转目标的分类特征和辅助特征,利用辅助特征来对分类特征进行辅助处理,从而得到待检测旋转目标的检测结果,不需要对anchor进行设计,因此也不需要进行非极大值抑制,提高了旋转目标检测的检测准确率,进而提高了旋转目标检测的检测性能。
第一方面,本发明实施例提供一种目标检测方法,所述目标检测方法用于旋转目标的检测,所述方法包括:
获取待检测图像,所述待检测图像包括待检测旋转目标;
通过训练好的目标检测模型对所述待检测图像进行特征提取,得到所述待检测旋转目标的分类特征和辅助特征;
基于所述辅助特征对所述分类特征进行辅助处理,得到所述待检测旋转目标的检测结果。
可选的,所述训练好的目标检测模型包括特征提取网络、特征融合网络、分类特征输出网络、辅助特征输出网络,所述通过训练好的目标检测模型对所述待检测图像进行特征提取,得到所述待检测旋转目标的分类特征和辅助特征,包括:
通过所述特征提取网络对所述待检测图像进行特征提取,得到所述待检测图像的多尺度特征;
通过所述特征融合网络对所述多尺度特征进行特征融合,得到所述待检测图像的融合特征;
通过所述分类特征输出网络对所述融合特征进行预测,得到所述待检测旋转目标的分类特征,所述分类特征包括特征通道,不同类别的待检测旋转目标对应于不同的特征通道;
通过所述辅助特征输出网络对所述融合特征进行预测,得到所述待检测旋转目标的辅助特征。
可选的,所述辅助特征包括高宽特征以及旋转角度特征,所述基于所述辅助特征对所述分类特征进行辅助处理,得到所述待检测旋转目标的检测结果,包括:
对所述分类特征进行关键点提取,得到所述待检测旋转目标的目标关键点;
基于所述目标关键点,在所述高宽特征中索引对应的目标高宽属性,以及在所述旋转角度特征中索引对应的目标旋转角度属性;
基于所述目标关键点、所述目标高宽属性以及所述目标旋转角度属性,得到所述待检测旋转目标的检测结果。
可选的,在所述通过训练好的目标检测模型对所述待检测图像进行特征提取,得到所述待检测旋转目标的分类特征和辅助特征之前,所述方法还包括:
获取训练数据集,所述训练数据集中包括样本图像以及标注框,所述样本图像中包括样本旋转目标,所述标注框为所述样本旋转目标的标注框;
获取目标检测模型,并通过所述训练数据集对的目标检测模型进行训练,得到训练好的目标检测模型,所述目标检测模型包括特征提取网络、特征融合网络、分类特征输出网络、高宽特征输出网络以及旋转角度特征输出网络。
可选的,所述获取目标检测模型,并通过所述训练数据集对的目标检测模型进行训练,得到训练好的目标检测模型,包括:
将所述样本图像输入到所述目标检测模型,得到所述样本旋转目标对应的样本检测框;
将所述样本检测框与所述标注框分别通过预设的编码函数进行编码,分别得到所述样本检测框对应的样本函数分布,以及所述标注框对应的标注函数分布;
根据所述样本函数分布与所述标注函数分布之间的度量距离,对所述目标检测模型进行网络参数调整;
对所述目标检测模型的网络参数调整过程进行迭代,直到所述目标检测模型收敛或达到预设的迭代次数,得到训练好的目标检测模型。
可选的,所述将所述样本图像输入到所述目标检测模型,得到所述样本旋转目标对应的样本检测框,包括:
通过所述目标检测模型对所述样本图像进行处理,得到所述样本图像对应的样本特征图,并根据所述样本特征图的高宽,对所述样本特征图构建矩阵网格,所述样本特征图像包括所述样本图像对应分类特征图、高宽特征图与旋转角度特征图;
在所述高宽特征图中每个网格点建立一个高宽属性的索引,以及在所述旋转角度特征图中每个网格点建立一个旋转角度属性的索引;
根据所述样本特征图中每个网格点及其对应的索引属性,得到所述样本旋转目标对应的样本检测框。
可选的,所述标注框内包括标注关键点,所述根据所述样本函数分布与所述标注函数分布之间的度量距离,对所述目标检测模型进行网络参数调整,包括:
根据分类特征图的样本关键点,计算所述样本关键点与所述标注关键点之间的第一损失;
通过预设的转换函数将所述度量距离转换为第二损失;
基于所述第一损失与第二损失,对所述目标检测模型进行网络参数调整。
第二方面,本发明实施例提供一种目标检测装置,所述装置包括:
第一获取模块,用于获取待检测图像,所述待检测图像包括待检测旋转目标;
提取模块,用于通过训练好的目标检测模型对所述待检测图像进行特征提取,得到所述待检测旋转目标的分类特征和辅助特征;
处理模块,用于基于所述辅助特征对所述分类特征进行辅助处理,得到所述待检测旋转目标的检测结果。
第三方面,本发明实施例提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本发明实施例提供的目标检测方法中的步骤。
第四方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现发明实施例提供的目标检测方法中的步骤。
本发明实施例中,获取待检测图像,所述待检测图像包括待检测旋转目标;通过训练好的目标检测模型对所述待检测图像进行特征提取,得到所述待检测旋转目标的分类特征和辅助特征;基于所述辅助特征对所述分类特征进行辅助处理,得到所述待检测旋转目标的检测结果。通过提取待检测旋转目标的分类特征和辅助特征,利用辅助特征来对分类特征进行辅助处理,从而得到待检测旋转目标的检测结果,不需要对anchor进行设计,因此也不需要进行非极大值抑制,提高了旋转目标检测的检测准确率,进而提高了旋转目标检测的检测性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种目标检测方法的流程图;
图2是本发明实施例提供的一种目标检测模型的结构示意图;
图3是本发明实施例提供的一种目标检测装置的结构示意图;
图4是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1,图1是本发明实施例提供的一种目标检测方法的流程图,如图1所示,该目标检测方法用于旋转目标的检测,该目标检测方法包括以下步骤:
101、获取待检测图像。
在本发明实施例中,待检测图像包括待检测旋转目标。上述待检测图像可以是侧面图像、俯视图像、仰视图像等,侧面图像可以是从目标侧面拍摄到的图像,俯视图像可以是从目标上方拍摄到的图像,仰视图像可以是从目标下方拍摄到的图像。
上述待检测旋转目标可以是人员、车辆、飞机、建筑、物品等具有实体的目标。
102、通过训练好的目标检测模型对待检测图像进行特征提取,得到待检测旋转目标的分类特征和辅助特征。
在本发明实施例中,可以将待检测图像输入到训练好的目标检测模型中,通过目标检测模型对待检测图像进行特征提取,得到待检测旋转目标的分类特征和辅助特征。
在一种可能的实施例中,在将待检测图像输入到训练好的目标检测模型之前,可以对待检测图像进行预处理,上述预处理可以包括图像像素归一化和宽高缩放到H0×W0大小,其中,H0和W0的大小为32的整数倍。
上述待检测旋转目标的分类特征中包含了待检测旋转目标的类别信息,比如待检测旋转目标的类别为人员、车辆、飞机、建筑、物品等。上述待检测旋转目标的辅助特征可以包含待检测旋转目标高宽以及旋转角度等属性信息。
具体的,训练好的目标检测模型包括分类特征分支结构以及辅助特征分支结构,训练好的目标检测模型可以先从待检测图像中提取共用特征,通过分类特征分支结构输出对应的分类特征,通过辅助特征分支结构输出对应的辅助特征。分类特征分支结构与辅助特征分支结构具有不同的结构参数。
进一步的,上述目标检测模型可以是基于深度卷积神经网络进行构建的,对深度卷积神经网络进行训练后,得到训练好的目标检测模型。具体可以收集样本图像,样本图像中包括样本旋转目标,样本旋转目标可以是人员、车辆、飞机、建筑、物品等目标,对样本图像中的样本旋转目标进行标注,得到对应的标签数据,标注包括对应于分类特征的类别标注,以及对应于辅助特征的属性标注,属性标注可以包括高宽标注和旋转角度标注。通过样本图像和对应的标签数据对深度卷积神经网络进行训练,使得深度卷积神经网络学习到旋转目标的分类特征和旋转目标的辅助特征进行输出,训练完成得到训练好的目标检测模型。
103、基于辅助特征对分类特征进行辅助处理,得到待检测旋转目标的检测结果。
在本发明实施例中,待检测旋转目标的辅助特征可以包含待检测旋转目标高宽以及旋转角度等属性信息,可以在辅助特征索引对应的属性信息添加到分类特征中,从而得到待检测旋转目标的检测结果。
上述检测结果可以包括待检测旋转目标的位置、类别、高宽以及旋转角度等。
本发明实施例中,获取待检测图像,所述待检测图像包括待检测旋转目标;通过训练好的目标检测模型对所述待检测图像进行特征提取,得到所述待检测旋转目标的分类特征和辅助特征;基于所述辅助特征对所述分类特征进行辅助处理,得到所述待检测旋转目标的检测结果。通过提取待检测旋转目标的分类特征和辅助特征,利用辅助特征来对分类特征进行辅助处理,从而得到待检测旋转目标的检测结果,不需要对anchor进行设计,因此也不需要进行非极大值抑制,提高了旋转目标检测的检测准确率,进而提高了旋转目标检测的检测性能。
可选的,训练好的目标检测模型包括特征提取网络、特征融合网络、分类特征输出网络、辅助特征输出网络,在通过训练好的目标检测模型对待检测图像进行特征提取,得到待检测旋转目标的分类特征和辅助特征的步骤中,可以通过特征提取网络对待检测图像进行特征提取,得到待检测图像的多尺度特征;通过特征融合网络对多尺度特征进行特征融合,得到待检测图像的融合特征;通过分类特征输出网络对融合特征进行预测,得到待检测旋转目标的分类特征,分类特征包括特征通道,不同类别的待检测旋转目标对应于不同的特征通道;通过辅助特征输出网络对融合特征进行预测,得到待检测旋转目标的辅助特征。
在本发明实施例中,上述特征提取网络可以是backbone网络构成,比如VGG19,ResNet、MobileNet等,本发明实施例不对特征提取网络做任何限制。上述特征提取网络可以提高待检测图像在不同尺度下的特征,得到待检测图像的多尺度特征。需要说明的是,在特征提取网络中,由于下采样层的存在,随着特征提取网络的计算深度越深,提取到的特征尺度越小。
上述特征融合网络可以包括上采样层和融合层,通过上采样层对尺寸较小的特征进行上采样,使得尺寸较小的特征被上采样为尺寸较大的特征,进而通过融合层将上采样后的特征与相同尺寸的特征进行融合。具体的,特征融合网络从特征提取网络的不同阶段特征中提取多尺度特征,并逐一将小尺度的特征进行2倍上采样并与从特征提取网络的相同尺度的特征融合,最后将高尺度的融合特征输出到预测网络。
上述分类特征输出网络与辅助特征输出网络也可以称为预测网络,通过分类特征输出网络输出对应的分类特征,输出的分类特征中可以包括多个特征通道,每个特征通道对应一个待检测旋转目标的一个类别。
具体的,上述分类特征输出网络可以是基于CenterNetR的分类特征输出网络,可以将融合特征输入到基于CenterNetR的分类特征输出网络,通过CenterNetR预测待检测旋转目标的中心点热力图作为分类特征,不同类别的中心点热力图被分布在不同的特征通道中,因此,可以由特征通道确定待检测旋转目标的类别。
上述辅助特征也可以是基于CenterNetR的属性特征输出网络,可以将融合特征输入到基于CenterNetR的属性特征输出网络,通过CenterNetR预测每个中心点对应的属性信息作为辅助信息,其中上述辅助特征的尺度分辨率与分类特征的尺度分辨率相同。上述辅助特征可以包含待检测旋转目标高宽以及旋转角度等属性信息。在辅助特征中,每个位置点均对应一组属性信息,通过分类特征的中心点位置,可以索引到对应位置的属性信息。
可选的,辅助特征包括高宽特征以及旋转角度特征,基于辅助特征对分类特征进行辅助处理,得到待检测旋转目标的检测结果的步骤中,可以对分类特征进行关键点提取,得到待检测旋转目标的目标关键点;基于目标关键点,在高宽特征中索引对应的目标高宽属性,以及在旋转角度特征中索引对应的目标旋转角度属性;基于目标关键点、目标高宽属性以及目标旋转角度属性,得到待检测旋转目标的检测结果。
在本发明实施例中,上述特征包括高宽特征以及旋转角度特征,上述高宽特征对应于待检测旋转目标的高宽属性,上述旋转角度特征对应于待检测旋转目标的旋转角度属性。分类特征中每个位置点对应于一个高宽特征中的位置点以及一个转角度特征中的位置点,因此,可以根据分类特征中的目标关键点,在高宽特征中对应位置点索引到高宽属性作为目标,在旋转角度特征中对应位置点索引到旋转角度属性。
具体的,高宽特征以及旋转角度特征均与分类特征具有相同的尺度分辨率,上述分类特征的高为H,宽为W,同样的,高宽特征的高为H,宽为W,旋转角度特征的高为H,宽为W。分类特征可以是中心点热力图,热力图的中心点为热力值最高的位置点,该中心点也可以作为目标关键点。具体的,在得到分类特征后,可以通过一个n*n的最大池化核对分类特征进行采样,并根据预设的置信度阈值得到高置信度的关键点作为目标关键点。其中,n小于H,且n小于W。最大池化核的作用为从在热力图n*n区域中采样最大值。以n=3进行举例,可以在热力图3*3区域中采样出热力值最高的值作为最大池化核的采样值。
在得到目标关键点(i,j)后,其中,(i,j)表示目标关键点在分类特征中的位置坐标。可以根据目标关键点(i,j)在高宽特征中索引到对应的目标高宽属性(w,h),其中w表示待检测旋转目标在分类特征中的宽度,h表示待检测旋转目标在分类特征中的高度。同时,可根据目标关键点(i,j)在高宽特征中索引到对应的目标旋转角度属性θ,其中θ表示待检测旋转目标在分类特征中的旋转角度。
根据目标关键点(i,j)、目标高宽属性(w,h)以及目标旋转角度属性θ,可以得到待检测旋转目标的检测结果(i,j,w,h,θ)。
在一种可能的实施例中,上述辅助特征还可以包含偏置特征,上述偏置特征用于描述目标关键点的偏移量。具体的,上述偏置特征可以在目标检测模型中增加偏置特征输出网络,通过偏置特征输出网络对融合特征进行预测得到。偏置特征与分类特征也具有相同的尺度分辨率,偏置特征的高为H,宽为W。分类特征中每个位置点对应于一个偏置特征中的位置点。可以根据目标关键点(i,j)在偏置特征索引到对应的目标偏置属性(dx,dy),则待检测旋转目标的最终位置为(x,y),其中,x=i+dx,y=j+dy。结合目标高宽属性(w,h)以及目标旋转角度属性θ,可以得到待检测旋转目标的检测结果(x,y,w,h,θ)。通过目标关键点在偏置特征索引得到对应目标偏置属性,可以更准确的确定待检测旋转目标的位置。
可选的,在通过训练好的目标检测模型对待检测图像进行特征提取,得到待检测旋转目标的分类特征和辅助特征之前,还可以获取训练数据集,训练数据集中包括样本图像以及标注框,样本图像中包括样本旋转目标,标注框为样本旋转目标的标注框;获取目标检测模型,并通过训练数据集对的目标检测模型进行训练,得到训练好的目标检测模型,目标检测模型包括特征提取网络、特征融合网络、分类特征输出网络、高宽特征输出网络以及旋转角度特征输出网络。
在本发明实施例中,在通过训练好的目标检测模型对待检测图像进行特征提取之前,可以对目标检测模型进行训练。可以收集包含样本旋转目标的样本图像进行标注,得到从而训练数据集,样本旋转目标与待检测旋转目标具有相同的类别。可以通过专家人员在样本图像中对旋转目标进行标注,得到标注框,标框包括样本旋转目标的类别、标注框位置、标注框高宽以及标注框旋转角度,在一种可能的实施例中,辅助特征包括偏置特征,则标注框目标偏置,此时,目标检测模型还包括偏置特征输出网络。需要说明的是,分类特征输出网络、高宽特征输出网络、旋转角度特征输出网络以及偏置特征输出网络均为独立且并行的分支网络。
具体的,请参考图2,图2是本发明实施例提供的一种目标检测模型的结构示意图,如图2所示,在目标检测模型中,特征提取网络的输出与特征融合网络的输入连接,特征融合网络的输出分别与分类特征输出网络、高宽特征输出网络、旋转角度特征输出网络以及偏置特征输出网络的输入连接。
通过训练数据集对目标检测模型进行训练,在训练过程中,迭代调整特征提取网络、特征融合网络、分类特征输出网络、高宽特征输出网络、旋转角度特征输出网络以及偏置特征输出网络中的网络参数,直到目标检测模型收敛或达到预设的迭代次数,得到训练好的目标检测模型。
可选的,在获取目标检测模型,并通过训练数据集对的目标检测模型进行训练,得到训练好的目标检测模型的步骤中,可以将样本图像输入到目标检测模型,得到样本旋转目标对应的样本检测框;将样本检测框与标注框分别通过预设的编码函数进行编码,分别得到样本检测框对应的样本函数分布,以及标注框对应的标注函数分布;根据样本函数分布与标注函数分布之间的度量距离,对目标检测模型进行网络参数调整;对目标检测模型的网络参数调整过程进行迭代,直到目标检测模型收敛或达到预设的迭代次数,得到训练好的目标检测模型。
在本发明实施例中,可以在训练过程中,将样本图像输入到目标检测模型中,得到目标检测模型输出的样本检测框。样本检测框可以通过目标检测模型中分类特征输出网络、高宽特征输出网络、旋转角度特征输出网络以及偏置特征输出网络输出的预测结果得到。在得到样本检测框后,可以计算样本检测框与标注检测框之间的损失,通过样本检测框与标注检测框之间的损失进行反向传播,调整目标检测模型中各个网络的网络参数,迭代上述过程,完成对目标检测模型的训练。
进一步的,为了提高辅助特征的辅助效果,进而提高目标检测模型的检测准确性,本发明实施例将样本检测框和标注框分别通过编码函数进行编码,通过编码函数将样本检测框中分类特征与辅助特征进行编码耦合,具体的,通过编码函数将标注框位置与宽高特征、旋转角度特征进行编码耦合,从而使目标检测模型学习到这种耦合联系,使得训练好的目标检测模型输出更准确的辅助特征。
更进一步的,上述编码函数可以是非线性分布函数,比如可以是二维高斯分布函数,具体的,可以如下述式子所示:
μ=(x,y)T
Figure BDA0003742144470000101
其中,上述(x,y,w,h,θ)为检测框的表达形式,(x,y)为检测框的中心点坐标,(w,h)为检测框的宽和高,θ为检测框中旋转目标的旋转角度。通过上述式子,将检测框(x,y,w,h,θ)编码为二维高斯分布形式(μ,Σ),具体的,μ表示转换二维高斯分布的均值,Σ表示转换二维高斯分布的协方差。样本检测框和标注框的编码都可以通过上述式子进行。
在对样本检测框进行编码后,得到样本函数分布(μ1,Σ1);在对标注框进行编码后,得到标注函数分布(μ2,Σ2)。计算样本函数分布(μ1,Σ1)与标注函数分布(μ2,Σ2)之间的度量距离。在样本图像为正样本的情况下,度量距离越小,则说明样本检测框与标注框越相似,检测结果越符合真实结果;度量距离越大,则说明样本检测框与标注框越不相似,检测结果越不符合真实结果。在样本图像为负样本的情况下,度量距离越小,则说明样本检测框与标注框越不相似,检测结果越符合真实结果;度量距离越大,则说明样本检测框与标注框越相似,检测结果越不符合真实结果。
上述度量距离的计算可以采用Wasserstein距离和KL散度等计算方法进行,本发明实施例优选Wasserstein距离来计算样本函数分布(μ1,Σ1)与标注函数分布(μ2,Σ2)之间的度量距离,具体可以如下述式子所示:
Figure BDA0003742144470000111
其中,d为样本函数分布(μ1,Σ1)与标注函数分布(μ2,Σ2)之间的度量距离,Tr()函数表示计算出来的矩阵的迹。
在训练过程中,通过对检测检测框和标注框进行编码,使得分类特征与辅助特征通过编码函数进行耦合,提高目标检测模型对于辅助特征的学习能力,使得训练好的目标检测模型能够提取出更准确的辅助特征。
在一种可能的实施例中,目标检测模型中还包括偏置特征输出网络,通过特征提取网络提取样本图像的多尺度特征,通过特征融合网络将样本图像的多尺度特征进行融合。通过分类特征输出网络对融合后的特征进行预测处理,得到分类特征;通过高宽特征输出网络对融合后的特征进行预测处理,得到高宽特征;通过旋转角度特征输出网络对融合后的特征进行预测处理,得到旋转角度特征;通过偏置特征输出网络对融合后的特征进行预测处理,得到偏置特征。通过上述分类特征进行关键点提取,得到目标关键点,基于目标关键点,在偏置特征中索引对应的目标偏置属性,基于目标关键点、目标高宽属性以及目标旋转角度属性,得到样本旋转目标的检测结果,样本旋转目标的检测结果对应样本检测框。
通过在目标检测模型中增加辅助特征对应的输出网络,将分类特征与辅助特征之间进行耦合,使得训练好的目标检测模型可以输出更准确的辅助特征。
可选的,在将样本图像输入到目标检测模型,得到样本旋转目标对应的样本检测框的步骤中,可以通过目标检测模型对样本图像进行处理,得到样本图像对应的样本特征图,并根据样本特征图的高宽,对样本特征图构建矩阵网格,样本特征图像包括样本图像对应分类特征图、高宽特征图与旋转角度特征图;在高宽特征图中每个网格点建立一个高宽属性的索引,以及在旋转角度特征图中每个网格点建立一个旋转角度属性的索引;根据样本特征图中每个网格点及其对应的索引属性,得到样本旋转目标对应的样本检测框。
在本发明实施例中,可以通过目标检测模型对样本图像进行处理,得到样本图像对应的样本特征图。上述样本特征图中包括分类特征图、高宽特征图、以及旋转角度特征图,在一种可能的实施例中,还可以包括偏置特征图。分类特征图、高宽特征图、旋转角度特征图以及偏置特征图具有相同的高H和宽W。
可以根据样本特征图的高H和宽W,为样本特征图创建矩阵网格,具体可以通过meshgrid为样本特征图创建矩阵网格。对于一个网格点(i0,j0),在高宽特征图中可以建立对应于该网格点(i0,j0)的检测框宽度属性w0和检测框高度h0的索引关系,以及在旋转角度特征图也可以建立对应于该网格点(i0,j0)的旋转角度属性θ0索引关系,在偏置特征图也可以建立对应于该网格点(i0,j0)的x方向偏置属性dx0和y方向偏置属性dy0的索引关系。对于样本检测框的中心点(i1,j1),则可以索引到样本高宽属性(w1,h1)、样本旋转角度属性θ1、样本偏置属性(dx1,dy1),从而得到样本检测框(x1,y1,w1,h1,θ1)。
通过在目标检测模型中增加辅助特征对应的输出网络,建立分类特征与辅助特征之间的索引关系,使得训练好的目标检测模型可以输出更准确的辅助特征。
可选的,标注框内包括标注关键点,在根据样本函数分布与标注函数分布之间的度量距离,对目标检测模型进行网络参数调整的步骤中,可以根据分类特征图的样本关键点,计算样本关键点与标注关键点之间的第一损失;通过预设的转换函数将所述度量距离转换为第二损失;基于第一损失与第二损失,对目标检测模型进行网络参数调整。
在本发明实施例中,上述样本关键点为样本检测框中的中心点,上艺术品样本关键点的计算方式与上述目标关键点的计算方式相同,均是通过最大池化核进行计算得到。上述标注关键点为标注获取,计算样本关键点与标注关键点之间的第一损失,可以是通过第一损失函数进行计算,第一损失函数如下述式子所示:
losshm=Guassian_focal_loss(hmpred,hmtarget)
其中,losshm为第一损失,hmpred为样本检测框中心点的预测结果,hmtarget为对应标注框中心点的真实标签。Guassian_focal_loss()为第一损失函数。
上述第二损失通过预设的转换函数得到,上述预设的转换函数可以是非线性函数,具体的,上述预设的轮换函数可以如下述式子所示:
Figure BDA0003742144470000131
其中,lossrbbox为第二损失,d为样本函数分布与标注函数分布之间的度量距离,τ为可调整常数。
基于第一损失和第二损失,可以得到分类特征与辅助特征的总损失,该总损失如下述式子所示:
Loss=losshm+λlossrbbox
上述λ为先验系数,可以在训练过程中根据先验知识进行调整。
在一种可能的实施例中,辅助特征还包括偏置特征,可以计算样本检测框对应的偏置属性与标注框对应的标注偏置属性之间的损失作为第三损失,第三损失可以通过第三损失函数进行计算得到,第三损失函数可以如下述式子所示:
lossoffset=Smooth-L1(offsetpred,offsettarget)
其中,lossoffset为第三损失,hmpred为样本检测框偏置属性的预测结果,hmtarget为对应标注框偏置属性的真实标签。Smooth-L1()为第三损失函数。
在该实施例中,基于第一损失、第二损失和第三损失,可以得到分类特征与辅助特征的总损失,该总损失如下述式子所示:
Loss=losshm1lossoffset2lossrbbox
其中,上述λ1为第一先验系数,λ2为第二先验系数,第一先验系数和第二先验系数均可以在训练过程中根据先验知识进行调整。
在本发明实施例中,通过增加辅助特征对应的输出网络,通过对应的第一损失和第二损失对辅助特征进行训练,使得训练好的目标检测模型可以输出更准确的辅助特征。
可选的,在基于辅助特征对分类特征进行辅助处理,得到所述待检测旋转目标的检测结果的步骤中,可以在获得的目标关键点的坐标(i,j)在高宽特征上索引出相应位置的目标宽度属性w和目标高度属性h,在偏置特征上索引出相应位置的x方向偏置dx和y方向偏置dy,在旋转角度特征上索引出相应位置的目标旋转角度;待检测旋转目标可以表示为(x,y,w,h,θ)的形式,其中x=i+dx和y=j+dy;将所有检测结果的(x,y,w,h)四个元素值缩放到待检测图像的原图尺度(x′,y′,w′,h′),因此是最终的待检测旋转目标的检测结果表示形式为(x′,y′,w′,h′,θ)。
本发明实施例中,通过提取待检测旋转目标的分类特征和辅助特征,利用辅助特征来对分类特征进行辅助处理,从而得到待检测旋转目标的检测结果,不需要对anchor进行设计,因此也不需要进行非极大值抑制,提高了旋转目标检测的检测准确率,进而提高了旋转目标检测的检测性能。
需要说明的是,本发明实施例提供的目标检测方法可以应用于可以进行目标检测的智能手机、电脑、服务器等设备。
可选的,请参见图3,图3是本发明实施例提供的一种目标检测装置的结构示意图,如图3所示,所述装置包括:
第一获取模块301,用于获取待检测图像,所述待检测图像包括待检测旋转目标;
提取模块302,用于通过训练好的目标检测模型对所述待检测图像进行特征提取,得到所述待检测旋转目标的分类特征和辅助特征;
处理模块303,用于基于所述辅助特征对所述分类特征进行辅助处理,得到所述待检测旋转目标的检测结果。
可选的,所述训练好的目标检测模型包括特征提取网络、特征融合网络、分类特征输出网络、辅助特征输出网络,所述提取模块302包括:
第一提取子模块,用于通过所述特征提取网络对所述待检测图像进行特征提取,得到所述待检测图像的多尺度特征;
融合子模块,用于通过所述特征融合网络对所述多尺度特征进行特征融合,得到所述待检测图像的融合特征;
第一预测子模块,用于通过所述分类特征输出网络对所述融合特征进行预测,得到所述待检测旋转目标的分类特征,所述分类特征包括特征通道,不同类别的待检测旋转目标对应于不同的特征通道;
第二预测子模块,用于通过所述辅助特征输出网络对所述融合特征进行预测,得到所述待检测旋转目标的辅助特征。
可选的,所述辅助特征包括高宽特征以及旋转角度特征,所述处理模块303包括:
第二提取子模块,用于对所述分类特征进行关键点提取,得到所述待检测旋转目标的目标关键点;
索引子模块,用于基于所述目标关键点,在所述高宽特征中索引对应的目标高宽属性,以及在所述旋转角度特征中索引对应的目标旋转角度属性;
第一处理子模块,用于基于所述目标关键点、所述目标高宽属性以及所述目标旋转角度属性,得到所述待检测旋转目标的检测结果。
可选的,所述装置还包括:
获取模块,用于获取训练数据集,所述训练数据集中包括样本图像以及标注框,所述样本图像中包括样本旋转目标,所述标注框为所述样本旋转目标的标注框;
训练模块,用于获取目标检测模型,并通过所述训练数据集对的目标检测模型进行训练,得到训练好的目标检测模型,所述目标检测模型包括特征提取网络、特征融合网络、分类特征输出网络、高宽特征输出网络以及旋转角度特征输出网络。
可选的,所述训练模块包括:
第二处理子模块,用于将所述样本图像输入到所述目标检测模型,得到所述样本旋转目标对应的样本检测框;
编码子模块,用于将所述样本检测框与所述标注框分别通过预设的编码函数进行编码,分别得到所述样本检测框对应的样本函数分布,以及所述标注框对应的标注函数分布;
调整子模块,用于根据所述样本函数分布与所述标注函数分布之间的度量距离,对所述目标检测模型进行网络参数调整;
迭代子模块,用于对所述目标检测模型的网络参数调整过程进行迭代,直到所述目标检测模型收敛或达到预设的迭代次数,得到训练好的目标检测模型。
可选的,所述第二处理子模块包括:
第一处理单元,用于通过所述目标检测模型对所述样本图像进行处理,得到所述样本图像对应的样本特征图,并根据所述样本特征图的高宽,对所述样本特征图构建矩阵网格,所述样本特征图像包括所述样本图像对应分类特征图、高宽特征图与旋转角度特征图;
索引建立单元,用于在所述高宽特征图中每个网格点建立一个高宽属性的索引,以及在所述旋转角度特征图中每个网格点建立一个旋转角度属性的索引;
第二处理单元,用于根据所述样本特征图中每个网格点及其对应的索引属性,得到所述样本旋转目标对应的样本检测框。
可选的,所述标注框内包括标注关键点,所述调整子模块包括:
计算单元,用于根据分类特征图的样本关键点,计算所述样本关键点与所述标注关键点之间的第一损失;
转换单元,用于通过预设的转换函数将所述度量距离转换为第二损失;
调整单元,用于基于所述第一损失与第二损失,对所述目标检测模型进行网络参数调整。
需要说明的是,本发明实施例提供的目标检测装置可以应用于可以进行目标检测的智能手机、电脑、服务器等设备。
本发明实施例提供的目标检测装置能够实现上述方法实施例中目标检测方法实现的各个过程,且可以达到相同的有益效果。为避免重复,这里不再赘述。
参见图4,图4是本发明实施例提供的一种电子设备的结构示意图,如图4所示,包括:存储器402、处理器401及存储在所述存储器402上并可在所述处理器401上运行的目标检测方法的计算机程序,其中:
处理器401用于调用存储器402存储的计算机程序,执行如下步骤:
获取待检测图像,所述待检测图像包括待检测旋转目标;
通过训练好的目标检测模型对所述待检测图像进行特征提取,得到所述待检测旋转目标的分类特征和辅助特征;
基于所述辅助特征对所述分类特征进行辅助处理,得到所述待检测旋转目标的检测结果。
可选的,所述训练好的目标检测模型包括特征提取网络、特征融合网络、分类特征输出网络、辅助特征输出网络,处理器401执行的所述通过训练好的目标检测模型对所述待检测图像进行特征提取,得到所述待检测旋转目标的分类特征和辅助特征,包括:
通过所述特征提取网络对所述待检测图像进行特征提取,得到所述待检测图像的多尺度特征;
通过所述特征融合网络对所述多尺度特征进行特征融合,得到所述待检测图像的融合特征;
通过所述分类特征输出网络对所述融合特征进行预测,得到所述待检测旋转目标的分类特征,所述分类特征包括特征通道,不同类别的待检测旋转目标对应于不同的特征通道;
通过所述辅助特征输出网络对所述融合特征进行预测,得到所述待检测旋转目标的辅助特征。
可选的,所述辅助特征包括高宽特征以及旋转角度特征,处理器401执行的所述基于所述辅助特征对所述分类特征进行辅助处理,得到所述待检测旋转目标的检测结果,包括:
对所述分类特征进行关键点提取,得到所述待检测旋转目标的目标关键点;
基于所述目标关键点,在所述高宽特征中索引对应的目标高宽属性,以及在所述旋转角度特征中索引对应的目标旋转角度属性;
基于所述目标关键点、所述目标高宽属性以及所述目标旋转角度属性,得到所述待检测旋转目标的检测结果。
可选的,在所述通过训练好的目标检测模型对所述待检测图像进行特征提取,得到所述待检测旋转目标的分类特征和辅助特征之前,处理器401执行的所述方法还包括:
获取训练数据集,所述训练数据集中包括样本图像以及标注框,所述样本图像中包括样本旋转目标,所述标注框为所述样本旋转目标的标注框;
获取目标检测模型,并通过所述训练数据集对的目标检测模型进行训练,得到训练好的目标检测模型,所述目标检测模型包括特征提取网络、特征融合网络、分类特征输出网络、高宽特征输出网络以及旋转角度特征输出网络。
可选的,处理器401执行的所述获取目标检测模型,并通过所述训练数据集对的目标检测模型进行训练,得到训练好的目标检测模型,包括:
将所述样本图像输入到所述目标检测模型,得到所述样本旋转目标对应的样本检测框;
将所述样本检测框与所述标注框分别通过预设的编码函数进行编码,分别得到所述样本检测框对应的样本函数分布,以及所述标注框对应的标注函数分布;
根据所述样本函数分布与所述标注函数分布之间的度量距离,对所述目标检测模型进行网络参数调整;
对所述目标检测模型的网络参数调整过程进行迭代,直到所述目标检测模型收敛或达到预设的迭代次数,得到训练好的目标检测模型。
可选的,处理器401执行的所述将所述样本图像输入到所述目标检测模型,得到所述样本旋转目标对应的样本检测框,包括:
通过所述目标检测模型对所述样本图像进行处理,得到所述样本图像对应的样本特征图,并根据所述样本特征图的高宽,对所述样本特征图构建矩阵网格,所述样本特征图像包括所述样本图像对应分类特征图、高宽特征图与旋转角度特征图;
在所述高宽特征图中每个网格点建立一个高宽属性的索引,以及在所述旋转角度特征图中每个网格点建立一个旋转角度属性的索引;
根据所述样本特征图中每个网格点及其对应的索引属性,得到所述样本旋转目标对应的样本检测框。
可选的,所述标注框内包括标注关键点,处理器401执行的所述根据所述样本函数分布与所述标注函数分布之间的度量距离,对所述目标检测模型进行网络参数调整,包括:
根据分类特征图的样本关键点,计算所述样本关键点与所述标注关键点之间的第一损失;
通过预设的转换函数将所述度量距离转换为第二损失;
基于所述第一损失与第二损失,对所述目标检测模型进行网络参数调整。
本发明实施例提供的电子设备能够实现上述方法实施例中目标检测方法实现的各个过程,且可以达到相同的有益效果。为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现本发明实施例提供的目标检测方法或应用端目标检测方法的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存取存储器(Random AccessMemory,简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (10)

1.一种目标检测方法,其特征在于,所述目标检测方法用于旋转目标的检测,包括以下步骤:
获取待检测图像,所述待检测图像包括待检测旋转目标;
通过训练好的目标检测模型对所述待检测图像进行特征提取,得到所述待检测旋转目标的分类特征和辅助特征;
基于所述辅助特征对所述分类特征进行辅助处理,得到所述待检测旋转目标的检测结果。
2.如权利要求1所述的目标检测方法,其特征在于,所述训练好的目标检测模型包括特征提取网络、特征融合网络、分类特征输出网络、辅助特征输出网络,所述通过训练好的目标检测模型对所述待检测图像进行特征提取,得到所述待检测旋转目标的分类特征和辅助特征,包括:
通过所述特征提取网络对所述待检测图像进行特征提取,得到所述待检测图像的多尺度特征;
通过所述特征融合网络对所述多尺度特征进行特征融合,得到所述待检测图像的融合特征;
通过所述分类特征输出网络对所述融合特征进行预测,得到所述待检测旋转目标的分类特征,所述分类特征包括特征通道,不同类别的待检测旋转目标对应于不同的特征通道;
通过所述辅助特征输出网络对所述融合特征进行预测,得到所述待检测旋转目标的辅助特征。
3.如权利要求2所述的目标检测方法,其特征在于,所述辅助特征包括高宽特征以及旋转角度特征,所述基于所述辅助特征对所述分类特征进行辅助处理,得到所述待检测旋转目标的检测结果,包括:
对所述分类特征进行关键点提取,得到所述待检测旋转目标的目标关键点;
基于所述目标关键点,在所述高宽特征中索引对应的目标高宽属性,以及在所述旋转角度特征中索引对应的目标旋转角度属性;
基于所述目标关键点、所述目标高宽属性以及所述目标旋转角度属性,得到所述待检测旋转目标的检测结果。
4.如权利要求3所述的目标检测方法,其特征在于,在所述通过训练好的目标检测模型对所述待检测图像进行特征提取,得到所述待检测旋转目标的分类特征和辅助特征之前,所述方法还包括:
获取训练数据集,所述训练数据集中包括样本图像以及标注框,所述样本图像中包括样本旋转目标,所述标注框为所述样本旋转目标的标注框;
获取目标检测模型,并通过所述训练数据集对的目标检测模型进行训练,得到训练好的目标检测模型,所述目标检测模型包括特征提取网络、特征融合网络、分类特征输出网络、高宽特征输出网络以及旋转角度特征输出网络。
5.如权利要求4所述的目标检测方法,其特征在于,所述获取目标检测模型,并通过所述训练数据集对的目标检测模型进行训练,得到训练好的目标检测模型,包括:
将所述样本图像输入到所述目标检测模型,得到所述样本旋转目标对应的样本检测框;
将所述样本检测框与所述标注框分别通过预设的编码函数进行编码,分别得到所述样本检测框对应的样本函数分布,以及所述标注框对应的标注函数分布;
根据所述样本函数分布与所述标注函数分布之间的度量距离,对所述目标检测模型进行网络参数调整;
对所述目标检测模型的网络参数调整过程进行迭代,直到所述目标检测模型收敛或达到预设的迭代次数,得到训练好的目标检测模型。
6.如权利要求5所述的目标检测方法,其特征在于,所述将所述样本图像输入到所述目标检测模型,得到所述样本旋转目标对应的样本检测框,包括:
通过所述目标检测模型对所述样本图像进行处理,得到所述样本图像对应的样本特征图,并根据所述样本特征图的高宽,对所述样本特征图构建矩阵网格,所述样本特征图像包括所述样本图像对应分类特征图、高宽特征图与旋转角度特征图;
在所述高宽特征图中每个网格点建立一个高宽属性的索引,以及在所述旋转角度特征图中每个网格点建立一个旋转角度属性的索引;
根据所述样本特征图中每个网格点及其对应的索引属性,得到所述样本旋转目标对应的样本检测框。
7.如权利要求6所述的目标检测方法,其特征在于,所述标注框内包括标注关键点,所述根据所述样本函数分布与所述标注函数分布之间的度量距离,对所述目标检测模型进行网络参数调整,包括:
根据分类特征图的样本关键点,计算所述样本关键点与所述标注关键点之间的第一损失;
通过预设的转换函数将所述度量距离转换为第二损失;
基于所述第一损失与第二损失,对所述目标检测模型进行网络参数调整。
8.一种目标检测装置,其特征在于,所述装置包括:
第一获取模块,用于获取待检测图像,所述待检测图像包括待检测旋转目标;
提取模块,用于通过训练好的目标检测模型对所述待检测图像进行特征提取,得到所述待检测旋转目标的分类特征和辅助特征;
处理模块,用于基于所述辅助特征对所述分类特征进行辅助处理,得到所述待检测旋转目标的检测结果。
9.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的目标检测方法中的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的目标检测方法中的步骤。
CN202210819568.0A 2022-07-12 2022-07-12 目标检测方法、装置、电子设备及存储介质 Pending CN115311553A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210819568.0A CN115311553A (zh) 2022-07-12 2022-07-12 目标检测方法、装置、电子设备及存储介质
PCT/CN2022/143514 WO2024011873A1 (zh) 2022-07-12 2022-12-29 目标检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210819568.0A CN115311553A (zh) 2022-07-12 2022-07-12 目标检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115311553A true CN115311553A (zh) 2022-11-08

Family

ID=83856438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210819568.0A Pending CN115311553A (zh) 2022-07-12 2022-07-12 目标检测方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN115311553A (zh)
WO (1) WO2024011873A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024011873A1 (zh) * 2022-07-12 2024-01-18 青岛云天励飞科技有限公司 目标检测方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191566B (zh) * 2019-12-26 2022-05-17 西北工业大学 基于像素分类的光学遥感图像多目标检测方法
CN111931877B (zh) * 2020-10-12 2021-01-05 腾讯科技(深圳)有限公司 目标检测方法、装置、设备及存储介质
CN114757250A (zh) * 2020-12-29 2022-07-15 华为云计算技术有限公司 一种图像处理方法以及相关设备
CN113420648B (zh) * 2021-06-22 2023-05-05 深圳市华汉伟业科技有限公司 一种具有旋转适应性的目标检测方法及***
CN115311553A (zh) * 2022-07-12 2022-11-08 青岛云天励飞科技有限公司 目标检测方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024011873A1 (zh) * 2022-07-12 2024-01-18 青岛云天励飞科技有限公司 目标检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2024011873A1 (zh) 2024-01-18

Similar Documents

Publication Publication Date Title
CN111079683A (zh) 基于卷积神经网络的遥感图像云雪检测方法
CN111079847A (zh) 一种基于深度学习的遥感影像自动标注方法
CN112634369A (zh) 空间与或图模型生成方法、装置、电子设备和存储介质
CN112634368A (zh) 场景目标的空间与或图模型生成方法、装置及电子设备
CN110826509A (zh) 一种基于高分遥感影像的草原围栏信息提取***及方法
Feng et al. A novel saliency detection method for wild animal monitoring images with WMSN
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN114529583B (zh) 基于残差回归网络的电力设备跟踪方法及跟踪***
CN115311553A (zh) 目标检测方法、装置、电子设备及存储介质
CN117849193A (zh) 钕铁硼烧结的裂纹损伤在线监测方法
CN114926826A (zh) 场景文本检测***
CN112668662B (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
CN111291712B (zh) 基于插值的cn和胶囊网络的森林火灾识别方法及装置
CN116740135B (zh) 红外弱小目标跟踪方法、装置、电子设备及存储介质
CN116758419A (zh) 针对遥感图像的多尺度目标检测方法、装置和设备
CN115311680A (zh) 人体图像质量检测方法、装置、电子设备及存储介质
CN111027399B (zh) 一种基于深度学习的遥感图像水面潜艇识别方法
CN114842506A (zh) 一种人体姿态估计方法及***
Pang et al. PTRSegNet: A Patch-to-Region Bottom-Up Pyramid Framework for the Semantic Segmentation of Large-Format Remote Sensing Images
CN118015386B (zh) 图像识别方法和装置、存储介质及电子设备
CN116030347B (zh) 一种基于注意力网络的高分辨率遥感影像建筑物提取方法
CN117876362B (zh) 一种基于深度学习的自然灾害损失评估方法及装置
Yang et al. A deep learning approach for automated segmentation of magnetic bright points in the solar photosphere
Lin Automatic recognition and detection of building targets in urban remote sensing images using an improved regional convolutional neural network algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination