CN114373071A - 目标检测方法、装置及电子设备 - Google Patents

目标检测方法、装置及电子设备 Download PDF

Info

Publication number
CN114373071A
CN114373071A CN202111422593.7A CN202111422593A CN114373071A CN 114373071 A CN114373071 A CN 114373071A CN 202111422593 A CN202111422593 A CN 202111422593A CN 114373071 A CN114373071 A CN 114373071A
Authority
CN
China
Prior art keywords
decoupling
characteristic
feature
target
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111422593.7A
Other languages
English (en)
Inventor
乔李盟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202111422593.7A priority Critical patent/CN114373071A/zh
Publication of CN114373071A publication Critical patent/CN114373071A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种目标检测方法、装置及电子设备,该方法应用于电子设备,电子设备上预存有目标检测模型,目标检测模型包括第一特征提取器、梯度解耦层、区域建议网络层与区域卷积神经网络层,该方法包括:通过第一特征提取器对待检测图像进行特征提取,得到待检测图像对应的基本特征;通过梯度解耦层分别利用第一解耦参数和第二解耦参数对基本特征进行处理,得到第一解耦参数对应的第一解耦特征和第二解耦参数对应的第二解耦特征;通过区域建议网络层对第一解耦特征进行处理,得到区域建议特征;通过区域卷积神经网络层对第二解耦特征以及区域建议特征进行处理,得到检测结果。本发明有效缓解了模型的过拟合问题。

Description

目标检测方法、装置及电子设备
技术领域
本发明涉及图像检测技术领域,尤其是涉及一种目标检测方法、装置及电子设备。
背景技术
目标检测是计算机视觉领域重要的研究课题之一,近年来,在安防监控和自动驾驶等方面起到了重要的作用。目标检测技术的核心任务是找出图像中所有感兴趣的目标(物体),确定每个目标对应的类别(分类)和位置(定位),例如行人检测、车辆检测等。随着深度学习技术和卷积神经网络的不断发展,目标检测技术取得了较大进步,现有的目标检测技术,主要分为两大类别:两阶段检测器(Two-Stage Detector)和单阶段检测器(One-Stage Detector),其中,两阶段检测器是提取大量可能包含目标的预选框(RegionProposal),通过卷积神经网络对预选框进行目标定位和分类;单阶段检测器是在网络提取的特征上直接预测物体类别和位置。上述两种方式,都需要大量的带有标注信息的样本来支持模型的优化和学习,当可用的样本量较少时,模型往往会陷入严重的过拟合风险中,导致模型无法被较好地优化。同时,随着深度学习模型的规模变大,大量样本标签带来的标注压力也随之变大,因此,小样本目标检测为此类问题提供了解决方案。
现有的小样本目标检测技术主要应用于上述两阶段检测器中,主要分为基于元学习(Meta-Learning)和基于迁移学习(Transfer-Learning)两种解决方案。基于元学习的解决方案,通常是将训练数据组织成一系列小样本检测任务的形式,通过使用元学习范式来学习解决此类小样本场景任务的能力,但是这种解决方案,往往伴随着复杂的训练过程和数据组织形式,从而降低了场景适应性并增加了模型部署的压力,同时,由于元学习对元任务形式的依赖性,模型的泛化性会受限。基于迁移学习是在大量带有一致标签的数据集上进行预训练,然后直接在小样本数据集上进行微调,但是为了避免由于样本缺少而造成的过拟合现象,这种方法在微调阶段往往只会对整个网络中的部分参数空间进行更新,这会导致模型的学习能力下降,同时,过于简单的学习策略使得模型对少量的带有标签的数据无法充分利用,无法保证模型的性能。
发明内容
有鉴于此,本发明的目的在于提供一种目标检测方法、装置及电子设备,以解决模型在某一领域的过拟合问题。
第一方面,本发明实施例提供一种目标检测方法,该方法应用于电子设备,电子设备上预存有目标检测模型,目标检测模型包括第一特征提取器、梯度解耦层、区域建议网络层与区域卷积神经网络层,梯度解耦层配置有与区域建议网络层对应的第一解耦参数和与区域卷积神经网络层对应的第二解耦参数,该方法包括:通过第一特征提取器对待检测图像进行特征提取,得到待检测图像对应的基本特征;通过梯度解耦层分别利用第一解耦参数和第二解耦参数对基本特征进行处理,得到第一解耦参数对应的第一解耦特征和第二解耦参数对应的第二解耦特征;其中,第一解耦参数和第二解耦参数不同,以使第一解耦特征与基本特征之间的相似度和第二解耦特征与基本特征之间的相似度不同;通过区域建议网络层对第一解耦特征进行处理,得到区域建议特征;通过区域卷积神经网络层对第二解耦特征以及区域建议特征进行处理,得到目标对象对应的检测结果;其中,检测结果包括目标框和目标框对应的分类得分。
进一步地,上述通过梯度解耦层分别利用第一解耦参数和第二解耦参数对基本特征进行处理,得到第一解耦参数对应的第一解耦特征和第二解耦参数对应的第二解耦特征的步骤,包括:将基本特征输入梯度解耦层;通过梯度解耦层将第一解耦参数与基本特征相乘,得到第一乘积,将第一乘积确定为第一解耦特征;通过梯度解耦层将第二解耦参数与基本特征相乘,得到第二乘积,将第二将乘积确定为第二解耦特征。
进一步地,上述目标检测模型通过以下方法训练得到:获取第一初始解耦参数和第二初始解耦参数;通过第一类样本图像对初始目标检测模型进行训练,当满足第一模型收敛条件时,得到第一目标检测模型;其中,第一类样本图像中包含的对象与目标对象的类型不同;通过第二类样本图像对第一目标检测模型进行训练,将满足第二模型收敛条件时的第一目标检测模型确定为目标检测模型;其中,第二类样本图像中包含的对象与目标对象的类型相同,且第一类样本图像的数量大于第二类样本图像的数量。
进一步地,上述目标检测模型还包括与区域卷积神经网络层连接的第二特征提取器;上述得到目标对象对应的检测结果的步骤之后,该方法还包括:通过第二特征提取器对第二类样本图像进行特征提取,得到第二类样本图像特征集;通过第二特征提取器对待检测图像进行特征提取,得到待检测图像对应的预测特征;根据第二类样本图像特征集与预测特征确定校正分类得分;根据校正分类得分对目标框对应的分类得分进行校正,得到校正后的分类得分。
进一步地,上述目标检测模型还包括另一梯度解耦层;另一梯度解耦层位于区域卷积神经网络层之后;上述通过区域卷积神经网络层对第二解耦特征以及区域建议特征进行处理,得到目标对象对应的检测结果的步骤,包括:通过区域卷积神经网络层对第二解耦特征以及区域建议特征进行处理,得到回归特征和分类特征;通过另一梯度解耦层利用第三解耦参数对回归特征进行处理,得到目标框;通过另一梯度解耦层利用第四解耦参数对分类特征进行处理,得到目标框对应的分类得分;将目标框和目标框对应的分类得分确定为目标对象对应的检测结果。
进一步地,上述根据第二类样本特征集与预测特征确定校正分类得分的步骤,包括:按照特征对应的类别将第二类样本特征集划分成多个第二类样本子集;其中,每个第二类样本子集对应一种类别;确定预测特征对应的目标类别;根据目标类别对应的第二类样本子集和预测特征,确定校正分类得分。
进一步地,上述根据目标类别对应的第二类样本子集和预测特征,确定校正分类得分的步骤,包括:确定目标类别对应的第二类样本子集的子集类别特征;计算子集类别特征与预测特征的相似度,将相似度确定为校正分类得分。
进一步地,上述子集类别特征与预测特征的相似度为余弦相似度。
进一步地,上述根据校正分类得分对目标框对应的分类得分校正,得到校正后的分类得分的步骤,包括:将校正分类得分与分类得分进行加权求和得到和值,将和值确定为校正后的分类得分。
第二方面,本发明实施例还提供一种电子设备,包括处理器和存储器,存储器存储有能够被处理器执行的计算机可执行指令,处理器执行计算机可执行指令以实现上述第一方面的目标检测方法。
第三方面,本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质存储有计算机可执行指令,计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现上述第一方面的目标检测方法。
第四方面,本发明实施例还提供一种计算机程序产品,计算机程序产品包括计算机程序,计算机程序被处理器执行时实现上述第一方面的目标检测方法。
本发明实施例提供的上述目标检测方法、装置及电子设备,通过第一特征提取器对待检测图像进行特征提取,得到待检测图像对应的基本特征;通过梯度解耦层分别利用第一解耦参数和第二解耦参数对基本特征进行处理,得到第一解耦参数对应的第一解耦特征和第二解耦参数对应的第二解耦特征;通过区域建议网络层对第一解耦特征进行处理,得到区域建议特征;通过区域卷积神经网络层对第二解耦特征以及区域建议特征进行处理,得到对象对应的检测结果。本发明实施例对于提取的基本特征,在输入区域建议网络层和区域卷积神经网络层之前,分别对基本特征进行解耦处理,通过不同的解耦参数控制解耦特征与区域建议网络,以及解耦特征与区域卷积神经网络之间的相似程度,相比于传统的不进行解耦处理的目标检测方法,可以缓解在某一领域训练得到的目标检测模型的过拟合问题,有效提升目标检测的精度。
本公开的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种电子***的结构示意图;
图2为本发明实施例提供的一种目标检测模型的结构示意图;
图3为本发明实施例提供的一种目标检测方法的流程示意图;
图4为本发明实施例提供的另一种目标检测模型的结构示意图;
图5为本发明实施例提供的另一种目标检测方法的流程示意图;
图6为本发明实施例提供的一种目标检测模型的训练方法的流程示意图;
图7为本发明实施例提供的一种梯度解耦层的结构示意图;
图8为本发明实施例提供的一种目标检测模型的工作原理示意图;
图9为本发明实施例提供的一种校正模块的工作原理示意图;
图10为本发明实施例提供的一种目标检测装置示意图;
图11为本发明实施例提供的另一种目标检测装置示意图;
图12为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
近年来,基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence,AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用***的新兴科学技术。人工智能学科是一门综合性学科,涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支,具体是让机器识别世界,计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步,该项技术在众多领域展开了应用,例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
目前的目标检测方法在从已知域迁移到未知域,且未知域样本数据量较小时,难以有效进行目标检测,基于此,本发明实施例提供一种目标检测方法、装置及电子设备,可以解决目标检测在某一领域的过拟合问题。
参照图1所示的电子***100的结构示意图。该电子***可以用于实现本发明实施例的目标检测方法和装置。
如图1所示的一种电子***的结构示意图,电子***100包括一个或多个处理设备102、一个或多个存储装置104。可选地,电子***100还可以包括输入装置106、输出装置108以及一个或多个图像采集设备110,这些组件通过总线***112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子***100的组件和结构只是示例性的,而非限制性的,根据需要,电子***可以具有图1中的部分组件,也可以具有其他组件和结构。
处理设备102可以为服务器、智能终端,或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备,可以对电子***100中的其它组件的数据进行处理,还可以控制电子***100中的其它组件以执行目标检测功能。
存储装置104可以包括一个或多个计算机程序产品,计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令,处理设备102可以运行程序指令,以实现下文的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据,例如应用程序使用和/或产生的各种数据等。
输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
输出装置108可以向外部(例如,用户)输出各种信息(例如,图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
图像采集设备110可以获取待检测图像,并且将待检测图像存储在存储装置104中以供其它组件使用。
示例性地,用于实现根据本发明实施例的目标检测方法、装置和电子设备中的各器件可以集成设置,也可以分散设置,诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体,而将图像采集设备110设置于可以采集到图像的指定位置。当上述电子***中的各器件集成设置时,该电子***可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端等智能终端。
图2为本申请实施例提供的一种目标检测模型,该模型包括第一特征提取器、梯度解耦层、区域建议网络层与区域卷积神经网络层,其中,梯度解耦层分别与区域建议网络层和卷积神经网络层连接,梯度解耦层配置有与区域建议网络层对应的第一解耦参数和与区域卷积神经网络层对应的第二解耦参数,基于图2所示的目标检测模型,本申请实施例提供了一种目标检测方法,参见图3,该方法应用于电子设备,电子设备上预存有上述图2所示的目标检测模型,该方法包括以下步骤:
S302:通过第一特征提取器对待检测图像进行特征提取,得到待检测图像对应的基本特征;
待检测图像是包含目标对象的图像,可以理解的是,待检测图像可以是一幅图像,也可以是包含多幅图像的图像序列。
特征提取器(Feature Extractor)的输入是待检测图像,经过该模块,输出图像的基本特征。在一些可能的实施方式中,该模块可以是卷积神经网络,通过卷积神经网络,提取出高维的深度特征。
S304:通过梯度解耦层分别利用第一解耦参数和第二解耦参数对基本特征进行处理,得到第一解耦参数对应的第一解耦特征和第二解耦参数对应的第二解耦特征;其中,第一解耦参数和第二解耦参数不同,以使第一解耦特征与基本特征之间的相似度和第二解耦特征与基本特征之间的相似度不同;
在目标检测模型的前向传播过程中,基本特征经过梯度解耦层,梯度解耦层利用第一解耦参数和第二解耦参数分别对基本特征进行处理,得到与第一解耦参数对应的第一解耦特征,同时还得到与第二解耦参数对应的第二解耦特征。需要注意的是,第一解耦参数可以是一个,也可以是多个参数构成的参数集合,同理,第二解耦参数可以是一个,也可以是多个参数构成的参数集合。
其中,第一解耦参数和第二解耦参数不相等,且均大于零,第一解耦参数和第二解耦参数通过利用第一类样本图像和第二类样本图像对目标检测模型训练确定,第一类样本图像的数量大于第二类样本图像的数量,第二类样本图像包含与检测结果相同类型的对象。解耦参数的确定方法,将在后文进行详细说明,在此不再赘述。
上述解耦变换可以具体是缩放变换,例如是线性变换y=Ax+b,参数A和b构成了解耦参数,第一解耦参数对应的A和b的组合与第二解耦参数对应的A和b的组合并不相同。通过并不相同的解耦参数,实现了图像的基本特征与区域建议网络层以及图像的基本特征与区域卷积神经网络层的解耦。
需要注意的是,上述梯度解耦层可以是一个,输出与第一解耦参数和第二解耦参数对应的第一解耦特征和第二解耦特征,也可以是两个梯度解耦层,分别与上述区域建议网络层和上述区域卷积神经网络层连接,即第一梯度解耦层与区域建议网络层连接,第二梯度解耦层与区域卷积神经网络层连接,第一梯度解耦层配置有第一解耦参数,第二梯度解耦层配置有第二解耦参数。
S306:通过区域建议网络层对第一解耦特征进行处理,得到区域建议特征;
将与第一解耦参数对应的第一解耦特征,输入区域建议网络层(RPN,RegionProposal Network),输出待检测图像的区域特征,该区域特征可以表征为区域候选框,具体可以采用矩形框的形式表示区域候选框。具体的RPN工作过程为,在特征图上设定初始锚点,例如划定一个像素,然后基于初始锚点,设定先验预选框,进一步地,对预选框进行分类和回归变换,将预选框变换成更能体现实际目标大小和位置的区域候选框。
可以理解的是,图像中的待检测目标不会是一个,因此,基本特征经过该模块,会输出多个区域候选框,针对每个区域候选框,均包含分类信息和回归信息(即位置信息)。其中,分类信息只对前景/背景进行分类,预设前景为1,背景为0,那么如果某一区域候选框是前景,则该区域候选框的分类信息为1。
S308:通过区域卷积神经网络层对第二解耦特征以及区域建议特征进行处理,得到目标对象对应的检测结果;其中,检测结果包括目标框和目标框对应的分类得分。
区域卷积神经网络层(RCNN,Region Convolution Network)的输入为深度特征和区域候选框,经过该RCNN,针对目标任务对区域候选框和深度特征进行调整,使得输出的检测结果适应实际任务。具体的RCNN的结构和工作原理,可以是一般的RCNN网络的结构,本发明实施例对此不做限定。
经过RCNN调整后的输出,同样包含两个分支,一个是多类别分类分支(即分类得分),一个是目标位置回归分支(即目标框),上述目标分类得分与目标框共同构成了检测结果。
本发明实施例提供的上述目标检测方法,通过第一特征提取器对待检测图像进行特征提取,得到待检测图像对应的基本特征;通过梯度解耦层分别利用第一解耦参数和第二解耦参数对基本特征进行处理,得到第一解耦参数对应的第一解耦特征和第二解耦参数对应的第二解耦特征;通过区域建议网络层对第一解耦特征进行处理,得到区域建议特征;通过区域卷积神经网络层对第二解耦特征以及区域建议特征进行处理,得到检测结果。本发明实施例对于提取的图像特征,在输入区域建议网络层和区域卷积神经网络层之前,分别对图像特征进行解耦处理,通过不同的解耦参数控制图像特征与区域建议网络,以及图像特征与区域卷积神经网络之间的相似程度,相比于传统的不进行解耦处理的目标检测方法,可以有效缓解目标检测模型在某一领域的过拟合问题,进而提升目标检测的精度。
在一些可能的实施方式中,可以通过以下方法确定上述第一解耦特征和第二解耦特征:
(1)将基本特征输入梯度解耦层;
(2)通过梯度解耦层将第一解耦参数与基本特征相乘,得到第一乘积,将第一乘积确定为第一解耦特征;
(3)通过梯度解耦层将第二解耦参数与基本特征相乘,得到第二乘积,将第二将乘积确定为第二解耦特征。
本发明实施例提供的上述目标检测方法,可以对待检测图像进行目标检测,得到带有目标对象的检测结果,小样本受到本身样本数量的限制,对于模型的训练不够彻底,为了进一步提升最终目标检测的精度。
在一些可能的实施方式中,上述的第一解耦参数和第二解耦参数通过训练确定,具体地,可以利用两种不同类型的样本图像对目标检测模型进行训练,我们不妨称之为第一类样本图像和第二类样本图像,其中,第一类样本图像中包含的对象与目标对象的类型不同。例如,目标对象为老虎,那么第一类样本图像中可以包含猫、老鼠等,第二类样本图像中包含的对象与目标对象的类型相同,即第二类样本图像中的每个图像都包含老虎。并且,由于实际应用场景中,获得某一具体类型的图像可能比较困难,因此,第一类样本图像的获取往往比第二类样本图像的获取相对容易,基于此,可以设定第一类样本图像的数量大于第二类样本图像的数量。通过上述两类样本图像对目标检测模型进行训练,可以得到训练充分且与目标对象匹配的第一解耦参数和第二解耦参数。具体的模型训练过程将在下文进行阐述,在此不再赘述。
在上述目标检测模型的基础上,本发明实施例还提供了另一种目标检测模型,如图4所示,该模型还包括与上述区域卷积神经网络层连接的第二特征提取器。基于图4所示的目标检测模型,本发明实施例还提供了另一种目标检测方法,如图5所示,该方法侧重于对目标检测模型得到的目标分类得分进行进一步的校正,该方法包括以下步骤:
S502:通过第一特征提取器对待检测图像进行特征提取,得到待检测图像对应的基本特征;
S504:通过梯度解耦层分别利用第一解耦参数和第二解耦参数对基本特征进行处理,得到第一解耦参数对应的第一解耦特征和第二解耦参数对应的第二解耦特征;
S506:通过区域建议网络层对第一解耦特征进行处理,得到区域建议特征;
S508:通过区域卷积神经网络层对第二解耦特征以及区域建议特征进行处理,得到目标对象对应的检测结果;检测结果包括目标框和目标框对应的分类得分。
步骤S502-S508与上述实施例中的步骤S202-S208的实现方式相同,在此不再赘述。
S510:通过第二特征提取器对第二类样本图像进行特征提取,得到第二类样本图像特征集;
上述第二特征提取器可以是预先训练得到的特征提取器,具体可以是一般的神经网络模型,例如ImageNet预训练模型等,也可以是其他的神经网络模型,本发明实施例对第二特征提取器的形式不做限定。
S512:通过第二特征提取器对待检测图像进行特征提取,得到待检测图像对应的预测特征;
S514:根据第二类样本图像特征集与预测特征确定校正分类得分;
S516:根据校正分类得分对目标框对应的分类得分进行校正,得到校正后的分类得分。
具体地,可以是将校正分类得分与分类得分进行加权求和得到和值,将和值确定为校正后的分类得分。例如,可以采用如下的加权的形式将分类得分与校正分类得分进行融合:
Figure BDA0003377980380000141
其中,Si代表分类得分,
Figure BDA0003377980380000143
代表校正分类得分,α代表分类得分的权重,结果
Figure BDA0003377980380000142
即是校正后的分类得分。
本发明上述实施例引入了基于度量学习的质量相对较高的校正分类得分对质量相对较低的目标分类得分进行校正调整,由于校正分类得分是基于更加通用的模型得到的,因此校正分类得分更具有泛化性,弥补了小样本检测由于样本稀少而导致的目标检测模型提取得到的检测结果泛化性相对较差的问题,进一步提升目标检测模型的性能和输出结果的精度。
在一些可能的实施方式中,上述目标检测模型还可以包括另一梯度解耦层;另一梯度解耦层位于区域卷积神经网络层之后;上述在确定目标对象对应的检测结果的过程,具体可以是:
通过区域卷积神经网络层对第二解耦特征以及区域建议特征进行处理,得到回归特征和分类特征;通过另一梯度解耦层利用第三解耦参数对回归特征进行处理,得到目标框;通过另一梯度解耦层利用第四解耦参数对分类特征进行处理,得到目标框对应的分类得分。
在一些可能的实施方式中,上述步骤S514中的校正分类得分,可以按照如下方式确定:
(1)按照特征对应的类别将第二类样本特征集划分成多个第二类样本子集;其中,每个第二类样本子集对应一种类别;
可以理解的是,第二类样本图像的数量小于第一类样本图像的数量,我们不妨将第二类样本图像称作小样本图像,小样本图像是一个图像的集合,其中包含多个样本图像,基于小样本图像进行特征提取,可以提取到多个不同类型的特征。而针对目标检测任务,只有与待检测的目标对象属于相同类型的样本图像对应的特征才是有用的特征。基于此,本发明实施例首先按照类别信息将小样本特征集划分成多个小样本特征子集,每个子集对应同一种类别。例如,小样本图像中包含10幅样本图像,提取出特征后,发现这些特征对应于两种类型,东北虎和熊猫,那么将东北虎的特征划分成一个特征子集,将熊猫对应的特征划分成另一个子集。
(2)确定预测特征对应的目标类别;
继续上述举例,本次检测的目的是检测出图像中的东北虎的位置,那么,只利用上述的东北虎的特征子集,进行以下操作即可。
(3)根据目标类别对应的第二类样本子集和预测特征,确定校正分类得分。
具体地,可以首先确定目标类别对应的第二类样本子集的子集类别特征,并计算子集类别特征特征与预测特征的相似度,将相似度确定为校正分类得分。
特征提取器根据输入的小样本图像,提取出小样本数据的特征,需要注意的是,上述的小样本图像是用于训练的小样本图像,即小样本训练图像,根据特征对应的类别标签,计算子集类别特征。例如,检测目标是检测图像中的东北虎,小样本训练图像中包含的类别包括东北虎和熊猫,那么小样本训练图像中,每个样本图像都预先标注出东北虎的类别标签(例如用1来表示),以及熊猫的类别标签(例如用2来表示)。针对同一个类别的图像,对应的特征即是小样本图像的特征子集,计算该特征子集的分类得分的均值,可以称之为特征子集的子集类别特征,特征子集的子集类别特征可以表征这个类别整体共有的特征。计算特征子集的子集类别特征的具体算式为:
Figure BDA0003377980380000151
上述公式用于根据给定属于类别c的所有样本特征xi和yi,计算所有特征的和,然后求均值。其中,Sc中的S表示是一个集合,即类别c中包含的所有带标注的样本集合;xi和yi代表样本集合中的某个特征向量。
进一步地,计算出第二类样本子集的子集类别特征后,可以计算上述子集类别特征与预测特征的相似度,例如可以计算子集类别特征与预测特征的余弦相似度,将上述相似度确定为校正分类得分。具体地,可以采用如下公式计算余弦相似度:
Figure BDA0003377980380000161
其中,xi代表某个特征向量;pci代表类别c对应的原型向量,即通过上述方法计算得到的子集类别特征,双竖线表示对特征求模长。
图6为本发明实施例提供的一种目标检测模型的训练方法,该方法包括以下步骤:
S602:获取第一初始解耦参数和第二初始解耦参数;
S604:通过第一类样本图像对初始目标检测模型进行训练,当满足第一模型收敛条件时,得到第一目标检测模型;其中,第一类样本图像中包含的对象与目标对象的类型不同;
上述的初始目标检测模型是在训练开始之前设置初始参数的神经网络模型,初始参数可以根据经验进行设置。
S606:通过第二类样本图像对第一目标检测模型进行训练,将满足第二模型收敛条件时的第一目标检测模型确定为目标检测模型;其中,第二类样本图像中包含的对象与目标对象的类型相同,且第一类样本图像的数量大于第二类样本图像的数量。
整个模型的训练过程分为两个阶段,第一个阶段是在来自于已知域的大量带标签的数据上进行的第一阶段训练,即第一类样本,经过第一阶段训练可以获得一个具有目标检测能力的基础模型,即初始目标检测模型,该模型可以完成基本的目标检测任务,但是由于是针对已知域的样本数据进行训练得到的,对于未知域的目标检测精度可能无法保证,进一步地,在少量未知域样本上进行模型微调优化训练,即第二类样本,经过第二类样本的训练,可以使得模型更好的适应新的未知域,进而达到迁移至未知域进行检测的目的。
需要注意的是,上述两个训练阶段采用相同的损失函数,损失函数描述为:
Figure BDA0003377980380000171
Figure BDA0003377980380000172
其中,Lrpn为区域建议网络层的损失函数,Lrcnn为区域卷积神经网络层的损失函数,θ为对应模块的参数,G为梯度解耦层,y为对应的标签用于监督网络学习,具体地,y对应的标签包含类别标签和位置标签,类别标签指的是当前目标属于哪个物体(比如猫、狗等),而位置标签指的是当前这个物体在哪里(x,y,w,h),上述模型通过这两种信息进行监督和训练。
图7为本发明实施例提供的一种梯度解耦层的结构示意图,如图所示,该梯度解耦层是双向传播及调节的模块,在前向传播过程中,该模块对样本的深度特征x执行可学习的仿射变换(图7中的实线),例如可以是线性变换y=Ax+b,其中A、b是可学习参数。通过仿射变换,实现基本特征和下游网络层之间的前向解耦。
在反向传播的过程中,其输入是来自于区域建议网络层以及区域卷积神经网络层的回传梯度(图7中的虚线),梯度解耦层将该回传梯度进行线性变换(例如可以乘以一个常数λ),需要注意的是,这个常数在训练和模型的应用阶段都会用到,如果在训练阶段使用了这个常数,在应用阶段也必须要使用同样的常数,以保证应用阶段得到的预测结果的准确性。通过该线性变换,完成区域建议网络层以及区域卷积神经网络层的特征与上游任务的反向解耦。其数学表达式可以描述为:
Figure BDA0003377980380000181
其中x为输入该模块的特征、A为仿射变换层(即区域建议网络层或者区域卷积神经网络层)、λ为解耦常数、G为梯度解耦层。
上述两个阶段均配置梯度解耦层进行优化,经过上述训练过程得到的目标检测模型,可以有效提升模型的域迁移能力,并且降低模型的过拟合风险。
图8为本发明实施例提供的一种实际应用场景中的目标检测模型的工作原理示意图,如图8所示,该目标检测模型包括第一特征提取器、两个梯度解耦层、区域建议网络层、区域卷积神经网络层以及校正模块。
训练时,将样本图形输入第一特征提取器,得到样本图像的基本特征。将基本特征分别输入两个梯度解耦层;在第一梯度解耦层中,利用第一解耦参数对基本特征进行放缩变换,得到第一解耦特征;在第二梯度解耦层中,利用第二解耦参数对基本特征进行放缩变换,得到第二解耦特征;将第一解耦特征输入区域建议网络层,得到区域建议特征;将区域建议特征和第二解耦特征输入区域卷积神经网络层,得到预测检测结果;使用预测检测结果与样本图像中的标签信息进行基于损失函数的训练,将梯度回传到区域建议网络层和区域卷积神经网络层;对于回传的特征,第一梯度解耦层和第二梯度解耦层分别对回传梯度进行放缩处理,如此往复,直到满足训练收敛条件,结束训练,得到目标对象对应的检测结果。训练完毕的目标检测模型包含第一解耦参数和第二解耦参数。进一步地,将检测结果中的目标分类得分输入校正模块,得到校正后的目标分类得分。
针对上述校正模块,本发明实施例还提供了一种校正模块的工作原理示意图,如图9所示,该模块包括第二特征提取器。
应用时,将第二类样本图像输入第二特征提取器,得到第二类样本图像特征集,基于第二类样本图像特征集,得到每个类别对应的子集类别特征,将待检测图像输入第二特征提取器,得到预测特征,将与预测特征的类别对应的子集类别特征和预测特征进行余弦相似度计算,将余弦相似度确定为校正分类得分,最后将校正分类得分与目标分类得分相加,得到校正后的目标分类得分。
基于上述方法实施例,本发明实施例还提供一种目标检测装置,参见图10所示,该装置预存有目标检测模型,目标检测模型包括第一特征提取器、至少一个梯度解耦层、区域建议网络层与区域卷积神经网络层,梯度解耦层配置有与区域建议网络层对应的第一解耦参数和与区域卷积神经网络对应的第二解耦参数,该装置包括:
特征提取模块1002,用于通过第一特征提取器对待检测图像进行特征提取,得到待检测图像对应的基本特征;
解耦模块1004,用于通过梯度解耦层分别利用第一解耦参数和第二解耦参数对基本特征进行处理,得到第一解耦参数对应的第一解耦特征和第二解耦参数对应的第二解耦特征;其中,第一解耦参数和第二解耦参数不同,以使第一解耦特征与基本特征之间的相似度和第二解耦特征与基本特征之间的相似度不同;
区域建议模块1006,用于通过区域建议网络层对第一解耦特征进行处理,得到区域建议特征;
检测结果确定模块1008,用于通过区域卷积神经网络层对第二解耦特征以及区域建议特征进行处理,得到目标对象对应的检测结果;其中,检测结果包括目标框和目标框对应的分类得分。
本发明实施例提供的上述目标检测装置,通过第一特征提取器对待检测图像进行特征提取,得到待检测图像对应的基本特征;通过梯度解耦层分别利用第一解耦参数和第二解耦参数对基本特征进行处理,得到第一解耦参数对应的第一解耦特征和第二解耦参数对应的第二解耦特征;通过区域建议网络层对第一解耦特征进行处理,得到区域建议特征;通过区域卷积神经网络层对第二解耦特征以及区域建议特征进行处理,得到检测结果。本发明实施例对于提取的图像特征,在输入区域建议网络层和区域卷积神经网络层之前,分别对图像特征进行解耦处理,通过不同的解耦参数控制图像特征与区域建议网络,以及图像特征与区域卷积神经网络之间的耦合程度,相比于传统的不进行解耦处理的目标检测装置,可以缓解目标检测网络在某一领域的过拟合问题,有效提升目标检测的精度。
上述解耦模块1004,还用于将基本特征输入梯度解耦层;通过梯度解耦层将第一解耦参数与基本特征相乘,得到第一乘积,将第一乘积确定为第一解耦特征;通过梯度解耦层将第二解耦参数与基本特征相乘,得到第二乘积,将第二将乘积确定为第二解耦特征。
上述目标检测模型通过以下方法训练得到:获取第一初始解耦参数和第二初始解耦参数;通过第一类样本图像对初始目标检测模型进行训练,当满足第一模型收敛条件时,得到第一目标检测模型;其中,第一类样本图像中包含的对象与目标对象的类型不同;通过第二类样本图像对第一目标检测模型进行训练,将满足第二模型收敛条件时的第一目标检测模型确定为目标检测模型;其中,第二类样本图像中包含的对象与目标对象的类型相同,且第一类样本图像的数量大于第二类样本图像的数量。
参见图11所示的另一种目标检测装置的结构示意图,该装置所应用的电子设备上预测的目标检测模型在上述目标检测模型的基础上,还包括与区域卷积神经网络层连接的第二特征提取器,在上述装置的基础上,该装置还包括:第二类样本图像特征提取模块1102,用于通过第二特征提取器对第二类样本图像进行特征提取,得到第二类样本图像特征集;预测特征提取模块1104,用于通过第二特征提取器对待检测图像进行特征提取,得到待检测图像对应的预测特征;校正分类得分确定模块1106,用于根据第二类样本图像特征集与预测特征确定校正分类得分;校正模块1108,用于根据校正分类得分对目标框对应的分类得分进行校正,得到校正后的分类得分。
上述目标检测模型还包括另一梯度解耦层,另一梯度解耦层位于区域卷积神经网络层以及区域建议网络层之后;上述通过区域卷积神经网络层对第二解耦特征以及区域建议特征进行处理,得到目标对象对应的检测结果的过程,包括:通过区域卷积神经网络层对第二解耦特征以及区域建议特征进行处理,得到回归特征和分类特征;通过另一梯度解耦层利用第三解耦参数对回归特征进行处理,得到目标框;通过另一梯度解耦层利用第四解耦参数对分类特征进行处理,得到目标框对应的分类得分;将目标框和目标框对应的分类得分确定为目标对象对应的检测结果。
上述校正分类得分确定模块1106,还用于按照特征对应的类别将第二类样本特征集划分成多个第二类样本子集;其中,每个第二类样本子集对应一种类别;确定预测特征对应的目标类别;根据目标类别对应的第二类样本子集和预测特征,确定校正分类得分。
上述根据目标类别对应的第二类样本子集和预测特征,确定校正分类得分的过程,包括:确定目标类别对应的第二类样本子集的子集类别特征;计算子集类别特征与预测特征的相似度,将相似度确定为校正分类得分。
上述子集类别特征与预测特征的相似度为余弦相似度。
上述校正模块1108,还用于将校正分类得分与目标分类得分进行加权求和得到和值,将和值确定为校正后的分类得分。
本发明实施例提供的目标检测装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,上述装置的实施例部分未提及之处,可参考前述目标检测方法实施例中的相应内容。
本发明实施例还提供了一种电子设备,如图12所示,为该电子设备的结构示意图,其中,该电子设备包括处理器1201和存储器1202,该存储器1202存储有能够被该处理器1201执行的计算机可执行指令,该处理器1201执行该计算机可执行指令以实现上述目标检测方法。
在图12示出的实施方式中,该电子设备还包括总线1203和通信接口1204,其中,处理器1201、通信接口1204和存储器1202通过总线1203连接。
其中,存储器1202可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口1204(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。总线1203可以是ISA(IndustryStandard Architecture,工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线1203可以分为地址总线、数据总线、控制总线等。为便于表示,图12中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
处理器1201可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器1201中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1201可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DigitalSignal Processor,简称DSP)、专用集成电路(Application Specific IntegratedCircuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器1201读取存储器中的信息,结合其硬件完成前述实施例的目标检测方法的步骤。
本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令在被处理器调用和执行时,该计算机可执行指令促使处理器实现上述目标检测方法,具体实现可参见前述方法实施例,在此不再赘述。
本发明实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机可执行指令,该计算机可执行指令在被处理器调用和执行时,实现上述目标检测方法,具体实现可参见前述方法实施例,在此不再赘述。
本发明实施例所提供的目标检测方法、装置及电子设备的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种目标检测方法,其特征在于,所述方法应用于电子设备,所述电子设备上预存有目标检测模型,所述目标检测模型包括第一特征提取器、梯度解耦层、区域建议网络层与区域卷积神经网络层,所述梯度解耦层配置有与所述区域建议网络层对应的第一解耦参数和与所述区域卷积神经网络层对应的第二解耦参数,所述方法包括:
通过所述第一特征提取器对待检测图像进行特征提取,得到所述待检测图像对应的基本特征;
通过所述梯度解耦层分别利用所述第一解耦参数和所述第二解耦参数对所述基本特征进行处理,得到所述第一解耦参数对应的第一解耦特征和所述第二解耦参数对应的第二解耦特征;其中,所述第一解耦参数和所述第二解耦参数不同,以使所述第一解耦特征与所述基本特征之间的相似度和所述第二解耦特征与所述基本特征之间的相似度不同;
通过所述区域建议网络层对所述第一解耦特征进行处理,得到区域建议特征;
通过所述区域卷积神经网络层对所述第二解耦特征以及所述区域建议特征进行处理,得到目标对象对应的检测结果;其中,所述检测结果包括目标框和所述目标框对应的分类得分。
2.根据权利要求1所述的方法,其特征在于,通过所述梯度解耦层分别利用所述第一解耦参数和所述第二解耦参数对所述基本特征进行处理,得到所述第一解耦参数对应的第一解耦特征和所述第二解耦参数对应的第二解耦特征的步骤,包括:
将所述基本特征输入所述梯度解耦层;
通过所述梯度解耦层将所述第一解耦参数与所述基本特征相乘,得到第一乘积,将所述第一乘积确定为第一解耦特征;
通过所述梯度解耦层将所述第二解耦参数与所述基本特征相乘,得到第二乘积,将所述第二将乘积确定为第二解耦特征。
3.根据权利要求1或2所述的方法,其特征在于,所述目标检测模型通过以下方法训练得到:
获取第一初始解耦参数和第二初始解耦参数;
通过第一类样本图像对初始检测模型进行训练,当满足第一模型收敛条件时,得到第一检测模型;其中,所述第一类样本图像中包含的对象与所述目标对象的类型不同;
通过第二类样本图像对所述第一检测模型进行训练,将满足第二模型收敛条件时的所述第一检测模型确定为所述目标检测模型;其中,所述第二类样本图像中包含的对象与所述目标对象的类型相同,且所述第一类样本图像的数量大于所述第二类样本图像的数量。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述目标检测模型还包括与所述区域卷积神经网络层连接的第二特征提取器;
得到目标对象对应的检测结果的步骤之后,所述方法还包括:
通过所述第二特征提取器对所述第二类样本图像进行特征提取,得到第二类样本图像特征集;
通过所述第二特征提取器对所述待检测图像进行特征提取,得到所述待检测图像对应的预测特征;
根据所述第二类样本图像特征集与所述预测特征确定校正分类得分;
根据所述校正分类得分对所述目标框对应的分类得分进行校正,得到校正后的分类得分。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述目标检测模型还包括另一梯度解耦层;所述另一梯度解耦层位于所述区域卷积神经网络层之后;
通过所述区域卷积神经网络层对所述第二解耦特征以及所述区域建议特征进行处理,得到目标对象对应的检测结果的步骤,包括:
通过所述区域卷积神经网络层对所述第二解耦特征以及所述区域建议特征进行处理,得到回归特征和分类特征;
通过所述另一梯度解耦层利用第三解耦参数对所述回归特征进行处理,得到所述目标框;
通过所述另一梯度解耦层利用第四解耦参数对所述分类特征进行处理,得到所述目标框对应的分类得分。
6.根据权利要求4所述的方法,其特征在于,根据所述第二类样本特征集与所述预测特征确定校正分类得分的步骤,包括:
按照特征对应的类别将所述第二类样本特征集划分成多个第二类样本子集;其中,每个所述第二类样本子集对应一种类别;
确定所述预测特征对应的目标类别;
根据所述目标类别对应的第二类样本子集和所述预测特征,确定校正分类得分。
7.根据权利要求6所述的方法,其特征在于,根据所述目标类别对应的第二类样本子集和所述预测特征,确定校正分类得分的步骤,包括:
确定所述目标类别对应的第二类样本子集的子集类别特征;其中,所述子集类别特征用于表征该第二类样本子集中所有样本的共有特征;
计算所述子集类别特征与所述预测特征的相似度,将所述相似度确定为校正分类得分。
8.根据权利要求7所述的方法,所述子集类别特征与所述预测特征的相似度为余弦相似度。
9.根据权利要求4所述的方法,其特征在于,根据所述校正分类得分对所述目标框对应的分类得分校正,得到校正后的分类得分的步骤,包括:
将所述校正分类得分与所述分类得分进行加权求和得到和值,将所述和值确定为校正后的分类得分。
10.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现权利要求1至9任一项所述的方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现权利要求1至9任一项所述的方法。
12.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现权利要求1至9任一项所述的方法。
CN202111422593.7A 2021-11-26 2021-11-26 目标检测方法、装置及电子设备 Pending CN114373071A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111422593.7A CN114373071A (zh) 2021-11-26 2021-11-26 目标检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111422593.7A CN114373071A (zh) 2021-11-26 2021-11-26 目标检测方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN114373071A true CN114373071A (zh) 2022-04-19

Family

ID=81138494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111422593.7A Pending CN114373071A (zh) 2021-11-26 2021-11-26 目标检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114373071A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315724A (zh) * 2023-11-29 2023-12-29 烟台大学 面向开放场景的三维行人检测方法、***、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315724A (zh) * 2023-11-29 2023-12-29 烟台大学 面向开放场景的三维行人检测方法、***、设备及介质
CN117315724B (zh) * 2023-11-29 2024-03-08 烟台大学 面向开放场景的三维行人检测方法、***、设备及介质

Similar Documents

Publication Publication Date Title
CN111797893B (zh) 一种神经网络的训练方法、图像分类***及相关设备
CN111507378A (zh) 训练图像处理模型的方法和装置
CN111783749A (zh) 一种人脸检测方法、装置、电子设备及存储介质
CN113792871A (zh) 神经网络训练方法、目标识别方法、装置和电子设备
CN110222718A (zh) 图像处理的方法及装置
CN113592060A (zh) 一种神经网络优化方法以及装置
WO2023280113A1 (zh) 数据处理方法、神经网络模型的训练方法及装置
CN114037838A (zh) 神经网络的训练方法、电子设备及计算机程序产品
CN113706481A (zh) ***质量检测方法、装置、计算机设备和存储介质
CN113673505A (zh) 实例分割模型的训练方法、装置、***及存储介质
CN111950702A (zh) 一种神经网络结构确定方法及其装置
CN115375781A (zh) 一种数据处理方法及其装置
CN114359618A (zh) 神经网络模型的训练方法、电子设备及计算机程序产品
CN114373071A (zh) 目标检测方法、装置及电子设备
CN113065637A (zh) 一种感知网络及数据处理方法
CN116052225A (zh) 掌纹识别方法、电子设备、存储介质及计算机程序产品
CN115620054A (zh) 一种缺陷分类方法、装置、电子设备及存储介质
CN114387496A (zh) 一种目标检测方法和电子设备
Xu et al. Feature fusion capsule network for cow face recognition
CN114005017A (zh) 目标检测方法、装置、电子设备及存储介质
Channayanamath et al. Dynamic hand gesture recognition using 3d-convolutional neural network
Jokela Person counter using real-time object detection and a small neural network
Rawat et al. Indian sign language recognition system for interrogative words using deep learning
CN111444803B (zh) 图像处理方法、装置、电子设备及存储介质
CN118379586A (zh) 关键点预测模型的训练方法、装置、设备、介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination