CN113837173A - 目标对象检测方法、装置、计算机设备和存储介质 - Google Patents
目标对象检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113837173A CN113837173A CN202010586550.1A CN202010586550A CN113837173A CN 113837173 A CN113837173 A CN 113837173A CN 202010586550 A CN202010586550 A CN 202010586550A CN 113837173 A CN113837173 A CN 113837173A
- Authority
- CN
- China
- Prior art keywords
- detection
- target
- detection frame
- model
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 882
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 108
- 238000003062 neural network model Methods 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012216 screening Methods 0.000 claims abstract description 20
- 230000000670 limiting effect Effects 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 230000008030 elimination Effects 0.000 claims description 8
- 238000003379 elimination reaction Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 20
- 238000005457 optimization Methods 0.000 description 19
- 238000012360 testing method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000004519 manufacturing process Methods 0.000 description 15
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000011176 pooling Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 230000010354 integration Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 102100030148 Integrator complex subunit 8 Human genes 0.000 description 1
- 101710092891 Integrator complex subunit 8 Proteins 0.000 description 1
- 241000208125 Nicotiana Species 0.000 description 1
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种目标对象检测方法、装置、计算机设备和存储介质。所述方法包括:获取目标图像;通过已训练好的目标检测模型对所述目标图像进行目标对象检测,得到所述目标图像中每个目标对象对应的初始检测框与相应置信度;所述目标检测模型是基于动态调整网络结构后的神经网络模型预先训练得到的;根据所述置信度从所述初始检测框中选取候选检测框;从所述候选检测框中筛选符合检测场景要求的目标检测框。采用本方法能够提高目标对象检测的检测精度与鲁棒性。
Description
技术领域
本申请涉及目标检测技术领域,特别是涉及一种目标对象检测方法、装置、计算机设备和存储介质。
背景技术
数字化与自动化是各行各业的发展方向,在烟草、邮政、医药、物流、连锁超市、百货商场与制造工业等场景,通常会设置自动化的分拣线,以实现目标对象的检测,并基于所检测出的目标对象进行后续的数字化业务。由此,如何对分拣线上的目标对象进行检测是值得关注的问题。
目前,通常是基于图像模糊、图像二值化、开闭合运算与边缘检测等图像图形学运算来从目标图像中检测目标对象。但是该种目标对象检测方式,难以适应检测场景下复杂多样的生产环境与各式各样材质的目标对象,存在检测精度低与鲁棒性差等问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高目标对象检测的检测精度与鲁棒性的目标对象检测方法、装置、计算机设备和存储介质。
一种目标对象检测方法,所述方法包括:
获取目标图像;
通过已训练好的目标检测模型对所述目标图像进行目标对象检测,得到所述目标图像中每个目标对象对应的初始检测框与相应置信度;所述目标检测模型是基于动态调整网络结构后的神经网络模型预先训练得到的;
根据所述置信度从所述初始检测框中选取候选检测框;
从所述候选检测框中筛选符合检测场景要求的目标检测框。
在其中一个实施例中,所述从所述候选检测框中筛选符合检测场景要求的目标检测框,包括:
获取针对残缺对象检测框预配置的限定条件;
从所述候选检测框中剔除与所述限定条件相匹配的候选检测框,得到目标检测框。
在其中一个实施例中,所述从所述候选检测框中筛选符合检测场景要求的目标检测框,包括:
按照检测框尺寸从大到小的顺序对各候选检测框进行排序,得到候选检测框序列;
将所述候选检测框序列中检测框尺寸最大的候选检测框作为参照检测框;
从所述候选检测框序列中剔除与所述参照检测框的交占比大于预设交占比阈值的候选检测框;
将剔除处理后所剩余的、且不包括所述参照检测框的候选检测框作为新的候选检测框序列,并
返回至所述将所述候选检测框序列中检测框尺寸最大的候选检测框作为参照检测框的步骤继续执行,直至剔除处理后所剩余的、且不包括所述参照检测框的候选检测框小于两个时,停止迭代,得到目标检测框。
在其中一个实施例中,所述从所述候选检测框序列中剔除与所述参照检测框的交占比大于预设交占比阈值的候选检测框,包括:
计算所述参照检测框与其他剩余候选检测框之间的交占比;
在所述参照检测框与其他剩余候选检测框的各组合中,确定相应交占比大于预设交占比阈值的目标组合;
将每个目标组合中检测框尺寸最小的候选检测框从所述候选检测框序列中剔除。
在其中一个实施例中,所述目标检测模型的训练步骤,包括:
获取训练样本集;
构建动态调整网络结构后的神经网络模型;
基于所述训练样本集对已构建的神经网络模型进行训练,得到已训练好的目标检测模型。
在其中一个实施例中,所述基于所述训练样本集对已构建的神经网络模型进行训练,得到已训练好的目标检测模型,包括:
基于所述训练样本集对已构建的神经网络模型进行训练,得到已训练好的初始检测模型;
对所述初始检测模型的模型参数进行量化,并将所述初始检测模型中的卷积层、批归一化层与激活层进行整合,得到已训练好的目标检测模型。
在其中一个实施例中,所述获取目标图像,包括:
获取待检测的初始图像;
对所述初始图像进行图像预处理得到目标图像。
一种目标对象检测装置,所述装置包括:
获取模块,用于获取目标图像;
检测模块,用于通过已训练好的目标检测模型对所述目标图像进行目标对象检测,得到所述目标图像中每个目标对象对应的初始检测框与相应置信度;所述目标检测模型是基于动态调整网络结构后的神经网络模型预先训练得到的;
选取模块,用于根据所述置信度从所述初始检测框中选取候选检测框;
筛选模块,用于从所述候选检测框中筛选符合检测场景要求的目标检测框。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述各方法实施例的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤上述各方法实施例的步骤。
上述目标对象检测方法、装置、计算机设备和存储介质,通过已训练好的目标检测模型对所获取到的目标图像进行目标对象检测,能够快速而准确的得到每个目标对象对应的初始检测框与置信度,基于该准确性较高的置信度从相应初始检测框中选取候选检测框,并基于检测场景要求进一步从候选检测框中筛选目标检测框,以便于基于该符合检测场景要求的目标检测框,能够快速而准确的从目标图像中定位目标对象,也即实现目标对象的检测,能够提高检测速度与精度。进一步地,目标检测模型是基于动态调整网络结构后的神经网络模型训练得到的,通过该目标检测模型对目标图像进行目标对象检测,能够进一步提高检测速度与精度。这样,结合目标检测模型与检测场景要求确定目标图像中目标对象对应的目标检测框,以实现目标对象的检测,能够适用于相应检测场景下不同生产环境中各式各样材质的目标对象的检测,具有较强的鲁棒性,且能够提高检测精度。
附图说明
图1为一个实施例中目标对象检测方法的应用环境图;
图2为一个实施例中目标对象检测方法的流程示意图;
图3为一个实施例中预配置的残缺对象检测框的原理示意图;
图4为一个实施例中目标图像对应的候选检测框中存在框中框的示意图;
图5为一个实施例中对已训练好的初始检测模型进行模型优化得到目标检测模型的原理示意图;
图6为另一个实施例中目标对象检测方法的流程示意图;
图7为一个实施例中目标对象检测的原理示意图;
图8为一个实施例中目标对象检测装置的结构框图;
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的目标对象检测方法,可以应用于如图1所示的应用环境中。其中,检测设备102通过网络与管理服务器104进行通信。检测设备102获取目标图像,通过已训练好的目标检测模型对该目标图像进行目标对象检测,得到该目标图像中每个目标对象对应的初始检测框与相应置信度,根据置信度从初始检测框中选取候选检测框,并从候选检测框中筛选符合检测场景要求的目标检测框,其中,目标检测模型是基于动态调整网络结构后的神经网络模型预先训练得到的。检测设备102可将目标图像与相应的目标检测框发送至管理服务器104。其中,检测设备102可以是终端或检测服务器,终端可以但不限于是各种个人计算机、笔记本电脑、平板电脑和便携式可穿戴设备,以及其它能够用于实现目标对象检测的集成设备,该集成设备上具体可集成有GPU(Graphics Processing Unit,图形处理器/图形处理单元)。管理服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种目标对象检测方法,以该方法应用于图1中的检测设备为例进行说明,包括以下步骤:
步骤202,获取目标图像。
在一个实施例中,检测设备接收由图像采集设备采集并发送的目标图像。图像采集设备包括但不限于是工业相机与摄像头。图像采集设备可作为组成部分内置于检测设备,也可作为独立设备进行部署。当图像采集设备作为独立设备进行部署时,图像采集设备可通过网络与检测设备进行通信,也可与检测设备进行电连接。当图像采集设备通过网络与检测设备进行通信时,该检测设备可与图像采集设备同时部署于生产环境,以便于减少图像采集设备通过网络将目标图像发送至检测设备的网络延时,从而能够提高检测效率。
在一个实施例中,通过生产环境下部署的分拣线传送并分拣目标对象,通过图像采集设备针对分拣线上传送的目标对象采集相应的目标图像,以便于检测设备根据目标图像实现目标对象的检测。以物流场景为例,生产环境可为物流分配中心或包裹中转场,包裹中转场具体可以是快递中转场。
在一个实施例中,图像采集设备按照预设采集周期定期采集目标图像,并将所采集的目标图像发送至检测设备,以便于检测设备基于定期获取到的目标图像执行相应的目标对象检测操作。预设采集周期是指相邻两次采集目标图像的时间间隔,比如2秒。可以理解,预设采集周期具体可与分拣线所装载的目标对象经过图像采集设备的时间间隔一致,这样,能够尽可能保证图像采集设备针对分拣线上的每个目标对象采集一个目标图像。
步骤204,通过已训练好的目标检测模型对目标图像进行目标对象检测,得到目标图像中每个目标对象对应的初始检测框与相应置信度;目标检测模型是基于动态调整网络结构后的神经网络模型预先训练得到的。
其中,目标对象是指目标图像中待检测的对象。不同检测场景下的目标对象通常不同,比如物流场景下的目标对象为包裹,还比如医药场景下的目标对象为医药用品。初始检测框能够用于在目标图像中粗略定位相应目标对象。每个目标对象可对应一个或多个初始检测框。置信度是指基于相应初始检测框能够在目标图像中定位所需检测的目标对象的可信程度。
具体地,在目标检测模型的训练阶段,构建动态调整网络结构后的神经网络模型,并基于预先获取的训练样本集对该已构建的神经网络模型进行训练,得到已训练好的目标检测模型,并将该已训练好的目标检测模型部署在检测设备本地。当获取到待检测的目标图像后,检测设备通过该已训练好的目标检测模型对该待检测的目标图像进行目标对象检测,得到该目标图像中每个目标对象对应的初始检测框,以及每个初始检测框对应的置信度。
在一个实施例中,针对目标图像中所能检测到的每个目标对象,检测设备通过已训练好的目标检测模型,能够得到该每个目标对象对应的一个或多个初始检测框。可以理解,若目标检测模型的检测精度不够高,目标检测模型可能会将目标图像中的其他对象误检测为所需检测的目标对象,并输出相应的初始检测框与置信度,而通过本申请提供的后处理操作,基于每个初始检测框对应的置信度与检测场景要求,能够过滤掉该种存在误检测的目标对象对应的初始检测框,从而能够准确检测出目标图像中在相应检测场景下所需检测的目标对象。
在一个实施例中,动态调整网络结构后的神经网络模型,可以是将现有的神经网络模型的网络结构中的池化层替换为卷积层,具体可以是指将网络结构中的最大池化层替换为卷积层,还可对该最大池化层的核尺寸进行更新,并将更新后的核尺寸作为该替换后的卷积层的核尺寸。这样,通过调整神经网络模型的网络结构,并基于该调整网络结构后的神经网络模型训练得到目标检测模型,相较于基于未调整网络结构的神经网络模型训练得到的目标检测模型,在保证高效的检测速度的情况下,能够提高检测精度。
步骤206,根据置信度从初始检测框中选取候选检测框。
其中,候选检测框是指可能被选作为相应目标对象所对应的目标检测框的检测框。
具体地,检测设备根据目标图像对应的初始检测框与每个初始检测框对应的置信度,通过非极大值抑制后处理操作,从目标图像对应的初始检测框中选取置信度大于或等于置信度阈值的候选检测框。
在一个实施例中,通过非极大值抑制后处理操作从初始检测框中筛选候选检测框的步骤,具体可包括:若目标图像对应一个初始检测框、且该初始检测框对应的置信度大于或等于置信度阈值,检测设备则将该初始检测框确定为候选检测框;若目标图像对应多个初始检测框,检测设备从该多个初始检测框中选取置信度最大的初始检测框,作为当前选取的候选检测框,从该多个初始检测框中剔除与当前选取的候选检测框的重合度大于或等于重合度阈值的初始检测框,从剩下的、且尚未被选作为候选检测框的初始检测框中选取置信度最大的初始检测框,作为当前选取的候选检测框,并针对该当前选取的候选检测框继续执行上述剔除检测框的相关步骤,直至选取出所有的候选检测框。
其中,置信度阈值用于与初始检测框的置信度进行比较,以从初始检测框中筛选置信度大于或等于置信度阈值的初始检测框作为候选检测框,可以理解,当初始检测框的置信度大于或等于置信度阈值时,表明基于该初始检测框从目标图像中定位出的相应目标对象的可信程度较高。重合度阈值用于与由初始检测框及当前选取的候选检测框的重合度进行比较、以从初始检测框中剔除与该当前选取的候选检测框的重合程度较高的初始检测框,可以理解,当目标图像中的一个目标对象对应有多个初始检测框时,该多个初始检测框之间的重合度相对较高,由此按照上述方式将该目标对象对应的多个初始检测框中,置信度最大的初始检测框作为该目标对象对应的候选检测框,并剔除其他与该初始检测框的重合度较高的初始检测框。可以理解,当按照上述方式从目标图像对应的多个初始检测框中选取出候选检测框后,从该所选取出的候选检测框中进一步选取置信度大于或等于置信度阈值的候选检测框,作为从初始检测框中最终选取出的候选检测框。置信度阈值与重合度阈值可根据实际情况自定义,比如置信度阈值为80%,重合度阈值为70%,在此不作具体限定。
步骤208,从候选检测框中筛选符合检测场景要求的目标检测框。
其中,检测场景是指待检测的目标对象当前所处的场景,比如医疗、物流与制造工业等。检测场景要求是指目标对象在相应检测场景下所需满足的要求或条件,具体可以是指针对目标图像中所需检测的目标对象所检测出的目标检测框,在该目标图像中所需满足的要求或条件。检测场景要求比如目标对象对应的目标检测框在相应目标图像中不属于残缺对象检测框,也即是预配置的残缺对象检测框对应的限定条件与该目标检测框不匹配。检测场景要求还比如每个目标对象在相应目标图像中仅对应一个目标检测框,可以理解,若针对目标图像中的一个目标对象检测出两个候选检测框、且该两个候选检测框的重合度比较高,该种情况称为“框中框”,则该两个候选检测框的重合区域涵盖了目标对象的相同特征,由此需要从该两个候选检测框中选取一个作为目标对象对应的目标检测框。
具体地,检测设备基于置信度从目标图像对应的初始检测框中选取出候选检测框后,获取针对当前的检测场景预配置的场景检测要求,并将每个候选检测框与该场景检测要求进行比较,以根据比较结果从所选取出的候选检测框中筛选相应目标对象所对应的目标检测框,以便于基于该目标检测框能够在相应目标图像中定位相应目标对象。
在一个实施例中,从候选检测框中筛选出的是符合检测场景要求的目标检测框,以便于基于目标检测框从目标图像中提取相应目标对象,并基于所提取出的目标对象进行后续的数字化业务。
在一个实施例中,若目标图像对应的候选检测框均不符合检测场景要求,则针对该目标图像筛选不出符合检测场景要求的目标检测框,从而能够判定该目标图像中不存在所需检测的、且符合检测场景要求的目标对象。
在一个实施例中,为了便于基于所检测出的目标对象执行后续的数值化业务,通常要求每个目标图像包括且仅包括一个待检测的目标对象,这样,通过上述目标对象检测方式能够针对每个目标图像确定一个目标检测框,以便于基于该目标检测框定位该目标图像中所需检测的目标对象。若按照上述目标对象检测方式针对目标图像确定出两个及以上的目标检测框,可能表明该目标图像中包括两个待检测的目标对象,则可舍弃该目标图像,还可针对该目标图像触发相应的告警信息。若按照上述目标对象检测方式针对目标图像未确定出满足才场景检测要求的目标检测框,可能表明待检测的目标对象未按要求置于分拣线上,则可舍弃该目标图像,还可针对该目标图像触发相应的告警信息。
上述目标对象检测方法,通过已训练好的目标检测模型对所获取到的目标图像进行目标对象检测,能够快速而准确的得到每个目标对象对应的初始检测框与置信度,基于该准确性较高的置信度从相应初始检测框中选取候选检测框,并基于检测场景要求进一步从候选检测框中筛选目标检测框,以便于基于该符合检测场景要求的目标检测框,能够快速而准确的从目标图像中定位目标对象,也即实现目标对象的检测,能够提高检测速度与精度。进一步地,目标检测模型是基于动态调整网络结构后的神经网络模型训练得到的,通过该目标检测模型对目标图像进行目标对象检测,能够进一步提高检测速度与精度。这样,结合目标检测模型与检测场景要求确定目标图像中目标对象对应的目标检测框,以实现目标对象的检测,能够适用于相应检测场景下不同生产环境中各式各样材质的目标对象的检测,具有较强的鲁棒性,且能够提高检测精度。
在一个实施例中,步骤208,包括:获取针对残缺对象检测框预配置的限定条件;从候选检测框中剔除与限定条件相匹配的候选检测框,得到目标检测框。
其中,残缺对象检测框是指残缺的目标对象对应的检测框,具体可以是指针对目标图像中残缺的目标对象所检测出的检测框。残缺的目标对象是指在目标图像中显示不完整的目标对象,而不是指目标对象本身是残缺不全的,也即是指目标图像仅采集到目标图像的部分区域或特征。残缺对象检测框对应的限定条件,是用于判断候选检测框是否与相应残缺对象检测框相匹配的条件或依据,也即是用于判断候选检测框是否为残缺对象检测框的条件或依据。
具体地,检测设备针对目标图像预配置有相应的残缺对象检测框,并针对每个残缺对象检测框预配置有相应的限定条件。在目标对象检测过程中,检测设备获取针对每个残缺对象检测框预配置的限定条件,并将目标图像对应的每个候选检测框分别与每个残缺对象检测框对应的限定条件进行比较。当判定候选检测框与任一个残缺对象检测框对应的限定条件相匹配时,则判定该候选检测框为残缺对象检测框,并从目标图像对象的候选检测框中剔除该被判定为残缺对象检测框的候选检测框,进而将已剔除残缺对象检测框后的候选检测框确定为该目标图像对应的目标检测框。检测设备也可以是根据每个候选对象检测框与各限定条件之间的比较结果,将与所有限定条件均不匹配的候选检测框确定为目标检测框。可以理解,在目标对象检测过程中,由于各个目标图像的图像尺寸一致,故针对各目标图像预配置相同的残缺对象检测框。
在一个实施例中,预配置的残缺对象检测框有多个,并针对每个残缺对象检测框分别预配置有相应的限定条件。残缺对象检测框具体可包括上边残缺对象检测框、下边残缺对象检测框、右边残缺对象检测框与左边对象检测框等。上边残缺对象检测框的限定条件,比如候选检测框的最大纵坐标小于目标图像高度的第一预设占比,也即ymax<h*a,下边残缺对象检测框的限定条件,比如候选检测框的最小纵坐标大于目标图像高度的第二预设占比,也即ymin>h*(1-a),左边残缺对象检测框的限定条件,比如候选检测框的最大横坐标小于目标图像宽度的第一预设占比,也即xmax<w*a,右边残缺对象检测框的限定条件,比如候选检测框的最小横坐标大于目标图像宽度的第二预设占比,也即xmin>w*(1-a),其中,ymax、ymin、xmax、xmin分别表示候选检测框的最大纵坐标、最小纵坐标、最大横坐标与最小横坐标,h、w、a、(1-a)分别表示目标图像对应的目标图像高度、目标图像宽度第一预设占比与第二预设占比。第一预设占比是指预先设定的一个百分比或百分数,具体可根据实际情况自定义,比如20%。第一预设占比与第二预设占比的和值为1。
图3为一个实施例中预配置的残缺对象检测框的原理示意图。如图3所示,针对目标图像预配置了四个残缺对象检测框,其中,标号301表示上边残缺对象检测框,标号302表示下边残缺对象检测框,标号303表示右边残缺对象检测框,标号304表示左边对象检测框。在目标对象检测过程中,基于上述限定条件,将每个候选检测框对应的检测框数据分别与每个残缺对象检测框对应的限定条件进行比较,以根据比较结果筛选目标检测框,比如若候选检测框的最大纵坐标小于目标图像高度的第一预设占比,也即若候选检测框的下边框处于标号301所示的上边残缺对象检测框内,则判定该候选检测框为上边残缺对象检测框。由此,若候选检测框的下边框处于上边残缺对象检测框内,或者,候选检测框的上边框若处于下边残缺对象检测框内,或者,候选检测框的左边框处于右边残缺对象检测框内,或者,候选检测框的右边框处于左边残缺对象检测框内,则判定该候选检测框为残缺对象检测框。
图3所示的残缺对象检测框仅作为示例,并不用于具体限定,可以理解,由于上边残缺对象检测框仅用于限定残缺对象检测框的下边框,由此,图3所示的上边残缺对象检测框仅需高度与目标图像高度的第一预设占比一致即可,而其宽度并不做具体要求,比如,上边残缺对象检测框的宽度也可与目标图像宽度一致。图3所示的标号305表示与目标图像大小一致的参照图像,用于示例各残缺对象检测框与目标图像之间的关系。图3所示的标号306表示通常情况下目标对象在相应目标图像中所处的位置区域,也即表示目标对象对应的目标检测框在相应目标图像中所处的位置区域。
上述实施例中,基于残缺对象检测框对应的限定条件,从候选检测框中剔除属于残缺对象检测框的候选检测框,得到目标图像中所需检测的目标对象对应的目标检测框。
在一个实施例中,步骤208,包括:按照检测框尺寸从大到小的顺序对各候选检测框进行排序,得到候选检测框序列;将候选检测框序列中检测框尺寸最大的候选检测框作为参照检测框;从候选检测框序列中剔除与参照检测框的交占比大于预设交占比阈值的候选检测框;将剔除处理后所剩余的、且不包括参照检测框的候选检测框作为新的候选检测框序列,并返回至将候选检测框序列中检测框尺寸最大的候选检测框作为参照检测框的步骤继续执行,直至剔除处理后所剩余的、且不包括参照检测框的候选检测框小于两个时,停止迭代,得到目标检测框。
其中,候选检测框序列是由多个候选检测框按照检测框尺寸从大到小的顺序排序得到的检测框序列。检测框尺寸是指候选检测框的尺寸,具体可以是指候选检测框的高度与宽度的乘积。参照检测框是指当次迭代循环过程中,用于与其他候选检测框进行比较,并确定是否剔除其他候选检测框的候选检测框。交占比是指参照检测框与候选检测框之间的相交面积,在该参照检测框与候选检测框各自对应的面积中的面积最小值中的占比,也即其中,mIoU表示参照检测框与候选检测框之间的交占比,|A∩B|表示参照检测框A与候选检测框B之间的相交面积,min(A,B)表示取参照检测框A的面积与候选检测框B的面积中的面积最小值,比如,若参照检测框A的面积大于候选检测框B的面积,则min(A,B)为参照检测框A的面积。预设交占比阈值可根据实际情况自定义,比如80%。
具体地,若从目标图像对应的初始检测框中选取出一个候选检测框,检测设备则将该候选检测框确定为目标检测框。若从目标图像对应的初始检测框中选取出多个候选检测框,检测设备则将该多个候选检测框,按照检测框尺寸从大到小的顺序进行排序,得到相应的候选检测框序列。检测设备将该候选检测框序列中检测框尺寸最大的候选检测框确定为当前的参照检测框,计算该参照检测框与该候选检测框序列中的其他每个候选检测框之间的交占比,并根据计算得到的交占比,将与该参照检测框之间的交占比大于预设交占比阈值的候选检测框,从该候选检测框序列中剔除。检测设备从候选检测框序列中剔除与参照检测框的交占比大于预设交占比阈值的各候选检测框后,若该候选检测框序列中所剩余的、且不包括该参照检测框的候选检测框大于或等于两个,则根据该候选检测框序列中所剩余的、且不包括该参照检测框的候选检测框得到新的候选检测框序列。针对该新的候选检测框序列,检测设备将该候选检测框序列中检测框尺寸最大的候选检测框作为当前的参照检测框,并返回至上述计算该参照检测框与该候选检测框序列中的其他每个候选检测框之间的交占比的步骤继续执行,直至当次迭代循环所针对的候选检测框序列中所剩余的、且不包括该当次迭代循环过程中的参照检测框的候选检测框小于两个时,停止上述迭代过程,得到目标图像对应的目标检测框。
在一个实施例中,若目标图像对应的候选检测框中存在两个交占比大于预设交占比阈值的候选检测框,则该两个候选检测框可理解为“框中框”,通过上述迭代的剔除处理操作,能够从“框中框”中剔除检测框尺寸较小的候选检测框,并将所保留的检测框尺寸较大的候选检测框确定为目标检测框。
图4为一个实施例中目标图像对应的候选检测框中存在框中框的示意图。如图4所示,标号401表示与目标图像的图像尺寸一致的图像,标号402与403分别表示目标图像对应的一个候选检测框,由于该两个候选检测框之间的交占比大于预设占比阈值,则判定该标号403表示的候选检测框为标号402表示的候选检测框的框中框,由此,需要剔除标号403表示的候选检测框,并将标号402表示的候选检测框确定该目标图像对应的目标检测框。
在一个实施例中,检测设备从目标图像对应的初始检测框中选取出候选检测框后,从所选取出的候选检测框中剔除与预配置的各残缺对象检测框对应的限定条件相匹配的候选检测框,得到剔除残缺对象检测框后的候选检测框,并针对该剔除残缺对象检测框后的候选检测框,按照上述迭代方式剔除框中框,得到目标图像对应的目标检测框。可以理解,检测设备也可首先从初始获取到的候选检测框中剔除框中框,再从剔除框中框后的候选检测框中剔除残缺对象检测框。
上述实施例中,基于各候选检测框的检测框尺寸,以及各候选检测框之间的交占比,通过迭代的方式从目标图像对应的候选检测框中剔除框中框,得到该目标图像中所需检测的目标对象所对应的目标检测框,能够提高目标检测框的检测精度。
在一个实施例中,从候选检测框序列中剔除与参照检测框的交占比大于预设交占比阈值的候选检测框,包括:计算参照检测框与其他剩余候选检测框之间的交占比;在参照检测框与其他剩余候选检测框的各组合中,确定相应交占比大于预设交占比阈值的目标组合;将每个目标组合中检测框尺寸最小的候选检测框从候选检测框序列中剔除。
具体地,在每次迭代过程中,检测设备在从当次迭代过程所针对的候选检测框序列中选取出参照检测框后,计算该参照检测框与该候选检测框序列中的其他每个候选检测框之间的交占比,并将该参照检测框与其他每个候选检测框分别作为一个组合,得到该候选检测框序列对应的一个或多个组合,且每个组合包括该候选检测框序列中的参照检测框与一个候选检测框,并将每个组合中参照检测框与候选检测框之间的交占比作为该组合对应的交占比,得到各组合对应的交占比。检测设备根据计算得到的交占比,将交占比大于预设交占比阈值的组合确定为目标组合,从每个目标组合中确定检测框尺寸最小的候选检测框,并将所确定的候选检测框从相应候选检测框序列中剔除。
在一个实施例中,检测设备依次计算参照检测框与其他每个候选检测框之间的交占比,可在当前计算得到的交占比大于预设交占比阈值时,将该交占比对应的组合中检测框尺寸最小的候选检测框从候选检测框序列中剔除,也可在计算得到各组合各自对应的交占比后,基于计算得到的交占比确定目标组合,并基于所确定的目标组织确定所需删除的候选检测框,并从候选检测框序列中删除该所确定的候选检测框。
上述实施例中,基于交占比与预设交占比阈值,从交占比大于预设交占比阈值的两个候选检测框中剔除检测框尺寸较小的候选检测框,并保留检测框尺寸较大的候选检测框,通过迭代剔除处理得到目标检测框,该目标检测框是同一目标对象对应的多个候选检测框中检测框尺寸较大的候选检测框,以便于基于该目标检测框能够从目标图像中准确定位相应目标对象。
在一个实施例中,目标检测模型的训练步骤,包括:获取训练样本集;构建动态调整网络结构后的神经网络模型;基于训练样本集对已构建的神经网络模型进行训练,得到已训练好的目标检测模型。
具体地,目标检测模型的训练步骤由模型训练设备执行,该目标检测模型的训练步骤,包括:模型训练设备获取多个样本图像,对每个样本图像中的每个目标对象进行人工标注,得到每个样本图像对应的样本检测框,根据样本图像与相应的样本检测框得到训练样本集。相应地,模型训练设备动态调整神经网络的网络结构,并基于调整网络结构后的神经网络构建初始的神经网络模型,该神经网络模型是尚未经过模型训练的、且不能用于从目标图像中检测相应目标对象的模型。进一步地,模型训练设备根据所获取到的训练样本集对该已构建的神经网络模型进行训练,得到已训练好的目标检测模型,该已训练好的目标检测模型是能够用于快速而准确的从目标图像中提取相应目标对象的模型。模型训练设备将训练样本集中的样本图像作为输入特征,将训练样本集中相应的样本检测框作为期望的输出特征,对已构建的神经网络模型进行训练,得到已训练好的目标检测模型。
在一个实施例中,模型训练设备可以是用于执行目标对象检测的检测设备,也可以是管理服务器,还可以是专门用于训练模型的模型训练服务器,在此不作具体限定。
在一个实施例中,模型训练设备获取测试样本集,测试样本集包括测试图像与对每个测试图像进行人工标注得到的测试检测框,在基于训练样本集训练得到相应目标检测模型后,通过该测试样本集对该目标检测模型进行测试,若基于测试结果判定该目标检测模型符合预设训练要求,则判定该目标检测模型为已训练好的目标检测模型,否则,基于新的训练样本集继续对该目标检测模型进行训练,得到已训练好的目标检测模型。
在一个实施例中,训练样本集中的样本图像与测试样本集中的测试图像,由图像采集设备从分拣线上采集。图像采集设备可将所采集的测试图像与样本图像,通过工控机发送至数据存储设备,以便于模型训练设备从该数据存储设备获取相应的样本图像与测试图像。可以理解,训练样本集中的样本图像与测试样本集中的测试图像,可以是从不同检测场景下的不同生产环境中采集的,以便于基于该训练样本集训练得到的目标检测模型能够适用于不同检测场景下的不同生产环境,也可以是从同一检测场景下的不同生产环境中采集的,以便于基于该训练样本集训练得到的目标检测模型,能够在该检测场景下的各个生产环境中均具有较高的检测精度与速度。
在一个实施例中,神经网络模型可以是基于动态调整网络结构后的YOLOv3构建的,具体可以是基于动态调整网络结构后的YOLOv3-tiny构建的。以初始神经网络为YOLOv3-tiny为例,模型训练设备将初始神经网络中kernel_size(核尺寸)=2*2,且strides(步长)=2的每个maxpool层(最大池化层),动态调整为kernel_size=3*3,且strides=2(步长)的卷积层,并将初始神经网络中kernel_size=2*2,且strides=1的每个maxpool层,动态调整为kernel_size=3*3,且strides=1的卷积层,也即是将初始神经网络中核尺寸为2*2,且步长为2的每个最大池化层,动态调整为核尺寸为3*3,且步长为2的卷积层,并将核尺寸为2*2,且步长为1的每个最大池化层,动态调整为核尺寸为3*3,且步长为1的卷积层。
在一个实施例中,模型训练设备对样本图像与测试图像进行图像预处理,并基于预处理后的样本图像构建训练样本集,以及基于预处理后的测试图像构建测试样本集。图像预处理包括但不限于是图像缩放、图像填充与图像归一化。
在一个实施例中,在模型训练过程中,模型训练设备计算由神经网络模型针对样本图像输出的预测检测框,与该样本图像对应的样本检测框之间的差异值,并基于差异值通过反向梯度传递方式,按照使神经网络模型的损失函数下降的方向动态调整该神经网络模型的模型参数。其中,预测检测框与相应样本检测框之间的差异值,可根据该预测检测框与样本检测框各自对应的面积,按照预设映射关系对应确定。其中,预设映射关系如下:
其中,GIoU表示预测检测框A与样本检测框B之间的差异值,IoU表示预测检测框A与样本检测框B之间的交并比,A∩B表示预测检测框A与样本检测框B的交集,A∪B和U均表示预测检测框A与样本检测框B的并集。Ac表示预测检测框A与样本检测框B的最小闭包区域面积,也即是表示同时包括预测检测框A与样本检测框B的最小矩形框的面积。
可以理解,现有的神经网络模型通常通过交并比来评估预测检测框与样本检测框之间的差异值,通过交并比表征的差异值能够用于表征该预测检测框与样本检测框之间的距离,但是不能真实反映样本图像中目标对象的堆叠情况,而基于上述预设映射关系针对预测检测框与样本检测框计算得到的差异值,能够真实反映样本图像中目标对象的堆叠情况,由此基于该差异值动态调整模型参数,能够提高模型参数的准确性,从而能够提高训练得到的目标检测模型的预测精度。
在一个实施例中,在模型训练过程中,在通过人工标注得到每个样本图像对应的样本检测框后,将各样本检测框按照相应高度与宽度聚类为预设数量的类别的样本检测框,并将针对每个样本图像人工标注得到的样本检测框按照聚类结果调整为相应类别的样本检测框,以便于基于调整后的样本检测框与相应样本图像训练得到的目标检测模型,对目标图像进行目标对象检测时,所输出的初始检测框为该预设数量的类别中的任一种。可以理解,目标检测模型针对模板图像所输出的初始检测框可以是上述预设数量的类别中任一种样本检测框的近似值。预设数量可根据检测场景下目标对象可能存在的尺寸种类数来确定,比如6。
上述实施例中,基于动态调整网络结构后的神经网络构建神经网络模型,并基于训练样本集对该已构建的神经网络模型进行训练,得到已训练好的目标检测模型,以便于基于该已训练好的目标检测模型对目标图像进行目标对象检测,能够提高检测精度与速度。
在一个实施例中,基于训练样本集对已构建的神经网络模型进行训练,得到已训练好的目标检测模型,包括:基于训练样本集对已构建的神经网络模型进行训练,得到已训练好的初始检测模型;对初始检测模型的模型参数进行量化,并将初始检测模型中的卷积层、批归一化层与激活层进行整合,得到已训练好的目标检测模型。
其中,初始检测模型是基于训练样本集对已构建的神经网络模型进行模型训练得到的模型,目标检测模型是对训练得到的初始检测模型进行模型优化得到的模型。
具体地,模型训练设备基于训练样本集对已构建的神经网络模型进行训练,得到已训练好的初始检测模型。模型训练设备对已训练好的初始检测模型的模型参数进行量化,得到量化后的模型参数,并将该初始检测模型中已训练好的卷积层、批归一化层与激活层进行整合得到整合层,进而根据该量化后的模型参数与该整合后的整合层,得到已训练好的相应目标检测模型。
在一个实施例中,模型训练设备对初始检测模型的模型参数进行量化,具体可以是指对模型参数的精度进行量化,比如将模型参数的精度由FP32(浮点型32位)量化到FP16(浮点型16位)或INT8(整型8位)。由此,通过量化模型参数的精度,能够降低目标检测模型的数据量。
在一个实施例中,模型训练设备通过模型训练平台训练得到初始检测模型,并通过模型优化平台,对该初始检测模型的模型参数进行量化,并将该初始检测模型的卷积层、批归一化层与激活层进行整合,以实现对该初始检测模型的优化得到相应目标检测模型。具体地,模型训练设备通过模型训练平台基于训练样本集训练得到已训练好的初始检测模型后,通过该模型训练平台将该初始检测模型转换为模型优化平台能够识别的模型格式,通过模型优化平台对该格式转换后的初始检测模型进行模型优化,并将优化后的初始检测模型作为已训练好的目标检测模型,该目标检测模型的模型格式也是模型优化平台所能支持的模型格式。模型训练平台包括但不限于是pytorch(一个开源的Python机器学***台包括但不限于是TensorRT(一个高性能的深度学习推理(Inference)优化器)。
图5为一个实施例中对已训练好的初始检测模型进行模型优化得到目标检测模型的原理示意图。以模型训练平台为pytorch与TensorFlow,模型优化平台为TensorRT为例进行说明,其中,将基于pytorch训练得到的初始检测模型记为pytorch模型,将基于TensorFlow训练得到的初始检测模型记为TensorFlow模型。如图5所示,pytorch模型优化的过程为:对pytorch模型进行模型格式的转换得到ONNX模型,通过TensorRT优化该ONNX模型得到.trt模型,该.trt模型即是模型格式为.trt的目标检测模型;TensorFlow模型优化的过程为:对TensorFlow模型进行模型格式的转换得到.uff模型,通过TensorRT优化该.uff模型得到.trt模型,该.trt模型即是模型格式为.trt的目标检测模型。
在一个实施例中,通过模型优化平台优化得到的目标检测模型,可通过存储该目标检测模型的模型参数与网络层的方式来存储该目标检测模型,网络层是指对初始检测模型中的卷积层、批归一化层与激活层进行整合得到整合层。这样,通过获取已训练好的模型参数与相应网络层,并基于该模型参数与网络层能够创建已训练好的相应目标检测模型。
上述实施例中,已训练好的初始检测模型能够用于快速而准确的从目标图像中检测目标对象,并得到目标对象对应的初始检测框,但该初始检测模型所需占用的内存比较大。通过对初始检测模型进行模型优化,得到所需占用内存较小的目标检测模型,也即在保证检测速度与精度的情况下优化得到轻量级的目标检测模型,以便于该目标检测模型能够适用于多种类型的检测设备,比如能够适用于终端与部署在生产环境的管理服务器。可以理解,通过模型优化得到的目标检测模型降低了对运行该目标检测模型的检测设备的内存与性能要求,从而能够降低设备成本,以及提高设备的利用率。
在一个实施例中,步骤202,包括:获取待检测的初始图像;对初始图像进行图像预处理得到目标图像。
具体地,检测设备通过图像采集设备,按照上述一个或多个实施例中提供的图像获取方式,获取待检测的初始图像,并按照预设的预处理流程对该初始图像进行图像预处理,得到相应的目标图像,以便于通过已训练好的目标检测模型对该目标图像进行目标对象检测时,能够进一步提高目标对象的检测精度。
在一个实施例中,图像预处理包括但不限于是图像缩放、图像填充与图像归一化等。图像缩放是指按照等比例缩放方式,将初始图像的最长边缩放至固定长度。图像填充是指在进行图像缩放后的初始图像的最短边的两侧,填充像素值为预设像素值的像素点,以将该最短边的长度填充至固定长度,也即使得填充后的初始图像的最长边与最短边的长度一致。图像归一化是指将初始图像或进行图像填充后的初始图像的RGB通道先分别归一化到0~1,然后减去均值,最后除以方差,得到进行图像归一化后的初始图像,其中,检测设备可按照如下图像归一化公式对初始图像或进行图像填充后的初始图像进行图像归一化。
yi=(xi/255.0-meani)/stdi
其中,i表示RGB三个通道中的第i个通道,meani表示第i个通道的图像均值,stdi表示第i个通道的图像方差,meani和stdi都是在模型训练阶段有训练样本集中的样本图像计算得到的。
可以理解,检测设备可将依次进行图像缩放与图像填充后的初始图像确定为目标图像,也可将依次进行图像缩放、图像填充与图像归一化后的初始图像确定为目标图像。这样,通过图像预处理将初始图像调整为符合目标检测模型的输入特征要求的目标图像,以便于通过目标检测模型快速而准确的对该目标图像进行目标对象检测。
上述实施例中,通过对待检测的初始图像进行图像预处理得到目标图像,以便于对该目标图像进行目标对象检测时,能够提高目标对象检测的准确性。
如图6所示,在一个实施例中,提供了一种目标对象检测方法,该方法具体包括以下步骤:
步骤602,获取待检测的初始图像。
步骤604,对初始图像进行图像预处理得到目标图像。
步骤606,通过已训练好的目标检测模型对目标图像进行目标对象检测,得到目标图像中每个目标对象对应的初始检测框与相应置信度;目标检测模型是基于动态调整网络结构后的神经网络模型预先训练得到的。
步骤608,根据置信度从初始检测框中选取候选检测框。
步骤610,获取针对残缺对象检测框预配置的限定条件。
步骤612,从候选检测框中剔除与限定条件相匹配的候选检测框,得到目标检测框。
步骤614,按照检测框尺寸从大到小的顺序对各候选检测框进行排序,得到候选检测框序列。
步骤616,将候选检测框序列中检测框尺寸最大的候选检测框作为参照检测框。
步骤618,计算参照检测框与其他剩余候选检测框之间的交占比。
步骤620,在参照检测框与其他剩余候选检测框的各组合中,确定相应交占比大于预设交占比阈值的目标组合。
步骤622,将每个目标组合中检测框尺寸最小的候选检测框从候选检测框序列中剔除。
步骤624,当剔除处理后所剩余的、且不包括参照检测框的候选检测框大于或等于两个时,将剔除处理后所剩余的、且不包括参照检测框的候选检测框作为新的候选检测框序列,并返回至步骤616继续执行。
步骤626,当剔除处理后所剩余的、且不包括参照检测框的候选检测框小于两个时,停止跌倒,得到目标图像对应的目标检测框。
上述实施例中,基于动态调整网络结构后的神经网络模型训练得到已训练好的目标检测模型,能够提高该目标检测模型的检测速度与精度,通过该目标检测模型对目标图像进行目标对象检测,能够提高检测速度与精度,从而能够提高整体数字化运转效率。在通过目标检测模型预测得到目标图像对应的初始检测框与相应置信度,并基于置信度从该初始检测框中选取出置信度较高的候选检测框后,采用冗余筛除机制,通过从候选检测框中剔除残缺对象检测框与框中框的方式,对该候选检测框中的冗余检测框进行剔除,得到精度较高的目标检测框,能够在提高检测精度的情况下,减少人工干预纠正,降低人力成本。而且,通过该种目标对象检测方式,能够适用于不同生产环境,减少设备安装与调试时间,从而能够降低人力成本。
可以理解,通过上述一个或多个实施例中提供的目标对象检测方法,能够适用于检测场景下复杂多样的生产环境,对于因背景环境光干扰、图像传输噪声等原因导致目标图像发送扭曲、畸变与错位等情况,以及目标对象在分拣线上被随意堆叠与摆放等情况,仍然能在保证较高检测速度的情况下,保证检测精度,从而实现检测速度与检测精度的平衡。
图7为一个实施例中目标对象检测的原理示意图。如图7所示,完整的目标对象检测流程包括模型训练、模型优化与目标对象检测三个阶段。其中,作为阶段一的模型训练,主要包括数据集制作、网络模型构建与网络训练三个步骤,其中数据集制作主要是指获取训练样本集,网络模型构建是指构建动态调整网络结构后的神经网络模型,网络训练是指基于训练样本集对已构建的神经网络模型进行训练,得到已训练好的初始检测模型。通过阶段二对阶段一得到的初始检测模型进行模型优化,得到已训练好的目标检测模型。可以理解,阶段一与阶段二在进行阶段三之前已执行完毕,且训练得到已训练好的目标检测模型后,在目标检测模型的应用阶段无需再动态执行该阶段一与阶段二,当然,也可根据实际情况,在应用阶段对该目标检测模型进行检测精度的进一步优化。
进一步地,阶段三对应的目标对象检测是目标检测模型的应用阶段,阶段三的流程主要包括:采集图像,对所采集的图像进行图像预处理,通过已训练好的目标检测模型对预处理后的图像进行模型推理,得到相应的初始检测框,并通过检测框筛除机制对初始检测框进行筛除,得到最终的检测结果。
在一个实施例中,上述一个或多个实施例中提供的模型训练与模型优化操作,具体可以是由模型训练设备通过GPU(图形处理器,Graphics Processing Unit)来实现的。相应地,在目标对象检测过程中,目标检测模型也可由检测设备通过GPU来运行。
应该理解的是,虽然图2与图6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2与图6中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图8所示,提供了一种目标对象检测装置800,包括:获取模块801、检测模块802、选取模块803和筛选模块804,其中:
获取模块801,用于获取目标图像;
检测模块802,用于通过已训练好的目标检测模型对目标图像进行目标对象检测,得到目标图像中每个目标对象对应的初始检测框与相应置信度;目标检测模型是基于动态调整网络结构后的神经网络模型预先训练得到的;
选取模块803,用于根据置信度从初始检测框中选取候选检测框;
筛选模块804,用于从候选检测框中筛选符合检测场景要求的目标检测框。
在一个实施例中,筛选模块804,还用于获取针对残缺对象检测框预配置的限定条件;从候选检测框中剔除与限定条件相匹配的候选检测框,得到目标检测框。
在一个实施例中,筛选模块804,还用于按照检测框尺寸从大到小的顺序对各候选检测框进行排序,得到候选检测框序列;将候选检测框序列中检测框尺寸最大的候选检测框作为参照检测框;从候选检测框序列中剔除与参照检测框的交占比大于预设交占比阈值的候选检测框;将剔除处理后所剩余的、且不包括参照检测框的候选检测框作为新的候选检测框序列,并返回至将候选检测框序列中检测框尺寸最大的候选检测框作为参照检测框继续执行,直至剔除处理后所剩余的、且不包括参照检测框的候选检测框小于两个时,停止迭代,得到目标检测框。
在一个实施例中,筛选模块804,还用于计算参照检测框与其他剩余候选检测框之间的交占比;在参照检测框与其他剩余候选检测框的各组合中,确定相应交占比大于预设交占比阈值的目标组合;将每个目标组合中检测框尺寸最小的候选检测框从候选检测框序列中剔除。
在一个实施例中,上述目标对象检测装置800,还包括:模型训练模块;
模型训练模块,用于获取训练样本集;构建动态调整网络结构后的神经网络模型;基于训练样本集对已构建的神经网络模型进行训练,得到已训练好的目标检测模型。
在一个实施例中,模型训练模块,还用于基于训练样本集对已构建的神经网络模型进行训练,得到已训练好的初始检测模型;对初始检测模型的模型参数进行量化,并将初始检测模型中的卷积层、批归一化层与激活层进行整合,得到已训练好的目标检测模型。
在一个实施例中,获取模块801,还用于获取待检测的初始图像;对初始图像进行图像预处理得到目标图像。
关于目标对象检测装置的具体限定可以参见上文中对于目标对象检测方法的限定,在此不再赘述。上述目标对象检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是作为检测设备的终端,其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种目标对象检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各方法实施例的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种目标对象检测方法,其特征在于,所述方法包括:
获取目标图像;
通过已训练好的目标检测模型对所述目标图像进行目标对象检测,得到所述目标图像中每个目标对象对应的初始检测框与相应置信度;所述目标检测模型是基于动态调整网络结构后的神经网络模型预先训练得到的;
根据所述置信度从所述初始检测框中选取候选检测框;
从所述候选检测框中筛选符合检测场景要求的目标检测框。
2.根据权利要求1所述的方法,其特征在于,所述从所述候选检测框中筛选符合检测场景要求的目标检测框,包括:
获取针对残缺对象检测框预配置的限定条件;
从所述候选检测框中剔除与所述限定条件相匹配的候选检测框,得到目标检测框。
3.根据权利要求1所述的方法,其特征在于,所述从所述候选检测框中筛选符合检测场景要求的目标检测框,包括:
按照检测框尺寸从大到小的顺序对各候选检测框进行排序,得到候选检测框序列;
将所述候选检测框序列中检测框尺寸最大的候选检测框作为参照检测框;
从所述候选检测框序列中剔除与所述参照检测框的交占比大于预设交占比阈值的候选检测框;
将剔除处理后所剩余的、且不包括所述参照检测框的候选检测框作为新的候选检测框序列,并
返回至所述将所述候选检测框序列中检测框尺寸最大的候选检测框作为参照检测框的步骤继续执行,直至剔除处理后所剩余的、且不包括所述参照检测框的候选检测框小于两个时,停止迭代,得到目标检测框。
4.根据权利要求3所述的方法,其特征在于,所述从所述候选检测框序列中剔除与所述参照检测框的交占比大于预设交占比阈值的候选检测框,包括:
计算所述参照检测框与其他剩余候选检测框之间的交占比;
在所述参照检测框与其他剩余候选检测框的各组合中,确定相应交占比大于预设交占比阈值的目标组合;
将每个目标组合中检测框尺寸最小的候选检测框从所述候选检测框序列中剔除。
5.根据权利要求1所述的方法,其特征在于,所述目标检测模型的训练步骤,包括:
获取训练样本集;
构建动态调整网络结构后的神经网络模型;
基于所述训练样本集对已构建的神经网络模型进行训练,得到已训练好的目标检测模型。
6.根据权利要求5所述的方法,其特征在于,所述基于所述训练样本集对已构建的神经网络模型进行训练,得到已训练好的目标检测模型,包括:
基于所述训练样本集对已构建的神经网络模型进行训练,得到已训练好的初始检测模型;
对所述初始检测模型的模型参数进行量化,并将所述初始检测模型中的卷积层、批归一化层与激活层进行整合,得到已训练好的目标检测模型。
7.根据权利要求1至6任意一项所述的方法,其特征在于,所述获取目标图像,包括:
获取待检测的初始图像;
对所述初始图像进行图像预处理得到目标图像。
8.一种目标对象检测装置,其特征在于,所述装置包括:
获取模块,用于获取目标图像;
检测模块,用于通过已训练好的目标检测模型对所述目标图像进行目标对象检测,得到所述目标图像中每个目标对象对应的初始检测框与相应置信度;所述目标检测模型是基于动态调整网络结构后的神经网络模型预先训练得到的;
选取模块,用于根据所述置信度从所述初始检测框中选取候选检测框;
筛选模块,用于从所述候选检测框中筛选符合检测场景要求的目标检测框。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010586550.1A CN113837173A (zh) | 2020-06-24 | 2020-06-24 | 目标对象检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010586550.1A CN113837173A (zh) | 2020-06-24 | 2020-06-24 | 目标对象检测方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113837173A true CN113837173A (zh) | 2021-12-24 |
Family
ID=78964446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010586550.1A Pending CN113837173A (zh) | 2020-06-24 | 2020-06-24 | 目标对象检测方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113837173A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114756211A (zh) * | 2022-05-13 | 2022-07-15 | 北京百度网讯科技有限公司 | 模型训练方法、装置、电子设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109978142A (zh) * | 2019-03-29 | 2019-07-05 | 腾讯科技(深圳)有限公司 | 神经网络模型的压缩方法和装置 |
WO2020015470A1 (zh) * | 2018-07-16 | 2020-01-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
CN110781768A (zh) * | 2019-09-30 | 2020-02-11 | 奇点汽车研发中心有限公司 | 目标对象检测方法和装置、电子设备和介质 |
US20200081095A1 (en) * | 2018-09-07 | 2020-03-12 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for generating object detection box, device, storage medium, and vehicle |
CN111126278A (zh) * | 2019-12-24 | 2020-05-08 | 北京邮电大学 | 针对少类别场景的目标检测模型优化与加速的方法 |
CN111291785A (zh) * | 2020-01-16 | 2020-06-16 | 中国平安人寿保险股份有限公司 | 目标检测的方法、装置、设备及存储介质 |
-
2020
- 2020-06-24 CN CN202010586550.1A patent/CN113837173A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020015470A1 (zh) * | 2018-07-16 | 2020-01-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
US20200081095A1 (en) * | 2018-09-07 | 2020-03-12 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for generating object detection box, device, storage medium, and vehicle |
CN109978142A (zh) * | 2019-03-29 | 2019-07-05 | 腾讯科技(深圳)有限公司 | 神经网络模型的压缩方法和装置 |
CN110781768A (zh) * | 2019-09-30 | 2020-02-11 | 奇点汽车研发中心有限公司 | 目标对象检测方法和装置、电子设备和介质 |
CN111126278A (zh) * | 2019-12-24 | 2020-05-08 | 北京邮电大学 | 针对少类别场景的目标检测模型优化与加速的方法 |
CN111291785A (zh) * | 2020-01-16 | 2020-06-16 | 中国平安人寿保险股份有限公司 | 目标检测的方法、装置、设备及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114756211A (zh) * | 2022-05-13 | 2022-07-15 | 北京百度网讯科技有限公司 | 模型训练方法、装置、电子设备和存储介质 |
CN114756211B (zh) * | 2022-05-13 | 2022-12-16 | 北京百度网讯科技有限公司 | 模型训练方法、装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3499418B1 (en) | Information processing apparatus, identification system, setting method, and program | |
US11645744B2 (en) | Inspection device and inspection method | |
CN111507958B (zh) | 目标检测方法、检测模型的训练方法及电子设备 | |
US11715190B2 (en) | Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device | |
CN113095438B (zh) | 晶圆缺陷分类方法及其装置、***、电子设备和存储介质 | |
JP6844563B2 (ja) | 検査装置、画像識別装置、識別装置、検査方法、及び検査プログラム | |
CN112137591B (zh) | 基于视频流的目标物位置检测方法、装置、设备及介质 | |
CN111612002A (zh) | 一种基于神经网络的多目标物体运动追踪方法 | |
CN111807183A (zh) | 基于深度学习的电梯门状态智能检测方法 | |
CN115331172A (zh) | 一种基于监控视频的车间危险行为识别报警方法及*** | |
CN113312957A (zh) | 基于视频图像的脱岗识别方法、装置、设备及存储介质 | |
US20230222645A1 (en) | Inspection apparatus, unit selection apparatus, inspection method, and computer-readable storage medium storing an inspection program | |
CN116485779B (zh) | 自适应晶圆缺陷检测方法、装置、电子设备及存储介质 | |
JP2020060879A (ja) | 学習装置、画像生成装置、学習方法、及び学習プログラム | |
CN116740728B (zh) | 一种用于晶圆读码器动态获取方法和*** | |
CN111310826A (zh) | 样本集的标注异常检测方法、装置及电子设备 | |
CN114862832A (zh) | 缺陷检测模型的优化方法、装置、设备及存储介质 | |
CN111008953A (zh) | 一种数字病理图像质控的方法及装置 | |
JP7059889B2 (ja) | 学習装置、画像生成装置、学習方法、及び学習プログラム | |
CN117522869B (zh) | 图像处理方法和缺陷检测方法、***、电子设备 | |
CN112966687B (zh) | 图像分割模型训练方法、装置及通信设备 | |
CN116959099B (zh) | 一种基于时空图卷积神经网络的异常行为识别方法 | |
CN113837173A (zh) | 目标对象检测方法、装置、计算机设备和存储介质 | |
CN111666872B (zh) | 一种数据不平衡下的高效行为识别方法 | |
CN113192017A (zh) | 包裹缺陷识别方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |