CN117710944B - 模型缺陷检测方法、模型训练方法、目标检测方法和*** - Google Patents
模型缺陷检测方法、模型训练方法、目标检测方法和*** Download PDFInfo
- Publication number
- CN117710944B CN117710944B CN202410160313.7A CN202410160313A CN117710944B CN 117710944 B CN117710944 B CN 117710944B CN 202410160313 A CN202410160313 A CN 202410160313A CN 117710944 B CN117710944 B CN 117710944B
- Authority
- CN
- China
- Prior art keywords
- target
- detection
- image
- model
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 452
- 230000007547 defect Effects 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000012549 training Methods 0.000 title claims abstract description 54
- 238000012790 confirmation Methods 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 18
- 230000002829 reductive effect Effects 0.000 claims description 14
- 230000036961 partial effect Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 11
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 11
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 11
- 241001465754 Metazoa Species 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及一种模型缺陷检测方法、模型训练方法、目标检测方法和***,通过获取第一模型对待检测图像进行多次目标检测后生成的第一检测结果;获取第二模型对待检测图像进行目标检测后生成的第二检测结果;将第一检测结果和第二检测结果进行比对,得到第二模型的缺陷检测结果;其中,缺陷检测结果包括误检目标和/或漏检目标;解决了相关技术中存在的模型缺陷缺乏针对性处理的问题,提升了模型缺陷检测的准确率。
Description
技术领域
本申请涉及视频图像处理领域,特别是涉及一种模型缺陷检测方法、模型训练方法、目标检测方法和***。
背景技术
高级驾驶辅助***(Advanced Driving Assistance System,简称ADAS)是一种利用安装在汽车上的传感器来收集和分析车内及车外环境信息的***。其目的是为驾驶员提供更安全、更舒适的驾驶辅助功能。在ADAS中,目标检测技术扮演着关键角色,它能通过车载摄像头获取的图像识别周围的物体。
在实际应用中,ADAS对目标检测的准确度有极高的要求。然而,在复杂多变的环境中,目标检测可能会受到各种因素的影响,导致误检和漏检的问题。这对于安全性至关重要的车载应用来说是极其危险的,可能会引发严重的安全隐患。
为了提升ADAS***的可靠性和安全性,需要减少目标检测中的漏检和误检现象,从而提高检测的准确率。传统方法主要是通过改进模型结构和扩大训练集等方式来提升模型的整体性能。然而,这些方法往往侧重于通用性的改进,而忽视了对模型缺陷(漏检和误检)的针对性处理。
针对相关技术中存在模型缺陷缺乏针对性处理的问题,目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种模型缺陷检测方法、模型训练方法、目标检测方法、驾驶辅助***、电子装置和存储介质,以解决相关技术中存在的模型缺陷缺乏针对性处理的问题。
第一个方面,在本实施例中提供了一种模型缺陷检测方法,包括:
获取第一模型对待检测图像进行多次目标检测后生成的第一检测结果;
获取第二模型对所述待检测图像进行目标检测后生成的第二检测结果;
将所述第一检测结果和所述第二检测结果进行比对,得到所述第二模型的缺陷检测结果;其中,所述缺陷检测结果包括误检目标和/或漏检目标。
在其中的一些实施例中,所述第一模型对待检测图像进行多次目标检测,包括:
所述第一模型对所述待检测图像的至少两个区域分别进行目标检测。
在其中的一些实施例中,获取第一模型对待检测图像进行多次目标检测后生成的第一检测结果,包括:
将所述待检测图像输入至所述第一模型进行目标检测,得到全图检测结果;
将所述待检测图像进行分割,将分割后得到的多个局部图像输入至所述第一模型进行目标检测,得到多个局部检测结果;
将所述全图检测结果和所述多个局部检测结果进行融合,得到所述第一检测结果。
在其中的一些实施例中,在获取第一模型对待检测图像进行多次目标检测后生成的第一检测结果之后,所述方法还包括:
根据所述待检测图像的前一帧图像的目标识别结果对所述待检测图像进行目标跟踪,得到跟踪结果;
根据所述跟踪结果,更新所述第一检测结果。
在其中的一些实施例中,根据所述待检测图像的前一帧图像的目标识别结果对所述待检测图像进行目标跟踪,得到跟踪结果包括:
判断所述前一帧图像中的多个目标在所述待检测图像中的跟踪结果为跟踪成功或者跟踪失败,其中,每个所述目标对应一个跟踪序号,所述多个目标的跟踪序号构成跟踪序号集合;
根据所述跟踪成功或者跟踪失败的情况更新所述跟踪序号集合,并将更新后的所述跟踪序号集合作为所述跟踪结果。
在其中的一些实施例中,判断所述前一帧图像中的多个目标在所述待检测图像中的跟踪结果为跟踪成功或者跟踪失败包括:
根据所述前一帧图像中的目标识别结果对所述待检测图像中各目标的跟踪结果进行预测,得到预测结果;
根据所述预测结果和所述第一检测结果中各目标的检测结果的相似度,判断各目标的跟踪结果为跟踪成功或者跟踪失败。
在其中的一些实施例中,根据所述跟踪成功或者跟踪失败的情况更新所述跟踪序号集合包括:
在判定所述前一帧图像中当前目标的所述跟踪结果为跟踪成功的情况下,保持所述当前目标的跟踪序号不变。
在其中的一些实施例中,根据所述跟踪成功或者跟踪失败的情况更新所述跟踪序号集合,包括:
在判定所述前一帧图像中当前目标的所述跟踪结果为跟踪失败的情况下,
当所述当前目标为所述待检测图像中出现的新目标时,在所述跟踪序号集合中为所述当前目标建立一个新的跟踪序号;
当所述当前目标为所述前一帧图像中的丢失目标时,在所述跟踪序号集合中删除所述当前目标的跟踪序号。
在其中的一些实施例中,所述方法还包括:
当所述当前目标为所述待检测图像中出现的新目标时,更新所述当前目标的目标确认帧数,当所述目标确认帧数达到最小确认帧数时,为所述当前目标建立一个新的跟踪序号;
当所述当前目标为所述前一帧图像中的丢失目标时,更新所述当前目标的丢失帧数,当所述丢失帧数大于或者等于最大丢失帧数时,在所述跟踪序号集合中删除所述当前目标的跟踪序号。
在其中的一些实施例中,所述方法还包括:
根据对所述误检目标和所述漏检目标之间的检测倾向,调整所述最小确认帧数和所述最大丢失帧数。
在其中的一些实施例中,根据对所述误检目标和所述漏检目标之间的检测倾向,调整所述最小确认帧数和所述最大丢失帧数,包括:
当对所述误检目标的检测倾向大于对所述漏检目标的检测倾向时,增大所述最小确认帧数,减小所述最大丢失帧数;或者,
当对所述漏检目标的检测倾向大于对所述误检目标的检测倾向时,减小所述最小确认帧数,增大所述最大丢失帧数。
在其中的一些实施例中,将所述第一检测结果和所述第二检测结果进行比对,得到所述第二模型的缺陷检测结果,包括:
将在所述第一检测结果中不存在,但是在所述第二检测结果中存在的目标,标记为所述第二模型的误检目标;和/或,
将在所述第一检测结果中存在,但是在所述第二检测结果中不存在的目标,标记为所述第二模型的漏检目标。
第二个方面,在本实施例中提供了一种模型训练方法,包括:
基于上述第一个方面所述的模型缺陷检测方法,获取用于目标检测的第二模型的缺陷检测结果;
根据所述缺陷检测结果,训练所述第二模型。
在其中的一些实施例中,根据所述缺陷检测结果,训练所述第二模型,包括:
获取对应于所述缺陷检测结果的缺陷检测图像;
根据所述缺陷检测结果生成对应的标注文件;
根据所述缺陷检测图像和所述标注文件,生成训练集以用于所述第二模型的训练。
第三个方面,在本实施例中提供了一种目标检测方法,包括:
获取基于上述第二个方面训练得到的第二模型;
调用所述第二模型对目标图像进行目标检测,输出目标检测结果。
第四个方面,在本实施例中提供了一种驾驶辅助***,包括:图像采集模块、智能终端;其中,所述图像采集模块用于采集图像,所述智能终端用于接收所述图像,并基于上述第三个方面的目标检测方法对所述图像进行目标检测,输出目标检测结果。
第五个方面,在本实施例中提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述第一个方面、第二个方面或者第三方面所述的方法。
第六个方面,在本实施例中提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一个方面、第二个方面或者第三方面所述的方法的步骤。
上述模型缺陷检测方法、模型训练方法、目标检测方法和***,通过具备多次目标检测功能的第一模型检测第二模型的误检目标和/或漏检目标,提升了第一模型对第二模型进行缺陷检测的准确率,识别出的误检目标和/或漏检目标有助于确定第二模型在处理特定类型图像或目标时的局限性,以为针对性优化第二模型的性能提供基础,解决了相关技术中模型缺陷缺乏针对性处理的问题。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为一个实施例中模型缺陷检测方法、模型训练方法或者目标检测方法的终端的硬件结构框图;
图2为一个实施例中模型缺陷检测方法的一种流程图;
图3为一个实施例中多目标跟踪方法的流程图;
图4为一个实施例中模型训练方法的流程图;
图5为另一个实施例中模型训练方法的流程图;
图6为一个实施例中基于汽车驾驶场景的模型训练方法的流程图;
图7为一个实施例中对第一图像进行局部分割的示意图;
图8为一个实施例中目标检测方法的流程图;
图9为一个实施例中所示的应用环境图;
图10为一个实施例中驾驶辅助***的结构示意图;
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点,下面结合附图和实施例,对本申请进行了描述和说明。
除另作定义外,本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制,它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体,其目的是涵盖不排他的包含;例如,包含一系列步骤或模块(单元)的过程、方法和***、产品或设备并未限定于列出的步骤或模块(单元),而可包括未列出的步骤或模块(单元),或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接,而可以包括电气连接,无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。通常情况下,字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等,只是对相似对象进行区分,并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行,图1是本申请一实施例的模型缺陷检测方法、模型训练方法或者目标检测方法的终端的硬件结构框图。如图1所示,终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104,其中,处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述终端的结构造成限制。例如,终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如在本实施例中的模型缺陷检测方法、模型训练方法或者目标检测方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(NetworkInterface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在ADAS应用场景中,目标检测的准确性至关重要。漏检和误检可能导致***错误反应和决策,引发致命危险事故。因此,通过检测模型的漏检目标和误检目标,使得能够基于这些特殊目标针对性优化模型的性能,提升模型检测的准确率,进而提升ADAS***的稳定性和安全性。
出于上述目的,本申请提供了一种模型缺陷检测方法,利用第一模型的性能优势检测第二模型的漏检目标和/或误检目标,为针对性优化模型性能提供基础。图2为模型缺陷检测方法的一种实施例的流程图,如图2所示,以该方法运行于图1所示的终端为例,该流程包括如下步骤:
步骤S201,获取第一模型对待检测图像进行多次目标检测后生成的第一检测结果。
本实施例中,采用预先训练完成的第一模型,对需要检测的图像进行多次目标检测,识别出所有可能的目标,即为第一检测结果。待检测图像不仅可以出自ADAS应用场景,也可以是在其他交通、商场、工业、农业、畜牧业等应用场景中拍摄的视频图像,可以包含行人、车辆、动物或者其他物体。
其中,第一模型可以是对待检测图像的全图进行多次检测;也可以是对待检测图像的至少两个区域分别进行目标检测,例如,对待检测图像的不同区域分别进行一次检测,或者对待检测图像的不同区域均进行多次检测,或者对待检测图像的不同区域设置不同的检测次数。第一模型对每一帧待检测图像均进行多次目标检测,可以提升单帧检测的准确性。
步骤S202,获取第二模型对待检测图像进行目标检测后生成的第二检测结果。
第一模型和第二模型可以是深度学习模型,如YOLO(You Only Look Once)、Faster R-CNN(Faster Region-based Convolutional Neural Network)等目标检测模型。第二模型在对待检测图像进行目标检测时,识别图像中的各种对象,比如行人、车辆、动物或者其他物体,将识别到的所有可能的目标作为第二检测结果。
第一模型的结构可以较为复杂,参数量和计算量较大,其基于大量图像数据预训练后得到。反之,第二模型的结构可以较为简单,参数量和计算量较小,其可以基于少量图像数据预训练后得到。自然地,第一模型在检测准确率上的性能优于第二模型的性能。第一模型可以是在本地服务器或者云端服务器上应用的重量级模型,第二模型可以是在应用场景的终端(例如ADAS***终端、手机、电脑、视频监控***)使用的轻量级模型。
步骤S203,将第一检测结果和第二检测结果进行比对,得到第二模型的缺陷检测结果;其中,缺陷检测结果包括误检目标和/或漏检目标。
通过比较第一检测结果和第二检测结果,可以确定第二模型在目标检测中的缺陷。这些缺陷表现为以下几种形式:(1)误检目标,即第二模型错误地识别出了实际上不存在的目标。例如,第二模型可能错误地将图像中的阴影、灯光效果或者形状类似的目标误认为是真实的对象。(2)漏检目标,即第二模型未能识别出实际存在的目标。例如,第二模型可能由于对象尺寸过小、遮挡、光照条件差等原因未能识别出图像中实际存在的目标。(3)同时存在误检目标和漏检目标。
在将第一检测结果和第二检测结果进行比对时,可以将在第一检测结果中不存在,但是在第二检测结果中存在的目标,标记为第二模型的误检目标。和/或,将在第一检测结果中存在,但是在第二检测结果中不存在的目标,标记为第二模型的漏检目标。
在上述步骤S201至203中,第一模型通过多次目标检测得到的第一检测结果为第二模型的目标检测准确度提供了参考基准,用于判断第二模型是否准确地识别了待检测图像中的目标,通过对比两个模型的检测结果,可以评估第二模型的性能。检测出的误检目标和/或漏检目标表征了第二模型的性能缺陷,可据此调整第二模型的模型参数、改进第二模型的算法逻辑或者增加更多的训练数据,以提高第二模型检测的准确性和稳定性。值得说明的是,通过具备多次目标检测功能的第一模型检测第二模型的误检目标和/或漏检目标,提升了第一模型对第二模型进行缺陷检测的准确率,识别出的误检目标和/或漏检目标有助于确定第二模型在处理特定类型图像或目标时的局限性,为针对性优化第二模型的性能提供了基础,从而提升第二模型在实际应用中的准确性,减少错误识别。
虽然本申请提供了如上述实施例或附图所示的方法操作步骤,但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本申请实施例提供的执行顺序。例如,步骤S201和步骤S202可以互换顺序或者并行执行。
作为示例,获取第一检测结果包括如下过程:当第一模型对待检测图像进行多次目标检测时,可以将待检测图像输入至第一模型进行目标检测,得到全图检测结果,以及将待检测图像进行分割,将分割后得到的多个局部图像输入至第一模型进行目标检测,得到多个局部检测结果;然后,将全图检测结果和多个局部检测结果进行融合,得到第一检测结果。
可以理解,全图检测结果,是指对待检测图像中所有区域内的目标进行检测的检测结果,局部检测结果,是指对待检测图像中部分区域的目标进行检测的检测结果。其中,在对待检测图像进行分割时,可以是从左到右地分割,也可以是从上到下地分割,还可以是将图像分别进行从上到下、从左到右地分割,所得到的分割区域可以是两个或者两个以上,本实施例均不作限制。进一步地,可以根据预设面积大小对待检测图像进行分割,得到多个分割区域,且每个分割区域的面积大小需保持小于待检测图像的原始尺寸并大于等于第一模型的输入尺寸。
在将全图检测结果和多个局部检测结果进行融合时,在全图检测结果和多个局部检测结果中,保留置信度不低于预设阈值的目标检测框,删除重复的目标检测框,从而得到第一检测结果,其中,目标检测框为待检测图像中的目标的检测结果。具体地,可以通过包括但不限于基于交并比计算得到的(Intersection over Union,简称IOU)相似度、目标实际像素面积、目标之间的中心距离、目标实际宽高比等方式,消除重复的目标,仅保留目标检测框拟合程度最高并且置信度最高的一个或者多个最优结果。
在本实施例中,通过采用第一模型分别执行全图检测和局部检测,并融合全图检测和局部检测结果,克服了单一全图检测可能存在的问题。因为在一些较大尺寸图像中,存在远距离目标的漏检或小目标识别不足,以及局部遮挡导致的检测准确性下降的问题。而将一幅图像分割成多个区域进行独立检测,有助于第一模型更细致地分析每个区域内的目标特征,提高了检测的精确度。而将各个区域检测的结果进行融合,可综合考虑全局信息与局部信息,减少目标的误检和漏检。
上述实施例中,第一模型对于每一帧待检测图像均进行多次目标检测,提升了单帧检测的准确性。
在一个实施例中,在此基础上,在获取第一模型对待检测图像进行多次目标检测后生成的第一检测结果之后,还可以根据待检测图像的前一帧图像的目标识别结果对待检测图像进行目标跟踪,得到跟踪结果,其中,前一帧图像的目标识别结果可以由多目标跟踪算法的跟踪结果得到,具体地,由如DeepSort、StrongSort、BoT-Sort等算法对包括前一帧图像的连续若干个视频帧中的多个目标进行目标跟踪得到跟踪结果。进一步地,目标识别结果也可以由第一模型对前一帧图像进行目标检测的检测结果得到,还可以由将多目标跟踪算法的跟踪结果和第一模型的检测结果进行融合得到。然后基于前一帧图像的目标识别结果,使用多目标跟踪算法对各目标在待检测图像中进行跟踪,最终根据多目标跟踪算法在待检测图像中的跟踪结果,更新第一检测结果。
其中,更新第一检测结果,可以是将待检测图像中多目标跟踪算法的跟踪结果和第一模型的检测结果进行融合。例如,获取前一帧图像的目标识别结果,基于该目标识别结果对待检测图像进行目标跟踪,得到多个目标在待检测图像中的跟踪结果,然后获取第一模型对待检测图像的第一检测结果,将跟踪结果和该第一检测结果进行融合,从而更新该第一检测结果。又例如,为视频帧中的多个跟踪目标赋予跟踪序号,根据待检测图像中多个目标的跟踪成功或者跟踪失败的情况更新跟踪序号集合,并将更新后的跟踪序号集合对应的目标与第一模型在待检测图像中的第一检测结果进行融合,得到最终第一模型的检测结果,以和第二检测结果进行对比。
上述两种更新第一检测结果的方案可以择一使用,本实施例不作限制。本实施例考虑到视频流图像中上下帧之间的关联,通过多目标跟踪算法基于连续多帧图像进行目标跟踪,利用视频流的时序特性对第一模型的第一检测结果进行修正,减少第一模型自身的漏检和误检,从而提高对第二模型的漏检/误检检测成功率。
以下将对用于实现上述多目标跟踪的方法进行进一步介绍。
在一个实施例中,图3提供了多目标跟踪方法的流程图,如图3所示,该流程包括如下步骤:
步骤S301,判断前一帧图像中的多个目标在待检测图像中的跟踪结果,跟踪结果包括跟踪成功或者跟踪失败。
具体地,本实施例中需要确定的是前一帧图像中多个目标在待检测图像中的跟踪结果为跟踪成功还是跟踪失败,优选地,前一帧图像与待检测图像在视频序列中为相邻的两帧图像。其中,每个目标对应一个跟踪序号,多个目标的跟踪序号构成跟踪序号集合,随着跟踪结果的更新,每一帧图像都会对跟踪序号集合进行更新。
示例性的,可以根据前一帧图像中的目标识别结果对待检测图像中各目标的跟踪结果进行预测,得到预测结果,其中,目标识别结果可以为多个目标各自在前一帧图像中的位置信息,可以用坐标表示,预测结果可以为多个目标各自在待检测图像中的位置信息,通过对前一帧图像中各目标的位置信息进行预测得到;根据预测结果和第一检测结果中各目标的检测结果的相似度,判断各目标的跟踪结果为跟踪成功或者跟踪失败,优选地,目标识别结果和预测结果都可以通过目标检测框表示,此时可以通过计算跟踪结果的目标检测框和预测结果的目标检测框的交并比,实现相似度的计算。
通过引入预测结果和相似度评估机制来判断目标跟踪的成功与否,使得目标跟踪更准确。通过对前后帧之间的目标特征进行比较,能够更加精准地确定目标是否被正确跟踪,从而降低跟踪失误。
步骤S302,根据跟踪成功或者跟踪失败的情况更新跟踪序号集合,并将更新后的跟踪序号集合作为跟踪结果。
本实施例中,通过判断前一帧图像中多个目标的跟踪状态并动态更新跟踪序号集合,实现了对每个目标的追踪识别,确保连续帧间目标的一致性和有序性,即使在车辆驾驶等复杂环境中也能准确地匹配和跟踪目标。
更新跟踪序号集合包括如下两种情况。
情况1:在判定前一帧图像中当前目标的跟踪结果为跟踪成功的情况下,保持当前目标的跟踪序号不变。当前目标是指所跟踪的多个目标中的其中任意一个目标,下同。
情况2:在判定前一帧图像中当前目标的跟踪结果为跟踪失败的情况下,包括如下两种情况:
情况2-1:当当前目标为待检测图像中出现的新目标时,在跟踪序号集合中为当前目标建立一个新的跟踪序号。例如,当当前目标为待检测图像中出现的新目标时,即该当前目标为前一帧图像中不存在但是在待检测图像中出现的目标,此时为该当前目标设置目标确认帧数,并更新当前目标的目标确认帧数,目标确认帧数用于确认该当前目标是否可以成为正式的跟踪目标,该目标确认帧数能够随着视频帧数的增加而变化,当目标确认帧数达到最小确认帧数时,为当前目标建立一个新的跟踪序号。
情况2-2:当当前目标为前一帧图像中的丢失目标时,在跟踪序号集合中删除当前目标的跟踪序号。例如,当当前目标为前一帧图像中的丢失目标时,即该当前目标为前一帧图像中存在但是在待检测图像中丢失的目标,此时为该当前目标设置丢失帧数,并更新丢失帧数,丢失帧数用于确认该当前目标是否构成真正意义上的丢失,能够随着视频帧数的增加而变化,当丢失帧数大于或者等于最大丢失帧数时,在跟踪序号集合中删除当前目标的跟踪序号,即代表该当前目标构成真正意义上的丢失。
针对目标跟踪失败的情形,本实施例提出了新目标出现和已有目标消失两种情况下的处理策略。当新目标出现时及时为其分配新的跟踪序号,而当原有目标消失时则从跟踪序号集合中移除其标识。如此设置,保证了目标集合的实时更新,以适应目标实际增减变化的情况。
可以理解,跟踪失败的目标有两种可能,第一种为出现新目标,第二种为历史旧目标消失。对于第一种情况,即当前目标为新出现的目标,多目标跟踪算法将会为当前目标赋予目标确认帧数这一参数并对目标确认帧数进行更新,例如,将当前目标的目标确认帧数加1。当目标确认帧数达到最小确认帧数时,认为当前目标是一个稳定出现的、正式的目标,多目标跟踪算法为其建立一个新的跟踪序号。进一步地,新出现的目标没有立即赋予其丢失帧数,只有这个新目标连续多帧都出现,即它的目标确认帧数达到最小确认帧数时,才会将其确认为正式的目标,并获得丢失帧数这个属性,此时会出现第二种情况,即若在下一帧该目标跟踪失败,那么该目标的丢失帧数会加1,若连续几帧该目标都丢失,则丢失帧数会累积,当丢失帧数大于或者等于最大丢失帧数时,删除该目标。
本实施例通过设置目标确认帧数和最大丢失帧数阈值,增加了对目标状态确认和丢失判断的进一步确认机制。在新目标出现时,等待目标确认帧数达标再分配跟踪序号,可以减少由临时噪声引起的误跟踪;而在目标丢失时,累计丢失帧数到达一定数量才终止跟踪,可以防止目标短暂离开视野后又回归时的跟踪中断。如此设置,增强了第一模型在复杂环境下的自适应能力和跟踪决策的稳定性。
在一个实施例中,还可以根据对误检目标和漏检目标之间的检测倾向,调整最小确认帧数和最大丢失帧数,以更好的完成检测任务的需求,其中,检测倾向是指对第一模型的训练偏重于对误检目标的检测还是偏重于对漏检目标的检测,该检测倾向根据实际的需求确定。例如,当对误检目标的检测倾向大于对漏检目标的检测倾向时,增大最小确认帧数,减小最大丢失帧数。又例如,当对漏检目标的检测倾向大于对误检目标的检测倾向时,减小最小确认帧数,增大最大丢失帧数。
作为示例,可以事先适当的改变***的最大丢失帧数和最小确认帧数。具体的,最大丢失帧数和最小确认帧数为两个预先设置的超参数,若目标检测任务的主要目的是检测第二模型的漏检目标,伴随检测误检目标,那么可以减小最小确认帧数,增大最大丢失帧数,这样能够减少第一模型的漏检,使得检测结果尽可能的包含图像帧中的所有真实目标,最终能够检测出更多的第二模型的漏检。同理,若目标检测任务的主要目的是检测第二模型的误检目标,伴随检测漏检目标,那么可以增大最小确认帧数,减少最大丢失帧数,这样能够减少第一模型的误检,使得检测结果尽可能准确,最终能够检测出更多的第二模型的误检。如此设置,根据主要检测的是漏检目标还是误检目标来设置最大丢失帧数和最小确认帧数,从而减少第一模型的漏检误检问题,使得检测结果具有高的准确性,最后能够检测出更多第二模型的漏检和误检的缺陷。
在一个实施例中,提供了一种模型训练方法。图4为本实施例的模型训练方法的流程图,如图4所示,以该方法运行于图1所示的终端为例,该流程包括如下步骤:
步骤S401,基于模型缺陷检测方法,获取用于目标检测的第二模型的缺陷检测结果,其中,缺陷检测结果包括误检目标和/或漏检目标。可以采用上述任一实施例的模型缺陷检测方法,获取用于目标检测的第二模型的缺陷检测结果,具体细节可参考上述实施例,本实施例不再赘述。
步骤S402,根据缺陷检测结果,训练第二模型。
具体地,可以先获取对应于缺陷检测结果的缺陷检测图像,再根据缺陷检测结果生成对应的标注文件,最后根据缺陷检测图像和标注文件,生成训练集以用于第二模型的训练。其中,缺陷检测图像可以是包含缺陷检测结果的原始图像,也可以是包含缺陷检测结果的局部区域图像。缺陷检测图像中可以包含人、动物、车辆、建筑物等。可以按照设定的标注文件格式生成标注文件。例如,对于每一张缺陷检测图像,可以根据第一模型给出的缺陷检测类型、位置及尺寸等信息,创建出包括但不限于边界框坐标、多边形轮廓、标签类别等内容。
本实施例通过使用第一模型检测、筛选和标记出第二模型的缺陷,再基于第二模型的缺陷来训练第二模型,提高了训练数据的针对性和有效性,增强了第二模型的目标检测的性能。
在一个实施例中,图5给出了另一种模型训练方法的流程图,如图5所示,该流程包括如下步骤:
步骤S501,读取视频流中的图像帧,将其中的待检测图像输入第一模型和第二模型进行检测,分别获取对应的第一检测结果和第二检测结果,其中,第一模型采用多次目标检测策略;
步骤S502,将待检测图像的前一帧图像的目标识别结果作为多目标跟踪算法的输入,根据前一帧图像的目标识别结果对待检测图像进行目标跟踪,得到跟踪结果,并将跟踪结果和第一检测结果进行融合,以更新第一检测结果;
步骤S503,将更新后的第一检测结果和第二检测结果进行匹配,获取第二模型的误检目标和/或漏检目标;
步骤S504,在上述视频流中标记第二模型存在误检和/或漏检的图像帧,保存原始的图像帧并基于更新后的第一检测结果生成新的标注文件,基于原始的图像帧和新的标注文件形成新的漏检和/或误检的训练集;
步骤S505,将漏检和/或误检的训练集加入到第二模型的原始训练集中,对第二模型进行重新训练。
通过上述步骤S501至步骤S505,借助第一模型的性能优势,区分第二模型的漏检和误检,运用多目标跟踪法结合视频流的时间特性校正第一模型的第一检测结果,进而提升对第二模型的第二检测结果进行区分的准确性,最终能够自动生成对应的标注文件和训练集,以反复优化训练第二模型。
以下将以汽车驾驶场景为例介绍本申请提供的模型训练方法,当然,这其中也会涉及模型缺陷检测方法。本实施例涉及第一模型和第二模型,其中第一模型为结构复杂,参数量和计算量巨大并基于大量图像数据预训练得到,第二模型为在ADAS***硬件上应用的模型,结构较为简单,参数量和计算量小于第一模型。可以由车载摄像头采集视频,将该视频以图像帧的方式进行读取,作为两个模型的输入图像。第一模型和第二模型可以同时检测,也可以调换先后顺序,只要保证输入图像都是源于同一个视频的同一帧即可。
图6为本实施例的汽车驾驶场景的模型训练方法的流程图,如图6所示,该流程包括如下步骤:
步骤S601,从车辆车视摄像头的视频流中获得待检测图像,使用基于第二模型的目标检测网络进行目标检测,获得第二检测结果。
在将图像输入至第一模型和第二模型之前,可以先将图像分别以不同的大小进行缩放为第一图像和第二图像,以满足第一模型和第二模型的输入格式。需要说明的是,第一图像和第二图像都是同一时刻的图像,只是因为第一模型和第二模型所需要的图像输入大小和格式不同,所以可以通过图像缩放等预处理方式,将当前时刻的图像帧处理为第一图像和第二图像以适应不同模型的输入。同一输入图像中的检测结果可以包括但不限于各类车辆、行人、锥桶、车轮等车辆行驶场景中的常见物体。
步骤S602,通过第一模型对待检测图像进行全图检测,得到全图检测结果,对待检测图像按照一定的面积截取多个区域,使用基于多任务的第一模型的目标检测网络对多个区域分别进行检测,得到多个局部检测结果,将全图检测结果和多个局部检测结果进行融合,获得初始的第一检测结果。
图7为本实施例中对第一图像进行局部分割的示意图。如图7所示,分别示出了第一图像的原图、左侧区域图、中心区域图和右侧区域图。第一模型的多次目标检测策略,具体为将第一图像作为第一模型的输入,使用第一模型进行检测,获得第一模型对于第一图像的全图检测结果。然后截取第一图像中预设面积大小的区域,区域面积大小需保持小于第一图像的原始尺寸并大于或者等于第一模型的输入尺寸,例如从左到右共三块图像区域,分别称为左侧区域、中心区域、右侧区域,将这三块区域依次使用第一模型进行检测,分别获得对应的检测结果,即左侧检测结果、中心检测结果、右侧检测结果,最后将上述四个检测结果进行目标融合。
融合,可以是将上述三个区域得到的检测结果和全图检测结果中的目标,通过包括但不限于基于交并比计算得到的(Intersection over Union,简称IOU)相似度、目标实际像素面积、目标之间的中心距离、目标实际宽高比等方式,消除重复的目标,仅保留检测框最拟合并且置信度最高的最优结果,得到第一模型在第一图像中的检测结果。
步骤S603,基于待检测图像的前一帧图像的目标识别结果对待检测图像进行目标跟踪,将待检测图像的跟踪结果和待检测图像的初始的第一检测结果进行融合,得到更新后的第一检测结果,将更新后的第一检测结果与第二检测结果进行对比,得到第二模型漏检目标和误检目标。
在使用多目标跟踪算法进行目标跟踪时,设置多目标跟踪算法的最大丢失帧数、相似度阈值和最小确认帧数。
对图像帧中的目标分别设定固定的标志ID(即跟踪序号),在跟踪时可以使用匈牙利算法将不同图像帧中的同一目标进行目标关联。在一些实施例中,可以使用卡尔曼滤波器,基于前一帧图像中某一ID的目标识别结果预测待检测图像对应ID的目标区域作为预测结果,计算预测的目标区域和第一检测结果,即目标实际区域的IOU相似度,如果该相似度大于或者等于预设的相似度阈值,则表明跟踪成功,若相似度小于相似度阈值,则表明跟踪失败。
对于跟踪成功的目标,将该目标对应ID的跟踪帧数加1,利用待检测图像的第一检测结果中每个目标的ID来维护跟踪序号集合,跟踪序号集合包含一个图像帧中所有已经确认的目标对应的ID,具体地,维护跟踪序号集合指同一个目标的ID保持不变,比如检测到一个车,设定它的ID是1,在下一帧中又检测到这个车,并且匹配跟踪成功,那么保持它的ID还是1。
对于跟踪失败的目标,如果是在待检测图像中新出现的目标,将其对应ID的目标确认帧数加1,若该目标的目标确认帧数达到最小确认帧数,那么为该目标在跟踪序号集合中建立一个ID,如果是在前一帧图像中出现但是在待检测图像中消失的目标,这些目标在待检测图像中没有匹配到对应的ID,那么会将它们对应的丢失帧数增加1,丢失帧数大于或者等于最大丢失帧数的目标,将其对应的ID在跟踪序号集合中删除,将更新后的跟踪序号集合进行输出。
其中,所有目标都具有跟踪帧数和目标确认帧数,在跟踪成功或跟踪失败的情况下,这两个参数在每一个图像帧都会进行更新。
为了减少第一模型的漏检误检问题,需要区分主要检测的是漏检目标还是误检目标。为此,可以根据对误检目标和漏检目标之间的检测倾向,调整最小确认帧数和最大丢失帧数,以更好的完成检测任务的需求。该部分内容已在上述实施例做过介绍,此处不再赘述。
将更新后的跟踪序号集合中对应的一个或多个目标作为第一模型在第一图像中最终的第一检测结果。
将第一模型在第一图像中的最终的第一检测结果和第二模型在第二图像中的第二检测结果进行IOU匹配,在进行IOU匹配之前,可以预先设定目标实际区域面积、目标高度、目标宽度等条件对匹配的目标进行筛选过滤,将过滤后的目标再进行IOU匹配。在进行IOU匹配时,可以将在最终的第一检测结果中不存在,但是在第二检测结果中存在的目标,标记为第二模型的误检目标。和/或,将在最终的第一检测结果中存在,但是在第二检测结果中不存在的目标,标记为第二模型的漏检目标。
步骤S604,将漏检和误检的图像使用第一模型的检测结果进行标注,提供给第二模型进行训练微调。
将存在第二模型漏检和误检的图像帧进行原图保存,并按照设定的标注文件格式,基于第一模型的检测结果生成对应的标注文件,作为新的训练图像和对应的标注,在整个完整的视频流检测完毕后,将检测完毕的图像和标注作为新的训练集,添加到第二模型的原始训练集中重新对第二模型进行训练。
在上述步骤S601至S604中,一方面,第一模型基于多次目标检测策略得到更加精确的单帧检测结果。另一方面,第一模型的单帧检测结果基于多目标***,使其结合视频上下帧的信息,减少第一模型的漏检和误检,从而提高第二模型的漏检误检检测成功率。将检测后的漏检误检自动生成对应的标注文件,从而形成新的误检漏检训练集,对第二模型进行重新训练,能够大大提高第二模型的准确性和鲁棒性。
在一个实施例中,提供了一种目标检测方法。图8为本实施例的目标检测方法的流程图,如图8所示,以该方法运行于图1所示的终端为例,该流程包括如下步骤:
步骤S701,获取第二模型。可以采用上述任实施例的模型训练方法获取第二模型,具体细节可参考上述实施例,本实施例不再赘述。
步骤S702,调用第二模型对目标图像进行目标检测,输出目标检测结果。其中,目标图像为实际应用场景下待进行目标检测的图像,不仅可以出自ADAS应用场景,也可以是在其他交通、商场、工业、农业、畜牧业等应用场景中拍摄的视频图像,可以包含行人、车辆、动物或者其他物体。
本实施例的第二模型,由于是通过具有针对性的缺陷数据训练得到,使得第二模型具备较好的目标检测的性能,因而其所得到的目标检测结果也较为准确。
本实施例提供的目标检测方法,还可以应用于如图9所示的应用环境中。其中,终端81通过网络与服务器82进行通信。数据存储***83可以存储服务器82需要处理的数据。数据存储***83可以集成在服务器82上,也可以放在云上或其他网络服务器上。终端81可以执行图7所示的目标检测方法。其中,终端81可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器82可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
此外,本申请提供的方法实施例(模型缺陷检测方法、模型训练方法或者目标检测方法)还可以基于CPU或GPU运行,最终训练结束的模型可以部署到汽车、手机、电脑监控等相应硬件端。除了ADAS领域,本申请提供的方法还可以用于人脸检测、动物检测、建筑物检测等基于目标检测算法的其他场景。
在一个实施例中,提供了一种驾驶辅助***,用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图10为本实施例的驾驶辅助***的结构示意图,如图10所示,该***包括:图像采集模块100、智能终端200。其中,图像采集模100块用于采集图像,智能终端200用于接收图像,并基于目标检测方法对图像进行目标检测,输出目标检测结果。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在一个实施例中,还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
需要说明的是,在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,在本实施例中不再赘述。
此外,结合上述实施例中提供的模型缺陷检测方法、模型训练方法或者目标检测方法,在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种模型缺陷检测方法、模型训练方法或者目标检测方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图11所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示单元和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种模型缺陷检测方法、模型训练方法或者目标检测方法。该计算机设备的显示单元可以是液晶显示单元或者电子墨水显示单元,该计算机设备的输入装置可以是显示单元上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
应该明白的是,上述描述的具体实施例只是用来解释相关应用,而不是用来对它进行限定。根据本申请提供的实施例,本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例,均属本申请保护范围。
显然,附图只是本申请的一些例子或实施例,对本领域的普通技术人员来说,也可以根据这些附图将本申请适用于其他类似情况,但无需付出创造性劳动。另外,可以理解的是,尽管在此开发过程中所做的工作可能是复杂和漫长的,但是,对于本领域的普通技术人员来说,根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段,不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例,也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是,本申请中描述的实施例在没有冲突的情况下,可以与其它实施例结合。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。本申请实施例中涉及对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对专利保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (16)
1.一种模型缺陷检测方法,其特征在于,包括:
获取第一模型对待检测图像进行多次目标检测后生成的第一检测结果;
根据所述待检测图像的前一帧图像的目标识别结果对所述待检测图像进行目标跟踪,得到跟踪结果;
根据所述跟踪结果,更新所述第一检测结果;
获取第二模型对所述待检测图像进行目标检测后生成的第二检测结果;
将所述第一检测结果和所述第二检测结果进行比对,得到所述第二模型的缺陷检测结果;其中,所述缺陷检测结果包括误检目标和/或漏检目标;
其中,根据所述待检测图像的前一帧图像的目标识别结果对所述待检测图像进行目标跟踪,得到跟踪结果,包括:
根据对所述误检目标和所述漏检目标之间的检测倾向,调整最小确认帧数和最大丢失帧数;
其中,所述最小确认帧数为新出现目标需要出现在若干帧图像中才能被正式确认为跟踪目标所需要的最少帧数;
其中,所述最大丢失帧数为已存在目标需要在若干帧图像中未被检测到才能被正式确认为丢失目标所需要的最少帧数。
2.根据权利要求1所述的模型缺陷检测方法,其特征在于,所述第一模型对待检测图像进行多次目标检测,包括:
所述第一模型对所述待检测图像的至少两个区域分别进行目标检测。
3.根据权利要求2所述的模型缺陷检测方法,其特征在于,获取第一模型对待检测图像进行多次目标检测后生成的第一检测结果,包括:
将所述待检测图像输入至所述第一模型进行目标检测,得到全图检测结果;
将所述待检测图像进行分割,将分割后得到的多个局部图像输入至所述第一模型进行目标检测,得到多个局部检测结果;
将所述全图检测结果和所述多个局部检测结果进行融合,得到所述第一检测结果。
4.根据权利要求1所述的模型缺陷检测方法,其特征在于,根据所述待检测图像的前一帧图像的目标识别结果对所述待检测图像进行目标跟踪,得到跟踪结果包括:
判断所述前一帧图像中的多个目标在所述待检测图像中的跟踪结果为跟踪成功或者跟踪失败,其中,每个所述目标对应一个跟踪序号,所述多个目标的跟踪序号构成跟踪序号集合;
根据所述跟踪成功或者跟踪失败的情况更新所述跟踪序号集合,并将更新后的所述跟踪序号集合作为所述跟踪结果。
5.根据权利要求4所述的模型缺陷检测方法,其特征在于,判断所述前一帧图像中的多个目标在所述待检测图像中的跟踪结果为跟踪成功或者跟踪失败包括:
根据所述前一帧图像中的目标识别结果对所述待检测图像中各目标的跟踪结果进行预测,得到预测结果;
根据所述预测结果和所述第一检测结果中各目标的检测结果的相似度,判断各目标的跟踪结果为跟踪成功或者跟踪失败。
6.根据权利要求4所述的模型缺陷检测方法,其特征在于,根据所述跟踪成功或者跟踪失败的情况更新所述跟踪序号集合包括:
在判定所述前一帧图像中当前目标在所述待检测图像中的所述跟踪结果为跟踪成功的情况下,保持所述当前目标的跟踪序号不变。
7.根据权利要求4所述的模型缺陷检测方法,其特征在于,根据所述跟踪成功或者跟踪失败的情况更新所述跟踪序号集合,包括:
在判定所述前一帧图像中当前目标在所述待检测图像中的所述跟踪结果为跟踪失败的情况下,
当所述当前目标为所述待检测图像中出现的新目标时,在所述跟踪序号集合中为所述当前目标建立一个新的跟踪序号;
当所述当前目标为所述前一帧图像中的丢失目标时,在所述跟踪序号集合中删除所述当前目标的跟踪序号。
8.根据权利要求7所述的模型缺陷检测方法,其特征在于,所述方法还包括:
当所述当前目标为所述待检测图像中出现的新目标时,更新所述当前目标的目标确认帧数,当所述目标确认帧数达到所述最小确认帧数时,为所述当前目标建立一个新的跟踪序号;
当所述当前目标为所述前一帧图像中的丢失目标时,更新所述当前目标的丢失帧数,当所述丢失帧数大于或者等于所述最大丢失帧数时,在所述跟踪序号集合中删除所述当前目标的跟踪序号。
9.根据权利要求8所述的模型缺陷检测方法,其特征在于,根据对所述误检目标和所述漏检目标之间的检测倾向,调整所述最小确认帧数和所述最大丢失帧数,包括:
当对所述误检目标的检测倾向大于对所述漏检目标的检测倾向时,增大所述最小确认帧数,减小所述最大丢失帧数;或者,
当对所述漏检目标的检测倾向大于对所述误检目标的检测倾向时,减小所述最小确认帧数,增大所述最大丢失帧数。
10.根据权利要求1所述的模型缺陷检测方法,其特征在于,将所述第一检测结果和所述第二检测结果进行比对,得到所述第二模型的缺陷检测结果,包括:
将在所述第一检测结果中不存在,但是在所述第二检测结果中存在的目标,标记为所述第二模型的误检目标;和/或,
将在所述第一检测结果中存在,但是在所述第二检测结果中不存在的目标,标记为所述第二模型的漏检目标。
11.一种模型训练方法,其特征在于,包括:
基于权利要求1至权利要求10中任一项所述的模型缺陷检测方法,获取用于目标检测的第二模型的缺陷检测结果;
根据所述缺陷检测结果,训练所述第二模型。
12.根据权利要求11所述的模型训练方法,其特征在于,根据所述缺陷检测结果,训练所述第二模型,包括:
获取对应于所述缺陷检测结果的缺陷检测图像;
根据所述缺陷检测结果生成对应的标注文件;
根据所述缺陷检测图像和所述标注文件,生成训练集以用于所述第二模型的训练。
13.一种目标检测方法,其特征在于,包括:
获取基于权利要求11或权利要求12训练得到的第二模型;
调用所述第二模型对目标图像进行目标检测,输出目标检测结果。
14.一种驾驶辅助***,其特征在于,包括:图像采集模块、智能终端;其中,所述图像采集模块用于采集图像,所述智能终端用于接收所述图像,并基于权利要求13所述的目标检测方法对所述图像进行目标检测,输出目标检测结果。
15.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至权利要求13中任一项所述的方法。
16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至权利要求13中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410160313.7A CN117710944B (zh) | 2024-02-05 | 2024-02-05 | 模型缺陷检测方法、模型训练方法、目标检测方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410160313.7A CN117710944B (zh) | 2024-02-05 | 2024-02-05 | 模型缺陷检测方法、模型训练方法、目标检测方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117710944A CN117710944A (zh) | 2024-03-15 |
CN117710944B true CN117710944B (zh) | 2024-06-25 |
Family
ID=90157251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410160313.7A Active CN117710944B (zh) | 2024-02-05 | 2024-02-05 | 模型缺陷检测方法、模型训练方法、目标检测方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117710944B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105930833A (zh) * | 2016-05-19 | 2016-09-07 | 重庆邮电大学 | 一种基于视频监控的车辆跟踪与分割方法 |
CN114445682A (zh) * | 2022-01-28 | 2022-05-06 | 北京百度网讯科技有限公司 | 训练模型的方法、装置、电子设备、存储介质及产品 |
CN116486288A (zh) * | 2023-04-23 | 2023-07-25 | 东南大学 | 基于轻量级密度估计网络的航拍目标计数与检测方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112639872B (zh) * | 2020-04-24 | 2022-02-11 | 华为技术有限公司 | 一种目标检测中难例挖掘的方法及装置 |
CN111814850A (zh) * | 2020-06-22 | 2020-10-23 | 浙江大华技术股份有限公司 | 缺陷检测模型训练方法、缺陷检测方法及相关装置 |
JP7507957B2 (ja) * | 2021-03-11 | 2024-06-28 | 株式会社日立国際電気 | 画像解析システム及び機械学習モデルの更新方法 |
CN113537145B (zh) * | 2021-06-28 | 2024-02-09 | 青鸟消防股份有限公司 | 目标检测中误、漏检快速解决的方法、装置及存储介质 |
CN113469020A (zh) * | 2021-06-29 | 2021-10-01 | 苏州一径科技有限公司 | 一种基于聚类的目标检测模型的评估方法 |
CN113642490B (zh) * | 2021-08-19 | 2023-07-11 | 厦门熵基科技有限公司 | 一种目标检测跟踪一体化方法及装置 |
CN113920158A (zh) * | 2021-09-10 | 2022-01-11 | 北京精英路通科技有限公司 | 跟踪模型的训练与交通对象跟踪方法、装置 |
CN116188940A (zh) * | 2023-01-09 | 2023-05-30 | 阳光电源股份有限公司 | 训练模型的方法、装置、存储介质以及电子设备 |
-
2024
- 2024-02-05 CN CN202410160313.7A patent/CN117710944B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105930833A (zh) * | 2016-05-19 | 2016-09-07 | 重庆邮电大学 | 一种基于视频监控的车辆跟踪与分割方法 |
CN114445682A (zh) * | 2022-01-28 | 2022-05-06 | 北京百度网讯科技有限公司 | 训练模型的方法、装置、电子设备、存储介质及产品 |
CN116486288A (zh) * | 2023-04-23 | 2023-07-25 | 东南大学 | 基于轻量级密度估计网络的航拍目标计数与检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117710944A (zh) | 2024-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP4152204A1 (en) | Lane line detection method, and related apparatus | |
CN109087510B (zh) | 交通监测方法及装置 | |
JP2022506920A (ja) | 区画線検出方法、装置、電子機器及び可読記憶媒体 | |
CN109726739A (zh) | 一种目标检测方法和*** | |
CN112037247A (zh) | 一种目标跟踪的方法、装置及计算机存储介质 | |
CN112052778B (zh) | 一种交通标志识别方法以及相关装置 | |
CN112432650B (zh) | 高精地图数据的获取方法、车辆控制方法以及设备 | |
US20220357176A1 (en) | Methods and data processing systems for predicting road attributes | |
CN114998744B (zh) | 基于运动与视觉双特征融合的农机轨迹田路分割方法及装置 | |
CN116186354B (zh) | 区域画像显示方法、装置、电子设备和计算机可读介质 | |
CN110751076A (zh) | 车辆检测方法 | |
CN114549562A (zh) | 基于UNet的半自动化的倾斜摄影实景模型建筑物单体化方法、***、设备和存储介质 | |
CN117710944B (zh) | 模型缺陷检测方法、模型训练方法、目标检测方法和*** | |
CN113673288B (zh) | 空闲车位检测方法、装置、计算机设备及存储介质 | |
CN112580565A (zh) | 车道线检测方法、装置、计算机设备和存储介质 | |
CN111401229A (zh) | 视觉小目标自动标注方法、装置及电子设备 | |
CN115712749A (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
CN115909241A (zh) | 一种车道线检测方法、***、电子设备和存储介质 | |
CN112861900B (zh) | 影像***及检测方法 | |
CN112561956A (zh) | 视频目标跟踪方法、装置、电子设备及存储介质 | |
CN111765892A (zh) | 一种定位方法、装置、电子设备及计算机可读存储介质 | |
KR102053246B1 (ko) | 도로검출 시스템 및 방법 | |
CN114820672A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN114821528A (zh) | 一种车道线检测方法、装置、电子设备及存储介质 | |
CN116311167A (zh) | 用于车道线融合的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |