CN116824574A - 目标检测方法、装置、设备和计算机可读存储介质 - Google Patents
目标检测方法、装置、设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN116824574A CN116824574A CN202310764207.5A CN202310764207A CN116824574A CN 116824574 A CN116824574 A CN 116824574A CN 202310764207 A CN202310764207 A CN 202310764207A CN 116824574 A CN116824574 A CN 116824574A
- Authority
- CN
- China
- Prior art keywords
- detection result
- target
- static
- current frame
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 568
- 230000003068 static effect Effects 0.000 claims abstract description 394
- 238000000034 method Methods 0.000 claims abstract description 67
- 238000007499 fusion processing Methods 0.000 claims abstract description 37
- 230000015654 memory Effects 0.000 claims description 37
- 230000011218 segmentation Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 29
- 230000004927 fusion Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 9
- 230000008447 perception Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种目标检测方法、装置、设备和计算机可读存储介质,该方法包括:确定当前帧中各目标的第一检测结果,以及确定历史帧中各静态目标的第二检测结果,其中,历史帧为在当前帧之前的至少一个帧;对第一检测结果与第二检测结果进行融合处理,得到历史帧中与当前帧中各目标视为不同目标的各静态目标的第三检测结果;对第一检测结果与第三检测结果进行融合处理,得到当前帧中各目标的目标检测结果。如此,可以避免静态目标在连续帧中忽隐忽现,提高了环境感知时的感知精度以及***的鲁棒性。
Description
技术领域
本发明涉及人工智能领域,尤其涉及一种目标检测方法、装置、设备和计算机可读存储介质。
背景技术
相关技术中,三维目标检测能够使得自动驾驶车辆预判和规划自己的行为和路径,在自动驾驶***中占据重要地位。大多数的三维目标检测任务在当前帧下具有很好的实时目标检测性能,然而,由于每一帧的目标检测任务是独立的,并没有利用帧与帧之间的联系,也并未对历史帧进行相关学习,当后续帧突然获取不到静态目标(例如静态目标被遮挡)的时候容易出现跳变,导致静态目标在连续帧中忽隐忽现,降低了环境感知时的感知精度以及***的鲁棒性。
发明内容
本发明提出一种目标检测方法、装置、设备和计算机可读存储介质,可以避免静态目标在连续帧中忽隐忽现,提高了环境感知时的感知精度以及***的鲁棒性。
为了实现上述目的,本发明采用的技术方案如下:
第一方面,本发明实施例提供了一种目标检测方法,该方法可以包括:
确定当前帧中各目标的第一检测结果,以及确定历史帧中各静态目标的第二检测结果,其中,历史帧为在当前帧之前的至少一个帧;
对第一检测结果与第二检测结果进行融合处理,得到历史帧中与当前帧中各目标视为不同目标的各静态目标的第三检测结果;
对第一检测结果与第三检测结果进行融合处理,得到当前帧中各目标的目标检测结果。
第二方面,本发明实施例提供了一种目标检测装置,该装置包括确定单元和融合单元,其中:
确定单元,配置为确定当前帧中各目标的第一检测结果,以及确定历史帧中各静态目标的第二检测结果,其中,历史帧为在当前帧之前的至少一个帧;
融合单元,配置为对第一检测结果与第二检测结果进行融合处理,得到历史帧中与当前帧中各目标视为不同目标的各静态目标的第三检测结果;
融合单元,还配置为对第一检测结果与第三检测结果进行融合处理,得到当前帧中各目标的目标检测结果。
第三方面,本发明实施例提供了一种电子设备,该电子设备包括存储器和处理器,其中:
存储器,配置为存储能够在处理器上运行的计算机程序;
处理器,配置为在运行计算机程序时,执行如第一方面所述的方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被至少一个处理器执行时实现如第一方面所述的方法。
本发明的有益效果:可以确定当前帧中各目标的第一检测结果,以及确定历史帧中各静态目标的第二检测结果,其中,历史帧为在当前帧之前的至少一个帧;对第一检测结果与第二检测结果进行融合处理,得到历史帧中与当前帧中各目标视为不同目标的各静态目标的第三检测结果;对第一检测结果与第三检测结果进行融合处理,得到当前帧中各目标的目标检测结果。这样,在获取当前帧中各目标的目标检测结果时,通过融合当前帧中各目标的第一检测结果,以及历史帧中与当前帧中各目标视为不同目标的各静态目标的第三检测结果,从而建立当前帧与历史帧之间的联系。如此,在当前帧突然获取不到某一静态目标(例如静态目标被遮挡)的检测结果时,可以从历史帧中获取到该静态目标的检测结果。也就是说,在通过第一检测结果获取不到该静态目标的检测结果时,可以通过第三检测结果获取到该静态目标的检测结果。从而避免该静态目标在连续帧中忽隐忽现,提高了环境感知时的感知精度以及***的鲁棒性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开的技术方案。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本发明的实施例,并与说明书一起用于说明本发明的技术方案。
图1是本发明实施例提供的一种目标检测方法的流程示意图一;
图2是本发明实施例提供的一种目标检测方法的流程示意图二;
图3是本发明实施例提供的一种目标检测方法的流程示意图三;
图4是本发明实施例提供的一种目标检测方法的流程示意图四;
图5是本发明实施例提供的一种目标检测方法的详细流程示意图;
图6是本发明实施例提供的一种目标检测装置的组成结构示意图;
图7是本发明实施例提供的一种电子设备的组成结构示意图;
图8是本发明实施例提供的另一种电子设备的组成结构示意图。
具体实施方式
为了能够更加详尽地了解本发明实施例的特点与技术内容,下面结合附图对本发明实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本发明实施例。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的,不是旨在限制本发明。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结
还需要指出,本发明实施例所涉及的术语“第一\第二\第三”仅是用于区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
本发明实施例中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如对象A和/或对象B,可以表示:单独存在对象A,同时存在对象A和对象B,单独存在对象B这三种情况。
此外,在本发明实施例中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
相关技术中,三维目标检测在自动驾驶***中有重要地位,可以让自动驾驶车辆准备预判和规划自己的行为和路径。三维目标检测主要包括感知模块、定位模块、预测模块和规划模块,其中:
感知模块主要通过激光雷达、相机等传感器对自动驾驶车辆周围场景的目标进行三维感知,即输入当前帧中包括点云、图像等感知信息,输出当前帧中各目标在传感器坐标系下的包围盒,即当前帧中各目标的中心点坐标、长度、宽度、高度、航向角以及置信度。
定位模块可以对当前帧中各目标进行定位,从而获得当前帧中各目标在世界坐标系下的位姿。
预测模块可以对自动驾驶车辆未来一段时间内的运动轨迹进行预测。
规划模块可以为自动驾驶车辆规划出避开障碍物的运动轨迹。
大多数的三维目标检测任务在当前帧下具有很好的实时目标检测性能,然而,由于每一帧的检测任务是独立的,并没有利用帧与帧之间的联系,并未对历史帧进行相关学习。在后续帧突然获取不到静态目标(例如,静态目标被遮挡;再例如,静态目标被漏检)的检测结果时容易出现跳变,导致静态目标在连续帧中忽隐忽现,降低了环境感知时的感知精度以及***的鲁棒性。
示例性地,当感知模块感知到交通锥等静态目标时,前几帧中某一静态目标的置信度超过预设阈值,当前帧中该静态目标的置信度却又低于预设阈值,导致后续模块(如预测模块,又如规划模块)突然收不到该静态目标的检测结果,这样的现象并不符合客观规律,对后续模块的算法执行影响较大。
基于此,本发明实施例提供了一种目标检测方法,可以确定当前帧中各目标的第一检测结果,以及确定历史帧中各静态目标的第二检测结果,其中,历史帧为在当前帧之前的至少一个帧;对第一检测结果与第二检测结果进行融合处理,得到历史帧中与当前帧中各目标视为不同目标的各静态目标的第三检测结果;对第一检测结果与第三检测结果进行融合处理,得到当前帧中各目标的目标检测结果。这样,在获取当前帧中各目标的目标检测结果时,通过融合当前帧中各目标的第一检测结果,以及历史帧中与当前帧中各目标视为不同目标的各静态目标的第三检测结果,从而建立当前帧与历史帧之间的联系。如此,在当前帧突然获取不到某一静态目标(例如静态目标被遮挡)的检测结果时,可以从历史帧中获取到该静态目标的检测结果。也就是说,在通过第一检测结果获取不到该静态目标的检测结果时,可以通过第三检测结果获取到该静态目标的检测结果。从而避免该静态目标在连续帧中忽隐忽现,提高了环境感知时的感知精度以及***的鲁棒性。
为便于理解本发明实施例的技术方案,以下通过具体实施例详述本发明的技术方案。以上相关技术作为可选方案与本发明实施例的技术方案可以进行任意结合,其均属于本发明实施例的保护范围。本发明实施例包括以下内容中的至少部分内容。
在本发明的一实施例中,图1是本发明实施例提供的一种目标检测方法的流程示意图一。如图1所示,该方法可以包括如下步骤。
S110、确定当前帧中各目标的第一检测结果,以及确定历史帧中各静态目标的第二检测结果。
需要说明的是,当前帧中各目标可以包括当前帧中各静态目标和当前帧中各动态目标。
示例性地,静态目标可以认为是在世界坐标系下位置静止不变的目标。例如,静态目标可以是交通锥、方向牌等等。
示例性地,动态目标可以认为是在世界坐标系下位置发生变化的目标。例如,动态目标可以是除自动驾驶车辆之外的其他车辆。
在一些实施例中,第一检测结果可以包括当前帧中各目标的以下至少一项:中心点坐标、长度、宽度、高度、航向角以及置信度。
在一些实施例中,历史帧为在当前帧之前的至少一个帧。
示例性地,假设有5个帧,分别记为帧1~帧5,则帧1~帧4可以是历史帧,帧5可以是当前帧,此时帧1~帧4均在帧5之前。
在一些实施例中,第二检测结果可以包括历史帧中各静态目标的以下至少一项:中心点坐标、长度、宽度、高度、航向角以及置信度。
需要说明的是,由于静态目标在世界坐标系下位置静止不变,因此对于当前帧和历史帧来说,当前帧中该静态目标的位置和历史帧中该静态目标的位置是一样的。在当前帧中获取不到该静态目标的检测结果时,可以从历史帧中获取该静态目标的检测结果。
在本发明实施例中,历史帧中的各静态目标存储在缓存中的存储空间中。由于缓存中的存储空间是有限的,且历史帧中距离当前帧时间戳较远的静态目标于与当前帧中的静态目标大概率不同,因此在得到第二检测结果之前,需要对历史帧中部分静态目标的检测结果进行删除处理。也就是说,第二检测结果可以是在删除历史帧中部分静态目标的检测结果之后得到的。
基于此,在一些实施例中,方法还可以包括:当历史帧中各静态目标的数量大于第一预设值时,计算历史帧中各静态目标的时间戳与当前帧的时间戳之间的时间差;对历史帧中各静态目标按照时间差从小到大进行排序,删除历史帧中位于第p个之后的各静态目标的检测结果,得到第二检测结果。
其中,p表示第一预设值,且p为正整数。
需要说明的是,一帧对应的时间戳有一个。对于当前帧来说,当前帧对应的时间戳有一个。对于历史帧来说,由于历史帧为在当前帧之前的至少一个帧,因此在历史帧为一个帧时,历史帧对应的时间戳有一个;在历史帧为多个帧时,历史帧对应的时间戳有多个,在该情况下历史帧中各静态目标的时间戳也会存在不同。
还需要说明的是,第一预设值可以为一个特定的数值。这里,针对具体的取值,第一预设值可以是预定义的,也可以是根据其他方式设定的,本发明实施例对此不作限定。
还需要说明的是,第一预设值可以是缓存中存储空间的上限。
示例性地,假设第一预设值是200,在历史帧中各静态目标的数量超过200时,可以删除距离当前帧时间戳时间较远的部分静态目标的检测结果,即删除历史帧中位于第200个之后的各静态目标的检测结果,并将历史帧中位于第200个之前的各静态目标的检测结果作为第二检测结果,此时可以认为该第二检测结果为最新的检测结果。
通过该方法,在缓存中的存储空间不足时,可以删除距离当前帧时间戳时间较远的静态目标的检测结果,从而可以在不对当前帧中静态目标的检测结果产生影响的前提下,释放缓存中的存储空间。
在本发明实施例中,随着自动驾驶车辆的移动,历史帧中的部分静态目标可能由于距离当前帧的自动驾驶车辆的距离较远而对当前帧的自动驾驶车辆不构成影响,因此在得到第二检测结果之前,需要对历史帧中部分静态目标的检测结果进行删除处理。也就是说,第二检测结果可以是在删除历史帧中部分静态目标的检测结果之后得到的。
基于此,在一些实施例中,方法还可以包括:计算历史帧中各静态目标与当前帧的自动驾驶车辆之间的距离;删除历史帧中距离大于第二预设值的各静态目标的检测结果,得到第二检测结果。
需要说明的是,第二预设值可以为一个特定的数值。这里,针对具体的取值,第二预设值可以是预定义的,也可以是根据其他方式设定的,本发明实施例对此不作限定。
示例性地,假设第二预设值为50m,在历史帧中各静态目标与当前帧的自动驾驶车辆之间的距离大于50m时,可以删除历史帧中距离当前帧的自动驾驶车辆的距离较远的部分静态目标的检测结果,即删除历史帧中距离大于50m的各静态目标的检测结果,并将历史帧中距离小于50m的各静态目标的检测结果作为第二检测结果,此时可以认为该第二检测结果为最新的检测结果。
通过该方法,在历史帧中的部分静态目标由于距离当前帧的自动驾驶车辆的距离较远时,可以删除该部分静态目标的检测结果,从而可以在不对当前帧中静态目标的检测结果产生影响的前提下,释放缓存中的存储空间。
需要说明的是,在本发明实施例中,在得到第二检测结果之前,可以删除历史帧中位于第第一预设值个之后的各静态目标的检测结果,也可以删除历史帧中距离大于第二预设值的各静态目标的检测结果,也可以既删除历史帧中位于第第一预设值个之后的各静态目标的检测结果,又删除历史帧中距离大于第二预设值的各静态目标的检测结果。
还需要说明的是,在本发明实施例中,在得到第二检测结果之前,若选择既删除历史帧中位于第第一预设值个之后的各静态目标的检测结果,又删除历史帧中距离大于第二预设值的各静态目标的检测结果,则二者的删除并没有时间上的先后顺序。也就是说,可以选择先删除历史帧中位于第第一预设值个之后的各静态目标的检测结果,再删除历史帧中距离大于第二预设值的各静态目标的检测结果;或者,可以选择先删除历史帧中距离大于第二预设值的各静态目标的检测结果,再删除历史帧中位于第第一预设值个之后的各静态目标的检测结果;或者,可以选择同时删除历史帧中位于第第一预设值个之后的各静态目标的检测结果,以及历史帧中距离大于第二预设值的各静态目标的检测结果。本发明实施例对此不作限定。
S120、对第一检测结果与第二检测结果进行融合处理,得到历史帧中与当前帧中各目标视为不同目标的各静态目标的第三检测结果。
在一些实施例中,第三检测结果可以包括历史帧中各静态目标的以下至少一项:中心点坐标、长度、宽度、高度、航向角以及置信度。
需要说明的是,视为不同目标可以理解为,历史帧中的静态目标与当前帧中的静态目标本质上为同一目标,但是当前帧中的静态目标可能由于遮挡等原因,从而与历史帧中的静态目标视为不同目标。
还需要说明的是,由于静态目标不同于动态目标,因此在历史帧中的静态目标与当前帧中的静态目标视为不同目标时,历史帧中的静态目标与当前帧中的目标(包括静态目标和动态目标)也视为不同目标。
应理解,由于第一检测结果与第二检测结果之间存在视为相同的目标,因此,对第一检测结果与第二检测结果进行融合处理,可以理解为,从第二检测结果中删除与当前帧中各目标视为相同目标的各静态目标的检测结果,从而得到历史帧中与当前帧中各目标视为不同目标的各静态目标的第三检测结果。
还应理解,第一检测结果与第二检测结果之间的融合是一种删除式融合。
还应理解,由于从第二检测结果中删除与当前帧中各目标视为相同目标的各静态目标的检测结果,得到第三检测结果,因此,第三检测结果中各静态目标的数量小于或等于第二检测结果中各静态目标的数量。在第三检测结果中各静态目标的数量等于第二检测结果中各静态目标的数量时,说明第二检测结果中不存在与当前帧中各目标视为相同目标的各静态目标的检测结果,此时第二检测结果即为第三检测结果。
通过该方法,可以使得第一检测结果与第三检测结果之间不存在视为相同目标的各静态目标的检测结果。也就是说,当前帧中的各静态目标与历史帧中的各静态目标均视为不同的静态目标。从而不会导致第一检测结果与第三检测结果之间的重复。
S130、对第一检测结果与第三检测结果进行融合处理,得到当前帧中各目标的目标检测结果。
在一些实施例中,目标检测结果可以包括当前帧中各目标的以下至少一项:中心点坐标、长度、宽度、高度、航向角以及置信度。
应理解,由于第一检测结果与第三检测结果之间不存在视为相同目标的各静态目标的检测结果,对第一检测结果与第三检测结果进行融合处理,得到的目标检测结果中既包括第一检测结果,又包括了第三检测结果。
还应理解,第一检测结果与第三检测结果之间的融合为合并式融合。
通过该方法,在通过第一检测结果获取不到静态目标的检测结果时,可以通过第三检测结果获取到该静态目标的检测结果。也就是说,在第一检测结果与第三检测结果进行融合处理得到目标检测结果时,通过目标检测结果便能够获取到该静态目标的检测结果,从而避免了该静态目标在连续帧中忽隐忽现,提高了环境感知时的感知精度以及***的鲁棒性。
在一些实施例中,对第一检测结果与第三检测结果进行融合处理,得到目标检测结果,可以包括:确定当前帧中置信度大于第七预设值的各静态目标的第六检测结果;确定当前帧中置信度小于或等于第七预设值的各静态目标与各动态目标的第七检测结果;对第六检测结果、第七检测结果与第三检测结果进行融合处理,得到目标检测结果。
在一些实施例中,第一检测结果可以包括第六检测结果和第七检测结果。
需要说明的是,由于第一检测结果与第三检测结果之间的融合为合并式融合,因此,第六检测结果、第七检测结果与第三检测结果之间的融合也为合并式融合。
还需要说明的是,第七预设值可以为一个特定的数值。这里,针对具体的取值,第七预设值可以是预定义的,也可以是根据其他方式设定的,本发明实施例对此不作限定。
示例性地,假设第七预设值为0.6,将第三检测结果记为R1,第六检测结果记为R2,第七检测结果记为R3,则在检测目标类别为交通锥等静态目标且置信度超过0.6时,交通锥等静态目标的检测结果即为第六检测结果R2;在检测类别为动态目标(例如行人、车辆)与置信度小于0.6等静态目标时,此时动态目标与置信度小于0.6等静态目标的检测结果即为第七检测结果R3,将R1、R2和R3进行合并处理,可以得到目标检测结果。
通过该方法,当前帧中置信度大于第七预设值的各静态目标可以对下一帧的自动驾驶车辆构成影响,而当前帧中置信度小于或等于第七预设值的各静态目标以及各动态目标对下一帧的自动驾驶车辆不构成影响。因此,相比于直接对第一检测结果和第三检测结果进行融合处理,对第六检测结果、第七检测结果与第三检测结果进行融合处理,更容易分辨出哪些目标的检测结果能够对下一帧的自动驾驶车辆构成影响。
本发明实施例提供了一种目标检测方法,可以确定当前帧中各目标的第一检测结果,以及确定历史帧中各静态目标的第二检测结果,其中,历史帧为在当前帧之前的至少一个帧;对第一检测结果与第二检测结果进行融合处理,得到历史帧中与当前帧中各目标视为不同目标的各静态目标的第三检测结果;对第一检测结果与第三检测结果进行融合处理,得到当前帧中各目标的目标检测结果。这样,在获取当前帧中各目标的目标检测结果时,通过融合当前帧中各目标的第一检测结果,以及历史帧中与当前帧中各目标视为不同目标的各静态目标的第三检测结果,从而建立当前帧与历史帧之间的联系。如此,在当前帧突然获取不到某一静态目标(例如静态目标被遮挡)的检测结果时,可以从历史帧中获取到该静态目标的检测结果。也就是说,在通过第一检测结果获取不到该静态目标的检测结果时,可以通过第三检测结果获取到该静态目标的检测结果。从而避免该静态目标在连续帧中忽隐忽现,提高了环境感知时的感知精度以及***的鲁棒性。
相关技术中,第一检测结果的准确性影响了环境感知时的感知精度以及***的鲁棒性。因此,如何提高第一检测结果的准确性是亟需解决的问题。
在本发明的另一实施例中,基于前述实施例的目标检测方法,本发明实施例在确定第一检测结果时,可以提高第一检测结果的准确性。
图2是本发明实施例提供的一种目标检测方法的流程示意图二。如图2所示,确定当前帧中各目标的第一检测结果,可以包括如下步骤:
S210、获取当前帧中各目标的图像数据;
S220、通过深度预测模型对当前帧中各目标的图像数据进行深度处理,得到伪点云图;
S230、根据三维检测模型对伪点云图进行检测处理,得到当前帧中各目标的第四检测结果,将第四检测结果作为第一检测结果。
需要说明的是,深度预测模型可以是经训练得到的。
示例性地,可以获取图像数据和对应的点云数据,并利用该图像数据和点云数据训练深度估计网络,从而得到性能良好的深度预测模型。
在一些实施例中,通过深度预测模型对当前帧中各目标的图像数据进行深度处理,得到伪点云图,可以包括:通过深度预测模型对当前帧中各目标的图像数据进行深度处理,得到深度图;基于深度图,生成伪点云图。
需要说明的是,三维检测模型可以是经训练得到的。
示例性地,三维检测模型可以是MPPNet,PointPillars等等。
还需要说明的是,在本发明实施例中,三维检测模型可以是使用pytorch深度框架搭建而成的,该三维检测模型可以包括三个部分:使用网格的点云特征提取器,卷积中间提取层以及区域预选网络,且使用网格的点云特征提取器的输出作为卷积中间提取层的输入,卷积中间提取层的输出作为区域预选网络的输入。
在一些实施例中,使用网格的点云特征提取器可以包括一个线形层、一个批标准化层和一个非线性激活层。在使用网格的点云特征提取器时,可以将伪点云图用设定大小的三维网格进行有序切割,并将每一个网格中的所有伪点云作为使用网格的点云特征提取器的输入。
在一些实施例中,卷积中间提取层可以包括三个卷积中间模块,每个卷积中间模块可以包括一个三维卷积层,一个批标准化层和一个非线性激活层。卷积中间提取层可以将这种具有三维结构的特征转化成二维结构的伪图特征,并将其作为最终输出。
在一些实施例中,区域预选网络可以包括三个全卷积模块,每个全卷积模块包括一个下采样的卷积层以及若干个卷积层。在每个卷积层之后,首先通过应用批标准化层和非线性激活层进行操作;然后将每个全卷积模块的输出采样到具有相同大小的特征图,并将这些特征图连接成一个整体;最后对所需的学习目标应用三个二维卷积层来生成概率分数图、回归偏移以及方向预测。
通过该方法,可以使用深度预测模型对当前帧中各目标的图像数据进行深度处理,得到伪点云图,并使用三维检测模型对伪点云图进行检测处理,能够使得第四检测结果(即第一检测结果)更加准确,进一步提高了环境感知时的感知精度以及***的鲁棒性。
在一些实施例中,确定当前帧中各目标的第一检测结果,可以包括:在当前帧中各目标的图像数据对应的三维点云空间中确定点云视锥;根据三维检测模型对点云视锥进行检测处理,得到当前帧中各目标的第五检测结果;对第四检测结果和第五检测结果进行融合处理,得到第一检测结果。
需要说明的是,根据三维检测模型对点云视锥进行检测处理,与前述实施例中根据三维检测模型对伪点云图进行检测处理类似,在此不再进行赘述。
进一步地,在当前帧中各目标的图像数据对应的三维点云空间中确定点云视锥,可以包括:对当前帧中各目标的图像数据进行语义分割处理,得到语义分割结果;将语义分割结果投影到三维点云空间中,得到点云数据;基于点云数据,从点云数据中提取出点云视锥。
需要说明的是,对当前帧中各目标的图像数据进行语义分割处理,可以包括:使用DeepLabv3+算法对当前帧中各目标的图像数据进行语义分割处理。
还需要说明的是,对当前帧中各目标的图像数据进行语义分割处理时,可以使用语义分割模型对当前帧中各目标的图像数据进行语义分割处理。
其中,该语义分割模型可以是经训练得到的。
在一些实施例中,将语义分割结果投影到三维点云空间中,可以包括:利用已知的投影矩阵,将语义分割结果中每个类别的区域投影到三维点云空间中,以使三维点云空间的每个区域的类别属性与对应语义分割结果的每个区域的类别属性一致。
其中,语义分割结果中的每个类别可以包括车辆、行人、骑行者等等。
通过该方法,在对第四检测结果和第五检测结果进行融合处理得到第一检测结果时,既使用了点云视锥的检测结果又使用了连续稠密深度估计伪点云的检测结果,从而能够使得第一检测结果更加准确,进一步提高了环境感知时的感知精度以及***的鲁棒性。
需要说明的是,确定历史帧中各静态目标的第二检测结果,与确定当前帧中各目标的第一检测结果类似,本发明实施例在此不再进行赘述。
进一步地,历史帧中各静态目标的置信度可以大于某一预设值,从而可以对当前帧的自动驾驶车辆构成影响。
本发明实施例提供了一种目标检测方法,可以获取当前帧中各目标的图像数据;通过深度预测模型对当前帧中各目标的图像数据进行深度处理,得到伪点云图;根据三维检测模型对伪点云图进行检测处理,得到当前帧中各目标的第四检测结果,将第四检测结果作为第一检测结果。如此,能够使得第四检测结果(即第一检测结果)更加准确,进一步提高了环境感知时的感知精度以及***的鲁棒性。
在本发明的又一实施例中,基于前述实施例的目标检测方法,本发明实施例可以在一定条件下,对第一检测结果与第二检测结果进行融合处理,得到第三检测结果。从而使得后续通过第一检测结果获取不到静态目标的检测结果时,可以通过第三检测结果获取到该静态目标的检测结果。从而避免该静态目标在连续帧中忽隐忽现,提高了环境感知时的感知精度以及***的鲁棒性。
图3是本发明实施例提供的一种目标检测方法的流程示意图三。如图3所示,对第一检测结果与第二检测结果进行融合处理,得到第三检测结果,可以包括如下步骤:
S310、确定第一静态目标的置信度;
S320、若第一静态目标的置信度大于第三预设值,则计算第一静态目标与历史帧中各静态目标的交并比;若第一静态目标与第二静态目标的交并比大于第四预设值,则将第一静态目标与第二静态目标视为相同目标;
S330、从第二检测结果中删除第二静态目标的检测结果,得到第三检测结果。
其中,第一静态目标为当前帧中各静态目标中的任意一个,第二静态目标为历史帧中各静态目标中的任意一个。
需要说明的是,第三预设值可以为一个特定的数值。这里,针对具体的取值,第三预设值可以是预定义的,也可以是根据其他方式设定的,本发明实施例对此不作限定。
还需要说明的是,第三预设值与第七预设值可以是同一预设值,也可以是不同预设值,本发明实施例对此不作限定。
还需要说明的是,第四预设值可以为一个特定的数值。这里,针对具体的取值,第四预设值可以是预定义的,也可以是根据其他方式设定的,本发明实施例对此不作限定。
在一些实施例中,第一静态目标与第二静态目标的交并比可以是第一静态目标与第二静态目标各自的检测结果的交集区域的体积与并集区域的体积之比。
需要说明的是,当前帧中置信度大于第三预设值的各静态目标可以对下一帧的自动驾驶车辆构成影响,而当前帧中置信度小于或等于第三预设值的各静态目标一般不对下一帧的自动驾驶车辆构成影响,因此,在判断第一静态目标与第二静态目标是否被视为相同目标时,仅考虑第一静态目标的置信度大于第三预设值的情况。在此基础上,可以通过计算第一静态目标与历史帧中各静态目标的交并比,并判断第一静态目标与第二静态目标的交并比是否大于第四预设值,从而确定第一静态目标与第二静态目标是否可以视为相同目标。
示例性地,假设第三预设值为0.6,第四预设值为0.8,在第一静态目标的置信度超过0.6时,若第一静态目标与第二静态目标的交并比超过0.8,则将第一静态目标与第二静态目标视为相同目标。
应理解,从第二检测结果中删除第二静态目标的检测结果,可以理解为,从第二检测结果中删除与当前帧中第一静态目标视为相同目标的第二静态目标的检测结果。
通过该方法,可以使得第一检测结果与第三检测结果之间不存在视为相同目标的各静态目标的检测结果。也就是说,当前帧中的各静态目标与历史帧中的各静态目标均视为不同的静态目标。从而不会导致第一检测结果与第三检测结果之间的重复。
本发明实施例提供了一种目标检测方法,可以确定第一静态目标的置信度;若第一静态目标的置信度大于第三预设值,则计算第一静态目标与历史帧中各静态目标的交并比;若第一静态目标与第二静态目标的交并比大于第四预设值,则将第一静态目标与第二静态目标视为相同目标;从第二检测结果中删除第二静态目标的检测结果,得到第三检测结果。如此,可以在第一静态目标的置信度大于第三预设值,且在第一静态目标与第二静态目标的交并比大于第四预设值的情况下,对第一检测结果与第二检测结果进行融合处理,得到第三检测结果。从而使得后续通过第一检测结果获取不到静态目标的检测结果时,可以通过第三检测结果获取到该静态目标的检测结果。从而避免该静态目标在连续帧中忽隐忽现,提高了环境感知时的感知精度以及***的鲁棒性。
在本发明的再一实施例中,基于前述实施例的目标检测方法,本发明实施例可以在另一条件下,对第一检测结果与第二检测结果进行融合处理,得到第三检测结果。从而使得后续通过第一检测结果获取不到静态目标的检测结果时,可以通过第三检测结果获取到该静态目标的检测结果。从而避免该静态目标在连续帧中忽隐忽现,提高了环境感知时的感知精度以及***的鲁棒性。
图4是本发明实施例提供的一种目标检测方法的流程示意图四。如图4所示,对第一检测结果与第二检测结果进行融合处理,得到第三检测结果,可以包括如下步骤:
S410、确定第三静态目标的置信度;
S420、若第三静态目标的置信度大于第五预设值,则计算第三静态目标与历史帧中各静态目标的欧氏距离;若第三静态目标与第四静态目标的欧氏距离小于或等于第六预设值,则将第三静态目标与第四静态目标视为相同目标;
S430、从第二检测结果中删除第四静态目标的检测结果,得到第三检测结果。
其中,第三静态目标为当前帧中各静态目标中的任意一个,第四静态目标为历史帧中各静态目标中的任意一个。
需要说明的是,第五预设值可以为一个特定的数值。这里,针对具体的取值,第五预设值可以是预定义的,也可以是根据其他方式设定的,本发明实施例对此不作限定。
还需要说明的是,第五预设值、第三预设值与第七预设值可以是同一预设值,也可以是不同预设值,本发明实施例对此不作限定。
还需要说明的是,第六预设值可以为一个特定的数值。这里,针对具体的取值,第六预设值可以是预定义的,也可以是根据其他方式设定的,本发明实施例对此不作限定。
在一些实施例中,第三静态目标与历史帧中各静态目标的欧氏距离可以是第三静态目标与历史帧中各静态目标在世界坐标系下的欧氏距离。
进一步地,第三静态目标与第四静态目标的欧氏距离可以是第三静态目标与第四静态目标在世界坐标系下的欧氏距离。
需要说明的是,当前帧中置信度大于第五预设值的各静态目标可以对下一帧的自动驾驶车辆构成影响,而当前帧中置信度小于或等于第五预设值的各静态目标一般不对下一帧的自动驾驶车辆构成影响,因此,在判断第三静态目标与第四静态目标是否被视为相同目标时,仅考虑第三静态目标的置信度大于第五预设值的情况。在此基础上,可以通过计算第三静态目标与历史帧中各静态目标的欧氏距离,并判断第三静态目标与第四静态目标的欧氏距离是否小于或等于第六预设值,从而确定第三静态目标与第四静态目标是否可以视为相同目标。
示例性地,假设第五预设值为0.6,第六预设值为0.5m,在第三静态目标的置信度超过0.6时,若第三静态目标与第四静态目标的欧氏距离小于或等于0.5m,则将第三静态目标与第四静态目标视为相同目标。
应理解,从第二检测结果中删除第四静态目标的检测结果,可以理解为,从第二检测结果中删除与当前帧中第三静态目标视为相同目标的第四静态目标的检测结果。
通过该方法,可以使得第一检测结果与第三检测结果之间不存在视为相同目标的各静态目标的检测结果。也就是说,当前帧中的各静态目标与历史帧中的各静态目标均视为不同的静态目标。从而不会导致第一检测结果与第三检测结果之间的重复。
本发明实施例提供了一种目标检测方法,可以确定第三静态目标的置信度;若第三静态目标的置信度大于第五预设值,则计算第三静态目标与历史帧中各静态目标的欧氏距离;若第三静态目标与第四静态目标的欧氏距离小于或等于第六预设值,则将第三静态目标与第四静态目标视为相同目标;从第二检测结果中删除第四静态目标的检测结果,得到第三检测结果。如此,可以在第三静态目标的置信度大于第五预设值,且在第三静态目标与第四静态目标的欧氏距离小于或等于第六预设值的情况下,对第一检测结果与第二检测结果进行融合处理,得到第三检测结果。从而使得后续通过第一检测结果获取不到静态目标的检测结果时,可以通过第三检测结果获取到该静态目标的检测结果。从而避免该静态目标在连续帧中忽隐忽现,提高了环境感知时的感知精度以及***的鲁棒性。
在本发明的再一实施例中,基于前述实施例的目标检测方法,本发明实施例主要涉及一种针对静态三维目标检测的优化方法,可以获取感知模块以及定位模块的信息,并对感知模块的输出结果进行优化。
图5是本发明实施例提供的一种目标检测方法的详细流程示意图。如图5所示,该详细流程可以包括如下步骤:
S501、获取当前帧中各目标的图像数据。
需要说明的是,当前帧中各目标可以包括当前帧中各静态目标和当前帧中各动态目标。
关于静态目标和动态目标的示例性说明可以参考前述实施例中的描述,在此不再进行赘述。
S502、对图像数据进行语义分割处理,得到语义分割结果。
需要说明的是,可以使用DeepLabv3+算法对当前帧中各目标的图像数据进行语义分割处理。
还需要说明的是,对当前帧中各目标的图像数据进行语义分割处理时,可以使用语义分割模型对当前帧中各目标的图像数据进行语义分割处理。
其中,该语义分割模型可以是经训练得到的。
S503、将语义分割结果投影到三维点云空间中,得到点云视锥。
在一些实施例中,将语义分割结果投影到三维点云空间中,可以包括:利用已知的投影矩阵,将语义分割结果中每个类别的区域投影到三维点云空间中,以使三维点云空间的每个区域的类别属性与对应语义分割结果的每个区域的类别属性一致。
示例性地,语义分割结果中的每个类别可以是车辆、行人、骑行者等等。
在一些实施例中,将语义分割结果投影到三维点云空间中,得到点云视锥,可以包括:将语义分割结果投影到三维点云空间中,并筛选特定类别的数据形成点云视锥。
S504、根据三维检测模型对点云视锥进行检测处理,得到第五检测结果。
需要说明的是,三维检测模型可以是经训练得到的。
示例性地,三维检测模型可以是MPPNet,PointPillars等等。
关于三维检测模型的说明可以参考前述实施例中的描述,在此不再进行赘述。
S505、通过深度预测模型对图像数据进行深度处理,得到伪点云图。
需要说明的是,深度预测模型可以是经训练得到的。
示例性地,可以获取图像数据和对应的点云数据,并利用该图像数据和点云数据训练深度估计网络,从而得到性能良好的深度预测模型。
需要说明的是,通过深度预测模型对图像数据进行深度处理中的图像数据为当前帧中各目标的图像数据;而训练深度估计网络的图像数据可以包括当前帧中各目标的图像数据,也可以包括其他数据,本发明实施例对此不作限定。
S506、根据三维检测模型对伪点云图进行检测处理,得到第四检测结果。
需要说明的是,对于S502~S504和S505~S506的执行顺序,本发明实施例对此并不作限定。也就是说,在本发明实施例中,可以先执行S502~S504,再执行S505~S506;或者,可以先执行S505~S506,再执行S502~S504;或者,可以将S502~S504和S505~S506同时执行。
S507、对第四检测结果和第五检测结果进行融合处理,得到第一检测结果。
在一些实施例中,第一检测结果可以包括当前帧中各目标的以下至少一项:中心点坐标、长度、宽度、高度、航向角以及置信度。
通过该方法,在对第四检测结果和第五检测结果进行融合处理得到第一检测结果时,既使用了点云视锥的检测结果又使用了连续稠密深度估计伪点云的检测结果,从而能够使得第一检测结果更加准确,进一步提高了环境感知时的感知精度以及***的鲁棒性。
S508、删除缓存中时间较久的静态目标的检测结果。
示例性地,可以初始化可存储静态目标的缓存,并设置缓存的数量上限(即第一预设值)为200,当缓存中存储的静态目标的数量超过200时,删除距离当前帧时间戳时间较远的静态目标的检测结果,保留最新的200个静态目标在缓存中。
需要说明的是,前述实施例提及的历史帧中各静态目标的第二检测结果可以存储在缓存中。
通过该方法,在缓存中的存储空间不足时,可以删除距离当前帧时间戳时间较远的静态目标的检测结果,从而可以在不对当前帧中静态目标的检测结果产生影响的前提下,释放缓存中的存储空间。
S509、删除缓存中距离太远的静态目标的检测结果,得到第二检测结果。
示例性地,随着自动驾驶车辆的移动,缓存中的某些静态目标会对当前帧的自动驾驶车辆不构成影响,即删除缓存中距离当前自动驾驶车辆超过第二预设值(例如50m)的静态目标。
在一些实施例中,第二检测结果可以包括历史帧中各静态目标的以下至少一项:中心点坐标、长度、宽度、高度、航向角以及置信度。
通过该方法,在历史帧中的部分静态目标由于距离当前帧的自动驾驶车辆的距离较远时,可以删除该部分静态目标的检测结果,从而可以在不对当前帧中静态目标的检测结果产生影响的前提下,释放缓存中的存储空间。
需要说明的是,对于S508和S509的执行顺序,本发明实施例对此并不作限定。也就是说,在本发明实施例中,可以先执行S508,再执行S509;或者,可以先执行S509,再执行S508;或者,可以将S508和S509同时执行。
还需要说明的是,S508和S509可以有一个被执行,也可以两个均被执行。也就是说,可以通过执行S508,得到第二检测结果;或者,可以通过执行S509,得到第二检测结果;或者,可以执行S508和S509,得到第二检测结果。
还需要说明的是,对于S508和/或S509与S501~S507的执行顺序,本发明实施例对此并不作限定。也就是说,在本发明实施例中,可以先执行S508和/或S509,再执行S501~S507;或者,可以先执行S501~S507,再执行S508和/或S509;或者,可以将S508和/或S509与S501~S507同时执行。
S510、融合第一检测结果和第二检测结果得到第三检测结果。
在一些实施例中,第三检测结果可以包括历史帧中各静态目标的以下至少一项:中心点坐标、长度、宽度、高度、航向角以及置信度。
示例性地,假设预设交并比(Intersection overUnion,IoU)阈值(即第四预设值)为0.8,当前帧静态目标与缓存中静态目标在世界坐标系下的欧氏距离阈值(即第六预设值)为0.5m,置信度阈值(即第三预设值或者第五预设值)为0.6。若检测当前帧目标的类别为交通锥等静态目标且置信度超过0.6时,计算其与缓存中所有静态目标的IoU或在世界坐标系下的欧氏距离,若IoU大于0.8或者距离小于0.5m,则视为同一个静态目标,删除缓存中相应的静态目标,即融合当前帧的三维目标检测的目标(即第一检测结果)和缓存中的静态目标(即第二检测结果)。
其中,IoU为两个静态目标的三维检测结果的交集区域的体积与并集区域的体积之比。
需要说明的是,当前帧中置信度大于置信度阈值的各静态目标可以对下一帧的自动驾驶车辆构成影响,而当前帧中置信度小于或等于置信度阈值的各静态目标一般不对下一帧的自动驾驶车辆构成影响,因此,在判断两个静态目标是否被视为相同目标时,仅考虑当前帧静态目标的置信度大于置信度阈值的情况。
还需要说明的是,对第一检测结果与第二检测结果进行融合处理,得到缓存中与当前帧中各目标视为不同目标的各静态目标的第三检测结果R1。
还需要说明的是,视为不同目标可以理解为,缓存中的静态目标与当前帧中的静态目标本质上为同一目标,但是当前帧中的静态目标可能由于遮挡等原因,从而与缓存中的静态目标视为不同目标。
还需要说明的是,第一检测结果和第二检测结果之间的融合为删除式融合。
通过该方法,可以使得第一检测结果与第三检测结果之间不存在视为相同目标的各静态目标的检测结果。也就是说,当前帧中的各静态目标与缓存中的各静态目标均视为不同的静态目标。从而不会导致第一检测结果与第三检测结果之间的重复。
S511、确定当前帧中置信度大于第七预设值的各静态目标的第六检测结果,确定当前帧中置信度小于或等于第七预设值的各静态目标与各动态目标的第七检测结果。
在一些实施例中,可以基于第一检测结果,得到第六检测结果和第七检测结果。也就是说,第一检测结果可以包括第六检测结果和第七检测结果。
示例性地,可以遍历第一检测结果,若检测目标类别为交通锥等静态目标且置信度超过第七预设值(例如0.6)时,通过定位模块获取自动驾驶车辆当前帧在世界坐标系下位姿信息,将当前帧中部分静态目标的坐标从传感器坐标系转换到世界坐标系下,输入到缓存中,并作为当前帧三维目标检测的部分检测结果R2(即第六检测结果);若检测类别是动态目标或者检测置信度小于或等于第七预设值,例如行人、车辆等,则直接作为当前帧三维目标检测的部分检测结果R3(即第七检测结果)。
其中,传感器坐标系以传感器中心为坐标原点,向前为X轴正方向,向右为Y轴正方向,向上为Z轴正方向。
其中,世界坐标系为(Universal Transverse Mercator,UTM)坐标系。
需要说明的是,将当前帧中部分静态目标的检测结果(即第六检测结果)输入到缓存中时,可以为该部分静态目标增加时间戳标签,以便于缓存中的其他静态目标区分开。
还需要说明的是,对于S510和S511的执行顺序,本发明实施例对此并不作限定。也就是说,在本发明实施例中,可以先执行S510,再执行S511;或者,可以先执行S511,再执行S510;或者,可以将S510和S511同时执行。
S512、对第六检测结果、第七检测结果与第三检测结果进行融合处理,得到目标检测结果。
示例性地,可以将R1、R2与R3进行融合处理,得到目标检测结果R。
在一些实施例中,目标检测结果可以包括当前帧中各目标的以下至少一项:中心点坐标、长度、宽度、高度、航向角以及置信度。
需要说明的是,第六检测结果、第七检测结果与第三检测结果之间的融合为合并式融合。
通过该方法,当前帧中置信度大于第七预设值的各静态目标可以对下一帧的自动驾驶车辆构成影响,而当前帧中置信度小于或等于第七预设值的各静态目标以及各动态目标对下一帧的自动驾驶车辆不构成影响。因此,相比于直接对第一检测结果和第三检测结果进行融合处理,对第六检测结果、第七检测结果与第三检测结果进行融合处理,更容易分辨出哪些目标的检测结果能够对下一帧的自动驾驶车辆构成影响。
本发明实施例提供了一种目标检测方法,将第六检测结果、第七检测结果与第三检测结果进行融合处理,作为当前帧中各目标的目标检测结果,即感知模块的感知结果,可以为后续其他模块(如预测模块,又如规划模块)使用。此外,本发明实施例提供的技术方案充分利用了静态目标在世界坐标系位置大致不变的特性,将不同帧的检测结果进行融合处理,建立不同帧检测结果之间的联系,解决了静态目标忽隐忽现等不符合客观规律的问题,优化了三维目标检测结果。稳定了感知模块的输出结果,提升环境感知整体感知精度。
以上结合附图详细描述了本发明的优选实施方式,但是,本发明并不限于上述实施方式中的具体细节,在本发明的技术构思范围内,可以对本发明的技术方案进行多种简单变型,这些简单变型均属于本发明的保护范围。例如,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本发明对各种可能的组合方式不再另行说明。又例如,本发明的各种不同的实施方式之间也可以进行任意组合,只要其不违背本发明的思想,其同样应当视为本发明所公开的内容。又例如,在不冲突的前提下,本发明描述的各个实施例和/或各个实施例中的技术特征可以和现有技术任意的相互组合,组合之后得到的技术方案也应落入本发明的保护范围。
还应理解,在本发明的各种方法实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在本发明的再一实施例中,基于前述实施例相同的发明构思,参见图6,其示出了本发明实施例提供的目标检测装置的组成结构示意图。如图6所示,目标检测装置600可以包括确定单元601和融合单元602,其中:
确定单元601,配置为确定当前帧中各目标的第一检测结果,以及确定历史帧中各静态目标的第二检测结果,其中,历史帧为在当前帧之前的至少一个帧;
融合单元602,配置为对第一检测结果与第二检测结果进行融合处理,得到历史帧中与当前帧中各目标视为不同目标的各静态目标的第三检测结果;对第一检测结果与第三检测结果进行融合处理,得到当前帧中各目标的目标检测结果。
在一些实施例中,如图6所示,目标检测装置600还可以包括获取单元603、深度单元604和检测单元605,其中:
获取单元603,配置为获取当前帧中各目标的图像数据;
深度单元604,配置为通过深度预测模型对图像数据进行深度处理,得到伪点云图;
检测单元605,配置为根据三维检测模型对伪点云图进行检测处理,得到当前帧中各目标的第四检测结果,将第四检测结果作为第一检测结果。
在一些实施例中,确定单元601,还配置为在图像数据对应的三维点云空间中确定点云视锥;检测单元605,还配置为根据三维检测模型对点云视锥进行检测处理,得到当前帧中各目标的第五检测结果;融合单元602,还配置为对第四检测结果和第五检测结果进行融合处理,得到第一检测结果。
在一些实施例中,如图6所示,目标检测装置600还可以包括分割单元606、投影单元607和提取单元608,其中:
分割单元606,配置为对图像数据进行语义分割处理,得到语义分割结果;
投影单元607,配置为将语义分割结果投影到三维点云空间中,得到点云数据;
提取单元608,配置为基于点云数据,从点云数据中提取出点云视锥。
在一些实施例中,如图6所示,目标检测装置600还可以包括计算单元609和删除单元610,其中:
计算单元609,配置为当历史帧中各静态目标的数量大于第一预设值时,计算历史帧中各静态目标的时间戳与当前帧的时间戳之间的时间差;
删除单元610,配置为对历史帧中各静态目标按照时间差从小到大进行排序,删除历史帧中位于第p个之后的各静态目标的检测结果,得到第二检测结果;其中,p表示第一预设值,且p为正整数。
在一些实施例中,计算单元609,还配置为计算历史帧中各静态目标与当前帧的自动驾驶车辆之间的距离;删除单元610,还配置为删除历史帧中距离大于第二预设值的各静态目标的检测结果,得到第二检测结果。
在一些实施例中,确定单元601,还配置为确定第一静态目标的置信度;计算单元609,还配置为若第一静态目标的置信度大于第三预设值,则计算第一静态目标与历史帧中各静态目标的交并比;若第一静态目标与第二静态目标的交并比大于第四预设值,则将第一静态目标与第二静态目标视为相同目标;删除单元610,还配置为从第二检测结果中删除第二静态目标的检测结果,得到第三检测结果;其中,第一静态目标为当前帧中各静态目标中的任意一个,第二静态目标为历史帧中各静态目标中的任意一个。
在一些实施例中,确定单元601,还配置为确定第三静态目标的置信度;计算单元609,还配置为若第三静态目标的置信度大于第五预设值,则计算第三静态目标与历史帧中各静态目标的欧氏距离;若第三静态目标与第四静态目标的欧氏距离小于或等于第六预设值,则将第三静态目标与第四静态目标视为相同目标;删除单元610,还配置为从第二检测结果中删除第四静态目标的检测结果,得到第三检测结果;其中,第三静态目标为当前帧中各静态目标中的任意一个,第四静态目标为历史帧中各静态目标中的任意一个。
在一些实施例中,确定单元601,还配置为确定当前帧中置信度大于第七预设值的各静态目标的第六检测结果;确定当前帧中置信度小于或等于第七预设值的各静态目标与各动态目标的第七检测结果;融合单元602,还配置为对第六检测结果、第七检测结果与第三检测结果进行融合处理,得到目标检测结果。
在一些实施例中,目标检测结果包括当前帧中各目标的以下至少一项:中心点坐标、长度、宽度、高度、航向角以及置信度。
可以理解地,在本实施例中,“单元”可以是部分处理器、部分程序或软件等等,当然也可以是模块,还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
因此,本实施例提供了一种计算机存储介质,该计算机存储介质存储有计算机程序,所述计算机程序被至少一个处理器执行时实现前述实施例中任一项所述的方法的步骤。
基于上述目标检测装置600的组成以及计算机存储介质,参见图7,其示出了本发明实施例提供的一种电子设备的组成结构示意图。如图7所示,电子设备700可以包括:通信接口710、存储器720和处理器730;各个组件通过总线***740耦合在一起。可理解,总线***740配置为实现这些组件之间的连接通信。总线***740除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图7中将各种总线都标为总线***740。其中,通信接口710,配置为在与其他外部设备或应用之间进行收发信息过程中,信号的接收和发送;
存储器720,配置为存储能够在处理器730上运行的计算机程序;
处理器730,配置为在运行所述计算机程序时,执行:
确定当前帧中各目标的第一检测结果,以及确定历史帧中各静态目标的第二检测结果,其中,历史帧为在当前帧之前的至少一个帧;
对第一检测结果与第二检测结果进行融合处理,得到历史帧中与当前帧中各目标视为不同目标的各静态目标的第三检测结果;
对第一检测结果与第三检测结果进行融合处理,得到当前帧中各目标的目标检测结果。
可以理解,本发明实施例中的存储器720可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步链动态随机存取存储器(Synchronous link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本发明实施例描述的***和方法的存储器720旨在包括但不限于这些和任意其它适合类型的存储器。
而处理器730可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器730中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器730可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器720,处理器730读取存储器720中的信息,结合其硬件完成上述方法的步骤。
可以理解的是,本发明描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits,ASIC)、数字信号处理器(Digital SignalProcessing,DSP)、数字信号处理设备(DSP Device,DSPD)、可编程逻辑设备(ProgrammableLogic Device,PLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本发明所述功能的其它电子单元或其组合中。
对于软件实现,可通过执行本发明所述功能的模块(例如过程、函数等)来实现本发明所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选地,作为另一个实施例,处理器730还配置为在运行所述计算机程序时,执行前述实施例中任一项所述的方法的步骤。
基于上述目标检测装置600的组成以及计算机存储介质,参见图8,其示出了本发明实施例提供的另一种电子设备的组成结构示意图。如图8所示,电子设备700可以包括前述实施例中任一项所述的目标检测装置600。
在本发明实施例中,可以确定当前帧中各目标的第一检测结果,以及确定历史帧中各静态目标的第二检测结果,其中,历史帧为在当前帧之前的至少一个帧;对第一检测结果与第二检测结果进行融合处理,得到历史帧中与当前帧中各目标视为不同目标的各静态目标的第三检测结果;对第一检测结果与第三检测结果进行融合处理,得到当前帧中各目标的目标检测结果。这样,在获取当前帧中各目标的目标检测结果时,通过融合当前帧中各目标的第一检测结果,以及历史帧中与当前帧中各目标视为不同目标的各静态目标的第三检测结果,从而建立当前帧与历史帧之间的联系。如此,在当前帧突然获取不到某一静态目标(例如静态目标被遮挡)的检测结果时,可以从历史帧中获取到该静态目标的检测结果。也就是说,在通过第一检测结果获取不到该静态目标的检测结果时,可以通过第三检测结果获取到该静态目标的检测结果。从而避免该静态目标在连续帧中忽隐忽现,提高了环境感知时的感知精度以及***的鲁棒性。
需要说明的是,在本发明中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
本发明所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本发明所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本发明所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (13)
1.一种目标检测方法,其特征在于,所述方法包括:
确定当前帧中各目标的第一检测结果,以及确定历史帧中各静态目标的第二检测结果,其中,所述历史帧为在所述当前帧之前的至少一个帧;
对所述第一检测结果与所述第二检测结果进行融合处理,得到所述历史帧中与所述当前帧中各目标视为不同目标的各静态目标的第三检测结果;
对所述第一检测结果与所述第三检测结果进行融合处理,得到所述当前帧中各目标的目标检测结果。
2.根据权利要求1所述的方法,其特征在于,所述确定当前帧中各目标的第一检测结果,包括:
获取所述当前帧中各目标的图像数据;
通过深度预测模型对所述图像数据进行深度处理,得到伪点云图;
根据三维检测模型对所述伪点云图进行检测处理,得到所述当前帧中各目标的第四检测结果,将所述第四检测结果作为所述第一检测结果。
3.根据权利要求2所述的方法,其特征在于,所述确定当前帧中各目标的第一检测结果,包括:
在所述图像数据对应的三维点云空间中确定点云视锥;
根据所述三维检测模型对所述点云视锥进行检测处理,得到所述当前帧中各目标的第五检测结果;
对所述第四检测结果和所述第五检测结果进行融合处理,得到所述第一检测结果。
4.根据权利要求3所述的方法,其特征在于,所述在所述图像数据对应的三维点云空间中确定点云视锥,包括:
对所述图像数据进行语义分割处理,得到语义分割结果;
将所述语义分割结果投影到所述三维点云空间中,得到点云数据;
基于所述点云数据,从所述点云数据中提取出所述点云视锥。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述历史帧中各静态目标的数量大于第一预设值时,计算所述历史帧中各静态目标的时间戳与所述当前帧的时间戳之间的时间差;
对所述历史帧中各静态目标按照所述时间差从小到大进行排序,删除所述历史帧中位于第p个之后的各静态目标的检测结果,得到所述第二检测结果;其中,p表示所述第一预设值,且p为正整数。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
计算所述历史帧中各静态目标与所述当前帧的自动驾驶车辆之间的距离;
删除所述历史帧中所述距离大于第二预设值的各静态目标的检测结果,得到所述第二检测结果。
7.根据权利要求1所述的方法,其特征在于,所述对所述第一检测结果与所述第二检测结果进行融合处理,得到所述第三检测结果,包括:
确定第一静态目标的置信度;以及,若所述第一静态目标的置信度大于第三预设值,则计算所述第一静态目标与所述历史帧中各静态目标的交并比;
若所述第一静态目标与第二静态目标的交并比大于第四预设值,则将所述第一静态目标与所述第二静态目标视为相同目标;
从所述第二检测结果中删除所述第二静态目标的检测结果,得到所述第三检测结果;其中,所述第一静态目标为所述当前帧中各静态目标中的任意一个,所述第二静态目标为所述历史帧中各静态目标中的任意一个。
8.根据权利要求1所述的方法,其特征在于,所述对所述第一检测结果与所述第二检测结果进行融合处理,得到所述第三检测结果,包括:
确定第三静态目标的置信度;以及,若所述第三静态目标的置信度大于第五预设值,则计算所述第三静态目标与所述历史帧中各静态目标的欧氏距离;
若所述第三静态目标与第四静态目标的欧氏距离小于或等于第六预设值,则将所述第三静态目标与所述第四静态目标视为相同目标;
从所述第二检测结果中删除所述第四静态目标的检测结果,得到所述第三检测结果;其中,所述第三静态目标为所述当前帧中各静态目标中的任意一个,所述第四静态目标为所述历史帧中各静态目标中的任意一个。
9.根据权利要求1所述的方法,其特征在于,所述对所述第一检测结果与所述第三检测结果进行融合处理,得到所述目标检测结果,包括:
确定所述当前帧中置信度大于第七预设值的各静态目标的第六检测结果;
确定所述当前帧中置信度小于或等于第七预设值的各静态目标与各动态目标的第七检测结果;
对所述第六检测结果、所述第七检测结果与所述第三检测结果进行融合处理,得到所述目标检测结果。
10.根据权利要求1至9中任一项所述的方法,其特征在于,所述目标检测结果包括所述当前帧中各目标的以下至少一项:
中心点坐标、长度、宽度、高度、航向角以及置信度。
11.一种目标检测装置,其特征在于,所述装置包括确定单元和融合单元,其中:
所述确定单元,配置为确定当前帧中各目标的第一检测结果,以及确定历史帧中各静态目标的第二检测结果,其中,所述历史帧为在所述当前帧之前的至少一个帧;
所述融合单元,配置为对所述第一检测结果与所述第二检测结果进行融合处理,得到所述历史帧中与所述当前帧中各目标视为不同目标的各静态目标的第三检测结果;
所述融合单元,还配置为对所述第一检测结果与所述第三检测结果进行融合处理,得到所述当前帧中各目标的目标检测结果。
12.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,其中:
所述存储器,配置为存储能够在所述处理器上运行的计算机程序;
所述处理器,配置为在运行所述计算机程序时,执行如权利要求1至10中任一项所述的方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被至少一个处理器执行时实现如权利要求1至10中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310764207.5A CN116824574A (zh) | 2023-06-26 | 2023-06-26 | 目标检测方法、装置、设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310764207.5A CN116824574A (zh) | 2023-06-26 | 2023-06-26 | 目标检测方法、装置、设备和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116824574A true CN116824574A (zh) | 2023-09-29 |
Family
ID=88142445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310764207.5A Pending CN116824574A (zh) | 2023-06-26 | 2023-06-26 | 目标检测方法、装置、设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116824574A (zh) |
-
2023
- 2023-06-26 CN CN202310764207.5A patent/CN116824574A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022083402A1 (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
WO2021072696A1 (zh) | 目标检测与跟踪方法、***、可移动平台、相机及介质 | |
CN109087510B (zh) | 交通监测方法及装置 | |
CN111582189B (zh) | 交通信号灯识别方法、装置、车载控制终端及机动车 | |
US11755917B2 (en) | Generating depth from camera images and known depth data using neural networks | |
Liu et al. | Vehicle detection and ranging using two different focal length cameras | |
CN114694123B (zh) | 交通信号灯感知方法、装置、设备及存储介质 | |
US11308324B2 (en) | Object detecting system for detecting object by using hierarchical pyramid and object detecting method thereof | |
CN114248778A (zh) | 移动设备的定位方法和定位装置 | |
CN112883871B (zh) | 一种模型训练以及确定无人车运动策略方法及装置 | |
CN114241448A (zh) | 障碍物航向角的获取方法、装置、电子设备及车辆 | |
CN113869440A (zh) | 图像处理方法、装置、设备、介质及程序产品 | |
CN112818968A (zh) | 一种目标物分类方法及装置 | |
CN115792945B (zh) | 一种浮空障碍物检测方法、装置和电子设备、存储介质 | |
CN113591543B (zh) | 交通标志识别方法、装置、电子设备及计算机存储介质 | |
CN115249407B (zh) | 指示灯状态识别方法、装置、电子设备、存储介质及产品 | |
CN116824574A (zh) | 目标检测方法、装置、设备和计算机可读存储介质 | |
CN112561956B (zh) | 视频目标跟踪方法、装置、电子设备及存储介质 | |
CN116433712A (zh) | 基于多传感器时序感知结果前融合的融合追踪方法及装置 | |
CN116433715A (zh) | 基于多传感器前融合结果的时序追踪方法、装置及介质 | |
CN114997264A (zh) | 训练数据生成、模型训练及检测方法、装置及电子设备 | |
CN114359346A (zh) | 点云数据处理方法、装置、非易失性存储介质及处理器 | |
CN115457282A (zh) | 一种点云数据处理方法及装置 | |
CN116228820B (zh) | 一种障碍物检测方法、装置和电子设备、存储介质 | |
CN115431968B (zh) | 车辆控制器、车辆及车辆控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |