CN111507973B - 目标检测方法及装置、电子设备和存储介质 - Google Patents
目标检测方法及装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111507973B CN111507973B CN202010314166.6A CN202010314166A CN111507973B CN 111507973 B CN111507973 B CN 111507973B CN 202010314166 A CN202010314166 A CN 202010314166A CN 111507973 B CN111507973 B CN 111507973B
- Authority
- CN
- China
- Prior art keywords
- information
- obstacle
- grid
- point cloud
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 238000003860 storage Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000004891 communication Methods 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 41
- 230000004888 barrier function Effects 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 10
- 230000010365 information processing Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 37
- 238000005516 engineering process Methods 0.000 description 16
- 238000012549 training Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000013135 deep learning Methods 0.000 description 14
- 239000004575 stone Substances 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种目标检测方法及装置、电子设备和存储介质,其中,该方法包括:获取点云信息,所述点云信息至少包括目标对象及待检测对象对应的点云信息;根据所述点云信息,得到网格信息,所述网格信息至少包括待检测对象;根据所述网格信息,识别出所述待检测对象中的障碍物。
Description
技术领域
本公开涉及自动驾驶技术领域,尤其涉及一种目标检测方法及装置、电子设备和存储介质。
背景技术
对障碍物进行目标检测,是自动驾驶中为了确保安全驾驶的一项重要环节。对于目标检测,可以使用基于神经网络的深度学习技术,对障碍物可能的大小及位置进行预测,然而,基于该深度学习技术实现目标检测的精确性,依赖于特定类型的训练数据及训练算法的优劣,从而导致对障碍物的目标检测精度不高的问题。然而,相关技术中未存在有效的解决方案。
发明内容
本公开提出了一种目标检测的技术方案。
根据本公开的一方面,提供了一种目标检测方法,所述方法包括:
获取点云信息,所述点云信息至少包括目标对象及待检测对象对应的点云信息;
根据所述点云信息,得到网格信息,所述网格信息至少包括待检测对象;
根据所述网格信息,识别出所述待检测对象中的障碍物。
可能的实现方式中,所述获取点云信息,包括:
获取通过至少两个传感器分别扫描得到的多个待处理的点云信息;
将所述多个待处理的点云信息进行拼接处理,得到所述点云信息。
可能的实现方式中,所述点云信息还包括传感器标识;
所述根据所述点云信息,得到网格信息,包括:
对所述点云信息进行网格化处理,得到网格图,所述网格图包括多个网格区域;
根据所述多个网格区域中目标网格区域包括的传感器标识的类别,确定所述目标网格区域中是否存在障碍物;
在所述目标网格区域有障碍物的情况下,得到所述网格信息。
可能的实现方式中,所述根据所述多个网格区域中目标网格区域包括的传感器标识的类别,确定所述目标网格区域中是否存在障碍物,包括:
在所述目标网格区域中的至少两个像素点对应的传感器标识不同的情况下,确定所述目标网格区域中存在障碍物。
可能的实现方式中,所述点云信息还包括高度信息;
所述在所述目标网格区域有障碍物的情况下,得到所述网格信息,还包括:
根据所述高度信息,确定所述目标网格区域中存在的障碍物的类别;
根据所述障碍物的类别,更新所述网格信息。
可能的实现方式中,所述根据所述高度信息,确定所述目标网格区域中存在的障碍物的类别,包括:
获取所述目标网格区域中至少两个像素点分别对应的传感器标识及高度信息;
将所述至少两个像素点根据所述传感器标识进行划分,将对应同一个传感器标识的像素点作为一组数据,得到多组像素点数据;
根据所述高度信息,分别确定所述多组像素点数据中每一组像素点数据中最小高度值对应的数量;
根据所述最小高度值对应的数量,确定所述障碍物的类别。
可能的实现方式中,所述根据所述网格信息,识别出所述待检测对象中的障碍物,包括:
根据所述网格信息进行连通区域分析,得到连通区域;
根据所述连通区域,识别出所述待检测对象中的障碍物。
可能的实现方式中,所述根据所述连通区域,识别出所述待检测对象中的障碍物之后,所述方法还包括:
获取所述连通区域的第一线段上的多个待处理点;
从所述多个待处理点中选取至少两个参考点;
连接所述至少两个参考点得到第二线段,根据所述第二线段调整所述连通区域后得到第一区域。
可能的实现方式中,所述根据所述连通区域,识别出所述待检测对象中的障碍物之后,所述方法还包括:
从所述点云信息中提取目标对象对应的点云信息,根据所述目标对象对应的点云信息中像素点的坐标,得到所述目标对象位于所述网格信息中的目标位置;
获取位于所述网格信息中的至少两个障碍物;
以所述目标位置的中心点为基准,根据预设角度发出的指引线得到扇形区域;
在所述扇形区域覆盖第一障碍物和第二障碍物,且所述第二障碍物被所述第一障碍物遮挡的情况下,将所述第二障碍物从所述网格信息中删除。
可能的实现方式中,所述方法包括:
向所述目标对象发送导航路径上存在障碍物的消息,以使所述目标对象响应于所述存在障碍物的消息,根据所述障碍物进行避障处理和/或重新规划导航路径。
根据本公开的一方面,还提供了一种目标检测装置,所述装置包括:
获取单元,用于获取点云信息,所述点云信息至少包括目标对象及待检测对象对应的点云信息;
信息处理单元,用于根据所述点云信息,得到网格信息,所述网格信息至少包括待检测对象;
检测单元,用于根据所述网格信息,识别出所述待检测对象中的障碍物。
可能的实现方式中,所述获取单元,用于:
获取通过至少两个传感器分别扫描得到的多个待处理的点云信息;
将所述多个待处理的点云信息进行拼接处理,得到所述点云信息。
可能的实现方式中,所述点云信息还包括传感器标识;
所述信息处理单元,用于:
对所述点云信息进行网格化处理,得到网格图,所述网格图包括多个网格区域;
根据所述多个网格区域中目标网格区域包括的传感器标识的类别,确定所述目标网格区域中是否存在障碍物;
在所述目标网格区域有障碍物的情况下,得到所述网格信息。
可能的实现方式中,所述信息处理单元,用于:
在所述目标网格区域中的至少两个像素点对应的传感器标识不同的情况下,确定所述目标网格区域中存在障碍物。
可能的实现方式中,所述点云信息还包括高度信息;
所述装置,还包括类别确定单元,用于:
根据所述高度信息,确定所述目标网格区域中存在的障碍物的类别;
根据所述障碍物的类别,更新所述网格信息。
可能的实现方式中,所述类别确定单元,用于:
获取所述目标网格区域中至少两个像素点分别对应的传感器标识及高度信息;
将所述至少两个像素点根据所述传感器标识进行划分,将对应同一个传感器标识的像素点作为一组数据,得到多组像素点数据;
根据所述高度信息,分别确定所述多组像素点数据中每一组像素点数据中最小高度值对应的数量;
根据所述最小高度值对应的数量,确定所述障碍物的类别。
可能的实现方式中,所述检测单元,用于:
根据所述网格信息进行连通区域分析,得到连通区域;
根据所述连通区域,识别出所述待检测对象中的障碍物。
可能的实现方式中,所述装置还包括连通区域调整单元,用于:
获取所述连通区域的第一线段上的多个待处理点;
从所述多个待处理点中选取至少两个参考点;
连接所述至少两个参考点得到第二线段,根据所述第二线段调整所述连通区域后得到第一区域。
可能的实现方式中,所述装置还包括:遮挡处理单元,用于:
从所述点云信息中提取目标对象对应的点云信息,根据所述目标对象对应的点云信息中像素点的坐标,得到所述目标对象位于所述网格信息中的目标位置;
获取位于所述网格信息中的至少两个障碍物;
以所述目标位置的中心点为基准,根据预设角度发出的指引线得到扇形区域;
在所述扇形区域覆盖第一障碍物和第二障碍物,且所述第二障碍物被所述第一障碍物遮挡的情况下,将所述第二障碍物从所述网格信息中删除。
可能的实现方式中,所述装置还包括发送单元,用于:
向所述目标对象发送导航路径上存在障碍物的消息,以使所述目标对象响应于所述存在障碍物的消息,根据所述障碍物进行避障处理和/或重新规划导航路径。
根据本公开的一方面,还提供了一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:执行上述目标检测方法。
根据本公开的一方面,还提供了一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述目标检测方法。
本公开,是根据至少包括目标对象及待检测对象对应的点云信息,得到网格信息,所述网格信息至少包括待检测对象,以及根据所述网格信息来识别出所述待检测对象中的障碍物,相比依赖于特定类型的训练数据及训练算法来说,点云信息的内容更为丰富,而不是特定的某一类目标对象,如车辆或行人等,因此应用范围更具备通用性,适用于更多的目标检测场景,且根据网格信息识别出所述待检测对象中的障碍物,提高了针对障碍物的目标检测精度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。
根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1示出根据本公开实施例的目标检测方法的流程图。
图2示出根据本公开实施例的网格信息的示意图。
图3示出根据本公开实施例的网格区域中像素点来源不同ring ID的示意图。
图4示出根据本公开实施例的网格区域中像素点来源同一ring ID的示意图。
图5示出根据本公开实施例的每个网格区域中障碍点信息的示意图。
图6a-图6b示出根据本公开实施例的连通区域连通方式的示意图。
图7示出根据本公开实施例的网格图中障碍物的示意图。
图8示出根据本公开实施例的删除网格图中被遮挡障碍物的示意图。
图9示出根据本公开实施例的目标检测装置的框图。
图10示出根据本公开实施例的电子设备的框图。
图11示出根据本公开实施例的电子设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
对目标对象进行检测,如针对自动驾驶或无人驾驶场景中的车辆或行人等目标对象进行检测,可以采用基于神经网络的深度学习技术来实现。对基于该深度学习技术实现的目标检测描述如下:
一方面,基于该深度学习技术实现目标检测的精确性,依赖于特定类型的训练数据,导致其适用的应用场景受限,也就是说,针对与所选择训练数据相关的某种特定场景是可行的,而无法泛化到其他非特定的场景中。比如,对于特定场景,如车辆或行人的目标检测,由于该特定场景比较常见,因此,积累了大量与该车辆或行人的目标检测相关的数据,将这些数据作为特定类型的训练数据,则基于该深度学习技术会在输入的数据中寻找符合这些类型特征的物体,从而,保证了在该特定场景下的目标检测精度。可是,对于并不常见的物体,如一个形状随机的树干或者石块等障碍物,由于根据该深度学习技术在训练过程中没有见过这类物体,因此,很难检测出该障碍物,从而难以将该深度学习技术应用于其他非特定的任意场景中,导致在某个特定场景下训练的神经网络在另一个不同类型的场景中的表现就会较差,从而导致泛化能力较弱。而且,该深度学习技术,其本质上就是对于给定的数据(预期目标)拟合一个复杂的函数,使得符合相同分布的数据输入该函数之后能够给出正确的结果,以得到匹配的假设,但是,常常使得为了得到这个假设,训练过程变得过度复杂,容易出现过拟合的问题。而且,如果输入的数据不符合训练数据的分布,则给出的结果不一定准确。由于训练数据很难覆盖所有可能的道路情况,所以只能针对特定的训练数据,以及相关的某种特定场景是可行的,给出在特定训练数据下可靠性较高的结果。
另一方面,基于该深度学习技术实现目标检测的精确性,还依赖于训练算法的优劣,而深度学习的特性是不完全可控,对于给定的输入数据,预测结果不可预期,从而很难达到100%召回率这一理想值。其中,召回率指通过目标检测所识别出来的物体的个数除以实际上物体的个数,在自动驾驶或无人驾驶场景中,召回率越高,驾驶的安全性越高。
综上所述,采用深度学习技术来实现自动驾驶或无人驾驶场景中的目标检测,更适用于对车辆或行人等目标对象的检测。而对于道路中障碍物的目标检测以避碰,达不到障碍物检测所需要的精度,而障碍物检测的精度,是自动驾驶中为了确保安全驾驶的一项重要环节,如果达不到障碍物检测的精度,则自动驾驶或无人驾驶的安全性无法得到保障。
图1示出根据本公开实施例的目标检测方法的流程图,该方法应用于目标检测装置,例如,该装置可以部署于终端设备或服务器或其它处理设备执行的情况下,可以执行自动驾驶中的目标检测或目标分类等处理。其中,终端设备可以为用户设备(UE,UserEquipment)、移动设备、蜂窝电话、无绳电话、个人数字处理(PDA,Personal DigitalAssistant)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图1所示,该流程包括:
步骤S101、获取点云信息,所述点云信息至少包括目标对象及待检测对象对应的点云信息。
一示例中,可以获取通过至少两个传感器分别扫描得到的多个待处理的点云信息,将所述多个待处理的点云信息进行拼接处理,得到所述点云信息,从而可以后续根据该点云信息进行网格化处理,以得到网格信息。
一示例中,至少两个传感器可以为激光雷达中具备激光发射及接收功能的多个传感器。
一示例中,所述目标对象,可以指在目标检测过程中通过至少两个传感器扫描的目标设备,如自动驾驶或无人驾驶场景中的车辆。本公开中的目标对象不限于该目标设备,还可以包括导盲的行人等。
一示例中,所述待检测对象,可以指在目标检测过程中与目标对象相关的待检测对象,如目标对象为自动驾驶或无人驾驶场景中的车辆,则为了安全驾驶,该与目标对象相关的待检测对象可以为车辆驾驶路线上的石子、树叶、路障等。所述待检测对象,还可以指在目标检测过程中与目标对象处于同一观测画面中的待检测对象,比如,目标对象仍以车辆为例,该与目标对象处于同一观测画面中的待检测对象可以为车辆所经过的路边广告牌、树木及其树冠等。
步骤S102、根据所述点云信息,得到网格信息,所述网格信息至少包括待检测对象。
一示例中,点云信息可以包括:目标对象的点云信息,如自动驾驶或无人驾驶场景中的车辆对应的点云信息,还可以包括待检测对象对应的点云信息,如小石子、树叶、路障、路边广告牌、树木及其树冠等。需要指出的是,自动驾驶或无人驾驶场景中,待检测对象中的小石子、树叶、路障是后续要识别的障碍物,而路边广告牌、树木及其树冠由于位于车辆驾驶路径之外,因此,可不作为障碍物来考虑,这样,不仅可以降低运算量,且可以提高对障碍物的检测精度。
一示例中,可以对点云信息进行网格化处理,得到由多个网格区域构成的网格图,如图2所示,图2示出根据本公开实施例的网格信息的示意图,本公开网格信息的一种实现方式可以是网格图,也可以是其他图表形式,并不做限定,图2中,网格图中包含多个网格区域11,在每个网格区域中包括一个或是多个像素点(图2中,以每个网格区域包括多个像素点为例)。需要识别出包含像素点的当前网格区域是否存在障碍点并以障碍点信息进行标识,识别的过程可以采用点云信息中的传感器标识(ring ID),比如,可以根据ring ID在该网格图的网格区域中标记该障碍点信息,如图5所示,图5示出根据本公开实施例的每个网格区域中障碍点信息的示意图,以数字“0”及数字“1”作为障碍物信息为例,其中,将网格区域标记为“0”,则表示该网格区域中无障碍点,网格区域为“1”,则表示该网格区域中存在障碍点,从而得到包含障碍点信息的网格图,以便根据该包含障碍点信息的网格图,识别出上述待检测对象中的障碍物。
步骤S103、根据所述网格信息,识别出所述待检测对象中的障碍物。
一示例中,网格信息可以为包含障碍点信息的网格图,根据该包含障碍点信息的网格图,可以识别出待检测对象中的障碍物,比如,将网格区域标记为“1”,表示为该网格区域中存在障碍点,将多个障碍点连通起来,可以得到该障碍物对应的连通区域。
本公开中,采用非深度学习技术结合点云信息,相比较于依赖于深度学习技术中特定类型的训练数据及训练算法的优劣的实现方式,本公开可以根据至少两个传感器对目标对象进行扫描,得到包含目标对象及待检测对象对应的点云信息,以根据所述点云信息,得到至少包括待检测对象的网格信息。由于网格信息中包含障碍物信息,因此,可以根据网格信息中包含的障碍物信息识别出待检测对象中的障碍物,提高了针对障碍物的目标检测精度。
一示例中,至少两个传感器分别对目标对象进行扫描的过程中,根据传感器发出的扫描探测信号及接收的回传信号,可以得到所述点云信息。比如,传感器向车辆及其障碍物发射扫描探测信号,然后,传感器接收从车辆及其障碍物反射回来的回传信号,将该回传信号与发射的扫描探测信号进行比较,可以获得如位置信息、高度信息、距离信息、速度信息、姿态信息、形状信息等参数,从而根据这些参数可以对车辆及其障碍物进行跟踪和识别。
需要指出的是,本公开的点云信息,是同一空间参考系下表达目标区域内物体的空间分布和表面特性的海量点的集合,并以像素点的形式记录每个像素点的三维坐标(其中,采用三维坐标中X/Y两维坐标来标定上述参数中的位置信息,采用三维坐标中的第三维Z来标定上述参数中的高度信息)、颜色信息(RGB)以及激光反射强度(Intensity)信息等中的多项的组合。
一示例中,可以从所述点云信息中获取所述ring ID(每个像素点除了包含三维坐标、RGB、Intensity信息等,还有所对应的ring ID信息),根据所述多个网格区域中目标网格区域包括的所述ring ID的类别,确定所述目标网格区域中是否存在障碍物,在所述目标网格区域有障碍物的情况下,得到所述网格信息,包括如下内容:
一、在所述目标网格区域中的至少两个像素点对应的ring ID为不同标识的情况下,确定所述目标网格区域中存在障碍物。图3示出根据本公开实施例的网格区域中像素点来源不同ring ID的示意图。如图3所示,包括传感器21、传感器22及传感器23,障碍物24,及多个像素点(分别用①-⑥来标识)。需要指出的是,该障碍物形状为三角形仅为示意,并不作为对障碍物实际形状的限定,仅用于表示其为障碍物。传感器21和传感器22发射的激光束原本不应当落入障碍物24所在目标网格区域中,由于目标网格区域存在该障碍物24,所以,导致传感器21和传感器22发射的激光束产生了反射。其中,通过传感器21扫描以得到由多个像素点构成的点云信息情况下,传感器21发射的激光束211遇到障碍物24发生反射,则像素点①落入目标网格区域中;通过传感器22扫描以得到由多个像素点构成的点云信息情况下,传感器22发射的激光束221及激光束222遇到障碍物24发生反射,则像素点②及像素点③落入目标网格区域中;通过传感器23扫描以得到由多个像素点构成的点云信息情况下,传感器23发射的激光束231、激光束232及激光束233未遇到障碍物24,像素点④、像素点⑤及像素点⑥落入目标网格区域中。可见:多个像素点(分别用①-⑥来标识),通过不同传感器得到,则分别对应的ring ID为不同标识,此时,目标网格区域中有障碍物。
需要指出的是,图3中的多个传感器(传感器21、传感器22及传感器23)在实际应用中其原本的位置关系不一定是分散设置,也可以是挨着设置,甚至将多个传感器设置在一起,并呈现不同的投射角度,本示例中为了方便解释对障碍物识别,将多个传感器分散设置,是为了更加直观,并不限于本示例的传感器摆放位置的示例,都在本公开的保护范围之内。
二、在目标网格区域中的至少两个像素点对应的ring ID为同一个标识的情况下,确定所述目标网格区域中不存在障碍物。图4示出根据本公开实施例的网格区域中像素点来源同一ring ID的示意图。如图4所示,包括传感器31,及多个像素点(分别用⑦-⑩来标识)。通过传感器31扫描以得到由多个像素点构成的点云信息情况下,传感器31发射的激光束311、激光束312、激光束313、及激光束314未遇到障碍物,像素点⑦、像素点⑧、像素点⑨及像素点⑩落入目标网格区域中。可见:多个像素点(分别用⑦-⑩来标识),通过同一传感器得到,则分别对应的ring ID为同一标识,此时,目标网格区域中不存在障碍物。
由于点云信息中所包括的待检测对象可以是包含如小石子、树叶等障碍物,以及在自动驾驶或无人驾驶场景中作为非障碍物考虑的其他对象,如树冠,标牌等。因此,在通过上述ring ID进行障碍物判断的基础上,可以进一步增加高度信息,对通过上述ring ID判断出的障碍物进行校验,以避免可能发生的误判断,比如,将如树冠,标牌等作为非障碍物考虑的其他对象,也识别为障碍物。因为,树冠,标识牌等空中的物体,也会有属于多个传感器的点落在其上,因此,会被误判断为障碍物,以自动驾驶或无人驾驶场景而言,以目标对象为车辆而言,树冠,标识牌等空中的物体它们并不应该属于障碍物,且树冠,标牌等会比一般如石子,树叶等障碍物要高的多,因此,可以将点云信息中像素点的高度信息加入,以从网格区域中排除被误识别为障碍物的,诸如树冠,标识牌等物体。
一示例中,点云信息还包括高度信息的情况下,所述在所述目标网格区域有障碍物的情况下,得到所述网格信息,还包括:根据所述高度信息,确定所述目标网格区域中存在的障碍物的类别;根据所述障碍物的类别,更新所述网格信息。比如,网格信息为网格图的例子中,更新网格信息后,可以得到更为精确的包含障碍点信息的网格图,以用于后续的目标检测处理。
一示例中,根据所述高度信息,确定所述目标网格区域中存在的障碍物的类别,包括:获取所述目标网格区域中至少两个像素点分别对应的ring ID及高度信息;将所述至少两个像素点根据所述ring ID进行划分,将对应同一个ring ID的像素点作为一组数据,得到多组像素点数据。根据高度信息,分别确定该多组像素点数据中每一组像素点数据中最小高度值对应的数量,根据该最小高度值对应的数量,确定障碍物的类别。一示例中,可以将该最小高度值对应的数量与阈值范围比较,来确定该障碍物的类别。其中,将最小高度值对应的数量与阈值范围比较,可以实现归类统计,该阈值范围可以为基于某个ring ID进行划分得到的归类结果中,最小高度值对应的数量大于或等于数量阈值(ring_count_th),并且最小高度值对应的数量小于高度阈值(height_th),则认为该网格图的网格区域中存在障碍物。比如,设置ring_count_th=3,而height_th可以取车辆的高度,例如2m。
通过上述基于某个ring ID的划分,得到多个划分结果后,可以该对该网格图进行连通区域分析,得到连通区域,根据所述连通区域,识别出待检测对象中的障碍物。可以通过诸如凹多边形、凸多边形、矩形或者三角形等多边形的形式来表示该障碍物,只要可以识别出该障碍物有别于其他对象即可。本公开一示例中采用凸多边形,一方面,就凸多边形的形状特性而言,相比矩形或者三角形,边的数目比矩形或者三角形的更多,更容易准确的表示出障碍物的形状;另一方面,采用凸多边形相比凹多边形,不会引入多余的计算量而增加运算成本,运算成本适中。
一示例中,上述连通区域分析,可以根据如图5所示网格区域中标记为“0”或“1”的障碍点信息,来搜索连在一起的包含障碍点信息的网格区域,从而形成“连通区域”。
图6a-图6b示出根据本公开实施例的连通区域连通方式的示意图,连通区域运算可以通过广度优先搜索(BFS,Breadth First Search)算法来实现,有4邻接或8邻接的两种连通方式来实现。一个例子中,图像中最小的单位是像素,每个像素周围有8个邻接像素,则邻接关系有2种:4邻接(如图6a所示)与8邻接(如图6b所示),其中,4邻接一共4个点,即上下左右共四个像素点。而8邻接的点由于包括了对角线位置的点共8个像素点,如果某一个像素点A与像素点B邻接,则A与B连通,彼此连通的点形成了一个区域,而不连通的点形成了其他不同的区域。这样一来,所有彼此连通的像素点构成的集合,称为一个“连通区域”。通过连通区域运算可以得到障碍物,图7示出根据本公开实施例的网格图中障碍物的示意图,如图7所示,网格图中包含多个用凸多边形表示的障碍物。
一示例中,根据上述连通区域,识别出待检测对象中的障碍物之后,还包括:获取连通区域的第一线段上的多个待处理点,从多个待处理点中选取至少两个参考点,连接该至少两个参考点得到第二线段,根据该第二线段调整连通区域后得到第一区域。比如,该第一区域可以小于连通区域。若障碍物是凸多边形,则该连通区域的调整过程可以称之为凸包处理,比如,构成连通区域某个线段(称之为第一线段)有10个待处理点,从10个待处理点中选取6个参考点,连接该6个参考点重新得到一个线段(称之为第二线段),则根据该第二线段调整连通区域后可以得到第一区域,且该第一区域小于连通区域,也就是说经凸包处理后,减少了用于表示障碍物的凸边数量(因为点少了,凸边相应减少),凸多边形较其初始形状变小了,采用凸包处理,可以降低运算量。
一示例中,根据所述连通区域,识别出所述待检测对象中的障碍物之后,所述方法还包括:从所述点云信息中提取目标对象对应的点云信息,根据所述目标对象对应的点云信息中像素点的坐标,得到所述目标对象位于所述网格信息中的目标位置;获取位于所述网格信息中的至少两个障碍物;以所述目标位置的中心点为基准,根据预设角度发出的指引线得到扇形区域;在所述扇形区域覆盖第一障碍物和第二障碍物,且所述第二障碍物被所述第一障碍物遮挡的情况下,将所述第二障碍物从所述网格信息中删除。图8示出根据本公开实施例的删除网格图中被遮挡障碍物的示意图,如图8所示,网格图中包含目标对象及至少两个障碍物,目标对象可以为车辆41,至少两个障碍物中的第一障碍物可以为警示对象42,至少两个障碍物中的第二障碍物可以为一个或多个石子43,以车辆41当前位置的中心点为基准,根据预设角度α发出的指引线得到扇形区域,警示对象42及一个或多个石子43被该扇形区域所覆盖,由于一个或多个石子43被警示对象42遮挡,因此,从车辆41中心位置去观察障碍物,是看不到一个或多个石子43,只能看到警示对象43,则将一个或多个石子43,作为比警示对象42更小的物体,而不去关心,将一个或多个石子43从网格图中删除。需要指出的是,第二障碍物不限于被遮挡的小石子,还可以是路边的草丛等。
一示例中,所述方法包括:向目标对象(如车辆)发送导航路径上存在障碍物的消息,以使所述目标对象响应于该存在障碍物的消息,根据障碍物进行避障处理和/或重新规划导航路径。
应用示例:
根据上述实施例的一个应用示例,包括如下内容:
一、根据激光雷达中多个传感器对目标对象进行扫描,得到包含目标对象及待检测对象的点云信息,输入点云信息,得到包含待检测对象的网格信息,如网格信息可以是标记障碍点信息的网格图。
一个或多个激光雷达中可以有多个传感器,多个传感器共同构建整个场景的点云信息,将整个扫描区域(每个激光雷达在同一时刻或是同一时段内,扫描出来的一组点云所覆盖的区域)对应到网格图上。由于每个激光雷达中每个激光发射器指向的方向与水平面的夹角都不一样,因此,激光雷达每扫描一次,每个传感器都会转一圈扫描到某个角度下一圈的点云信息。
若是网格图中某个网格区域上无障碍物凸起,则该网格区域应当是与地面高度差不多匹配的平面,则应当发射到该网格区域的传感器的相邻传感器发射的激光就不会被该网格区域所阻碍,则发射到该网格区域的激光都来源于同一个传感器,因此,落入该网格区域内的像素点来源于同一个传感器,像素点对应的ring ID是相同的,即落到该网格区域内的像素点是同一个传感器所扫描得到的;而如果某个网格区域有障碍物凸起,则应当射到该网格区域的传感器的相邻传感器发射的激光都会被该网格区域上突出的障碍物阻碍,则发射到该网格区域的激光来源于不同的传感器,因此,落到该网格区域内的像素点对应的传感器就有多个,像素点对应的ring ID是不同的,即:落入该网格区域内的像素点是不同传感器所扫描得到的。
进一步的,利用落入网格区域中的像素点的ring ID的个数来判断该网格区域是否有障碍物,还可以进一步优化,例如树冠,标识牌等空中的其他物体,虽然也会有属于多个传感器的激光射到同一个网格区域中,落到该网格区域内的像素点对应的传感器也有多个,ring ID也是不同的,但是对于目标对象为车辆的情况下,对于树冠,标识牌等空中的其他物体,它们并不属于车辆所关注的障碍物,需要排除将树冠,标识牌作为车辆需要避让的障碍物的情况。因此,需要将像素点的高度信息加入考虑因素,来对由ring ID得到的障碍物进行校验以实现该进一步优化,并过滤掉高于某个高度的障碍物,从而进一步提高对障碍物检测的精度。
需要指出的,如果输入的点云信息为多个激光雷达扫描结果的融合,则对于每一个激光雷达扫描出的点云信息都可以构建N×M的网格图,可以预先设定每一格的边长在现实中表示0.1m,并将坐标(N/2,M/2)处设置为车辆中心。对于输入的点云信息为一个激光雷达扫描结果的情况,则直接构建N×M的网格图。无论点云信息包括多个激光雷达扫描结果的融合,还是包括一个激光雷达扫描结果,都采用下述识别障碍物的方法来判断障碍物,以得到带障碍点信息的网格图。
根据ring ID以及高度信息来判断某个网格区域是否存在障碍物的过程中,将单个激光雷达扫描出的点云信息中的像素点按照位置信息分配到网格中。对于每个网格区域,统计分配到其中的点的ring ID(相同的ring ID不重复统计),将对应同一个ring ID的像素点作为一组数据,得到多组像素点数据,根据高度信息,分别确定多组像素点数据中每一组像素点数据中最小高度值对应的数量,根据最小高度值对应的数量,确定障碍物的类别。一示例中,可以将最小高度值对应的数量与阈值范围比较,来确定该障碍物的类别。其中,将最小高度值对应的数量与阈值范围比较,可以实现归类统计(或称之为聚类),如果某个归类结果中最小高度值对应的数量大于等于ring_count_th,并且最小高度值对应的数量小于height_th,则认为该网格区域存在障碍物,采用归类统计的好处是:找到在高度上连续的一段障碍物,而不是某个单点。最终,对于每个激光雷达都可以获得一张网格图,将多个网格图的每个元素进行“或”操作进行融合,得到输出结果,即得到带障碍点信息的网格图。针对“或”操作的一个例子是:网格图中用“1”表示有障碍物,用“0”表示无障碍物,有两个1x3的网格图,分别为[1,0,0]和[0,1,0],则将两个网格图做“或”操作是对于其中对应的网格区域,若有其中一个或者两个网格区域标为“1”,则叠加后网格区域的对应位置就标“1”,则针对这两个网格图执行“或”操作之后的结果就是[1,1,0]。
在以ring ID判断障碍物的基础上加以高度信息来校验某个网格区域是否存在障碍物的过程中,可以采用补偿方式来提升检测距离,从而保证检测质量。一例子中,在统计每个网格区域中像素点的ring ID时,由于点云信息在远处物体上会变稀疏,因此,网格区域距离车辆中心的距离(distance)越远,需要采用一并统计其周围的补偿方式,该补偿方式可以为:还需要统计以该网格区域为中心,n×n大小的范围。其中,n=around(1+a×distance),around函数表示四舍五入,a为一个预先设定的较小常数,则进行归类统计,是先对于高度值最小值数组中所有高度值进行排序,排序后的数列中若连续两项的高度差大于某个阈值(gap_th),则分为两个类。
其中,由于远处物体上反射的像素点的分布一定比近处的分布更加分散,因此,gap_th作为修正函数,其取值可以根据网格区域距离车辆中心的distance进行一定的修正。gap_th的取值方法而言,可以根据网格区域距离车辆中心的distance进行一定的修正,比如,根据传感器的安装位置,角度,点云稀疏性等不同的情况,分别采用不同的补偿方案。一个示例中,gap_th=a×distance+b,单位为米,其中a,b为较小常数。计算得到的gap_th是一个较小的值,可以取0.1m。
就ring_count_th取值而言,可以根据点云信息的稀疏程度进行补偿,一个示例中,可以取定值,例如取3。height_th的取值而言,由于传感器(传感器可以设置于车辆上的激光雷达)有一定的仰角,因此,height_th不能取定值,可以根据网格区域距离车辆中心的距离(distance)进行一定的角度修正,比如,一个示例中,假设修正角度的正切值为a,则令height_th=1+a×distance,单位为米。需要说明的是,对于上述各参数的取值,可以结合实际情况进行设置,在此不限定具体的设置方式。
二、对网格图中的障碍点进行连通区域分析,得到连通区域,根据连通区域可以得到凸多边形表示的障碍物。
得到上述网格图后,每个网格区域的值表示了该网格区域是否有障碍物,由于点云信息的稀疏性,因此,有些较大的物体被分成了很多部分,可以先用图像膨胀算法处理该网格图,从而,将同一个物体的多个部分连通。接着,进行连通区域分析(每个连通区域表示一个物体,如障碍物)。对于每个连通区域,计算其凸包,接着对于每个凸包使用凸包运算,如Ramer–Douglas–Peucker算法,从而,可以简化凸包的边数,降低运算量。最终,做FOV分析去遮挡,从而去除从车辆中心点观察所无法观察到的小障碍物。
凸包运算的一个例子中,包括:1.对于一条需要简化的折线,在折线首尾两点A,B之间连接一条直线AB;2.遍历找到折线上距离直线AB最远的点C,计算其与AB的距离;比较该距离与预先给定的阈值,若小于该阈值则将直线AB作为这段折线的近似,该段折线处理完成;4.如果距离大于阈值,则用点C将直线AB分为两段直线AC和BC,并分别对两段直线进行上述1-4步骤的处理;5.当所有的曲线都处理完毕时,依次连接各个分割点形成的折线,既可作为初始折线的近似,以得到更新后的凸包。
FOV分析的一个例子中,包括:对于每两个凸包C1和C2,需要检测在C2的遮挡下,本车位置能否观察到C1。对于C1上的每个点P,连接中心点A和点P,检测直线AP是否穿过C2,这一步的检测可以通过叉乘运算判断C2上所有点是否都在直线AP的同一边,如果都在同一边,则认为直线AP没有穿过C2。遍历C1上的点后可得在本车位置无法观察到凸包C1上的点的个数n,如果n大于等于某个阈值fov_th,则认为C1不可见,将C1删除。
其中,就fov_th的取值而言,需要根据障碍物到本车的距离进行修正,一个修正示例为:fov_th=min(1,ceil(convex_point_num×(1–distance/a))),其中,convex_point_num为对应凸包上的点的个数,distance为凸包到本车的距离,a为某个较大的常数,可以取值为最大可感知的距离值,ceil为向上取整函数。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
本公开提及的上述各个方法实施例,在不违背原理逻辑的情况下,均可以彼此相互结合形成结合后的实施例,限于篇幅,本公开不再赘述。
此外,本公开还提供了一种目标检测装置、电子设备、计算机可读存储介质、程序,上述均可用来实现本公开提供的任一种目标检测方法,相应技术方案和描述和参见方法部分的相应记载,不再赘述。
图9示出根据本公开实施例的目标检测装置的框图,如图9所示,该装置,包括:获取单元51,用于获取点云信息,所述点云信息至少包括目标对象及待检测对象对应的点云信息;信息处理单元52,用于根据所述点云信息,得到网格信息,所述网格信息至少包括待检测对象;检测单元53,用于根据所述网格信息,识别出所述待检测对象中的障碍物。
可能的实现方式中,所述获取单元,用于:获取通过至少两个传感器分别扫描得到的多个待处理的点云信息;将所述多个待处理的点云信息进行拼接处理,得到所述点云信息。
可能的实现方式中,所述点云信息还包括ring ID,所述信息处理单元,用于:对所述点云信息进行网格化处理,得到网格图,所述网格图包括多个网格区域;根据所述多个网格区域中目标网格区域包括的ring ID的类别,确定所述目标网格区域中是否存在障碍物;在所述目标网格区域有障碍物的情况下,得到所述网格信息。
可能的实现方式中,所述信息处理单元,用于:在所述目标网格区域中的至少两个像素点对应的ring ID不同的情况下,确定所述目标网格区域中存在障碍物。
可能的实现方式中,所述点云信息还包括高度信息,所述装置,还包括类别确定单元,用于:根据所述高度信息,确定所述目标网格区域中存在的障碍物的类别;根据所述障碍物的类别,更新所述网格信息。
可能的实现方式中,所述类别确定单元,用于:获取所述目标网格区域中至少两个像素点分别对应的ring ID及高度信息;将所述至少两个像素点根据所述ring ID进行划分,将对应同一个ring ID的像素点作为一组数据,得到多组像素点数据;根据所述高度信息,分别确定所述多组像素点数据中每一组像素点数据中最小高度值对应的数量;根据所述最小高度值对应的数量,确定所述障碍物的类别。
可能的实现方式中,所述检测单元,用于:根据所述网格信息进行连通区域分析,得到连通区域;根据所述连通区域,识别出所述待检测对象中的障碍物。
可能的实现方式中,所述装置还包括连通区域调整单元,用于:获取所述连通区域的第一线段上的多个待处理点;从所述多个待处理点中选取至少两个参考点;连接所述至少两个参考点得到第二线段,根据所述第二线段调整所述连通区域后得到第一区域。一示例中,所述第一区域可以小于所述连通区域。
可能的实现方式中,所述装置还包括:遮挡处理单元,用于:从所述点云信息中提取目标对象对应的点云信息,根据所述目标对象对应的点云信息中像素点的坐标,得到所述目标对象位于所述网格信息中的目标位置;获取位于所述网格信息中的至少两个障碍物;以所述目标位置的中心点为基准,根据预设角度发出的指引线得到扇形区域;在所述扇形区域覆盖第一障碍物和第二障碍物,且所述第二障碍物被所述第一障碍物遮挡的情况下,将所述第二障碍物从所述网格信息中删除。
可能的实现方式中,所述装置还包括发送单元,用于:向所述目标对象发送导航路径上存在障碍物的消息,以使所述目标对象响应于所述存在障碍物的消息,根据所述障碍物进行避障处理和/或重新规划导航路径。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
本公开实施例还提出一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为上述方法。
电子设备可以被提供为终端、服务器或其它形态的设备。
图10是根据一示例性实施例示出的一种电子设备800的框图。例如,电子设备800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等终端。
参照图10,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理***,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到电子设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器804,上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
图11是根据一示例性实施例示出的一种电子设备900的框图。例如,电子设备900可以被提供为一服务器。参照图11,电子设备900包括处理组件922,其进一步包括一个或多个处理器,以及由存储器932所代表的存储器资源,用于存储可由处理组件922的执行的指令,例如应用程序。存储器932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件922被配置为执行指令,以执行上述方法。
电子设备900还可以包括一个电源组件926被配置为执行电子设备900的电源管理,一个有线或无线网络接口950被配置为将电子设备900连接到网络,和一个输入输出(I/O)接口958。电子设备900可以操作基于存储在存储器932的操作***,例如WindowsServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器932,上述计算机程序指令可由电子设备900的处理组件922执行以完成上述方法。
本公开可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
在不违背逻辑的情况下,本申请不同实施例之间可以相互结合,不同实施例描述有所侧重,为侧重描述的部分可以参见其他实施例的记载。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (14)
1.一种目标检测方法,其特征在于,所述方法包括:
获取点云信息,所述点云信息至少包括目标对象及待检测对象对应的点云信息;
根据所述点云信息,得到网格信息,所述网格信息至少包括待检测对象;
根据所述网格信息,识别出所述待检测对象中的障碍物;
所述获取点云信息,包括:
获取通过至少两个传感器分别扫描得到的多个待处理的点云信息;
将所述多个待处理的点云信息进行拼接处理,得到所述点云信息;
所述点云信息还包括传感器标识;
所述根据所述点云信息,得到网格信息,包括:
对所述点云信息进行网格化处理,得到网格图,所述网格图包括多个网格区域;
根据所述多个网格区域中目标网格区域包括的传感器标识的类别,确定所述目标网格区域中是否存在障碍物;
在所述目标网格区域有障碍物的情况下,得到所述网格信息;
所述根据所述网格信息,识别出所述待检测对象中的障碍物,包括:
根据所述网格信息进行连通区域分析,得到连通区域;
根据所述连通区域,识别出所述待检测对象中的障碍物。
2.根据权利要求1所述的方法,其特征在于,所述根据所述多个网格区域中目标网格区域包括的传感器标识的类别,确定所述目标网格区域中是否存在障碍物,包括:
在所述目标网格区域中的至少两个像素点对应的传感器标识不同的情况下,确定所述目标网格区域中存在障碍物。
3.根据权利要求1或2所述的方法,其特征在于,所述点云信息还包括高度信息;
所述在所述目标网格区域有障碍物的情况下,得到所述网格信息,还包括:
根据所述高度信息,确定所述目标网格区域中存在的障碍物的类别;
根据所述障碍物的类别,更新所述网格信息。
4.根据权利要求3所述的方法,其特征在于,所述根据所述高度信息,确定所述目标网格区域中存在的障碍物的类别,包括:
获取所述目标网格区域中至少两个像素点分别对应的传感器标识及高度信息;
将所述至少两个像素点根据所述传感器标识进行划分,将对应同一个传感器标识的像素点作为一组数据,得到多组像素点数据;
根据所述高度信息,分别确定所述多组像素点数据中每一组像素点数据中最小高度值对应的数量;
根据所述最小高度值对应的数量,确定所述障碍物的类别。
5.根据权利要求1所述的方法,其特征在于,所述根据所述连通区域,识别出所述待检测对象中的障碍物之后,所述方法还包括:
获取所述连通区域的第一线段上的多个待处理点;
从所述多个待处理点中选取至少两个参考点;
连接所述至少两个参考点得到第二线段,根据所述第二线段调整所述连通区域后得到第一区域。
6.根据权利要求1所述的方法,其特征在于,所述根据所述连通区域,识别出所述待检测对象中的障碍物之后,所述方法还包括:
从所述点云信息中提取目标对象对应的点云信息,根据所述目标对象对应的点云信息中像素点的坐标,得到所述目标对象位于所述网格信息中的目标位置;
获取位于所述网格信息中的至少两个障碍物;
以所述目标位置的中心点为基准,根据预设角度发出的指引线得到扇形区域;
在所述扇形区域覆盖第一障碍物和第二障碍物,且所述第二障碍物被所述第一障碍物遮挡的情况下,将所述第二障碍物从所述网格信息中删除。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述方法包括:
向所述目标对象发送导航路径上存在障碍物的消息,以使所述目标对象响应于所述存在障碍物的消息,根据所述障碍物进行避障处理和/或重新规划导航路径。
8.一种目标检测装置,其特征在于,所述装置包括:
获取单元,用于获取点云信息,所述点云信息至少包括目标对象及待检测对象对应的点云信息;
信息处理单元,用于根据所述点云信息,得到网格信息,所述网格信息至少包括待检测对象;
检测单元,用于根据所述网格信息,识别出所述待检测对象中的障碍物;
所述获取单元,用于:
获取通过至少两个传感器分别扫描得到的多个待处理的点云信息;
将所述多个待处理的点云信息进行拼接处理,得到所述点云信息;
所述点云信息还包括传感器标识;
所述信息处理单元,用于:
对所述点云信息进行网格化处理,得到网格图,所述网格图包括多个网格区域;
根据所述多个网格区域中目标网格区域包括的传感器标识的类别,确定所述目标网格区域中是否存在障碍物;
在所述目标网格区域有障碍物的情况下,得到所述网格信息;
所述检测单元,用于:
根据所述网格信息进行连通区域分析,得到连通区域;
根据所述连通区域,识别出所述待检测对象中的障碍物。
9.根据权利要求8所述的装置,其特征在于,所述信息处理单元,用于:
在所述目标网格区域中的至少两个像素点对应的传感器标识不同的情况下,确定所述目标网格区域中存在障碍物。
10.根据权利要求8或9所述的装置,其特征在于,所述点云信息还包括高度信息;
所述装置,还包括类别确定单元,用于:
根据所述高度信息,确定所述目标网格区域中存在的障碍物的类别;
根据所述障碍物的类别,更新所述网格信息。
11.根据权利要求10所述的装置,其特征在于,所述类别确定单元,用于:
获取所述目标网格区域中至少两个像素点分别对应的传感器标识及高度信息;
将所述至少两个像素点根据所述传感器标识进行划分,将对应同一个传感器标识的像素点作为一组数据,得到多组像素点数据;
根据所述高度信息,分别确定所述多组像素点数据中每一组像素点数据中最小高度值对应的数量;
根据所述最小高度值对应的数量,确定所述障碍物的类别。
12.根据权利要求8所述的装置,其特征在于,所述装置还包括连通区域调整单元,用于:
获取所述连通区域的第一线段上的多个待处理点;
从所述多个待处理点中选取至少两个参考点;
连接所述至少两个参考点得到第二线段,根据所述第二线段调整所述连通区域后得到第一区域。
13.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:执行权利要求1至7中任意一项所述的方法。
14.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010314166.6A CN111507973B (zh) | 2020-04-20 | 2020-04-20 | 目标检测方法及装置、电子设备和存储介质 |
PCT/CN2021/087424 WO2021213241A1 (zh) | 2020-04-20 | 2021-04-15 | 目标检测方法及装置、电子设备、存储介质及程序 |
KR1020217043313A KR20220016221A (ko) | 2020-04-20 | 2021-04-15 | 목표 검출 방법 및 장치, 전자 장치, 저장 매체 및 프로그램 |
JP2021577017A JP2022539093A (ja) | 2020-04-20 | 2021-04-15 | 目標検出方法及び装置、電子機器、記憶媒体並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010314166.6A CN111507973B (zh) | 2020-04-20 | 2020-04-20 | 目标检测方法及装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111507973A CN111507973A (zh) | 2020-08-07 |
CN111507973B true CN111507973B (zh) | 2024-04-12 |
Family
ID=71878738
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010314166.6A Active CN111507973B (zh) | 2020-04-20 | 2020-04-20 | 目标检测方法及装置、电子设备和存储介质 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP2022539093A (zh) |
KR (1) | KR20220016221A (zh) |
CN (1) | CN111507973B (zh) |
WO (1) | WO2021213241A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111507973B (zh) * | 2020-04-20 | 2024-04-12 | 上海商汤临港智能科技有限公司 | 目标检测方法及装置、电子设备和存储介质 |
CN112697188B (zh) * | 2020-12-08 | 2022-12-23 | 北京百度网讯科技有限公司 | 检测***测试方法及装置、计算机设备、介质和程序产品 |
CN113901970B (zh) * | 2021-12-08 | 2022-05-24 | 深圳市速腾聚创科技有限公司 | 障碍物的检测方法及装置、介质及电子设备 |
CN114445802A (zh) * | 2022-01-29 | 2022-05-06 | 北京百度网讯科技有限公司 | 点云处理方法、装置及车辆 |
CN117091516B (zh) * | 2022-05-12 | 2024-05-28 | 广州镭晨智能装备科技有限公司 | 电路板保护层的厚度检测方法、***及存储介质 |
CN115330969A (zh) * | 2022-10-12 | 2022-11-11 | 之江实验室 | 一种用于地面无人车的局部静态环境矢量化描述方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102779280A (zh) * | 2012-06-19 | 2012-11-14 | 武汉大学 | 一种基于激光传感器的交通信息提取方法 |
CN106951847A (zh) * | 2017-03-13 | 2017-07-14 | 百度在线网络技术(北京)有限公司 | 障碍物检测方法、装置、设备及存储介质 |
CN109145677A (zh) * | 2017-06-15 | 2019-01-04 | 百度在线网络技术(北京)有限公司 | 障碍物检测方法、装置、设备及存储介质 |
CN109635685A (zh) * | 2018-11-29 | 2019-04-16 | 北京市商汤科技开发有限公司 | 目标对象3d检测方法、装置、介质及设备 |
CN109840448A (zh) * | 2017-11-24 | 2019-06-04 | 百度在线网络技术(北京)有限公司 | 用于无人驾驶车辆的信息输出方法和装置 |
CN110147706A (zh) * | 2018-10-24 | 2019-08-20 | 腾讯科技(深圳)有限公司 | 障碍物的识别方法和装置、存储介质、电子装置 |
JP2019207655A (ja) * | 2018-05-30 | 2019-12-05 | 株式会社Ihi | 検知装置及び検知システム |
JP2020038631A (ja) * | 2018-08-30 | 2020-03-12 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラムおよびシステム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105957145A (zh) * | 2016-04-29 | 2016-09-21 | 百度在线网络技术(北京)有限公司 | 道路障碍物识别方法和装置 |
JPWO2018180285A1 (ja) * | 2017-03-31 | 2020-01-16 | パイオニア株式会社 | 3次元データ生成装置、3次元データ生成方法、3次元データ生成プログラム及び3次元データ生成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP6969738B2 (ja) * | 2017-07-10 | 2021-11-24 | 株式会社Zmp | 物体検出装置及び方法 |
US10354444B2 (en) * | 2017-07-28 | 2019-07-16 | The Boeing Company | Resolution adaptive mesh that is generated using an intermediate implicit representation of a point cloud |
JP7056842B2 (ja) * | 2018-03-23 | 2022-04-19 | 株式会社豊田中央研究所 | 状態推定装置及びプログラム |
JP7128577B2 (ja) * | 2018-03-30 | 2022-08-31 | セコム株式会社 | 監視装置 |
CN111507973B (zh) * | 2020-04-20 | 2024-04-12 | 上海商汤临港智能科技有限公司 | 目标检测方法及装置、电子设备和存储介质 |
-
2020
- 2020-04-20 CN CN202010314166.6A patent/CN111507973B/zh active Active
-
2021
- 2021-04-15 WO PCT/CN2021/087424 patent/WO2021213241A1/zh active Application Filing
- 2021-04-15 KR KR1020217043313A patent/KR20220016221A/ko not_active Application Discontinuation
- 2021-04-15 JP JP2021577017A patent/JP2022539093A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102779280A (zh) * | 2012-06-19 | 2012-11-14 | 武汉大学 | 一种基于激光传感器的交通信息提取方法 |
CN106951847A (zh) * | 2017-03-13 | 2017-07-14 | 百度在线网络技术(北京)有限公司 | 障碍物检测方法、装置、设备及存储介质 |
CN109145677A (zh) * | 2017-06-15 | 2019-01-04 | 百度在线网络技术(北京)有限公司 | 障碍物检测方法、装置、设备及存储介质 |
CN109840448A (zh) * | 2017-11-24 | 2019-06-04 | 百度在线网络技术(北京)有限公司 | 用于无人驾驶车辆的信息输出方法和装置 |
JP2019207655A (ja) * | 2018-05-30 | 2019-12-05 | 株式会社Ihi | 検知装置及び検知システム |
JP2020038631A (ja) * | 2018-08-30 | 2020-03-12 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラムおよびシステム |
CN110147706A (zh) * | 2018-10-24 | 2019-08-20 | 腾讯科技(深圳)有限公司 | 障碍物的识别方法和装置、存储介质、电子装置 |
CN109635685A (zh) * | 2018-11-29 | 2019-04-16 | 北京市商汤科技开发有限公司 | 目标对象3d检测方法、装置、介质及设备 |
Non-Patent Citations (2)
Title |
---|
Lanxiang Zheng et al.The Obstacle Detection Method of UAV Based on 2D Lidar.《IEEE Access》.2019,第7卷163437-163448. * |
娄新雨等.采用64线激光雷达的实时道路障碍物检测与分类算法的研究.《汽车工程》.2019,第41卷(第8期),779-784. * |
Also Published As
Publication number | Publication date |
---|---|
CN111507973A (zh) | 2020-08-07 |
WO2021213241A1 (zh) | 2021-10-28 |
KR20220016221A (ko) | 2022-02-08 |
JP2022539093A (ja) | 2022-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111507973B (zh) | 目标检测方法及装置、电子设备和存储介质 | |
US11468581B2 (en) | Distance measurement method, intelligent control method, electronic device, and storage medium | |
US11308809B2 (en) | Collision control method and apparatus, and storage medium | |
CN110674719B (zh) | 目标对象匹配方法及装置、电子设备和存储介质 | |
US11301726B2 (en) | Anchor determination method and apparatus, electronic device, and storage medium | |
US11321575B2 (en) | Method, apparatus and system for liveness detection, electronic device, and storage medium | |
CN112419328A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN110543850B (zh) | 目标检测方法及装置、神经网络训练方法及装置 | |
KR20210036955A (ko) | 동작 인식 방법 및 장치, 운전자 상태 해석 방법 및 장치 | |
CN111104920B (zh) | 视频处理方法及装置、电子设备和存储介质 | |
CN111881827B (zh) | 目标检测方法及装置、电子设备和存储介质 | |
CN116420058A (zh) | 替代自主车辆数据 | |
KR20220062107A (ko) | 광 강도 조절 방법, 장치, 전자 기기 및 기억 매체 | |
CN109696173A (zh) | 一种车体导航方法和装置 | |
CN111626086A (zh) | 活体检测方法、装置及***、电子设备和存储介质 | |
CN111523599B (zh) | 目标检测方法及装置、电子设备和存储介质 | |
KR20210148134A (ko) | 대상 카운트 방법, 장치, 전자 기기, 저장 매체 및 프로그램 | |
CN113313115B (zh) | 车牌属性识别方法及装置、电子设备和存储介质 | |
EP3369602A1 (en) | Display controller, display control method, and carrier means | |
CN111832338A (zh) | 对象检测方法及装置、电子设备和存储介质 | |
CN110781975B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN110390252B (zh) | 基于先验地图信息的障碍物检测方法、装置和存储介质 | |
CN113450459A (zh) | 目标物的三维模型构建方法及装置 | |
CN111860074A (zh) | 目标对象检测方法及装置、驾驶控制方法及装置 | |
CN113344900B (zh) | 机场跑道侵入检测方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |