CN115527187A - 一种障碍物的分类方法以及装置 - Google Patents
一种障碍物的分类方法以及装置 Download PDFInfo
- Publication number
- CN115527187A CN115527187A CN202211211419.2A CN202211211419A CN115527187A CN 115527187 A CN115527187 A CN 115527187A CN 202211211419 A CN202211211419 A CN 202211211419A CN 115527187 A CN115527187 A CN 115527187A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- obstacle
- cloud data
- feature vector
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开实施例提供一种障碍物的分类方法、装置、存储介质以及电子设备,所述控制方法包括获取所述障碍物的第一点云数据和特征数据,所述特征数据至少包括所述障碍物的长、宽和高;对所述第一点云数据进行拓展,获取第二点云数据;将所述第二点云数据输入至分类网络,确定所述障碍物的类别。本公开实施例综合考虑了障碍物目标的点特征与整体特征,利用较少层的神经网络实现分类准确率高,并且非常轻量高效。
Description
技术领域
本公开涉及智能驾驶场景下障碍物识别的技术领域,具体地涉及一种障碍物的分类方法、装置、存储介质以及电子设备。
背景技术
在智能驾驶的应用场景中,激光雷达通常被安装在车辆的顶部以当作智能驾驶车辆的眼睛,用于感知外界环境。通过对激光雷达输出的点云进行处理可以获取准确获取周围障碍物的位置、速度等信息。
常用的点云障碍物检测方法有两种,第一种是将整帧点云数据经过一些前处理后输入至神经网络中,进行目标的类别以及位置的回归;第二种是通过地面分割、路沿检测、点云聚类等处理后,获得当前帧的目标点云团簇集,然后计算目标位置,最后对目标进行分类。其中,第一种方法采用端到端的深度学习方法,其鲁棒性强,但是考虑到其基于黑盒计算而导致较难实现分析调试,并且受训练数据影响严重,无法检测训练集中没有的目标,这样会造成漏检;第二种方法通过传统处理方法,先提取所有地面上的物体,不受训练数据等其他因素的限制,不会因为目标形状不规则或者由于第一次采集而无法实现探测,其漏检率较低,但是获取目标类别的准确性较低。
在应用于智能驾驶场景的目标分类技术中,常用的目标分类方法是根据目标的长宽高、比例、反射率等参数通过采用决策树的方式进行分类,但这种分类方式鲁棒性较差,分类准确率较低,尤其是存在目标遮挡、或者距离较远时的分类准确率尤其低。具体地,在对智能驾驶车辆行驶过程中遇到的障碍物进行分类,一般例如分为机动车、非机动车、行人、锥桶、三角牌、其他非常规障碍物等。由于在智能驾驶车辆行驶的过程中,障碍物通常会存在遮挡等情况,所以障碍物的形状可能不太规则,通过常规的基于形状的判断很难保证分类的准确性。
因此,现有技术中往往采取机器学习的方法,利用神经网络提取深层特征的方式计算不同类别的概率。目前有一些用于目标分类的神经网络,但是这些神经网络一般是基于针对室内的人为构建的待测目标的数据集,无法应用在实际的智能驾驶场景中。这里,常见的分类网络例如PointNet,该网络利用了点特征,通过T-Net模拟目标的旋转不变性,然后通过最大池化提取全局特征,送入softmax模块计算概率。但是这种分类网络只利用目标的点特征,无法准确地区分一些较为相似的障碍物的类别,例如锥桶与三角牌、锥桶与行人等,这些障碍物往往在点云形态上时存在高度的相似性而无法准确确定类别。
Pointnet++作为Pointnet的升级版网络,充分考虑到了障碍物的点特征的不充分性,引入了邻域特征概念,通过KNN计算点邻域点,通过构建邻域特征的方式进行全局特征提取,但是这种处理方式造成了处理速度的降低,很难应用在智能驾驶这种对实时性要求较高的场景中。
Point Transform网络通过点云数据的自注意的处理机制提取点云特征,可以有效增加分类的准确性,但是自注意力机制的引入也引入了大量的计算量,较难应用于实际的智能驾驶场景中。需要注意的是,目前对于障碍物的检测的实时性要求一般为100ms以内每帧,障碍物分类作为检测流程的最后一步,在地面分割、路沿检测、点云聚类、包络构建之后,其可支配的算力及耗时是非常有限的。
发明内容
本公开实施例的目的在于提供一种障碍物的分类方法、装置、存储介质以及电子设备,以解决现有技术中存在的问题。
为了解决上述技术问题,本公开的实施例采用了如下技术方案:
一种障碍物的分类方法,其包括:
获取所述障碍物的第一点云数据和特征数据,所述特征数据至少包括所述障碍物的长、宽和高;
对所述第一点云数据进行拓展,获取第二点云数据;
将所述第二点云数据输入至分类网络,确定所述障碍物的类别。
在一些实施例中,所述对所述第一点云数据进行拓展,获取第二点云数据,包括:
基于所述第一点云数据的点云添加虚拟地面点;
基于所述第一点云数据中的点和所述虚拟地面点形成的点云,确定所述点云的横向半径值。
在一些实施例中,所述基于所述第一点云数据的点云添加虚拟地面点包括:
基于第一点云数据中的点的位置坐标值所述获取所述虚拟地面点的位置坐标值。
在一些实施例中,所述将所述第二点云数据输入至分类网络,确定所述障碍物的类别,包括:
将所述第二点云数据输入第一输入分支,获取第一特征向量;
将所述特征数据输入第二输入分支,获取第二特征向量;
基于所述第一特征向量和所述第二特征向量,获取类别特征向量;
基于所述类别特征向量,确定所述障碍物的类别。
在一些实施例中,所述将所述第二点云数据输入第一输入分支,获取第一特征向量,包括:
基于所述第二点云数据获取第一特征矩阵;
基于所述第一特征矩阵获取第二特征矩阵;
基于所述第二特征矩阵获取第一特征向量。
在一些实施例中,所述基于所述第一特征向量和所述第二特征向量,获取类别特征向量,包括:
将所述第一特征向量和所述第二特征向量连接,获取第三特征向量;
基于所述第三特征向量获取类别特征向量。
在一些实施例中,所述基于所述类别特征向量,确定所述障碍物的类别,包括:
在所述类别特征向量中确定的最大值对应的类别为障碍物的类别。
本公开实施例还提供一种障碍物的分类装置,其包括:
第一获取模块,用于获取所述障碍物的第一点云数据和特征数据,所述特征数据至少包括所述障碍物的长、宽和高;
第二获取模块,用于对所述第一点云数据进行拓展,获取第二点云数据;
确定模块,用于将所述第二点云数据输入至分类网络,确定所述障碍物的类别。
本公开还提供一种存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。
本公开还提供一种电子设备,至少包括存储器、处理器,所述存储器上存储有计算机程序,所述处理器在执行所述存储器上的计算机程序时实现上述任一项所述方法的步骤。
本公开实施例能够将障碍物点云输入至所述分类网络,输出为该障碍物的类别,具体地,首先对输入的障碍物点云进行预处理,然后将预处理后的点云输入到点云分类神经网络中,最后对网络输出的结果进行处理,得到对应的障碍物类别。本公开实施例涉及的神经网络不超过20层,且综合考虑了障碍物目标的点特征与整体特征,分类准确率高,并且非常轻量高效。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例的障碍物的分类方法的原理示意图;
图2为本公开实施例的障碍物的分类方法的步骤示意图;
图3为本公开实施例的障碍物的分类方法中点云数据的处理示意图;
图4为本公开实施例的障碍物的分类方法的步骤示意图;
图5为本公开实施例的障碍物的分类方法中虚拟地面点的设置示意图;
图6为本公开实施例的障碍物的分类方法中分类网络的结构示意图;
图7为本公开实施例的障碍物的分类方法的步骤示意图;
图8为本公开实施例的障碍物的分类方法的步骤示意图。
具体实施方式
此处参考附图描述本公开的各种方案以及特征。
应理解的是,可以对此处申请的实施例做出各种修改。因此,上述说明书不应该视为限制,而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例,并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述,本公开的这些和其它特性将会变得显而易见。
还应当理解,尽管已经参照一些具体实例对本公开进行了描述,但本领域技术人员能够确定地实现本公开的很多其它等效形式,它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时,鉴于以下详细说明,本公开的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本公开的具体实施例;然而,应当理解,所申请的实施例仅仅是本公开的实例,其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此,本文所申请的具体的结构性和功能性细节并非意在限定,而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”,其均可指代根据本公开的相同或不同实施例中的一个或多个。
本公开实施例提供一种应用于智能驾驶场景的基于点云数据的障碍物分类方法,其通过前处理对目标信息进行初步提取集处理,然后将目标信息输入到障碍物分类网络中,最后根据网络输出获得障碍物的类别,相比于现有方案,分类准确度高,鲁棒性强。
本公开的第一实施例涉及一种障碍物的分类方法,本公开实施例具体应用于智能驾驶场景,能够在当车辆行驶在道路上时,基于激光雷达采集的点云数据对道路上的各种障碍物进行准确分类,基于所述分类方法,可以通过输入障碍物的点云数据而输出所述障碍物的类别信息,如图1所示,其主要包括障碍物点云的前处理、点云分类网络以及障碍物分类后处理三个阶段,具体地,如图2所示,包括以下步骤:
S101,获取所述障碍物的第一点云矩阵和特征数据。
在本步骤中,获取所述障碍物的第一点云数据和特征数据。
具体地,一方面,通过例如车载的至少一个激光雷达扫描车辆前方的道路,首先获取表示例如所述车辆前方的道路整体的点云图像数据,基于所述点云图像数据获取每个目标为障碍物的原始的第一点云数据,这里的所述第一点云数据至少包括属于所述障碍物的点云中每个点的位置信息和强度信息,其中,为了便于之后将点云数据输入到后续的分类网络中,如图3所示,这里的所述第一点云数据可以通过n×4的数组或者矩阵表示,其中,n表示所述障碍物的点云中包括的点的数量,4分别对应每个点的位置坐标值(x,y,z)以及强度值i。这样,所述第一点云数据能够完整地描述所述障碍物的点云信息。
此外,另一方面,在获取所述障碍物的第一点云数据之后,如图3所示,还可以针对所述第一点云数据进行目标级的特征提取操作以获取所述障碍物的特征数据,例如对所述障碍物的所述第一点云数据中的所有点进行统计,提取并获取所述障碍物的长、宽、高的信息(例如分别通过l,、w、h表示)以及所述障碍物的点云中包括的点的数量n,这里的长、宽、高、数量等作为所述障碍物的特征值,从而形成所述障碍物的特征数据;此外,还需要将所述特征数据(l,w,h,n)分别例如通过除以数据集中经过统计的最大值等的方式以进行归一化处理,以便于后期处理。
S102,对所述第一点云数据进行拓展,获取第二点云数据。
在通过所述步骤S101获取所述障碍物的第一点云数据和特征数据之后,在本步骤中,对所述第一点云数据进行拓展,获取第二点云数据。其中,这里的针对所述第一点云数据的拓展可以从点的拓展和特征值的拓展的两方面实现,具体地,如图4所示,包括以下步骤:
S201,基于所述第一点云数据的点云添加虚拟地面点;
S202,基于所述第一点云数据中的点和所述虚拟地面点形成的点云,确定所述点云的横向半径值。
具体地,如图5所示,这里的所述拓展首先通过添加m个虚拟地面点的方式实现,也就是,在所述障碍物的底部添加m个虚拟构造的点以形成虚拟地面点,这样的目的在于通过设置所述障碍物周围的虚拟地面点以确定所述障碍物的方向信息,这样,经过虚拟地面点方式的拓展后的点云数据的点集从所述第一点云数据中的n×4拓展为第二点云数据中的(n+m)×4,其中,这里的n是所述第一点云数据中的点的数量,这里的m是经过拓展的虚拟地面点的数量。
进一步地,这里的每个所述虚拟地面点的位置坐标值可以基于所述障碍物的所述特征数据,例如长、宽、高等进行计算,也就是计算并获取每个所述虚拟地面点的位置坐标值,每个所述虚拟地面点的强度值统一赋值为0。当然,这里的每个所述虚拟地面点的数量m也基于所述障碍物的特征数据预先确定。
例如,假设所述障碍物为锥桶,针对所述障碍物可以添加16个虚拟地面点,这里的所述虚拟地面点的基本布局可以是4×4,相邻的所述虚拟地面点之间的横向及竖向的间隔分别为(l/4,w/4),此处的l和w为归一化前的所述障碍物的特征值。
假设所述障碍物的第一点云数据中的点的位置坐标最小值为(x_min,y_min,z_min),则每个所述虚拟地面点的虚拟地面坐标计算公式为:
进一步地,在将所述第一点云数据中的点进行拓展之后,还可以拓展所有点的特征值,例如计算获取所有点(包括所述第一点云数据中的点以及虚拟地面点)形成的点云的横向半径r,并添加到点云数据的点集中,这里的横向半径r的计算方式如下:
r=√(x2+y2)
这样,所述第一点云数据的点集由(n+m)×4进一步拓展为所述第二点云数据的(n+m)×5。
此外,还可以对所述第二点云数据进行坐标归一化处理。这里的坐标归一化方式可以是:首先将目标的xy方向中心平移到xy方向重心处,z方向的值保持不变,然后计算所有点到(0,0,0)点距离的最大值,将所有点的坐标除以该最大值,同时更新对应的横向半径为归一化后的值,此外,还需要将每个点的强度值除以255以进行归一化处理。
S103,将所述第二点云特征数据输入至分类网络,确定所述障碍物的类别。
在通过上述步骤S102对所述第一点云数据进行拓展,获取第二点云数据之后,在本步骤中,将所述第二点云数据和所述特征数据输入至分类网络,确定所述障碍物的类别。
在实现本步骤之前,在所述第二点云数据中进行点云采样,获取采样数据。具体地,在所述第二点云数据中进行点云采样操作,考虑到这里的所述分类网络对于输入的点云个数是固定的,但是扫描所述障碍物获得的点云的数量是不固定的,这就需要根据实际的点云数进行采样。
继续如图3所示,例如当所述障碍物的所述第二点云数据中点的数量小于所述分类网络的输入点云个数时,需要采取补零操作,也就是添加足量的(0,0,0,0,0)点;当所述障碍物的所述第二点云数据中点的数量大于所述分类网络的输入点云个数时,需要采取随机下采样操作,具体地,随机从所述障碍物的所述第二点云数据中选取预定输入个数的点;当所述障碍物的所述第二点云数据中点的数量等于点云分类网络的输入点云个数时,则执行直接透传操作而不做其他处理。
此外,在实现本步骤之前,还可以数据增广操作,也就是针对所述第二点云数据添加随机噪声数据,以实现(-pi/4,pi/4)的随机方向扰动。
通过对于所述障碍物的点云实现上述处理后获得的所述第二点云数据的形式是固定点数p×5的点云矩阵,其中的5个维度分别是归一化后的位置坐标值、强度值以及点云横向半径值。此外,通过对于所述障碍物的点云实现上述处理还可以获取归一化后的所述障碍物的特征数据,例如障碍物的所述长、宽、高及点云中点的数量。
在本步骤中,将上述的所述第二点云数据和特征数据输入基于神经网络的点云分类器,通过提取深层特征以计算所述障碍物属于不同类别的概率,其中,这里的所述神经网络的结构如图所示:
如图6所示,所述神经网络有两个输入分支,其中一个输入分支的输入是上述p×5的点云矩阵(即所述第二点云数据),即实现归一化后的点云的位置坐标值、强度值以及点云的横向半径值,另一个输入分支的输入是归一化后的所述障碍物的所述特征数据,也就是所述障碍物的长、宽、高及所述第二点云数据中的点的数量;所述神经网络的输出为1×k形式的向量值,该向量值表示所述障碍物属于各类别的概率,其中,k为可能的类别数。
为了通过例如所述分类器实现对所述障碍物的分类信息的确定,在本步骤中,如图7所示,包括以下步骤:
S301,将所述第二点云数据输入第一输入分支,获取第一特征向量。
在本步骤中,将所述第二点云数据输入第一输入分支,获取第一特征向量。具体地,在所述第一输入分支的处理中,如图8所示,其包括:
S401,基于所述第二点云数据获取第一特征矩阵。
在本步骤中,基于所述第二点云数据获取第一特征矩阵。具体地,其进一步包括:
基于所述第二点云数据中的第一矩阵获取第一修正矩阵;
基于所述第一修正矩阵和所述第一点云数据中的第二矩阵获取第一特征矩阵。
首先需要处理所述第二点云数据中的前三个通道表示的第一矩阵(也就是p×3矩阵),利用这三个通道的信息计算坐标旋转矩阵,以适应点云的旋转不变性,将所述坐标旋转矩阵分别经过三个卷积层+批归一化层+RELU激活层(如图中最上方左侧部分,其中,框内数字分别为输入通道数、输出通道数以及卷积核大小),然后经过三个线性处理层+RELU激活层(如图中最上方左侧部分,框内数字分别为输入通道数以及输出通道数)得到一个1×9的向量,这里的1×9的向量可以重构为3×3的矩阵,然后将该矩阵与输入的p×3矩阵点乘,得到一个新的p×3的第一修正矩阵;同时将所述第二点云数据中的p×2的第二矩阵不做处理直接与上述新的p×3的第一修正矩阵连接,构成新的p×5的第一特征矩阵。
S402,基于所述第一特征矩阵获取第二特征矩阵。
在通过上述步骤S301基于所述第二点云数据获取第一特征矩阵之后,在本步骤中,基于所述第一特征矩阵获取第二特征矩阵。具体地,将新的p×5的第一特征矩阵输入一个卷积层+批归一化层+RELU激活层(如图中间部分),卷积后的特征经过三个卷积层+批归一化层+RELU激活层(如图中最上方右侧部分,框内数字分别为输入通道数、输出通道数以及卷积核大小),然后经过三个线性处理层+RELU激活层(如图中最上方右侧部分,框内数字分别为输入通道数以及输出通道数)得到一个64×64的矩阵,将该矩阵与前方输入的矩阵点乘,获取新的第二特征矩阵。
S403,基于所述第二特征矩阵获取第一特征向量。
在通过上述步骤S302基于所述第一特征矩阵获取第二特征矩阵之后,在本步骤中,基于所述第二特征矩阵获取第一特征向量。具体地,将所述第二特征矩阵经过两个卷积层+批归一化层+RELU激活层,然后通过最大池化层(如图中上方箭头)获得1×1024的第一特征向量(如图中右侧矩形部分)。
S302,将所述特征数据输入第二输入分支,获取第二特征向量。
在本步骤中,将所述特征数据输入第二输入分支,获取第二特征向量。具体地,在所述第二输入分支的处理中,将之前处理获取的归一化后的所述特征数据(即l,w,h,n)输入至三个卷积层+批归一化层+RELU激活层(如图中最下方左侧部分,框内数字分别为输入通道数、输出通道数以及卷积核大小),然后经过两个线性处理层+RELU激活层得到特征矩阵(如图中最下方左侧部分,框内数字分别为输入通道数以及输出通道数),最后通过最大池化层(如图中下方箭头)获得1×128的第二特征向量(如图中右侧下方矩形)。
S303,基于所述第一特征向量和所述第二特征向量,获取类别特征向量。
在通过上述步骤S301将所述第二点云数据输入第一输入分支,获取第一特征向量以及通过上述步骤S302将所述特征数据输入第二输入分支,获取第二特征向量之后,在本步骤中,基于所述第一特征向量和所述第二特征向量,获取类别特征向量。具体地,将两个输入分支输出的所述第一特征向量和所述第二特征向量连接起来,从而得到1×1152的第三特征向量,并将所述第三特征向量输入两个线性处理层+RELU激活层(如图中最右侧部分,框内数字分别为输入通道数、输出通道数以及卷积核大小),然后经过随机失活层(如图中最右侧部分)以及一个线性处理层(如图中最右侧部分),最后经过soft max激活层获得一个1×k的类别特征向量。
S304,基于所述类别特征向量,确定所述障碍物的类别。
在通过上述步骤S303基于所述第一特征向量和所述第二特征向量,获取类别特征向量之后,在本步骤中,基于所述类别特征向量,确定所述障碍物的类别。具体地,基于所述类别特征向量实现确定所述障碍物的类别,具体地,所述特征向量通过1×k向量表示,其中的向量值表示所述障碍物属于各类别的概率,其中,k为可能的类别数,这样这里的所述障碍物分类的后处理为选择1×k向量中最大值对应的类别为障碍物的类别。
本公开实施例能够将障碍物点云输入至所述分类网络,输出为该障碍物的类别,具体地,首先对输入的障碍物点云进行预处理,然后将预处理后的点云输入到点云分类神经网络中,最后对网络输出的结果进行处理,得到对应的障碍物类别。本公开实施例涉及的神经网络不超过20层,且综合考虑了障碍物目标的点特征与整体特征,分类准确率高,并且非常轻量高效。
本公开的第二实施例涉及一种障碍物的分类装置,本公开实施例具体应用于智能驾驶场景,能够在当车辆行驶在道路上时,基于激光雷达采集的点云数据对道路上的各种障碍物进行准确分类,基于所述分类装置,可以通过输入障碍物的点云数据而输出所述障碍物的类别信息,具体地,包括相互耦合的第一获取模块、第二获取模块以及确定模块,其中:
第一获取模块,获取所述障碍物的第一点云数据和特征数据,所述特征数据至少包括所述障碍物的长、宽和高;
第二获取模块,用于对所述第一点云数据进行拓展,获取第二点云数据;
确定模块,用于将所述第二点云数据输入至分类网络,确定所述障碍物的类别。
进一步地,所述第二获取模块包括:
添加单元,用于基于所述第一点云数据的点云添加虚拟地面点;
确定单元,用于基于所述第一点云数据中的点和所述虚拟地面点形成的点云,确定所述点云的横向半径值。
进一步地,所述添加单元还用于基于第一点云数据中的点的位置坐标值所述获取所述虚拟地面点的位置坐标值。
进一步地,所述确定模块,包括:
第一特征向量获取单元,用于将所述第二点云数据输入第一输入分支,获取第一特征向量;
第二特征单元获取单元,用于将所述特征数据输入第二输入分支,获取第二特征向量;
类别特征向量获取单元,用于基于所述第一特征向量和所述第二特征向量,获取类别特征向量;
类别确定单元,用于基于所述类别特征向量,确定所述障碍物的类别。
进一步地,所述第一特征向量获取单元,包括:
第一子单元,用于基于所述第二点云数据获取第一特征矩阵;
第二子单元,用于基于所述第一特征矩阵获取第二特征矩阵;
第三子单元,用于基于所述第二特征矩阵获取第一特征向量。
进一步地,所述类别特征向量获取单元,包括:
第四子单元,用于将所述第一特征向量和所述第二特征向量连接,获取第三特征向量;
第五子单元,用于基于所述第三特征向量获取类别特征向量。
进一步地,所述类别确定单元具体用于在所述类别特征向量中确定的最大值对应的类别为障碍物的类别。
本公开实施例能够将障碍物点云输入至所述分类网络,输出为该障碍物的类别,具体地,首先对输入的障碍物点云进行预处理,然后将预处理后的点云输入到点云分类神经网络中,最后对网络输出的结果进行处理,得到对应的障碍物类别。本公开实施例涉及的神经网络不超过20层,且综合考虑了障碍物目标的点特征与整体特征,分类准确率高,并且非常轻量高效。
本公开的第三实施例提供了一种存储介质,该存储介质为计算机可读介质,存储有计算机程序,该计算机程序被处理器执行时实现本公开第一实施例提供的方法,包括如下步骤S11至S13:
S11,获取所述障碍物的第一点云数据和特征数据,所述特征数据至少包括所述障碍物的长、宽和高;
S12,对所述第一点云数据进行拓展,获取第二点云数据;
S13,将所述第二点云数据输入至分类网络,确定所述障碍物的类别。
进一步地,该计算机程序被处理器执行时实现本公开第一实施例提供的其他方法
本公开实施例能够将障碍物点云输入至所述分类网络,输出为该障碍物的类别,具体地,首先对输入的障碍物点云进行预处理,然后将预处理后的点云输入到点云分类神经网络中,最后对网络输出的结果进行处理,得到对应的障碍物类别。本公开实施例涉及的神经网络不超过20层,且综合考虑了障碍物目标的点特征与整体特征,分类准确率高,并且非常轻量高效。
本公开的第四实施例提供了一种电子设备,该电子设备至少包括存储器和处理器,存储器上存储有计算机程序,处理器在执行存储器上的计算机程序时实现本公开任意实施例提供的方法。示例性的,电子设备计算机程序步骤如下S21至S23:
S21,获取所述障碍物的第一点云数据和特征数据,所述特征数据至少包括所述障碍物的长、宽和高;
S22,对所述第一点云数据进行拓展,获取第二点云数据;
S23,将所述第二点云数据输入至分类网络,确定所述障碍物的类别。
本公开实施例能够将障碍物点云输入至所述分类网络,输出为该障碍物的类别,具体地,首先对输入的障碍物点云进行预处理,然后将预处理后的点云输入到点云分类神经网络中,最后对网络输出的结果进行处理,得到对应的障碍物类别。本公开实施例涉及的神经网络不超过20层,且综合考虑了障碍物目标的点特征与整体特征,分类准确率高,并且非常轻量高效。
上述存储介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述存储介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取至少两个网际协议地址;向节点评价设备发送包括至少两个网际协议地址的节点评价请求,其中,节点评价设备从至少两个网际协议地址中,选取网际协议地址并返回;接收节点评价设备返回的网际协议地址;其中,所获取的网际协议地址指示内容分发网络中的边缘节点。
或者,上述存储介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:接收包括至少两个网际协议地址的节点评价请求;从至少两个网际协议地址中,选取网际协议地址;返回选取出的网际协议地址;其中,接收到的网际协议地址指示内容分发网络中的边缘节点。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在乘客计算机上执行、部分地在乘客计算机上执行、作为一个独立的软件包执行、部分在乘客计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到乘客计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
需要说明的是,本公开上述的存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何存储介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上***(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
以上对本公开多个实施例进行了详细说明,但本公开不限于这些具体的实施例,本领域技术人员在本公开构思的基础上,能够做出多种变型和修改实施例,这些变型和修改都应落入本公开所要求保护的范围。
Claims (10)
1.一种障碍物的分类方法,其特征在于,包括:
获取所述障碍物的第一点云数据和特征数据,所述特征数据至少包括所述障碍物的长、宽和高;
对所述第一点云数据进行拓展,获取第二点云数据;
将所述第二点云数据输入至分类网络,确定所述障碍物的类别。
2.根据权利要求1所述的分类方法,其特征在于,所述对所述第一点云数据进行拓展,获取第二点云数据,包括:
基于所述第一点云数据的点云添加虚拟地面点;
基于所述第一点云数据中的点和所述虚拟地面点形成的点云,确定所述点云的横向半径值。
3.根据权利要求2所述的分类方法,其特征在于,所述基于所述第一点云数据的点云添加虚拟地面点包括:
基于第一点云数据中的点的位置坐标值所述获取所述虚拟地面点的位置坐标值。
4.根据权利要求1所述的分类方法,其特征在于,所述将所述第二点云数据输入至分类网络,确定所述障碍物的类别,包括:
将所述第二点云数据输入第一输入分支,获取第一特征向量;
将所述特征数据输入第二输入分支,获取第二特征向量;
基于所述第一特征向量和所述第二特征向量,获取类别特征向量;
基于所述类别特征向量,确定所述障碍物的类别。
5.根据权利要求4所述的分类方法,其特征在于,所述将所述第二点云数据输入第一输入分支,获取第一特征向量,包括:
基于所述第二点云数据获取第一特征矩阵;
基于所述第一特征矩阵获取第二特征矩阵;
基于所述第二特征矩阵获取第一特征向量。
6.根据权利要求4所述的分类方法,其特征在于,所述基于所述第一特征向量和所述第二特征向量,获取类别特征向量,包括:
将所述第一特征向量和所述第二特征向量连接,获取第三特征向量;
基于所述第三特征向量获取类别特征向量。
7.根据权利要求4所述的分类方法,其特征在于,所述基于所述类别特征向量,确定所述障碍物的类别,包括:
在所述类别特征向量中确定的最大值对应的类别为障碍物的类别。
8.一种障碍物的分类装置,其特征在于,包括:
第一获取模块,用于获取所述障碍物的第一点云数据和特征数据,所述特征数据至少包括所述障碍物的长、宽和高;
第二获取模块,用于对所述第一点云数据进行拓展,获取第二点云数据;
确定模块,用于将所述第二点云数据输入至分类网络,确定所述障碍物的类别。
9.一种存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
10.一种电子设备,至少包括存储器、处理器,所述存储器上存储有计算机程序,其特征在于,所述处理器在执行所述存储器上的计算机程序时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211211419.2A CN115527187A (zh) | 2022-09-30 | 2022-09-30 | 一种障碍物的分类方法以及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211211419.2A CN115527187A (zh) | 2022-09-30 | 2022-09-30 | 一种障碍物的分类方法以及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115527187A true CN115527187A (zh) | 2022-12-27 |
Family
ID=84701802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211211419.2A Pending CN115527187A (zh) | 2022-09-30 | 2022-09-30 | 一种障碍物的分类方法以及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115527187A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116071618A (zh) * | 2023-02-23 | 2023-05-05 | 深圳佑驾创新科技有限公司 | 基于仿真数据的3d点云生成方法、装置、设备及介质 |
-
2022
- 2022-09-30 CN CN202211211419.2A patent/CN115527187A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116071618A (zh) * | 2023-02-23 | 2023-05-05 | 深圳佑驾创新科技有限公司 | 基于仿真数据的3d点云生成方法、装置、设备及介质 |
CN116071618B (zh) * | 2023-02-23 | 2023-06-20 | 深圳佑驾创新科技有限公司 | 基于仿真数据的3d点云生成方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11037305B2 (en) | Method and apparatus for processing point cloud data | |
CN113902897B (zh) | 目标检测模型的训练、目标检测方法、装置、设备和介质 | |
CN113412505B (zh) | 用于对通过探测和测距传感器获得的点云进行有序表示和特征提取的处理单元和方法 | |
CN108509820B (zh) | 障碍物分割方法及装置、计算机设备及可读介质 | |
CN109993192B (zh) | 目标对象识别方法及装置、电子设备、存储介质 | |
CN106709475B (zh) | 障碍物识别方法及装置、计算机设备及可读存储介质 | |
CN113761999B (zh) | 一种目标检测方法、装置、电子设备和存储介质 | |
CN110598541A (zh) | 一种提取道路边缘信息的方法及设备 | |
CN115346183A (zh) | 一种车道线检测方法、终端及存储介质 | |
CN110909656B (zh) | 一种雷达与摄像机融合的行人检测方法和*** | |
CN115527187A (zh) | 一种障碍物的分类方法以及装置 | |
CN111611900A (zh) | 一种目标点云识别方法、装置、电子设备和存储介质 | |
CN115147809A (zh) | 一种障碍物检测方法、装置、设备以及存储介质 | |
CN111709377B (zh) | 特征提取方法、目标重识别方法、装置及电子设备 | |
CN112529917A (zh) | 一种三维目标分割方法、装置、设备和存储介质 | |
CN113569600A (zh) | 物体重识别的方法、装置、电子设备及存储介质 | |
CN113377748A (zh) | 激光雷达点云数据的静态点去除方法和装置 | |
CN116824152A (zh) | 基于点云的目标检测方法及装置、可读存储介质、终端 | |
CN111338336B (zh) | 一种自动驾驶方法及装置 | |
CN115331214A (zh) | 用于目标检测的感知方法及*** | |
CN115439692A (zh) | 一种图像处理方法、装置、电子设备及介质 | |
Gupta et al. | Military surveillance with deep convolutional neural network | |
CN112906519A (zh) | 一种车辆类型识别方法及装置 | |
CN110705695A (zh) | 搜索模型结构的方法、装置、设备和存储介质 | |
CN115100741B (zh) | 一种点云行人距离风险检测方法、***、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |