CN115731382A - 点云目标检测方法、装置、计算机设备和存储介质 - Google Patents
点云目标检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN115731382A CN115731382A CN202211439886.0A CN202211439886A CN115731382A CN 115731382 A CN115731382 A CN 115731382A CN 202211439886 A CN202211439886 A CN 202211439886A CN 115731382 A CN115731382 A CN 115731382A
- Authority
- CN
- China
- Prior art keywords
- grid
- target
- feature
- point cloud
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及一种点云目标检测方法、装置、计算机设备和存储介质。方法包括:通过获取点云数据,对点云数据进行栅格化处理,对各个栅格内点的特征进行升维、聚合,得到对应的栅格特征,并根据各个栅格的栅格特征生成特征图,对特征图进行特征加权并进行目标检测,得到目标信息。采用本方法能够充分提取栅格特征,并使得各个栅格内的特征得到全局性的关注度,有效提高了目标的检测准确性,实现环境高效感知。
Description
技术领域
本申请涉及雷达技术领域,特别是涉及一种点云目标检测方法、装置、计算机设备和存储介质。
背景技术
目前激光雷达由于其探测精度高、抗干扰强等特点受到研究者们的广泛关注,逐渐成为无人驾驶的核心传感器之一。点云是激光雷达获取数据的表示形式,是在同一坐标系下表达目标或场景空间分布的点组成的集合,能够有效反映真实场景的三维信息。然而,点云具有无序性和非结构化的特点,也为数据处理带来了难题。
目前激光雷达目标检测方法可以分为两类:一类是基于传统算法的目标检测方法,二类是基于深度学***低,提取语义类别单一,在面对复杂的街道场景时往往会因为墙面、路沿等特殊障碍物而容易发生错误识别,而基于深度学习的目标检测方法在目标检测过程中往往不需要大量的点,关键在于一些特征点,例如在检测车辆时,车辆上的点权重应该大于地面点的权重,但一般深度学习每个点的权重都是一样的,无法精准检测目标。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高目标检测准确率的点云目标检测方法、装置、计算机设备和存储介质。
第一方面,本申请提供了一种点云目标检测方法,方法包括:
获取点云数据;
对点云数据进行栅格化处理;
对各个栅格内点的特征进行升维、聚合,得到对应的栅格特征,并根据各个栅格的栅格特征生成特征图;
对特征图进行特征加权并进行目标检测,得到目标信息。
在其中一个实施例中,对点云数据进行栅格化处理包括:
根据预设的栅格阈值对点云数据进行栅格划分与筛选。
在其中一个实施例中,对各个栅格内点的特征进行升维、聚合,得到对应的栅格特征包括:
将各个栅格内点的特征进行升维,得到高维特征信息,并通过最大值池化将各个栅格内点的特征进行聚合,得到第一层特征;
将高维特征信息与第一层特征拼接并进行升维、聚合,得到各个栅格的第二层特征,将第二层特征作为栅格特征。
在其中一个实施例中,对特征图进行特征加权并进行目标检测,得到目标信息包括:
对特征图进行卷积,得到不同尺寸的特征子图;
将各个特征子图展开,得到对应的一维特征向量;
对各个一维特征向量进行加权并还原回特征子图;
将加权之后的特征子图进行拼接,并对拼接后的特征图进行目标检测,得到目标信息。
在其中一个实施例中,在目标检测的神经网络模型训练过程中,以目标类别值最大的检测框作为目标信息的位置结果,以目标类别值最大的类别作为目标信息的目标类别,以目标类别值作为目标信息的检测框置信度,并将输出的目标信息与实际结果做对比,将损失回传,更新整个模型内的参数。
在其中一个实施例中,对特征图进行特征加权并进行目标检测之后,还包括:
通过非极大值抑制对目标信息进行筛选,得到最终目标。
在其中一个实施例中,通过非极大值抑制对目标信息进行筛选,得到最终目标包括:
根据目标信息中的目标类别值以及预设的第一阈值,筛选目标信息,得到有效检测框;
根据目标信息中的检测框置信度的大小,对有效检测框进行排列,并计算前后有效检测框的重叠交并比;
根据重叠交并比以及预设的第二阈值,筛选有效检测框,得到最终目标。
第二方面,本申请还提供了一种点云目标检测装置,装置包括:
获取模块,用于获取点云数据;
栅格化模块,用于对点云数据进行栅格化处理;
特征提取模块,用于通过多层感知机对各个栅格内点的特征进行升维、聚合,得到对应的栅格特征,并根据各个栅格的栅格特征生成特征图;
目标检测模块,用于对特征图进行特征加权并进行目标检测,得到目标信息。
第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述任意一种实施例所述的点云目标检测方法的步骤。
第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任意一种实施例所述的点云目标检测方法的步骤。
上述点云目标检测方法、装置、计算机设备和存储介质,通过获取点云数据,对所述点云数据进行栅格化处理,对各个栅格内点的特征进行升维、聚合,得到对应的栅格特征,并根据各个栅格的所述栅格特征生成特征图,对所述特征图进行特征加权并进行目标检测,得到目标信息,如此,一方面,在栅格特征提取中进行升维、聚合,使得栅格内的特征提取更加充分,以提高目标的检测准确性,另一方面,在目标检测中对特征图进行特征加权,使得各个栅格内的特征得到全局性的关注度,为后续目标检测提供更加可靠的特征,进一步提高目标的检测准确性,实现环境高效感知。
附图说明
为了更清楚地说明本申请实施例或传统技术中的技术方案,下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中点云目标检测方法的流程示意图;
图2为一个实施例中点云目标检测方法中步骤S200的处理示意图;
图3为一个实施例中点云目标检测方法中步骤S300的流程示意图;
图4为一个实施例中点云目标检测方法中步骤S300的逻辑示意图
图5为一个实施例中点云目标检测方法中步骤S400的流程示意图;
图6为一个实施例中点云目标检测方法中步骤S400的逻辑示意图;
图7至图9为一个实施例中点云目标检测方法的测试结果示意图;
图10为一个实施例中点云目标检测装置的结构框图;
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。
需要说明的是,当一个元件被认为是“连接”另一个元件时,它可以是直接连接到另一个元件,或者通过居中元件连接另一个元件。此外,以下实施例中的“连接”,如果被连接的对象之间具有电信号或数据的传递,则应理解为“电连接”、“通信连接”等。
在此使用时,单数形式的“一”、“一个”和“所述/该”也可以包括复数形式,除非上下文清楚指出另外的方式。还应当理解的是,术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在,但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。
本申请实施例提供的点云目标检测方法,可以应用于激光雷达中,实现目标检测,尤其是在无人驾驶领域中进行目标检测。点云是激光雷达获取数据的表示形式,是在同一坐标系下表达目标或场景空间分布的点组成的集合,能够有效反映真实场景的三维信息。然而,点云具有无序性和非结构化的特点,其中,无序性表现在点的顺序不影响它在空间中对整体形状或场景分布的表示,点在空间的位置是固定的,但可以有不同的排列顺序,这使得相同的点云图可以有若干种完全不同的矩阵,非结构化表现在点云由分布在三维空间中的点组成,但并未明确点与点间的连接信息,导致了点云结构的不确定性。
为此,提出一种点云目标检测解决方案,以提高激光雷达目标检测的准确率,实现环境的高效感知。
在一个实施例中,如图1所示,提供了一种点云目标检测方法,包括以下步骤:
S100:获取点云数据;
具体地,本实施例通过激光雷达进行扫描,获取点云数据,其中,点云数据取点云的三维坐标、反射率作为激光雷达目标检测主要数据。
可选地,按照预设的区域范围对点云数据进行过滤,将距离雷达较远的点云滤除,保留指定范围内的激光点云数据。
S200:对点云数据进行栅格化处理;
具体地,若对场景进行三维体素划分,则空间中会存在大量没有点的空白空间,增加后期的计算量,为此,参看图2,本实施例通过对点云数据进行栅格化处理,将点云进行柱状划分成一个个栅格,并对栅格进行筛选,保留所需的栅格,基于保留栅格内点进一步进行特征提取。
可选地,按照预设的栅格阈值对栅格进行筛选,若栅格内的点数大于栅格阈值,则保留该栅格,并记录栅格的位置。
可选地,可以采用[x,y,z,r,x_c,y_c,z_c,x_p,y_p]表示栅格内的点的特征,x,y,z,r即原始点的4维数据,x_c,y_c,z_c表示栅格中点相对于栅格质心的偏差,x_p,y_p是指与栅格中心在xy平面上的偏差值。
S300:对各个栅格内点的特征进行升维、聚合,得到对应的栅格特征,并根据各个栅格的栅格特征生成特征图;
具体地,为了提高栅格特征提取的效果,本实施例在栅格特征提取加入Transformer注意力机制,通过Transformer模块对栅格内点的特征进行聚合,并且结合多层感知机(MLP,Multilayer Perceptron)进行升维,以此表示栅格特征,使得栅格内的特征提取更加充分,其中,Transformer模块原本应用于自然语言处理,用于捕获序列元素之间的长期信息和依赖关系,通过自注意力机制的形式,预测实体两两之间的相关性,而多层感知机可以理解为是一维的神经网络,通过若干组权重,能够实现向量的升维与降维,通常用于特征向量的扩展与压缩。
具体地,将提取得到的栅格特征按照栅格的位置重新排布至二维平面上,得到所需的特征图,例如,维度为512*512*64的特征图,512*512是xy平面的尺寸,64为特征维度,由此完成三维点云到二维特征图的转变,使点云规则化。
S400:对特征图进行特征加权并目标检测,得到目标信息。
具体地,为了提高目标检测的准确性,本实施例在目标检测中对特征图进行特征加权,其中,具体通过Transformer模块对特征图进行操作,值得注意的是,此过程中不再聚合特征,而是将加权后的特征重新还原回原来的特征尺寸,以使原始特征图能够根据位置信息得到全局的关联,即每一个栅格内的特征得到全局性的关注度,为后续目标检测提供更加可靠的特征。
具体地,基于加权之后的特征图进一步进行RPN(Region Proposal Network)网络检测,输出得到目标信息,其中,RPN网络用于提取检测框,通过RPN网络对每一个二维平面上的栅格特征进行检测,将特征通过神经网络转化为若干个目标信息,该目标信息包括目标类别,检测框三维位置坐标(x,y,z),检测框大小长宽高(l,w,h)以及检测框朝向信息r。除了RPN网络之外,本实施例还可采用其他神经网络进行目标检测,例如R-CNN、Fast R-CNN、Faster R-CNN等等。
上述点云目标检测方法中,一方面,在栅格特征提取中进行升维、聚合,使得栅格内的特征提取更加充分,以提高目标的检测准确性,另一方面,在目标检测中对特征图进行特征加权,使得各个栅格内的特征得到全局性的关注度,为后续目标检测提供更加可靠的特征,进一步提高目标的检测准确性,实现环境高效感知。
在一个实施例中,参看图3和图4,对各个栅格内点的特征进行升维、聚合,得到对应的栅格特征包括:S301:将各个栅格内点的特征进行升维,得到高维特征信息,并通过最大值池化将各个栅格内点的特征进行聚合,得到第一层特征;S302:将高维特征信息与第一层特征拼接并进行升维、聚合,得到各个栅格的第二层特征,将第二层特征作为栅格特征。
具体地,参看图4,本实施例在栅格特征提取加入Transformer注意力机制,具体而言:
首先,通过多层感知机,将各个栅格内点的坐标和反射率特征升维,得到高维特征信息,并且通过最大值池化将各个栅格内点的特征按维度取最大值的方式聚合,形成第一层特征;
其次,将第一层特征拼接上原来的高维特征信息再次输入到多层感知机中升维,拼接升维之后的特征信息加入Transorformer模块,对点的特征再次聚合得到第二层特征,即栅格特征。
具体地,Transform的主要计算公式为:
其中,Q代表query关联矩阵,K表示key权重矩阵,V表示value值矩阵,d表示Q和K的维度,用以平衡随着Q,K维度的增大使得方差越来越大。
Q与K内积获得所有点的权重关联矩阵,然后经过softmax进行归一化操作,相当于获得注意力的权重,然后与V矩阵相乘,使得V矩阵获得加权,最后按维度相加得到完善的第二层特征,并将其作为后续操作的栅格特征。
在一个实施例中,参看图5,对特征图进行特征加权并进行目标检测,得到目标信息包括:S401:对特征图进行卷积,得到不同尺寸的特征子图;S402:将各个特征子图展开,得到对应的一维特征向量;S403:对各个一维特征向量进行加权并还原回特征子图;S404:将加权之后的特征子图进行拼接,并对拼接后的特征图进行目标检测,得到目标信息。
具体地,对特征图进行卷积操作可以将特征图转换为不同尺寸的特征子图,并将各个特征子图展开为一维特征向量,然后再次通过Transformer对特征图的各个一维特征向量进行加权并重新还原回原来的特征尺寸,以完成对特征图的加权,使原始特征图能够根据位置信息得到全局的关联,参看图6,图中的各方框代表张量,也可以看作矩阵的一行,本实施例具体将二维矩阵中的每一行进行拼接形成一维的特征向量,并经过Transformer加权之后,再重新整合成二维矩阵。
例如,从特征图中按z轴维度取出一维的特征矩阵,将特征矩阵按行展开形成一维的特征向量,通过多层感知机分别训练出Q,K,V矩阵,然后基于Transform的主要计算公式得到加权后的一维特征向量,将特征按行的位置重新还原回原来的特征矩阵中,完成一次特征矩阵的加权。对特征图在z轴上的每一维都进行如上操作,从而使得特征图完成加权。
具体地,对不同尺寸的特征子图进行加权后,沿z轴方向将特征进行拼接,使得特征具有更加全面的信息,最后对拼接后的特征图进行RPN网络检测,输出得到目标信息。
具体地,栅格特征通过RPN网络输出若干组目标信息,每一组目标信息均包含目标类别、三维位置坐标(x,y,z)、检测框大小长宽高(l,w,h)以及检测框朝向信息r。
在一个实施例中,在目标检测的神经网络模型训练过程中,以目标类别值最大的检测框作为目标信息的位置结果,以目标类别值最大的类别作为目标信息的目标类别,以目标类别值作为目标信息的检测框置信度,并将输出的目标信息与实际结果做对比,将损失回传,更新整个模型内的参数。
损失函数如下:
Δθ=sin(θgt-θa)
losscls=-α(1-p)γlog p
lossdir=∑-(dirgtlog dira+(1-dirgt)log(1-dira))
其中,βloc=2,βcls=1,βdir=0.2,Δx,Δy,Δz,Δh,Δw,Δl,Δθ分别表示坐标、尺寸与角度的偏移量,由于Δθ计算时如果两个朝向角相差180度的整数倍依旧会是0,因此,对朝向角分为四个想象[0,90],[90,180],[180,270],[270,360],lossdir是一个交叉熵函数计算朝向角的归类时的损失,使得角的朝向更为准确。最后利用梯度下降的方式完成上面模型的整体参数训练。
在一个实施例中,参看图1,对特征图进行特征加权并进行目标检测之后,还包括:S500:通过非极大值抑制对目标信息进行筛选,得到最终目标。
具体地,上述得到的目标信息中检测框信息非常多,而且其中有很多都是背景类,并没有用,因此,本实施例通过非极大值抑制对检测框进行筛选:首先对类别值的阈值进行筛选,当该位置目标类别值大于一定阈值时作为有效检测框;然后对检测框按置信度大小进行排列,由置信度最大的检测框先进队列,与之后的检测框进行重叠交并比计算,如果重叠交并比小于一定阈值则输入队列,重复上述操作;最后输出队列中的检测框,即作为最终的目标检测输出结果。
参看图7至图9,本实施例分别对car,cyclist和pedestrian三种类别检测的P-R曲线图,P-R曲线图反应模型检测精确率和召回率之间关系,从测试结果上看,在不同的检测难度下,基于上述实施例中的点云目标检测方法都取得了很好的性能,完成了点云的自注意性能。
另外,本实施例将传统基于深度学习的目标检测方法PointPillars与本实施例中的点云目标检测方法在kitti上进行测试比较,对比指标参考kitti的AP,同等实验条件下测试结果如下:
PointPillar(%) | Ours(%) | |
Car | 86.9405 | 88.9718 |
Pedestrian | 52.1356 | 55.2964 |
Cyclist | 79.9051 | 82.3727 |
其中,KITTI数据集为激光雷达的数据集,AP(average precision)用于反映模型对于不同目标检测的能力,从测试结果上看,在car,cyclist和pedestrian的三种不同目标的检测能力上,基于上述实施例中的点云目标检测方法取得了更好的性能,完成了点云的自注意性能。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的点云目标检测方法的点云目标检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个点云目标检测装置实施例中的具体限定可以参见上文中对于点云目标检测方法的限定,在此不再赘述。
在一个实施例中,如图10所示,提供了一种点云目标检测装置,包括:
获取模块10,用于获取点云数据;
栅格化模块20,用于对点云数据进行栅格化处理;
特征提取模块30,用于通过多层感知机对各个栅格内点的特征进行升维、聚合,得到对应的栅格特征,并根据各个栅格的栅格特征生成特征图;
目标检测模块40,用于对特征图进行特征加权并进行目标检测,得到目标信息。
在一个实施例中,对点云数据进行栅格化处理包括:根据预设的栅格阈值对点云数据进行栅格划分与筛选。
在一个实施例中,对各个栅格内点的特征进行升维、聚合,得到对应的栅格特征包括:将各个栅格内点的特征进行升维,得到高维特征信息,并通过最大值池化将各个栅格内点的特征进行聚合,得到第一层特征;将高维特征信息与第一层特征拼接并进行升维、聚合,得到各个栅格的第二层特征,将第二层特征作为栅格特征。
在一个实施例中,对特征图进行特征加权并进行目标检测,得到目标信息包括:对特征图进行卷积,得到不同尺寸的特征子图;将各个特征子图展开,得到对应的一维特征向量;对各个一维特征向量进行加权并还原回特征子图;将加权之后的特征子图进行拼接,并对拼接后的特征图进行目标检测,得到目标信息。
在一个实施例中,在目标检测的神经网络模型训练过程中,以目标类别值最大的检测框作为目标信息的位置结果,以目标类别值最大的类别作为目标信息的目标类别,以目标类别值作为目标信息的检测框置信度,并将输出的目标信息与实际结果做对比,将损失回传,更新整个模型内的参数。
在一个实施例中,参看图10,对特征图进行特征加权并进行目标检测之后,还包括:输出模块50,用于通过非极大值抑制对目标信息进行筛选,得到最终目标。
在一个实施例中,通过非极大值抑制对目标信息进行筛选,得到最终目标包括:根据目标信息中的目标类别值以及预设的第一阈值,筛选目标信息,得到有效检测框;根据目标信息中的检测框置信度的大小,对有效检测框进行排列,并计算前后有效检测框的重叠交并比;根据重叠交并比以及预设的第二阈值,筛选有效检测框,得到最终目标。
上述点云目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图11所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种点云目标检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述实施例中任意一种点云目标检测方法。具体详细说明参看方法对应的说明,在此不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中任意一种点云目标检测方法。具体详细说明参看方法对应的说明,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。
本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种点云目标检测方法,其特征在于,所述方法包括:
获取点云数据;
对所述点云数据进行栅格化处理;
对各个栅格内点的特征进行升维、聚合,得到对应的栅格特征,并根据各个栅格的所述栅格特征生成特征图;
对所述特征图进行特征加权并进行目标检测,得到目标信息。
2.根据权利要求1所述的方法,其特征在于,所述对所述点云数据进行栅格化处理包括:
根据预设的栅格阈值对所述点云数据进行栅格划分与筛选。
3.根据权利要求1所述的方法,其特征在于,所述对各个栅格内点的特征进行升维、聚合,得到对应的栅格特征包括:
将各个栅格内点的特征进行升维,得到高维特征信息,并通过最大值池化将各个栅格内点的特征进行聚合,得到第一层特征;
将所述高维特征信息与所述第一层特征拼接并进行升维、聚合,得到各个栅格的第二层特征,将所述第二层特征作为所述栅格特征。
4.根据权利要求1所述的方法,其特征在于,所述对所述特征图进行特征加权并进行目标检测,得到目标信息包括:
对所述特征图进行卷积,得到不同尺寸的特征子图;
将各个所述特征子图展开,得到对应的一维特征向量;
对各个所述一维特征向量进行加权并还原回所述特征子图;
将加权之后的所述特征子图进行拼接,并对拼接后的所述特征图进行目标检测,得到所述目标信息。
5.根据权利要求4所述的方法,其特征在于,在所述目标检测的神经网络模型训练过程中,以目标类别值最大的检测框作为所述目标信息的位置结果,以目标类别值最大的类别作为所述目标信息的目标类别,以目标类别值作为所述目标信息的检测框置信度,并将输出的所述目标信息与实际结果做对比,将损失回传,更新整个模型内的参数。
6.根据权利要求1至权利要求5任意一项所述的方法,其特征在于,所述对所述特征图进行特征加权并进行目标检测之后,还包括:
通过非极大值抑制对所述目标信息进行筛选,得到最终目标。
7.根据权利要求6所述的方法,其特征在于,所述通过非极大值抑制对所述目标信息进行筛选,得到最终目标包括:
根据所述目标信息中的目标类别值以及预设的第一阈值,筛选所述目标信息,得到有效检测框;
根据所述目标信息中的检测框置信度的大小,对所述有效检测框进行排列,并计算前后所述有效检测框的重叠交并比;
根据所述重叠交并比以及预设的第二阈值,筛选所述有效检测框,得到所述最终目标。
8.一种点云目标检测装置,其特征在于,所述装置包括:
获取模块,用于获取点云数据;
栅格化模块,用于对所述点云数据进行栅格化处理;
特征提取模块,用于通过多层感知机对各个栅格内点的特征进行升维、聚合,得到对应的栅格特征,并根据各个栅格的所述栅格特征生成特征图;
目标检测模块,用于对所述特征图进行特征加权并进行目标检测,得到目标信息。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至权利要求7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至权利要求7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211439886.0A CN115731382A (zh) | 2022-11-17 | 2022-11-17 | 点云目标检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211439886.0A CN115731382A (zh) | 2022-11-17 | 2022-11-17 | 点云目标检测方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115731382A true CN115731382A (zh) | 2023-03-03 |
Family
ID=85296202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211439886.0A Pending CN115731382A (zh) | 2022-11-17 | 2022-11-17 | 点云目标检测方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115731382A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117576150A (zh) * | 2023-11-03 | 2024-02-20 | 扬州万方科技股份有限公司 | 一种考虑远帧依赖关系的多模态多目标3d跟踪方法及装置 |
CN117612070A (zh) * | 2024-01-19 | 2024-02-27 | 福思(杭州)智能科技有限公司 | 静态真值数据的校正方法和装置、存储介质 |
CN117576150B (zh) * | 2023-11-03 | 2024-07-26 | 扬州万方科技股份有限公司 | 一种考虑远帧依赖关系的多模态多目标3d跟踪方法及装置 |
-
2022
- 2022-11-17 CN CN202211439886.0A patent/CN115731382A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117576150A (zh) * | 2023-11-03 | 2024-02-20 | 扬州万方科技股份有限公司 | 一种考虑远帧依赖关系的多模态多目标3d跟踪方法及装置 |
CN117576150B (zh) * | 2023-11-03 | 2024-07-26 | 扬州万方科技股份有限公司 | 一种考虑远帧依赖关系的多模态多目标3d跟踪方法及装置 |
CN117612070A (zh) * | 2024-01-19 | 2024-02-27 | 福思(杭州)智能科技有限公司 | 静态真值数据的校正方法和装置、存储介质 |
CN117612070B (zh) * | 2024-01-19 | 2024-05-03 | 福思(杭州)智能科技有限公司 | 静态真值数据的校正方法和装置、存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110991311B (zh) | 一种基于密集连接深度网络的目标检测方法 | |
CN109932730B (zh) | 基于多尺度单极三维检测网络的激光雷达目标检测方法 | |
CN111047078B (zh) | 交通特征预测方法、***及存储介质 | |
US20210089923A1 (en) | Icospherical gauge convolutional neural network | |
CN115601511B (zh) | 三维重建方法、装置、计算机设备及计算机可读存储介质 | |
CN112184867A (zh) | 点云特征提取方法、装置、设备及存储介质 | |
CN115731382A (zh) | 点云目标检测方法、装置、计算机设备和存储介质 | |
CN113160117A (zh) | 一种自动驾驶场景下的三维点云目标检测方法 | |
CN113627440A (zh) | 一种基于轻量级神经网络的大规模点云语义分割方法 | |
CN116246119A (zh) | 3d目标检测方法、电子设备及存储介质 | |
CN116152800A (zh) | 基于跨视图特征融合的3d动态多目标检测方法、***及存储介质 | |
CN116842827A (zh) | 一种无人机飞控***电磁性能边界模型构建方法 | |
CN115995042A (zh) | 一种视频sar运动目标检测方法及装置 | |
CN114998610A (zh) | 一种目标检测方法、装置、设备及存储介质 | |
EP3965071A2 (en) | Method and apparatus for pose identification | |
CN111765883B (zh) | 机器人蒙特卡罗定位方法、设备及存储介质 | |
CN113761797A (zh) | 一种基于计算机视觉的无线信道路径损耗模型预测方法 | |
Li et al. | Nonlinear von Mises–Fisher filtering based on isotropic deterministic sampling | |
WO2022017129A1 (zh) | 目标对象检测方法、装置、电子设备及存储介质 | |
CN116402963A (zh) | 车道线矢量模型构建方法、装置、电子设备和存储介质 | |
CN113903016B (zh) | 分岔点检测方法、装置、计算机设备和存储介质 | |
CN110516761A (zh) | 基于深度学习的目标检测***、方法、存储介质及终端 | |
CN115908318A (zh) | 电力线弧垂确定方法、装置、设备、介质和产品 | |
WO2022266888A1 (zh) | 拥塞预测模型训练方法、图像处理方法及装置 | |
CN114821033A (zh) | 一种基于激光点云的三维信息增强的检测识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |