CN114120270A - 一种基于注意力和采样学习的点云目标检测方法 - Google Patents
一种基于注意力和采样学习的点云目标检测方法 Download PDFInfo
- Publication number
- CN114120270A CN114120270A CN202111314134.7A CN202111314134A CN114120270A CN 114120270 A CN114120270 A CN 114120270A CN 202111314134 A CN202111314134 A CN 202111314134A CN 114120270 A CN114120270 A CN 114120270A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- target
- feature
- network
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于注意力和采样学习的点云目标检测方法,包括以下步骤:1)采集待检测目标的点云数据;2)根据点云数据,通过点云提取网络提取点云特征;3)根据点云特征,通过k最近值下采样法筛选出目标索引点特征;4)根据目标索引点特征,通过自适应点云特征聚合网络,将点云特征聚合为候选目标特征;5)根据候选目标特征,通过多层感知机生成待检测目标的类别、位置和尺寸信息。与现有技术相比,本发明具有可靠性强、准确率高等优点。
Description
技术领域
本发明涉及一种智能汽车领域与计算机视觉领域,尤其是涉及一种基于注意力和采样学习的点云目标检测方法。
背景技术
随着社会的发展与居民的生活水平的提高,我国的汽车保有量逐步上升。相应的,公路交通安全成为一个重要问题。智能汽车的发展有望进一步提高汽车的安全性,减少交通事故带来的生命和财产损失。
智能汽车需要通过环境传感器和相应目标检测方法对周围环境中的车辆、行人、非机动车和静态障碍物等目标进行准确检测。目前常用的环境感知传感器有摄像机、激光雷达、毫米波雷达等。摄像机采集的图像数据,由于缺乏深度信息,难以对目标进行精准空间定位,且容易受到环境中的光线影响;毫米波雷达,虽然可以采集到三维位置信息,但是采集的三维信息过于稀疏,容易造成漏检;激光雷达,可以对周围环境的表面进行密集三维位置采样,进而获得准确的三维点云数据。点云目标检测,依托激光雷达,能够精准地检测到目标的尺寸和空间位置。当前,点云目标检测技术路线可以为分为三种:基于体素的技术路线(首先将点云离散为规则的体素,再经过神经网络检测目标)、基于投影图的技术路线(首先将点云投影到一个或者多个平面视图上,再经过神经网络检测目标)以及点云直接检测的技术路线(不改变点云的表示形式,直接经过神经网络检测目标)。在处理点云过程中,应尽可能避免点云处理过程(体素化、投影)中的信息损失。
采用点云直接检测的技术路线,相较于另外两种技术路线,由于不存在点云体素化或者投影的过程,在点云预处理中的信息损失更少。但是,即使是点云直接检测技术路线的方法,在逐层提取点云特征的过程中的采样阶段存在损失点云信息的问题,亟待改善。另外,在交通场景中,目标容易受到其他目标或者障碍物遮挡,成为限制智能驾驶技术的一个瓶颈。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于注意力和采样学习的点云目标检测方法,准确率高,可靠性强。
提高了对受到遮挡的车辆的检测性能和智能汽车的环境感知***的可靠性。
本发明的目的可以通过以下技术方案来实现:
一种基于注意力和采样学习的点云目标检测方法,包括以下步骤:
1)采集待检测目标的点云数据;
2)根据点云数据,通过点云提取网络提取点云特征;
3)根据点云特征,通过k最近值下采样法筛选出目标索引点特征;
4)根据目标索引点特征,通过自适应点云特征聚合网络,将点云特征聚合为候选目标特征;
5)根据候选目标特征,通过多层感知机生成待检测目标的类别、位置和尺寸信息。
进一步地,所述的点云提取网络包括若干个点云注意力网络和若干层特征传播网络,所述的若干个点云注意力网络依次连接,所述的若干层特征传播网络与若干个点云注意力网络跳跃连接;
所述的点云注意力网络包括第一自注意力模型、采样学习网络、两个点网络以及第一前馈网络;
本发明提出的点云目标检测方法,通过点云提取网络提取点云特征,并将点云特征聚合为候选目标特征,进而增强点云目标检测方法对受遮挡目标检测能力,在点云特征的提取过程中,通过采样学习减少采样中点云的信息损失。
进一步地,每个点云注意力网络提取点云特征的过程包括以下步骤:
201)将输入特征输入采样学习网络,生成子点云;
202)将输入特征和生成的子点云一同输入其中一个点网络,获得邻域特征向量F1,所述的F1对应的坐标经过多层感知机,生成点云位置编码;
203)将F1与步骤202)生成的点云位置编码相加后,通过一个线性投影层投影为点云查询序列Q;
204)通过最远点采样算法提取F1的子集F′1,将F′1和F1输入另一个点网络,生成邻域特征向量集合,将邻域特征向量集合与步骤202)生成的点云位置编码相加后,再通过一个线性投影层投影生成点云特征序列,包括点云键特征序列K和点云值特征序列V;
205)将Q、K和V输入第一自注意力模型,生成新的点云特征;
其中,对于第一个点云注意力网络的采样学习网络,输入特征为点云数据,对于其余点云注意力网络的采样学习网络,输入特征为上一个点云注意力网络输出的点云特征;
所述的点云提取网络以结合点网络、第一自注意力模型和采样学习网络的点云注意力网络为核心结构,首先通过采样学习网络采样出点云中的子点云,然后通过点网络提取输入特征和子点云的邻域点云特征,即局部特征,最后通过第一自注意力模型,在所有的点云局部特征中实现特征交换,以提取点云的全局特征,多层点云注意力网络叠加,逐层提取出包含局部特征信息和全局特征信息的点云特征,随后经过若干层特征传播层,即线性插值,将提取的点云特征传播到更多的点上;
所述的点云提取网络即可以提取点云局部特征,又可以提取点云全局特征,减少采样中点云的信息损失。
进一步地,所述的步骤201)包括:
211)通过多层感知机将输入特征映射到高维空间,生成高维点云特征向量矩阵;
212)通过最大池化操作,保留高维点云特征向量矩阵中每个特征通道上最大的数值,获得全局特征;
213)将全局特征拼接到每一个高维点云特征向量上,获得拼接点云特征;
214)将拼接点云特征输入多层感知机,得到采样矩阵;
215)将采样矩阵与输入特征做矩阵乘法,得到子点云。
进一步地,所述的步骤204)中点网络生成邻域特征向量集合的过程包括:
221)以F′1的元素为球心,搜索半径为r的球形邻域内的F1的元素,将邻域内各F1的元素作为该球心的邻域特征集;
222)将F′1的各个元素的领域特征集输入多层感知机,获得高维点云特征向量;
223)对F′1的每个元素的领域特征集的高维点云特征向量进行最大池化操作,所述的F′1的每个元素邻域生成一个邻域特征向量,各邻域特征向量组成邻域特征向量集合。
进一步地,所述的步骤205)包括:
231)将Q、K和V沿特征维度分为n组,分别与对应的点云位置编码组合相加,对应获得带有点云位置信息的点云特征序列Q′i、K′i和V′i,i=1,2,…,n:
232)计算注意力分数矩阵Ai,计算公式为:
其中,d为特征通道数;
233)计算中间向量序列组Fi,计算公式为:
Fi=AiV′i
将Fi沿特征通道维度拼接,得到中间特征向量序列F2;
234)将F2与步骤202)生成的邻域特征向量F1相加,并经过层归一化,生成特征F3;
235)将F3输入第一前馈网络,再将第一前馈网络生成的特征与F3相加,并进行层归一化,生成新的点云特征。
进一步地,所述的自适应点云特征聚合网络包括若干层解码层,每层解码层包括第二自注意力模型、互注意力模型和第二前馈网络;
通过若干层解码层逐层将点云特征聚合到目标特征中;
进一步地,所述的步骤4)包括:
401)第一层解码层以步骤3)生成的目标索引特征为输入,其余解码层以前一解码层输出的第一目标特征为输入,生成新的第一目标特征和第二目标特征,并将新的第一目标特征输入多层感知机,生成目标位置信息,根据目标位置信息生成目标位置编码,新的第二目标特征由上一层解码层生成的目标位置编码和第一目标特征相加得到;
输入的第一目标特征首先经过第二自注意力模型,实现第一目标特征之间的信息交换,然后通过互注意力模型提取第一目标特征与点云特征之间的联系,实现自适应特征聚合。
410)判断当前解码层是否为最后一层解码层,若是则将当前解码层输出的第一目标特征向量作为候选目标特征,步骤结束,否则执行步骤401)。
进一步地,所述的若干层特征传播网络之间通过基于距离插值的特征传播策略和跳跃连接的方式实现点云特征传播;
设位于点云提取网络末端的特征传播网络为第1层特征传播网络,第l-1层特征传播网络为待传播层,所述的点云特征传播的具体过程包括以下步骤:
241)从第l层特征传播网络中找到第l-1层中点的k个最近邻点;
242)计算最近邻点到待传播点距离d(x,xi′),x和xi′分别为待传播点和最近邻点的坐标;
243)将第l层特征传播网络输出的点云特征传播到第l-1层特征传播网络,传播公式为:
ωi=1/d(x,xi′)p
其中,F为第l-1层特征传播网络传播的点云特征,fi为最近临点特征,p为距离指数;
244)将第l-1层特征传播网络经过传播得到的点云特征,跟与第l-1层特征传播网络跳跃连接的点云注意力网络提取到的点云特征拼接,并经过一个1*1卷积,获得第l-1层特征传播网络输出的点云特征。
进一步地,所述的步骤3)包括:
通过多层感知机为步骤2)提取的每个点云特征生成一个表征点云特征与待检测目标的中心接近程度的置信度分数,并依次选出置信度分数最高的特征作为目标索引点特征。
与现有技术相比,本发明具有以如下有益效果:
(1)本发明点云提取网络以结合点网络、第一自注意力模型和采样学习网络的点云注意力网络为核心结构,首先通过采样学习网络采样出点云中的子点云,然后通过点网络提取输入特征和子点云的邻域点云特征,即局部特征,最后通过第一自注意力模型,在所有的点云局部特征中实现特征交换,以提取点云的全局特征,多层点云注意力网络叠加,逐层提取出包含局部特征信息和全局特征信息的点云特征,随后经过若干层特征传播层,即线性插值,将提取的点云特征传播到更多的点上,点云提取网络即可以提取点云局部特征,又可以提取点云全局特征,减少采样中点云的信息损失,检测的准确率高;
(2)本发明根据点云特征,通过k最近值下采样法筛选出目标索引点特征,根据目标索引点特征,通过自适应点云特征聚合网络,将点云特征聚合为候选目标特征,根据候选目标特征,通过多层感知机生成待检测目标的类别、位置和尺寸信息,自适应点云特征聚合网络包括若干层解码层,每层解码层包括第二自注意力模型、互注意力模型和第二前馈网络,输入的第一目标特征首先经过第二自注意力模型,实现第一目标特征之间的信息交换,然后通过互注意力模型提取第一目标特征与点云特征之间的联系,实现自适应特征聚合,通过若干层解码层逐层将点云特征聚合到目标特征中,进而增强网络对受遮挡目标检测能力,检测的准确率高,可靠性强。
附图说明
图1为本发明的检测流程框架图;
图2为点云提取网络的结构示意图;
图3为解码层的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
一种基于注意力和采样学习的点云目标检测方法,如图1,包括以下步骤:
1)采集待检测目标的点云数据;
2)根据点云数据,通过点云提取网络提取点云特征;
3)根据点云特征,通过k最近值下采样法筛选出目标索引点特征;
4)根据目标索引点特征,通过自适应点云特征聚合网络,将点云特征聚合为候选目标特征;
5)根据候选目标特征,通过多层感知机生成待检测目标的类别、位置和尺寸信息。
本实施例提出的点云目标检测方法基于点云目标检测装置,点云目标检测装置包括设于车辆上的控制器以及激光雷达,通过激光雷达采集车辆周围的点云数据,控制器通过数据线接收激光雷达采集的点云数据,实现智能汽车对周围环境中车辆、行人、静态障碍物等目标的准确检测的任务。
如图3,点云提取网络包括四个点云注意力网络和两层特征传播网络,若干个点云注意力网络依次连接,若干层特征传播网络与若干个点云注意力网络跳跃连接;
点云注意力网络包括第一自注意力模型、采样学习网络、两个点网络(PointNet)以及第一前馈网络;
本实施例提出的点云目标检测方法,通过点云提取网络提取点云特征,并将点云特征聚合为候选目标特征,进而增强点云目标检测方法对受遮挡目标检测能力,在点云特征的提取过程中,通过采样学习减少采样中点云的信息损失。
每个点云注意力网络提取点云特征的过程包括以下步骤:
201)将输入特征输入采样学习网络,生成子点云;
202)将输入特征和生成的子点云一同输入其中一个点网络,获得邻域特征向量F1,所述的F1对应的坐标经过多层感知机,生成点云位置编码;
203)将F1与步骤202)生成的点云位置编码相加后,通过一个线性投影层投影为点云查询序列Q;
204)通过最远点采样算法提取F1的子集F′1,将F′1和F1输入另一个点网络,生成邻域特征向量集合,将邻域特征向量集合与步骤202)生成的点云位置编码相加后,再通过一个线性投影层投影生成点云特征序列,包括点云键特征序列K和点云值特征序列V;
205)将Q、K和V输入第一自注意力模型,生成新的点云特征;
其中,对于第一个点云注意力网络的采样学习网络,输入特征为点云数据,对于其余点云注意力网络的采样学习网络,输入特征为上一个点云注意力网络输出的点云特征;
点云提取网络以结合点网络、第一自注意力模型和采样学习网络的点云注意力网络为核心结构,首先通过采样学习网络采样出点云中的子点云,然后通过点网络提取输入特征和子点云的邻域点云特征,即局部特征,最后通过第一自注意力模型,在所有的点云局部特征中实现特征交换,以提取点云的全局特征,多层点云注意力网络叠加,逐层提取出包含局部特征信息和全局特征信息的点云特征,随后经过若干层特征传播层,即线性插值,将提取的点云特征传播到更多的点上;
点云提取网络即可以提取点云局部特征,又可以提取点云全局特征,减少采样中点云的信息损失。
步骤201)包括:
211)通过多层感知机将N*3或N*(3+C)维的输入特征映射到高维空间,生成N*C1的高维点云特征向量矩阵;
212)通过最大池化操作,保留N*C1的高维点云特征向量矩阵中每个特征通道上最大的数值,获得1*C1维的全局特征;
213)将全局特征拼接到每一个高维点云特征向量上,获得N*(2*C1)维的拼接点云特征;
214)将拼接点云特征输入多层感知机,得到N*N1的采样矩阵;
215)将采样矩阵与输入特征做矩阵乘法,得到子点云。
步骤204)中点网络生成邻域特征向量集合的过程包括:
221)以F′1的元素为球心,搜索半径为r的球形邻域内的F1的元素,将邻域内各F1的元素作为该球心的邻域特征集;
222)将F′1的各个元素的领域特征集输入多层感知机,获得高维点云特征向量;
223)对F′1的每个元素的领域特征集的高维点云特征向量进行最大池化操作,所述的F′1的每个元素邻域生成一个邻域特征向量,各邻域特征向量组成邻域特征向量集合。
步骤205)包括:
231)将Q、K和V沿特征维度分为n组,分别与对应的点云位置编码组合相加,对应获得带有点云位置信息的点云特征序列Q′i、K′i和V′i,i=1,2,…,n:
232)计算注意力分数矩阵Ai,计算公式为:
其中,d为特征通道数;
233)计算中间向量序列组Fi,计算公式为:
Fi=AiV′i
将Fi沿特征通道维度拼接,得到中间特征向量序列F2;
234)将F2与步骤202)生成的邻域特征向量F1相加,并经过层归一化,生成特征F3;
235)将F3输入第一前馈网络,再将第一前馈网络生成的特征与F3相加,并进行层归一化,生成新的点云特征。
自适应点云特征聚合网络包括若干层解码层,如图3,每层解码层包括第二自注意力模型、互注意力模型和第二前馈网络;
通过若干层解码层逐层将点云特征聚合到目标特征中;
步骤3)包括:
通过训练好的多层感知机为步骤2)提取的每个点云特征生成一个表征点云特征与待检测目标的中心接近程度的置信度分数,并依次选出置信度分数最高的特征作为目标索引点特征;
步骤3)中训练好的多层感知机的训练过程包括:
设置位于目标真值边界框内部且为距离该目标中心最近的k个点之一的点标签为真,否则为假,并使用focal loss损失函数加以监督。
步骤4)包括:
401)第一层解码层以步骤3)生成的目标索引特征为输入,其余解码层以前一解码层输出的第一目标特征为输入,生成新的第一目标特征和第二目标特征,并将新的第一目标特征输入多层感知机,生成目标位置信息,根据目标位置信息生成目标位置编码,新的第二目标特征由上一层解码层生成的目标位置编码和第一目标特征相加得到;
输入的第一目标特征首先经过第二自注意力模型,实现第一目标特征之间的信息交换,然后通过互注意力模型提取第一目标特征与点云特征之间的联系,实现自适应特征聚合。
410)判断当前解码层是否为最后一层解码层,若是则将当前解码层输出的第一目标特征向量作为候选目标特征,步骤结束,否则执行步骤401)。
若干层特征传播网络之间通过基于距离插值的特征传播策略和跳跃连接的方式实现点云特征传播;
设位于点云提取网络末端的特征传播网络为第1层特征传播网络,第l-1层特征传播网络为待传播层,点云特征传播的具体过程包括以下步骤:
241)从第l层特征传播网络中找到第l-1层中点的k个最近邻点;
242)计算最近邻点到待传播点距离d(x,xi′),x和xi′分别为待传播点和最近邻点的坐标;
243)将第l层特征传播网络输出的点云特征传播到第l-1层特征传播网络,传播公式为:
ωi=1/d(x,xi′)p
其中,F为第l-1层特征传播网络传播的点云特征,fi为最近临点特征,p为距离指数;
244)将第l-1层特征传播网络经过传播得到的点云特征,跟与第l-1层特征传播网络跳跃连接的点云注意力网络提取到的点云特征拼接,并经过一个1*1卷积,获得第l-1层特征传播网络输出的点云特征。
本实施例提出了一种基于注意力和采样学***均准确率可以达到79.9%,相较于未进行改进的点云目标检测网络性能提升8.7%。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种基于注意力和采样学习的点云目标检测方法,其特征在于,包括以下步骤:
1)采集待检测目标的点云数据;
2)根据点云数据,通过点云提取网络提取点云特征;
3)根据点云特征,通过k最近值下采样法筛选出目标索引点特征;
4)根据目标索引点特征,通过自适应点云特征聚合网络,将点云特征聚合为候选目标特征;
5)根据候选目标特征,通过多层感知机生成待检测目标的类别、位置和尺寸信息。
2.根据权利要求1所述的一种基于注意力和采样学习的点云目标检测方法,其特征在于,所述的点云提取网络包括若干个点云注意力网络和若干层特征传播网络,所述的若干个点云注意力网络依次连接,所述的若干层特征传播网络与若干个点云注意力网络跳跃连接;
所述的点云注意力网络包括第一自注意力模型、采样学习网络、两个点网络以及第一前馈网络。
3.根据权利要求2所述的一种基于注意力和采样学习的点云目标检测方法,其特征在于,每个点云注意力网络提取点云特征的过程包括以下步骤:
201)将输入特征输入采样学习网络,生成子点云;
202)将输入特征和生成的子点云一同输入其中一个点网络,获得邻域特征向量F1,所述的F1对应的坐标经过多层感知机,生成点云位置编码;
203)将F1与步骤202)生成的点云位置编码相加后,通过一个线性投影层投影为点云查询序列Q;
204)通过最远点采样算法提取F1的子集F′1,将F′1和F1输入另一个点网络,生成邻域特征向量集合,将邻域特征向量集合与步骤202)生成的点云位置编码相加后,再通过一个线性投影层投影生成点云特征序列,包括点云键特征序列K和点云值特征序列V;
205)将Q、K和V输入第一自注意力模型,生成新的点云特征;
其中,对于第一个点云注意力网络的采样学习网络,输入特征为点云数据,对于其余点云注意力网络的采样学习网络,输入特征为上一个点云注意力网络输出的点云特征。
4.根据权利要求3所述的一种基于注意力和采样学习的点云目标检测方法,其特征在于,所述的步骤201)包括:
211)通过多层感知机将输入特征映射到高维空间,生成高维点云特征向量矩阵;
212)通过最大池化操作,保留高维点云特征向量矩阵中每个特征通道上最大的数值,获得全局特征;
213)将全局特征拼接到每一个高维点云特征向量上,获得拼接点云特征;
214)将拼接点云特征输入多层感知机,得到采样矩阵;
215)将采样矩阵与输入特征做矩阵乘法,得到子点云。
5.根据权利要求3所述的一种基于注意力和采样学习的点云目标检测方法,其特征在于,所述的步骤204)中点网络生成邻域特征向量集合的过程包括:
221)以F′1的元素为球心,搜索半径为r的球形邻域内的F1的元素,将邻域内各F1的元素作为该球心的邻域特征集;
222)将F′1的各个元素的领域特征集输入多层感知机,获得高维点云特征向量;
223)对F′1的每个元素的领域特征集的高维点云特征向量进行最大池化操作,所述的F′1的每个元素邻域生成一个邻域特征向量,各邻域特征向量组成邻域特征向量集合。
6.根据权利要求3所述的一种基于注意力和采样学习的点云目标检测方法,其特征在于,所述的步骤205)包括:
231)将Q、K和V沿特征维度分为n组,分别与对应的点云位置编码组合相加,对应获得带有点云位置信息的点云特征序列Q′i、K′i和V′i,i=1,2,...,n:
232)计算注意力分数矩阵Ai,计算公式为:
其中,d为特征通道数;
233)计算中间向量序列组Fi,计算公式为:
Fi=AiV′i
将Fi沿特征通道维度拼接,得到中间特征向量序列F2;
234)将F2与步骤202)生成的邻域特征向量F1相加,并经过层归一化,生成特征F3;
235)将F3输入第一前馈网络,再将第一前馈网络生成的特征与F3相加,并进行层归一化,生成新的点云特征。
7.根据权利要求6所述的一种基于注意力和采样学习的点云目标检测方法,其特征在于,所述的自适应点云特征聚合网络包括若干层解码层,每层解码层包括第二自注意力模型、互注意力模型和第二前馈网络。
8.根据权利要求7所述的一种基于注意力和采样学习的点云目标检测方法,其特征在于,所述的步骤4)包括:
401)第一层解码层以步骤3)生成的目标索引特征为输入,其余解码层以前一解码层输出的第一目标特征为输入,生成新的第一目标特征和第二目标特征,并将新的第一目标特征输入多层感知机,生成目标位置信息,根据目标位置信息生成目标位置编码,新的第二目标特征由上一层解码层生成的目标位置编码和第一目标特征相加得到;
410)判断当前解码层是否为最后一层解码层,若是则将当前解码层输出的第一目标特征向量作为候选目标特征,步骤结束,否则执行步骤401)。
9.根据权利要求3所述的一种基于注意力和采样学习的点云目标检测方法,其特征在于,所述的若干层特征传播网络之间通过基于距离插值的特征传播策略和跳跃连接的方式实现点云特征传播;
设位于点云提取网络末端的特征传播网络为第1层特征传播网络,第l-1层特征传播网络为待传播层,所述的点云特征传播的具体过程包括以下步骤:
241)从第l层特征传播网络中找到第l-1层中点的k个最近邻点;
242)计算最近邻点到待传播点距离d(x,xi′),x和xi′分别为待传播点和最近邻点的坐标;
243)将第l层特征传播网络输出的点云特征传播到第l-1层特征传播网络,传播公式为:
ωi=1/d(x,xi′)p
其中,F为第l-1层特征传播网络传播的点云特征,fi为最近临点特征,p为距离指数;
244)将第l-1层特征传播网络经过传播得到的点云特征,跟与第l-1层特征传播网络跳跃连接的点云注意力网络提取到的点云特征拼接,并经过一个1*1卷积,获得第l-1层特征传播网络输出的点云特征。
10.根据权利要求1所述的一种基于注意力和采样学习的点云目标检测方法,其特征在于,所述的步骤3)包括:
通过多层感知机为步骤2)提取的每个点云特征生成一个表征点云特征与待检测目标的中心接近程度的置信度分数,并依次选出置信度分数最高的特征作为目标索引点特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111314134.7A CN114120270A (zh) | 2021-11-08 | 2021-11-08 | 一种基于注意力和采样学习的点云目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111314134.7A CN114120270A (zh) | 2021-11-08 | 2021-11-08 | 一种基于注意力和采样学习的点云目标检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114120270A true CN114120270A (zh) | 2022-03-01 |
Family
ID=80381357
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111314134.7A Pending CN114120270A (zh) | 2021-11-08 | 2021-11-08 | 一种基于注意力和采样学习的点云目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114120270A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115294343A (zh) * | 2022-07-13 | 2022-11-04 | 苏州驾驶宝智能科技有限公司 | 一种基于跨位置及通道的注意力机制的点云特征增强方法 |
WO2023202401A1 (zh) * | 2022-04-19 | 2023-10-26 | 京东科技信息技术有限公司 | 点云数据中目标的检测方法、装置和计算机可读存储介质 |
-
2021
- 2021-11-08 CN CN202111314134.7A patent/CN114120270A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023202401A1 (zh) * | 2022-04-19 | 2023-10-26 | 京东科技信息技术有限公司 | 点云数据中目标的检测方法、装置和计算机可读存储介质 |
CN115294343A (zh) * | 2022-07-13 | 2022-11-04 | 苏州驾驶宝智能科技有限公司 | 一种基于跨位置及通道的注意力机制的点云特征增强方法 |
CN115294343B (zh) * | 2022-07-13 | 2023-04-18 | 苏州驾驶宝智能科技有限公司 | 一种基于跨位置及通道的注意力机制的点云特征增强方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Al-qaness et al. | An improved YOLO-based road traffic monitoring system | |
WO2021249071A1 (zh) | 一种车道线的检测方法及相关设备 | |
US20220011122A1 (en) | Trajectory prediction method and device | |
Ni et al. | An improved deep network-based scene classification method for self-driving cars | |
US10984659B2 (en) | Vehicle parking availability map systems and methods | |
CN111626217A (zh) | 一种基于二维图片和三维点云融合的目标检测和追踪方法 | |
Lin et al. | A Real‐Time Vehicle Counting, Speed Estimation, and Classification System Based on Virtual Detection Zone and YOLO | |
EP3822852B1 (en) | Method, apparatus, computer storage medium and program for training a trajectory planning model | |
CN108877267A (zh) | 一种基于车载单目相机的交叉路口检测方法 | |
CN116685874A (zh) | 摄像机-激光雷达融合对象检测***和方法 | |
CN110781927B (zh) | 车路协同下基于深度学习的目标检测与分类方法 | |
CN113095152B (zh) | 一种基于回归的车道线检测方法及*** | |
CN114120270A (zh) | 一种基于注意力和采样学习的点云目标检测方法 | |
US20220261590A1 (en) | Apparatus, system and method for fusing sensor data to do sensor translation | |
Zhang et al. | Gc-net: Gridding and clustering for traffic object detection with roadside lidar | |
CN115100741B (zh) | 一种点云行人距离风险检测方法、***、设备和介质 | |
CN110909656B (zh) | 一种雷达与摄像机融合的行人检测方法和*** | |
Kanchana et al. | Computer vision for autonomous driving | |
CN117456480B (zh) | 一种基于多源信息融合的轻量化车辆再辨识方法 | |
CN114495050A (zh) | 一种面向自动驾驶前向视觉检测的多任务集成检测方法 | |
EP3764335A1 (en) | Vehicle parking availability map systems and methods | |
Sharma et al. | Deep Learning-Based Object Detection and Classification for Autonomous Vehicles in Different Weather Scenarios of Quebec, Canada | |
CN116797894A (zh) | 一种增强特征信息的雷达与视频融合目标检测方法 | |
CN113611008B (zh) | 一种车辆行驶场景采集方法、装置、设备及介质 | |
Liu et al. | Bird's-Eye-View Semantic Segmentation With Two-Stream Compact Depth Transformation and Feature Rectification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |