CN113537602B - 车辆行为预测方法、装置、设备及介质 - Google Patents
车辆行为预测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113537602B CN113537602B CN202110820868.6A CN202110820868A CN113537602B CN 113537602 B CN113537602 B CN 113537602B CN 202110820868 A CN202110820868 A CN 202110820868A CN 113537602 B CN113537602 B CN 113537602B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- dimensional
- behavior prediction
- vehicle behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 28
- 238000010586 diagram Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims description 12
- 230000006835 compression Effects 0.000 claims description 11
- 238000007906 compression Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013139 quantization Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 15
- 230000006399 behavior Effects 0.000 description 82
- 238000012545 processing Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Game Theory and Decision Science (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种车辆行为预测方法、装置、设备及介质,该方法包括:获取车载传感器采集的三维点云数据;基于车辆行为预测模型,在空间维度上提取空间维度特征;基于车辆行为预测模型,根据三维点云数据,确定压缩四维张量;通过对压缩四维张量进行组卷积,在时间维度上进行特征提取,得到精简特征图;根据精简特征图,对组卷积层结果进行融合,确定时间维度特征;将空间维度特征和时间维度特征进行融合,得到融合特征;根据融合特征,预测三维点云数据中车辆的运动状态。本申请的技术方案,将检测、跟踪以及行为预测并行处理,在保证预测精度的同时减少了计算资源的消耗,并对输入数据进行压缩处理,提升了计算速度。
Description
技术领域
本发明实施例涉及无人驾驶技术领域,尤其涉及一种车辆行为预测方法、装置、设备及介质。
背景技术
车辆驾驶行为预测主要服务于车联网安全相关的应用,如十字路口车辆防碰撞监测等。
现阶段无人驾驶技术的研究领域中,大多数方法都将该问题划分成4个子模块,即目标检测,轨迹跟踪,目标行为预测和规划决策,各个模块间的关系为:检测模块的输出作为跟踪模块的输入,进而将跟踪模块得到的目标运动曲线输入到行为预测模块,最终输出决策信号。
但是,该类解决方案中各个模块之间是独立运行的,因此,其子模块的不确定性在传播过程中并不能被有效地补偿,进而影响整体方案的性能。此外,由于子模块之间是串行连接的,导致计算资源浪费。
发明内容
本发明提供一种车辆行为预测方法、装置、设备及介质,以实现将检测、跟踪以及行为预测并行处理,在保证预测精度的同时减少计算资源的消耗。
第一方面,本发明实施例提供了一种车辆行为预测方法,该方法包括:
获取车载传感器采集的三维点云数据;
基于车辆行为预测模型,在空间维度上提取空间维度特征;
基于车辆行为预测模型,根据所述三维点云数据,确定压缩四维张量;
通过对所述压缩四维张量进行组卷积,在时间维度上进行特征提取,得到精简特征图;
根据所述精简特征图,对组卷积层结果进行融合,确定时间维度特征;
将所述空间维度特征和所述时间维度特征进行融合,得到融合特征;
根据所述融合特征,预测所述三维点云数据中车辆的运动状态;
其中,所述车辆行为预测模型基于多任务的深度卷积神经网络训练得到。
第二方面,本发明实施例还提供了一种车辆行为预测装置,该装置包括:
数据获取模块,用于获取车载传感器采集的三维点云数据;
空间特征提取模块,基于车辆行为预测模型,在空间维度上提取空间维度特征;
压缩张量确定模块,用于基于车辆行为预测模型,根据所述三维点云数据,确定压缩四维张量;
特征图获取模块,用于通过对所述压缩四维张量进行组卷积,在时间维度上进行特征提取,得到精简特征图;
特征图融合模块,用于根据所述精简特征图,对组卷积层结果进行融合,确定时间维度特征;
融合特征确定模块,用于将所述空间维度特征和所述时间维度特征进行融合,得到融合特征;
状态预测模块,用于根据所述融合特征,预测所述三维点云数据中车辆的运动状态;
其中,所述车辆行为预测模型基于多任务的深度卷积神经网络训练得到。
第三方面,本发明实施例还提供了一种电子设备,该设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例所述的车辆行为预测方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任意实施例所述的车辆行为预测方法。
本发明实施例提供的一种车辆行为预测方法、装置、设备及介质,通过获取车载传感器采集的三维点云数据;基于车辆行为预测模型,在空间维度上提取空间维度特征;基于车辆行为预测模型,根据所述三维点云数据,确定压缩四维张量;通过对所述压缩四维张量进行组卷积,在时间维度上进行特征提取,得到精简特征图;根据所述精简特征图,对组卷积层结果进行融合,确定时间维度特征;将所述空间维度特征和所述时间维度特征进行融合,得到融合特征;根据所述融合特征,预测所述三维点云数据中车辆的运动状态;其中,所述车辆行为预测模型基于多任务的深度卷积神经网络训练得到。通过本申请的技术方案,将检测、跟踪以及行为预测并行处理,在保证预测精度的同时减少了计算资源的消耗,并对输入数据进行压缩处理,提升了车辆行为预测模型的计算速度。
附图说明
图1为本发明实施例一提供的一种车辆行为预测方法流程图;
图2是本发明实施例二提供的一种车辆行为预测方法流程图;
图3是本发明实施例三提供的车辆行为预测模型的网络结构图;
图4是本发明实施例四提供的一种车辆行为预测装置结构框图;
图5是本发明实施例五提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种车辆行为预测方法的流程图,本实施例可适用于无人驾驶技术中的车辆行为预测。该方法可以由本发明实施例提供的车辆行为预测装置来执行,该装置可以采用软件和/或硬件的方式实现,并可集成在电子设备上。
具体的,如图1所示,本发明实施例提供的车辆行为预测方法,可以包括如下步骤:
S110、获取车载传感器采集的三维点云数据。
其中,三维点云数据由以激光雷达为主的车载传感器采集。三维点云数据并非RGB图像数据,除了包含集合位置外,还包含丰富的信息,如颜色信息和强度信息等。
为了提高计算速度,可以对输入数据进行简化处理。获取车载传感器采集的三维点云数据之后,可以基于三维体素网格,对三维点云数据进行量化,得到量化点云数据;对量化点云数据进行二值化编码。其中,对量化点云数据进行二值化编码时,若网格内存在量化点云数据且量化点云数据的取值大于零,则编码为第一数值;否则,编码为第二数值;第一数值大于第二数值。示例性的,可以设置第一数值为1,第二数值为0。需要说明的是,第一数值和第二数值的取值不限于此,可根据实际情况调整。
S120、基于车辆行为预测模型,在空间维度上提取空间维度特征。
其中,车辆行为预测模型基于多任务的深度卷积神经网络训练得到。
现阶段无人驾驶技术的研究领域中,大多数方法都将车辆行为预测划分成四个子模块,即目标检测、轨迹跟踪、车辆行为预测和规划决策。检测模块的输出作为跟踪模块的输入,进而将跟踪模块得到的目标运动曲线输入到行为预测模块,最终输出决策信号。各个模块之间独立运行的,因此其子模块不确定性在传播过程中并不能被有效地处理,进而影响整体方案的性能。此外,由于子模块之间是串行连接的,导致了计算资源的浪费。
本实施例中,基于多任务的深度卷积神经网络训练得到车辆行为预测模型,使目标检测、轨迹跟踪和车辆行为预测共用一个基础网络,不同的功能通过相应的分支来实现,通过对基础网络的优化,各个模块的不确定性也能够很好的得到抑制,将检测、跟踪以及行为预测模块并行处理,在保证预测精度的同时减少计算资源的消耗。
本质上,车辆行为预测问题属于高维时间序列预测问题,因此,将时间维度信息嵌入到数据内部是提升模型性能的关键。本实施例中,在空间维度上提取空间维度特征时,需要将预设固定时间范围内输入的三维点云数据进行拼接得到四维张量,基于四维张量提取空间维度特征。
S130、基于车辆行为预测模型,根据三维点云数据,确定压缩四维张量。
其中,压缩四维张量用于在时间维度上进行特征提取。本实施例中,确定压缩四维张量,需要将三维点云数据进行压缩,得到压缩三维张量,根据预设固定时间范围内的压缩三维张量确定压缩四维张量。
S140、通过对压缩四维张量进行组卷积,在时间维度上进行特征提取,得到精简特征图。
数据通过1D卷积在时间维度进行特征提取,得到精简表示的特征图,这一过程在深度学习领域又被称为组卷积。对同一个点的n的时间序列上进行一维特征提取,得到一个n*1的序列。通过组卷积,可以得到多个精简特征图。
S150、根据精简特征图,对组卷积层结果进行融合,确定时间维度特征。
其中,组卷积层结果为多个精简特征图,对多个精简特征图进行融合,得到时间维度特征。
S160、将空间维度特征和时间维度特征进行融合,得到融合特征。
由于本实施例从时间维度和空间维度分别提取了特征,为了减少预测的工作量,提高预测效率,将时间维度特征和空间维度特征进行融合,得到融合特征,用于车辆行为预测。
S170、根据融合特征,预测三维点云数据中车辆的运动状态。
其中,车辆的运动状态包括如下至少一项:中心点位置、长宽信息和运动航向角。
本实施例的技术方案,通过获取车载传感器采集的三维点云数据;基于车辆行为预测模型,在空间维度上提取空间维度特征;基于车辆行为预测模型,根据三维点云数据,确定压缩四维张量;通过对压缩四维张量进行组卷积,在时间维度上进行特征提取,得到精简特征图;根据精简特征图,对组卷积层结果进行融合,确定时间维度特征;将空间维度特征和时间维度特征进行融合,得到融合特征;根据融合特征,预测三维点云数据中车辆的运动状态;其中,车辆行为预测模型基于多任务的深度卷积神经网络训练得到。通过本申请的技术方案,将检测、跟踪以及行为预测并行处理,在保证预测精度的同时减少了计算资源的消耗,并对输入数据进行压缩处理,提升了车辆行为预测模型的计算速度。
实施例二
图2为本发明实施例二提供的一种车辆行为预测方法的流程图,该方法在上述实施例的基础上进一步的优化,给出了如何进行提取空间维度特征的具体情况介绍。
具体的,如图2所示,该方法包括:
S210、获取车载传感器采集的三维点云数据。
其中,三维点云数据由以激光雷达为主的车载传感器采集。三维点云数据并非RGB图像数据,除了包含集合位置外,还包含丰富的信息,如颜色信息和强度信息等。
为了提高计算速度,可以对输入数据进行简化处理。获取车载传感器采集的三维点云数据之后,可以基于三维体素网格,对三维点云数据进行量化,得到量化点云数据;对量化点云数据进行二值化编码。其中,对量化点云数据进行二值化编码时,若网格内存在量化点云数据且量化点云数据的取值大于零,则编码为第一数值;否则,编码为第二数值;第一数值大于第二数值。示例性的,可以设置第一数值为1,第二数值为0。需要说明的是,第一数值和第二数值的取值不限于此,可根据实际情况调整。
S220、基于车辆行为预测模型,将预设固定时间范围内的三维点云数据进行拼接,生成精准四维张量。
其中,车辆行为预测模型基于多任务的深度卷积神经网络训练得到,将检测、跟踪以及行为预测模块并行处理,在保证预测精度的同时减少计算资源的消耗。
本质上,车辆行为预测问题属于高维时间序列预测问题,因此,将时间维度信息嵌入到数据内部是提升模型性能的关键。本实施例中,在空间维度上提取空间维度特征时,通过将预设固定时间范围内的三维点云数据进行拼接,生成精准四维张量,达到将时间维度信息嵌入数据内部的目的。
S230、通过对精准四维张量进行全卷积,在空间维度上进行特征提取,确定空间维度特征。
相较于提取时间维度特征,在提取空间维度特征时,精准四维张量未进行压缩,需要的计算量较大。通过传统的卷积操作对其数据时空依赖关系进行充分的特征提取,该操作的目的是实现对模型的精准优化。
S240、基于车辆行为预测模型,根据三维点云数据,确定压缩四维张量。
其中,根据三维点云数据,确定压缩四维张量,包括:将三维点云数据中的高度信息进行编码,生成压缩三维张量;将预设固定时间范围内的压缩三维张量进行拼接,得到压缩四维张量。
S250、通过对压缩四维张量进行组卷积,在时间维度上进行特征提取,得到精简特征图。
S260、根据精简特征图,对组卷积层结果进行融合,确定时间维度特征。
S270、将空间维度特征和时间维度特征进行融合,得到融合特征。
S280、根据融合特征,预测三维点云数据中车辆的运动状态;其中,车辆行为预测模型基于多任务的深度卷积神经网络训练得到。
本实施例的技术方案,给出了进行提取空间维度特征的具体情况介绍,通过全卷积对精准四维张量中的时空依赖关系进行充分的特征提取,实现模型的精准优化。
实施例三
图3是本申请实施例三提供的车辆行为预测模型的网络结构图。本申请实施例在上述各实施例的技术方案的基础上,提供了一种优选实施方式。
本实施例在以激光雷达为主要车载传感器的基础上实现的,因此与传统的目标检测算法不同,输入数据为三维点云数据而并非RGB图像数据。在本实施例中,对输入数据进行了简化处理,具体过程可以分为两个部分:1)基于三维体素网格对三维点云数据进行量化表示,得到量化点云数据;2)通过二值化数据编码量化点云数据,即如果该网格内存在原始输入数据,将其设置为1,否则为0。由于通过简化处理得到的输入数据为一个稀疏的三维张量,因此本申请并非直接采用3D卷积操作提取其特征,而是在计算过程中将数据中的高度信息编码到数据的通道中,采用2D卷积对其特征进行有效提取,同时极大程度地简化了计算量。
本质上,车辆行为预测问题属于高维时间序列预测问题,因此,将时间维度信息嵌入到数据内部是提升模型性能的关键。本实施例将预设固定时间范围内的输入三维张量进行拼接得到四维张量作为车辆行为预测模型的完整输入。
由于车辆行为预测问题属于复杂的高维时间预测问题,即目标车辆的运动轨迹是在空间上随着时间的变化产生动作,因此本实施例采用“分而治之”的方法解决该问题,即分别对数据从时间维度和空间维度进行建模,最后将各个模型输出的中间变量进行融合得到精准的预测结果。
本实施例提出的车辆行为预测模型如图3所示,共包含两个分支,其中,上面的分支为时间维度特征提取部分,其主要作用是以较快的速度完成对输出数据的特征提取,在模型优化阶段能够快速地为其参数提供明确地优化方向。在该分支中,数据通过1D卷积在时间维度进行特征提取,并得到精简表示的特征图,这一过程在深度学习领域又被称为组卷积。该分支的输出是通过残差网络对精简特征图拼接得到的张量进行特征提取完成的。
下面的分支的主要功能是完成对预测目标在时间维度的特征拟合,需要较大的计算量。在该分支中,输入数据在进入残差网络之前并未进行压缩处理,而是通过传统的卷积操作对其数据时空依赖关系进行充分的特征提取,该操作的目的是实现对模型的精准优化。最终的模型输出是通过融合上述两个分支的输出特征图得到的。
在处理模型预测模块时,本申请通过对原始数据的标记信息进行聚类处理得到一系列的先验目标数据,进一步为模型的优化提供精确的方向。在每个网格内,模型分别输出7个预测值,即c,x,y,w,h,hx,hy,分别代表检测目标的类别、中心点位置、长宽信息以及运动航向角。为了得到归一化的结果,本发明使用sin函数和cos函数表示其角度的正弦和余弦(表示为hx,hy)。模型的损失函数为:
L=lcla+lreg
lreg的输入参数可以通过以下公式计算得出:
lx=x-xgt/wgt,ly=y-ygt/hgt,
lw=logw/wgt,lh=logh/hgt,
asin=sin(θgt),acos=cos(θgt)。
本实施例的技术方案,通过构建多任务深度学习模型,将检测、跟踪以及行为预测并行处理,在保证预测精度的同时减少了计算资源的消耗。此外,还对输入数据进行压缩处理,进一步提升了模型的计算速度,为无人驾驶领域中的车辆行为预测提供了一种新思路。
实施例四
图4是本发明实施例四所提供的一种车辆行为预测装置的结构示意图,该装置适用于执行本发明实施例提供的车辆行为预测方法,可以实现检测、跟踪以及行为预测的并行处理,在保证预测精度的同时减少计算资源的消耗。如图4所示,该装置包括数据获取模块410、空间特征提取模块420、压缩张量确定模块430、特征图获取模块440、特征图融合模块450、融合特征确定模块460和状态预测模块470。
其中,数据获取模块410,用于获取车载传感器采集的三维点云数据;
空间特征提取模块420,基于车辆行为预测模型,在空间维度上提取空间维度特征;
压缩张量确定模块430,用于基于车辆行为预测模型,根据三维点云数据,确定压缩四维张量;
特征图获取模块440,用于通过对压缩四维张量进行组卷积,在时间维度上进行特征提取,得到精简特征图;
特征图融合模块450,用于根据精简特征图,对组卷积层结果进行融合,确定时间维度特征;
融合特征确定模块460,用于将空间维度特征和时间维度特征进行融合,得到融合特征;
状态预测模块470,用于根据融合特征,预测三维点云数据中车辆的运动状态;
其中,车辆行为预测模型基于多任务的深度卷积神经网络训练得到。
本实施例的技术方案,通过获取车载传感器采集的三维点云数据;基于车辆行为预测模型,在空间维度上提取空间维度特征;基于车辆行为预测模型,根据三维点云数据,确定压缩四维张量;通过对压缩四维张量进行组卷积,在时间维度上进行特征提取,得到精简特征图;根据精简特征图,对组卷积层结果进行融合,确定时间维度特征;将空间维度特征和时间维度特征进行融合,得到融合特征;根据融合特征,预测三维点云数据中车辆的运动状态;其中,车辆行为预测模型基于多任务的深度卷积神经网络训练得到。通过本申请的技术方案,将检测、跟踪以及行为预测并行处理,在保证预测精度的同时减少了计算资源的消耗,并对输入数据进行压缩处理,提升了车辆行为预测模型的计算速度。
优选的,上述压缩张量确定模块430,包括:高度编码单元和压缩拼接单元;其中,高度编码单元,用于将三维点云数据中的高度信息进行编码,生成压缩三维张量;压缩拼接单元,用于将预设固定时间范围内的压缩三维张量进行拼接,得到压缩四维张量。
优选的,上述空间特征提取模块420,包括:三维拼接单元和空间特征提取单元;其中,三维拼接单元,用于将预设固定时间范围内的三维点云数据进行拼接,生成精准四维张量;空间特征提取单元,用于通过对精准四维张量进行全卷积,在空间维度上进行特征提取,确定空间维度特征。
优选的,装置还包括:量化编码模块,用于获取车载传感器采集的三维点云数据之后,基于三维体素网格,对三维点云数据进行量化,得到量化点云数据;对量化点云数据进行二值化编码。
优选的,对量化点云数据进行二值化编码,包括:若网格内存在量化点云数据且量化点云数据的取值大于零,则编码为第一数值;否则,编码为第二数值;所述第一数值大于第二数值。
优选的,上述车辆的运动状态包括如下至少一项:中心点位置、长宽信息和运动航向角。
本发明实施例所提供的车辆行为预测装置可执行本发明任意实施例所提供的车辆行为预测方法,具备执行方法相应的功能模块和有益效果。
实施例五
图5为本发明实施例五提供的一种电子设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图5显示的电子设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,***存储器28,连接不同***组件(包括***存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,***总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
电子设备12典型地包括多种计算机***可读介质。这些介质可以是任何能够被电子设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
***存储器28可以包括易失性存储器形式的计算机***可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例,存储***34可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。***存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如***存储器28中,这样的程序模块42包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该电子设备12交互的设备通信,和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与电子设备12的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理单元16通过运行存储在***存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的车辆行为预测方法。
实施例六
本发明实施例六还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请任意发明实施例提供的车辆行为预测方法。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种车辆行为预测方法,其特征在于,所述方法包括:
获取车载传感器采集的三维点云数据;
基于车辆行为预测模型,在空间维度上提取空间维度特征;
基于车辆行为预测模型,将所述三维点云数据中的高度信息进行编码,生成压缩三维张量;
将预设固定时间范围内的所述压缩三维张量进行拼接,得到压缩四维张量;
通过对所述压缩四维张量进行组卷积,在时间维度上进行特征提取,得到精简特征图;
根据所述精简特征图,对组卷积层结果进行融合,确定时间维度特征;
将所述空间维度特征和所述时间维度特征进行融合,得到融合特征;
根据所述融合特征,预测所述三维点云数据中车辆的运动状态;
其中,所述车辆行为预测模型基于多任务的深度卷积神经网络训练得到。
2.根据权利要求1所述的方法,其特征在于,在空间维度上提取空间维度特征,包括:
将预设固定时间范围内的所述三维点云数据进行拼接,生成精准四维张量;
通过对所述精准四维张量进行全卷积,在空间维度上进行特征提取,确定空间维度特征。
3.根据权利要求1所述的方法,其特征在于,获取车载传感器采集的三维点云数据之后,还包括:
基于三维体素网格,对所述三维点云数据进行量化,得到量化点云数据;
对所述量化点云数据进行二值化编码。
4.根据权利要求3所述的方法,其特征在于,对所述量化点云数据进行二值化编码,包括:
若网格内存在量化点云数据且所述量化点云数据的取值大于零,则编码为第一数值;否则,编码为第二数值;所述第一数值大于所述第二数值。
5.根据权利要求1所述的方法,其特征在于,所述车辆的运动状态包括如下至少一项:中心点位置、长宽信息和运动航向角。
6.一种车辆行为预测装置,其特征在于,所述装置包括:
数据获取模块,用于获取车载传感器采集的三维点云数据;
空间特征提取模块,基于车辆行为预测模型,在空间维度上提取空间维度特征;
压缩张量确定模块,用于基于车辆行为预测模型,将所述三维点云数据中的高度信息进行编码,生成压缩三维张量;
将预设固定时间范围内的所述压缩三维张量进行拼接,得到压缩四维张量;
特征图获取模块,用于通过对所述压缩四维张量进行组卷积,在时间维度上进行特征提取,得到精简特征图;
特征图融合模块,用于根据所述精简特征图,对组卷积层结果进行融合,确定时间维度特征;
融合特征确定模块,用于将所述空间维度特征和所述时间维度特征进行融合,得到融合特征;
状态预测模块,用于根据所述融合特征,预测所述三维点云数据中车辆的运动状态;
其中,所述车辆行为预测模型基于多任务的深度卷积神经网络训练得到。
7.根据权利要求6所述的装置,其特征在于,还包括:
量化编码模块,用于基于三维体素网格,对所述三维点云数据进行量化,得到量化点云数据;对所述量化点云数据进行二值化编码。
8.一种电子设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的车辆行为预测方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一所述的车辆行为预测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110820868.6A CN113537602B (zh) | 2021-07-20 | 2021-07-20 | 车辆行为预测方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110820868.6A CN113537602B (zh) | 2021-07-20 | 2021-07-20 | 车辆行为预测方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113537602A CN113537602A (zh) | 2021-10-22 |
CN113537602B true CN113537602B (zh) | 2022-12-02 |
Family
ID=78100507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110820868.6A Active CN113537602B (zh) | 2021-07-20 | 2021-07-20 | 车辆行为预测方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113537602B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110210664A (zh) * | 2019-05-29 | 2019-09-06 | 东南大学 | 多个个体车辆使用行为短时预测的深度学习方法 |
CN111027401A (zh) * | 2019-11-15 | 2020-04-17 | 电子科技大学 | 一种摄像头和激光雷达融合的端到端目标检测方法 |
EP3712802A1 (en) * | 2019-03-19 | 2020-09-23 | Robert Bosch GmbH | Method for representing an environment of a mobile platform |
CN112212872A (zh) * | 2020-10-19 | 2021-01-12 | 合肥工业大学 | 基于激光雷达和导航地图的端到端自动驾驶方法及*** |
CN112818756A (zh) * | 2021-01-13 | 2021-05-18 | 上海西井信息科技有限公司 | 目标检测方法、***、设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109284855B (zh) * | 2018-07-25 | 2021-10-29 | 同济大学 | 基于城市场景中车联网时空数据分析的车辆节点之间连通强度的预测度量模型 |
US10706329B2 (en) * | 2018-11-13 | 2020-07-07 | CurieAI, Inc. | Methods for explainability of deep-learning models |
CN112212874B (zh) * | 2020-11-09 | 2022-09-16 | 福建牧月科技有限公司 | 车辆轨迹预测方法、装置、电子设备及计算机可读介质 |
-
2021
- 2021-07-20 CN CN202110820868.6A patent/CN113537602B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3712802A1 (en) * | 2019-03-19 | 2020-09-23 | Robert Bosch GmbH | Method for representing an environment of a mobile platform |
CN110210664A (zh) * | 2019-05-29 | 2019-09-06 | 东南大学 | 多个个体车辆使用行为短时预测的深度学习方法 |
CN111027401A (zh) * | 2019-11-15 | 2020-04-17 | 电子科技大学 | 一种摄像头和激光雷达融合的端到端目标检测方法 |
CN112212872A (zh) * | 2020-10-19 | 2021-01-12 | 合肥工业大学 | 基于激光雷达和导航地图的端到端自动驾驶方法及*** |
CN112818756A (zh) * | 2021-01-13 | 2021-05-18 | 上海西井信息科技有限公司 | 目标检测方法、***、设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
"Fast and Furious: Real Time End-to-End 3D Detection, Tracking and Motion Forecasting with a Single Convolutional Net";Luo W 等;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20180630;第1-9页 * |
"面向无人驾驶的彩色点云目标快速标注与检测算法";李璐;《中国优秀硕士学位论文全文数据库(工程科技Ⅱ辑)》;20210215(第2期);第C035-437页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113537602A (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113657390B (zh) | 文本检测模型的训练方法和检测文本方法、装置和设备 | |
CN111145076B (zh) | 数据并行化处理方法、***、设备及存储介质 | |
CN114580263A (zh) | 基于知识图谱的信息***故障预测方法及相关设备 | |
EP4318313A1 (en) | Data processing method, training method for neural network model, and apparatus | |
CN113537070A (zh) | 一种检测方法、装置、电子设备及存储介质 | |
CN115147598A (zh) | 目标检测分割方法、装置、智能终端及存储介质 | |
CN113887615A (zh) | 图像处理方法、装置、设备和介质 | |
CN113762508A (zh) | 一种图像分类网络模型的训练方法、装置、设备和介质 | |
CN116258859A (zh) | 语义分割方法、装置、电子设备及存储介质 | |
CN114170575A (zh) | 一种火焰识别方法、装置、电子设备及存储介质 | |
CN114021080A (zh) | 轨迹预测模型训练以及轨迹预测方法、装置、设备及介质 | |
CN113627298A (zh) | 目标检测模型的训练方法及检测目标对象的方法、装置 | |
CN117634563A (zh) | 一种层序列提取实现方法、***及存储介质 | |
CN112906652A (zh) | 一种人脸图像的识别方法、装置、电子设备及存储介质 | |
CN110852261B (zh) | 目标检测方法、装置、电子设备和可读存储介质 | |
CN113537602B (zh) | 车辆行为预测方法、装置、设备及介质 | |
CN117132964A (zh) | 模型训练方法、点云编码方法、对象处理方法及装置 | |
US20230162474A1 (en) | Method of processing image, method of training model, and electronic device | |
CN116844129A (zh) | 多模态特征对齐融合的路侧目标检测方法、***及装置 | |
US20230027813A1 (en) | Object detecting method, electronic device and storage medium | |
CN113706705B (zh) | 用于高精地图的图像处理方法、装置、设备以及存储介质 | |
CN116777814A (zh) | 图像处理方法、装置、计算机设备、存储介质及程序产品 | |
CN114297022A (zh) | 云环境异常检测方法、装置、电子设备和存储介质 | |
CN110705695A (zh) | 搜索模型结构的方法、装置、设备和存储介质 | |
Zhou et al. | FENet: Fast Real-time Semantic Edge Detection Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |