CN115273460A - 多模感知融合的车辆变道预测方法、计算机设备及存储介质 - Google Patents

多模感知融合的车辆变道预测方法、计算机设备及存储介质 Download PDF

Info

Publication number
CN115273460A
CN115273460A CN202210742575.5A CN202210742575A CN115273460A CN 115273460 A CN115273460 A CN 115273460A CN 202210742575 A CN202210742575 A CN 202210742575A CN 115273460 A CN115273460 A CN 115273460A
Authority
CN
China
Prior art keywords
lane change
vehicle
change prediction
target vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210742575.5A
Other languages
English (en)
Inventor
李开兴
梁斯硕
陆思宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202210742575.5A priority Critical patent/CN115273460A/zh
Publication of CN115273460A publication Critical patent/CN115273460A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了多模感知融合的车辆变道预测方法、计算机设备及存储介质，该预测方法包括以下步骤：S1：同步获取目标车辆的特征信息和本车前视摄像头采集的序列图像；S2：将序列图像输入图像特征提取网络中，从而获得序列图像的图像特征；S3：将目标车辆的特征信息和S2得到的图像特征进行拼接，然后输入基于注意力机制的特征融合网络中，从而得到融合后特征；S4：将融合后特征输入预先训练好的变道预测模型中，从而得到目标车辆的变道意图。该预测方法使用注意力机制方法进行特征融合，能有效提高车辆变道预测的准确性。

Description

多模感知融合的车辆变道预测方法、计算机设备及存储介质
技术领域
本发明属于自动驾驶技术领域，具体涉及多模感知融合的车辆变道预测方法、计算机设备及存储介质。
背景技术
随着近年来汽车消费量的大幅增加，我国2021的汽车保有量达到3.02亿，汽车给生活带来便利的同时，也增加了交通事故的隐患，“加塞”是交通事故重要的因素之一。准确的预测周围车辆切入本车所在车道意图，提前给驾驶员发出预警信号，将有效的降低交通事故发生的概率。
中国CN201910984614.0提出了一种车辆变道意图预测方法，该方法包括：将多种类型的车辆行驶信息输入变道意图预测网络；其中，变道意图预测网络包括与多种类型一一对应的多个子网络，变道意图预测网络用于对行驶状态下的车辆的变道意图进行预测；通过子网络分 别对各车辆行驶信息进行特征提取，输出特征提取结果；将各子网络输出的特征提取结果进行特征融合，并根据特征融合结果预测车辆变道意图。本公开中的方法能够在一定程度上解决了车辆变道意图的预测问题，提升了车辆变道意图预测准确率。但是该方法存在以下不足：1、使用了路网信息，路网信息较为复杂且多变，且更新存在不及时的问题，从而影响车辆变道意图预测的准确性；2、未使用原始视觉图像信息，影响预测准确性。
发明内容
针对现有技术存在的上述不足，本发明的目的就在于提供多模感知融合的车辆变道预测方法、计算机设备及存储介质，该预测方法使用注意力机制方法进行特征融合，能有效提高车辆变道预测的准确性。
本发明的技术方案是这样实现的：
一种多模感知融合的车辆变道预测方法，包括以下步骤：
S1：同步获取目标车辆的特征信息和本车前视摄像头采集的序列图像；
S2：将序列图像输入图像特征提取网络中，从而获得序列图像的图像特征；
S3：将目标车辆的特征信息和S2得到的图像特征进行拼接，然后输入基于注意力机制的特征融合网络中，从而得到融合后特征；
S4：将融合后特征输入预先训练好的变道预测模型中，从而得到目标车辆的变道意图。
进一步地，若S1中采集序列图像和目标车辆特征信息的时间轴不同步，则先对采集序列图像和目标车辆特征信息的采样时间进行同步处理，使得序列图像和目标车辆特征信息的采样周期一致，然后再进行重采样。
进一步地，所述特征信息包括目标车辆相对本车的横向速度、纵向速度、横向加速度和纵向加速度。
进一步地，所述目标车辆的特征信息通过本车的多传感器采集。
进一步地，所述多传感器包括毫米波雷达、激光雷达和超声波雷达。
进一步地，所述图像特征提取网络为深度残差网络ResNet50。
进一步地，所述变道预测模型基于LSTM变道预测算法构建得到。
本发明提供了一种电子设备，包括处理器和存储器，所述存储器用于存储处理器的可执行指令；所述处理器用于执行前面所述的一种多模感知融合的车辆变道预测方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前面所述的一种多模感知融合的车辆变道预测方法。
与现有技术相比，本发明具有如下有益效果：
1、本发明将目标车辆的图像特征和特征信息进行融合得到融合后特征，再基于融合后特征进行变道预测，可以有效提高变道预测的准确性，且能避免因路网信息较为复杂且多变以及未及时更新导致变道预测失误的可能。
2、本发明保证序列图像和目标车辆特征信息的采样周期一致，然后再进行重采样，从而保证车辆变道预测的实时性和准确性。
附图说明
图1-本发明的流程示意图。
图2-特征融合网络的结构示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细说明。
一种多模感知融合的车辆变道预测方法，其流程如图1所示，具体包括以下步骤：
S1：同步获取目标车辆的特征信息和本车前视摄像头采集的序列图像；
S2：将序列图像输入图像特征提取网络中，从而获得序列图像的图像特征；
S3：将目标车辆的特征信息和S2得到的图像特征进行拼接，然后输入基于注意力机制的特征融合网络中，从而得到融合后特征；
S4：将融合后特征输入预先训练好的变道预测模型中，从而得到目标车辆的变道意图。
这里的目标车辆为位于本车前方左右车道的车辆，它们具有变道至本车前方造成安全事故的可能，所以对其变道意图进行预测，可以有效降低事故发生的可能性，提高自动驾驶的安全性。
这里，在车辆行驶过程中，在同一采样时间同时获取目标车辆的特征信息和本车前视摄像头采集的序列图像，并将目标车辆的图像特征和特征信息进行融合得到融合后特征，再基于融合后特征进行变道预测，可以有效提高变道预测的准确性，且能避免因路网信息较为复杂且多变以及未及时更新导致预测失误的可能。
将目标车辆的特征信息和图像特征拼接后，然后进行特征融合时，在特征融合网络（其特征融合网络的结构示意图如图2所示）中输入原始X的三个特征向量（Q特征向量、K特征向量和V特征向量），然后就可以得融合后特征Y，再通过变道预测模型进行预测，即可预测目标车辆的变道意图。
具体实施时，若S1中采集序列图像和目标车辆特征信息的时间轴不同步，则先对采集序列图像和目标车辆特征信息的采样时间进行同步处理，使得序列图像和目标车辆特征信息的采样周期一致，然后再进行重采样。
因序列图像和目标车辆特征信息的采样时间可能不一致，比如序列图像是100ms采集一帧，而目标车辆特征信息缺是50ms才采集一次，那么在时间点上没有对齐，这样若干进行预测，无法保证车辆变道预测的实时性和准确性。所以基于此，需要进行同步处理，保证列图像和目标车辆信息特征采样周期的一致性，进而保证车辆变道预测的实时性和准确性。
具体实施时，所述特征信息包括目标车辆相对本车的横向速度、纵向速度、横向加速度和纵向加速度。
具体实施时，所述目标车辆的特征信息通过本车的多传感器采集。
具体实施时，所述多传感器包括毫米波雷达、激光雷达和超声波雷达。
如此，相当于利用本车车载前视摄像头获取序列图像，利用车载毫米波雷达、激光雷达和超声波雷达等多传感器获取目标车辆的特征信息，从而就可以实现对目标车辆的变道意图进行预测可进一步地提高变道意图预测准确性。
具体实施时，所述图像特征提取网络为深度残差网络ResNet50。
具体实施时，所述变道预测模型基于LSTM变道预测算法构建得到。
一种电子设备，包括处理器和存储器，所述存储器用于存储处理器的可执行指令；所述处理器用于执行如前面所述的一种多模感知融合的车辆变道预测方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前面所述的一种多模感知融合的车辆变道预测方法。
最后需要说明的是，本发明的上述实施例仅是为说明本发明所作的举例，而并非是对本发明实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化和变动。这里无法对所有的实施方式予以穷举。凡是属于本发明的技术方案所引申出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (9)

1.一种多模感知融合的车辆变道预测方法，其特征在于，包括以下步骤：
S1：同步获取目标车辆的特征信息和本车前视摄像头采集的序列图像；
S2：将序列图像输入图像特征提取网络中，从而获得序列图像的图像特征；
S3：将目标车辆的特征信息和S2得到的图像特征进行拼接，然后输入基于注意力机制的特征融合网络中，从而得到融合后特征；
S4：将融合后特征输入预先训练好的变道预测模型中，从而得到目标车辆的变道意图。
2.根据权利要求1所述的一种多模感知融合的车辆变道预测方法，其特征在于，若S1中采集序列图像和目标车辆特征信息的时间轴不同步，则先对采集序列图像和目标车辆特征信息的采样时间进行同步处理，使得序列图像和目标车辆特征信息的采样周期一致，然后再进行重采样。
3.根据权利要求1所述的一种多模感知融合的车辆变道预测方法，其特征在于，所述特征信息包括目标车辆相对本车的横向速度、纵向速度、横向加速度和纵向加速度。
4.根据权利要求1或3所述的一种多模感知融合的车辆变道预测方法，其特征在于，所述目标车辆的特征信息通过本车的多传感器采集。
5.根据权利要求4所述的一种多模感知融合的车辆变道预测方法，其特征在于，所述多传感器包括毫米波雷达、激光雷达和超声波雷达。
6.根据权利要求1所述的一种多模感知融合的车辆变道预测方法，其特征在于，所述图像特征提取网络为深度残差网络ResNet50。
7.根据权利要求1所述的一种多模感知融合的车辆变道预测方法，其特征在于，所述变道预测模型基于LSTM变道预测算法构建得到。
8.一种电子设备，其特征在于，包括处理器和存储器，所述存储器用于存储处理器的可执行指令；所述处理器用于执行如权利要求1~7中任一项所述的一种多模感知融合的车辆变道预测方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1~7中任一项所述的一种多模感知融合的车辆变道预测方法。
CN202210742575.5A 2022-06-28 2022-06-28 多模感知融合的车辆变道预测方法、计算机设备及存储介质 Withdrawn CN115273460A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210742575.5A CN115273460A (zh) 2022-06-28 2022-06-28 多模感知融合的车辆变道预测方法、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210742575.5A CN115273460A (zh) 2022-06-28 2022-06-28 多模感知融合的车辆变道预测方法、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN115273460A true CN115273460A (zh) 2022-11-01

Family

ID=83763658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210742575.5A Withdrawn CN115273460A (zh) 2022-06-28 2022-06-28 多模感知融合的车辆变道预测方法、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN115273460A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050213794A1 (en) * 2004-03-26 2005-09-29 Omron Corporation Vehicle detection apparatus and method
CN107042824A (zh) * 2015-10-23 2017-08-15 哈曼国际工业有限公司 用于检测车辆中的意外事件的***和方法
CN110949395A (zh) * 2019-11-15 2020-04-03 江苏大学 一种基于多传感器融合的弯道acc目标车辆识别方法
CN111950467A (zh) * 2020-08-14 2020-11-17 清华大学 基于注意力机制的融合网络车道线检测方法及终端设备
CN112130153A (zh) * 2020-09-23 2020-12-25 的卢技术有限公司 基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法
CN112614373A (zh) * 2020-12-29 2021-04-06 厦门大学 一种基于BiLSTM周车换道意图预测方法
CN112801928A (zh) * 2021-03-16 2021-05-14 昆明理工大学 一种基于注意力机制的毫米波雷达与视觉传感器融合方法
CN113065590A (zh) * 2021-03-26 2021-07-02 清华大学 一种基于注意力机制的视觉与激光雷达多模态数据融合方法
CN113449650A (zh) * 2021-06-30 2021-09-28 南京航空航天大学 一种车道线检测***及方法
CN114298142A (zh) * 2021-11-22 2022-04-08 理工雷科智途(泰安)汽车科技有限公司 一种相机和毫米波雷达的多源异构传感器信息融合方法及装置
CN114332494A (zh) * 2021-12-22 2022-04-12 北京邮电大学 车路协同场景下基于多源融合的三维目标检测与识别方法
CN114590275A (zh) * 2022-03-30 2022-06-07 重庆长安汽车股份有限公司 一种基于复合模型的车辆换道意图的预测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050213794A1 (en) * 2004-03-26 2005-09-29 Omron Corporation Vehicle detection apparatus and method
CN107042824A (zh) * 2015-10-23 2017-08-15 哈曼国际工业有限公司 用于检测车辆中的意外事件的***和方法
CN110949395A (zh) * 2019-11-15 2020-04-03 江苏大学 一种基于多传感器融合的弯道acc目标车辆识别方法
CN111950467A (zh) * 2020-08-14 2020-11-17 清华大学 基于注意力机制的融合网络车道线检测方法及终端设备
CN112130153A (zh) * 2020-09-23 2020-12-25 的卢技术有限公司 基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法
CN112614373A (zh) * 2020-12-29 2021-04-06 厦门大学 一种基于BiLSTM周车换道意图预测方法
CN112801928A (zh) * 2021-03-16 2021-05-14 昆明理工大学 一种基于注意力机制的毫米波雷达与视觉传感器融合方法
CN113065590A (zh) * 2021-03-26 2021-07-02 清华大学 一种基于注意力机制的视觉与激光雷达多模态数据融合方法
CN113449650A (zh) * 2021-06-30 2021-09-28 南京航空航天大学 一种车道线检测***及方法
CN114298142A (zh) * 2021-11-22 2022-04-08 理工雷科智途(泰安)汽车科技有限公司 一种相机和毫米波雷达的多源异构传感器信息融合方法及装置
CN114332494A (zh) * 2021-12-22 2022-04-12 北京邮电大学 车路协同场景下基于多源融合的三维目标检测与识别方法
CN114590275A (zh) * 2022-03-30 2022-06-07 重庆长安汽车股份有限公司 一种基于复合模型的车辆换道意图的预测方法

Similar Documents

Publication Publication Date Title
CN111626208A (zh) 用于检测小目标的方法和装置
CN113734203B (zh) 一种智能驾驶的控制方法、装置、***及存储介质
CN112307978B (zh) 目标检测方法、装置、电子设备及可读存储介质
CN111649740B (zh) 一种基于imu进行车辆高精度定位的方法及***
CN111527013A (zh) 车辆变道预测
CN112373474B (zh) 车道线融合及横向控制方法、***、车辆及存储介质
CN111627057B (zh) 一种距离测量方法、装置及服务器
CN113158349A (zh) 车辆换道仿真方法、装置、电子设备及存储介质
CN110647801A (zh) 设置感兴趣区域的方法、装置、存储介质及电子设备
CN111845787A (zh) 一种基于lstm的换道意图预测方法
CN109946688A (zh) 换道场景数据提取方法、装置和服务器
CN115523934A (zh) 一种基于深度学习的车辆轨迹预测方法及***
US20240246575A1 (en) Autonomous driving method
CN115273460A (zh) 多模感知融合的车辆变道预测方法、计算机设备及存储介质
US20200369268A1 (en) Vehicles and systems for predicting road agent behavior based on driving style
US20220358620A1 (en) Remote assistance system and remote assistance method
CN116343148A (zh) 车道线检测方法、装置、车辆及存储介质
CN114394111B (zh) 用于自动驾驶车辆的变道方法
CN115169477A (zh) 辅助驾驶***的安全感评估方法、装置、设备及存储介质
CN112434588A (zh) 一种端到端驾驶员高速道路换道意图的推理方法
CN114008682A (zh) 用于标识对象的方法和***
CN114043993B (zh) 一种适用于智能驾驶车辆的关键目标选择方法及装置
CN112419717B (zh) 目标管理方法、装置、车辆及存储介质
CN115107765B (zh) 车辆限速方法、装置、车辆及存储介质
CN116279538A (zh) 一种辅助车辆驾驶的可视化方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20221101

WW01 Invention patent application withdrawn after publication