CN111002980B - 基于深度学习的道路障碍物轨迹预测方法和*** - Google Patents

基于深度学习的道路障碍物轨迹预测方法和*** Download PDF

Info

Publication number
CN111002980B
CN111002980B CN201911260123.8A CN201911260123A CN111002980B CN 111002980 B CN111002980 B CN 111002980B CN 201911260123 A CN201911260123 A CN 201911260123A CN 111002980 B CN111002980 B CN 111002980B
Authority
CN
China
Prior art keywords
vehicle
information
obstacle
image
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911260123.8A
Other languages
English (en)
Other versions
CN111002980A (zh
Inventor
吴宗泽
杨帆
邢千里
赵琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhijia Technology Co Ltd
Original Assignee
Suzhou Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhijia Technology Co Ltd filed Critical Suzhou Zhijia Technology Co Ltd
Priority to CN201911260123.8A priority Critical patent/CN111002980B/zh
Publication of CN111002980A publication Critical patent/CN111002980A/zh
Application granted granted Critical
Publication of CN111002980B publication Critical patent/CN111002980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种基于深度学习的道路障碍物的轨迹预测方法，该方法包括以下步骤：采集车辆信息、车辆周围的障碍物信息及道路信息；将车辆信息、车辆周围的障碍物信息及道路信息转换至Frenet坐标系中，在该Frenet坐标系中设置记录缓存；将所述车辆信息、道路信息以及缓存处理后的车辆周围的障碍物信息添加至数据库中获得图像训练数据集；将所述图像训练数据集中的样本输入深度神经网络模型中，生成障碍物轨迹预测模型；利用该预测模型预测车辆周围的障碍物的运动轨迹。本发明采集到的训练样本更为真实，可基于道路状况不断变化的障碍物信息预测出车辆周围障碍物的运动轨迹更为准确；另外，本发明获得的障碍物轨迹预测模型不再单一。

Description

基于深度学习的道路障碍物轨迹预测方法和***
技术领域
本发明属于车辆技术领域,具体涉及一种基于深度学习的道路障碍物轨迹预测方法和***。
背景技术
近一个多世纪来，汽车的出现取代了传统交通运输方式，使得人们的生活更为便捷。近些年来，随着科技的发展，尤其是智能计算的飞速发展，自动驾驶汽车技术研究成为各行业聚焦的热点。麦肯锡发布的“决定未来经济的12项前沿技术”报告探讨了12项前沿技术对未来经济、社会的影响程度，分析估测了2025年12项技术各自的经济与社会影响力，其中自动驾驶汽车技术排在第6位，其2025年影响力估测为：经济效益每年约0.2-1.9万亿美元，社会效益每年可挽回3-15万个生命。
通常，自动驾驶车辆的***一般分为感知、定位、预测、规划、执行五个模块。其中，感知是对车辆周围环境进行识别、认知；定位是对车辆自身位置的判断；预测是对车辆自身运动或其他障碍物运动轨迹的推算；规划是测量对车辆行驶路径进行决策；执行是实现对车辆横、纵向的控制。
在现有的障碍物行驶轨迹的预测方案中，一般是依照各个障碍物的位置、速度、姿态进行障碍物的轨迹预测，首先，预测出障碍物的意图倾向(如：车辆是否会进行变道、是否会继续在此车道直行)；然后，利用障碍物在高精地图中的位置进行对车辆轨迹进行预测；再次，利用不同的多项式方程拟和预测出障碍物轨迹，最终获得障碍物行驶轨迹；但此方式中在对每个障碍物的运动意图进行预测时，尚未有效地将其他车辆的意图或位置考虑进去，甚至在利用高精地图时，会让车辆按照固定的规则在车道中心行驶。
除此之外，也有些技术方案会使用强化学习方式，首先，利用同一个车辆模型对所有仿真训练***中的车辆进行模拟；然后，规定不同的奖励和惩罚方程，并利用车辆模型学习获得一个能在多个个体仿真***中进行行驶的车辆模型；然而，该方法的缺点是：难以设定出上述的奖励和惩罚方程且训练耗时；另外，训练后获得的模型也不是一个多元行为的模型，从而使得仿真***中的各个车辆模型过度单一化。
综上，上述两种障碍物轨迹预测方法都无法更好地预测障碍物的轨迹，从而使自动驾驶车辆的仿真***无法模拟出真实路况。
发明内容
本发明提供一种基于深度学习的道路障碍物轨迹预测方法和***，以解决现有技术中的至少一个技术问题。
第一方面，本发明实施例提供一种基于深度学习的道路障碍物轨迹预测方法，该方法包括以下步骤：
采集车辆信息、车辆周围的障碍物信息及道路信息；
将车辆信息、车辆周围的障碍物信息及道路信息转换至Frenet坐标系中，在该Frenet坐标系中设置记录缓存，所述记录缓存用于对车辆周围的障碍物的位置信息进行缓存处理以使车辆周围的障碍物在不同时刻的标识序号一致；
将所述车辆信息、道路信息以及缓存处理后的车辆周围的障碍物信息添加至数据库中获得图像训练数据集；
将所述图像训练数据集中的样本输入深度神经网络模型中，生成障碍物轨迹预测模型；
利用所述障碍物轨迹预测模型预测车辆周围的障碍物的运动轨迹。
进一步的，根据所述车辆周围的障碍物的运动轨迹对车辆的行驶路径进行规划以生成规划信息。
进一步的，所述对车辆的行驶路径进行规划后，利用规划信息对车辆的行进方向进行控制。
进一步的，所述图像训练数据集是通过以下子步骤获得的：
采集车辆的第一信息、车辆周围的障碍物的第一信息及第一道路信息；
将车辆的第一信息、车辆周围的障碍物的第一信息及第一道路信息转换至车辆的IMU坐标系中获得车辆的第二信息、车辆周围的障碍物的第二信息及第二道路信息；
在预设的时间范围内，分别对车辆的第二信息、车辆周围的障碍物的第二信息进行采样获得采样信息；
将所述采样信息及第二道路信息转换至Frenet坐标系中，在该Frenet坐标系中设置所述记录缓存，所述记录缓存对车辆周围的障碍物的位置信息进行缓存处理得到所述缓存处理后的车辆周围的障碍物信息；
将Frenet坐标系中的车辆信息、道路信息及缓存处理后的车辆周围的障碍物信息添加至数据库中获得所述图像训练数据集。
进一步的，所述生成障碍物轨迹预测模型包括以下子步骤：
将所述图像训练数据集中的样本输入深度神经网络模型中，利用该深度神经网络模型提取图像训练数据集中的样本的图像特征；
对所述图像训练数据集中的样本的图像特征进行压缩，获得图像特征阵列；
对所述图像特征阵列进行解码以获得障碍物轨迹预测图像信息，基于所述障碍物轨迹预测图像信息生成障碍物轨迹预测模型。
进一步的，所述深度神经网络模型包括卷积层、残差网络层和反卷积网络层；
将所述图像训练数据集中的样本输入卷积层获得所述图像训练数据集中的样本的图像特征；
将所述图像特征输入该残差网络层进行压缩获得图像特征阵列；
将所述图像特征阵列输入反卷积网络层获得所述障碍物轨迹预测模型。
进一步的，所述卷积层包括三层卷积神经网络层，相邻的卷积神经网络层之间包括随机失活层；其中，每一个卷积神经网络层使用渗漏线性整流函数；
所述残差网络层包括五层残差网络层，每个残差网络层依次设置为卷积神经网络层-随机失活层-卷积神经网络层-随机失活层；其中，残差网络层中的每一个卷积神经网络层使用渗漏线性整流函数；
所述反卷积网络层包括三层反卷积；其中，每一个反卷积网络层使用线性整流函数。
进一步的，所述生成障碍物轨迹预测模型还包括以下子步骤：
对所述障碍物轨迹预测图像信息进行梯度优化，以生成优化后的障碍物轨迹预测模型。
进一步的，在获得所述障碍物轨迹预测模型后，清除深度神经网络模型的输出数据中的道路信息和车辆信息。
第二方面，本发明实施例提供一种基于深度学习的道路障碍物轨迹预测***，该***包括采集模块、转换模块、添加模块、生成模块和预测模块；
所述采集模块用于采集车辆信息、车辆周围的障碍物信息及道路信息；
所述转换模块用于执行以下操作：
将车辆信息、车辆周围的障碍物信息及道路信息转换至Frenet坐标系中，在该Frenet坐标系中设置记录缓存，所述记录缓存用于对车辆周围的障碍物的位置信息进行缓存处理以使车辆周围的障碍物在不同时刻的标识序号一致；
所述添加模块用于将所述车辆信息、道路信息以及缓存处理后的车辆周围的障碍物信息添加至数据库中获得图像训练数据集；
所述生成模块将所述图像训练数据集中的样本输入深度神经网络模型中，生成障碍物轨迹预测模型；
所述预测模块利用所述障碍物轨迹预测模型预测车辆周围的障碍物的运动轨迹。
本发明中的基于深度学习的道路障碍物轨迹预测方法和***，由于考虑了车辆周围的障碍物信息和道路信息，比起现有技术中人为地选取障碍物特征，本发明采集到的训练样本更为真实；
并且将采集到的训练样本输入深度神经网络模型可以基于道路状况不断变化的障碍物信息而学习得到该障碍物轨迹预测模型，从而预测出车辆周围障碍物在未来N秒内的运动轨迹，并且仿真***使车辆周围的障碍物沿着该预测轨迹进行行驶，并逐渐迭代测试最终获得障碍物轨迹预测模型，因此本发明的训练学习方法获得的障碍物轨迹预测模型不再单一。
附图说明
图1为本发明的实施例提供的一种基于深度学习道路障碍物轨迹预测方法的流程示意图；
图2为Frenet坐标系的示意图；
图3A为本发明的实施例提供的深度神经网络模型的输入数据的场景示意图；
图3B为本发明的实施例提供的深度神经网络模型的输出数据的预测图像示意图；
图4为本发明的实施例提供的深度神经网络模型的结构示意图；
图5为本发明的实施例提供的残差网络层的结构示意图；
图6为本发明的实施例提供的一种基于深度学习的道路障碍物轨迹预测***的结构示意图；
图7为本发明的实施例提供的一种自动驾驶车辆***的结构示意图；
图8为本发明的实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
实施例一
图1为本发明的实施例提供的一种基于深度学习的道路障碍物轨迹的预测方法的流程示意图；参见图1，该方法包括以下步骤：
S100:采集车辆信息、车辆周围的障碍物信息及道路信息；该车辆周围的障碍物与车辆的距离在预设的距离范围内；
S200:将车辆信息、车辆周围的障碍物信息及道路信息转换至Frenet坐标系中，在该Frenet坐标系中设置记录缓存，所述记录缓存用于对车辆周围的障碍物的位置信息进行缓存处理以使车辆周围的障碍物在不同时刻的标识序号一致；
S300:将所述车辆信息、道路信息以及缓存处理后的车辆周围的障碍物信息添加至数据库中获得图像训练数据集；
S400:将所述图像训练数据集中的样本输入深度神经网络模型中，生成障碍物轨迹预测模型；
S500:利用所述障碍物轨迹预测模型预测车辆周围的障碍物的运动轨迹。
进一步的，根据所述车辆周围的障碍物的运动轨迹对车辆的行驶路径进行规划以生成规划信息。
进一步的，所述对车辆的行驶路径进行规划后，利用规划信息对车辆的行进方向(例如车辆的横、纵向)进行控制。
下面将具体说明本发明的基于深度学习的道路障碍物轨迹预测方法的具体实施过程。
S100:采集车辆信息、车辆周围的障碍物信息及道路信息；该车辆周围的障碍物与车辆的距离在预设的距离范围内；
所述车辆周围的障碍物包括车辆周围的其他车辆、交通标识牌等，本实施例中，主要以车辆周围的其他车辆为障碍物实例来预测障碍物的运动轨迹；其中，步骤S100包括以下子步骤S110-S130；
S110:采集车辆的第一信息、车辆周围的障碍物的第一信息及第一道路信息；
其中，所述车辆的第一信息包括车辆的影像信息、位置信息、速度和姿态信息；
所述车辆周围的障碍物的第一信息包括障碍物的影像信息、速度、姿态和位置信息；例如，可以先设置车辆周围的障碍物的初始位置和姿态，再利用障碍物侦测及追踪模块获得障碍物的影像信息、速度、姿态和位置信息。
所述第一道路信息包括车道线信息。
具体的，图像采集设备(例如双目相机等图像采集装置)采集车辆的影像信息、车辆的速度，车辆周围的障碍物的影像信息和速度；
激光雷达采集车辆及车辆周围的障碍物的位置信息；
IMU(inertial measurement unit,惯性测量单元)测量车辆的姿态信息及车辆周围的障碍物的姿态信息；
图像采集设备还(例如双目相机等图像采集装置)采集第一道路信息，该第一道路信息用于进一步对车辆或车辆周围的障碍物的位置进行定位，将该第一道路信息的像素值设置为L；
GPS***采集车辆的位置信息和车辆周围的障碍物的位置信息。
需要说明的是，上述车辆的位置信息、车辆周围的障碍物的位置信息以及第一道路信息都是以大地为坐标系的。
S120:将车辆的第一信息、车辆周围的障碍物的第一信息及第一道路信息转换至车辆的IMU坐标系中获得车辆的第二信息、车辆周围的障碍物的第二信息及第二道路信息；
具体的，将车辆的第一位置信息、第一姿态信息和第一速度，车辆周围的障碍物的第一位置信息、第一姿态信息以及第一道路信息转换至车辆的IMU坐标系中，以获得车辆的第二位置信息、第二姿态信息和第二速度，车辆周围的障碍物的第二位置信息、第二姿态信息和第二速度以及第二道路信息；
S130:在预设的时间范围内，分别对车辆的第二信息、车辆周围的障碍物的第二信息进行采样获得采样信息；
具体的，基于所述车辆的第二信息、车辆周围的障碍物的第二信息，在前M秒内采样M个车辆信息和M个车辆周围障碍物的信息；将采样信息输入M个影像信道中，利用车辆和车辆周围的障碍物的影像信息中的姿态信息和车辆的大小信息，将影像上的像素值设置为P。
S200:将车辆信息、车辆周围的障碍物信息及道路信息转换至Frenet坐标系中，在该Frenet坐标系中，在该Frenet坐标系中设置记录缓存，所述记录缓存用于对车辆周围的障碍物的位置信息进行缓存处理以使车辆周围的障碍物在不同时刻的标识序号一致，即若障碍物与车辆的距离在预设的距离范围内，利用该缓存可以使同一障碍物继续延续上一个障碍物的标识序号；
由于图像采集设备(例如双目相机等)所采集到的车辆周围的障碍物的位置信息和第二道路信息不够准确，因此，在追踪障碍物时就无法准确地识别出各个障碍物的标记序号，从而无法获取到同一障碍物在地图中的不同位置信息。
参见图2，图2为Frenet坐标系的示意图；在车辆的自动驾驶环境中，轨迹规划是基于道路的，且是在Frenet坐标系下进行的，相比于笛卡尔坐标系明显地简化了问题。在Frenet坐标系中，使用道路的中心线作为参考线，即命名为道路中心参考线，如图2的右图所示。它以车辆自身为原点，坐标轴的s方向为沿着道路中心参考线的方向，称为纵向(Longitudinal)，坐标轴的1方向为道路中心参考线上过当前点的法向，称为横向(Lateral)，s方向与l方向相互垂直。
其中，该Frenet坐标系使用道路的中心线作为参考线，使用参考线的切线向量和法线向量建立坐标系。
具体的，将所述采样信息及第二道路信息转换至Frenet坐标系中，在该Frenet坐标系中设置记录缓存，所述记录缓存对车辆周围的障碍物的位置信息进行缓存处理得到所述缓存处理后的车辆周围的障碍物信息，以使该障碍物在不同时刻的标识序号一致。
S300:将所述车辆信息、道路信息以及缓存处理后的车辆周围的障碍物信息添加至数据库中获得图像训练数据集；
具体的，将Frenet坐标系中的车辆信息、道路信息及缓存处理后的车辆周围的障碍物信息添加至数据库中获得所述图像训练数据集。
优选的，将图像训练数据集中的所有样本进行缩小，即将图像训练数据集中的所有样本缩小至x乘y的一个或多个图像中，由于图像的尺寸或像素减小，因此节省了训练该图像训练数据集的样本的时间。
S400:将所述图像训练数据集中的样本输入深度神经网络模型中，生成障碍物轨迹预测模型；
具体的，上述步骤S400包括以下步骤S410-S430；
S410：将所述图像训练数据集中的样本输入深度神经网络模型中，即将采样信息及第二道路信息作为度神经网络模型的输入数据，利用该深度神经网络模型提取图像训练数据集中的样本的图像特征；
S420：对所述图像训练数据集中的样本的图像特征进行压缩，获得图像特征阵列；其中，该图像特征阵列的维度低于所述图像训练数据集中的样本的图像特征的维度；
S430：对所述图像特征阵列进行解码以获得障碍物轨迹预测图像信息，基于所述障碍物轨迹预测图像信息生成车辆轨迹预测模型；其中，所述障碍物轨迹预测图像信息为预测的车辆周围的障碍物的位置信息。
其中，参见图4，所述深度神经网络模型包括卷积层、残差网络层(residualblock)和反卷积网络层；
具体的，将所述图像训练数据集中的样本输入卷积层获得所述图像训练数据集中的样本的图像特征；
将所述图像特征输入该残差网络层进行压缩获得图像特征阵列；
将所述图像特征阵列输入反卷积网络层获得所述车辆轨迹预测模型。
优选的，在一个实施例中，参见图4和5，所述卷积层共有三层卷积神经网络层，分别是卷积神经网络层1、2和3，相邻的卷积层之间包括随机失活层(dropout)，卷积神经网络层1、2之间包括随机失活层1，卷积神经网络层2、3之间包括随机失活层2；其中，每一个卷积神经网络层使用渗漏线性整流函数(leaky-relu)；
所述残差网络层共有五层，分别是残差网络层1、2、3、4和5；残差网络层1与卷积神经网络层3之间包括随机失活层3；图5中x表示该残差网络层的输入数据，y表示表示该残差网络层的输出数据，每一个残差网络层包括两层卷积及两层随机失活层，例如每个残差网络层的结构具体可设置为卷积神经网络层4-随机失活层4-卷积神经网络层5-随机失活层5；其中，残差网络层中的每一个卷积神经网络层使用渗漏线性整流函数(leaky-relu)；
所述反卷积网络层也有三层反卷积网络层，分别是反卷积网络层1、2和3；其中，反卷积网络层1和2之间包括随机失活层6，其中，每一个反卷积网络层使用线性整流函数(relu)。
由于输入数据(即图像训练数据集中的样本)和反卷积网络层的输出数据较为相似，因此将反卷积网络层的最后一层的反卷积的输出数据与图像训练数据集中的样本的数据相加，可以获得车辆轨迹预测图像的大小，通过这种方式可以减轻障碍物轨迹预测模型在训练时的负担。
进一步的，在生成障碍物轨迹预测模型后，步骤400还包括以下子步骤S440；
S440：对所述障碍物轨迹预测图像信息进行优化，以生成优化后的障碍物轨迹预测模型；
例如，采用归一化函数(如softmax函数)对障碍物轨迹预测图像信息中的图像的每个像素分别进行优化，并对障碍物轨迹预测模型的各卷积层、残差网络层(residualblock)和反卷积网络层的权重进行正则化计算，生成所述优化后的车辆轨迹预测模型。
优选的，本实施例采用分布式学习方法对障碍物轨迹预测模型进一步优化，该优化步骤包括以下子步骤S441-S443:
S441:将障碍物轨迹预测模型的卷积层、残差网络层和反卷积网络层中的各层的每个神经元的权重参数分散在多个图形显示卡GPU上，获得一个主障碍物轨迹预测模型和多个从障碍物轨迹预测模型；
S442:将所述多个从障碍物轨迹预测模型同步梯度至所述主模型上以进行优化，因为每个GPU上都有一个障碍物轨迹预测模型模型，每个GPU都会读取不同的输入数据(即图像训练数据集中的样本)以计算出梯度，并将各个GPU计算出的梯度在主障碍物轨迹预测模型上进行优化，由于主障碍物轨迹预测模型将要优化的梯度是由较多的输入数据(即图像训练数据集中的样本)所计算获得的，因此将所述多个从障碍物轨迹预测模型同步梯度至所述主模型上以进行优化能增加各个从障碍物轨迹预测模型到全局优化点的概率。
S443:主模型的参数同步至多个从障碍物轨迹预测模型上。
由于采用这种梯度优化方式能对图像训练数据集中的样本进行优化，因此，通过上述分布式学习方法可以在训练障碍物轨迹预测模型时，可以针对性地对图像训练数据集中的样本进行概括性地学习。
在深度神经网络模型的输入数据中，采样的车辆信息和车辆周围的障碍物信息是为了帮助模型可以更准确地预测障碍物未来的运行轨迹；输入的道路信息(即车道线信息)则可以使障碍物轨迹预测模型更加有效地识别障碍物在道路(即车道)中的位置。
优选的，在获得障碍物轨迹预测模型后，将深度神经网络模型的输出数据中的道路信息和车辆信息清除，原因在于：道路信息和车辆信息不是本实施例所需要预测的而且还可以减小障碍物轨迹预测模型在预测车辆周围的障碍物的运动轨迹时的运算量。
需要说明的是，上述图像训练数据集中的所有样本均为鸟瞰图并以车辆为坐标原点；其中，图3A为本发明的实施例提供的深度神经网络模型的输入数据的场景示意图；图3B为本发明的实施例提供的深度神经网络模型的输出数据的预测图像示意图；其中，A车为车辆，B车为车辆周围的障碍物(例如车辆周围的其他车辆)，A1、A2分别表示车辆在t1、t2采样时刻的位置；B1、B2分别表示障碍物在t1、t2采样时刻的位置。
S500:利用所述障碍物轨迹预测模型预测车辆周围的障碍物的运动轨迹。
进一步的，将车辆周围的障碍物的运动轨迹从车辆的Frenet坐标系转换到大地坐标系中，以作为图像训练数据集的样本中的下一帧的障碍物物位置。
进一步的，根据所述车辆周围的障碍物的运动轨迹对车辆的行驶路径进行规划生成规划信息；并且利用该规划信息对车辆的行进方向(例如车辆的横、纵向)进行控制。
实施例二
图6为本发明的实施例提供的一种基于深度学习的道路障碍物轨迹预测***的结构示意图；参见图6，该***包括一种基于深度学习的道路障碍物的轨迹预测***，
该***包括采集模块、转换模块、添加模块、生成模块和预测模块；
所述采集模块用于采集车辆信息、车辆周围的障碍物信息及道路信息；
所述转换模块用于执行以下操作：
将车辆信息、车辆周围的障碍物信息及道路信息转换至Frenet坐标系中，在该Frenet坐标系中设置记录缓存，所述记录缓存用于对车辆周围的障碍物的位置信息进行缓存处理以使车辆周围的障碍物在不同时刻的标识序号一致；
所述添加模块用于将所述车辆信息、道路信息以及缓存处理后的车辆周围的障碍物信息添加至数据库中获得图像训练数据集；
所述生成模块将所述图像训练数据集中的样本输入深度神经网络模型中，生成障碍物轨迹预测模型；
所述预测模块利用所述障碍物轨迹预测模型预测车辆周围的障碍物的运动轨迹。
上述各个模块的具体实施方式与实施例一的各个方法步骤的具体实施方式一致，在此不再赘述。
实施例三
图7为本发明的实施例提供的一种自动驾驶车辆***的结构示意图，参见图6，该自动驾驶车辆***包括定位***、感知***、道路障碍物轨迹预测***、运动规划***和车辆控制***，其中，所述定位***用于对车辆的位置进行定位，获得的定位信息输入至障碍物轨迹预测***；
所述感知***用于对车辆周围的障碍物的信息进行感知，获得的感知信息输入至障碍物轨迹预测***；该车辆周围的障碍物的信息包括障碍物的影像信息、速度、姿态和位置信息；
道路障碍物轨迹预测***将预测出的车辆周围的障碍物的运动轨迹输入至车辆的运动规划模块中；
所述运动规划***根据所述障碍物的运动轨迹对车辆的行驶路径进行规划，生成规划信息；
所述执行***接收所述规划信息以对车辆的行进方向进行控制；
其中，该道路障碍物轨迹预测***为上述实施例二所述的基于深度学习的道路障碍物的轨迹预测***，在此不再赘述。
实施例四
图8为本发明的一种电子设备的一个实施例的结构示意图，参见图8，在本实施例中，提供一种电子设备，包括但不限于智能手机、固定电话、平板电脑、笔记本电脑、穿戴式设备等电子设备，所述电子设备包括：处理器和存储器，所述存储器存储有计算机可读指令，所述计算机可读指令在被所述处理器执行时实现上述本发明的方法。
实施例五
在本实施例中，提供一种计算机可读存储介质，可以为ROM(例如只读存储器、FLASH存储器、转移装置等)、光学存储介质(例如，CD-ROM、DVD-ROM、纸卡等)、磁存储介质(例如，磁带、磁盘驱动器等)或其他类型的程序存储器；所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器或计算机运行时执行上述本发明的方法。
本发明具有以下优点：
本发明中的基于深度学习的道路障碍物轨迹预测方法，由于考虑了车辆周围的障碍物信息和道路信息，比起现有技术中人为地选取障碍物特征，本发明采集到的训练样本更为真实；
并且基于采集到的训练样本并输入深度神经网络模型可以基于道路状况不断变化的障碍物信息而学习得到该障碍物轨迹训练模型，从而预测出车辆周围障碍物在未来N秒内的运动轨迹，并且仿真***使车辆周围的障碍物沿着该预测轨迹进行行驶，并逐渐迭代测试最终获得障碍物轨迹预测模型，因此本发明的训练学习方法获得的障碍物轨迹预测模型不再单一。
由于本发明的车辆需要根据其周围的障碍物的运动轨迹而做出相应的运动，因此这种预测方法可以更加智能化地对车辆进行更为准确的运动规划。
本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种基于深度学习的道路障碍物的轨迹预测方法，其特征在于，该方法包括以下步骤：
采集车辆信息、车辆周围的障碍物信息及道路信息；
将车辆信息、车辆周围的障碍物信息及道路信息转换至Frenet坐标系中，在该Frenet坐标系中设置记录缓存，所述记录缓存用于对车辆周围的障碍物的位置信息进行缓存处理以使车辆周围的障碍物在不同时刻的标识序号一致；
将所述车辆信息、道路信息以及缓存处理后的车辆周围的障碍物信息添加至数据库中获得图像训练数据集；
将所述图像训练数据集中的样本输入深度神经网络模型中，生成障碍物轨迹预测模型；
利用所述障碍物轨迹预测模型预测车辆周围的障碍物的运动轨迹；
所述生成障碍物轨迹预测模型包括以下子步骤：
将所述图像训练数据集中的样本输入深度神经网络模型中，利用该深度神经网络模型提取图像训练数据集中的样本的图像特征；
对所述图像训练数据集中的样本的图像特征进行压缩，获得图像特征阵列；
对所述图像特征阵列进行解码以获得障碍物轨迹预测图像信息，基于所述障碍物轨迹预测图像信息生成障碍物轨迹预测模型；
所述深度神经网络模型包括卷积层、残差网络层和反卷积网络层；
将所述图像训练数据集中的样本输入卷积层获得所述图像训练数据集中的样本的图像特征；
将所述图像特征输入该残差网络层进行压缩获得图像特征阵列；
将所述图像特征阵列输入反卷积网络层获得所述障碍物轨迹预测模型；
所述卷积层包括三层卷积神经网络层，相邻的卷积神经网络层之间包括随机失活层；其中，每一个卷积神经网络层使用渗漏线性整流函数；
所述残差网络层包括五层残差网络层，每个残差网络层依次设置为卷积神经网络层-随机失活层-卷积神经网络层-随机失活层；其中，残差网络层中的每一个卷积神经网络层使用渗漏线性整流函数；
所述反卷积网络层包括三层反卷积；其中，每一个反卷积网络层使用线性整流函数。
2.根据权利要求1所述的轨迹预测方法，其特征在于，根据所述车辆周围的障碍物的运动轨迹对车辆的行驶路径进行规划以生成规划信息。
3.根据权利要求2所述的轨迹预测方法，其特征在于，对车辆的行驶路径进行规划后，利用所述规划信息对车辆的行进方向进行控制。
4.根据权利要求1所述的轨迹预测方法，其特征在于，所述图像训练数据集是通过以下子步骤获得的：
采集车辆的第一信息、车辆周围的障碍物的第一信息及第一道路信息；
将车辆的第一信息、车辆周围的障碍物的第一信息及第一道路信息转换至车辆的IMU坐标系中获得车辆的第二信息、车辆周围的障碍物的第二信息及第二道路信息；
在预设的时间范围内，分别对车辆的第二信息、车辆周围的障碍物的第二信息进行采样获得采样信息；
将所述采样信息及第二道路信息转换至Frenet坐标系中，在该Frenet坐标系中设置所述记录缓存，所述记录缓存对车辆周围的障碍物的位置信息进行缓存处理得到所述缓存处理后的车辆周围的障碍物信息；
将Frenet坐标系中的车辆信息、道路信息及缓存处理后的车辆周围的障碍物信息添加至数据库中获得所述图像训练数据集。
5.根据权利要求1所述的轨迹预测方法，其特征在于，所述生成障碍物轨迹预测模型还包括以下子步骤：
对所述障碍物轨迹预测图像信息进行梯度优化，以生成优化后的障碍物轨迹预测模型。
6.根据权利要求1-5任一项所述的轨迹预测方法，其特征在于，在获得所述障碍物轨迹预测模型后，清除深度神经网络模型的输出数据中的道路信息和车辆信息。
7.一种基于深度学习的道路障碍物的轨迹预测***，其特征在于，该***包括采集模块、转换模块、添加模块、生成模块和预测模块；
所述采集模块用于采集车辆信息、车辆周围的障碍物信息及道路信息；
所述转换模块用于执行以下操作：
将车辆信息、车辆周围的障碍物信息及道路信息转换至Frenet坐标系中，在该Frenet坐标系中设置记录缓存，所述记录缓存用于对车辆周围的障碍物的位置信息进行缓存处理以使车辆周围的障碍物在不同时刻的标识序号一致；
所述添加模块用于将所述车辆信息、道路信息以及缓存处理后的车辆周围的障碍物信息添加至数据库中获得图像训练数据集；
所述生成模块将所述图像训练数据集中的样本输入深度神经网络模型中，生成障碍物轨迹预测模型；
所述预测模块利用所述障碍物轨迹预测模型预测车辆周围的障碍物的运动轨迹；
所述生成障碍物轨迹预测模型包括以下子步骤：
将所述图像训练数据集中的样本输入深度神经网络模型中，利用该深度神经网络模型提取图像训练数据集中的样本的图像特征；
对所述图像训练数据集中的样本的图像特征进行压缩，获得图像特征阵列；
对所述图像特征阵列进行解码以获得障碍物轨迹预测图像信息，基于所述障碍物轨迹预测图像信息生成障碍物轨迹预测模型；
所述深度神经网络模型包括卷积层、残差网络层和反卷积网络层；
将所述图像训练数据集中的样本输入卷积层获得所述图像训练数据集中的样本的图像特征；
将所述图像特征输入该残差网络层进行压缩获得图像特征阵列；
将所述图像特征阵列输入反卷积网络层获得所述障碍物轨迹预测模型；
所述卷积层包括三层卷积神经网络层，相邻的卷积神经网络层之间包括随机失活层；其中，每一个卷积神经网络层使用渗漏线性整流函数；
所述残差网络层包括五层残差网络层，每个残差网络层依次设置为卷积神经网络层-随机失活层-卷积神经网络层-随机失活层；其中，残差网络层中的每一个卷积神经网络层使用渗漏线性整流函数；
所述反卷积网络层包括三层反卷积；其中，每一个反卷积网络层使用线性整流函数。
CN201911260123.8A 2019-12-10 2019-12-10 基于深度学习的道路障碍物轨迹预测方法和*** Active CN111002980B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911260123.8A CN111002980B (zh) 2019-12-10 2019-12-10 基于深度学习的道路障碍物轨迹预测方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911260123.8A CN111002980B (zh) 2019-12-10 2019-12-10 基于深度学习的道路障碍物轨迹预测方法和***

Publications (2)

Publication Number Publication Date
CN111002980A CN111002980A (zh) 2020-04-14
CN111002980B true CN111002980B (zh) 2021-04-30

Family

ID=70115134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911260123.8A Active CN111002980B (zh) 2019-12-10 2019-12-10 基于深度学习的道路障碍物轨迹预测方法和***

Country Status (1)

Country Link
CN (1) CN111002980B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2594079A (en) * 2020-04-16 2021-10-20 Daimler Ag A method for tracking at least one object in the surroundings of an autonomous motor vehicle with a Frenet frame, as well as an assistance system
GB2595857A (en) * 2020-06-08 2021-12-15 Daimler Ag A method for object tracking for an at least partially autonomous motor vehicle, as well as an assistance system
CN111845774B (zh) * 2020-07-20 2021-12-03 上海大学 一种基于横纵向协调的自动驾驶汽车动态轨迹规划及跟踪方法
CN112163446B (zh) * 2020-08-12 2023-04-28 浙江吉利汽车研究院有限公司 一种障碍物检测方法、装置、电子设备及存储介质
CN112306059B (zh) * 2020-10-15 2024-02-27 北京三快在线科技有限公司 一种控制模型的训练方法、控制方法以及装置
CN112417756B (zh) * 2020-11-13 2023-11-17 清华大学苏州汽车研究院（吴江） 一种自动驾驶算法的交互式仿真测试***
CN112572472B (zh) * 2020-12-08 2021-12-14 重庆大学 一种基于Frenet坐标系的自动驾驶碰撞预测方法
CN113673383B (zh) * 2021-08-05 2024-04-19 苏州智加科技有限公司 一种面向复杂道路场景的时空域障碍物检测方法及***
CN113641734B (zh) * 2021-08-12 2024-04-05 驭势科技（北京）有限公司 一种数据处理方法、装置、设备及介质
CN113753077A (zh) * 2021-08-17 2021-12-07 北京百度网讯科技有限公司 预测障碍物的运动轨迹的方法、装置及自动驾驶车辆
CN113753078B (zh) * 2021-08-17 2023-09-01 北京百度网讯科技有限公司 障碍物轨迹的预测方法、装置、电子设备及自动驾驶车辆
CN114237236A (zh) * 2021-12-06 2022-03-25 广州小鹏自动驾驶科技有限公司 一种车辆前向预测路径验证方法、装置、车辆和存储介质
CN114485712B (zh) * 2022-01-30 2023-07-21 重庆长安汽车股份有限公司 一种处理st图构建时障碍物多次侵入本车轨迹的方法
CN115164931B (zh) * 2022-09-08 2022-12-09 南开大学 一种盲人出行辅助***、方法及设备
CN117799633A (zh) * 2022-09-26 2024-04-02 华为技术有限公司 一种预测方法、装置和智能驾驶设备
CN115534939B (zh) * 2022-12-06 2023-04-14 广汽埃安新能源汽车股份有限公司 车辆控制方法、装置、电子设备和计算机可读介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190023389A (ko) * 2017-08-29 2019-03-08 인하대학교 산학협력단 변화점 검출을 활용한 다중클래스 다중물체 추적 방법
CN110349179A (zh) * 2019-07-12 2019-10-18 安徽大学 一种基于多适配器的可见光红外视觉跟踪方法及装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8793046B2 (en) * 2012-06-01 2014-07-29 Google Inc. Inferring state of traffic signal and other aspects of a vehicle's environment based on surrogate data
US10026506B1 (en) * 2015-02-06 2018-07-17 Brain Trust Innovations I, Llc System, RFID chip, server and method for capturing vehicle data
DE102016009763A1 (de) * 2016-08-11 2018-02-15 Trw Automotive Gmbh Steuerungssystem und Steuerungsverfahren zum Bestimmen einer Trajektorie und zum Erzeugen von zugehörigen Signalen oder Steuerbefehlen
DE102017208245A1 (de) * 2017-05-16 2018-11-22 Continental Automotive Gmbh Verfahren und Vorrichtung zur zielbasierten Prädiktion dynamischer Objekte
US10482337B2 (en) * 2017-09-29 2019-11-19 Infineon Technologies Ag Accelerating convolutional neural network computation throughput
CN107967486B (zh) * 2017-11-17 2020-08-28 江苏大学 一种周边车辆行为识别方法
US10509127B2 (en) * 2017-12-13 2019-12-17 Luminar Technologies, Inc. Controlling vehicle sensors based on road configuration
CN109927719B (zh) * 2017-12-15 2022-03-25 百度在线网络技术（北京）有限公司 一种基于障碍物轨迹预测的辅助驾驶方法和***
DE102018203063A1 (de) * 2018-03-01 2019-09-05 Honda Motor Co., Ltd. Kollisionsrisiko-Vorhersageeinheit
US10414395B1 (en) * 2018-04-06 2019-09-17 Zoox, Inc. Feature-based prediction
US11126873B2 (en) * 2018-05-17 2021-09-21 Zoox, Inc. Vehicle lighting state determination
US20190361454A1 (en) * 2018-05-24 2019-11-28 GM Global Technology Operations LLC Control systems, control methods and controllers for an autonomous vehicle
US10497258B1 (en) * 2018-09-10 2019-12-03 Sony Corporation Vehicle tracking and license plate recognition based on group of pictures (GOP) structure
CN109919074B (zh) * 2019-03-01 2022-11-04 中国科学院合肥物质科学研究院 一种基于视觉感知技术的车辆感知方法及装置
CN110244734B (zh) * 2019-06-20 2021-02-05 中山大学 一种基于深度卷积神经网络的自动驾驶车辆路径规划方法
CN110415266A (zh) * 2019-07-19 2019-11-05 东南大学 一种基于本车周围车辆轨迹预测安全行驶的方法
CN110335467B (zh) * 2019-07-24 2021-08-27 山东交通学院 一种利用计算机视觉实现高速公路车辆行为检测的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190023389A (ko) * 2017-08-29 2019-03-08 인하대학교 산학협력단 변화점 검출을 활용한 다중클래스 다중물체 추적 방법
CN110349179A (zh) * 2019-07-12 2019-10-18 安徽大学 一种基于多适配器的可见光红外视觉跟踪方法及装置

Also Published As

Publication number Publication date
CN111002980A (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
CN111002980B (zh) 基于深度学习的道路障碍物轨迹预测方法和***
US20230144209A1 (en) Lane line detection method and related device
KR102335389B1 (ko) 자율 주행 차량의 lidar 위치 추정을 위한 심층 학습 기반 특징 추출
KR102292277B1 (ko) 자율 주행 차량에서 3d cnn 네트워크를 사용하여 솔루션을 추론하는 lidar 위치 추정
JP6738932B2 (ja) シミュレーションプラットフォームに配置された、機械学習モデルを訓練するためのシステム及び方法
KR102350181B1 (ko) 자율 주행 차량에서 rnn 및 lstm을 사용하여 시간적 평활화를 수행하는 lidar 위치 추정
CN110377025A (zh) 用于自动驾驶车辆的传感器聚合框架
CN112286206B (zh) 自动驾驶的模拟方法、***、设备、可读存储介质及平台
CN110389580A (zh) 用于规划自动驾驶车辆的路径的漂移校正的方法
US20210206387A1 (en) Methodologies, systems, and components for incremental and continual learning for scalable improvement of autonomous systems
CN110119138A (zh) 用于自动驾驶车辆的自定位方法、***和机器可读介质
EP3968609B1 (en) Control method, vehicle, and server
CN109902610A (zh) 交通标志识别方法和装置
CN110992424B (zh) 基于双目视觉的定位方法和***
CN114248778B (zh) 移动设备的定位方法和定位装置
CN113592905A (zh) 基于单目摄像头的车辆行驶轨迹预测方法
US20220228866A1 (en) System and method for providing localization using inertial sensors
CN110864670B (zh) 目标障碍物位置的获取方法和***
CN116859931A (zh) 轨迹规划模型的训练方法、车辆控制方式及装置
JP2020050047A (ja) 物体検出装置
CN117689907B (zh) 车辆跟踪方法、装置、计算机设备和存储介质
Xiao et al. No Longer Getting Lost on Fork Road: Vehicle Off-Route Detection Via Multi-Sensor Integration
Zhou High Definition Map as an Infrastructure for Urban Autonomous Driving
CN118225078A (zh) 交通工具的定位方法、装置、交通工具及存储介质
CN117146769A (zh) 交通标志物的测距方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant