CN114035575B - 基于语义分割的无人驾驶车辆运动规划方法及*** - Google Patents
基于语义分割的无人驾驶车辆运动规划方法及*** Download PDFInfo
- Publication number
- CN114035575B CN114035575B CN202111301912.9A CN202111301912A CN114035575B CN 114035575 B CN114035575 B CN 114035575B CN 202111301912 A CN202111301912 A CN 202111301912A CN 114035575 B CN114035575 B CN 114035575B
- Authority
- CN
- China
- Prior art keywords
- network
- semantic segmentation
- image
- images
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 34
- 239000013598 vector Substances 0.000 claims abstract description 58
- 230000004438 eyesight Effects 0.000 claims abstract description 30
- 238000004088 simulation Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 21
- 230000007613 environmental effect Effects 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 239000010410 layer Substances 0.000 claims description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 239000002356 single layer Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000015654 memory Effects 0.000 claims description 3
- 239000011800 void material Substances 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 239000011796 hollow space material Substances 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000006399 behavior Effects 0.000 abstract description 3
- 239000002352 surface water Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000008447 perception Effects 0.000 description 4
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000016776 visual perception Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于语义分割的无人驾驶车辆运动规划方法及***，该方法从车辆视觉传感器中获得视图，通过语义分割网络和类别权值网络得到语义分割后的视图以及对应权值，绑定对应视图的专家行驶经验库训练模仿学习模块，在像素级别上将语义分割后的视图以及对应权值融合，对融合图像提取特征向量，训练完成后通过直接输入当前视图经过语义分割模块到模仿学习模块端到端地得到速度和转向，基于速度和转向进行运动规划。本发明能够很好的对车辆进行无人驾驶运动规划，且在一些特定场景下，例如雨天路面积水反射障碍，在仿真环境Carla下的行为规划准确率相较于不适用语义分割的方法有27.8％的提升。
Description
技术领域
本发明涉及无人驾驶领域，具体涉及一种基于语义分割的无人驾驶车辆运动规划方法及***。
背景技术
近年来，基于端到端学习的深度神经网络模型是自动驾驶领域中新兴的研究热点。区别于传统方法，它能克服传统方式依赖先验环境建模的问题，能直接从感知映射出控制量，使***简单化。2016年，NVIDIA通过采集实车驾驶数据训练神经网络证明了端到端控制方法的可行性。2017年Dosovitskiy等人提出了端到端的自动驾驶模型CIL，实验表明它能有效利用导航信息进行导航。2019年Codevilla等人提出CILRS模型使用ResNet34进行环境感知取得了良好的效果并在一定程度上消除了CIL模型有时的异常停车问题。
而传统的端到端模型只是将当前环境信息作为网络输入，仅依靠当前图像获取道路轨迹以及该时刻的障碍物信息，而人类驾驶员是基于过去一段时间的视觉信息判断出动态障碍的运动趋势和运动速度，以此决定驾驶策略。相比于人类驾驶员，传统模型将必定会丢失动态障碍的运动信息。
而为了获取周围环境的动态信息，则必须增加连续时刻的环境信息作为神经网络的输入，而这无疑会增加网络的数据处理量，从而延迟网络反馈车辆驾驶信息。
发明内容
本发明的目的在于提供一种基于语义分割的无人驾驶车辆运动规划方法及***，在增加数据输入量的同时减轻学习网络对数据处理的负担，同时更加精准地控制无人车速度和方向。，从而能有效确定驾驶策略。
实现本发明目的的技术解决方案为：
一种基于语义分割的无人驾驶车辆运动规划方法，包括以下步骤：
周期采集车辆左、前、右三个方向的连续帧环绕视图；
基于环境信息分类，通过语义分割网络对左、右方向当前视图数据及连续n帧前向视图数据分别进行语义分割获取语义分割图像；
基于环境信息分类，通过类别权值网络获取连续n帧前向图像对应的类别权重信息；
基于专家库获取每帧视图对应的速度和方向；
将分割图像、类别权重信息和视图对应的速度和方向作为训练数据，对基于神经网络的动态环绕视觉模仿学习网络进行训练学习，重复上述步骤直至获取收敛的动态环绕视觉模仿学习模型；
采集车辆左、前、右三个方向的环绕视图，获取左、前、右三个方向的环绕视图的语义分割图像和连续n帧前向图像对应的类别权重信息，输入至动态环绕视觉模仿学习模型获取规划速度及规划方向；
基于规划速度及规划方向对无人车进行运动规划。
进一步的，所述语义分割网络包括残差网络ResNet、全卷积网FCN、空洞空间卷积池化金字塔及解码器；通过语义分割网络对左、右方向当前视图数据及连续n帧前向视图数据分别进行语义分割获取语义分割图像具体包括：
通过残差网络ResNet和全卷积网FCN对当前左、右方向的视图数据进行语义分割，同时对当前及前n-1帧的前向视图数据进行语义分割；
基于环境信息分类，采用空洞空间卷积池化金字塔提取语义分割图像特征信息并进行分类；
基于分类的图像特征信息，通过解码器恢复图像特征的细节和空间维度，获取最终的语义分割图像。
进一步的，所述类别权值网络具体为：通过四个残差块组成残差单元，将第四个残差块复制三次后以级联方式连接在残差单元后，同时并行空洞空间卷积池化金字塔结构。
进一步的，所述动态环绕视觉模仿学习网络包括特征提取融合网络和分支决策网路，并采用L1损失函数；其中：
所述特征提取融合网络将类别权重信息与前向图像的语义分割图像进行融合，并将融合后的图像通过ResNet34残差网络获取n个512维特征向量，n个512维特征向量经过单层LSTM网络得到一个512维特征向量，同时将左右两个方向的语义分割图像通过残差网络分别得到64维特征向量，并将一个512维特征向量和两个64维特征向量拼接起来获取一个640维联合特征向量；
所述分支决策网路根据导航信息激活对应的分支网络，导航信息c包括道路跟随、行、左拐和右拐共四种状态；
所述L1损失函数为：
其中，
是t+1时刻车速vt+1的预测值，/>
是t时刻方盘角度的预测值，at是t时刻方向盘角度，vt+1是t+1时刻车速。
进一步的，所述LSTM网络的隐层节点数为128，其更新过程为：
基于上一时刻的外部状态St-1和当前时刻的输入xt计算出输入门it、输出门ot、遗忘门lt以及候选状态
计算公式为：
it＝σ(Mixt+NiSt-1+bi)
ot＝σ(Moxt+NoSt-1+bo)
lt＝σ(Mlxt+NlSt-1+bl)
其中，tanh为激活函数，Mi和Ni是参数矩阵，取值区间为(0，1)，σ为logistic函数，值域为(0，1)；
通过遗忘门lt和输入门it来更新记忆单元It，更新公式为：
将内部状态传递给外部状态St，外部状态St为：
St＝ottanh(It)
进一步的，所述640维联合特征向量为：
其中，et是512维特征向量和两个64维特征向量拼接起来获取一个640维联合特征向量，
为连续n帧前向图像对应的512维特征向量，/>
分别为t时刻右向和左向图像对应的640维联合特征向量，/>
分别为t时刻前向图像、右侧图像和左侧图像对应的语义分割图像，R34是34层残差网络函数，R18是18层残差网络函数，L是LSTM网络函数。
进一步的，所述动态环绕视觉模仿学习模型为：
(vt+1，at)＝F(et，c)
(vt+1，at)＝Ac(et)
其中，vt+1是t+1时刻车速，at是t时刻方向盘角度，c为导航指令，F为车速vt+1和方向盘角度at与et和导航指令c的函数。
进一步的，所述采集周期为0.3s，n＝4，所述环境信息分类包括：空类、建筑物类、栅栏类、行人类、柱子类、车道分割线类、道路类、人行道类、植被类、车辆类、墙类、信号灯类及其他未标明类。
进一步的，采用PID控制器对无人车进行运动规划，PID控制器采用PI控制算法，具体为：
其中：
是t+1时刻车速vt+1的预测值，vt是t时刻车速，Vt为t时刻油门大小，bt是t时刻刹车，mt为纵向控制量。
一种基于所述无人驾驶车辆运动规划方法的无人驾驶车辆运动规划***，包括视觉传感器、类别权值模块、语义分割模块、模仿学习模块、速度控制模块和转向控制模块，其中：
所述视觉传感器用于周期采集车辆左、中、右三个方向的环绕视图；
所述类别权值模块用于通过类别权值网络获取前向图像对应的类别权重信息；
所述语义分割模块用于语义分割网络对左、右方向当前视图数据及连续n帧前向视图数据分别进行语义分割获取语义分割图像；
所述模仿学习模块基于神经网络学习进行网络学习，获取收敛的动态环绕视觉模仿学习模型；模仿学习模块包括图像融合模块和分支决策模块，所述图像融合模块用于将类别权重信息与每帧前向图像的语义分割图像进行融合，并将融合后的图像通过ResNet34残差网络获取n个512维特征向量，n个512维特征向量经过单层LSTM网络得到一个512维特征向量，将左右两个方向的语义分割图像通过残差网络分别得到64维特征向量，将一个512维特征向量和两个64维特征向量拼接起来获取一个640维联合特征向量；所述分支决策模块根据导航信息激活对应的分支网络，导航信息c包括道路跟随、行、左拐和右拐共四种状态。
所述速度控制模块通过模仿学习模块输出的规划速度对无人驾驶车辆的速度进行控制；
所述转向控制模块通过模仿学习模块输出的规划方向对无人驾驶车辆的转向进行控制。
与现有技术相比，本方法的有益效果是：本发明通过连续多帧视觉信息来确定动态障碍物的运动轨迹和速度，并通过语义分割来减轻神经网路对输入数据的处理量，将多帧视觉信息先输入到语义分割网络进行处理，以简化环境的无效信息，且处理后的图像也能完整保留道路、障碍物、行人等有效环境信息，更接近人类驾驶员在驾驶过程中所感知到的环境信息；本发明多帧语义分割图像输入到端到端神经网络模型中，以此获得车辆控制信息，能够很好的对车辆进行无人驾驶行为规划，且提高了无人车速度和方向的准确度。
附图说明
图1为本发明无人驾驶车辆运动规划***的模型架构图。
图2为本发明基于Carla无人车仿真平台8.04版本的运行环境示意图。
图3为语义分割后的示意图。
图4为LSTM网络结构图。
图5为动态环绕视觉模仿学习网络结构图。
图6为比例积分控制原理图。
图7为车辆油门/刹车和控制量关系图。
图8为不同膨胀率的空洞卷积示意图。
具体实施方式
为了使得无人车获取的环境信息，更接近人类驾驶员在驾驶过程中所感知到的环境信息，并且在增加数据输入量的同时减轻神经网络对数据处理的负担，本发明提出了一种基于环绕视觉与语义分割相结合的动态模仿学习算法，将多帧视觉信息先输入到已训练好的语义分割网络进行处理，以简化环境的无效信息，且处理后的图像也能完整保留道路、障碍物、行人等有效环境信息；再将处理好的多帧语义分割图像输入到端到端学习网络模型中，以此获得车辆控制信息。这和人类驾驶员的感知环境的逻辑是一样的，通过历史视觉信息来确定动态障碍物的运动轨迹和速度，并通过语义分割来减轻神经网路对输入数据的处理量，从而能有效确定驾驶策略。
该方法提出的模型思想如下，采用视觉感知、类别权值网络、语义分割网络、图像融合、动态环绕视觉模仿学习网络以及无人驾驶车辆的速度与转向控制，其中动态环绕视觉模仿学习网络基于神经网络，被我们命名为DSCIL(Dynamic Surround-viewConditional Imitation Learning)。首先通过安装在车辆上视觉感知获取左中右环绕视图，并将连续4帧的front图像输入到类别权值网络中，为当前帧输出所有13个语义分割类别像素级的权值；然后将连续4帧前向图像与左右两侧当前帧的图像输入到语义分割网络，获取对应的语义图像；再将得到的语义分割图像与类别权值输入到DSCIL模型，以类为基础在像素级别上相乘，得到语义分割后每一类在空间信息上的重要性表示，输出期望车速，最后依靠期望车速与当前车速的误差来控制速度与转向。
本发明提出的一种基于语义分割的无人驾驶车辆运动规划方法，包括以下步骤：
周期采集车辆左、前、右三个方向的连续帧环绕视图；
基于环境信息分类，通过语义分割网络对左、前、右三个方向的每帧视图数据分别进行语义分割获取语义分割图像，分割图像如图3所述；
基于环境信息分类，通过类别权值网络获取每帧前向图像对应的类别权重信息；
基于环境信息分类，通过类别权值网络获取连续n帧前向图像对应的类别权重信息；
基于专家库获取每帧视图对应的速度和方向；
将分割图像、类别权重信息和视图对应的速度和方向作为训练数据，对基于神经网络的动态环绕视觉模仿学习网络进行训练学习，重复上述步骤直至获取收敛的动态环绕视觉模仿学习模型；
采集车辆左、前、右三个方向的环绕视图，获取左、前、右三个方向的环绕视图的语义分割图像和连续n帧前向图像对应的类别权重信息，输入至动态环绕视觉模仿学习模型获取规划速度及规划方向；
基于规划速度及规划方向，采用PID控制器对无人车进行运动规划。
直接的语义分割常常会丢失部分空间上的信息，不利于无人驾驶进行端到端的行为规划，由此我们设计了类别权值网络，以ResNet作为骨干构建，最终输出每个类别对应的空间重要性权值，即13*200*88的输出；
ResNet共有四个残差块，将第四个残差块复制三次后以级联方式连接在残差单元后。同时，采用一个并行的ASPP结构处理前面输出的特征图，在特征图的顶部采用4个不同膨胀率(6、12、18、24)的空洞卷积，通过全局平均池化层来捕获上下文信息，再将ASPP结构分支处理好的特征使用1×1的卷积实现融合。
所述语义分割网络通常以ResNet为骨干构建的语义分割网络。在使用FCN实现图像分割后，引入空洞卷积以获得多尺度的特征信息，通过金字塔结构挖掘更多语义特征信息以提升分类效果。
空洞卷积是指通过设置膨胀率(rate)来对原图采样。如图8所示，当rate＝1，其与标准卷积无异；当rate>1时，它通过膨胀率对卷积核扩张，在原图上每隔(rate-1)个像素进行采样，扩大了感受野范围，在不增加参数量和计算量的条件下提取到了更大范围的语义分割特征。
空洞空间卷积池化金字塔(Atrous Spatial Pyramid Pooling，ASPP)，是指采用不同膨胀率的空洞卷积并行来学习多尺度特征，可以对任意尺度的区域进行更为准确的分类。
语义分割网络采用了编码器-解码器模块，其中解码器模块使用了16倍的双线性上采样，恢复图像特征的细节和空间维度，以得到分割结果。本发明基于环境信息分类为目的，将用于分割的解码器模块更换成全连接层结果，softmax为输出层，将每个神经元都与输出相连，实现对输入图像的分类。分类类别包括0表示空(None)类，1表示建筑物(Buildings)类，2表示栅栏(Fences)类，3表示其他未标明(Other)的类，4表示行人(Pedestrians)类，5表示柱子(Poles)类，6表示车道分割线(Roadlines)类，7表示道路(Roads)类，8表示人行道(Sidewalks)类，9表示植被(Vegetations)类，10表示车辆(Vehicles)类，11表示墙(Walls)类，12表示信号灯(TrafficSigns)类。
为考虑动态障碍物的影响，模拟了人类驾驶员的感知方式，通过增加历史多帧的视觉信息以获取更全面的环境信息。DSCIL模型采用了4帧前向图像，每帧之间间隔0.3s，即分别为当前时刻的前向图像，以及前0.3s、前0.6s、前0.9s的前向图像。相比于使用单帧图像，这能更有效判断出汽车的驾驶速度与轨迹。
结合图5，所述动态环绕视觉模仿学习网络包括特征提取融合网络和分支决策网路，并采用L1损失函数；具体的：
结合图4，其中LSTM网络的隐层节点数为128，所述LSTM网络结构图如说明书附图图5所示，其中St，It，
xt分别为t时刻的状态、内部状态、候选状态和网络输入；而it，ot，lt分别为t时刻的输入门、输出们和遗忘门，取值范围为(0，1)之间，以一定比例允许信息通过。其中σ代表logistic函数，值域为(0，1)。状态S每时刻更新，是一种短期记忆，网络参数可看作为长期记忆，更新周期远慢于状态S。内部状态I可以在某个时刻保存关键信息，并保持一段时间，保存的时间长于短期记忆，有短于长期记忆。
LSTM网络的更新过程为：(1)首先利用上一时刻的外部状态St-1和当前时刻的输入xt，计算出输入门、输出门、遗忘门以及候选状态，计算公式如式1.1-1.4所示，其中M和N是参数矩阵，b是偏置参数：(2)使用遗忘门lt和输入门it来更新记忆单元It，更新公式如式1.5所示：(3)使用输出门ot，将内部状态传递给外部状态St，公式如式1.6所示。
it＝σ(Mixt+NiSt-1+bi) (1.1)
ot＝σ(Moxt+NoSt-1+bo) (1.2)
lt＝σ(Mlxt+NlSt-1+bl) (1.3)
St＝ottanh(It) (1.6)
四帧前向图像得到的512维融合特征和左右两侧图像得到的两个64维图像特征进行拼接，便得到了语义分割网络与DSCIL模型对动态环境的描述。
所述动态环绕视觉模仿学习网络主要通过融合图像与对应专家库进行训练，从而可以以当前状态环绕视图获得端到端的无人驾驶车辆速度与转向，输入速度与转向控制模块进行车辆驾驶决策，其中动态环绕视觉模仿学习网络基于分支决策网路进行速度和方向规划。
车辆在行驶过程中共会面临四种情况，分别为道路跟随，遇到十字路口时选择左转、直行或者右转的情况。对于不同的导航指令，DSCIL模型使用不同的分支决策网络对应，即每个导航指令只会激活其对应的分支网络。
分支网络根据信息c选择激活，不同的导航信息激活对应的分支网络，来预测车辆的速度与方向盘角度，与单刀多掷开关类似。导航信息c包括道路跟随，直行、左拐和右拐共四种状态。网络中没有像CILRS模型(动态环绕视觉模仿学习网络)将速度也作为输入来预测油门和刹车，避免了网络学习到因数据中存在逻辑错误的地速度和低加速度的映射。这一映射可能会导致车辆可能在未达到目标且前方道路可通行时停车。
四个分支网络结构相同，网络的输入为视觉感知网络所融合的640维环境特征向量，经过两层节点数为256的全连接网络，最后输出2维向量，分别是预测的车速和方向盘角度。车速为大于0的实数，角度的取值范围为(-1，1)。最后一层全连接网络使用概率为0.5的dropout来避免过拟合现象。
假设
分别表示为t时刻经语义分割后得到的前向图像、右侧图像和左侧图像，则此时的前向图像融合特征可以由式1.7得到，其中R34是34层残差网络对应的函数，L是LSTM网络对应的函数，
t时刻的右侧和左侧图像的特征向量
和/>
分别可以由式1.8和1.9得到，其中R18是18层残差网络对应的函数。t时刻动态环境特征et是此时前向图像融合特征/>
右侧图像特征/>
和左侧图像特征/>
的组合，如式1.10所示。
如式1.11所示，假设t+1时刻网络的车速vt+1和t时刻的方向盘角度at是动态环境特征et和导航指令c的函数F，又因为不同导航指令对应不同的决策分支网络，将导航指令c对应的决策分支网络记为Ac，则可以得到式1.12。综合式1.10，1.11和1.12可以得到式1.13，即DSCIL网络(动态模仿学习模型)的最终数学描述。
(vt+1，at)＝F(et，c) (1.11)
(vt+1，at)＝Ac(et) (1.12)
Codevilla等人经实验发现L1损失相比于L2损失更适合自动驾驶任务，所以DSCIL模型使用采L1损失，其损失函数如式1.14所示。其中
是t时刻方盘角度的st的预测值，/>
是t+1时刻车速vt+1的预测值。所以损失函数第一项为盘角度误差项，第二项为车速误差项，两项误差权重相等，都是0.5。
分支决策网络仅解决了车辆得横向控制问题，对于车辆得纵向控制问题，我们根据当前车速与下一时刻期望车速使用PID(proportional-integral-derivative)控制来解决。
为解决车辆的纵向控制问题，我们引入比例-积分(proportional-integral，PI)控制来控制车速。比例积分控制的原理图如图6所示，其中at是t时刻***的给定值，bt是t时刻***的输出值，偏差ct是给定值和输出值的差，如式1.15所示。如式1.16所示，mt是被控对象的控制量，由偏差ct的比例项和积分项组成，其中ks是比例系数，ki是积分系数。比例项是基于偏差调节的，当偏差增大时比例项增大，当偏差减小时比例项减小，只有比例项不能实现无静差控制。积分项通过对***偏差进行积分，可以有效消除静差。
ct＝at-bt (1.15)
根据经验，我们将控制速度的比例系数设为0.25，积分系数设为0.2，因此可以得到如式1.17所示的控制量mt，其中vt是t时刻的车速，
是t时刻速度的期望值。t时刻车辆纵向控制量mt和t时刻油门Vt的关系如式1.18所示，当mt小于等于0时，油门大小为0：当mt大于0时，油门大小等于mt的1.3倍和0.75的最小值。t时刻车辆纵向控制量mt和t时刻刹车bt的关系如式1.19所示，当mt大于0时，刹车大小为0；当mt小于等于0时，刹车大小等于mt的负0.35倍和1的最小值。
图7展示了t时刻车辆纵向控制量mt和油门Vt以及刹车bt的关系，坐标轴横轴为控制量mt，坐标轴纵轴为油门/刹车，图中实线表示油门大小随控制量变化关系，虚线表示刹车大小随控制量变化关系。纵向控制量mt为正时，刹车大小为0，油门大小在一定范围内和mt是正比例关系，超过范围后会受到阈值0.75的限制：当纵向控制量为负时，油门大小为0，刹车大小在一定范围内和mt的绝对值是正比例关系，超过范围后会受到阈值1.0的限制。
一种基于所述无人驾驶车辆运动规划的***，包括视觉传感器、类别权值模块、语义分割模块、模仿学习模块、速度控制模块和转向控制模块，其中：
所述视觉传感器用于周期采集车辆左、中、右三个方向的环绕视图；
所述类别权值模块用于通过类别权值网络获取前向图像对应的类别权重信息；
所述语义分割模块用于语义分割网络对左、右方向当前视图数据及连续n帧前向视图数据分别进行语义分割获取语义分割图像；
所述模仿学习模块基于神经网络学习进行网络学习，获取收敛的动态环绕视觉模仿学习模型；模仿学习模块包括图像融合模块和分支决策模块，所述图像融合模块用于将类别权重信息与每帧前向图像的语义分割图像进行融合，并将融合后的图像通过ResNet34残差网络获取n个512维特征向量，n个512维特征向量经过单层LSTM网络得到一个512维特征向量，将左右两个方向的语义分割图像通过残差网络分别得到64维特征向量，将一个512维特征向量和两个64维特征向量拼接起来获取一个640维联合特征向量；所述分支决策模块根据导航信息激活对应的分支网络，导航信息c包括道路跟随、行、左拐和右拐共四种状态。
所述速度控制模块通过模仿学习模块输出的规划速度对无人驾驶车辆的速度进行控制；
所述转向控制模块通过模仿学习模块输出的规划方向对无人驾驶车辆的转向进行控制。
实施例1
结合图1，该实施例提供的无人驾驶车辆运动规划***，通过无人驾驶车辆的视觉传感器获取当前左中右环绕视图，其中4帧前向图像输入到类别权值模块，得到当前帧对应的空间类别权重信息13*200*88；与此同时4帧前向图像与左右两张当前帧图像输入到语义分割模块，得到对应的200*88的语义图像。将类别权重信息与对应语义分割图像结合处理后的4帧前向图像经过ResNet34网络得到4个512维特征向量，4个特征向量经过单层LSTM网络得到512维特征向量，处理后的左右两侧当前帧图像经过同一个ResNet18网络分别得到64维特征向量，3个特征向量拼接起来得到640维联合特征向量。联合特征向量经过3层全连接的模仿学习模块预测车辆速度与方向盘角度。
我们在CARLAbenchmark和NoCrash benchmark这两种CARLA自动驾驶平台的驾驶评价模型进行测试，并与其他五种经典端到端驾驶模型进行了比较。
结合图2，CARLA benchmark包括4种不同的驾驶条件，分别为Straight，One Turn，Navigation，Nav.Dynamic，在该评价模型中测试后，我们提出的方法在几乎所有环境，所有类型的驾驶任务都取得了最好的成绩。尤其是在动态环境中，测试结果明显优于其他几种模型，这充分说明了模型在动态环境下的优势。在New Weather&town(新天气和新城镇)环境下进行测试，我们的模型在Straight驾驶条件中任务完成率为100％，在其他三种驾驶条件中任务完成率为98％，相比与其他五种经典模型任务完成率都有较大的提升，例如对比于CAL模型，我们方法在四个驾驶条件下任务完成率分别提升了6％，26％，30％，34％。
NoCrash bench相比于CARLAbenchmark的任务要求更为严格，在驾驶过程中只要出现较为强烈的碰撞即判定任务失败，同样我们将模型与其他五种经典端到端模型进行了测试比较。在New Weather环境下，对于Empty、Regular和Dense三种不同交通状况的任务，我们模型任务完成率为100±0％，85±3％，36±2％，CAL模型完成率为85±2％，68±5％，33±2％，CILRS模型任务完成率为96±1％，77±1％，47±1％。在New Town环境下，我们模型的任务完成率为67±2％，56±1％，26±1％，CAL模型完成率为36±6％，26±2％，9±1％，CILRS模型任务完成率为66+2％，49±5％，23±1％。对于不同的端到端模型，我们提出的模型在大部分驾驶任务中都取得了最好的成绩，尤其是在动态环境中，充分说明了我们的模型在动态环境下的可靠性。
Claims (6)
1.一种基于语义分割的无人驾驶车辆运动规划方法，其特征在于，包括以下步骤：
周期采集车辆左、前、右三个方向的连续帧环绕视图；
基于环境信息分类，通过语义分割网络对左、右方向当前视图数据及连续n帧前向视图数据分别进行语义分割获取语义分割图像；
基于环境信息分类，通过类别权值网络获取连续n帧前向图像对应的类别权重信息；
基于专家库获取每帧视图对应的速度和方向；
将分割图像、类别权重信息和视图对应的速度和方向作为训练数据，对基于神经网络的动态环绕视觉模仿学习网络进行训练学习，重复上述步骤直至获取收敛的动态环绕视觉模仿学习模型；所述动态环绕视觉模仿学习网络包括特征提取融合网络和分支决策网路，并采用L1损失函数；其中：
所述特征提取融合网络将类别权重信息与前向图像的语义分割图像进行融合，并将融合后的图像通过ResNet34残差网络获取n个512维特征向量，n个512维特征向量经过单层LSTM网络得到一个512维特征向量，同时将左右两个方向的语义分割图像通过残差网络分别得到64维特征向量，并将一个512维特征向量和两个64维特征向量拼接起来获取一个640维联合特征向量；
所述分支决策网路根据导航信息激活对应的分支网络，导航信息c包括道路跟随、行、左拐和右拐共四种状态；
所述L1损失函数为：
其中，
是t+1时刻车速vt+1的预测值，/>
是t时刻方盘角度的预测值，at是t时刻方向盘角度，vt+1是t+1时刻车速；
所述LSTM网络的隐层节点数为128，其更新过程为：
基于上一时刻的外部状态St-1和当前时刻的输入xt计算出输入门it、输出门ot、遗忘门lt以及候选状态
计算公式为：
it＝σ(Mixt+NiSt-1+bi)
ot＝σ(Moxt+NoSt-1+bo)
lt＝σ(Mlxt+NlSt-1+bl)
其中，tanh为激活函数，Mi和Ni是参数矩阵，取值区间为(0，1)，σ为logistic函数，值域为(0，1)；
通过遗忘门lt和输入门it来更新记忆单元It，更新公式为：
将内部状态传递给外部状态St，外部状态St为：
St＝ottanh(It)
所述640维联合特征向量为：
其中，et是512维特征向量和两个64维特征向量拼接起来获取一个640维联合特征向量，
为连续n帧前向图像对应的512维特征向量，/>
分别为t时刻右向和左向图像对应的640维联合特征向量，/>
分别为t时刻前向图像、右侧图像和左侧图像对应的语义分割图像，R34是34层残差网络函数，R18是18层残差网络函数，L是LSTM网络函数；
所述动态环绕视觉模仿学习模型为：
(vt+1，at)＝F(et，c)
(vt+1，at)＝Ac(et)
其中，vt+1是t+1时刻车速，at是t时刻方向盘角度，c为导航指令，F为车速vt+1和方向盘角度at与et和导航指令c的函数，Ac为导航指令c对应的决策分支网络；
采集车辆左、前、右三个方向的环绕视图，获取左、前、右三个方向的环绕视图的语义分割图像和连续n帧前向图像对应的类别权重信息，输入至动态环绕视觉模仿学习模型获取规划速度及规划方向；
基于规划速度及规划方向对无人车进行运动规划。
2.根据权利要求1所述的无人驾驶车辆运动规划方法，其特征在于，所述语义分割网络包括残差网络ResNet、全卷积网FCN、空洞空间卷积池化金字塔及解码器；通过语义分割网络对左、右方向当前视图数据及连续n帧前向视图数据分别进行语义分割获取语义分割图像具体包括：
通过残差网络ResNet和全卷积网FCN对当前左、右方向的视图数据进行语义分割，同时对当前及前n-1帧的前向视图数据进行语义分割；
基于环境信息分类，采用空洞空间卷积池化金字塔提取语义分割图像特征信息并进行分类；
基于分类的图像特征信息，通过解码器恢复图像特征的细节和空间维度，获取最终的语义分割图像。
3.根据权利要求1所述的无人驾驶车辆运动规划方法，其特征在于，所述类别权值网络具体为：通过四个残差块组成残差单元，将第四个残差块复制三次后以级联方式连接在残差单元后，同时并行空洞空间卷积池化金字塔结构。
4.根据权利要求1所述的无人驾驶车辆运动规划方法，其特征在于，所述采集周期为0.3s，n＝4，所述环境信息分类包括：空类、建筑物类、栅栏类、行人类、柱子类、车道分割线类、道路类、人行道类、植被类、车辆类、墙类、信号灯类及其他未标明类。
5.根据权利要求1所述的无人驾驶车辆运动规划方法，其特征在于，采用PID控制器对无人车进行运动规划，PID控制器采用PI控制算法，具体为：
其中：
是t+1时刻车速vt+1的预测值，vt是t时刻车速，Vt为t时刻油门大小，bt是t时刻刹车，mt为纵向控制量。
6.一种基于权利要求1-5任一所述基于语义分割的无人驾驶车辆运动规划方法的无人驾驶车辆运动规划***，其特征在于，包括视觉传感器、类别权值模块、语义分割模块、模仿学习模块、速度控制模块和转向控制模块，其中：
所述视觉传感器用于周期采集车辆左、中、右三个方向的环绕视图；
所述类别权值模块用于通过类别权值网络获取前向图像对应的类别权重信息；
所述语义分割模块用于语义分割网络对左、右方向当前视图数据及连续n帧前向视图数据分别进行语义分割获取语义分割图像；
所述模仿学习模块基于神经网络学习进行网络学习，获取收敛的动态环绕视觉模仿学习模型；模仿学习模块包括图像融合模块和分支决策模块，所述图像融合模块用于将类别权重信息与每帧前向图像的语义分割图像进行融合，并将融合后的图像通过ResNet34残差网络获取n个512维特征向量，n个512维特征向量经过单层LSTM网络得到一个512维特征向量，将左右两个方向的语义分割图像通过残差网络分别得到64维特征向量，将一个512维特征向量和两个64维特征向量拼接起来获取一个640维联合特征向量；所述分支决策模块根据导航信息激活对应的分支网络，导航信息c包括道路跟随、行、左拐和右拐共四种状态；
所述速度控制模块通过模仿学习模块输出的规划速度对无人驾驶车辆的速度进行控制；
所述转向控制模块通过模仿学习模块输出的规划方向对无人驾驶车辆的转向进行控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111301912.9A CN114035575B (zh) | 2021-11-04 | 2021-11-04 | 基于语义分割的无人驾驶车辆运动规划方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111301912.9A CN114035575B (zh) | 2021-11-04 | 2021-11-04 | 基于语义分割的无人驾驶车辆运动规划方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114035575A CN114035575A (zh) | 2022-02-11 |
| CN114035575B true CN114035575B (zh) | 2023-03-31 |
Family
ID=80142861
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111301912.9A Active CN114035575B (zh) | 2021-11-04 | 2021-11-04 | 基于语义分割的无人驾驶车辆运动规划方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114035575B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114035575B (zh) * | 2021-11-04 | 2023-03-31 | 南京理工大学 | 基于语义分割的无人驾驶车辆运动规划方法及*** |
| CN116048096B (zh) * | 2023-02-23 | 2024-04-30 | 南京理工大学 | 一种基于层次化深度感知的无人车运动规划方法 |
| CN117184105B (zh) * | 2023-07-20 | 2024-03-26 | 清华大学 | 一种基于多模态数据融合的转向角速度预测方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410307A (zh) * | 2018-10-16 | 2019-03-01 | 大连理工大学 | 一种场景点云语义分割方法 |
| CN110189337A (zh) * | 2019-05-31 | 2019-08-30 | 广东工业大学 | 一种自动驾驶图像语义分割方法 |
| DE102018128531A1 (de) * | 2018-11-14 | 2020-05-14 | Valeo Schalter Und Sensoren Gmbh | System und Verfahren zum Analysieren einer durch eine Punktwolke dargestellten dreidimensionalen Umgebung durch tiefes Lernen |
| CN111210435A (zh) * | 2019-12-24 | 2020-05-29 | 重庆邮电大学 | 一种基于局部和全局特征增强模块的图像语义分割方法 |
| CN111443701A (zh) * | 2018-12-29 | 2020-07-24 | 南京理工大学 | 基于异构深度学习的无人驾驶车辆/机器人行为规划方法 |
| CN111832453A (zh) * | 2020-06-30 | 2020-10-27 | 杭州电子科技大学 | 基于双路深度神经网络的无人驾驶场景实时语义分割方法 |
| CN113486568A (zh) * | 2021-04-06 | 2021-10-08 | 南京晓庄学院 | 基于环绕视觉的车辆控制动态模仿学习算法 |
| CN114035575A (zh) * | 2021-11-04 | 2022-02-11 | 南京理工大学 | 基于语义分割的无人驾驶车辆运动规划方法及*** |
-
2021
- 2021-11-04 CN CN202111301912.9A patent/CN114035575B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410307A (zh) * | 2018-10-16 | 2019-03-01 | 大连理工大学 | 一种场景点云语义分割方法 |
| DE102018128531A1 (de) * | 2018-11-14 | 2020-05-14 | Valeo Schalter Und Sensoren Gmbh | System und Verfahren zum Analysieren einer durch eine Punktwolke dargestellten dreidimensionalen Umgebung durch tiefes Lernen |
| CN111443701A (zh) * | 2018-12-29 | 2020-07-24 | 南京理工大学 | 基于异构深度学习的无人驾驶车辆/机器人行为规划方法 |
| CN110189337A (zh) * | 2019-05-31 | 2019-08-30 | 广东工业大学 | 一种自动驾驶图像语义分割方法 |
| CN111210435A (zh) * | 2019-12-24 | 2020-05-29 | 重庆邮电大学 | 一种基于局部和全局特征增强模块的图像语义分割方法 |
| CN111832453A (zh) * | 2020-06-30 | 2020-10-27 | 杭州电子科技大学 | 基于双路深度神经网络的无人驾驶场景实时语义分割方法 |
| CN113486568A (zh) * | 2021-04-06 | 2021-10-08 | 南京晓庄学院 | 基于环绕视觉的车辆控制动态模仿学习算法 |
| CN114035575A (zh) * | 2021-11-04 | 2022-02-11 | 南京理工大学 | 基于语义分割的无人驾驶车辆运动规划方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| 无人驾驶中的场景实时语义分割方法;秦飞巍;《计算机辅助设计与图形学学报》;20210730;第33卷(第7期);第1026-1038页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114035575A (zh) | 2022-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114035575B (zh) | 基于语义分割的无人驾驶车辆运动规划方法及*** | |
| CN112215337B (zh) | 一种基于环境注意力神经网络模型的车辆轨迹预测方法 | |
| CN112099496B (zh) | 一种自动驾驶训练方法、装置、设备及介质 | |
| US11554785B2 (en) | Driving scenario machine learning network and driving environment simulation | |
| CN112703459B (zh) | 对抗场景的迭代生成 | |
| US11338825B2 (en) | Agent behavior model for simulation control | |
| CN113044064B (zh) | 基于元强化学习的车辆自适应的自动驾驶决策方法及*** | |
| CN112232490A (zh) | 一种基于视觉的深度模仿强化学习驾驶策略训练方法 | |
| CN112784485B (zh) | 一种基于强化学习的自动驾驶关键场景生成方法 | |
| CN113715842B (zh) | 一种基于模仿学习和强化学习的高速运动车辆控制方法 | |
| CN113255054A (zh) | 一种基于异构融合特征的强化学习自动驾驶方法 | |
| Qiao et al. | Behavior planning at urban intersections through hierarchical reinforcement learning | |
| Sun et al. | Human-like highway trajectory modeling based on inverse reinforcement learning | |
| US20240043037A1 (en) | Systems and methods related to controlling autonomous vehicle(s) | |
| CN113552883B (zh) | 基于深度强化学习的地面无人车自主驾驶方法及*** | |
| CN114620059A (zh) | 一种自动驾驶方法及其***、计算机可读存储介质 | |
| CN111552294A (zh) | 基于时间依赖的室外机器人寻路仿真***及方法 | |
| CN114170488A (zh) | 基于条件模仿学习和强化学习的自动驾驶方法 | |
| CN111443701A (zh) | 基于异构深度学习的无人驾驶车辆/机器人行为规划方法 | |
| CN113486568A (zh) | 基于环绕视觉的车辆控制动态模仿学习算法 | |
| CN114779764A (zh) | 基于行车风险分析的车辆强化学习运动规划方法 | |
| Jungmann et al. | Artificial intelligence for automated driving–quo vadis? | |
| CN116048096B (zh) | 一种基于层次化深度感知的无人车运动规划方法 | |
| CN111508256A (zh) | 一种基于区域时空域的交通信息重构方法及智能交通*** | |
| US11808582B1 (en) | System processing scenario objects during simulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |