CN111582049A - 一种基于ros自建无人车的端到端自动驾驶方法 - Google Patents
一种基于ros自建无人车的端到端自动驾驶方法 Download PDFInfo
- Publication number
- CN111582049A CN111582049A CN202010299263.2A CN202010299263A CN111582049A CN 111582049 A CN111582049 A CN 111582049A CN 202010299263 A CN202010299263 A CN 202010299263A CN 111582049 A CN111582049 A CN 111582049A
- Authority
- CN
- China
- Prior art keywords
- convolution
- model
- automatic driving
- neural network
- deep
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 41
- 238000013528 artificial neural network Methods 0.000 claims abstract description 29
- 238000002474 experimental method Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 238000013434 data augmentation Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000006872 improvement Effects 0.000 claims description 5
- 230000008447 perception Effects 0.000 abstract description 5
- 230000001965 increasing effect Effects 0.000 abstract description 3
- 238000005265 energy consumption Methods 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000003062 neural network model Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于ROS自建无人车的端到端自动驾驶方法，包括：通过部署的摄像头进行数据采集，通过数据增广的方式扩充训练数据集；进行深度神经网络的端到端自动驾驶模型进行训练；引入深度可分离卷积，将改进后的模型与没有深度可分离卷积的原始SSD模型的算法进行比较；舍弃深度神经网络的多级特征检测层组中输出的最大的特征图，以此为基础与原始SSD进行相关性能指标对比；调整多级特征检测层组中各卷积层预先配置的先验框数量，同时调整最小先验框的尺寸比例参数；将训练好的网络部署到无人车实验平台进行测试。本发明在保证满足低算力平台的能耗要求下，通过增大浅层网络的感受野，提升模型对室内环境的整体感知能力。
Description
技术领域
本发明涉及目标检测技术和端到端自动驾驶领域，尤其涉及一种基于ROS(机器人操作***)自建无人车的端到端自动驾驶方法。
背景技术
He Kaiming等人提出了用于图像识别的深度残差网络，该网络在深度卷积神经网络中首次引入了“残差模块”，每个残差模块将原始输入信息进行相关操作后，会同时将原始的输入信息与操作后得到的输出进行叠加，作为整个残差模块的最终输出。实验证明，残差模块的引入，能有效地遏制网络加深导致的梯度弥散问题。相比之前的深度卷积神经网络，深度残差网络提升了网络的深度，却拥有更小的参数量，因而具有优异的性能和更高的训练效率。
要实现自动驾驶这一最终目标，首先必须让自动驾驶汽车能够像人类一样感知周围环境并迅速作出应对处理。其中，自动驾驶***常用的传感器和硬件设备包括：摄像头、激光雷达、电磁波雷达、里程计、加速度计、全球定位***以及惯性导航单元。上述传感器和硬件设备组成了自动驾驶的整体硬件***和各功能模块的底层基础。
目前，自动驾驶***内部通常根据功能将各模块划分为两个子***：感知子***和决策子***。其中，感知子***负责融合上述各种传感器和硬件设备获取的数据，并结合目前已知的各种信息，在***内部形成对周围环境的内部建模，目前感知子***被划分为以下3个功能模块：定位模块，地图模块，目标检测跟踪模块。在感知子***建立起周围环境的内部模型后，决策子***根据驾驶员要求、当前路况、车况以及相关法律法规要求，正确且迅速地作出应对，保证车辆能够安全稳定的行驶，感知子***被划分为以下5个模块：路径规划模块、行为选择模块、运动规划模块、避障模块以及控制模块。
自动驾驶***产生的数据量以及运算消耗量巨大，目前对这一问题的解决方案是，通过搭建小尺寸模型车来进行部分模拟测试。但是体积，尺寸的限制将导致性能上的妥协，如降低***整体计算能力。在进行目标检测追踪时最常用的是基于深度神经网络的方法，这类方法对硬件计算能力的要求较高，其检测识别的精确度、速度以及延迟都会受到***算力的影响。因此在算力妥协的情况下，这些算法的实时检测帧率将进一步降低。同时，自动驾驶对软件***的整体架构设计、模块设计等要求也非常高。这意味着研究工作需要将自动驾驶任务分解为单个的小问题，如目标检测、路径规划、动态避障等。这些子问题增加了技术上的难度和协调性，目前的技术能够做到单个子问题获得最优结果，但在组合成最终结果后不一定能保证全局最优。
发明内容
本发明提供了一种基于ROS自建无人车的端到端自动驾驶方法，本发明提出了一种扩展感受野的轻量化深度神经网络模型，在保证满足低算力平台的能耗要求下，通过增大浅层网络的感受野，提升模型对室内环境的整体感知能力，详见下文描述：
一种基于ROS自建无人车的端到端自动驾驶方法，所述方法包括：
通过部署的摄像头进行数据采集，通过数据增广的方式扩充训练数据集；
进行深度神经网络的端到端自动驾驶模型进行训练；
引入深度可分离卷积，将改进后的模型与没有深度可分离卷积的原始SSD模型的算法进行比较；
舍弃深度神经网络的多级特征检测层组中输出的最大的特征图，以此为基础与原始SSD进行相关性能指标对比；
调整多级特征检测层组中各卷积层预先配置的先验框数量，同时调整最小先验框的尺寸比例参数；将训练好的网络部署到无人车实验平台进行测试。
其中，所述进行深度神经网络的端到端自动驾驶模型进行训练具体为：
深度神经网络读取训练数据集的彩色图像，输出预测转向值；使用真实转向值和预测转向值计算得到误差；通过反向传播算法将误差反向传输回深度神经网络，以此来更新神经网络中的各项权值，期望网络的下一次预测能更接近真实值。
进一步地，所述引入深度可分离卷积具体为：
将标准卷积层替换为两个分离的深度卷积层和逐点卷积层，对特征提取部分和多级特征检测层组部分的卷积层进行改进，降低参数量。
其中，所述对特征提取部分和多级特征检测层组部分的卷积层进行改进具体为：
使用三个3*3的卷积核分别对输入图像的三个通道进行卷积得到三个通道对应的特征图；
再使用64个1*1逐点卷积核对这三个特征图进行卷积操作，得到64个输出特征图；
将Conv2替换为深度卷积层Conv2_dw和驻点卷积层Conv2_pw，最后进行池化核大小为2*2、步长为2的池化操作。
本发明提供的技术方案的有益效果是：
1、本发明探究了在整体性能尤其是计算能力受限的情况下，采用深度卷积神经网络作为核心算法进行目标检测与识别；本发明通过对现有SSD(单发多盒探测器)算法的网络结构进行改进，将待识别的物体类型限制为自动驾驶汽车行驶过程中常见的几类物体，经过这些改进，将训练的模型在自建的小型无人车上进行检测；
2、本发明同时调整模型对于极小物体的检测能力，优先保证对汽车行驶过程中常见的大尺寸物体如行人、交通标志等的识别检测效果；
3、本发明探索了在特定场景下使用单个的深度卷积神经网络进行端到端自动驾驶的可能性。因为深度卷积神经网络一般被用于图像分类问题。本发明尝试将深度卷积神经网络进行修改后移植到自建的小型无人车上，并测试其是否能在算力有限的情况下，完成特定场景下的实时端到端自动驾驶任务。
附图说明
图1为端到端自动驾驶***架构示意图；
图2为实验场地地形示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
一种基于ROS自建无人车的端到端自动驾驶方法，参见图1，该方法包括：
步骤101：通过部署的摄像头进行数据采集，在采集时通过手柄人为地控制车辆产生偏移并进行纠正；
步骤102：通过数据增广的方式扩充训练数据集；
步骤103：进行深度神经网络的端到端自动驾驶模型进行训练；
步骤104：引入深度可分离卷积，将改进后的模型与没有深度可分离卷积的原始SSD(单发多盒检测器)模型的算法进行比较；
步骤105：舍弃深度神经网络的多级特征检测层组中输出的最大的特征图，以此为基础与原始SSD进行相关性能指标对比；
步骤106：调整多级特征检测层组中各卷积层预先配置的先验框数量，同时调整最小先验框的尺寸比例参数，以此为基础与原模型进行相关性能指标对比；
步骤107：将训练好的网络部署到本发明的无人车实验平台进行测试。
在一个实施例中，步骤101通过部署的摄像头进行数据采集，在采集时通过手柄人为地控制车辆产生偏移并进行修正，具体步骤如下：
使用10帧每秒的彩色图像录制率，进行数据采集。为保证录制过程中手柄数据与图像数据在时间上的同步，本实施例采用临界区的方式同步手柄及摄像头线程。基于无人驾驶***(例如：型号为DAVE-2***)在车辆前方装了3个摄像头，其中，左前方和右前方的摄像头为偏移摄像头。在采集数据时，通过手柄人为地操控车辆产生偏移并进行纠正，对采集到的数据进行处理，将偏移产生阶段的转向值置为其相反数。
在一个实施例中，步骤102通过数据增广的方式扩充训练数据集，具体步骤如下：
通过水平翻转、色彩抖动、灰度处理以及模糊处理这四种方式进行数据增广来扩展训练数据集，避免过拟合，提高算法准确率。
在一个实施例中，步骤103进行深度神经网络的端到端自动驾驶模型训练，具体步骤如下：
深度神经网络读取训练数据集的彩色图像，输出预测转向值；使用真实转向值和预测转向值计算得到误差；通过反向传播算法将误差反向传输回深度神经网络，以此来更新神经网络中的各项权值，期望网络的下一次预测能更接近真实值。
在一个实施例中，步骤104引入深度可分离卷积，具体步骤如下：
引入可分离卷积，将标准卷积层替换为两个分离的卷积层——其一为深度卷积层，其二为逐点卷积层。对特征提取部分和多级特征检测层组部分的卷积层进行改进，降低其参数量，具体的操作是首先使用三个3*3的卷积核分别对输入图像的三个通道进行卷积(Conv1_dw),得到三个通道对应的特征图；再使用64个1*1逐点卷积核对这三个特征图进行卷积操作(Conv1_pw)，得到64个输出特征图。同理将Conv2替换为深度卷积层Conv2_dw和驻点卷积层Conv2_pw。最后进行池化核大小为2*2、步长为2的池化操作。并在所有实施例中通过这种方式将标准卷积层改进为深度可分离卷积层。将改进后的模型与原模型进行相关性能指标对比。
在一个实施例中，步骤105舍弃深度神经网络的多级特征检测层组中较大尺寸的特征图，具体步骤如下：
舍弃深度神经网络的多级特征检测层组中较大尺寸的特征图，以此为基础与原模型进行相关性能指标对比。
在一个实施例中，步骤106调整预先配置的先验框数量和最小先验框的尺寸比例参数，具体步骤如下：
调整多级特征检测层组中各卷积层预先配置的先验框数量，同时调整最小先验框尺寸，以此为基础与原模型进行相关性能指标对比。
在一个实例中，步骤107将训练完成的网络模型部署至本发明搭建的无人车平台，封装为ROS节点。为了避免极端光照情况造成实验失败，本部分实验选择在光照可控的室内环境进行。在室内采用连续巡航进行测试，通过Nvidia研究团队提出的评价指标——***受控时间比作为评判的主要标准。
实施例2
本发明提供了一种基于ROS自建无人车的端到端自动驾驶方法，如图1和2所示，为本发明产品的端到端自动驾驶架构，包括：
步骤201：通过部署的摄像头进行数据采集，本发明所采用的摄像头能够每秒采集30帧的全高清图像数据。由于平台限制且无人车的行驶速度较低，为了减少冗余数据，本发明将彩色图像的录制帧率降低至10帧每秒，采用临界区的方式同步手柄及摄像头线程。本发明在车辆前方安装了3个摄像头分别采集正前方、左前方及右前方的图像数据，后两者为偏移摄像头。偏移摄像头拍摄的图像与车辆偏移道路中心线时正前方摄像头拍摄的图像相似，因而可以用于训练神经网络模型的偏移纠正能力。在采集数据时，通过手柄人为地操控车辆产生偏移并进行纠正，对采集到的数据进行处理，将偏移产生的转向值置为其相反数。
步骤202：通过数据增广的方式扩充数据集，以避免过拟合，提升算法准确率，所采取的数据增广方式有：
水平翻转：镜像翻转图片，并将其转向值置为相反数；
色彩抖动：随机调整图像的色彩饱和度、亮度以及对比度，模拟各种光照情况；
灰度处理：将彩色图像转为灰度图，增强对边界信息的学习；
模糊处理：对图像进行随机模糊处理，模拟摄像头摇晃等情况。
步骤203：进行深度神经网络的端到端自动驾驶模型训练，深度神经网络读取数据集的彩色图像，输出预测转向值；使用真实转向值和预测转向值计算得到误差；在使用反向传播算法更新神经网络中的各项权值。
步骤204：引入深度可分离卷积，压缩神经网络中的总体参数量和计算量。在其余参数不变的情况下进行训练，使用测试数据集重复测试10次，取得各类物体检测的平均精准度。
其中，mAP平均精准度的计算如公式(1)、公式(2)和公式(3)所示。
公式(1)即给定一张图像的类别i的Precision＝图像正确预测(True Positives)的数量除以在图像张这一类的总的目标数量。公式(2)即一个i类的平均精度＝在验证集上所有的图像对于类i的精度值的和/有类i这个目标的所有图像的数量。公式(3)即mAP＝所有类别的平均精度求和除以所有类别。
步骤205：舍弃深度神经网络的多级特征检测层组中较大尺寸的特征图，以此为基础与原模型进行相关性能指标对比。
步骤206：调整多级特征检测层组中各卷积层预先配置的先验框数量，这是由于先验框数量过多，将导致输出的预测值过多，浪费计算资源；先验框数量过少，则导致输出的预测值与真实值相差较大甚至出现错误。同时调整先验框的尺寸参数，先验框具体尺寸计算如公式(4)所示：
其中，m为特征图级数，在本实施例中，取m＝5，sk表示先验框在对应特征图中所占的比例大小，而smin和smax分别表示该数值的最小值与最大值，在本实施例中分别取0.1与0.9.以此为基础与原模型即原始SSD模型进行相关性能指标对比。
步骤207：将训练完成的网络模型部署至本发明搭建的无人车平台，伪装为ROS节点，进行测试。通过连续巡航测试，计算控制率，来对本发明的效果进行评估和验证。公式(5)为控制率计算公式。
其中，CR代表车辆总体受控率；N代表人为干预次数；t代表一次人为干预将车辆调整至正常状态所需的时间，根据Nvidia研究将其取为6秒；T代表车辆行驶总时间。
本发明所构建的一个完整的低功耗小型ROS自建无人车平台。该平台采用四轮差分车架作为自动驾驶平台的基础运动平台，以Jetson TX2作为上层计算、控制平台，搭配相关的传感器设备，构建了一个小型自动驾驶实验平台。鉴于实际平台的性能要求，本发明对SSD算法进行了改良，提出了一种改进的轻量化SSD模型，该模型的预测延迟由486.6毫秒降低至162毫秒，其实时监测的帧率也有平均每秒4.2帧提升至每秒9.6帧。本发明提出的一种扩展感受野的轻量化深度神经网络模型，并基于该模型构建了ROS端到端自动驾驶***，能够准确且迅速地识别室内环境，而实现端到端的自动驾驶，且该模型的端到端自动驾驶***的受控时间比为97.8％，相较于Nvidia公司的模型提升了8.7％而且具有更快的收敛速度。
实施例3
下面结合具体的实例对实施例1和2中的方案进行可行性验证，详见下文描述：
在基于ROS自建无人车的端到端自动驾驶***的实验中，步骤104-106对应为实验一、实验二和实验三。并分析实验结果。所有实验均采用Pascal VOC 2007和Pascal VOC2012数据集进行混合训练和测试。
实验一为引入深度可分离卷积，压缩SSD算法神经网络中的总体参数量和计算量。在其余参数不变的情况下，使用两个数据集进行混合训练，使用预测数据集重复测试十次，取得各类物体检测的平均精准度如表1所示。从实验数据可知，引入深度可分离卷积操作后，网络对各类目标的检测性能均产生了一定的下降，对于各类目标的检测平均精准度(mAP)从78.1％下降为71.2％。但是，模型对单张图片进行检测的平均延迟也由原来的486.6毫秒下降至194.2毫秒。
实验二的实验结果如表2所示。实验二舍弃了特征提取网络输出的最大尺寸特征图，将该特征图从候选特征图集合中移除，并对模型进行重新训练。从表中可知，移除该层特征图后，模型对于所有类别的整体检测性能有小幅的下降，其中以水瓶、猫、人、盆栽等四个类别的检测精度下降幅度较大。通过对数据集的分析可知，这些类别目标在Pascal VOC数据集中尺寸较小，在测试图片中所占的比例较低。舍弃了大尺寸特征图，导致模型对小尺寸物体的检测精准度下降，与实验结果相符。同时，舍弃特征图导致模型需要回归的边界框数量减少，因而网络的预测延迟也进一步降低至162毫秒。
通过实验一和实验二的对比，可发现修改后的模型对小尺寸物体的平均检测精准度下降。通过分析发现，被舍弃特征图的先验框最小尺寸比例为0.1。因此，将最小的先验框比例0.1添加到多级特征图中最大尺寸的特征图上，令模型重新训练，其实验结果如表3所示。从表中数据可知，增加尺寸比例为0.1的先验框，使模型对所有类的平均精确度提升约1.2％。实验中模型单张图片的平均预测延迟保持在162毫秒左右，证明了增加单个小尺寸先验框对模型整体预测量没有影响，但能使模型检测的平均精准度小幅提升。
表4为模型改进前后相关重要性能指标的对比，表明，引入深度可分离卷积并舍弃大尺寸特征图，降低了模型的运算量，缓解了GPU的压力，使得模型能够较好地实现实时目标检测任务。由表4可知，模型的预测延迟由高于500毫秒降低至162毫秒，实时目标检测的帧率也提升至约9.6帧每秒。实验结果表明，本发明在SSD算法基础上，引入深度可分离卷积，对多级特征图进行优化调整后，模型的预测延迟得以降低，满足了在低算力平台上进行实时目标检测的要求。
表1实验一：引入可分离卷积操作后的平均精准度
表2实验二：舍弃卷积层Conv4_3输出的特征图前后的平均精准度
表3实验三：对Conv7增加一个比例为0.1的先验框前后的平均精准度
表4扩展感受野的轻量化深度神经网络模型参数列表
表5模型修改前后主要性能指标对比
表4为所使用的扩展感受野的轻量化神经网络模型参数列表。在进行实验一、实验二和实验三的改进后可得相关重要性能指标对比如表5。可以得出结论，引入深度可分离卷积并舍弃大尺寸特征图，降低了模型的运算量，缓解了对GPU的压力，使模型在NvidiaJetson TX2平台上较好地实现了实时目标检测任务。
本发明进行端到端实验所采取的实验环境如图2，具体路线如图中黑色粗实线所示：由图中左下角作为起点，向上行驶至桌椅间的过道，行驶至室内另一端后绕桌椅与墙体之间的下闸通道返回至起点。采用巡航十圈的方法进行测试。巡航十圈的连续测试总耗时为834秒，中途人为干预3次，则可计算出实验车辆的受控率为97.8％。能够较好地反映出本文所采用的深度神经网络模型在该环境下的适应能力。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于ROS自建无人车的端到端自动驾驶方法，其特征在于，所述方法包括：
通过部署的摄像头进行数据采集，通过数据增广的方式扩充训练数据集；
进行深度神经网络的端到端自动驾驶模型进行训练；
引入深度可分离卷积，将改进后的模型与没有深度可分离卷积的原始SSD模型的算法进行比较；
舍弃深度神经网络的多级特征检测层组中输出的最大的特征图，以此为基础与原始SSD进行相关性能指标对比；
调整多级特征检测层组中各卷积层预先配置的先验框数量，同时调整最小先验框的尺寸比例参数；将训练好的网络部署到无人车实验平台进行测试。
2.根据权利要求1所述的一种基于ROS自建无人车的端到端自动驾驶方法，其特征在于，所述进行深度神经网络的端到端自动驾驶模型进行训练具体为：
深度神经网络读取训练数据集的彩色图像，输出预测转向值；使用真实转向值和预测转向值计算得到误差；通过反向传播算法将误差反向传输回深度神经网络，以此来更新神经网络中的各项权值，期望网络的下一次预测能更接近真实值。
3.根据权利要求1所述的一种基于ROS自建无人车的端到端自动驾驶方法，其特征在于，所述引入深度可分离卷积具体为：
将标准卷积层替换为两个分离的深度卷积层和逐点卷积层，对特征提取部分和多级特征检测层组部分的卷积层进行改进，降低参数量。
4.根据权利要求3所述的一种基于ROS自建无人车的端到端自动驾驶方法，其特征在于，所述对特征提取部分和多级特征检测层组部分的卷积层进行改进具体为：
使用三个3*3的卷积核分别对输入图像的三个通道进行卷积得到三个通道对应的特征图；
再使用64个1*1逐点卷积核对这三个特征图进行卷积操作，得到64个输出特征图；
将Conv2替换为深度卷积层Conv2_dw和驻点卷积层Conv2_pw，最后进行池化核大小为2*2、步长为2的池化操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010299263.2A CN111582049A (zh) | 2020-04-16 | 2020-04-16 | 一种基于ros自建无人车的端到端自动驾驶方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010299263.2A CN111582049A (zh) | 2020-04-16 | 2020-04-16 | 一种基于ros自建无人车的端到端自动驾驶方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111582049A true CN111582049A (zh) | 2020-08-25 |
Family
ID=72117487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010299263.2A Pending CN111582049A (zh) | 2020-04-16 | 2020-04-16 | 一种基于ros自建无人车的端到端自动驾驶方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111582049A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112149533A (zh) * | 2020-09-10 | 2020-12-29 | 上海电力大学 | 一种基于改进ssd模型的目标检测方法 |
| CN113076815A (zh) * | 2021-03-16 | 2021-07-06 | 西南交通大学 | 一种基于轻量级神经网络的自动驾驶方向预测方法 |
| CN113723377A (zh) * | 2021-11-02 | 2021-11-30 | 南京信息工程大学 | 一种基于ld-ssd网络的交通标志检测方法 |
| CN116048096A (zh) * | 2023-02-23 | 2023-05-02 | 南京理工大学 | 一种基于层次化深度感知的无人车运动规划方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180137406A1 (en) * | 2016-11-15 | 2018-05-17 | Google Inc. | Efficient Convolutional Neural Networks and Techniques to Reduce Associated Computational Costs |
| CN109886079A (zh) * | 2018-12-29 | 2019-06-14 | 杭州电子科技大学 | 一种车辆检测与跟踪方法 |
| CN109886359A (zh) * | 2019-03-25 | 2019-06-14 | 西安电子科技大学 | 基于卷积神经网络的小目标检测方法及检测模型 |
| CN110544251A (zh) * | 2019-09-08 | 2019-12-06 | 刘凡 | 基于多迁移学习模型融合的大坝裂缝检测方法 |
-
2020
- 2020-04-16 CN CN202010299263.2A patent/CN111582049A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180137406A1 (en) * | 2016-11-15 | 2018-05-17 | Google Inc. | Efficient Convolutional Neural Networks and Techniques to Reduce Associated Computational Costs |
| CN109886079A (zh) * | 2018-12-29 | 2019-06-14 | 杭州电子科技大学 | 一种车辆检测与跟踪方法 |
| CN109886359A (zh) * | 2019-03-25 | 2019-06-14 | 西安电子科技大学 | 基于卷积神经网络的小目标检测方法及检测模型 |
| CN110544251A (zh) * | 2019-09-08 | 2019-12-06 | 刘凡 | 基于多迁移学习模型融合的大坝裂缝检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| MARIUSZ BOJARSKI: "End to End Learning for Self-Driving Cars", 《ARXIV:1604.07316V1》 * |
| 余良凯: "基于深度学习的机场场面目标检测", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》 * |
| 朱玉刚: "融合深度学习的无人驾驶多目标检测算法", 《软件导刊》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112149533A (zh) * | 2020-09-10 | 2020-12-29 | 上海电力大学 | 一种基于改进ssd模型的目标检测方法 |
| CN113076815A (zh) * | 2021-03-16 | 2021-07-06 | 西南交通大学 | 一种基于轻量级神经网络的自动驾驶方向预测方法 |
| CN113076815B (zh) * | 2021-03-16 | 2022-09-27 | 西南交通大学 | 一种基于轻量级神经网络的自动驾驶方向预测方法 |
| CN113723377A (zh) * | 2021-11-02 | 2021-11-30 | 南京信息工程大学 | 一种基于ld-ssd网络的交通标志检测方法 |
| CN116048096A (zh) * | 2023-02-23 | 2023-05-02 | 南京理工大学 | 一种基于层次化深度感知的无人车运动规划方法 |
| CN116048096B (zh) * | 2023-02-23 | 2024-04-30 | 南京理工大学 | 一种基于层次化深度感知的无人车运动规划方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111582049A (zh) | 一种基于ros自建无人车的端到端自动驾驶方法 | |
| CN111061277B (zh) | 一种无人车全局路径规划方法和装置 | |
| CN110007675B (zh) | 一种基于行车态势图的车辆自动驾驶决策***及基于无人机的训练集制备方法 | |
| CN110737968B (zh) | 基于深层次卷积长短记忆网络的人群轨迹预测方法及*** | |
| CN111797983A (zh) | 一种神经网络构建方法以及装置 | |
| CN109255286B (zh) | 基于深度学习网络框架的无人机光学快速检测识别方法 | |
| CN107862293A (zh) | 基于对抗生成网络的雷达生成彩色语义图像***及方法 | |
| US11755918B2 (en) | Fast CNN classification of multi-frame semantic signals | |
| CN108520238B (zh) | 一种基于深度预测编码网络的夜视图像的场景预测方法 | |
| He et al. | Integrated moment-based LGMD and deep reinforcement learning for UAV obstacle avoidance | |
| CN111401517A (zh) | 一种感知网络结构搜索方法及其装置 | |
| CN112489072B (zh) | 一种车载视频感知信息传输负载优化方法及装置 | |
| CN108288038A (zh) | 基于场景分割的夜间机器人运动决策方法 | |
| CN115285143A (zh) | 一种基于场景分类的自动驾驶车辆导航方法 | |
| CN112464930A (zh) | 目标检测网络构建方法、目标检测方法、装置和存储介质 | |
| CN114266889A (zh) | 图像识别方法及其装置、可读介质和电子设备 | |
| CN111507161B (zh) | 利用合并网络进行异质传感器融合的方法和装置 | |
| CN116909317A (zh) | 基于终端车联网的无人机控制***及方法 | |
| Gao et al. | Autonomous driving based on modified sac algorithm through imitation learning pretraining | |
| CN111611869B (zh) | 一种基于串行深度神经网络的端到端单目视觉避障方法 | |
| CN116820131A (zh) | 一种基于目标感知ViT的无人机跟踪方法 | |
| CN115167463A (zh) | 一种基于神经网络与人工势场法相结合的路径规划方法 | |
| CN114047783A (zh) | 无人机***及无人机仿真*** | |
| CN112818837A (zh) | 一种基于姿态校正和困难样本感知的航拍车辆重识别方法 | |
| CN111627064B (zh) | 一种行人交互友好型的单目避障方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200825 |