CN109615064A - 一种基于时空特征融合递归神经网络的智能车端到端决策方法 - Google Patents

一种基于时空特征融合递归神经网络的智能车端到端决策方法 Download PDF

Info

Publication number
CN109615064A
CN109615064A CN201811498020.0A CN201811498020A CN109615064A CN 109615064 A CN109615064 A CN 109615064A CN 201811498020 A CN201811498020 A CN 201811498020A CN 109615064 A CN109615064 A CN 109615064A
Authority
CN
China
Prior art keywords
space
time characteristic
feature
network
decision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811498020.0A
Other languages
English (en)
Inventor
程洪
金凡
梁黄黄
赵洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201811498020.0A priority Critical patent/CN109615064A/zh
Publication of CN109615064A publication Critical patent/CN109615064A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于时空特征融合递归神经网络的智能车端到端决策方法，包括建立时空特征融合递归神经网络、建立时空特征融合递归神经网络训练模型和时空特征融合递归神经网络模型测试等三个步骤，在深度神经网络中，特征融合方法能够融合两种甚至多种不同的特征，促进网络收敛，本发明探索了时空特征相加、时空特征相减、时空特征相乘和时空特征级联四种特征融合方法对决策网络的影响，设计了一种基于时空特征融合的智能车决策网络实验证明了在智能车方向盘转角预测问题上，时空特征相加方法优于其它三种特征融合方法，并从反向传播求导的角度详细分析了四种特征融合方法的优劣。

Description

一种基于时空特征融合递归神经网络的智能车端到端决策 方法
技术领域
本发明涉及无人驾驶汽车决策领域，特别涉及一种基于时空特征融合递归神经网络的智能车端到端决策方法。
背景技术
智能车决策模块根据***的输入量计算决策值，保证智能车辆安全稳定地行驶。传统的智能车决策方法利用车辆感知模块计算的车道线信息、车辆信息计算决策值，其决策好坏很大程度上依赖于输入信息。将智能车决策过程分解为车道线检测、车辆检测、根据检测的可行驶区域做决策等部分并不能保证整个***获得最优解。而基于深度神经网络的端到端决策方法根据输入图像直接计算决策量，将感知认知过程统一到决策过程中；在深度神经网络中，特征融合方法能够融合两种甚至多种不同的特征，促进网络收敛，不同的特征融合方式会形成不同的融合特征，有的融合特征能够促进网络的学习，有的则会抑制网络的学习，那么探索出什么样的特征融合方法能够帮助网络学习，什么样的特征融合方法会抑制网络的学习，找出适合智能车决策网络的特征融合方法，通过特征融合，可以增加网络前面的神经层和后面的神经层之间的联系，这使得特征信息能够更加快速地在网络中流动，会帮助我们更准确地预测决策量。
发明内容
本发明的目的在于克服现有技术的不足，在时空约束网络的基础上提供一种基于时空特征融合递归神经网络的智能车端到端的决策方法，使用时空特征相加的方法融合成新特征，能够促进网络学习，能更精确地预测方向盘转角值。
本发明的目的是通过以下技术方案来实现的：
一种基于时空特征融合递归神经网络的智能车端到端决策方法，包括以下步骤：
S1、建立时空特征融合递归神经网络，所述时空特征融合递归神经网络包括卷积层、LSTM层、Pooling池化层、Merge合并层和全连接层，所述卷积层提取空间位置特征向量与LSTM层提取时间上下文特征向量后通过Pooling池化层进行特征池化方法以减少网络参数，所述Merge合并层将所述空间位置特征向量和时间上下文特征向量分别通过时空特征相加、时空特征相减、时空特征相乘和时空特征级联四种特征融合方法生成四种新的融合特征向量，将所述四种新的融合特征向量传给所述全连接层进行信息提取整合得到决策量；
S2、建立时空特征融合递归神经网络训练模型，输入决策量数据建立Comma.ai数据集和Udacity数据集,所述数据集包括训练集和测试集，所述训练集用于训练所述四种特征融合方法形成的决策网络，记录校验损失函数值并保存每一步的模型权重值，画出loss损失函数曲线，找到校验损失函数值最小时的迭代步数和模型权重值，使用交叉验证的方法调整模型的超参数，找出最好的模型；
S3、时空特征融合递归神经网络模型测试，在测试集上测试所述决策网络的权重值，预测智能车方向盘转角的效果，比较预测值与基准值之间的差距，计算测试场景中预测值与基准值之间的均方误差根，均方误差根越低代表预测曲线与基准曲线越接近，比较预测曲线与基准曲线的相似程度，相似程度越高说明决策网络的预测行为越接近熟练驾驶员的驾驶习惯，选出均方误差根最小和相似程度最高的预测曲线作为最终模型权重。
进一步地，所述特征池化方法采用Global Average Pooling池化方法，计算公式如下：
其中表示长和宽都为k的矩形区域的池化输出值，i和j分别表示输入像素的横坐标和纵坐标，最大值池化是取一个区域中像素最大的那个作为输出，平均值池化是取一个区域中所有像素的平均值作为输出。
进一步地，所述四种特征融合方法加上是否去掉空间位置约束形成的八个决策网络，所述八个网络分别是时空特征相加网络、无空间位置约束的时空特征相加网络、时空特征相减网络、无空间位置约束的时空特征相减网络、时空特征相乘网络、无空间位置约束的时空特征相乘网络、时空特征级联网络和无空间位置约束的时空特征级联网络。
进一步地，所述全连接层是对输入矩阵做矩阵乘法对特征空间进行变换，把提取整合有用信息，所述全连接层的计算公式如下：
y＝Wx+b
其中，x表示输入向量或矩阵，W表示输入权重矩阵，b表示偏置。
进一步地，所述卷积层后面连接第一全连接层和第二全连接层，所述第一全连接层将卷积层输出的特征图降维成256维的特征向量，第二全连接层将输出向量降维为128，LSTM层的特征向量维度为258，通过全连层将特征向量降维到128，得到与空间位置特征尺寸相同的特征向量。
进一步地，所述第一全连接层和第二全连接层之间设置Dropout层，所述Dropout层中的概率参数设置为0.5。
进一步地，所述Pooling池化层包括卷积池化、后池化、慢池化、局部池化和时间域池化五种池化结构。
本发明的有益效果是：
1)本发明的方法，详细分析了特征相加、特征相减、特征相乘和特征级联四种特征融合方法对网络训练的影响，阐明了反向传播导数值为1的特征融合方式在网络训练过程中更有优势，更容易稳定地收敛。
2)本发明的方法证明了在预测智能车方向盘转角问题上，时空特征相加方法优于其它三种特征融合方法。
3)本发明的方法证明了结合空间位置约束的时空特征融合方法比无空间位置约束的性能更好，能够更好地预测方向盘转角值。
附图说明
图1为本发明的方法的流程图；
图2为本发明的全连接层结构图；
图3为本发明的四种特征融合方法的流程图；
图4为本发明的时空特征融合网络框架图；
图5为本发明的无空间位置约束的时空特征融合网络框架图。
具体实施方式
下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1-5，本发明提供一种技术方案：
一种基于时空特征融合递归神经网络的智能车端到端决策方法，流程如图1所示，包括以下步骤：
步骤一：建立时空特征融合递归神经网络，所述时空特征融合递归神经网络包括卷积层、LSTM层、Pooling池化层、Merge合并层和全连接层，所述卷积层提取空间位置特征向量与LSTM层提取时间上下文特征向量后通过Pooling池化层进行特征池化方法以减少网络参数，所述Merge合并层将所述空间位置特征向量和时间上下文特征向量分别通过时空特征相加、时空特征相减、时空特征相乘和时空特征级联四种特征融合方法生成四种新的融合特征向量，将所述四种新的融合特征向量传给所述全连接层进行信息提取整合得到决策量。
所述Pooling池化层主要用来降采样卷积网络生成的feature maps特征图，缩小特征图的尺寸，减少网络参数。因为特征图中的有些元素是卷积操作过程中重复计算行成的，这使得特征图中保存了大量的冗余信息。如果不进行池化操作，网络需要更多的参数来处理这些冗余元素。随着卷积层数的加深，网络所需要的计算量会快速地增长，这给网络增加许多额外的计算量。常用的池化方法有Max-Pooling、Global Average-Pooling和Stochastic-Pooling三种，我们采用Global Average Pooling池化方法，计算公式如下：
其中表示长和宽都为k的矩形区域的池化输出值，i和j分别表示输入像素的横坐标和纵坐标，最大值池化是取一个区域中像素最大的那个作为输出，平均值池化是取一个区域中所有像素的平均值作为输出。
Stochastic-Pooling池化方法的计算公式如下所示：
其中ak指矩形区域，Rj指的是位置的像素值，Ρi指i位置的概率，Sj指矩形区域的输出值，公式Ρi计算矩形区域中各位置像素对应的概率值，公式Sj表示池化输出值由每个像素对应的概率随机选择出来,根据特征提取理论，造成特征提取误差的原因主要有两点：邻域大小受限造成的估计值方差增大和卷积层参数误差造成估计均值的偏移。通常平均值池化能够减小前一种误差，保留更多图像背景信息,最大值池化能够减小后一种误差，保留更多文理信息。随机池化则处于两者之间。
Merge层主要用来融合两个或者多个张量，融合空间位置特征向量和时间上下文特征向量，并生成新的融合特征供后面的子网络学习，在进行特征融合时，两个输入特征向量要保持尺寸相同。既然智能车行驶场景中的空间位置特征和时间上下文特征能够帮助网络更好地预测决策量，空间特征和时间特征融合后形成的新特征也应该促进网络预测决策量。不同的特征融合方式会形成不同的融合特征，有的融合特征能够促进网络的学习，有的则会抑制网络的学习，本发明旨在探索什么样的特征融合方法能够帮助网络学习，什么样的特征融合方法会抑制网络的学习，找出适合智能车决策网络的特征融合方法，网络中的特征融合也是一种特征重用手段，通过加强网络各层之间的连接促进了网络信息在网络中的传递，这在一定程度上可以减少网络在前向传递过程中损失的特征，特征融合后形成的新特征代表着更加高级的语义信息，它在网络中流动时还可以被后续子网络重用，甚至继续进行特征融合形成更高一级的语义特征。
如图3所示，四种特征融合方法是指：特征相加是指将时间上下文特征中的元素和空间位置特征中对应位置的元素相加，新特征中每个位置的元素由两个输入特征对应位置的元素相加得到，所以新特征同时拥有时间上下文特征的属性和空间上下文特征的属性；特征相减是指将时间上下文特征中的元素与空间位置特征中对应位置的元素作差，形成的新特征会损失掉一部分信息，如果这部分信息是最终决策的关键特征，将在一定程度上影响网络的学习，由于形成了新的特征，新特征对决策网络的促进作用若能弥补特征损失对网络的影响，那么特征相减融合方法依然能够帮助决策网络预测决策量；特征相乘是指将时间上下文特征和空间位置特征中对应位置上的元素相乘，以此获得新特征的方法。不难发现新特征中的元素值将是原始特征元素值的许多倍，如果时间上下文特征的元素值较大，那么特征相乘方法将放大空间位置特征许多倍。同样如果空间位置特征的元素值较大，那么特征相乘方法将放大时间上下文特征许多倍。特征级联是指将空间位置特征的向量串连接到时间上下文特征后面，新特征是原始特征串接的结果，这使得新特征中既有时间上下文特征的属性又有空间位置特征的属性。不同于特征相加这种信息叠加的特征融合方法，特征级联方法只是增加了特征向量维度，由低维度特征融合成高维度特征。如图3所示，四种特征融合方法框图，图中向量(a1,a2…an)和向量(b1,b2…bn)分别指时间上下文特征和空间位置特征，在进行特征融合前，它们的尺寸是相同的,四种特征融合方式都是在特征融合Merge层计算，这让我们做实验时只需要修改Merge层中的特征融合方法，不需要修改网络中的其它部分。
如图5所示，无空间位置约束的时空特征融合网络框架图，所述四种特征融合方法加上是否去掉空间位置约束形成的八个决策网络，所述八个网络分别是时空特征相加网络、无空间位置约束的时空特征相加网络、时空特征相减网络、无空间位置约束的时空特征相减网络、时空特征相乘网络、无空间位置约束的时空特征相乘网络、时空特征级联网络和无空间位置约束的时空特征级联网络。
如图2所示，所述全连接层是对输入矩阵做矩阵乘法对特征空间进行变换，把提取整合有用信息，所述全连接层的计算公式如下：
y＝Wx+b
其中，x表示输入向量或矩阵，W表示输入权重矩阵，b表示偏置。
如图4所示，时空特征融合网络框架图，为了让空间位置的特征向量的尺寸与时间上下文的特征向量的尺寸相同，所述卷积层后面连接第一全连接层和第二全连接层，所述第一全连接层将卷积层输出的特征图降维成256维的特征向量，第二全连接层将输出向量降维为128，LSTM层的特征向量维度为258，通过全连层将特征向量降维到128，得到与空间位置特征尺寸相同的特征向量，改变Merge层中的特征融合方法，即可获得不同种类的时空特征融合向量，获得的融合向量传给最后一个全连接层，这个全连接层将输入向量将维到1，即为我们需要的决策量。
优选地，为了避免时空特征融合网络过拟合，所述第一全连接层和第二全连接层之间设置Dropout层，所述Dropout层中的概率参数设置为0.5。
优选地，所述Pooling池化层包括卷积池化、后池化、慢池化、局部池化和时间域池化五种池化结构，所有的池化操作采用最大值池化，因为最大值池化网络训练时会产生更多稀疏更新，能够加速网络的学习过程。
步骤二：建立时空特征融合递归神经网络训练模型，输入决策量数据建立Comma.ai数据集和Udacity数据集,所述数据集包括训练集和测试集，所述训练集用于训练所述四种特征融合方法形成的决策网络，记录校验损失函数值并保存每一步的模型权重值，画出loss损失函数曲线，找到校验损失函数值最小时的迭代步数和模型权重值，使用交叉验证的方法调整模型的超参数，找出最好的模型，时空特征相加融合方法在Commai数据集和Udacity数据集上都有较好表现，其在测试集上的均方误差值都小于其它三种特征融合方法，证明了时空特征相加方法可以促进决策网络预测方向盘转角值。因为其反向传播导数为1，信息叠加式的特征融合方法在网络训练过程中获得了极大的优势，能够稳定地学习有用特征。相比无特征融合方法，它增加了一条信息流动的通道，让网络前后层之间的联系更加紧密。这些都增强了决策网络的表达能力，让网络在训练过程中能够学到更加高级的语义信息，使网络的预测效果更接近人类熟练驾驶员，在Commai数据集上的实验结果显示时空特征相加方法优于之前的决策网络。在Udacity数据集上的实验证明了时空特征相加方法优于其它三种特征融合方法。
步骤三：时空特征融合递归神经网络模型测试，在测试集上测试所述决策网络的权重值，预测智能车方向盘转角的效果，比较预测值与基准值之间的差距，计算测试场景中预测值与基准值之间的均方误差根，均方误差根越低代表预测曲线与基准曲线越接近，比较预测曲线与基准曲线的相似程度，相似程度越高说明决策网络的预测行为越接近熟练驾驶员的驾驶习惯，选出均方误差根最小和相似程度最高的预测曲线作为最终模型权重。
本发明设计的时空特征融合网络主要考虑了以下几点因素：一是卷积网络提取的空间位置特征能够帮助决策网络决策，当它以快捷连接的方式传给后面子网络时，能够增加网络的信息量；二是决策网络前面的神经网络层学习的特征会在向后传递的过程中损失，特征融合能够重新利用这一部分信息，理论上可以促进决策网络的学习；三是融合特征相比于单独的时间上下文特征和空间位置特征拥有更多信息，它同时具有未融合前的两种特征的属性，是更加高级的语义特征信息；四是通过特征融合，可以增加网络前面的神经层和后面的神经层之间的联系，这使得特征信息能够更加快速地在网络中流动。
本发明的实验的硬件环境是：超微SYS-7048GR-TR服务器，X10DRG-Q主板，4块Titan X显卡和1块内置显卡，本实验的软件环境是：Ubuntu16.04操作***，Keras2.1.1深度学***台。时空特征相加融合方法在Commai数据集和Udacity数据集上都有较好的表现，其在测试集上的均方误差值都小于其它三种特征融合方法，证明了时空特征相加方法可以促进决策网络预测方向盘转角值。因为其反向传播导数为1，信息叠加式的特征融合方法在网络训练过程中获得了极大的优势，能够稳定地学习有用特征。相比无特征融合方法，它增加了一条信息流动的通道，让网络前后层之间的联系更加紧密。这些都增强了决策网络的表达能力，让网络在训练过程中能够学到更加高级的语义信息，使网络的预测效果更接近人类熟练驾驶员，在Commai数据集上的实验结果显示时空特征相加方法优于之前的决策网络，在Udacity数据集上的实验证明了时空特征相加方法优于其它三种特征融合方法。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (7)

1.一种基于时空特征融合递归神经网络的智能车端到端决策方法，其特征在于，包括以下步骤：
S1、建立时空特征融合递归神经网络，所述时空特征融合递归神经网络包括卷积层、LSTM层、Pooling池化层、Merge合并层和全连接层，所述卷积层提取空间位置特征向量与LSTM层提取时间上下文特征向量后通过Pooling池化层进行特征池化方法以减少网络参数，所述Merge合并层将所述空间位置特征向量和时间上下文特征向量分别通过时空特征相加、时空特征相减、时空特征相乘和时空特征级联四种特征融合方法生成四种新的融合特征向量，将所述四种新的融合特征向量传给所述全连接层进行信息提取整合得到决策量；
S2、建立时空特征融合递归神经网络训练模型，输入决策量数据建立Comma.ai数据集和Udacity数据集,所述数据集包括训练集和测试集，所述训练集用于训练所述四种特征融合方法形成的决策网络，记录校验损失函数值并保存每一步的模型权重值，画出loss损失函数曲线，找到校验损失函数值最小时的迭代步数和模型权重值，使用交叉验证的方法调整模型的超参数，找出最好的模型；
S3、时空特征融合递归神经网络模型测试，在测试集上测试所述决策网络的权重值，预测智能车方向盘转角的效果，比较预测值与基准值之间的差距，计算测试场景中预测值与基准值之间的均方误差根，均方误差根越低代表预测曲线与基准曲线越接近，比较预测曲线与基准曲线的相似程度，相似程度越高说明决策网络的预测行为越接近熟练驾驶员的驾驶习惯，选出均方误差根最小和相似程度最高的预测曲线作为最终模型权重。
2.根据权利要求1所述的基于时空特征融合递归神经网络的智能车端到端决策方法，其特征在于：所述特征池化方法采用Global Average Pooling池化方法，计算公式如下：
其中表示长和宽都为k的矩形区域的池化输出值，i和j分别表示输入像素的横坐标和纵坐标，最大值池化是取一个区域中像素最大的那个作为输出，平均值池化是取一个区域中所有像素的平均值作为输出。
3.根据权利要求2所述的基于时空特征融合递归神经网络的智能车端到端决策方法，其特征在于：所述四种特征融合方法加上是否去掉空间位置约束形成的八个决策网络，所述八个网络分别是时空特征相加网络、无空间位置约束的时空特征相加网络、时空特征相减网络、无空间位置约束的时空特征相减网络、时空特征相乘网络、无空间位置约束的时空特征相乘网络、时空特征级联网络和无空间位置约束的时空特征级联网络。
4.根据权利要求3所述的基于时空特征融合递归神经网络的智能车端到端决策方法，其特征在于：所述全连接层是对输入矩阵做矩阵乘法对特征空间进行变换，把提取整合有用信息，所述全连接层的计算公式如下：
y＝Wx+b
其中，x表示输入向量或矩阵，W表示输入权重矩阵，b表示偏置。
5.根据权利要求2所述的基于时空特征融合递归神经网络的智能车端到端决策方法，其特征在于：所述卷积层后面连接第一全连接层和第二全连接层，所述第一全连接层将卷积层输出的特征图降维成256维的特征向量，第二全连接层将输出向量降维为128，LSTM层的特征向量维度为258，通过全连层将特征向量降维到128，得到与空间位置特征尺寸相同的特征向量。
6.根据权利要求5所述的基于时空特征融合递归神经网络的智能车端到端决策方法，其特征在于，所述第一全连接层和第二全连接层之间设置Dropout层，所述Dropout层中的概率参数设置为0.5。
7.根据权利要求1所述的基于时空特征融合递归神经网络的智能车端到端决策方法，其特征在于：所述Pooling池化层包括卷积池化、后池化、慢池化、局部池化和时间域池化五种池化结构。
CN201811498020.0A 2018-12-07 2018-12-07 一种基于时空特征融合递归神经网络的智能车端到端决策方法 Withdrawn CN109615064A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811498020.0A CN109615064A (zh) 2018-12-07 2018-12-07 一种基于时空特征融合递归神经网络的智能车端到端决策方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811498020.0A CN109615064A (zh) 2018-12-07 2018-12-07 一种基于时空特征融合递归神经网络的智能车端到端决策方法

Publications (1)

Publication Number Publication Date
CN109615064A true CN109615064A (zh) 2019-04-12

Family

ID=66007503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811498020.0A Withdrawn CN109615064A (zh) 2018-12-07 2018-12-07 一种基于时空特征融合递归神经网络的智能车端到端决策方法

Country Status (1)

Country Link
CN (1) CN109615064A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119709A (zh) * 2019-05-11 2019-08-13 东南大学 一种基于时空特性的驾驶员行为识别方法
CN110309961A (zh) * 2019-06-20 2019-10-08 京东城市(北京)数字科技有限公司 火灾预警方法和装置
CN110543536A (zh) * 2019-08-20 2019-12-06 浙江大华技术股份有限公司 时空轨迹向量构建方法、终端设备及计算机存储介质
CN115688011A (zh) * 2022-12-30 2023-02-03 西安易诺敬业电子科技有限责任公司 一种基于文本和语义嵌入的旋转机械复合故障识别方法
CN117041168A (zh) * 2023-10-09 2023-11-10 常州楠菲微电子有限公司 QoS队列调度实现方法、装置、存储介质及处理器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609765A (zh) * 2012-03-22 2012-07-25 北京工业大学 基于多项式及rbf神经网络的智能车辆换道路径规划方法
EP2610836A1 (en) * 2011-12-30 2013-07-03 Seat, S.A. Device and method for the on-line prediction of the driving cycle in an automotive vehicle
CN105346542A (zh) * 2015-12-01 2016-02-24 电子科技大学 一种汽车低速跟随驾驶辅助***及其决策方法
CN106066644A (zh) * 2016-06-17 2016-11-02 百度在线网络技术（北京）有限公司 建立智能车辆控制模型的方法、智能车辆控制方法及装置
CN107368890A (zh) * 2016-05-11 2017-11-21 Tcl集团股份有限公司 一种以视觉为中心的基于深度学习的路况分析方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2610836A1 (en) * 2011-12-30 2013-07-03 Seat, S.A. Device and method for the on-line prediction of the driving cycle in an automotive vehicle
CN102609765A (zh) * 2012-03-22 2012-07-25 北京工业大学 基于多项式及rbf神经网络的智能车辆换道路径规划方法
CN105346542A (zh) * 2015-12-01 2016-02-24 电子科技大学 一种汽车低速跟随驾驶辅助***及其决策方法
CN107368890A (zh) * 2016-05-11 2017-11-21 Tcl集团股份有限公司 一种以视觉为中心的基于深度学习的路况分析方法及***
CN106066644A (zh) * 2016-06-17 2016-11-02 百度在线网络技术（北京）有限公司 建立智能车辆控制模型的方法、智能车辆控制方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FANHUIKONG等: "Construction of intelligent traffic information recommendation system based on long short-term memory", 《JOURNAL OF COMPUTATIONAL SCIENCE》 *
岳喜斌: "基于深度学习的智能车场景解析算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *
金凡: "基于时空递归神经网络的智能车端到端决策研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119709A (zh) * 2019-05-11 2019-08-13 东南大学 一种基于时空特性的驾驶员行为识别方法
CN110119709B (zh) * 2019-05-11 2021-11-05 东南大学 一种基于时空特性的驾驶员行为识别方法
CN110309961A (zh) * 2019-06-20 2019-10-08 京东城市(北京)数字科技有限公司 火灾预警方法和装置
CN110543536A (zh) * 2019-08-20 2019-12-06 浙江大华技术股份有限公司 时空轨迹向量构建方法、终端设备及计算机存储介质
CN115688011A (zh) * 2022-12-30 2023-02-03 西安易诺敬业电子科技有限责任公司 一种基于文本和语义嵌入的旋转机械复合故障识别方法
CN117041168A (zh) * 2023-10-09 2023-11-10 常州楠菲微电子有限公司 QoS队列调度实现方法、装置、存储介质及处理器

Similar Documents

Publication Publication Date Title
CN109615064A (zh) 一种基于时空特征融合递归神经网络的智能车端到端决策方法
Lin et al. Cascaded feature network for semantic segmentation of RGB-D images
Michieli et al. Adversarial learning and self-teaching techniques for domain adaptation in semantic segmentation
CN108985269A (zh) 基于卷积和空洞卷积结构的融合网络驾驶环境感知模型
CN105930402A (zh) 基于卷积神经网络的视频检索方法及***
CN106937120B (zh) 基于对象的监控视频浓缩方法
CN103578119A (zh) 基于超像素的Codebook动态场景中目标检测方法
CN109285162A (zh) 一种基于局部区域条件随机场模型的图像语义分割方法
CN101883209B (zh) 一种背景模型与三帧差分相结合进行视频背景检测的方法
CN111832453B (zh) 基于双路深度神经网络的无人驾驶场景实时语义分割方法
CN105872345A (zh) 基于特征匹配的全帧电子稳像方法
Yang et al. A vehicle license plate recognition system based on fixed color collocation
CN108550132B (zh) 一种图像协同显著目标检测方法
CN106203423A (zh) 一种融合上下文探测的弱结构感知视觉目标跟踪方法
CN110909741A (zh) 一种基于背景分割的车辆再识别方法
CN112489050A (zh) 一种基于特征迁移的半监督实例分割算法
CN107506765A (zh) 一种基于神经网络的车牌倾斜校正的方法
CN106203628A (zh) 一种增强深度学习算法鲁棒性的优化方法和***
CN107506792A (zh) 一种半监督的显著对象检测方法
CN116863319B (zh) 基于跨尺度建模和交替细化的复制移动篡改检测方法
Du et al. Real-time detection of vehicle and traffic light for intelligent and connected vehicles based on YOLOv3 network
CN103218771B (zh) 基于自回归模型深度恢复的参数自适应选取方法
CN107194948A (zh) 基于集成式预测与时空域传播的视频显著性检测方法
CN115830575A (zh) 一种基于Transformer与跨维度注意力的交通标志检测方法
Xia et al. Single image rain removal via a simplified residual dense network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190412

WW01 Invention patent application withdrawn after publication