CN109388135A - 使用深度时空学习的自主操作 - Google Patents

使用深度时空学习的自主操作 Download PDF

Info

Publication number
CN109388135A
CN109388135A CN201810859895.2A CN201810859895A CN109388135A CN 109388135 A CN109388135 A CN 109388135A CN 201810859895 A CN201810859895 A CN 201810859895A CN 109388135 A CN109388135 A CN 109388135A
Authority
CN
China
Prior art keywords
output
controller
vehicle
convolution
control signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810859895.2A
Other languages
English (en)
Inventor
P·帕拉尼萨梅
U·P·穆达里戈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN109388135A publication Critical patent/CN109388135A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2900/00—Indexing codes relating to the purpose of, or problem solved of road vehicle drive control systems not otherwise provided for in groups B60W30/00

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种执行车辆的自主操作的***和方法，包括从对应的一个或多个传感器获取针对时间实例t的一个或多个图像帧。处理一个或多个图像帧，包括执行卷积处理以得到多维矩阵xt。所述方法包括对多维矩阵xt进行操作以获得输出ht。所述操作包括使用针对先前时间实例t‑1的操作的输出ht‑1。所述方法还包括，对输出ht进行后处理，以得到一个或多个控制信号，从而影响车辆的操作。

Description

使用深度时空学习的自主操作
引言
本发明涉及使用深度时空学习的自主操作。
自主车辆***可以强化例如制动、转向、停车，或者甚至是端到端驾驶之类的驾驶任务或将其自动化。这些自主车辆***中的许多依赖于分层架构，所述分层架构涉及获得传感器数据、融合来自不同传感器的传感器数据、确定环境条件、规划，以及最终发出进行所规划的动作的命令。神经网络已经用于直接基于传感器输入而发出命令。这些神经网络通常是深度神经网络，其具有隐藏的层，例如用于处理成组的图像。这些神经网络在逐帧的基础上运行，使得在考虑空间处理但不考虑时间处理的情况下发出命令。因此，期望提供使用深度时空学习的自主操作。
发明内容
在一个示例性实施例中，一种执行车辆的自主操作的方法包括从对应的一个或多个传感器获取针对时间实例t的一个或多个图像帧，并且处理一个或多个图像帧，该处理包括执行卷积处理，以得到多维矩阵xt。该方法还包括对多维矩阵xt进行操作以获得输出ht，其中该操作包括使用针对先前时间实例t-1的操作的输出ht-1，并且对输出ht进行后处理，以得到一个或多个控制信号，从而影响车辆的操作。
除了在此描述的一个或多个特征之外，处理一个或多个图像帧包括在执行卷积处理之前对一个或多个图像帧中的每一个进行归一化。
除了在此描述的一个或多个特征之外，执行卷积处理包括通过N个核矩阵执行N次连续卷积，其中初始时核矩阵具有随机值和预定义的尺寸和维度。
除了在此描述的一个或多个特征之外，使用针对先前时间实例t-1的操作的输出ht-1对多维矩阵xt进行操作包括使用权重来执行非线性函数的计算。
除了在此描述的一个或多个特征之外，在训练模式中将一个或多个控制信号分别与一个或多个实际控制信号进行比较。
除了在此描述的一个或多个特征之外，基于比较来优化权重。
除了在此描述的一个或多个特征之外，对输出ht进行后处理以得到一个或多个控制信号包括将输出ht转换为单维向量，并将单维向量映射到一个或多个控制信号。
除了在此描述的一个或多个特征之外，将一个或多个控制信号提供给车辆的车辆控制***。
除了在此描述的一个或多个特征之外，将一个或多个控制信号提供给车辆的自主转向***。
除了在此描述的一个或多个特征之外，提供一个或多个控制信号包括提供转向、油门水平或制动信号中的一个或多个。
在另一示例性实施例中，用于执行车辆的自主操作的***包括一个或多个传感器以获得针对时间实例t的一个或多个图像帧。该***还包括控制器，用于对一个或多个图像帧进行处理，包括执行卷积处理以获得多维矩阵xt，对多维矩阵xt进行操作，以得到输出ht。操作的输出ht-1用于先前的时间实例t-1，并对输出ht进行后处理，以得到一个或多个控制信号，从而影响车辆的操作。
除了在此描述的一个或多个特征之外，控制器通过在执行卷积处理之前对一个或多个图像帧中的每一个进行归一化来处理一个或多个图像帧。
除了在此描述的一个或多个特征之外，控制器执行卷积处理，包括通过N个核矩阵执行N次连续卷积。初始时核矩阵具有随机值和固定的尺寸和维度。
除了在此描述的一个或多个特征之外，控制器使用权重来执行非线性函数的计算，从而使用针对先前时间实例t-1的操作的输出ht-1对多维矩阵xt进行操作。
除了在此描述的一个或多个特征之外，控制器在训练模式中将一个或多个控制信号分别与一个或多个实际控制信号进行比较。
除了在此描述的一个或多个特征之外，控制器基于比较来优化权重。
除了在此描述的一个或多个特征之外，通过将输出ht转换为单维向量，并将单维向量映射到一个或多个控制信号，控制器对输出ht进行后处理以得到一个或多个控制信号。
除了在此描述的一个或多个特征之外，控制器将一个或多个控制信号提供给车辆的车辆控制***。
除了在此描述的一个或多个特征之外，车辆控制***是车辆的自主转向***。
除了在此描述的一个或多个特征之外，一个或多个控制信号为转向、油门水平或制动信号中的一个或多个。
当结合附图时，根据以下的详细描述，本发明的以上特征和优点以及其他特征和优点将变得非常清楚。
附图说明
在下面的详细描述中，其他特征、优点和细节仅作为示例而出现，详细描述将参考附图，其中：
图1是自主车辆***的框图，自主车辆***具有根据一个或多个实施例的使用深度时空学习的自主驾驶架构；
图2是根据一个或多个实施例的神经网络架构的流程框图；
图3是选通时空单元的功能性的框图，选通时空单元是根据一个或多个实施例的神经网络架构的一部分；以及
图4是训练和使用根据一个或多个实施例的神经网络架构的过程流程。
具体实施方式
以下描述本质上仅仅是示例性的，并不旨在限制本发明、其应用或用途。
如前所述，神经网络可以接收传感器输入并提供命令以控制自主驾驶的方面。在自主驾驶***中，例如制动、油门水平、转向，或者变速，或者它们的任何组合均可以基于由神经网络所生成的控制信号来进行控制。在逐帧的基础上进行神经网络处理时，所得到的自主驾驶命令可能导致粗略行驶而不是平滑操作。本文详细描述的***和方法的实施例涉及将图像像素转换成控制信号的神经网络。神经网络的架构基于存储元件而实现深度时空学***滑的过渡。尽管为了说明的目的特别讨论了转向控制，本文中详细描述的架构的一个或多个实施例也可应用于其他的自主驾驶***，诸如油门、变速和制动控制。
根据示例性实施例，图1是自主车辆***的框图，自主车辆***具有使用深度时空学***。构成转向控制的所有部件都由图1所示的转向***130表示。
控制器110包括根据一个或多个实施例的神经网络架构。控制器110包括处理电路、组合逻辑电路，和/或提供所描述的功能的其他合适的部件，处理电路可以包括专用集成电路(ASIC)、电子电路、处理器115(共享、专用或成组的)以及存储器120，存储器120执行如图1所示的一个或多个软件程序或固件程序。参考图2概述了由控制器110实施的神经网络架构。
图2是根据一个或多个实施例的由控制器110来实施的神经网络架构的流程框图。如参照图1所述，图2所详细描述的神经网络架构是控制器110的一部分，根据为了解释目的而讨论的示例性情况，神经网络架构有助于这样的自主车辆***，自主车辆***具有使用深度重复学习的自主转向架构。所示出的处理框针对于执行处理的k+1个时间实例中的三个时间实例(t0，t0+1，t0+k)。在每个时间实例中，在框210处获得图像帧205(来自每个传感器150的一个图像帧205)。在框220处，对在框210处获得的图像帧205进行归一化。已知处理涉及将与每个图像帧相关联的像素矩阵的强度(例如0-255的灰度强度范围)归一化，或将其映射到归一化的值中(例如0-1)，以便生成针对每个图像帧的归一化的像素矩阵215。
在框230处，通过核矩阵(kernell)对归一化的像素矩阵215执行卷积处理。卷积的结果conv1 225是框240处的卷积的输入。通过另一个核矩阵(kernel2)对由框230处的卷积所得到的conv1 225的矩阵进行卷积，得到conv2 235。conv2 235继而成为框250处的另一次卷积的输入。通过另一个核矩阵(kernel3)对由框240处的卷积所得到的conv2 235的矩阵进行卷积，得到conv3 245。
以此方式，框260处的卷积是使用核矩阵(kernel)进行的N次卷积，并且得到convN255(称为输入xt)。N的值(即卷积处理的数目)是一次或多次，并且N的值一旦确定，对于每个时间实例中的对图像帧205的处理而言，N的值便是相同的。每个核矩阵(kernell到kernelN)的尺寸、维度和值是可定制的。初始时，每个核矩阵的值是随机的，而尺寸和维度则是固定的(预定义的)。例如，可以使用诸如高斯锥的已知的金字塔方法来确定固定的尺寸和维度。每次卷积处理的结果(convl 225至convN 255)是多维矩阵，多维矩阵是LxL的矩阵(例如256乘256)。因此，xt是LxL的矩阵。
N次卷积处理表示神经网络处理的空间维度。多个时间实例(t0，t0+1，...，t0+k)表示神经网络处理的时间维度。如图3所详细展示，在框260处，存储器单元(MU)270处理最后一次(第N次)卷积处理的输出(xt)和结果(ht-1)，该结果(ht-1)在先前的时间步骤中(除了t＝t0的情况之外)来自MU 270。对来自先前的时间步骤的结果的使用表示重复的(时间)方面的学***坦化和映射处理，以产生控制信号290。平坦化意指将MU 270输出的多维矩阵ht转换为单维向量。映射包括非线性映射函数，以将由平坦化所产生的单维向量转换为控制信号290，控制信号290被最终提供给车辆***140。
图3是MU 270的功能的框图，MU 270是根据一个或多个实施例的神经网络架构的一部分。每个MU 270用作神经网络的神经元。在给定的时间实例t中，MU 270接收最后一次(第N次)卷积处理的输出(xt)。当时间步骤t是除了第一时间步骤之外的任何时间步骤时(即当t≠t0时)，MU 270还接收来自先前的时间步骤的输出或MU 270的结果(ht-1)。当提供多个控制信号290时，可以在每个时间步骤中使用单个的MU 270，如图2的示例性实施例所示，由单维向量映射(在框280处)输出多个控制信号290(例如转向、油门水平、制动、变速)，而不是单一控制信号290。根据可选的实施例，单独的MU 270可以生成每个控制信号290。
在MU 270内所执行的操作包括rt、zt和ot的计算，如下所示。
zt＝φ1(Wz·[ht-1，xt]) [式1]
rt＝φ2(Wr·[ht-1，xt]) [式2]
ot＝φ3(Wo·[rr*ht-1，xt]) [式3]
如参考图4所详细描述的，在式1到式3中，Wz、Wr和Wo是在每个时间步骤中所确定的权重。符号φ表示非线性函数，并且φ1、φ2和φ3可以是以下示例性非线性函数之一：
φ(v)＝tanh(v) [式4]
在式4中，tanh是双曲正切，v是函数φ所作用于其上的任何值。
在式6中，c是常数，σ是方差，而p是幂(例如p＝2)。常数c、方差σ和幂p是可调参数，它们可通过实验来确定。使用式1到式3中所显示的计算，MU 270的输出(ht)计算如下：
ht＝(1-zt)*ht-1+zt*ot [式7]
如图3所示，在框280处提供MU 270的输出ht以用于平坦化和映射，并且还将MU270的输出ht提供给MU 270以用于下一时间实例。在随后的时间实例中对MU 270的输出ht的应用表示根据一个或多个实施例的自主操作架构的时间方面。
图4是训练和使用根据一个或多个实施例的神经网络架构的过程流程。如参考图2所讨论的那样，在框210处获得图像帧205，包括在时间实例t中从M个传感器150获得图像帧205，传感器150布置在车辆100的不同位置处。传感器150的数量M是一个或多个。在框410处，处理M个图像帧205包括执行在框220处示出的归一化和在图2中的框220到260处示出的N个卷积处理。在框420处，执行MU 270的功能和后处理包括执行参考图3所讨论的功能(在框270处)以获得输出ht，并且还执行平坦化和映射(在框280处)以获得一个或多个控制信号290。在框430处，执行检查，检查在框420处所生成的一个或多个控制信号290是否以训练模式生成。如果没有生成用于训练的一个或多个控制信号290，则在框440处提供一个或多个控制信号290，这意指将一个或多个控制信号290提供给车辆***140以控制车辆100的操作。
在框450处，获得实际控制信号是指操作车辆100或模拟车辆100的操作，以获得由控制器110所生成的相同类型的控制信号(例如转向、油门水平、制动、变速)，控制器110包括根据本文所详述的一个或多个实施例的神经网络架构。如果生成了用于训练的一个或多个控制信号290(根据框430处的检查)，则在框460处计算损失，这意指将由控制器110所生成的一个或多个控制信号290与在框450处所获得的相同的控制信号进行比较。
在框470处，对参数的优化基于框460处的计算。优化包括修改在N个卷积处理中所使用的kernell到kernelN的值。优化还包括根据需要修改权重Wz、Wr和Wo。优化会在下一个时间实例(t+1)中影响卷积处理或MU 270，或影响两者。权重Wz、Wr和Wo的初始值可以通过许多已知方式确定。例如，可以将值初始化为常量。或者，该值可以从高斯分布、均匀分布，或正态分布中采样，或者初始化为正交矩阵或稀疏矩阵。
已经参考示例性实施例描述了上述公开，本领域技术人员应当理解，在不脱离本发明的范围的情况下，可以进行多种变化和将元件替换为等效物。此外，在不脱离本发明的基本范围的前提下，可进行许多修改，以让特定的情况或材料适应于本发明的教导内容。因此，本发明不应限于所公开的特定实施例，而是包括落入本申请的范围内的所有实施例。

Claims (10)

1.一种执行车辆的自主操作的方法，所述方法包括：
从对应的一个或多个传感器获取针对时间实例t的一个或多个图像帧；
处理所述一个或多个图像帧，所述处理包括执行卷积处理，以得到多维矩阵xt；
对所述多维矩阵xt进行操作以获得输出ht，其中所述操作包括使用针对先前时间实例t-1的操作的输出ht-1；并且
对所述输出ht进行后处理，以得到一个或多个控制信号，从而影响所述车辆的操作。
2.根据权利要求1所述的方法，其中，所述处理一个或多个图像帧包括在执行卷积处理之前对所述一个或多个图像帧中的每一个进行归一化，所述执行卷积处理包括通过N个核矩阵执行N次连续卷积，其中初始时所述核矩阵具有随机值和预定义的尺寸和维度。
3.根据权利要求1所述的方法，其中，使用针对所述先前时间实例t-1的操作的输出ht-1对所述多维矩阵xt进行操作包括使用权重来执行非线性函数的计算，在训练模式中将所述一个或多个控制信号分别与一个或多个实际控制信号进行比较，基于所述比较来优化权重。
4.根据权利要求1所述的方法，其中，所述对所述输出ht进行后处理以得到一个或多个控制信号包括将所述输出ht转换为单维向量，并将所述单维向量映射到所述一个或多个控制信号。
5.根据权利要求1所述的方法，还包括将所述一个或多个控制信号提供给所述车辆的车辆控制***，将所述一个或多个控制信号提供给所述车辆的自主转向***，作为转向、油门水平、变速或制动信号。
6.一种用于执行车辆的自主操作的***，所述***包括：
一个或多个传感器，所述一个或多个传感器配置成获得针对时间实例t的一个或多个图像帧；
控制器，所述控制器配置成对所述一个或多个图像帧进行处理，包括执行卷积处理以获得多维矩阵xt，所述控制器还配置成对所述多维矩阵xt进行操作，以得到输出ht，其中所述操作包括使用针对先前时间实例t-1的操作的输出ht-1，所述控制器还配置成对所述输出ht进行后处理，以得到一个或多个控制信号，从而影响车辆的操作。
7.根据权利要求6所述的***，其中，所述控制器还配置成，通过在执行所述卷积处理之前对所述一个或多个图像帧中的每一个进行归一化来处理所述一个或多个图像帧，并且所述控制器执行卷积处理，包括通过N个核矩阵执行N次连续卷积，其中初始时所述核矩阵具有随机值和固定的尺寸和维度。
8.根据权利要求6所述的***，其中，所述控制器还配置成，使用权重来执行非线性函数的计算，从而使用针对先前时间实例t-1的操作的输出ht-1对多维矩阵xt进行操作，所述控制器还配置成在训练模式中将所述一个或多个控制信号分别与一个或多个实际控制信号进行比较，所述控制器还配置成基于所述比较来优化权重。
9.根据权利要求6所述的***，其中，所述控制器还配置成，通过将所述输出ht转换为单维向量，并将所述单维向量映射到所述一个或多个控制信号，对所述输出ht进行后处理以得到所述一个或多个控制信号。
10.根据权利要求6所述的***，其中，所述控制器还配置成，将所述一个或多个控制信号提供给车辆的车辆控制***，所述车辆控制***是车辆的自主转向***，并且所述一个或多个控制信号为转向、油门水平、制动，或变速控制信号中的一个或多个。
CN201810859895.2A 2017-08-14 2018-07-31 使用深度时空学习的自主操作 Pending CN109388135A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/676,125 US10520940B2 (en) 2017-08-14 2017-08-14 Autonomous operation using deep spatio-temporal learning
US15/676125 2017-08-14

Publications (1)

Publication Number Publication Date
CN109388135A true CN109388135A (zh) 2019-02-26

Family

ID=65274989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810859895.2A Pending CN109388135A (zh) 2017-08-14 2018-07-31 使用深度时空学习的自主操作

Country Status (3)

Country Link
US (1) US10520940B2 (zh)
CN (1) CN109388135A (zh)
DE (1) DE102018119467B4 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10520940B2 (en) * 2017-08-14 2019-12-31 GM Global Technology Operations LLC Autonomous operation using deep spatio-temporal learning
US11203361B2 (en) * 2020-05-05 2021-12-21 StradVision, Inc. Method for performing on-device learning of machine learning network on autonomous vehicle by using multi-stage learning with adaptive hyper-parameter sets and device using the same
JP2023528077A (ja) * 2020-06-05 2023-07-03 ガティック エーアイ インコーポレイテッド 自律エージェントのコンテキスト認識型意思決定を行うための方法およびシステム
JP2023528079A (ja) 2020-06-05 2023-07-03 ガティック エーアイ インコーポレイテッド 自律エージェントのデータドリブンかつモジュラー式の意思決定と経路生成のための方法およびシステム
CA3240477A1 (en) 2021-12-16 2023-06-22 Apeksha Kumavat Method and system for expanding the operational design domain of an autonomous agent

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056628A (zh) * 2016-05-30 2016-10-26 中国科学院计算技术研究所 基于深度卷积神经网络特征融合的目标跟踪方法及***
CN106407931A (zh) * 2016-09-19 2017-02-15 杭州电子科技大学 一种新型深度卷积神经网络运动车辆检测方法
CN106599773A (zh) * 2016-10-31 2017-04-26 清华大学 用于智能驾驶的深度学习图像识别方法、***及终端设备
CN106656637A (zh) * 2017-02-24 2017-05-10 国网河南省电力公司电力科学研究院 一种异常检测方法及装置
CN106845418A (zh) * 2017-01-24 2017-06-13 北京航空航天大学 一种基于深度学习的高光谱图像分类方法
CN106873566A (zh) * 2017-03-14 2017-06-20 东北大学 一种基于深度学习的无人驾驶物流车
CN108133484A (zh) * 2017-12-22 2018-06-08 北京奇虎科技有限公司 基于场景分割的自动驾驶处理方法及装置、计算设备
DE102018119467A1 (de) * 2017-08-14 2019-05-02 GM Global Technology Operations LLC Autonomer betrieb durch tiefes räumlich-zeitliches lernen
US20200142421A1 (en) * 2018-11-05 2020-05-07 GM Global Technology Operations LLC Method and system for end-to-end learning of control commands for autonomous vehicle

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19527323A1 (de) 1995-07-26 1997-01-30 Siemens Ag Schaltungsanordnung zum Steuern einer Einrichtung in einem Kraftfahrzeug
US9286524B1 (en) * 2015-04-15 2016-03-15 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-task deep convolutional neural networks for efficient and robust traffic lane detection
US20170286826A1 (en) * 2016-03-30 2017-10-05 Nec Laboratories America, Inc. Real-time deep learning for danger prediction using heterogeneous time-series sensor data
US9760806B1 (en) * 2016-05-11 2017-09-12 TCL Research America Inc. Method and system for vision-centric deep-learning-based road situation analysis
US10139823B2 (en) * 2016-09-13 2018-11-27 Toyota Motor Engineering & Manufacturing North America, Inc. Method and device for producing vehicle operational data based on deep learning techniques
US10176388B1 (en) * 2016-11-14 2019-01-08 Zoox, Inc. Spatial and temporal information for semantic segmentation

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056628A (zh) * 2016-05-30 2016-10-26 中国科学院计算技术研究所 基于深度卷积神经网络特征融合的目标跟踪方法及***
CN106407931A (zh) * 2016-09-19 2017-02-15 杭州电子科技大学 一种新型深度卷积神经网络运动车辆检测方法
CN106599773A (zh) * 2016-10-31 2017-04-26 清华大学 用于智能驾驶的深度学习图像识别方法、***及终端设备
CN106845418A (zh) * 2017-01-24 2017-06-13 北京航空航天大学 一种基于深度学习的高光谱图像分类方法
CN106656637A (zh) * 2017-02-24 2017-05-10 国网河南省电力公司电力科学研究院 一种异常检测方法及装置
CN106873566A (zh) * 2017-03-14 2017-06-20 东北大学 一种基于深度学习的无人驾驶物流车
DE102018119467A1 (de) * 2017-08-14 2019-05-02 GM Global Technology Operations LLC Autonomer betrieb durch tiefes räumlich-zeitliches lernen
US10520940B2 (en) * 2017-08-14 2019-12-31 GM Global Technology Operations LLC Autonomous operation using deep spatio-temporal learning
CN108133484A (zh) * 2017-12-22 2018-06-08 北京奇虎科技有限公司 基于场景分割的自动驾驶处理方法及装置、计算设备
US20200142421A1 (en) * 2018-11-05 2020-05-07 GM Global Technology Operations LLC Method and system for end-to-end learning of control commands for autonomous vehicle
CN111204346A (zh) * 2018-11-05 2020-05-29 通用汽车环球科技运作有限责任公司 用于自动车辆的控制命令的端对端学习的方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
E.S.GOPI 等: "Neural network based class-conditional probability density function using kernel trick for supervised classifier", 《NEUROCOMPUTING》 *
JEFF DONAHUE 等: "Long-Term Recurrent Convolutional Networks for Visual Recognition and Description", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
王若辰 等: "基于深度学习的目标检测与分割算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
DE102018119467A1 (de) 2019-05-02
US20190049963A1 (en) 2019-02-14
DE102018119467B4 (de) 2023-08-03
US10520940B2 (en) 2019-12-31

Similar Documents

Publication Publication Date Title
CN109388135A (zh) 使用深度时空学习的自主操作
US10510146B2 (en) Neural network for image processing
EP3289529B1 (en) Reducing image resolution in deep convolutional networks
CN105069423B (zh) 一种人体姿态检测方法及装置
JP6742554B1 (ja) 情報処理装置およびそれを備えた電子機器
DE102020102230A1 (de) Missbrauchsindex für erklärbare künstliche intelligenz in computerumgebungen
CN104463209B (zh) 一种基于bp神经网络的pcb板上数字代码识别方法
CN108229647A (zh) 神经网络结构的生成方法和装置、电子设备、存储介质
DE102019135474A1 (de) Zuordnung und quantifizierung des einflusses von features neuronaler netze für explainable artificial intelligence
CN110121713A (zh) 使用神经网络的同时对象检测和刚性变换估计
CN111368972B (zh) 一种卷积层量化方法及其装置
CN110494890A (zh) 卷积神经网络从可见颜色(rbg)到红外(ir)域的迁移学习
TW201706918A (zh) 作爲供神經網路的訓練準則的濾波器特異性
CN108628657A (zh) 弹窗处理方法、装置、计算机设备及存储介质
KR20200023708A (ko) 객체 검출 방법, 객체 검출을 위한 학습 방법 및 그 장치들
DE102018129975A1 (de) Codierung von Lidar-Signalen zur Vermeidung von Störungen
CN107909151A (zh) 用于在人工神经网络中实现注意力机制的方法和***
US11087170B2 (en) Deliberate conditional poison training for generative models
WO2016136607A1 (ja) 画像処理方法、画像処理装置
CN112183740A (zh) 用于训练神经网络的方法
CN111433689A (zh) 用于目标***的控制***的生成
EP3907472A1 (en) Detecting lane markings based on lidar data
KR102236582B1 (ko) 영상 처리 장치 및 그 동작방법
CN111967567A (zh) 具有求解半定规划的层的神经网络
KR102464359B1 (ko) 합성 도메인에서 실제 도메인으로 적응하기 위한 이미지 변환 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190226

RJ01 Rejection of invention patent application after publication