CN110422171A - 使用基于神经网络的驾驶员学习的自主驾驶 - Google Patents

使用基于神经网络的驾驶员学习的自主驾驶 Download PDF

Info

Publication number
CN110422171A
CN110422171A CN201910298102.9A CN201910298102A CN110422171A CN 110422171 A CN110422171 A CN 110422171A CN 201910298102 A CN201910298102 A CN 201910298102A CN 110422171 A CN110422171 A CN 110422171A
Authority
CN
China
Prior art keywords
vehicle
network
autonomous vehicle
output
nerves
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910298102.9A
Other languages
English (en)
Inventor
S·科洛尔
C·G·恩加拉德
K·金
M·J·戴利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN110422171A publication Critical patent/CN110422171A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B60W2050/0088—Adaptive recalibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

在各个实施例中，提供了方法、***和自主车辆。在一个示例性实施例中，提供了一种方法，所述方法包括：获得与自主车辆附近的一个或多个行为者有关的第一传感器输入；获得与所述自主车辆的操作有关的第二传感器输入；经由处理器，经由第一神经网络使用所述第一传感器输入获得第一神经网络输出；以及经由所述处理器，经由第二神经网络使用所述第一网络输出和所述第二传感器输入获得第二神经网络输出，所述第二神经网络输出提供用于控制所述自主车辆的一个或多个推荐动作。

Description

使用基于神经网络的驾驶员学习的自主驾驶
技术领域
本发明总体上涉及车辆，并且更具体地涉及用于经由基于神经网络的驾驶员学习来控制自主车辆的***和方法。
背景技术
自主车辆是能够感测其环境并且以很少或不用用户输入导航的车辆。它通过使用诸如雷达、激光雷达、图像传感器等感测装置来这样做。自主车辆***进一步使用来自全球定位***(GPS)技术、导航***、车对车通信、车辆对基础设施技术和/或线控驱动***的信息来对车辆进行导航。
虽然自主车辆提供了超过传统车辆的许多潜在优势，但是在某些情况下，可能需要例如在基于对驾驶员行为的学习(以下称为驾驶员学习)来控制自主车辆方面改进对自主车辆的移动的控制。
因此，期望提供用于基于驾驶员学习来控制自主车辆的***和方法。另外，从以下结合附图和前面的技术领域及背景技术进行的详细描述和所附权利要求书中将更清楚地明白本发明的其他期望特征和特性。
发明内容
在一个示例性实施例中，一种方法包括：获得与自主车辆附近的一个或多个行为者有关的第一传感器输入；获得与所述自主车辆的操作有关的第二传感器输入；经由处理器，经由第一神经网络使用所述第一传感器输入获得第一神经网络输出；以及经由所述处理器，经由第二神经网络使用所述第一网络输出和所述第二传感器输入获得第二神经网络输出，所述第二神经网络输出提供用于控制所述自主车辆的一个或多个推荐动作。
此外在一个实施例中，所述第一神经网络包括递归神经网络。
此外在一个实施例中，所述第一神经网络包括深度递归神经网络；并且所述第二神经网络包括深度神经网络。
此外在一个实施例中，获得所述第一传感器输入的步骤包括获得所述自主车辆附近的一辆或多辆其他车辆的第一操作参数；并且获得所述第一神经网络输出的步骤包括经由所述第一神经网络使用所述自主车辆附近的所述一辆或多辆其他车辆的所述第一操作参数获得所述第一神经网络输出。
此外在一个实施例中，所述方法还包括当所述自主车辆处于操作模式时，提供用于控制所述自主车辆的加速、减速或转向的一个或多个车辆动作。
此外在一个实施例中，所述方法还包括当所述自主车辆处于训练模式时：获得与所述自主车辆的人类操作有关的观察数据；将来自所述观察数据的所述自主车辆的所述人类操作与所述第二神经网络输出的所述推荐动作进行比较；并且基于将来自所述观察数据的所述自主车辆的所述人类操作与所述第二神经网络输出的所述推荐动作的所述比较，更新所述第一神经网络和所述第二神经网络。
此外在一个实施例中，获得所述第一传感器输入的步骤包括获得与自主车辆附近的一个或多个行为者有关的标记化传感器输入；并且获得所述第一神经网络输出的步骤包括经由所述第一神经网络使用与自主车辆附近的一个或多个行为者有关的所述标记化传感器输入获得所述第一神经网络输出。
在另一个示例性实施例中，一种***包括感测模块和处理模块。所述感测模块用于自主车辆并且被配置为至少促进：获得与自主车辆附近的一个或多个行为者有关的第一传感器输入；并且获得与所述自主车辆的操作有关的第二传感器输入。所述处理模块具有处理器，联接到所述感测模块并且被配置为至少促进：经由第一神经网络使用所述第一传感器输入获得第一神经网络输出；并且经由第二神经网络使用所述第一神经网络输出和所述第二传感器输入获得第二神经网络输出，所述第二神经网络输出提供用于控制所述自主车辆的一个或多个推荐动作。
此外在一个实施例中，所述第一神经网络包括递归神经网络。
此外在一个实施例中，所述第一神经网络包括深度递归神经网络；并且所述第二神经网络包括深度神经网络。
此外在一个实施例中，其中所述感测模块被配置为至少促进获得所述自主车辆附近的一辆或多辆其他车辆的第一操作参数；并且所述处理模块被配置为至少促进经由所述第一神经网络使用所述自主车辆附近的所述一辆或多辆其他车辆的所述第一操作参数获得所述第一神经网络输出。
此外在一个实施例中，所述处理模块被配置为至少促进当所述自主车辆处于操作模式时，提供用于控制所述自主车辆的加速、减速或转向的一个或多个车辆动作。
此外在一个实施例中，所述处理模块被配置为至少促进当所述自主车辆处于训练模式时：获得与所述自主车辆的人类操作有关的观察数据；将来自所述观察数据的所述自主车辆的所述人类操作与所述第二神经网络输出的所述推荐动作进行比较；并且基于将来自所述观察数据的所述自主车辆的所述人类操作与所述第二神经网络输出的所述推荐动作的所述比较，更新所述第一神经网络和所述第二神经网络。
此外在一个实施例中，所述感测模块被配置为至少促进获得与自主车辆附近的一个或多个行为者有关的标记化传感器输入；并且所述处理模块被配置为至少促进经由所述第一神经网络使用与自主车辆附近的一个或多个行为者有关的所述标记化传感器输入获得所述第一神经网络输出。
在另一个示例性实施例中，一种自主车辆包括车身、推进***和一个或多个传感器。所述推进***被配置为移动所述车身。所述一个或多个传感器设置在所述车身内并且被配置为至少促进：获得与自主车辆附近的一个或多个行为者有关的第一传感器输入；并且获得与所述自主车辆的操作有关的第二传感器输入。所述一个或多个处理器设置在所述车身内并且被配置为至少促进：经由第一神经网络使用所述第一传感器输入获得第一神经网络输出；并且经由第二神经网络使用所述第一神经网络输出和所述第二传感器输入获得第二神经网络输出，所述第二神经网络输出提供用于控制所述自主车辆的一个或多个推荐动作。
此外在一个实施例中，所述第一神经网络包括深度递归神经网络；并且所述第二神经网络包括深度神经网络。
此外在一个实施例中，所述一个或多个传感器被配置为至少促进获得所述自主车辆附近的一辆或多辆其他车辆的第一操作参数；并且所述一个或多个处理器被配置为至少促进经由所述第一神经网络使用所述自主车辆附近的所述一辆或多辆其他车辆的所述第一操作参数获得所述第一神经网络输出。
此外在一个实施例中，所述一个或多个处理器被配置为至少促进：当所述自主车辆在操作模式中时，提供用于控制所述自主车辆的加速、减速或转向的一个或多个车辆动作；并且当所述自主车辆在训练模式中时：获得与所述自主车辆的人类操作有关的观察数据；将来自所述观察数据的所述自主车辆的所述人类操作与所述第二神经网络输出的所述推荐动作进行比较；并且基于将来自所述观察数据的所述自主车辆的所述人类操作与所述第二神经网络输出的所述推荐动作的所述比较，更新所述第一神经网络和所述第二神经网络。
此外在一个实施例中，所述一个或多个传感器被配置为至少促进获得与自主车辆附近的一个或多个行为者有关的标记化传感器输入；并且所述一个或多个处理器被配置为至少促进经由所述第一神经网络使用与自主车辆附近的一个或多个行为者有关的所述标记化传感器输入获得所述第一神经网络输出。
此外在一个实施例中，所述自主车辆还包括存储器，所述存储器设置在所述车身内并且被配置为存储所述第一神经网络和所述第二神经网络。
附图说明
下文将结合以下附图描述示例性实施例，其中相同标号表示相同元件，且其中：
图1是示出根据示例性实施例的具有控制***的自主车辆的功能框图，所述控制***基于使用神经网络的驾驶员学习来控制车辆动作；
图2是示出根据各个实施例的具有如图1中所示的一辆或多辆车辆的运输***的功能框图；
图3是示出根据各个实施例的具有与图1的车辆相关联的控制***的自主驾驶***(ADS)的功能框图；
图4是示出根据各个实施例的控制***的功能框图；
图5是用于根据各个实施例用于基于使用神经网络的驾驶员学习来控制车辆动作并且可以结合图1至4的车辆和控制***来实施的控制过程的流程图；
图6是根据各个实施例的用于实施图1至4的控制***和图5的过程的架构的功能框图。
具体实施方式
以下详细描述本质上仅仅是示例性的，并且不旨在限制应用和用途。另外，不存在被任何前述的技术领域、上下文、摘要或以下详细描述中提出的任何表述的或暗示的理论约束的意图。如本文所使用，术语“模块”是指单独地或呈任何组合的任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置，包括但不限于：专用集成电路(ASIC)、现场可编程门阵列(FPGA)、电子电路、处理器(共享、专用或成组)以及执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能性的其它合适部件。
本公开的实施例在本文可以依据功能和/或逻辑块部件和各个处理步骤来描述。应当明白的是，这些块部件可以由被配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实施。例如，本公开的实施例可以采用各种集成电路部件(例如，存储器元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其它控制装置的控制下执行多种功能)。另外，本领域技术人员将明白的是，本发明的实施例可以结合任何数量的***来实践，并且本文所述的***仅仅是本发明的示例性实施例。
为了简明起见，本文可以不详细描述与信号处理、数据传输、信令、控制、机器学习、图像分析以及该***(和该***的单个操作部件)的其他功能方面有关的常规技术。另外，本文所包括的各个图式中所示的连接线旨在表示各个元件之间的示例功能关系和/或物理联接。应当注意的是，在本发明的实施例中可以存在许多替代或附加的功能关系或物理连接。
参考图1，控制***100与根据各个实施例的车辆10(在本文也称为“主车辆”)相关联。通常，控制***(或简称为“***”)100基于使用例如下面结合图4至6进一步详细描述的标记化传感器输入的基于神经网络的驾驶员行为学习来提供对车辆10的各种动作(例如，转向、加速、减速、制动等)的控制。
如图1中所描绘，车辆10通常包括底盘12、车身14、前轮16和后轮18。车身14被布置在底盘12上并且大致上包围车辆10的部件。车身14和底盘12可以共同形成框架。车轮16到18各自在车身14的相应拐角附近旋转地联接到底盘12。在各个实施例中，车轮16、18包括车轮组件，所述车轮组件还包括相应的相关轮胎。
在各个实施例中，车辆10是自主车辆，并且控制***100和/或其部件被结合到车辆10中。车辆10例如是被自动控制以将乘客从一个位置运送到另一个位置的车辆。在所示实施例中，车辆10被描绘为乘用车，但是应当明白的是，也可以使用包括摩托车、卡车、运动型多用途车辆(SUV)、休闲车辆(RV)、船舶、飞行器等任何其他车辆。
在示例性实施例中，车辆10对应于汽车工程师协会(SAE)“J3016”标准分类的自动驾驶等级下的四级或五级自动化***。使用该术语，四级***指示“高度自动化”，其指代自动驾驶***执行动态驾驶任务的所有方面的驾驶模式，即使人类驾驶员对干预请求没有做出适当响应。另一方面，五级***指示“全自动化”，其指代自动驾驶***在可由人类驾驶员管理的所有道路和环境状况下在动态驾驶任务的所有方面的全面性能的驾驶模式。然而，应当明白的是，根据本主题的实施例不限于自动化类别的任何特定的分类学或标题。
如所示，车辆10通常包括推进***20、变速器***22、转向***24、制动***26、一个或多个用户输入装置27、传感器***28、致动器***30、至少一个数据存储装置32、至少一个控制器34以及通信***36。推进***20在各个实施例中可以包括内燃机、诸如牵引电动机等电机和/或燃料电池推进***。变速器***22被配置为根据可选速比将来自推进***20的动力传输到车轮16和18。根据各个实施例，变速器***22可以包括分级传动比自动变速器、无级变速器或其他适当的变速器。
制动***26被配置为向车轮16和18提供制动转矩。在各个实施例中，制动***26可以包括摩擦制动器、线控制动器、诸如电机等再生制动***，和/或其他适当的制动***。
转向***24影响车轮16和/或18的位置。虽然为了说明目的而被描绘为包括方向盘，但是在本发明的范围内预期的一些实施例中，转向***24可以不包括方向盘。
控制器34包括至少一个处理器44和计算机可读存储装置或介质46。如上所述，在各个实施例中，控制器34(例如，其处理器44)预先将与车辆10的预计未来路径有关的数据(包括预计未来转向指令)提供给转向控制***84，以用于在与转向控制***84的通信不可用的情况下控制转向持续有限时间段。此外在各个实施例中，控制器34经由下面进一步描述的通信***36(例如经由通信总线和/或发射器(图1中未描绘))向转向控制***84提供通信。
在各个实施例中，控制器34包括至少一个处理器44和计算机可读存储装置或介质46。处理器44可以为任何定制的或商业上可用的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(呈微芯片或芯片集的形式)、它们的任何组合或通常用于执行指令的任何装置。计算机可读存储装置或介质46可以包括例如只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储器。KAM是一种持久或非易失性存储器，其可以在处理器44断电时用于存储多个神经网络连同各种操作变量。计算机可读存储装置或介质46可以使用诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪速存储器或能够存储数据的任何其他电动、磁性、光学或组合存储器装置的许多已知存储器中的任何一种来实施，其中的某些数据表示由控制器34用于控制车辆10的可执行指令。
指令可以包括一个或多个单独的程序，每个程序包括用于实施逻辑功能的可执行指令的有序列表。指令在由处理器44执行时接收并处理来自传感器***28的信号，执行用于自动控制车辆10的部件的逻辑、计算、方法和/或算法，并且产生控制信号，其被传输到致动器***30以基于逻辑、计算、方法和/或算法来自动地控制车辆10的部件。虽然图1中仅示出了一个控制器34，但是车辆10的实施例可以包括通过任何合适的通信介质或通信介质的组合进行通信并且协作以处理传感器信号、执行逻辑、计算、方法和/或算法且产生控制信号以自动控制车辆10的特征的任意数量的控制器34。
如图1中所描绘，除了上文提及的转向***24和控制器34之外，车辆10通常还包括底盘12、车身14、前轮16以及后轮18。车身14被布置在底盘12上并且大致上包围车辆10的部件。车身14和底盘12可以共同形成框架。车轮16到18各自在车身14的相应拐角附近旋转地联接到底盘12。在各个实施例中，车轮16、18包括车轮组件，所述车轮组件还包括相应的相关轮胎。
在各个实施例中，车辆10是自主车辆，并且控制***100和/或其部件被结合到车辆10中。车辆10例如是被自动控制以将乘客从一个位置运送到另一个位置的车辆。在所示实施例中，车辆10被描绘为乘用车，但是应当明白的是，也可以使用包括摩托车、卡车、运动型多用途车辆(SUV)、休闲车辆(RV)、船舶、飞行器等任何其他车辆。
在示例性实施例中，车辆10对应于汽车工程师协会(SAE)“J3016”标准分类的自动驾驶等级下的四级或五级自动化***。使用该术语，四级***指示“高度自动化”，其指代自动驾驶***执行动态驾驶任务的所有方面的驾驶模式，即使人类驾驶员对干预请求没有做出适当响应。另一方面，五级***指示“全自动化”，其指代自动驾驶***在可由人类驾驶员管理的所有道路和环境状况下在动态驾驶任务的所有方面的全面性能的驾驶模式。然而，应当明白的是，根据本主题的实施例不限于自动化类别的任何特定的分类学或标题。另外，根据本实施例的***可以与包括传感器和悬架***的任何自主的、非自主的或其他车辆结合使用。
如所示，车辆10通常包括推进***20、变速器***22、制动***26、一个或多个用户输入装置27、传感器***28、致动器***30、至少一个数据存储装置32以及通信***36。推进***20在各个实施例中可以包括内燃机、诸如牵引电动机等电机和/或燃料电池推进***。变速器***22被配置为根据可选速比将来自推进***20的动力传输到车轮16和18。根据各个实施例，变速器***22可以包括分级传动比自动变速器、无级变速器或其他适当的变速器。
制动***26被配置为向车轮16和18提供制动转矩。在各个实施例中，制动***26可以包括摩擦制动器、线控制动器、诸如电机等再生制动***，和/或其他适当的制动***。
转向***24影响车轮16和/或18的位置。虽然为了说明目的而被描绘为包括方向盘，但是在本发明的范围内预期的一些实施例中，转向***24可以不包括方向盘。
在各个实施例中，一个或多个用户输入装置27从车辆10的一个或多个乘客接收输入。在各个实施例中，所述输入包括车辆10的期望行驶目的地。在某些实施例中，一个或多个输入装置27包括车辆10中的交互式触摸屏。在某些实施例中，一个或多个输入装置27包括用于从乘客接收音频信息的扬声器。在某些其他实施例中，一个或多个输入装置27可以包括一个或多个其他类型的装置和/或可以联接到乘客的用户装置(例如，智能电话和/或其他电子装置)，诸如图2中描绘并且下面结合图2进一步描述的用户装置54)。
传感器***28包括感测车辆10的外部环境和/或内部环境的可观察状况的一个或多个传感器40a到40n。传感器40a到40n包括但不限于雷达、激光雷达、全球定位***、光学相机、热像仪、超声波传感器、惯性测量单元和/或其他传感器。
致动器***30包括一个或多个致动器42a到42n，其控制一个或多个车辆特征，诸如但不限于推进***20、变速器***22、转向***24以及制动***26。在各个实施例中，车辆10还可以包括图1中未说明的内部和/或外部车辆特征，诸如各种车门、行李箱以及诸如无线电、音乐、照明、触摸屏显示部件(诸如与导航***连接中所使用的部件)等驾驶室特征。
数据存储装置32存储用于自动控制车辆10的数据。在各个实施例中，数据存储装置32存储可导航环境的定义地图。在各个实施例中，定义地图可以由远程***预定义并且从远程***获取(关于图2进一步详细描述)。例如，定义地图可以由远程***组装并且(以无线方式和/或以有线方式)传送到车辆10并存储在数据存储装置32中。路线信息也可以被存储在数据存储装置32内-即，一组路段(在地理上与一个或多个定义地图相关联)，其一起限定了用户可以从起始位置(例如，用户的当前位置)行驶到目标位置所采取的路线。如将明白的是，数据存储装置32可以为控制器34的一部分，与控制器34分开，或作为控制器34的一部分以及单独***的一部分。
控制器34包括至少一个处理器44和计算机可读存储装置或介质46。处理器44可以为任何定制的或商业上可用的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(呈微芯片或芯片集的形式)、它们的任何组合或通常用于执行指令的任何装置。计算机可读存储装置或介质46可以包括例如只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储器。KAM是一种持久或非易失性存储器，其可以在处理器44断电时用于存储各种操作变量。计算机可读存储装置或介质46可以使用诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪速存储器或能够存储数据的任何其他电动、磁性、光学或组合存储器装置的许多已知存储器中的任何一种来实施，其中的某些数据表示由控制器34用于控制车辆10的可执行指令。
指令可以包括一个或多个单独的程序，每个程序包括用于实施逻辑功能的可执行指令的有序列表。指令在由处理器44执行时接收并处理来自传感器***28的信号，执行用于自动控制车辆10的部件的逻辑、计算、方法和/或算法，并且产生控制信号，其被传输到致动器***30以基于逻辑、计算、方法和/或算法来自动地控制车辆10的部件。虽然图1中仅示出了一个控制器34，但是车辆10的实施例可以包括通过任何合适的通信介质或通信介质的组合进行通信并且协作以处理传感器信号、执行逻辑、计算、方法和/或算法且产生控制信号以自动控制车辆10的特征的任意数量的控制器34。
通信***36被配置为向和从其他实体48(诸如但不限于其他车辆(“V2V”通信)、基础设施(“V2I”通信)、远程运输***和/或用户装置(关于图2更详细描述)无线地传送信息。在示例性实施例中，通信***36是被配置为经由使用IEEE 802.11标准的无线局域网(WLAN)或通过使用蜂窝数据通信来进行通信的无线通信***。然而，诸如专用短程通信(DSRC)信道等附加或替代通信方法也被认为在本发明的范围内。DSRC信道是指专门为汽车使用以及对应的一组协议和标准而设计的单向或双向短程到中程无线通信信道。
在各个实施例中，通信***36用于车辆控制***34和转向控制***84之间的通信，其包括与车辆10的预计未来路径有关的数据，包括预计未来转向指令。此外在各个实施例中，通信***36还可以促进转向控制***84和/或更多其他***和/或装置之间的通信。
在某些实施例中，通信***36还被配置为用于传感器***28、输入装置27、致动器***30、一个或多个控制器(例如，车辆控制***34)和/或更多其他***和/或装置(诸如，作为示例，图2中描绘的以及下面结合图2进一步描述的用户装置54)之间的通信。例如，通信***36可以包括控制器区域网络(CAN)总线和/或传感器***28、致动器***30、一个或多个控制器34和/或一个或多个其他***和/或装置之间的直接布线的任何组合。在各个实施例中，通信***36可以包括一个或多个收发器以用于与车辆10的一个或多个装置和/或***、乘客的装置(例如，图2的用户装置54)和/或一个或多个远程信息源(例如，GPS数据源、交通信息源、天气信息源等)进行通信。
现在参考图2，在各个实施例中，关于图1描述的车辆10可以适用于在某个地理区域(例如，城市、学校或商业园区、购物中心、游乐园，活动中心等)的出租车或班车***的背景下或可以只需由远程***管理。例如，车辆10可以与基于自主车辆的远程运输***相关联。图2说明了总体上以50示出的操作环境的示例性实施例，该操作环境包括基于自主车辆的远程运输***(或简称为“远程运输***”)52，其与关于图1所描述的一辆或多辆车辆10a到10n相关联。在各个实施例中，操作环境50(其全部或部分可对应于图1中所示的实体48)进一步包括经由通信网络56与车辆10和/或远程运输***52进行通信的一个或多个用户装置54。
通信网络56根据需要支持在由操作环境50支持的装置、***和部件之间(例如，经由有形的通信链路和/或无线通信链路)的通信。例如，通信网络56可以包括无线载波***60，诸如蜂窝电话***，其包括多个蜂窝塔(未示出)、一个或多个移动交换中心(MSC)(未示出)以及将无线载波***60与陆地通信***连接所需要的任何其他联网部件。每个蜂窝塔都包括发送和接收天线以及基站，其中来自不同蜂窝塔的基站直接或经由诸如基站控制器等中间设备连接到MSC。无线载波***60可以实施任何合适的通信技术，包括(例如)诸如CDMA(例如，CDMA2000)、LTE(例如，4G LTE或5G LTE)、GSM/GPRS或其他当前或正涌现的无线技术等数字技术。其他蜂窝/基站/MSC布置是可能的并且可以结合无线载波***60使用。例如，基站和蜂窝可以共同位于相同站点处或它们可以远离彼此，每个基站可以负责单个蜂窝或单个基站可以服务于各个蜂窝，且各个基站可以联接到单个MSC，这里仅列举几种可能布置。
除包括无线载波***60外，可以包括呈卫星通信***64的形式的第二无线载波***来提供与车辆10a到10n进行的单向或双向通信。这可以使用一个或多个通信卫星(未示出)和上行链路传输站(未示出)来进行。单向通信可以包括(例如)卫星无线电服务，其中节目内容(新闻、音乐等)是由传输站接收、封装上传并且然后发送到卫星，从而向用户广播该节目。双向通信可以包括(例如)使用卫星以在车辆10与站之间中继电话通信的卫星电话服务。除了或代替无线载波***60，可以利用卫星电话。
可以进一步包括陆地通信***62，其为连接到一个或多个陆线电话的常规陆基电信网络并且将无线载波***60连接到远程运输***52。例如，陆地通信***62可以包括诸如用于提供硬接线电话、分组交换数据通信和因特网基础设施的公共交换电话网(PSTN)。一段或多段陆地通信***62可以通过使用标准有线网络、光纤或其他光学网络、电缆网络、电力线、其他无线网络(诸如无线局域网(WLAN))或提供宽带无线接入(BWA)的网络或其任何组合来实施。另外，远程运输***52不需要经由陆地通信***62连接，反而可以包括无线电话设备使得其可以直接与无线网络(诸如无线载波***60)通信。
虽然在图2中仅示出了一个用户装置54，但是操作环境50的实施例可以支持任意数量的用户装置54，包括由一个人拥有、操作或以其他方式使用的多个用户装置54。由操作环境50支持的每个用户装置54可以使用任何合适的硬件平台来实施。就此而言，用户装置54可以任何常见外形规格来实现，包括但不限于：台式计算机；移动计算机(例如，平板计算机、膝上型计算机或上网本计算机)；智能电话；视频游戏装置；数字媒体播放器；家庭娱乐设备的部件；数码相机或视频摄影机；可穿戴计算装置(例如，智能手表、智能眼镜、智能服装)；等。由操作环境50支持的每个用户装置54被实现为具有执行本文描述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑的计算机实施的或基于计算机的装置。例如，用户装置54包括可编程装置形式的微处理器，该微处理器包括存储在内部存储器结构中并且被施加来接收二进制输入以创建二进制输出的一个或多个指令。在一些实施例中，用户装置54包括能够接收GPS卫星信号并且基于那些信号产生GPS坐标的GPS模块。在其他实施例中，用户装置54包括蜂窝通信功能性使得该装置通过通信网络56使用一个或多个蜂窝通信协议(如本文所讨论)执行语音和/或数据通信。在各个实施例中，用户装置54包括可视显示器，诸如触摸屏图形显示器或其他显示器。
远程运输***52包括一个或多个后端服务器***(未示出)，该后端服务器***可以为基于云的、基于网络的或常驻在由远程运输***52服务的特定校园或地理位置。远程运输***52可以由现场顾问、自动顾问、人工智能***或它们的组合来人工操作。远程运输***52可以与用户装置54和车辆10a到10n进行通信以安排乘车、派遣车辆10a到10n等。在各个实施例中，远程运输***52存储诸如用户认证信息、车辆标识符、简档记录、生物测量数据、行为模式以及其他相关用户信息等账户信息。
根据典型的用例工作流程，远程运输***52的注册用户可以经由用户装置54创建乘车请求。乘车请求通常将指示乘客希望的乘车位置(或当前GPS位置)、期望目的地位置(其可以表示预定义的车辆停靠站和/或用户指定的乘客目的地)以及乘车时间。远程运输***52接收乘车请求、处理该请求，并且在指定的乘车地点且在适当的时间派遣车辆10a到10n中的选定车辆来让乘客乘车(当一辆车辆可用时和如果一辆车辆可用)。运输***52还可以向用户装置54产生并发送适当配置的确认消息或通知，以使乘客知道车辆正在途中。
如可以明白的是，本文公开的主题提供了可以被认为是标准或基线的车辆10和/或基于车辆的远程运输***52的某些增强的特征和功能。为此，车辆和基于车辆的远程运输***可以被修改、增强或以其他方式补充以提供下面更详细描述的附加特征。
根据各个实施例，控制器34实施如图3中所示的自主驾驶***(ADS)。即，利用车辆控制***34的合适软件和/或硬件部件(例如，处理器44和计算机可读存储装置46)来提供与车辆10结合使用的ADS。
在各个实施例中，自主驾驶***70的指令可以由功能或***组织。例如，如图3中所示，自主驾驶***70可以包括计算机视觉***74、定位***76、引导***78以及车辆控制***80。如可以明白的是，在各个实施例中，由于本发明不限于本示例，所以可以将指令组织(例如，组合、进一步划分等)为任何数量的***。
在各个实施例中，计算机视觉***74合成并处理传感器数据并且预测对象的存在、位置、分类和/或路径以及车辆10的环境的特征。在各个实施例中，计算机视觉***74可以包含来自多个传感器(包括但不限于相机、激光雷达、雷达和/或任何数量的其他类型的传感器)的信息。
定位***76处理传感器数据以及其他数据以确定车辆10相对于环境的位置(例如，相对于地图的本地位置、相对于道路车道的精确位置、车辆航向、速度等)。引导***78处理传感器数据以及其他数据以确定车辆10遵循的路径。车辆控制***80根据所确定的路径产生用于控制车辆10的控制信号。
在各个实施例中，控制器34实施机器学习技术以辅助控制器34的功能，诸如特征检测/分类、障碍减少、路线穿越、映射、传感器集成、地面实况确定等。
在各个实施例中，如上面关于图1所讨论的，控制器34的一个或多个指令体现在控制***100中，例如用于基于使用标记化传感器输入对控制***100的基于神经网络的驾驶员学习来控制各种车辆10的动作(例如，转向、加速、减速、制动)。如在整个本申请中所使用的，在各个实施例中，标记化传感器输入是指从原始感官输入中提取的中层信息。在各个实施例中，对于具有多感官输入的自主车辆10，在给定时间戳处，标记化传感器输入识别行为者(例如，汽车、行人、骑车人等等)以及对行为者的数值描述，包括它们相对于自身(即，自驾车辆10)的坐标、它们的速度、它们的加速度、航向角，例如，如下面结合图5的过程500的步骤506进一步详细描述的那样。
此外在各个实施例中，如所示，控制***100的全部或部分可以体现在计算机视觉***74和/或车辆控制***80中，或者可以被实施为单独的***(称为目标评估***400)。
参考图4并继续参考图1，控制***400通常包括感测模块410和处理模块420。在各个实施例中，感测模块410和处理模块420两者都设置在车辆10上。在某些实施例中，感测模块410和/或处理模块420和/或其部件中的一者或两者可以远离车辆10设置(例如，设置在与车辆10通信的远程服务器上)。如可以明白的，在各个实施例中，控制***400的部件可以设置在远离车辆10的***上，而控制***400的其他部件可以设置在车辆10上。
在各个实施例中，感测模块410从车辆10的各种传感器获得数据。例如，在某些实施例中，感测模块410从图1的一个或多个传感器40a至40n获得传感器数据，所述传感器(例如，从一个或多个雷达、激光雷达、全球定位***、光学相机、热像仪、超声波传感器、惯性测量单元和/或车辆10的其他传感器)感测车辆10的外部环境和/或内部环境的可观察状况。
在各个实施例中，感测模块410获得与可能在车辆10附近的其他车辆、行人、骑车人、动物和/或其他物体和/或其路径有关的传感器数据，以及与此类物体有关的参数(例如，物体类型、位置、航向角、与主车辆10的距离、速度、加速度等)。此外在某些实施例中，感测模块410接收传感器数据作为输入405，并将传感器数据作为输出415提供给处理模块420(例如，经由图1的通信***36)。在某些实施例中，感测模块410提供与可能在车辆10附近的各种“行为者”(例如，其他车辆、行人、骑车人、动物和/或其他物体)和/或其路径有关的预处理后的标记化传感器数据；以及与车辆10的驾驶员(例如，关于基于驾驶员动作的车辆10的转向、加速、减速、制动和/或其他动作)有关的观察数据，并将标记化传感器数据和操作观察数据作为输出415提供到处理模块420。
在各个实施例中，处理模块420接收传感器数据作为输入415，并处理传感器数据(在某些实施例中，处理其他类型的数据)。在各个实施例中，处理模块420使用神经网络模型处理来自感测模块410的标记化传感器数据，并基于处理后的标记化传感器数据和来自感测装置410的驾驶员观察数据来提供对车辆10的神经网络模型的学习/训练。另外，在各个实施例中，处理模块420基于经训练的神经网络模型提供用于实施各种车辆控制动作(例如，车辆10的转向、加速、减速、制动和/或其他动作)的指令。在各个实施例中，处理模块420提供输出425以使用例如如下面结合图5的过程500描述的神经网络模型和图6的神经网络模型的相关架构来训练神经网络模型和控制车辆10(例如，车辆10的转向，加速，减速，制动和/或其他动作)。
现在转向图5，提供了根据示例性实施例的用于基于基于神经网络的驾驶员学习来控制自主车辆的控制过程500的流程图。在各个实施例中，控制过程可以结合根据各个实施例的图1至4的车辆10、控制***100、推进***20、转向***24、制动***26、控制器34和控制***100、400来实施。此外在各个实施例中，控制过程500还在下面结合图6进行描述，图6提供了用于实施图1至4的控制***100、400以及图5的控制过程500的示例性架构600。
根据本发明可以明白，控制过程500内的操作顺序不限于图5中所示的顺序执行，而是可以根据适用并根据本发明以一个或多个变化的顺序执行。在各个实施例中，控制过程500可以被安排为基于一个或多个预定事件运行，和/或可以在车辆10的操作期间连续运行。
此外根据以下讨论，在某些实施例中，过程500可以包括训练模式和操作模式。例如，在各个实施例中，在训练模式期间训练多个神经网络，其中使用人类驾驶员操作车辆10(和/或类似的和/或其他车辆)。一旦训练了神经网络，它们就可以在自主车辆(例如，车辆10)中以操作模式实施，其中车辆10以自主方式操作(没有人类驾驶员)。虽然以下结合训练模式和操作模式两者讨论了图5的过程500(以及图6的相应架构600)，但是应当明白，在各个实施例中，训练模式和操作模式可以不仅在不同时间而且在不同车辆中执行，并且例如市场中的车辆10可以在某些实施例中仅以操作模式操作(例如，利用已经由在各个实施例中的相同车辆10和/或其他车辆的训练模式训练的神经网络)等等。
在各个实施例中，控制过程500可以在502处开始。在各个实施例中，当乘员在车辆10内并且车辆10以自动方式开始操作时，发生步骤502。在各个实施例中，基于关于期望目的地的用户输入(例如经由图1的输入单元27获得)，车辆10以自主方式操作到期望目的地。
在504处获得传感器数据。在各个实施例中，(例如，经由图1的各个传感器40a、...、40n)从图4的感测模块410获得传感器数据。例如，在各个实施例中，从相机和/或其他视觉***、激光雷达传感器、雷达传感器和/或一个或多个其他传感器获得传感器数据。此外在各个实施例中，传感器数据可以涉及与车辆10有关的数据观察以及车辆10沿道路行进时的周围环境。
在各个实施例中，在506处获得行为者信息。在某些实施例中，行为者信息包括对在车辆10附近的一个或多个“行为者”(例如，可能在车辆10附近的其他车辆、行人、骑车人、动物和/或其他物体和/或其路径)的识别的信息，以及与此类行为者有关的参数(例如，行为者类型、位置、航向角、与主车辆10的距离、速度、加速度等)。在各个实施例中，行为者信息504从感测模块410作为来自的传感器数据502的与各种行为者有关的预处理后的标记化传感器数据提供给处理模块420以用于车辆控制。
参考图6的架构600，在各个实施例中，在各个时间点获得行为者信息。例如，如图6中所描绘，在各个实施例中，行为者信息506在前一时间(t-1)被表示为第一行为者信息602，并且在当前时间(t)被表示为第二行为者信息604。
此外在各个实施例中，在508处获得主车辆信息(在本文中也称为车辆信息)。在某些实施例中，主车辆信息包括与车辆10的驾驶员有关(例如，关于基于驾驶员动作的车辆10的转向、加速、减速、制动和/或其他动作)的观察数据。此外在各个实施例中，车辆信息508也从感测模块410作为来自传感器数据502的与各种行为者有关的预处理后的标记化传感器数据提供给处理模块420以用于车辆控制。再次参考图6的架构600，508的车辆信息被表示为关于当前时间(t)的车辆信息610。
在510处将行为者信息提供给第一神经网络。在各个实施例中，行为者信息506在多个时间点作为图4的处理模块420的输入415提供给深度递归神经网络(或“深度RNN”)以使用深度RNN(例如，由图1的控制器34的处理器44)进行处理。
参考图6，第一行为者信息602在第一时间(例如，前一时间t-1)被提供给深度RNN606，并且第二行为者信息604在第二时间(例如，当前时间t)被提供给深度RNN。例如，如图6中所示，在各个实施例中，每个行为者(即，a1、a2、...)的参数(例如，行为者类型、位置、航向角、与主车辆10的距离、速度、加速度等等)被提供给深度RNN 606以在车辆10操作时的不同时间(例如，包括时间t-1、t等等)进行处理。在各个实施例中，深度RNN 606存储在车辆上的存储器(诸如图1的计算机可读存储装置或介质46)中。
如图6中所示，在各个实施例中，深度RNN 606基于行为者信息602、604在各个时间点提供关于车辆10的周围环境的信息。此外如图6中所示，在各个实施例中，深度RNN 606具有多层复杂性。例如，在涉及车辆转弯的一个特定示例中：(i)深度RNN 606的第一层可以包括值WA，其是行为者的参数本身(例如，行为者类型、位置、航向角、与主车辆10的距离、速度、加速度)；(ii)深度RNN 606的第二层可以包括W1，2，其表示从深度RNN 606的较低层中提取的信息(例如，用作特征提取器)；(iii)深度RNN 606的第三层可以包括值W2，3，其表示从深度RNN 606的更下层中提取的信息(例如，用作进一步的特征提取器)，等等，直到(iv)深度RNN 606的最终层可以包括值Wd-1，d，其表示从深度RNN 606的更低层中提取的信息(例如，用作进一步的特征提取器)。在各个实施例中，可以通过端到端的方式学习不同的“W”值。例如，在某些实施例中，可以仅通过观察人类驾驶员来学习行为者的更高层相关信息，例如因为该更高层信息的基本事实可能不容易可用或可能未明确可用。
返回参考图5，在各个实施例中，在512处从第一神经网络产生输出。在各个实施例中，输出512包括与车辆10的周围环境有关的细节，包括用于各种行为者的各种处理参数。在各个实施例中，此类输出512可以包括各个行为者相对于主车辆10的当前和未来预期路径。参考图6，第一神经网络输出表示为输出614。在各个实施例中，输出614本质上是固定的。例如，在各个实施例中，虽然在不同时间戳处对深度RNN 606的输入可以具有各种大小(例如，由于场景中存在不同的行为者)，但是深度RNN 606的输出614是固定维度的向量(具有固定大小)，其可以馈送到深度神经网络。换句话说，在各个实施例中，输出614为场景中的所有行为者提供规范表示。此外在各个实施例中，图6的深度RNN 606经由图4的处理模块420(例如，经由图1的控制器34的处理器44)产生输出。
此外在各个实施例中，在514处，将第一神经网络输出512连同车辆信息508一起提供给第二神经网络。在各个实施例中，第一神经网络输出512和车辆信息508被提供给包括深度神经网络(或“深度NN”)的第二神经网络，以供图4的处理模块420使用深度NN(例如，通过图1的控制器34的处理器44)进行处理，以便为车辆10产生车辆控制推荐(即，推荐的控制动作)作为第二神经网络(即，深度NN)的输出。
参考图6，将深度RNN 606的输出614连同车辆信息610一起提供给深度NN 616以进行处理。此外如图6中所示，在各个实施例中，深度NN 616具有多层复杂性。例如，在一个特定示例中，对于每种类型的车辆控制(例如，制动、加速、转向等)，深度NN 616的各个层包括机器(例如，处理器)隐式学习的表示。在各个实施例中，深度RNN 606包括表示机器(例如，处理器)学习以便提供包括表示各种驾驶情况的输入处的加速、减速、转向等的输出(例如，根据以下讨论)的值和/或指令的各个层。
返回参考图5，在各个实施例中，在516处从第二神经网络产生输出。在各个实施例中，输出516包括关于各种车辆控制参数的详细推荐(例如，包括转向、制动、加速等的适当幅度和/或方向)。关于图6，第二神经网络输出表示为输出618。在各个实施例中，图6的深度NN 616经由图4的处理模块420(例如，经由图1的控制器34的处理器44)产生输出618。
此外在各个实施例中，在518处更新主车辆信息。具体地，在各个实施例中，(例如，经由更新的传感器数据)更新车辆数据508(例如，对应于图6的车辆数据610)以反映第二神经网络输出516连同在新的和/或后续时间点的任何更新的车辆信息508。
在各个实施例中，在520处确定车辆10是否处于训练模式而不是操作模式。例如，在各个实施例中，如果第一和第二神经网络正在被训练以供后续使用，则车辆10将被认为处于训练模式。相反，此外在各个实施例中，如果第一和第二神经网络已经被训练，并且正在操作模式中使用来控制车辆10，则车辆10将被认为处于操作模式。在各个实施例中，该确定由图4的处理模块420(例如经由图1的控制器34的处理器44)来进行。
如果在520处确定车辆10处于训练模式，则所述过程沿第一路径521前进，因为在522处观察到驾驶员动作。具体地，在各个实施例中，观察车辆10的人类驾驶员(例如，在某些实施例中，车辆10内部的驾驶员)的动作。在各个实施例中，经由图4的感测模块410(例如，经由图1的传感器40a至40n)例如在各个实施例中对人类驾驶员对一个或多个车辆控制件的接合(例如，对方向盘、加速踏板、制动踏板等的接合)和/或此类动作的结果(例如，所得位置、航向、速度、加速度、减速度等，和/或其变化)进行观察。参考图6，观察到的驾驶员动作表示为观察到的动作620。此外如图6中所描绘，在各个实施例中，过程500在训练模式中针对各个不同的人类驾驶员1、2、...、n(例如，在不同时间和/或针对不同车辆10s)执行，由此为各个不同驾驶员产生不同的观察到的动作620(1)、620)(2)、...、620(n)。
在各个实施例中，在524处在神经网络推荐516与在522处观察到的驾驶员动作之间进行比较。具体地，在各个实施例中，在来自第二神经网络(即，图6的深度NN 616)的输出/推荐618与驾驶员动作(即，驾驶员动作620(1)、620)(2)、...、620(n))之间进行比较。在各个实施例中，所述比较用于确定来自第二神经网络的推荐动作与来自人类驾驶员的实际动作之间的差异。在各个实施例中，所述比较和确定由图4的处理模块420(例如经由图1的控制器34的处理器44)来进行。
此外在各个实施例中，比较524用于更新第一神经网络(在526处)和第二神经网络(在528处)。具体地，参考图6，在各个实施例中，反向传播622用于基于人类驾驶员动作(即，驾驶员动作620)与推荐动作(即，输出618)之间的差异为深度RNN 606提供第一更新624并为图6的深度NN 616提供第二更新626。这使得第一和第二神经网络(即，图6中的深度RNN606和深度NN 616)能够从人类驾驶员学习，并且用于改善待进一步训练和微调的神经网络以模拟人类驾驶员在操作模式中对过程500的后续操作的动作。
此外在各个实施例中，在530处确定车辆10是否仍在操作。在各个实施例中，该确定由图4的处理模块420(例如经由图1的控制器34的处理器44)来进行。在各个实施例中，如果确定车辆10仍在操作中(和/或仍然期望经由过程500进行车辆控制)，则所述过程返回到步骤504，并继续新的迭代(例如，在训练模式下继续更新的值、确定和训练神经网络模型)。否则，在各个实施例中，所述过程在540处终止。
返回参考520，如果反而确定车辆10处于操作模式，则所述过程沿第二路径531前进，因为在532处产生用于车辆控制的指令。具体地，在各个实施例中，基于推荐516(例如，来自图6的深度NN 616的推荐)提供用于对一个或多个车辆功能的特定控制的指令(例如，用于制动、加速、减速、停止、转向、发起转弯等等的适当幅度和/或方向)。在各个实施例中，指令对应于图4的输出425，并且由图4的处理模块420(例如，经由图1的控制器34的处理器44)产生。
此外在各个实施例中，在534处实施指令。在各个实施例中，指令532经由一个或多个致动器42a至42n在534处实施，所述致动器控制与指令有关(例如与推进***20、变速器***22、转向***24、制动***26等)的车辆特征，由此产生期望的车辆动作。
此外在各个实施例中，在536处确定车辆10是否仍在操作。在各个实施例中，该确定由图4的处理模块420(例如经由图1的控制器34的处理器44)来进行。在各个实施例中，如果确定车辆10仍在操作中(和/或仍然期望经由过程500进行车辆控制)，则所述过程返回到步骤504，并继续新的迭代(例如，在操作模式下继续更新的值、确定和动作)。否则，在各个实施例中，所述过程在540处终止。
因此，提供了使用神经网络模型提供潜在改进的车辆控制的方法、***和车辆。具体地，在各个实施例中，标记化传感器输入用于训练第一和第二神经网络模型以在训练模式中从人类驾驶员学习并在操作模式期间提供对各种车辆动作的所得控制。
根据以上讨论，在各个实施例中，多个神经网络用作从真实人类驾驶员行为训练的驾驶决策模型。此外在各个实施例中，四阶段神经网络的输入包括在时间t的行为者信息和车辆信息，并且所述输出包括在时间t+t1和时间t+t2的车辆控制预测。
在各个实施例中，鲁棒的自主驾驶***设置有类似人类的决策能力，其设定自主车辆在固定路径上的速度。在各个实施例中，提供了端到端***，其建立在现有技术的机器学习***上，并且能够将从车辆传感器中提取的多模态信息令牌转换成驾驶决策。提供了四阶段过程，其允许基于传感器信息令牌的可靠决策。在各个实施例中，***的输入包括来自所有行动者(即，汽车、行人、骑车人等)在时间tt的标记化信息(包括行为者的位置、速度和航向角)。在第一阶段中，对标记化信息进行预处理以使其无量纲化。在第二阶段中，来自所有行动者的无量纲标记化信息与(自驾)自主汽车的当前速度及其位置相结合被馈送到递归神经网络(RNN)，所述递归神经网络将该信息编码为固定大小的标准化特征向量，其捕捉时间tt时的情况的本质。在第三阶段中，RNN特征被传递到深度神经网络，其将已编码的行为者的信息映射到驾驶决策中并确定自主车辆在时间tt+Δtt的速度。最后，所确定的自主车辆在时间tt+Δtt的速度和位置被反馈到RNN以用于确定在第四阶段中的时间tt+2Δtt的速度。
在各个实施例中，所公开的方法、***和车辆提供了递归神经网络的输出的规范表示连同深度神经网络的使用以回归该规范表示并预测车辆动作(例如，转向、加速、减速等等)以用于自主车辆的训练，包括使用如上所述的多个神经网络对自主车辆的驾驶员学习。
如简要提及，上述各种模块和***可以被实施为受到监督、无监督、半监督或强化学习的一个或多个机器学习模型。此类模型可以被训练以执行分类(例如，二进制或多类分类)、回归、聚类、降维和/或此类任务。此类模型的示例包括但不限于人员工神经网络(ANN)(诸如递归神经网络(RNN)和卷积神经网络(CNN))、决策树模型(诸如分类和回归树(CART))、集合学习模型(诸如增强、自举聚合、梯度推进机和随机森林)、贝叶斯网络模型(例如，朴素贝叶斯)、主成分分析(PCA)、支持向量机(SVM)、聚类模型(诸如K-最近邻、K均值、期望最大化、层次聚类等)以及线性判别分析模型。
虽然前述详细描述中已经提出了至少一个示例性实施例，但是应当明白的是，存在许多变化。还应当明白的是，示例性实施例或多个示例性实施例仅是示例并且不旨在以任何方式限制本发明的范围、适用性或配置。实情是，前文详细描述将给本领域技术人员提供用于实施示例性实施例或多个示例性实施例的便捷指引。应当理解的是，在不脱离所附权利要求书和其合法等同物的范围的情况下，可对元件的功能和布置作出各种改变。

Claims (10)

1.一种方法，其包括：
获得与自主车辆附近的一个或多个行为者有关的第一传感器输入；
获得与所述自主车辆的操作有关的第二传感器输入；
经由处理器，经由第一神经网络使用所述第一传感器输入获得第一神经网络输出；以及
经由所述处理器，经由第二神经网络使用所述第一网络输出和所述第二传感器输入获得第二神经网络输出，所述第二神经网络输出提供用于控制所述自主车辆的一个或多个推荐动作。
2.根据权利要求1所述的方法，其中所述第一神经网络包括递归神经网络。
3.根据权利要求2所述的方法，其中：
所述第一神经网络包括深度递归神经网络；并且
所述第二神经网络包括深度神经网络。
4.根据权利要求1所述的方法，其中：
获得所述第一传感器输入的步骤包括获得所述自主车辆附近的一辆或多辆其他车辆的第一操作参数；并且
获得所述第一神经网络输出的步骤包括经由所述第一神经网络使用所述自主车辆附近的所述一辆或多辆其他车辆的所述第一操作参数获得所述第一神经网络输出。
5.根据权利要求1所述的方法，其还包括：
当所述自主车辆处于操作模式时，提供用于控制所述自主车辆的加速、减速或转向的一个或多个车辆动作。
6.根据权利要求1所述的方法，其还包括当所述自主车辆处于训练模式时：
获得与所述自主车辆的人类操作有关的观察数据；
将来自所述观察数据的所述自主车辆的所述人类操作与所述第二神经网络输出的所述推荐动作进行比较；并且
基于将来自所述观察数据的所述自主车辆的所述人类操作与所述第二神经网络输出的所述推荐动作的所述比较，更新所述第一神经网络和所述第二神经网络。
7.根据权利要求1所述的方法，其中：
获得所述第一传感器输入的步骤包括获得与自主车辆附近的一个或多个行为者有关的标记化传感器输入；并且
获得所述第一神经网络输出的步骤包括经由所述第一神经网络使用与自主车辆附近的一个或多个行为者有关的所述标记化传感器输入获得所述第一神经网络输出。
8.一种***，其包括：
用于自主车辆的感测模块，所述感测模块被配置为至少促进：
获得与自主车辆附近的一个或多个行为者有关的第一传感器输入；并且
获得与所述自主车辆的操作有关的第二传感器输入；以及
处理模块，其具有处理器并且联接到所述感测模块并被配置为至少促进：
经由第一神经网络使用所述第一传感器输入获得第一神经网络输出；并且
经由第二神经网络使用所述第一神经网络输出和所述第二传感器输入获得第二神经网络输出，所述第二神经网络输出提供用于控制所述自主车辆的一个或多个推荐动作。
9.根据权利要求8的所述***，其中：
所述第一神经网络包括深度递归神经网络；并且
所述第二神经网络包括深度神经网络。
10.一种自主车辆，其包括：
车身；
推进***，其被配置为移动所述车身；
设置在所述车身内的一个或多个传感器，所述一个或多个传感器被配置为至少促进：
获得与自主车辆附近的一个或多个行为者有关的第一传感器输入；并且
获得与所述自主车辆的操作有关的第二传感器输入；以及
设置在所述车身内的一个或多个处理器，所述一个或多个处理器被配置为至少促进：
经由第一神经网络使用所述第一传感器输入获得第一神经网络输出；并且
经由第二神经网络使用所述第一神经网络输出和所述第二传感器输入获得第二神经网络输出，所述第二神经网络输出提供用于控制所述自主车辆的一个或多个推荐动作。
CN201910298102.9A 2018-04-27 2019-04-12 使用基于神经网络的驾驶员学习的自主驾驶 Pending CN110422171A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/964,401 US20190332109A1 (en) 2018-04-27 2018-04-27 Systems and methods for autonomous driving using neural network-based driver learning on tokenized sensor inputs
US15/964401 2018-04-27

Publications (1)

Publication Number Publication Date
CN110422171A true CN110422171A (zh) 2019-11-08

Family

ID=68205598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910298102.9A Pending CN110422171A (zh) 2018-04-27 2019-04-12 使用基于神经网络的驾驶员学习的自主驾驶

Country Status (3)

Country Link
US (1) US20190332109A1 (zh)
CN (1) CN110422171A (zh)
DE (1) DE102019110184A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111026111A (zh) * 2019-11-29 2020-04-17 上海电机学院 一种基于5g网络的汽车智能驾驶控制***
CN111661034A (zh) * 2020-06-04 2020-09-15 纵目科技（上海）股份有限公司 基于深度递归神经网络的车身控制方法、***、终端和存储介质
CN114368392A (zh) * 2020-10-14 2022-04-19 通用汽车环球科技运作有限责任公司 自主训练驾驶员的方法和***

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11273836B2 (en) * 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
US20190354815A1 (en) * 2018-05-15 2019-11-21 Palo Alto Investors LP Homeostatic Capacity Evaluation of Artificial Intelligence Systems
US11370446B2 (en) * 2018-08-06 2022-06-28 Honda Motor Co., Ltd. System and method for learning and predicting naturalistic driving behavior
US11584379B2 (en) * 2018-08-06 2023-02-21 Honda Motor Co., Ltd. System and method for learning naturalistic driving behavior based on vehicle dynamic data
US10943154B2 (en) * 2019-01-22 2021-03-09 Honda Motor Co., Ltd. Systems for modeling uncertainty in multi-modal retrieval and methods thereof
US10635938B1 (en) * 2019-01-30 2020-04-28 StradVision, Inc. Learning method and learning device for allowing CNN having trained in virtual world to be used in real world by runtime input transformation using photo style transformation, and testing method and testing device using the same
US11748626B2 (en) 2019-08-12 2023-09-05 Micron Technology, Inc. Storage devices with neural network accelerators for automotive predictive maintenance
US11635893B2 (en) * 2019-08-12 2023-04-25 Micron Technology, Inc. Communications between processors and storage devices in automotive predictive maintenance implemented via artificial neural networks
US11586194B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network models of automotive predictive maintenance
US11853863B2 (en) 2019-08-12 2023-12-26 Micron Technology, Inc. Predictive maintenance of automotive tires
US11586943B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network inputs in automotive predictive maintenance
US11775816B2 (en) 2019-08-12 2023-10-03 Micron Technology, Inc. Storage and access of neural network outputs in automotive predictive maintenance
US11702086B2 (en) 2019-08-21 2023-07-18 Micron Technology, Inc. Intelligent recording of errant vehicle behaviors
US11361552B2 (en) 2019-08-21 2022-06-14 Micron Technology, Inc. Security operations of parked vehicles
US11498388B2 (en) 2019-08-21 2022-11-15 Micron Technology, Inc. Intelligent climate control in vehicles
US11650746B2 (en) 2019-09-05 2023-05-16 Micron Technology, Inc. Intelligent write-amplification reduction for data storage devices configured on autonomous vehicles
US11409654B2 (en) 2019-09-05 2022-08-09 Micron Technology, Inc. Intelligent optimization of caching operations in a data storage device
US11435946B2 (en) 2019-09-05 2022-09-06 Micron Technology, Inc. Intelligent wear leveling with reduced write-amplification for data storage devices configured on autonomous vehicles
US11693562B2 (en) 2019-09-05 2023-07-04 Micron Technology, Inc. Bandwidth optimization for different types of operations scheduled in a data storage device
US11436076B2 (en) 2019-09-05 2022-09-06 Micron Technology, Inc. Predictive management of failing portions in a data storage device
EP3832420B1 (en) * 2019-12-06 2024-02-07 Elektrobit Automotive GmbH Deep learning based motion control of a group of autonomous vehicles
US11250648B2 (en) 2019-12-18 2022-02-15 Micron Technology, Inc. Predictive maintenance of automotive transmission
US11709625B2 (en) 2020-02-14 2023-07-25 Micron Technology, Inc. Optimization of power usage of data storage devices
US11531339B2 (en) 2020-02-14 2022-12-20 Micron Technology, Inc. Monitoring of drive by wire sensors in vehicles
CN111547039B (zh) * 2020-05-13 2021-03-23 北京理工大学 基于深度强化学习的混合动力车辆油门控制方法及***
US11511770B2 (en) 2020-10-19 2022-11-29 Marvell Asia Pte, Ltd. System and method for neural network-based autonomous driving
US11814076B2 (en) * 2020-12-03 2023-11-14 GM Global Technology Operations LLC System and method for autonomous vehicle performance grading based on human reasoning
CN112925344B (zh) * 2021-01-25 2022-01-04 南京航空航天大学 基于数据驱动和机器学习的无人机飞行工况预测方法
DE102021203520B3 (de) * 2021-04-09 2022-02-10 Volkswagen Aktiengesellschaft Verfahren zum Erzeugen eines Steuersignals für eine Querregeleinrichtung eines zumindest teilweise assistiert betriebenen Kraftfahrzeugs, sowie Assistenzsystem

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529485A (zh) * 2016-11-16 2017-03-22 北京旷视科技有限公司 用于获取训练数据的方法及装置
US20170135621A1 (en) * 2015-11-16 2017-05-18 Samsung Electronics Co., Ltd. Apparatus and method to train autonomous driving model, and autonomous driving apparatus
US20170206426A1 (en) * 2016-01-15 2017-07-20 Ford Global Technologies, Llc Pedestrian Detection With Saliency Maps
CN106990714A (zh) * 2017-06-05 2017-07-28 李德毅 基于深度学习的适配控制方法与装置
CN107531244A (zh) * 2015-04-21 2018-01-02 松下知识产权经营株式会社 信息处理***、信息处理方法、以及程序
CN107826102A (zh) * 2016-09-16 2018-03-23 通用汽车环球科技运作有限责任公司 用于无乘员自主车辆的控制策略

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10836379B2 (en) * 2018-03-23 2020-11-17 Sf Motors, Inc. Multi-network-based path generation for vehicle parking
US20190050729A1 (en) * 2018-03-26 2019-02-14 Intel Corporation Deep learning solutions for safe, legal, and/or efficient autonomous driving
US11613249B2 (en) * 2018-04-03 2023-03-28 Ford Global Technologies, Llc Automatic navigation using deep reinforcement learning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107531244A (zh) * 2015-04-21 2018-01-02 松下知识产权经营株式会社 信息处理***、信息处理方法、以及程序
US20170135621A1 (en) * 2015-11-16 2017-05-18 Samsung Electronics Co., Ltd. Apparatus and method to train autonomous driving model, and autonomous driving apparatus
US20170206426A1 (en) * 2016-01-15 2017-07-20 Ford Global Technologies, Llc Pedestrian Detection With Saliency Maps
CN107826102A (zh) * 2016-09-16 2018-03-23 通用汽车环球科技运作有限责任公司 用于无乘员自主车辆的控制策略
CN106529485A (zh) * 2016-11-16 2017-03-22 北京旷视科技有限公司 用于获取训练数据的方法及装置
CN106990714A (zh) * 2017-06-05 2017-07-28 李德毅 基于深度学习的适配控制方法与装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111026111A (zh) * 2019-11-29 2020-04-17 上海电机学院 一种基于5g网络的汽车智能驾驶控制***
CN111661034A (zh) * 2020-06-04 2020-09-15 纵目科技（上海）股份有限公司 基于深度递归神经网络的车身控制方法、***、终端和存储介质
CN111661034B (zh) * 2020-06-04 2022-07-29 纵目科技（上海）股份有限公司 基于深度递归神经网络的车身控制方法、***、终端和存储介质
CN114368392A (zh) * 2020-10-14 2022-04-19 通用汽车环球科技运作有限责任公司 自主训练驾驶员的方法和***

Also Published As

Publication number Publication date
US20190332109A1 (en) 2019-10-31
DE102019110184A1 (de) 2019-10-31

Similar Documents

Publication Publication Date Title
CN110422171A (zh) 使用基于神经网络的驾驶员学习的自主驾驶
CN108528458B (zh) 用于车辆尺寸预测的***和方法
Bathla et al. Autonomous vehicles and intelligent automation: Applications, challenges, and opportunities
CN110068346A (zh) 用于自主车辆中不受保护的操纵缓解的***和方法
CN109131346B (zh) 用于预测自主车辆中的交通模式的***和方法
CN109817008B (zh) 自主车辆中用于交通繁忙情况中的无保护左转弯的***和方法
CN109460015B (zh) 用于自主驾驶应用的无监督学习代理
CN109814520A (zh) 用于确定自主车辆的安全事件的***和方法
CN108802761A (zh) 用于激光雷达点云异常的方法和***
CN110850861A (zh) 基于注意的分层变道深度强化学习
CN109808688A (zh) 针对即将到来的变道在自主车辆中调整速度的***和方法
CN110850854A (zh) 自动驾驶员代理和为自动驾驶员代理提供策略的策略服务器
CN109291929A (zh) 用于自动驾驶***的深度集成融合架构
CN109866778A (zh) 具有自动辅助的自主车辆操作
CN110069060A (zh) 用于自动驾驶车辆中路径规划的***和方法
CN108628206A (zh) 道路施工检测***和方法
CN109808700A (zh) 用于在自主车辆中映射道路干扰物体的***和方法
CN109949590A (zh) 交通信号灯状态评估
CN108725446A (zh) 用于自主车辆的俯仰角补偿
CN110758399B (zh) 用于预测实体行为的***和方法
CN110431037A (zh) 包括运用部分可观察马尔可夫决策过程模型示例的自主车辆操作管理
CN110341717A (zh) 在静止车辆周围的自主车辆移动
CN109472986A (zh) 用于确定交通控制人员和交通控制标志物的存在的***和方法
CN109835347A (zh) 活动的交通参与者
CN109871009A (zh) 失效通信模式期间的自主车辆应急转向配置文件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191108

WD01 Invention patent application deemed withdrawn after publication