CN110944894B - 基于驾驶员控制车辆能力在自主驾驶模式和手动驾驶模式之间转换的***和方法 - Google Patents

基于驾驶员控制车辆能力在自主驾驶模式和手动驾驶模式之间转换的***和方法 Download PDF

Info

Publication number
CN110944894B
CN110944894B CN201880037702.3A CN201880037702A CN110944894B CN 110944894 B CN110944894 B CN 110944894B CN 201880037702 A CN201880037702 A CN 201880037702A CN 110944894 B CN110944894 B CN 110944894B
Authority
CN
China
Prior art keywords
vehicle
driver
control
prompted
ability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880037702.3A
Other languages
English (en)
Other versions
CN110944894A (zh
Inventor
黄泽铧
王泮渠
陈鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tucson Ltd
Original Assignee
Tucson Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tucson Ltd filed Critical Tucson Ltd
Priority to CN202311226879.7A priority Critical patent/CN117022329A/zh
Publication of CN110944894A publication Critical patent/CN110944894A/zh
Application granted granted Critical
Publication of CN110944894B publication Critical patent/CN110944894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/082—Selecting or switching between different modes of propelling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/161—Explanation of functions, e.g. instructions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/26—Incapacity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

公开了一种基于对驾驶员控制车辆的能力的检测在自主驾驶模式和手动驾驶模式之间转换的***和方法。特定实施例包括：接收与车辆驾驶员手动控制自主车辆的能力有关的传感器数据；基于传感器数据，确定驾驶员是否具有手动控制自主车辆的能力，该确定包括提示驾驶员执行动作或提供输入；以及将车辆控制转换信号输出给车辆子***，以使车辆子***基于驾驶员手动控制自主车辆的能力进行动作。

Description

基于驾驶员控制车辆能力在自主驾驶模式和手动驾驶模式之 间转换的***和方法
相关申请的交叉引用
本申请要求于2017年4月7日提交的美国专利申请序列号15/482,624的优先权。
版权声明
本专利文件的公开的一部分包含受版权保护的材料。版权拥有者不反对任何人按照在美国专利商标局的专利文件或记录中所显示的那样以传真形式复制本专利文件或专利公开，但在其他方面保留所有版权。以下声明适用于本文的公开内容以及形成本文档一部分的附图：版权2016-2017，TuSimple，保留所有权利。
技术领域
本专利文件总体上涉及用于车辆轨迹生成或轨迹规划的工具(***、装置、方法、计算机程序产品等)、车辆控制***和自主驾驶***，更具体地涉及，但不限于，基于对驾驶员控制车辆能力的检测在自主驾驶模式和手动驾驶模式之间转换的***和方法。
背景技术
自主车辆使用各种计算***来辅助车辆的自主控制。一些自主车辆可能需要来自操作员(例如，飞行员、驾驶员或乘员)的一些初始输入或连续输入。其他***(例如，自动驾驶***)仅在该***被占用后才可以使用，这允许操作员从手动模式(其中操作员对车辆的移动进行高度控制)切换到自主模式(其中车辆基本上自行驾驶)到介于两者之间的模式。然而，常规***不能提供自主驾驶模式和驾驶员控制的驾驶模式之间平稳而安全的转换。特别地，常规***不能在驾驶员没有明确地迫使控制离开自主车辆控制***的情况下隐式地发起控制的转换。
发明内容
本文公开了基于对驾驶员控制车辆的能力的检测在自主驾驶模式与手动驾驶模式之间转换的***和方法。特别地，该方法和***包括提供自主车辆中驾驶模式之间受控的转换，其中根据与用户(例如，驾驶员)手动控制车辆的能力或适合性相对应的检测数据在自主驾驶模式和手动驾驶模式之间进行模式转换。该***可以包括相机、传感器、交互式设备和计算设备。相机可以安装在自主车辆内/上，以监测用户/驾驶员的面部特征和活动并收集图像和面部特征数据。该***还可以提供方向盘传感器以捕获实时转向模式，以及定位传感器来监测车辆的位置和移动。***可以向用户/驾驶员提示执行某些动作的指令。可以通过交互式设备(例如，声音设备或仪表板显示屏)将指令提供给用户/驾驶员。计算设备利用将用户/驾驶员的当前活动分类为预定义类别或状态的过程来分析用户/驾驶员对交互式提示指令的响应。例如，预定义的类别或状态可以包括睡眠、通电话等。状态分类由示例实施例基于用户/驾驶员的面部分析和用户/驾驶员对提示指令的响应来执行。结果，可以评估和确定用户/驾驶员控制车辆的能力。可以基于对示例实施例所确定的用户/驾驶员的能力的评估来允许用户/驾驶员控制车辆。还可以基于对用户/驾驶员控制车辆的能力的评估，采取其他措施来确保用户/驾驶员和车辆的安全。
附图说明
在附图的各图中以示例而非限制的方式示出了各种实施例，在附图中：
图1示出了其中可以实现示例实施例的驾驶控制转换模块的示例生态***的框图；
图2示出了示例实施例的驾驶控制转换***的组件；
图3示出了可以在自主车辆中使用的方向盘的示例，其中示例实施例可以提供由驾驶员进行的手动控制；
图4是示出了用于基于对驾驶员控制车辆能力的检测而在自主驾驶模式和手动驾驶模式之间转换的***和方法的示例实施例的过程流程图；以及
图5以计算机***的示例形式示出了机器的示意图，在该计算机***内一组指令在被执行时可以使得机器执行本文所讨论的方法中的任何一个或多个。
具体实施方式
在下面的描述中，出于解释的目的，阐述了许多具体细节以便提供对各种实施例的透彻理解。然而，对于本领域的普通技术人员而言显而易见的是，可以在没有这些具体细节的情况下实践各种实施例。
如各种示例实施例中所述，本文描述了用于基于对驾驶员控制车辆能力的检测在自主驾驶模式和手动驾驶模式之间转换的***和方法。可以在车辆生态***101中的车载控制***150的情况下使用本文公开的示例实施例。在一个示例实施例中，驻留在车辆105中的具有驾驶控制转换模块200的车载控制***150可以像图1中所示的架构和生态***101一样进行配置。然而，对于本领域的普通技术人员而言显而易见的是，可以在各种其他应用以及***中实现、配置和使用本文描述和要求保护的驾驶控制转换模块200。
现在参考图1，框图示出了示例生态***101，其中可以实现示例实施例的车载控制***150和驾驶控制转换模块200。将在下面更详细地描述这些组件。生态***101包括各种***和组件，它们可以生成信息/数据和相关服务的一个或多个源和/或将其传递给车载控制***150和驾驶控制转换模块200，其可以安装在车辆105中。例如，作为车辆子***140的设备之一，安装在车辆105中的相机可以生成可由车载控制***150接收的图像和定时数据。相机中的至少其中一个相机可以以面向内的方式放置，以随时间查看车辆驾驶员的头部和面部，并捕获驾驶员面部特征的图像。车载控制***150和在其中执行的图像处理模块150可以接收该图像和定时数据输入。图像处理模块可以从车辆子***140的设备中提取传感器数据以及图像和定时数据，以监测车辆的驾驶员并识别驾驶员面部的特征。如下面更详细描述的，驾驶控制转换模块200可以处理传感器数据和驾驶员面部特征数据，并生成对驾驶员控制车辆的能力或适合性的确定。驾驶员的能力或适合性的确定可以由自主车辆控制子***(作为车辆子***140的另一子***)使用。自主车辆控制子***例如可以使用对驾驶员能力或适合性的确定来安全高效地执行车辆控制操作，并在现实世界驾驶环境中导航车辆105，同时避开障碍物并安全地控制车辆。
在本文所述的示例实施例中，车载控制***150可以与多个车辆子***140进行数据通信，所有这些车辆子***140可以驻留在用户的车辆105中。提供车辆子***接口141以促进车载控制***150和多个车辆子***140之间的数据通信。车载控制***150可以被配置为包括数据处理器171，以执行驾驶控制转换模块200，该数据处理器171用于处理从车辆子***140中的一个或多个接收的传感器数据和驾驶员面部特征数据。数据处理器171可与数据存储设备172组合，该数据存储设备172作为车载控制***150中的计算***170的一部分。数据存储设备172可用于存储数据、处理参数和数据处理指令。可以提供处理模块接口165以促进数据处理器171与驾驶控制转换模块200之间的数据通信。在各个示例实施例中，类似于驾驶控制转换模块200配置的多个处理模块可以被提供以供数据处理器171执行。如图1中的虚线所示，驾驶控制转换模块200可以集成到车载控制***150中，可选地下载到车载控制***150中，或与车载控制***150分开部署。
车载控制***150可以被配置为从与其连接的广域网120和网络资源122接收数据或向其发送数据。车载网络支持设备130和/或用户移动设备132可用于经由网络120进行通信。网络支持设备接口131可由车载控制***150使用以促进经由车载网络支持设备130在车载控制***150和网络120之间的数据通信。类似地，车载控制***150可以使用用户移动设备接口133来促进通过用户移动设备132在车载控制***150和网络120之间的数据通信。以这种方式，车载控制***150可以获得通过网络120对网络资源122的实时访问。网络资源122可以用于获得用于由数据处理器171执行的处理模块、训练内部神经网络的数据内容、***参数或其他数据。
生态***101可以包括广域数据网络120。网络120代表一个或多个常规广域数据网络，例如因特网、蜂窝电话网络、卫星网络、寻呼机网络、无线广播网络、游戏网络、WiFi网络、对等网络、IP语音(VoIP)网络等。这些网络120中的一个或多个可用于将用户或客户端***与网络资源122(例如，网站、服务器、中央控制站点等)连接起来。网络资源122可以生成和/或分发数据，该数据可以在车辆105中经由车载网络支持设备130或用户移动设备132被接收。网络资源122还可以托管网络云服务，其可以支持用于计算或协助处理对象输入或对象输入分析的功能。天线可用于经由蜂窝、卫星、无线电或其他常规信号接收机制将车载控制***150以及驾驶控制转换模块200与数据网络120连接。这样的蜂窝数据网络当前可用(例如，VerizonTM、AT&TTM、T-MobileTM等)。此类基于卫星的数据或内容网络目前也可用(例如，SiriusXMTM、HughesNetTM等)。诸如AM/FM无线电网络、寻呼机网络、UHF网络、游戏网络、WiFi网络、对等网络、IP语音(VoIP)网络等的常规广播网络也是众所周知的。因此，如下面更详细地描述的，车载控制***150和驾驶控制转换模块200可以经由车载网络支持设备接口131接收基于网络的数据或内容，该车载网络支持设备接口131可以用于与车载网络支持设备接收器130和网络120连接。通过这种方式，车载控制***150和驾驶控制转换模块200可以支持车辆105内的各种可联网车载设备和***。
如图1所示，车载控制***150和驾驶控制转换模块200还可以从用户移动设备132接收输入数据、处理控制参数和训练内容，该用户移动设备132可以位于车辆105内部或附近。用户移动设备132可以代表标准移动设备，例如蜂窝电话、智能电话、个人数字助理(PDA)、MP3播放器、平板计算设备(例如，iPadTM)、膝上型计算机、CD播放器和其他移动设备，该移动设备可以产生、接收和/或传递用于车载控制***150和驾驶控制转换模块200的数据、处理控制参数和内容。如图1所示，移动设备132也可以与网络云120进行数据通信。移动设备132可以从移动设备132本身的内部存储器组件或通过网络120从网络资源122获取数据和内容。另外，移动设备132本身可以包括GPS数据接收器、加速度计、WiFi三角测量或移动设备中的其他地理位置传感器或组件，其可用于在任何时间(通过移动设备)确定用户的实时地理位置。在任何情况下，如图1所示，车载控制***150和驾驶控制转换模块200都可以从移动设备132接收数据。
仍然参考图1，生态***101的示例实施例可以包括车辆操作子***140。对于在车辆105中实现的实施例，许多标准车辆包括操作子***，例如支持监测/控制用于发动机、制动器、变速器、电气***、排放***、内部环境等的子***的电子控制单元(ECU)。例如，经由车辆子***接口141从车辆操作子***140(例如，车辆105的ECU)传送给车载控制***150的数据信号可以包括关于车辆105的一个或多个组件或子***的状态的信息。具体地，可以从车辆操作子***140传送给车辆105的控制器局域网(CAN)总线的数据信号可以经由车辆子***接口141由车载控制***150来接收和处理。本文描述的***和方法的实施例可以与使用本文定义的CAN总线或类似的数据通信总线的基本上任何机械化***一起使用，包括但不限于工业设备、船、卡车、机械、或汽车；因此，本文使用的术语“车辆”可以包括任何此类机械化***。本文描述的***和方法的实施例还可以与采用某种形式的网络数据通信的任何***一起使用；然而，不需要这种网络通信。
仍然参考图1，生态***101以及其中的车辆操作子***140的示例实施例可以包括支持车辆105的操作的各种车辆子***。通常，车辆105可以采用以下形式：例如，小汽车、卡车、摩托车、公共汽车、船、飞机、直升机、割草机、推土机、雪地摩托、飞行器、休旅车、游乐园车、农用设备、建筑设备、电车、高尔夫球车、火车和手推车。其他车辆也是可能的。车辆105可被配置为完全或部分地以自主模式操作。例如，车辆105可以在自主模式下控制自己，并且可操作以确定车辆的当前状态及其环境、确定该环境中至少一个其他车辆的预测行为、确定可以与该至少一个其他车辆执行预测行为的概率相对应的置信度、以及基于所确定的信息来控制车辆105。当处于自主模式时，车辆105可以被配置为在没有人类交互或控制的情况下进行操作。
车辆105可以包括各种车辆子***，例如车辆驱动子***142、车辆传感器子***144、车辆控制子***146和乘员接口子***148。如上所述，车辆105还可以包括车载控制***150、计算***170以及驾驶控制转换模块200。车辆105可以包括更多或更少的子***，并且每个子***可以包括多个元件。此外，车辆105的每个子***和元件可以互连。因此，车辆105的所描述的功能中的一个或多个可以被划分为附加的功能或物理组件，或者被组合为较少的功能或物理组件。在一些其他示例中，可以将其他功能和物理组件添加到图1所示的示例中。
车辆驱动子***142可以包括可操作以为车辆105提供动力运动的组件。在示例实施例中，车辆驱动子***142可以包括发动机或电动机、车轮/轮胎、变速器、电气子***和电源。发动机或电动机可以是内燃发动机、电动机、蒸汽发动机、燃料电池发动机、丙烷发动机或其他类型的发动机或电动机的任何组合。在一些示例实施例中，发动机可以配置为将动力源转换成机械能。在一些示例实施例中，车辆驱动子***142可以包括多种类型的发动机或电动机。例如，气电混合汽车可以包括汽油发动机和电动机。其他示例也是可能的。
车辆105的车轮可以是标准轮胎。车辆105的车轮可以被配置为各种形式，例如包括单轮车、自行车、三轮车或四轮车(例如，在汽车或卡车上)形式。其他车轮几何形状也是可能的，例如包括六个或更多个车轮的那些。车辆105的车轮的任何组合可以可操作以相对于其他车轮不同地旋转。车轮可以表示固定地附接到变速器的至少一个车轮、以及耦接到车轮的轮辋的至少一个轮胎，其可以与驱动表面接触。车轮可以包括金属和橡胶的组合或材料的另一组合。变速器可包括可操作以将机械动力从发动机传递给车轮的元件。为此，变速器可以包括齿轮箱、离合器、差速器和驱动轴。变速器也可以包括其他元件。驱动轴可包括可耦接至一个或多个车轮的一个或多个轮轴。电气***可包括可操作以传送和控制车辆105中的电信号的元件。这些电信号可用于激活车辆105的灯、伺服、电动机和其他电驱动或控制设备。动力源可以表示可以全部或部分地为发动机或电动机供电的能源。即，发动机或电动机可以被配置为将动力源转换成机械能。动力源的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、燃料电池、太阳能板、电池和其他电源的来源。动力源可以附加地或替代地包括燃料箱、电池、电容器或飞轮的任何组合。动力源也可以为车辆105的其他子***提供能量。
车辆传感器子***144可以包括多个传感器，其被配置为感测关于车辆105的环境或状况的信息。例如，车辆传感器子***144可以包括惯性测量单元(TMU)、全球定位***(GPS)收发器、RADAR单元、激光测距仪/LIDAR单元以及一个或多个相机或图像捕获设备。车辆传感器子***144还可以包括被配置为监测车辆105的内部***的传感器(例如，方向盘位置、移动或压力、O2监测器、燃油表、发动机油温等)。其他传感器也是可能的。车辆传感器子***144中包括的一个或多个传感器可以被配置为单独地或共同地被致动，以便修改一个或多个传感器的位置、取向或两者。包括在车辆传感器子***144中的传感器中的其他传感器可以包括输入设备，用户可以使用该输入设备来激活按钮、说出话语、移动操纵杆或踏板或者以其他方式指示输入信号。
IMU可以包括被配置为基于惯性加速度感测车辆105的位置和取向变化的传感器(例如，加速度计和陀螺仪)的任何组合。GPS收发器可以是被配置为估计车辆105的地理位置的任何传感器。为此，GPS收发器可以包括可操作以提供关于车辆105相对于地表的位置的信息的接收器/发送器。RADAR单元可以表示利用无线电信号来感测车辆105的局部环境内的对象的***。在一些实施例中，除了感测对象之外，RADAR单元还可以被配置为感测车辆105附近的对象的速度和前进方向。激光测距仪或LIDAR单元可以是被配置为使用激光器来感测车辆105所在环境中的对象的任何传感器。在示例实施例中，激光测距仪/LIDAR单元可包括一个或多个激光源、激光扫描仪以及一个或多个检测器以及其他***组件。激光测距仪/LIDAR单元可以被配置为以相干(例如，使用外差检测)或非相干检测模式操作。相机可以包括一个或多个设备，该设备被配置为捕获车辆105的环境的多个图像。相机可以是静止图像相机或运动摄像机。
车辆控制***146可以被配置为控制车辆105及其组件的操作。因此，车辆控制***146可包括各种元件，例如转向单元、节气门、制动单元、导航单元和自主控制单元。
转向单元可以表示可操作以调节车辆105的前进方向的机构的任何组合。如上所述，方向盘可以包括传感器，以检测方向盘的位置或移动或方向盘上的压力水平。节气门可以被配置为控制例如发动机的操作速度，并进而控制车辆105的速度。制动单元可以包括被配置为使车辆105减速的机构的任何组合。制动单元可以以标准方式使用摩擦使车轮减速。在其他实施例中，制动单元可以将车轮的动能转换为电流。制动单元也可以采用其他形式。导航单元可以是被配置为确定车辆105的行驶路径或路线的任何***。导航单元可以被附加地配置为在车辆105操作时动态地更新驾驶路径。在一些实施例中，导航单元可以被配置为合并来自驾驶控制转换模块200、GPS收发器以及一个或多个预定地图的数据，以便确定车辆105的驾驶路径。自主控制单元可以表示被配置为识别、评估、避开或以其他方式协商车辆105的环境中的潜在障碍物的控制***。通常，自主控制单元可以被配置为在没有驾驶员的情况下控制车辆105进行操作或提供驾驶员辅助以控制车辆105。在一些实施例中，自主控制单元可以被配置为合并来自驾驶控制转换模块200、GPS收发器、RADAR、LIDAR、相机和其他车辆子***的数据，以确定车辆105的行驶路径或轨迹。车辆控制***146可以附加地或替代地包括除了示出和描述的那些组件之外的组件。
乘员接口子***148可以被配置为允许车辆105与外部传感器、其他车辆、其他计算机***和/或车辆105的乘员或用户之间的交互。例如，乘员接口子***148可以包括标准视觉显示设备(例如，等离子体显示器、液晶显示器(LCD)、触摸屏显示器、平视显示器等)、扬声器或其他音频输出设备、麦克风或其他音频输入设备、导航界面以及用于控制车辆105的内部环境(例如，温度、风扇等)的界面。
在示例实施例中，乘员接口子***148可以提供例如用于车辆105的用户/乘员与其他车辆子***进行交互的装置。视觉显示设备可以向车辆105的用户提供信息。用户接口设备还可以可操作以经由触摸屏接受来自用户或驾驶员的输入。触摸屏可以被配置为经由电容感测、电阻感测或表面声波过程等来感测用户手指的位置和移动中的至少一个。触摸屏能够感测在与触摸屏表面平行或成平面的方向上、在垂直于触摸屏表面的方向上或者在这两者上的手指移动，并且还能够感测被施加到触摸屏表面的压力水平。触摸屏可以由一个或多个半透明或透明的绝缘层和一个或多个半透明或透明的导电层形成。触摸屏也可以采用其他形式。
在其他实例中，乘员接口子***148可以提供用于车辆105与其环境内的设备进行通信的装置。麦克风可以被配置为从车辆105的用户或驾驶员接收音频(例如，语音命令或其他音频输入)。类似地，扬声器可以被配置为向车辆105的用户输出音频。在一个示例实施例中，乘员接口子***148可被配置为直接地或经由通信网络与一个或多个设备无线通信。例如，无线通信***可以使用3G蜂窝通信，例如CDMA、EVDO、GSM/GPRS，或4G蜂窝通信，例如WiMAX或LTE。备选地，无线通信***可以例如使用与无线局域网(WLAN)通信。在一些实施例中，无线通信***146可以例如使用红外链路、/>或/>直接与设备进行通信。在本公开的上下文中，诸如各种车辆通信***之类的其他无线协议也是可能的。例如，无线通信***可以包括一个或多个专用短程通信(DSRC)设备，其可以包括车辆和/或路侧站点之间的公共或私有数据通信。
车辆105的许多或全部功能可以由计算***170控制。计算***170可以包括至少一个数据处理器171(其可以包括至少一个微处理器)，其执行存储在非暂时性计算机可读介质(例如，数据存储设备172)中的处理指令。计算***170还可以表示多个计算设备，其可以用来控制车辆105的处于分布式方式的各个组件或子***。在一些实施例中，数据存储设备172可以包含可由数据处理器171执行以执行车辆105的各种功能的处理指令(例如，程序逻辑)，包括本文结合附图所描述的那些功能。数据存储设备172还可以包含其他指令，包括将数据发送给车辆驱动子***140、车辆传感器子***144、车辆控制子***146以及乘员接口子***148中的一个或多个、从其接收数据、与其进行交互或对其进行控制的指令。
除了处理指令之外，数据存储设备172还可以存储诸如对象处理参数、训练数据、道路地图和路径信息等信息之类的数据。车辆105和计算***170可以在车辆105以自主、半自主和/或手动模式进行操作期间使用此类信息。
车辆105可以包括用于向车辆105的用户、驾驶员或乘员提供信息或指令或者从车辆105的用户、驾驶员或乘员接收信息或指令的用户界面。用户界面可以控制可以在显示设备上显示的交互式图像的内容和布局或实现对可以在显示设备上显示的交互式图像的内容和布局的控制。此外，用户界面可包括在一组乘员接口子***148内的一个或多个输入/输出设备，例如显示设备、扬声器、麦克风或无线通信***。
计算***170可以基于从各个车辆子***(例如，车辆驱动子***140、车辆传感器子***144和车辆控制子***146)接收的以及从乘员接口子***148接收的输入来控制车辆105的功能。例如，计算***170可以使用来自车辆控制***146的输入，以便控制转向单元以避开由车辆传感器子***144检测到的障碍物，并遵循由驾驶控制转换模块200生成的路径或轨迹。在示例实施例中，计算***170可操作以提供对车辆105及其子***的许多方面的控制。
尽管图1示出了车辆105的各种组件，例如车辆子***140、计算***170、数据存储设备172以及驾驶控制转换模块200，它们被集成到车辆105中，这些组件中的一个或多个可以独立于车辆105而安装或相关联。例如，数据存储设备172可以部分地或全部地与车辆105分开地存在。因此，可以以可以分开定位或定位在一起的设备元件的形式来提供车辆105。构成车辆105的设备元件可以以有线或无线方式通信地耦合在一起。
另外，如上所述，可以通过车载控制***150从本地和/或远程源获得其他数据和/或内容(在本文中表示为辅助数据)。辅助数据可以用于基于各种因素来增加、修改或训练驾驶控制转换模块200的操作，这些因素包括用户正在操作车辆的情况(例如，车辆的位置、指定的目的地、行进方向、速度、一天中的时间、车辆的状态等)以及可以从如本文所述的各种源(本地和远程)获得的各种其他数据。
在特定实施例中，车载控制***150和驾驶控制转换模块200可以被实现为车辆105的车载组件。在各个示例实施例中，车载控制***150以及与之进行数据通信的驾驶控制转换模块200可以被实现为集成组件或单独组件。在示例实施例中，可以通过使用经由网络120与移动设备132和/或网络资源122的数据连接来动态地升级、修改和/或扩充车载控制***150和/或驾驶控制转换模块200的软件组件。车载控制***150可以周期性地向移动设备132或网络资源122查询更新，或者可以将更新推送到车载控制***150。
现在参考图2，该图示出了示例实施例的驾驶控制转换***201的组件。在示例实施例中，驾驶控制转换***201可以被配置为包括驾驶控制转换模块200。如下面更详细地描述的，驾驶控制转换模块200用于实现从对车辆的自主控制到驾驶员控制的平稳且安全的自动转换。这种自动转换是基于对驾驶员的控制能力或适合性的确定。驾驶员适合性的确定是基于输入传感器数据和驾驶员面部特征数据210，该驾驶员面部特征数据210从包括一个或多个相机的车辆传感器子***144中的一个或多个被接收，并由图像处理模块进行处理以识别驾驶员头部和面部的特征，该特征可以指示驾驶员控制能力或适合性。驾驶控制转换模块200可以被配置为由车载控制***150的数据处理器171执行的一个或多个软件模块。驾驶控制转换模块200可以接收输入传感器数据和驾驶员面部特征数据210并产生车辆控制转换信号220，其可以由车辆控制子***146的自主控制子***使用，以使自主控制子***高效且安全地将对车辆105的控制转换到驾驶员(或防止这种控制转换)。作为驾驶控制转换处理的一部分，驾驶控制转换模块200可以被配置为与驾驶控制转换处理配置参数174一起作用，该驾驶控制转换处理配置参数174可用于自定义和微调驾驶控制转换模块200的操作。驾驶控制转换处理配置参数174可以存储在车载控制***150的存储器172中。
在示例实施例中，驾驶控制转换模块200可以被配置为包括与车载控制***150的接口，如图1所示，驾驶控制转换模块200可以通过该接口发送和接收数据，如本文所述。另外，驾驶控制转换模块200可以被配置为包括与车载控制***150和/或其他生态***101子***的接口，驾驶控制转换模块200可以通过该接口从上述各种数据源接收辅助数据。如上所述，驾驶控制转换模块200还可以在未部署在车辆中和不必在车辆中使用或与车辆一起使用的***和平台中实现。
在如图2所示的示例实施例中，驾驶控制转换***201可以被配置为包括驾驶控制转换模块200以及为清楚起见未示出的其他处理模块。这些模块中的每个可以被实现为在车载控制***150内操作的或与车载控制***150进行数据通信的驾驶控制转换***201的可执行环境内执行或激活的软件、固件或其他逻辑组件。以下结合本文提供的附图更详细地描述示例实施例的这些模块中的每个模块。
基于对驾驶员控制车辆的能力的检测在自主驾驶模式和手动驾驶模式之间转换 的***和方法
本文公开了基于对驾驶员控制车辆的能力的检测而在自主驾驶模式和手动驾驶模式之间转换的***和方法。具体地，该方法和***包括在自主车辆中提供驾驶模式之间的转换，其中根据与用户(例如，驾驶员)手动控制车辆的能力或适应性相对应的检测数据，在自主驾驶模式和手动驾驶模式之间进行模式转换。该***可以包括相机、传感器、交互式设备和计算设备。相机可以安装在自主车辆内/上，以监测用户的面部特征和活动并收集图像和面部特征数据。该***还可以提供方向盘传感器以捕获实时转向模式，以及定位传感器来监测车辆的位置和移动。***可以向用户/驾驶员提示执行某些动作的指令。可以通过交互式设备(例如，声音设备或仪表板显示屏)将指令提供给用户。计算设备利用将用户的当前活动分类为预定义类别或状态的过程来分析用户对交互式提示指令的响应。例如，预定义的类别或状态可以包括睡眠、通电话等。状态分类由示例实施例基于用户的面部分析和用户对提示指令的响应来执行。结果，可以评估和确定驾驶员控制车辆的能力。可以基于对示例实施例所确定的驾驶员的能力的评估来允许用户控制车辆。还可以基于对驾驶员控制车辆的能力的评估，采取其他措施来确保用户和车辆的安全。
图3示出了可以在自主车辆中使用的方向盘301的示例，在该自主车辆中可以提供驾驶员的手动控制。如图所示，方向盘301可以包括面向内的相机310和方向盘移动或位置传感器312。面向内的相机310可以捕获车辆的驾驶员的头部和面部的图像。使用公知的面部分析技术，可以对驾驶员的面部和头部的特征进行分离和分类。例如，可以基于捕获的图像来确定驾驶员头部的位置。因此，驾驶控制转换模块200可以确定驾驶员正在向前看、向侧面看还是向下看。基于预配置的时间参数，如果驾驶员未向前看达预配置的时间量，则驾驶控制转换模块200可以确定驾驶员未专心于车辆的运动或控制。使用该信息，示例实施例的驾驶控制转换模块200可以将用户/驾驶员的当前活动(或没有活动)分类为预定义的类别或状态。例如，预定义的类别或状态可以包括注意力不集中、正在睡眠、通话中、专注等。状态分类可以由示例实施例基于用户/驾驶员的头部和面部分析以及用户/驾驶员对提示的指令的响应来执行。在另一示例中，驾驶员的眼睛可能孤立于捕获的图像。基于预配置的时间参数，如果驾驶员的眼睛在预配置的时间量内没有睁开，则可以确定驾驶员未专注于车辆的运动或控制。结果，示例实施例可以更新驾驶员的状态分类。使用基于捕获的图像的类似过程，驾驶控制转换模块200可以确定驾驶员是否正在使用移动设备、参与对话、或者是否未专注于车辆的运动或控制。在这些情况下，驾驶控制转换模块200可以使用从相机310捕获的图像来确定驾驶员不具有控制车辆的能力。对应地，可以通过示例实施例来更新驾驶员的状态分类。驾驶控制转换模块200可以输出对应的车辆控制转换信号220。其他车辆控制子***146可以使用车辆控制转换信号220来使自主车辆控制***采取其他动作，以代替实现驾驶员的手动控制。
在另一示例实施例中，驾驶控制转换模块200可以用指令提示驾驶员采取一些动作或提供提示输入以证明驾驶员控制车辆的能力。这些提示的动作可以采取多种形式。例如，驾驶控制转换模块200可以激活一个或多个乘员接口子***148以与驾驶员通信(视觉或听觉上)并提示驾驶员采取动作或提供输入。例如，驾驶控制转换模块200可以在车辆显示设备上输出显示的消息或经由车辆扬声器发出可听消息。该消息可以提示驾驶员提供某种类型的输入，例如按下车辆触摸屏设备上的按钮、说出话语以供车辆麦克风接收、或者以其他方式提供可以由车辆子***140之一检测的输入。如果在预配置的时间段内未从驾驶员接收到响应于提示指令的输入，则驾驶控制转换模块200可以确定驾驶员不具有控制车辆的能力。对应地，可以通过示例实施例来更新驾驶员的状态分类。驾驶控制转换模块200可以输出对应的车辆控制转换信号220。其他车辆控制子***146可以使用车辆控制转换信号220来使自主车辆控制***采取其他动作，以代替实现驾驶员的手动控制。例如，自主车辆控制***可以引导车辆安全地靠边停车至道路旁边。如果在预配置的时间段内从驾驶员接收到响应于提示指令的期望输入，则驾驶控制转换模块200可以确定驾驶员确实具有控制车辆的能力并且可以以对应的方式更新驾驶员的状态分类。在这种情况下，驾驶控制转换模块200可以输出对应的车辆控制转换信号220。其他车辆控制子***146可以使用车辆控制转换信号220来使自主车辆控制***将对自主车辆的控制安全且平稳地转换给驾驶员。
在另一实施例中，驾驶员还可以通过按照驾驶控制转换模块200的提示以特定方式操纵一个或多个车辆控制，来向驾驶控制转换模块200提供提示输入。例如，驾驶控制转换模块200可以提示驾驶员在预配置的时间段内控制一直向前。方向盘移动或位置传感器312可用于确定驾驶员是否遵从提示的指令。在替代实施例中，可以提示其他类似的指令，例如向左/向右转、施加制动、加速、激活向左/向右转弯指示器、循环前灯等。以这种方式，驾驶控制转换模块200可以提示驾驶员的动作，并使用传感器数据和/或驾驶员面部特征数据来验证是否执行了提示的动作。使用上述任何技术，驾驶控制转换模块200可以确定驾驶员控制车辆的能力，以对应的方式更新驾驶员的状态分类，并输出对应的车辆控制转换信号220。其他车辆控制子***146可以使用车辆控制转换信号220来使自主车辆控制***将对自主车辆的控制转换给(或者不将控制转换给)驾驶员。
现在参考图4，流程图示出了用于基于对驾驶员控制车辆的能力的检测在自主驾驶模式和手动驾驶模式之间转换的***和方法1000的示例实施例。该示例实施例可以被配置为：接收与车辆驾驶员手动控制自主车辆的能力有关的传感器数据(处理框1010)；基于传感器数据，确定驾驶员是否具有手动控制自主车辆的能力，该确定包括提示驾驶员执行动作或提供输入(处理框1020)；以及将车辆控制转换信号输出给车辆子***，以基于驾驶员手动控制自主车辆的能力使车辆子***进行动作(处理框1030)。
如本文所使用的，除非另有说明，否则术语“移动设备”包括可以与本文所述的车载控制***150和/或驾驶控制转换模块200通信以获得通过任何数据通信模式传送的数据信号、消息或内容的读取或写入访问权限的任何计算或通信设备。在许多情况下，移动设备130是手持式便携式设备，例如智能电话、移动电话、蜂窝电话、平板计算机、膝上型计算机、显示寻呼机、射频(RF)设备、红外(IR)设备、全球定位设备(GPS)、个人数字助理(PDA)、手持计算机、可穿戴计算机、便携式游戏机、其他移动通信和/或计算设备或组合一个或多个前述设备的集成设备等。另外，移动设备130可以是计算设备、个人计算机(PC)、多处理器***、基于微处理器的或可编程的消费电子设备、网络PC、诊断设备、由车辆119的制造商或服务技术人员操作的***等，但不仅限于便携式设备。移动设备130可以接收和处理多种数据格式中的任何一种格式的数据。数据格式可以包括任何编程格式、协议或语言或被配置为以任何编程格式、协议或语言进行操作，包括但不限于JavaScript、C++、iOS、Android等。
如本文所使用的，除非另有说明，否则术语“网络资源”包括可以与本文所述的车载控制***150和/或驾驶控制转换模块200通信以获得对通过任何模式的进程间或联网数据通信传送的数据信号、消息或内容的读取或写入访问权限的任何设备、***或服务。在许多情况下，网络资源122是数据网络可访问的计算平台，包括客户端或服务器计算机、网站、移动设备、对等(P2P)网络节点等。此外，网络资源122可以是Web设备、网络路由器、交换机、网桥、网关、诊断设备、由车辆119的制造商或服务技术人员操作的***或者是能够执行一组指令(顺序或其他方式)的任何机器，该指令指定要由该机器执行的动作。此外，虽然仅示出了单个机器，但是术语“机器”也可以被理解为包括机器的任何集合，其单独地或共同地执行一组(或多组)指令以执行本文讨论的任何一个或多个方法。网络资源122可以包括网络可传输数字内容的各个提供者或处理器中的任何一个。通常，所采用的文件格式是可扩展标记语言(XML)，但是各种实施例不限于此，并且可以使用其他文件格式。例如，各种实施例可以支持除超文本标记语言(HTML)/XML之外的数据格式或除开放/标准数据格式之外的格式。本文所述的各种实施例可以支持任何电子文件格式，例如可移植文档格式(PDF)、音频(例如，运动图像专家组音频第3层-MP3等)、视频(例如，MP4等)以及由特定内容站点定义的任何专有交换格式。
与网络资源122一起使用的广域数据网络120(也称为网络云)可以被配置为将一个计算或通信设备与另一计算或通信设备耦合。可以使网络能够采用任何形式的计算机可读数据或介质来将信息从一个电子设备传送到另一电子设备。网络120可以包括互联网，以及其他广域网(WAN)、蜂窝电话网络、城域网、局域网(LAN)、其他分组交换网络、电路交换网络、例如通过通用串行总线(USB)或以太网端口的直接数据连接、其他形式的计算机可读介质或其任何组合。网络120可以包括互联网，以及其他广域网(WAN)、蜂窝电话网络、卫星网络、空中广播网络、AM/FM无线电网络、寻呼机网络、UHF网络、其他广播网络、游戏网络、WiFi网络、对等网络、IP语音(VoIP)网络、城域网、局域网(LAN)、其他分组交换网络、电路交换网络、直接数据连接(例如，通过通用串行总线(USB)或以太网端口)、其他形式的计算机可读介质或其任意组合。在一组互连的网络(包括基于不同架构和协议的网络)上，路由器或网关可以充当网络之间的链接，使得消息能够在不同网络上的计算设备之间发送。而且，网络内的通信链路通常可以包括双绞线电缆、USB、火线、以太网或同轴电缆，而网络之间的通信链路可以利用模拟或数字电话线、包括T1、T2、T3和T4的全部或部分专用数字线路、综合业务数字网(ISDN)、数字用户线(DSL)、包括卫星链路、蜂窝电话链路或本领域普通技术人员公知的其他通信链路的无线链路。此外，远程计算机和其他相关电子设备可以通过调制解调器和临时电话链路远程连接到网络。
网络120还可以包括可以进一步覆盖独立自组织网络等的各种无线子网络中的任何一个，以提供面向基础设施的连接。这样的子网络可以包括网状网络、无线LAN(WLAN)网络、蜂窝网络等。该网络还可以包括通过无线无线电链路或无线收发器连接的终端、网关、路由器等的自主***。这些连接器可以被配置为自由随机移动并任意组织，以使网络拓扑可以快速变化。网络120还可以采用多个标准无线和/或蜂窝协议或接入技术中的一个或多个，包括结合本文附图中描述的网络接口712和网络714在本文阐述的那些。
在特定实施例中，移动设备132和/或网络资源122可以充当使得用户能够访问和使用车载控制***150和/或驾驶控制转换模块200与车辆子***的一个或多个组件交互的客户端设备。这些客户端设备132或122实际上可以包括被配置为通过诸如本文所述的网络120之类的网络发送和接收信息的任何计算设备。这样的客户端设备可以包括移动设备，例如蜂窝电话、智能电话、平板计算机、显示寻呼机、射频(RF)设备、红外(IR)设备、全球定位设备(GPS)、个人数字助理(PDA)、手持式计算机、可穿戴计算机、游戏控制台、组合一个或多个前述设备的集成设备等。客户端设备还可以包括其他计算设备，例如个人计算机(PC)、多处理器***、基于微处理器的或可编程的消费电子产品、网络PC等。这样，客户端设备在功能和特征方面可以广泛地变化。例如，被配置为电话的客户端设备可以具有数字小键盘和几行单色LCD显示器，在其上只能显示文本。在另一示例中，支持网络的客户端设备可以具有触敏屏幕、手写笔和彩色LCD显示屏，其中可以显示文本和图形两者。此外，支持网络的客户端设备可以包括浏览器应用，该浏览器应用能够接收和发送无线应用协议消息(WAP)和/或有线应用消息等。在一个实施例中，浏览器应用被启用以采用超文本标记语言(HTML)、动态HTML、手持设备标记语言(HDML)、无线标记语言(WML)、WMLScript、JavaScriptTM、可扩展HTML(xHTML)、紧凑HTML(CHTML等)来显示和发送带有相关信息的消息。
客户端设备还可以包括至少一个客户端应用，该至少一个客户端应用被配置为经由网络传输从另一计算设备接收内容或消息。客户端应用可以包括提供和接收文本内容、图形内容、视频内容、音频内容、警报、消息、通知等的功能。此外，客户端设备还可以被配置为例如通过短消息服务(SMS)、直接消息传递(例如，Twitter)、电子邮件、多媒体消息服务(MMS)、即时消息传递(IM)、互联网中继聊天(IRC)、mIRC、Jabber、增强消息传递服务(EMS)、文本消息传递、智能消息传递、空中(OTA)消息传递等在另外的计算设备之间传送和/或接收消息等。客户端设备还可以包括无线应用设备，客户端应用被配置在该无线应用设备上，以使得该设备的用户能够经由网络无线地向/从网络资源发送和接收信息。
可以使用增强执行环境的安全性的***来实现车载控制***150和/或驾驶控制转换模块200，从而提高安全性并降低车载控制***150和/或驾驶控制转换模块200以及相关服务可能被病毒或恶意软件破坏的可能性。例如，可以使用可信执行环境来实现车载控制***150和/或驾驶控制转换模块200，其可以确保敏感数据以安全的方式被存储、处理和传送。
图5以计算***700的示例形式示出了机器的示意图，在其中当一组指令被执行时和/或当处理逻辑被激活时可以使该机器执行所描述的和/或本文所要求保护的方法中的任何一个或多个。在替代实施例中，该机器作为独立设备进行操作，或者可以连接(例如，联网)到其他机器。在联网部署中，机器可以在服务器-客户端网络环境中以服务器或客户端机器的身份进行操作，或者在对等(或分布式)网络环境中作为对等机器进行操作。该机器可以是个人计算机(PC)、膝上型计算机、平板计算***、个人数字助理(PDA)、蜂窝电话、智能电话、网络设备、机顶盒(STB)、网络路由器、交换机或网桥、或能够执行一组指令(顺序指令或其他指令)或激活指定该机器要执行的动作的处理逻辑的任何机器。此外，虽然仅示出了单个机器，但是术语“机器”也可以被理解为包括机器的任何集合，其单独地或共同地执行一组(或多组)指令或处理逻辑以执行本文描述和/或要求保护的方法中的任意一个或多个。
示例计算***700可以包括可以通过总线或其他数据传输***706彼此通信的数据处理器702(例如，片上***(SoC)、通用处理核心、图形核心和可选地其他处理逻辑)和存储器704。移动计算和/或通信***700还可包括各种输入/输出(I/O)设备和/或接口710，例如触摸屏显示器、音频插孔、语音接口以及可选地网络接口712。在示例实施例中，网络接口712可以包括一个或多个无线电收发器，其被配置为与任何一个或多个标准无线和/或蜂窝协议或接入技术(例如，第二代(2G)、2.5代、第三代(3G)、***(4G)和下一代蜂窝***的无线电接入、全球移动通信***(GSM)、通用分组无线电业务(GPRS)、增强型数据GSM环境(EDGE)、宽带码分多址(WCDMA)、LTE、CDMA2000、WLAN、无线路由器(WR)网等)兼容。网络接口712还可被配置为与各种其他有线和/或无线通信协议一起使用，包括TCP/IP、UDP、SIP、SMS、RTP、WAP、CDMA、TDMA、UMTS、UWB、WiFi、WiMax、IEEE 802.11x等。本质上，网络接口712可以实际上包括或支持任何有线和/或无线通信和数据处理机制，通过该机制，信息/数据可以通过网络714在计算***700和另一计算或通信***之间传送。
存储器704可以代表机器可读介质，在其上存储体现本文所描述和/或要求保护的方法或功能中的任何一个或多个的一组或多组指令、软件、固件或其他处理逻辑(例如，逻辑708)。在由移动计算和/或通信***700执行期间，逻辑708或其一部分也可以完全或至少部分地驻留在处理器702内。这样，存储器704和处理器702也可以构成机器可读介质。逻辑708或其一部分也可以被配置为处理逻辑或逻辑，其至少一部分部分地以硬件实现。逻辑708或其一部分还可以经由网络接口712通过网络714发送或接收。虽然示例实施例的机器可读介质可以是单个介质，但是术语“机器可读介质”应当被认为包括存储一个或多个指令集的单个非暂时性介质或多个非暂时性介质(例如，集中式或分布式数据库和/或相关联的高速缓存和计算***)。术语“机器可读介质”也可以被认为包括任何非暂时性介质，其能够存储、编码或携带一组指令以供机器执行并且使机器执行各种实施例的任何一个或多个方法，或者能够存储、编码或携带由该组指令利用或与之相关联的数据结构。因此，术语“机器可读介质”可被认为包括但不限于固态存储器、光学介质和磁性介质。
提供本公开的摘要以允许读者快速地确定技术公开的性质。提交本文档时应理解为不会将其用于解释或限制权利要求的范围或含义。另外，在前述具体实施方式中，可以看出，出于简化本公开的目的，在单个实施例中将各种特征组合在一起。本公开的方法不应被解释为反映了以下意图：所要求保护的实施例需要比每个权利要求中明确记载的特征更多的特征。相反，如所附权利要求所反映的，本发明主题在于少于单个公开实施例的所有特征。因此，所附权利要求由此并入详细描述中，其中每个权利要求独立地作为单独的实施例。

Claims (18)

1.一种用于驾驶控制转换的***，包括：
数据处理器；以及
可由所述数据处理器执行的驾驶控制转换模块，所述驾驶控制转换模块被配置为执行针对自主车辆的驾驶控制转换操作，所述驾驶控制转换操作被配置为：
使用从远程源接收的训练数据来训练所述驾驶控制转换模块的神经网络，并且使用经训练的所述神经网络来修改所述驾驶控制转换模块的所述驾驶控制转换操作；
接收与车辆驾驶员手动控制自主车辆的能力有关的传感器数据；
基于所述传感器数据，确定所述驾驶员是否具有手动控制所述自主车辆的能力，其中，所述驾驶控制转换操作被配置为提示所述驾驶员执行动作或提供输入；以及
向车辆子***输出车辆控制转换信号，以使所述车辆子***基于所述驾驶员手动控制所述自主车辆的能力来进行动作。
2.根据权利要求1所述的***，其中，所述传感器数据包括来自所述车辆中的相机的图像数据。
3.根据权利要求2所述的***，其中，所述驾驶控制转换操作被配置为使用所述图像数据来执行对所述驾驶员的面部的面部特征分析。
4.根据权利要求1所述的***，其中，所述驾驶控制转换操作被配置为基于所述传感器数据来确定所述驾驶员是否已经执行所提示的动作或是否已经提供所提示的输入。
5.根据权利要求1所述的***，其中，所提示的动作或所提示的输入是用于使所述驾驶员激活按钮或说出话语的指令。
6.根据权利要求1所述的***，其中，所提示的动作或所提示的输入是用于使所述驾驶员以所提示的方式操纵车辆控制的指令。
7.一种用于驾驶控制转换的方法，包括：
使用从远程源接收的训练数据来训练用于针对自主车辆的驾驶控制转换操作的神经网络，并且使用经训练的所述神经网络来修改所述驾驶控制转换操作；
接收与车辆驾驶员手动控制所述自主车辆的能力有关的传感器数据；
基于所述传感器数据，确定所述驾驶员是否具有手动控制所述自主车辆的能力，所述确定包括提示所述驾驶员执行动作或提供输入；以及
向车辆子***输出车辆控制转换信号，以使所述车辆子***基于所述驾驶员手动控制所述自主车辆的能力来进行动作。
8.根据权利要求7所述的方法，其中，所述传感器数据包括来自所述车辆中的相机的图像数据。
9.根据权利要求8所述的***，其中，所述确定包括使用所述图像数据来执行对所述驾驶员的面部的面部特征分析。
10.根据权利要求7所述的方法，其中，所述确定包括基于所述传感器数据来确定所述驾驶员是否已经执行所提示的动作或是否已经提供所提示的输入。
11.根据权利要求7所述的方法，其中，所提示的动作或所提示的输入是用于使所述驾驶员激活按钮或说出话语的指令。
12.根据权利要求7所述的方法，其中，所提示的动作或所提示的输入是用于使所述驾驶员以所提示的方式操纵车辆控制的指令。
13.一种非暂时性机器可用存储介质，所述非暂时性机器可用存储介质包含指令，当所述指令由机器执行时，使得所述机器：
使用从远程源接收的训练数据来训练用于针对自主车辆的驾驶控制转换操作的神经网络，并且使用经训练的所述神经网络来修改所述驾驶控制转换操作；
接收与车辆驾驶员手动控制所述自主车辆的能力有关的传感器数据；
基于所述传感器数据，确定所述驾驶员是否具有手动控制所述自主车辆的能力，所述指令还被配置为提示所述驾驶员执行动作或提供输入；以及
向车辆子***输出车辆控制转换信号，以使所述车辆子***基于所述驾驶员手动控制所述自主车辆的能力来进行动作。
14.根据权利要求13所述的非暂时性机器可用存储介质，其中，所述传感器数据包括来自所述车辆中的相机的图像数据。
15.根据权利要求14所述的非暂时性机器可用存储介质，其中，所述指令还被配置为使用所述图像数据来执行对所述驾驶员的面部的面部特征分析。
16.根据权利要求13所述的非暂时性机器可用存储介质，其中，所述指令还被配置为基于所述传感器数据来确定所述驾驶员是否已经执行所提示的动作或是否已经提供所提示的输入。
17.根据权利要求13所述的非暂时性机器可用存储介质，其中，所提示的动作或所提示的输入是用于使所述驾驶员激活按钮或说出话语的指令。
18.根据权利要求13所述的非暂时性机器可用存储介质，其中，所提示的动作或所提示的输入是用于使所述驾驶员以所提示的方式操纵车辆控制的指令。
CN201880037702.3A 2017-04-07 2018-04-04 基于驾驶员控制车辆能力在自主驾驶模式和手动驾驶模式之间转换的***和方法 Active CN110944894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311226879.7A CN117022329A (zh) 2017-04-07 2018-04-04 基于驾驶员控制车辆能力在自主驾驶模式和手动驾驶模式之间转换的***和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/482,624 US10471963B2 (en) 2017-04-07 2017-04-07 System and method for transitioning between an autonomous and manual driving mode based on detection of a drivers capacity to control a vehicle
US15/482,624 2017-04-07
PCT/US2018/026130 WO2018187502A1 (en) 2017-04-07 2018-04-04 System and method for transitioning between an autonomous and manual driving mode based on detection of a driver's capacity to control a vehicle

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311226879.7A Division CN117022329A (zh) 2017-04-07 2018-04-04 基于驾驶员控制车辆能力在自主驾驶模式和手动驾驶模式之间转换的***和方法

Publications (2)

Publication Number Publication Date
CN110944894A CN110944894A (zh) 2020-03-31
CN110944894B true CN110944894B (zh) 2023-09-19

Family

ID=61434708

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201710953562.1A Active CN107776574B (zh) 2017-04-07 2017-10-13 一种自动驾驶车辆的驾驶模式切换方法和装置
CN202311226879.7A Pending CN117022329A (zh) 2017-04-07 2018-04-04 基于驾驶员控制车辆能力在自主驾驶模式和手动驾驶模式之间转换的***和方法
CN201880037702.3A Active CN110944894B (zh) 2017-04-07 2018-04-04 基于驾驶员控制车辆能力在自主驾驶模式和手动驾驶模式之间转换的***和方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201710953562.1A Active CN107776574B (zh) 2017-04-07 2017-10-13 一种自动驾驶车辆的驾驶模式切换方法和装置
CN202311226879.7A Pending CN117022329A (zh) 2017-04-07 2018-04-04 基于驾驶员控制车辆能力在自主驾驶模式和手动驾驶模式之间转换的***和方法

Country Status (5)

Country Link
US (1) US10471963B2 (zh)
EP (1) EP3606796A4 (zh)
CN (3) CN107776574B (zh)
AU (2) AU2018250213B2 (zh)
WO (1) WO2018187502A1 (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6778872B2 (ja) * 2016-06-28 2020-11-04 パナソニックＩｐマネジメント株式会社 運転支援装置及び運転支援方法
US10830605B1 (en) 2016-10-18 2020-11-10 Allstate Insurance Company Personalized driving risk modeling and estimation system and methods
JP6920112B2 (ja) * 2017-06-15 2021-08-18 株式会社デンソーテン 運転支援装置および運転支援方法
US11106917B2 (en) * 2017-07-04 2021-08-31 Turing Video Surveillance system with human-machine interface
JP6808595B2 (ja) * 2017-09-01 2021-01-06 クラリオン株式会社 車載装置、インシデント監視方法
AU2019257245A1 (en) * 2018-04-05 2020-10-15 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
CN108776472A (zh) * 2018-05-17 2018-11-09 驭势（上海）汽车科技有限公司 智能驾驶控制方法及***、车载控制设备和智能驾驶车辆
US10611384B1 (en) * 2018-07-27 2020-04-07 Uatc, Llc Systems and methods for autonomous vehicle operator vigilance management
CN109334673B (zh) * 2018-10-30 2021-03-02 奇瑞汽车股份有限公司 智能汽车的接管提醒方法、装置及存储介质
CN109591787A (zh) * 2018-10-31 2019-04-09 清华大学苏州汽车研究院（相城） 智能驾驶行车安全保护装置、保护方法及智能驾驶车辆
CN109597412A (zh) * 2018-12-06 2019-04-09 江苏萝卜交通科技有限公司 一种无人驾驶***及其控制方法
CN111361566B (zh) * 2018-12-06 2022-04-29 驭势（上海）汽车科技有限公司 一种自动驾驶车辆的接管提醒方法、车载设备及存储介质
CN109552332A (zh) * 2018-12-06 2019-04-02 电子科技大学 一种基于驾驶员状态监测的自动驾驶模式智能切换***
CN109747657A (zh) * 2018-12-17 2019-05-14 北京百度网讯科技有限公司 自动驾驶汽车远程控制方法和装置
CN109693674A (zh) * 2018-12-17 2019-04-30 安徽酷哇机器人有限公司 基于驾驶人员状态识别的自动驾驶切换方法
US10919543B2 (en) * 2019-01-30 2021-02-16 StradVision, Inc. Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route
CN109808615A (zh) * 2019-03-22 2019-05-28 北京经纬恒润科技有限公司 一种自动驾驶方法及装置
CN110027562A (zh) * 2019-04-29 2019-07-19 重庆工商大学 一种汽车的控制方法、装置及***
CN112068538A (zh) * 2019-05-22 2020-12-11 北京百度网讯科技有限公司 路线切换方法及装置、电子设备、计算机可读介质
CN110104051A (zh) * 2019-05-30 2019-08-09 爱驰汽车有限公司 基于方向盘的自动驾驶切换方法、***、设备及存储介质
WO2020257406A1 (en) * 2019-06-18 2020-12-24 Veoneer Us, Inc. System and method for determinig driver readiness for takeover vehicle control
CN112462636B (zh) * 2019-09-06 2022-03-08 中车株洲电力机车研究所有限公司 一种电车的安全控制***及其控制方法
CN110745137B (zh) * 2019-09-30 2021-08-27 广州大道信息科技有限公司 一种基于驾驶员健康信息自动导引***及方法
CN110634296A (zh) * 2019-09-30 2019-12-31 重庆元韩汽车技术设计研究院有限公司 用于智能驾驶的紧急事项处理***及方法
US20210107498A1 (en) * 2019-10-09 2021-04-15 Baidu Usa Llc Safe transition from autonomous-to-manual driving mode with assistance of autonomous driving system
CN111775953A (zh) * 2019-12-16 2020-10-16 王忠亮 驾驶状态即时修正***及方法
US11738804B2 (en) * 2020-02-07 2023-08-29 Micron Technology, Inc. Training a vehicle to accommodate a driver
US11039771B1 (en) 2020-03-03 2021-06-22 At&T Intellectual Property I, L.P. Apparatuses and methods for managing tasks in accordance with alertness levels and thresholds
CN111547062B (zh) * 2020-04-28 2021-12-07 中国第一汽车股份有限公司 一种自动驾驶控制方法、装置和车辆
CN111652065B (zh) * 2020-04-30 2022-11-15 山东浪潮科学研究院有限公司 基于车辆感知和智能穿戴的多模态安全驾驶方法、设备及***
JP7400672B2 (ja) * 2020-09-14 2023-12-19 トヨタ自動車株式会社 車両制御装置
CN112109708B (zh) * 2020-10-26 2023-07-14 吉林大学 一种考虑驾驶行为的自适应巡航控制***及其控制方法
US11932285B2 (en) 2020-11-09 2024-03-19 International Business Machines Corporation Communication prioritization in vehicles with automated driver assistance
CN112356852A (zh) * 2020-11-12 2021-02-12 北京石油化工学院 一种驾驶员和智能车辆单元协同驾驶控制权切换方法
CN112693469A (zh) * 2021-01-05 2021-04-23 中国汽车技术研究中心有限公司 驾驶员接管车辆的测试方法、装置、电子设备及介质
CN115140063A (zh) * 2021-03-31 2022-10-04 比亚迪股份有限公司 一种疲劳驾驶的应对方法、终端及汽车
CN113119991A (zh) * 2021-04-15 2021-07-16 前海七剑科技(深圳)有限公司 驾驶模式切换方法、装置、设备及存储介质
US11887486B2 (en) 2021-06-04 2024-01-30 Rockwell Collins, Inc. Context driven alerting
CN113607430A (zh) * 2021-08-13 2021-11-05 云南师范大学 一种司机控制器机械可靠性的自动检测分析***
CN113895458B (zh) * 2021-10-26 2023-06-30 上海集度汽车有限公司 车辆驾驶行为的管理方法、装置、车辆及存储介质
CN113903102B (zh) * 2021-10-29 2023-11-17 广汽埃安新能源汽车有限公司 调整信息获取方法、调整方法、装置、电子设备及介质
CN114291108B (zh) * 2021-11-19 2024-05-17 仓擎智能科技(上海)有限公司 航空器引导过程中无人引导车的安全控制方法和装置
US20230195135A1 (en) * 2021-12-16 2023-06-22 Gm Cruise Holdings Llc Engagement and disengagement of unsupervised autonomous driving mode
KR20230111408A (ko) * 2022-01-18 2023-07-25 현대자동차주식회사 차량의 주행 모드 설정방법 및 장치
GB2616893B (en) * 2022-03-24 2024-07-10 Jaguar Land Rover Ltd Control system and method for interfacing with an automatable function of a vehicle
CN115257913B (zh) * 2022-06-16 2023-06-23 中车唐山机车车辆有限公司 一种无轨电车迫导向***及无轨电车
US20240198904A1 (en) * 2022-12-20 2024-06-20 Juntao Ye Systems and methods for automated driver assistance
CN118254822A (zh) * 2022-12-28 2024-06-28 华为技术有限公司 监控方法、装置以及运载工具
CN116674578B (zh) * 2023-08-03 2023-10-20 南京德沃克自动化有限公司 基于车辆显控***的控制方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2848488A1 (en) * 2013-09-12 2015-03-18 Volvo Car Corporation Method and arrangement for handover warning in a vehicle having autonomous driving capabilities
CN105264450A (zh) * 2013-04-05 2016-01-20 谷歌公司 用于将对自主车辆的控制转移给驾驶员的***和方法
WO2016092796A1 (en) * 2014-12-12 2016-06-16 Sony Corporation Automatic driving control device and automatic driving control method, and program
CN106133806A (zh) * 2014-03-26 2016-11-16 日产自动车株式会社 信息提示装置及信息提示方法

Family Cites Families (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US7103460B1 (en) 1994-05-09 2006-09-05 Automotive Technologies International, Inc. System and method for vehicle diagnostics
US7783403B2 (en) 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
WO2003093857A2 (en) 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
US6777904B1 (en) 2003-02-25 2004-08-17 Ford Global Technologies, Llc Method and system for controlling a motor
ATE396470T1 (de) 2004-04-08 2008-06-15 Mobileye Technologies Ltd Kollisionswarnsystem
WO2005098751A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Crowd detection
US20070230792A1 (en) 2004-04-08 2007-10-04 Mobileye Technologies Ltd. Pedestrian Detection
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
JP4564320B2 (ja) * 2004-09-29 2010-10-20 アイシン精機株式会社 ドライバモニタシステム
EP1790541A2 (en) 2005-11-23 2007-05-30 MobilEye Technologies, Ltd. Systems and methods for detecting obstructions in a camera field of view
US8164628B2 (en) 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US7689559B2 (en) 2006-02-08 2010-03-30 Telenor Asa Document similarity scoring and ranking method, device and computer program product
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
ATE519193T1 (de) 2006-12-06 2011-08-15 Mobileye Technologies Ltd Detektion und erkennung von verkehrszeichen
US20080249667A1 (en) 2007-04-09 2008-10-09 Microsoft Corporation Learning and reasoning to enhance energy efficiency in transportation systems
US7839292B2 (en) 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
US8041111B1 (en) 2007-10-15 2011-10-18 Adobe Systems Incorporated Subjective and locatable color theme extraction for images
US9176006B2 (en) 2008-01-15 2015-11-03 Mobileye Vision Technologies Ltd. Detection and classification of light sources using a diffraction grating
US9117133B2 (en) 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
US20100049397A1 (en) 2008-08-22 2010-02-25 Garmin Ltd. Fuel efficient routing
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US9459515B2 (en) 2008-12-05 2016-10-04 Mobileye Vision Technologies Ltd. Adjustable camera mount for a vehicle windshield
US8175376B2 (en) 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
US8582881B2 (en) 2009-03-26 2013-11-12 Tp Vision Holding B.V. Method and apparatus for modifying an image by using a saliency map based on color frequency
US8271871B2 (en) 2009-04-30 2012-09-18 Xerox Corporation Automated method for alignment of document objects
US8392117B2 (en) 2009-05-22 2013-03-05 Toyota Motor Engineering & Manufacturing North America, Inc. Using topological structure for path planning in semi-structured environments
US8645480B1 (en) 2009-07-19 2014-02-04 Aaron T. Emigh Trust representation by similarity
JP2011176748A (ja) 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
US9118816B2 (en) 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
US9280711B2 (en) 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
EP2448251B1 (en) 2010-10-31 2019-09-25 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter
EP2641401B1 (en) 2010-11-15 2017-04-05 Huawei Technologies Co., Ltd. Method and system for video summarization
EP2463843B1 (en) 2010-12-07 2015-07-29 Mobileye Vision Technologies Ltd. Method and system for forward collision warning
US8401292B2 (en) 2011-04-26 2013-03-19 Eastman Kodak Company Identifying high saliency regions in digital images
US9233659B2 (en) 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
KR101777875B1 (ko) 2011-04-28 2017-09-13 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
US9183447B1 (en) 2011-06-09 2015-11-10 Mobileye Vision Technologies Ltd. Object detection using candidate object alignment
JP5564620B2 (ja) 2011-07-28 2014-07-30 本田技研工業株式会社 ワイヤレス送電方法
DE102011083749B4 (de) 2011-09-29 2015-06-11 Aktiebolaget Skf Rotorblatt einer Windkraftanlage mit einer Vorrichtung zum Erfassen eines Abstandswertes und Verfahren zum Erfassen eines Abstandswertes
US9297641B2 (en) 2011-12-12 2016-03-29 Mobileye Vision Technologies Ltd. Detection of obstacles at night by analysis of shadows
FR2984254B1 (fr) 2011-12-16 2016-07-01 Renault Sa Controle de vehicules autonomes
JP5605381B2 (ja) 2012-02-13 2014-10-15 株式会社デンソー クルーズ制御装置
US9042648B2 (en) 2012-02-23 2015-05-26 Microsoft Technology Licensing, Llc Salient object segmentation
US9476970B1 (en) 2012-03-19 2016-10-25 Google Inc. Camera based localization
DE102012206725A1 (de) * 2012-04-24 2013-10-24 Ford Global Technologies, Llc Verfahren und Vorrichtung zum Versetzen eines autonom fahrenden Kraftfahrzeugs in einen sicheren Zustand
EP2872483A4 (en) 2012-07-10 2016-03-16 Thetis Pharmaceuticals Llc THREE METFORMIN SALT FORM
DE102012213965A1 (de) 2012-08-07 2014-02-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Gewährleisten einer ausreichenden Leistungsfähigkeit eines Fahrers eines Kraftfahrzeugs beim automatisierten Fahren
US9134402B2 (en) 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
US9025880B2 (en) 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
US9120485B1 (en) 2012-09-14 2015-09-01 Google Inc. Methods and systems for smooth trajectory generation for a self-driving vehicle
DE102012219508A1 (de) * 2012-10-25 2014-04-30 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerzustandserkennung
US9111444B2 (en) 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
US8825258B2 (en) * 2012-11-30 2014-09-02 Google Inc. Engaging and disengaging for autonomous driving
US9092430B2 (en) 2013-01-02 2015-07-28 International Business Machines Corporation Assigning shared catalogs to cache structures in a cluster computing system
US8788134B1 (en) 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
CN110213565B (zh) 2013-01-15 2021-03-09 移动眼视力科技有限公司 成像***和用于深度计算的方法
US9277132B2 (en) 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter
US9111355B1 (en) 2013-03-13 2015-08-18 Hrl Laboratories, Llc Selective color processing for vision systems that enables optimal detection and recognition
US9147255B1 (en) 2013-03-14 2015-09-29 Hrl Laboratories, Llc Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms
WO2014139821A1 (en) * 2013-03-15 2014-09-18 Volkswagen Aktiengesellschaft Automatic driving route planning application
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
EP3650814B1 (en) 2013-06-13 2023-04-19 Mobileye Vision Technologies Ltd. Vision augmented navigation
US9315192B1 (en) 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
US9122954B2 (en) 2013-10-01 2015-09-01 Mobileye Vision Technologies Ltd. Performing a histogram using an array of addressable registers
US9738280B2 (en) 2013-10-03 2017-08-22 Robert Bosch Gmbh Adaptive cruise control with on-ramp detection
US9299004B2 (en) 2013-10-24 2016-03-29 Adobe Systems Incorporated Image foreground detection
US9330334B2 (en) 2013-10-24 2016-05-03 Adobe Systems Incorporated Iterative saliency map estimation
EP3808634A1 (en) 2013-12-04 2021-04-21 Mobileye Vision Technologies Ltd. Navigating a vehicle to pass another vehicle
WO2015103159A1 (en) 2013-12-30 2015-07-09 Tieman Craig Arnold Connected vehicle system with infotainment interface for mobile devices
CN111199218A (zh) 2014-01-30 2020-05-26 移动眼视力科技有限公司 用于车辆的控制***、和图像分析***
CN109884618B (zh) 2014-02-20 2023-05-26 御眼视觉技术有限公司 车辆的导航***、包括导航***的车辆和导航车辆的方法
CN103793925B (zh) 2014-02-24 2016-05-18 北京工业大学 融合时空特征的视频图像视觉显著程度检测方法
DE102014205170A1 (de) 2014-03-20 2015-11-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Ermitteln einer Trajektorie für ein Fahrzeug
EP2930081B1 (en) * 2014-04-08 2019-03-27 Volvo Car Corporation Method for transition between driving modes
CN105100134A (zh) 2014-04-28 2015-11-25 思科技术公司 屏幕共享缓存管理
US9365213B2 (en) * 2014-04-30 2016-06-14 Here Global B.V. Mode transition for an autonomous vehicle
CN112580456A (zh) 2014-05-14 2021-03-30 御眼视觉技术有限公司 用于路缘检测和行人危险评估的***和方法
US9720418B2 (en) 2014-05-27 2017-08-01 Here Global B.V. Autonomous vehicle monitoring and control
US10572744B2 (en) 2014-06-03 2020-02-25 Mobileye Vision Technologies Ltd. Systems and methods for detecting an object
US9457807B2 (en) 2014-06-05 2016-10-04 GM Global Technology Operations LLC Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver
JP6591737B2 (ja) * 2014-08-25 2019-10-16 クラリオン株式会社 自動運転制御装置
US9554030B2 (en) 2014-09-29 2017-01-24 Yahoo! Inc. Mobile device image acquisition using objects of interest recognition
US9746550B2 (en) 2014-10-08 2017-08-29 Ford Global Technologies, Llc Detecting low-speed close-range vehicle cut-in
KR101664582B1 (ko) 2014-11-12 2016-10-10 현대자동차주식회사 자율주행차량의 주행경로 생성장치 및 방법
KR101659034B1 (ko) * 2015-01-20 2016-09-23 엘지전자 주식회사 차량의 주행 모드 전환 장치 및 그 방법
US10115024B2 (en) 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
JP6421684B2 (ja) 2015-04-17 2018-11-14 井関農機株式会社 乗用草刈機
US10635761B2 (en) 2015-04-29 2020-04-28 Energid Technologies Corporation System and method for evaluation of object autonomy
JP2016215793A (ja) * 2015-05-19 2016-12-22 トヨタ自動車株式会社 自動運転制御装置
US9841762B2 (en) * 2015-05-27 2017-12-12 Comigo Ltd. Alerting predicted accidents between driverless cars
DE102015211926A1 (de) 2015-06-26 2016-12-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln bzw. Bewerten einer Soll-Trajektorie eines Kraftfahrzeugs
EP3327955B1 (en) 2015-07-23 2021-11-10 Nec Corporation Route switching device, route switching system, and route switching method
US9718471B2 (en) * 2015-08-18 2017-08-01 International Business Machines Corporation Automated spatial separation of self-driving vehicles from manually operated vehicles
US10872354B2 (en) * 2015-09-04 2020-12-22 Robin S Slomkowski System and method for personalized preference optimization
US9587952B1 (en) 2015-09-09 2017-03-07 Allstate Insurance Company Altering autonomous or semi-autonomous vehicle operation based on route traversal values
US9568915B1 (en) 2016-02-11 2017-02-14 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling autonomous or semi-autonomous vehicle
JP6583061B2 (ja) * 2016-03-08 2019-10-02 トヨタ自動車株式会社 自動運転制御装置
US9535423B1 (en) 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105264450A (zh) * 2013-04-05 2016-01-20 谷歌公司 用于将对自主车辆的控制转移给驾驶员的***和方法
JP2016522769A (ja) * 2013-04-05 2016-08-04 グーグル インコーポレイテッド 自動運転車両の制御をドライバーに移行するためのシステムおよび方法
EP2848488A1 (en) * 2013-09-12 2015-03-18 Volvo Car Corporation Method and arrangement for handover warning in a vehicle having autonomous driving capabilities
CN106133806A (zh) * 2014-03-26 2016-11-16 日产自动车株式会社 信息提示装置及信息提示方法
WO2016092796A1 (en) * 2014-12-12 2016-06-16 Sony Corporation Automatic driving control device and automatic driving control method, and program

Also Published As

Publication number Publication date
AU2018250213A1 (en) 2019-10-31
CN117022329A (zh) 2023-11-10
CN107776574B (zh) 2021-04-16
EP3606796A4 (en) 2021-01-20
CN110944894A (zh) 2020-03-31
EP3606796A1 (en) 2020-02-12
AU2024202532A1 (en) 2024-05-09
AU2018250213B2 (en) 2024-01-18
US20180290660A1 (en) 2018-10-11
WO2018187502A1 (en) 2018-10-11
CN107776574A (zh) 2018-03-09
US10471963B2 (en) 2019-11-12

Similar Documents

Publication Publication Date Title
CN110944894B (zh) 基于驾驶员控制车辆能力在自主驾驶模式和手动驾驶模式之间转换的***和方法
CN111344646B (zh) 用于自主车辆的轨迹规划的基于数据驱动的预测的***和方法
US11673557B2 (en) System and method for path planning of autonomous vehicles based on gradient
US11958473B2 (en) System and method for using human driving patterns to detect and correct abnormal driving behaviors of autonomous vehicles
CN111356620B (zh) 用于自主车辆控制以最小化能量成本的***和方法
US10953881B2 (en) System and method for automated lane change control for autonomous vehicles
US10303956B2 (en) System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection
CN110914707B (zh) 基于相机和lidar数据的车辆位置和速度估计的***和方法
US10953880B2 (en) System and method for automated lane change control for autonomous vehicles
CN111183073B (zh) 使用人类驾驶模式来管理自主车辆的速度控制的***和方法
US11500387B2 (en) System and method for providing multiple agents for decision making, trajectory planning, and control for autonomous vehicles
CN112154088B (zh) 用于自主车辆的自动车道变更控制的***和方法
CN111373458B (zh) 用于自主车辆的轨迹规划的基于预测的***和方法
CN112272844B (zh) 针对用于自主车辆的邻近车辆意图预测的***和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant