CN104094177A - 基于感知不确定性的车辆控制 - Google Patents

基于感知不确定性的车辆控制 Download PDF

Info

Publication number
CN104094177A
CN104094177A CN201380006981.4A CN201380006981A CN104094177A CN 104094177 A CN104094177 A CN 104094177A CN 201380006981 A CN201380006981 A CN 201380006981A CN 104094177 A CN104094177 A CN 104094177A
Authority
CN
China
Prior art keywords
model
sensor
vehicle
uncertainty
uncertain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380006981.4A
Other languages
English (en)
Inventor
朱佳俊
德米特里·A·多尔戈夫
戴维·I·弗古森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN104094177A publication Critical patent/CN104094177A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours

Landscapes

  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本公开的多个方面总体涉及操纵自主车辆。特别是，车辆(101)可以确定其感知***的不确定性，并且使用该不确定性值作出关于如何操纵车辆的决定。例如，感知***可以包括传感器(310-311、321-323、330-331)、对象类型模型、以及对象运动模型(146)，每个都与不确定性相关联。传感器可以基于传感器的范围、速度和/或传感器场(421A-423A、421B-423B)的形状与不确定性相关联。对象类型模型可以与例如被感知对象是一种类型(诸如，小汽车)还是另一种类型(诸如，自行车)的不确定性相关联。对象运动模型还可以与例如不是所有对象都像它们被预测移动那样准确地移动的不确定性相关联。这些不确定性可以被用于操纵车辆。

Description

基于感知不确定性的车辆控制
相关申请的交叉参考
本申请是于2012年1月30日提交的美国专利申请No.13/361,083的继续申请，其公开内容通过合并于此作为参考。
背景技术
自主车辆使用各种计算***来帮助将乘客从一个位置运送到另一个位置。一些自主车辆可以要求来自诸如领航员的操纵者、驾驶员或乘客的初始输入或连续输入。仅在***已被使用时，可以使用例如自动驾驶***的其他自主***，其允许操作者从手动模式(其中操作者执行对车辆的运动的高度控制)切换至自主模式(其中车辆主要由自身驾驶)，切换到位于它们之间的模式。
这样的车辆被装配有车辆感知***，其包括各种类型的传感器，以检测周围环境中的对象。例如，自主车辆可以包括激光器、声纳、雷达、相机、以及可以扫描和记录来自车辆周围环境(surroundings)的数据的其他设备。结合(并且在一些情况下单独)的这些设备可以用于识别车行道中的形状和轮廓对象，并且安全地操纵车辆，以避开所识别的对象。
然而，这些车辆感知***可能包括各种限制。这些限制通常归因于不同的传感器特性。例如，相机传感器不直接测量距离，激光器传感器不直接测量速度，雷达传感器不测量对象的形状等。另外，传感器可能具有受限的范围、帧速率、噪声模式等。所有这些限制都可能导致对世界的感知的“不确定性”。
发明内容
本公开的一方面提供一种用于操纵车辆的方法。该方法包括：使用传感器检测车辆周围环境中的对象。传感器与传感器不确定性相关联。基于对象类型模型，识别对象的类型。对象类型模型与对象类型模型不确定性相关联。基于所识别的对象类型，识别用于对象的运动模型。运动模型与运动模型不确定性相关联。处理器基于传感器不确定性、对象类型模型不确定性、以及运动模型不确定性来准备不确定性驾驶模型。不确定性驾驶模型包括用于操纵车辆的策略。然后，基于不确定性驾驶模型的策略来操纵车辆。
在一个示例中，该方法还包括：根据策略操纵车辆，以减少传感器不确定性、对象类型模型不确定性、以及运动模型不确定性中的至少一个。在另一个示例中，传感器与传感器速度和具有范围和形状的传感器场(sensor field)相关联，并且该方法还包括：基于传感器速度和传感器场的范围和形状，计算传感器不确定性。
本公开的另一方面提供一种操纵车辆的方法。该方法包括：存储用于车辆的传感器的传感器测量不确定性的模型；存储用于由传感器感测的对象的对象类型不确定性的模型；存储用于被用于识别由传感器感测的对象的将来运动的运动模型的运动模型不确定性的模型；以及存储多个不确定性驾驶模型。多个不确定性驾驶模型中的每个不确定性驾驶模型都包括用于操纵车辆的策略。该方法还包括：基于传感器测量不确定性的模型、对象类型不确定性的模型、以及运动模型不确定性的模型，识别对象和对象属性的列表。每个对象属性都与不确定性值相关联，使得对象属性的列表与多个不确定性值相关联。处理器基于多个不确定性值中的至少一个，选择多个不确定性驾驶模型中的一个。然后，基于所选择的不确定性驾驶模型的策略来操纵车辆。
在一个示例中，根据策略操纵车辆，以减少传感器不确定性、对象类型模型不确定性、以及运动模型不确定性中的至少一个。在另一个示例中，该方法还包括：根据策略操纵车辆，以减少多个不确定性值中的一个或多个不确定性值。在另一个示例中，传感器与传感器速度和具有范围和形状的传感器场相关联，并且该方法还包括：基于传感器速度和传感器场的范围和形状，计算传感器测量不确定性的模型。
本公开的又一方面提供一种用于操纵车辆的***。该***包括用于生成关于车辆周围环境的传感器数据的传感器。传感器与传感器不确定性相关联。该***还包括存储与对象类型不确定性相关联的对象类型模型的存储器。存储器还存储与运动模型不确定性相关联的运动模型。处理器被配置为访问存储器并且从传感器接收传感器数据。处理器可操作来使用传感器检测车辆周围环境中的对象，基于对象类型模型和传感器数据识别对象的类型，基于所识别的对象类型识别用于对象的运动模型，并且基于传感器不确定性、对象类型模型不确定性、以及运动模型不确定性，准备不确定性驾驶模型。不确定性驾驶模型包括用于操纵车辆的策略。该方法还包括：基于不确定性驾驶模型的策略，操纵车辆。
在一个示例中，处理器还可操作来根据策略操纵车辆，以减少传感器不确定性、对象类型模型不确定性、以及运动模型不确定性中的至少一个。在另一个示例中，传感器进一步与传感器速度和具有范围和形状的传感器场相关联，并且处理器还可操作来基于传感器速度和传感器场的范围和形状，计算传感器不确定性。
本公开的进一步方面提供一种用于操纵车辆的***。该***包括：存储器，存储用于车辆的传感器的传感器测量不确定性的模型、用于由传感器感测的对象的对象类型不确定性的模型、用于被用于识别由传感器感测的对象的将来运动的运动模型的运动模型不确定性的模型、以及多个不确定性驾驶模型。多个不确定性驾驶模型中的每个不确定性驾驶模型都包括用于操纵车辆的策略。该***还包括耦合至存储器的处理器。处理器可操作来基于传感器测量不确定性的模型、对象类型不确定性的模型、以及运动模型不确定性的模型，识别对象和对象属性的列表。每个对象属性都与不确定性值相关联，使得对象属性的列表与多个不确定性值相关联。处理器还可操作来基于多个不确定性值中的至少一个，选择多个不确定性驾驶模型中的一个，并且处理器可操作来基于所选择的不确定性驾驶模型的策略，操纵车辆。
在一个示例中，处理器还可操作来根据策略操纵车辆，以减少传感器不确定性、对象类型模型不确定性、以及运动模型不确定性中的至少一个。在另一个示例中，处理器还可操作来根据策略操纵车辆，以减少多个不确定性值中的一个或多个不确定性值。在另一个示例中，传感器与传感器速度和具有范围和形状的传感器场相关联，并且处理器还可操作来基于传感器速度和传感器场的范围和形状，计算传感器测量不确定性的模型。
本公开的另一方面提供一种有形的计算机可读存储介质，其上存储有程序的计算机可读指令，指令在被处理器执行时使处理器执行用于操纵车辆的方法。该方法包括：使用传感器来检测车辆周围环境中的对象。传感器与传感器不确定性相关联。该方法还包括：基于对象类型模型识别对象的类型。对象类型模型与对象类型模型不确定性相关联。该方法还包括：基于所识别的对象类型，识别用于对象的运动模型。运动模型与运动模型不确定性相关联。该方法包括：基于传感器不确定性、对象类型模型不确定性、以及运动模型不确定性，准备不确定性驾驶模型。不确定性驾驶模型包括用于操纵车辆的策略。该方法还包括基于不确定性驾驶模型的策略来操纵车辆。
在一个示例中，该方法还包括：根据策略来操纵车辆，以减小传感器不确定性、对象类型模型不确定性、以及运动模型不确定性中的至少一个。
本公开的进一步方面提供一种有形的计算机可读存储介质，其上存储有程序的计算机可读指令，指令在被处理器执行时使处理器执行用于操纵车辆的方法。该方法包括：存储用于车辆的传感器的传感器测量不确定性的模型；存储用于由传感器感测的对象的对象类型不确定性的模型；存储用于被用于识别由传感器感测的对象的将来运动的运动模型的运动模型不确定性的模型；以及存储多个不确定性驾驶模型。多个不确定性驾驶模型中的每个不确定性驾驶模型都包括用于操纵车辆的策略。该方法还包括：基于传感器测量不确定性的模型、对象类型不确定性的模型、以及运动模型不确定性的模型，识别对象和对象属性的列表。每个对象属性都与不确定性值相关联，使得对象属性的列表与多个不确定性值相关联。该方法还包括：基于多个不确定性值中的至少一个，选择多个不确定性驾驶模型中的一个。该方法包括：基于所选择的不确定性驾驶模型的策略来操纵车辆。
在一个示例中，该方法还包括：根据策略来操纵车辆，以减小传感器不确定性、对象类型模型不确定性、以及运动模型不确定性中的至少一个。在另一个示例中，该方法还包括：根据策略来操纵车辆，以减小多个不确定性值中的一个或多个不确定性值。
附图说明
图1是根据实施方式的***的功能图。
图2是根据实施方式的自主车辆的内部。
图3是根据实施方式的自主车辆的外部。
图4A至图4D是根据实施方式的传感器场的视图。
图5是根据实施方式的十字路口的图。
图6是根据实施方式的十字路口的详细地图信息的图。
图7是根据实施方式的十字路口的另一个图。
图8是根据实施方式的包括传感器数据和详细地图信息的十字路口的图。
图9是根据实施方式的示例性数据的图。
图10是根据实施方式的流程图。
具体实施方式
在本公开的一方面，沿着车行道驾驶的车辆可以检测车辆周围环境中的对象。可以使用具有某种程度不确定性的传感器来检测对象。可以基于对象类型模型来识别对象的类型。对象类型模型可以与对象类型模型不确定性相关联。基于所识别的对象类型，可以识别预测对象的将来位置的运动模型。运动模型还可以与运动模型不确定性相关联。基于运动模型不确定性、对象类型模型不确定性、和/或传感器不确定性，可以识别不确定性驾驶策略。然后，可以使用不确定性驾驶策略来操纵车辆。
如图1中所示，根据本公开的一方面的自主驾驶***100包括具有各种组件的车辆101。虽然本公开的某些方面在特定类型的车辆方面特别有用，但是车辆可以是任何类型的车辆，包括但不限于汽车、卡车、摩托车、巴士、小船、飞机、直升飞机、剪草机、旅行车、游乐园车辆、有轨电车、高尔夫手拉车、火车、以及手推车。车辆可以具有一个或多个计算机，诸如包含处理器120、存储器130、以及通常存在于通用计算机中的其他组件的计算机110。
存储器130存储可由处理器120访问的信息，包括可以由处理器120执行或另外使用的指令132和数据134。存储器130可以为能够存储可由处理器访问的信息的任何类型，包括计算机可读介质、或存储可以在电子设备的帮助下读取的数据的其他介质，诸如硬盘驱动器、存储卡、ROM、RAM、DVD或其他光盘、以及其他能写只读存储器。***和方法可以包括以上的不同结合，由此指令和数据的不同部分被存储在不同类型的介质上。
指令132可以是将由处理器直接(诸如，机器码)或间接(诸如脚本)执行的任何指令集合。例如，指令可以作为计算机码存储在计算机可读介质上。在该方面，术语“指令”和“程序”在此可以可交换地使用。指令可以以用于由处理器直接处理的目标代码格式或者包括根据要求解释或者被预先编译的独立源代码模块的脚本或集合的任何其他计算机语言被存储。以下更详细地解释方法和指令的例程。
数据134可以根据指令132由处理器120检索、存储或修改。例如，虽然***和方法不受任何特定数据结构限制，但是数据可以被存储在计算机寄存器中、作为具有多个不同字段和记录的表在关系数据库中、XML文档或平面文件中。数据还可以以任何计算机可读格式被格式化。仅作为进一步示例，图像数据可以被存储为由根据压缩或未压缩、无损(例如，BMP)或有损(例如，JPEG)、和基于位图或矢量(例如，SVG)的格式存储的像素的网格构成的位图、以及用于绘制图形的计算机指令。数据可以包括足以识别相关信息的任何信息，诸如编号、描述文本、专有代码、对存储在相同存储器或不同存储器(包括其他网络位置)的其他区域中的数据的引用、或者由函数使用来计算相关数据的信息。
处理器120可以是任何传统处理器，诸如来自英特尔公司(IntelCorporation)或超微公司(Advanced Micro Devices)的处理器。可替换地，处理器可以是专用设备，诸如ASIC。虽然图1在功能上将处理器、存储器和计算机110的其他元件图示为在同一框内，但是本领域普通技术人员将理解，处理器和存储器实际上可以包括多个处理器和存储器，其可以或可以不存储在相同物理壳体中。例如，存储器可以是位于不同于计算机110的壳体中的硬盘驱动器或其他存储介质。因此，对处理器或计算机的引用将被理解为包括对可以或可以不并行操作的处理器或计算机或存储器的集合的引用。除了使用单个处理器执行在此描述的步骤之外，诸如转向组件和减速组件的一些组件可以每个都具有它们自己的处理器，其仅执行与特定于组件的功能相关的计算。
在在此描述的多个方面中，处理器可以远离车辆定位并且与车辆无线地通信。在其他方面，在此描述的一些过程可以在设置在车辆内的处理器上执行，并且其他由远程处理器执行，包括采用执行单次操纵必须的步骤。
计算机110可以是结合计算机正常使用的所有组件，诸如中央处理单元(CPU)(例如，处理器120)、存储数据134和诸如web浏览器的指令的存储器130(例如，RAM和内部硬盘驱动器)、电子显示器142(例如具有屏幕、小LCD触摸屏的监视器、或可操作来显示信息的任何其他电子设备)、用户输入140(例如鼠标、键盘、触摸屏和/或麦克风)、以及用于收集关于人的状态和期望的显式(例如手势)或隐式(例如“人睡着了”)信息的各种传感器(例如视频相机)。
在一个示例中，计算机110可以是合并到车辆101中的自主驱动计算***。图2示出自主车辆的内部的示例性设计。自主车辆可以包括非自主车辆的所有特征，例如：转向装置，诸如方向盘210；导航显示装置，诸如导航显示器215；以及齿轮选择器装置，诸如齿轮变速杆220。车辆还可以具有各种用户输入设备，诸如齿轮变速杆220、触摸屏217、或按钮输入219，用于激活或失活一个或多个自主驾驶模式并且用于使得驾驶员或乘客290能够提供诸如导航目的地的信息给自主驾驶计算机110。
车辆101还可以包括一个或多个附加显示器。例如，车辆可以包括用于显示关于自主车辆或其计算机的状态的信息的显示器225。在另一个示例中，车辆可以包括状态指示装置138(参见图1)，诸如状态栏230，以指示车辆的当前状态。在图2的示例中，状态栏230显示“D”和“2mph”，指示车辆当前处于驾驶模式并且正以每小时2英里移动。在该方面，车辆可以在电子显示器、车辆101的照明部分(诸如方向盘210)上显示文本，或者提供各种其他类型的指示。
自主驾驶计算***可以能够与车辆的各种组件通信。例如，返回到图1，计算机110可以与车辆的传统中央处理器160通信，并且可以从车辆的各种***发送和接收信息，所述***例如制动180、加速182、信令184、以及导航186***，以控制车辆101的运动、速度等。另外，当在使用时，计算机110可以控制车辆101的一些或所有这些功能，并且因而完全或仅部分自主。将理解，虽然各种***和计算机110被示出为在车辆101内，但是这些元件可以在车辆101外部或者在物理上分开很大距离。
车辆还可以包括与计算机110通信的地理位置组件144，用于确定设备的地理位置。例如，位置组件可以包括GPS接收器，以确定设备的纬度、经度和/或高度位置。还可以使用诸如基于激光器的定位***、惯性辅助GPS、或基于相机定位的其他定位***，以识别车辆的位置。车辆的位置可以包括诸如纬度、经度、和高度的绝对地理位置，以及诸如相对于直接在其周围的其他车辆的位置的相对位置信息，其通常可以通过较少噪声确定该绝对地理位置。
车辆还可以包括与计算机110通信的其他特征，诸如加速计、陀螺仪、或确定车辆的方向和速度或者其改变的另一个方向/速度检测设备146。仅作为示例，设备146可以确定其关于重力的方向或者垂直于其的平面的斜度、偏转或滚动(或其改变)。设备还可以跟踪速度的增加或减小和这样的改变的方向。在此阐述的位置和定向数据的设备供应可以被自动地提供给用户、计算机110、其他计算机和以上的结合。
计算机可以通过控制各种组件来控制车辆的方向和速度。作为示例，如果车辆在完全自主模式下操作，则计算机110可以使车辆加速(例如，通过增加提供给引擎的燃料或其他能量)、减速(例如，通过减少提供给引擎的燃料或者通过施加制动)，以及改变方向(例如，通过使两个前轮转向)。
车辆还可以包括用于检测位置、定向、航向(heading)等、诸如其他车辆、车行道中的障碍物、交通信号、标志、树等的在车辆外部的对象的组件。检测***可以包括激光器、声纳、雷达、相机或记录可以由计算机110处理的数据的任何其他检测设备。如图3中所示，小客车330可以包括激光器310和311，分别安装在车辆的前部和顶部。激光器310可以具有约150米的范围、30度的垂直视场、以及约30度的水平视场。激光器311可以具有约50-80米的范围、30度的垂直视场、以及360度的水平视场。激光器可以向车辆提供计算机可以使用来识别各种对象的位置和距离的范围和强度信息。在一方面，激光器可以通过绕着其轴旋转并且改变其斜度，来测量车辆和面对车辆的对象表面之间的距离。
车辆还可以包括多种雷达检测单元，诸如用于自适应巡航控制***的那些。雷达检测单元可以位于汽车的前部和背部上以及前保险杠的一侧上。如图3的示例中所示，车辆300包括位于车辆的一侧(仅一侧被示出)、前部和后部的雷达检测单元320-323。这些雷达检测单元中的每个都可以具有用于约18度视场的约200米的范围、以及用于约56度视场的约60米的范围。
在另一个示例中，各种相机可以被安装在车辆上。相机可以被安装在预定距离处，使得来自两个或更多个相机的图像的视差可以被用于计算到各种对象的距离。如图3中所示，车辆300可以包括安装在后视镜(未示出)附近的挡风玻璃340下面的两个相机330-331。相机330可以包括约200米的范围和约30度的水平视场，而相机331可以包括约100米的范围和约60度的水平视场。
每个传感器都可以与传感器可以被用于检测对象的特定传感器场相关联。图4A是各种传感器的近似传感器场的俯视图。图4B示出基于用于这些传感器的视场分别用于激光器310和311的近似传感器场410和411。例如，传感器场410包括用于约150米的约30度的水平视场，并且传感器场411包括用于约80米的360度的水平视场。
图4C示出基于用于这些传感器的视场的分别用于雷达检测单元320-323的近似传感器场420A-423B。例如，雷达检测单元320包括传感器场420A和420B。传感器场420A包括用于约200米的约18度水平视场，并且传感器场420B包括用于约80米的约56度的水平视场。类似地，雷达检测单元321-323包括传感器场421A-423A和421B-423B。传感器场421A-423A包括用于约200米的约18度的水平视场，并且传感器场421B-423B包括用于约80米的约56度的水平视场。传感器场421A和422A延伸通过图4A和图4C的边缘。
图4D分别示出基于用于这些传感器的视场的近似传感器场430-431相机330-331。例如，相机330的传感器场430包括用于约200米的约30度的视场，并且相机430的传感器场431包括用于约100米的约60度的视场。
在另一个示例中，自主车辆可以包括声纳设备、立体相机、定位相机、激光器、和/或雷达检测单元，每个都具有不同的视场。声纳可以具有用于约6米的最大距离的约60度的水平视场。立体相机可以具有约50度的水平视场、约10度的垂直视场、以及约30米的最大距离的重叠区域。定位相机可以具有约75度的水平视场、约90度的垂直视场、以及约10米的最大距离。激光器可以具有约360度的水平视场、约30度的垂直视场、以及100米的最大距离。雷达可以具有用于近光束的约60度的水平视场、用于远光束的30度、以及200米的最大距离。
传感器测量可以基于传感器的范围、传感器检测的速度、传感器场的形状、传感器分辨率(诸如，相机中的像素的数量或者激光器、雷达、声纳等在一定距离的准确度)与不确定性值相关联。这些传感器可以检测对象，但是还可能存在对象的类型的某些不确定性，诸如另一个车辆、步行者、骑自行车的人、静止目标等。例如，给定两个相机，一个具有较高分辨率(更多像素)并且另一个具有较低分辨率(较少像素)，将存在关于由具有较高分辨率的相机捕捉的对象的更多信息(当然，假设定向、距离、照明等对于两个相机均相同)。该更大量信息可能有助于对象的特征(位置、速度、航向、类型等)的更准确估计。
上述传感器可以允许车辆理解并且潜在地对其环境作出响应，以最大化乘客以及环境中的对象或人的安全性。将理解，车辆类型、传感器的数量和类型、传感器位置、传感器视场、以及传感器的传感器场仅是示例。还可以利用各种其他配置。
除了上述传感器之外，计算机还可以使用来自在非自主车辆中使用的传感器的输入。例如，这些传感器可以包括轮胎压传感器、引擎温度传感器、制动热传感器、制动块状态传感器、轮胎胎面传感器、燃料传感器、油位和品质传感器、空气质量传感器(用于检测空气中的温度、湿度或微粒)等。
这些传感器中的许多提供由计算机实时处理的数据，即传感器可以连续地更新它们的输出，以在或反映在一时间范围感测的环境，或连续地根据需要提供更新的输出给计算机，使得计算机可以确定车辆的当前方向或速度是否应该响应于所感测的环境被修改。
除了处理由各种传感器提供的数据之外，计算机可以依赖在先前时间点获得并且不管该车辆在周围环境中的存在而被期望持久保持的环境数据。例如，返回到图1，数据134可以包括详细地图信息135，例如识别车行道的形状和海拔、车道分界线、十字路口、人行横道、限速、交通信号、建筑物、标志、实时交通信息、或其他这样的对象和信息的非常详细的地图。例如，地图信息可以包括与各种车行道区段相关联的显式限速信息。限速数据可以被手动输入，或者使用例如光学字符识别从先前获得的限速标志的图像扫描。地图信息可以包括合并以上列出的一个或多个对象的三维地形图。例如，车辆可以确定另一辆汽车期望基于实时数据(例如，使用其传感器确定另一辆汽车的当前GPS位置)和其他数据(例如，比较GPS位置与先前存储的特定于车道的地图数据，以确定其他汽车是否在转向车道内)转向。
例如，地图信息可以包括一个或多个道路图(roadgraph)或信息的图形网，诸如道路、车道、十字路口、以及这些特征之间的连接。每个特征都可以被存储为图形数据，并且可以与诸如地理位置和其是否链接至其他相关特征的信息相关联，例如停车标志可以链接至道路和十字路口等。在一些示例中，相关联的数据可以包括道路图的基于网格的索引，以允许有效查找某些道路图特征。
图5示出可以为详细地图146的主题的示例性十字路口500的鸟瞰图。十字路口可以包括多个不同特征，诸如人行横道510-513、自车行道520-521、车道530-537、车道分界线550-553和550-559。十字路口还可以包括诸如识别诸如自车行道520-521的特定区域的标志550-551和560-561的指示器。诸如交通信号或停车标志的其他特征也可以存在，但是未示出。
虽然十字路口500包括相互垂直的四条车行道，但是还可以采用各种其他十字路口构造。将进一步理解，在此描述的多个方面不限于十字路口，而是可以结合各种其他交通或车行道设计被利用，其可以或可以不包括关于十字路口500描述的附加特征或所有特征。
例如，可以通过驾驶装配有各种传感器(诸如以上描述的那些)的车辆，收集关于十字路口(或车行道的其他部分)的数据。数据可以被处理，以生成描述车行道的详细地图信息。例如，如图6中所示，基于在驾驶车辆通过十字路口500的同时收集的激光器、地理位置和其他信息，可以生成十字路口的道路图600。类似于十字路口500，道路图600可以包括个种特征，诸如车道630-637、车道分界线640-643和650-659。这些特征中的每个都可以与识别这些对象可以位于真实世界中(例如，在十字路口500中)的何处的地理位置信息相关联。
再次，虽然详细地图信息在此被描述为基于图像的地图，但是地图信息不需要是完全基于图像的(例如，光栅)。例如，详细地图信息可以包括一个或多个道路图或者信息的图形网，诸如道路、车道、十字路口、以及这些特征之间的连接。每个特征都可以被存储为图形数据，并且可以与诸如地理位置和其是否链接至其他相关特征的信息相关联，例如停车标志可以链接至道路和十字路口等。在一些示例中，相关联的数据可以包括道路图的基于网格的索引，以允许有效查找某些道路图特征。
如上所述，车辆可以使用其感知***来检测和识别车辆周围环境中的对象。为了这样做，车辆的自主驾驶计算机可以访问各种对象检测模型144。模型可以包括对象类型模型或者输出可能对象类型和相应可能性的机器学习分类器。在示例性模型中，对象的类型可以基于其关于车行道的位置、其速度、其尺寸、其与由其他预先识别的对象收集的传感器数据的比较(诸如，通过图像匹配)等被识别。例如，给定被感知为约14英寸宽、5英尺高和8英寸宽的对象，对象类型模型可以输出指示对象99％可能是步行者、0.5％可能是骑自行车的人、并且0.5％可能是车辆的信息。一旦对象被感知，对象类型模型就可以被用于识别所感知对象的类型。
模型还可以包括运动模型146，其被用于估计所识别对象的将来运动或行为。这些模型可以基于各种假设或者从由多个车辆的传感器随着时间收集的数据和/或基于由管理者定义的假设被生成。例如，通过随着时间观测客车在相同或类似位置处的行为，可以生成类似客车的预测运动的模型。这样的运动模型的简单示例可以包括预测正在每秒钟向北行驶2英尺的车辆在1秒钟之后在其先前位置北面2英尺的行为。在另一个示例中，运动模型可以要求诸如道路标志的对象相对于运动车辆是静止的。类似地，运动模型可以论证不同类型的对象之间的差，例如小型车可以不同于步行者或自行车操纵其本身。
运动模型还可以与不确定性相关联。例如，车辆的运动可以比步行者或骑自行车的人的运动更容易预测。从而，车辆在1秒钟内在哪里的预测可以更加准确或者与比步行者或骑自行车的人将在哪的预测小的不确定性相关联。另外，当运动模型基于对象类型模型的输出被识别时，该模型中的任何不确定性还可以被合并到运动模型中。
数据134还可以包括不确定性驾驶策略147。不确定性驾驶模型可以定义基于与对象相关联的不确定性的类型如何操纵车辆。以下更详细地论述这些模型的示例。
除了以上描述的和图中图示的操作之外，现在将描述各种操作。应理解，以下操作不必以以下描述的准确顺序被执行。相反，各个步骤可以按照不同顺序或者同时被处理，并且还可以添加或省略步骤。
如上所述，自主车辆可以沿着车行道驾驶，收集和处理关于车辆周围环境的传感器数据。车辆可以在完全自主模式(其中，车辆不要求来自人的连续输入)下或者在半自主模式(其中，人控制车辆的一些方面，诸如转向、制动、加速等)下沿着车行道驾驶其本身。如图7中所示，十字路口500的另一个鸟瞰图，车辆101接近十字路口、诸如步行者710、骑自行车的人720、以及汽车730的各种对象可以进入车辆的传感器的视场。因而，车辆可以收集关于这些对象中的每个的数据。
传感器数据可以被处理，以识别由对象占用的车行道的区域。例如，图8示出具有详细地图信息600的十字路口500。车辆101处理从传感器接收的信息，并且识别对象710、720和730的近似位置、航向和速度。
与被检测的对象相关联的数据还可以使用对象类型模型被处理。一旦对象类型被确定，还可以识别运动模型。如上所述，处理传感器数据和模型的输出是描述被检测的对象的多个方面的信息的集合。在一个示例中，对象可以与描述对象类型、位置、航向、速度、以及在经过某个短时间段之后对象的估计位置的参数的列表相关联。对象类型可以是对象类型模型的输出。对象的位置、航向和速度可以从传感器数据确定。在经过某个短时间段之后的对象估计位置可以是与最可能的对象类型相关联的运动模型的输出。如上所述，这些参数中的每个都可以与不确定性值相关联。
例如，如图9中所示，每个对象810、820、和830都分别与参数数据910、920和930相关联。具体地，描述对象810(实际为步行者710)的估计参数的参数数据910包括55％确定性为步行者的对象类型。根据对象类型模型，对象810还20％可能为汽车，并且25％可能为自行车。参数数据910还包括地理位置估计(X1、Y1、Z1)、尺寸估计(L1xW1xH1)、航向估计(0°)、以及速度估计(2mph)。另外，如从传感器的准确度、布置和特征确定的，位置、航向和速度估计还分别与不确定性值：(σX1、σY1、σZ1)、±(σL1、σW1、σH1)±0.5°、±1mph相关联。参数数据910还包括在经过某个时间段ΔT之后的对象的地理位置的估计：(X1+Δ1X,Y1+Δ1Y,Z1+Δ1Z)。该估计也与不确定性值：±(σX1ΔT,σY1ΔT,σZ1ΔT)相关联。
类似地，描述对象820(实际为骑自行车的人720)的估计参数的参数数据920包括40％确定性为步行者的对象类型。根据对象类型模型，对象820还25％可能为汽车，并且35％可能为自行车。参数数据920还包括地理位置估计(X2,Y2,Z2)、尺寸估计(L2xW2xH2)、航向估计(270°)、以及速度估计(5mph)。另外，如从传感器的准确度、布置、和特征确定的，位置、航向和速度估计也分别与不确定性值：(σX2,σY2,σZ2)、±(σL2,σW2,σH2)±0.5°、±1mph相关联。参数数据920还包括在经过某个时间段ΔT之后的对象的地理位置的估计：(X2+Δ2X,Y2+Δ2Y,Z2+Δ2Z)。该估计也与不确定性值：±(σX2ΔT,σY2ΔT,σZ2ΔT)相关联。
描述对象830(实际为骑自行车的人730)的估计参数的参数数据930包括40％确定性为汽车的对象类型。根据对象类型模型，对象8301％可能是步行者，并且1％可能是自行车。参数数据930还包括地理位置估计(X3、Y3、Z3)、尺寸估计(L3xW3xH3)、航向估计(390°)、以及速度估计(25mph)。另外，如从传感器的准确度、布置和特征确定的，位置、航向和速度估计还分别与不确定性值：(σX3,σY3,σZ3)、±(σL3,σW3,σH3)±0.5°、±2mph相关联。参数数据930还包括在经过某个时间段ΔT之后的对象的地理位置的估计：(X3+Δ3X,Y3+Δ3Y,Z3+Δ3Z)。该估计也与不确定性值：±(σX3ΔT,σY3ΔT,σZ3ΔT)相关联。
图9的参数数据仅是这样的数据的列表的一个示例。还可以使用多种其他比例、以及表达参数的不同方式。例如，对象的位置可以被识别为还暗示对象的尺寸的一组数据点。在另一个示例中，对象尺寸可以对象的外边界或通过近似对象的位置的边界框的地理位置定义。在又另一个示例中，除了使用全球定位坐标***识别对象的位置之外，可替换地或除此之外，对象离车辆上的某个点的距离和角度可以被用于识别对象的位置。
参数数据可以被用于选择不确定性控制策略。例如，对象810与55％可能为步行者、25％可能为自行车、并且20％可能为汽车的对象类型相关联。相对高的不确定性可能是由于车辆101仅具有对象810的长度尺寸((L1±σL1))的粗略估计的事实。为了减小对象类型的不确定性，车辆101可以沿着对象810的一侧操纵其本身，使得车辆的传感器可以更清楚地观测对象的长度。这可以减少对象810的长度尺寸的误差，并且允许车辆作出对象类型的更准确确定。
在另一个示例中，对象820与40％可能为步行者、35％可能为自行车、并且25％可能为汽车的对象类型相关联。在该示例中，当对象810可能部分地遮挡车辆的传感器场时，对象810的位置、尺寸和在经过某个时间段之后的位置所有均可以与相对高的不确定性相关联。为了减小这些不确定性，车辆101可以操纵其本身，以诸如通过在对象810周围驾驶，更好地观测对象820。这可以减小与前述参数相关联的不确定性，并且允许车辆作出对象类型的更准确确定。
在又进一步示例中，对象830还可以与98％可能是汽车的对象类型相关联。在该示例中，当对象非常可能是汽车时，车辆101可以继续操纵其本身，以例如通过停留在车辆101的车道中，避开汽车。
除了以上示例之外，不确定性控制策略可以允许车辆101更有效地操纵其本身。例如，与车辆101在相同的车道中并且在车辆101前面的对象可能开始使其本身减慢。如果存在关于对象实际是否减慢的高度不确定性(例如，在经过短时间段之后对象很可能在何处的高度不确定性)，车辆101可以在开始减慢其本身之前等待，直到与对象相关联的不确定性减小为止。
换句话说，虽然车辆101可以使用传感器来检测另一个对象正在改变其速度，但是在采取任何特定动作(诸如，减速或加速车辆101)之前，车辆101可以等待，直到与对象的速度(或速度的改变)相关联的不确定性被减小为止。
在另一个示例中，如果与车辆101在相同的车道中并且在车辆101前面的对象被预测为离开车道(在经过短时间段之后，很可能位于另一个车道中)为相对高度的确定性，则车辆101可以在预期车辆101和其他对象之间具有附加空间时开始加速。在又另一个示例中，如果车辆101前面的对象被预测为移动至与车辆101相同的车道中具有相对高度的不确定性，则在减慢以增加对象和车辆101之间的距离之前，车辆101可以等待，直到不确定性减小到某个阈值水平。这可以导致稍微更积极的驾驶风格，但是也可以通过减小不必要制动或加速的量，来提高车辆的效率。另外，该类型的控制策略可能对适于不太被动驾驶风格的用户有吸引力。
图10示出上述一些特征的示例性流程图1000。在该示例中，在框1002处，沿着车行道驾驶的自主车辆检测车辆周围环境中的对象。使用与传感器不确定性相关联的传感器(诸如以上描述的那些)检测对象。在框1004处，基于对象类型模型，识别对象的类型。对象类型模型与对象类型模型不确定性相关联。基于所识别的对象类型，在框1006处，识别预测对象的将来位置的运动模型。运动模型与运动模型不确定性相关联。在框1008处，基于运动模型不确定性、对象类型模型不确定性、和/或传感器不确定性，识别不确定性驱动策略。然后，在框1010处，使用不确定性驱动策略来操纵车辆。
因为在不脱离由权利要求限定的主题的情况下可以利用以上论述的特征的这些和其他变体和结合，所以示例性实施方式的以上描述应该被认为说明而不是通过由权利要求限定的主题的限制。还将理解，在此描述的示例的提供(以及用短语表达为“诸如”、“例如”、“包括”等的子句)应该不被解释为将所要求的主题限于特定示例；相反，示例旨在说明多个可能方面中的仅一些。
工业应用
本发明享受广泛工业应用，包括但不限于车辆导航和检测***。

Claims (19)

1.一种用于操纵车辆的方法，所述方法包括：
使用传感器来检测所述车辆的周围环境中的对象，所述传感器与传感器不确定性相关联；
基于对象类型模型来识别所述对象的类型，所述对象类型模型与对象类型模型不确定性相关联；
基于所识别的所述对象的类型来识别用于所述对象的运动模型，所述运动模型与运动模型不确定性相关联；
由处理器基于所述传感器不确定性、所述对象类型模型不确定性、以及所述运动模型不确定性来准备不确定性驾驶模型，其中，所述不确定性驾驶模型包括用于操纵所述车辆的策略；以及
基于所述不确定性驾驶模型的所述策略来操纵所述车辆。
2.根据权利要求1所述的方法，进一步包括：根据所述策略来操纵所述车辆，以减小所述传感器不确定性、所述对象类型模型不确定性、以及所述运动模型不确定性中的至少一个。
3.根据权利要求1所述的方法，其中，所述传感器与传感器速度和具有范围和形状的传感器场相关联，并且其中，所述方法进一步包括：基于所述传感器速度和所述传感器场的范围和形状来计算所述传感器不确定性。
4.一种操纵车辆的方法，所述方法包括：
存储用于所述车辆的传感器的传感器测量不确定性的模型；
存储用于由所述传感器感测的对象的对象类型不确定性的模型；
存储用于运动模型的运动模型不确定性的模型，所述运动模型被用于识别由所述传感器感测的所述对象的将来运动；
存储多个不确定性驾驶模型，所述多个不确定性驾驶模型中的每个不确定性驾驶模型均包括用于操纵所述车辆的策略；
基于所述传感器测量不确定性的模型、所述对象类型不确定性的模型、以及所述运动模型不确定性的模型来识别对象和对象属性的列表，其中，每个对象属性与不确定性值相关联，使得所述对象属性的列表与多个不确定性值相关联；
处理器基于所述多个不确定性值中的至少一个来选择所述多个不确定性驾驶模型中的一个；以及
基于所选择的不确定性驾驶模型的策略来操纵所述车辆。
5.根据权利要求4所述的方法，进一步包括：根据所述策略来操纵所述车辆，以减小所述传感器不确定性、所述对象类型模型不确定性、以及所述运动模型不确定性中的至少一个。
6.根据权利要求4所述的方法，进一步包括：根据所述策略来操纵所述车辆，以减小所述多个不确定性值中的一个或多个不确定性值。
7.根据权利要求4所述的方法，其中，所述传感器与传感器速度和具有范围和形状的传感器场相关联，并且所述方法进一步包括：基于所述传感器速度和所述传感器场的范围和形状来计算所述传感器测量不确定性的模型。
8.一种用于操纵车辆的***，所述***包括：
传感器，用于生成关于所述车辆的周围环境的传感器数据，所述传感器与传感器不确定性相关联；
存储器，存储与对象类型不确定性相关联的对象类型模型，所述存储器进一步存储与运动模型不确定性相关联的运动模型；
处理器，被配置为访问所述存储器并且从所述传感器接收所述传感器数据，所述处理器可操作来：
使用所述传感器来检测所述车辆的周围环境中的对象；
基于所述对象类型模型和所述传感器数据来识别所述对象的类型；
基于所识别的所述对象的类型，识别用于所述对象的运动模型；
基于所述传感器不确定性、所述对象类型模型不确定性、以及所述运动模型不确定性，准备不确定性驾驶模型，其中，所述不确定性驾驶模型包括用于操纵所述车辆的策略；以及
基于所述不确定性驾驶模型的所述策略，操纵所述车辆。
9.根据权利要求8所述的***，其中，所述处理器进一步可操作来根据所述策略来操纵所述车辆，以减小所述传感器不确定性、所述对象类型模型不确定性、以及所述运动模型不确定性中的至少一个。
10.根据权利要求8所述的***，其中，所述传感器进一步与传感器速度和具有范围和形状的传感器场相关联，并且其中，所述处理器进一步可操作来基于所述传感器速度和所述传感器场的范围和形状来计算所述传感器不确定性。
11.一种用于操纵车辆的***，所述***包括：
存储器，存储用于所述车辆的传感器的传感器测量不确定性的模型、用于由所述传感器感测的对象的对象类型不确定性的模型、用于被用于识别由所述传感器感测的所述对象的将来运动的运动模型的运动模型不确定性的模型、以及多个不确定性驾驶模型，所述多个不确定性驾驶模型中的每个不确定性驾驶模型包括用于操纵所述车辆的策略；以及
处理器，耦合至所述存储器并且可操作来：
基于所述传感器测量不确定性的模型、所述对象类型不确定性的模型、以及所述运动模型不确定性的模型，识别对象和对象属性的列表，其中，每个对象属性与不确定性值相关联，使得所述对象属性的列表与多个不确定性值相关联；
基于所述多个不确定性值中的至少一个，选择所述多个不确定性驾驶模型中的一个；以及
基于所选择的不确定性驾驶模型的策略，操纵所述车辆。
12.根据权利要求11所述的***，其中，所述处理器进一步可操作来：根据所述策略操纵来所述车辆，以减小所述传感器不确定性、所述对象类型模型不确定性、以及所述运动模型不确定性中的至少一个。
13.根据权利要求11所述的***，其中，所述处理器进一步可操作来：根据所述策略来操纵所述车辆，以减小所述多个不确定性值中的一个或多个不确定性值。
14.根据权利要求11所述的***，其中，所述传感器与传感器速度和具有范围和形状的传感器场相关联，并且其中，所述处理器进一步可操作来：基于所述传感器速度和所述传感器场的范围和形状，计算所述传感器测量不确定性的模型。
15.一种有形计算机可读存储介质，其中存储有一个程序的计算机可读指令，所述指令在被处理器执行时使所述处理器执行用于操纵车辆的方法，所述方法包括：
使用传感器来检测所述车辆的周围环境中的对象，所述传感器与传感器不确定性相关联；
基于对象类型模型来识别所述对象的类型，所述对象类型模型与对象类型模型不确定性相关联；
基于所识别的所述对象的类型，识别用于所述对象的运动模型，所述运动模型与运动模型不确定性相关联；
由处理器基于所述传感器不确定性、所述对象类型模型不确定性、以及所述运动模型不确定性，准备不确定性驾驶模型，其中，所述不确定性驾驶模型包括用于操纵所述车辆的策略；以及
基于所述不确定性驾驶模型的所述策略，操纵所述车辆。
16.根据权利要求15所述的有形计算机可读存储介质，其中，所述方法进一步包括：根据所述策略来操纵所述车辆，以减小所述传感器不确定性、所述对象类型模型不确定性、以及所述运动模型不确定性中的至少一个。
17.一种有形计算机可读存储介质，在其上存储有一个程序的计算机可读指令，所述指令在被处理器执行时使所述处理器执行用于操纵车辆的方法，所述方法包括：
存储用于所述车辆的传感器的传感器测量不确定性的模型；
存储用于由所述传感器感测的对象的对象类型不确定性的模型；
存储用于运动模型的运动模型不确定性的模型，所述运动模型被用于识别由所述传感器感测的所述对象的将来运动；
存储多个不确定性驾驶模型，所述多个不确定性驾驶模型中的每个不确定性驾驶模型包括用于操纵所述车辆的策略；
基于所述传感器测量不确定性的模型、所述对象类型不确定性的模型、以及所述运动模型不确定性的模型，识别对象和对象属性的列表，其中，每个对象属性与不确定性值相关联，使得所述对象属性的列表与多个不确定性值相关联；
基于所述多个不确定性值中的至少一个，选择所述多个不确定性驾驶模型中的一个；以及
基于所选择的不确定性驾驶模型的策略，操纵所述车辆。
18.根据权利要求17所述的有形计算机可读存储介质，其中，所述方法进一步包括：根据所述策略来操纵所述车辆，以减小所述传感器不确定性、所述对象类型模型不确定性、以及所述运动模型不确定性中的至少一个。
19.根据权利要求17所述的有形计算机可读存储介质，其中，所述方法进一步包括：根据所述策略来操纵所述车辆，以减小所述多个不确定性值中的一个或多个不确定性值。
CN201380006981.4A 2012-01-30 2013-01-28 基于感知不确定性的车辆控制 Pending CN104094177A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/361,083 2012-01-30
US13/361,083 US20130197736A1 (en) 2012-01-30 2012-01-30 Vehicle control based on perception uncertainty
PCT/US2013/023399 WO2013116141A1 (en) 2012-01-30 2013-01-28 Vehicle control based on perception uncertainty

Publications (1)

Publication Number Publication Date
CN104094177A true CN104094177A (zh) 2014-10-08

Family

ID=48870964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380006981.4A Pending CN104094177A (zh) 2012-01-30 2013-01-28 基于感知不确定性的车辆控制

Country Status (6)

Country Link
US (1) US20130197736A1 (zh)
EP (1) EP2809561A4 (zh)
JP (1) JP2015506310A (zh)
KR (1) KR20140119787A (zh)
CN (1) CN104094177A (zh)
WO (1) WO2013116141A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106168989A (zh) * 2015-05-22 2016-11-30 罗伯特·博世有限公司 用于运行车辆的方法和设备
CN107179767A (zh) * 2016-03-10 2017-09-19 松下电器（美国）知识产权公司 驾驶控制装置、驾驶控制方法以及非瞬时性记录介质
CN108271408A (zh) * 2015-04-01 2018-07-10 瓦亚视觉有限公司 使用被动和主动测量生成场景的三维地图
CN108290579A (zh) * 2015-11-04 2018-07-17 祖克斯有限公司 用于自主车辆的模拟***和方法
CN108423005A (zh) * 2017-02-15 2018-08-21 福特全球技术公司 用于自主车辆的基于反馈的控制模型的生成
CN108698595A (zh) * 2016-02-11 2018-10-23 三菱电机株式会社 用于控制车辆运动的方法和车辆的控制***
CN109131065A (zh) * 2017-06-16 2019-01-04 通用汽车环球科技运作有限责任公司 用于由自主车辆进行外部警告的***和方法
CN109283549A (zh) * 2017-07-19 2019-01-29 安波福技术有限公司 用于被遮挡对象的自动车辆激光雷达跟踪***
CN109284764A (zh) * 2017-07-19 2019-01-29 通用汽车环球科技运作有限责任公司 用于自主车辆中对象分类的***和方法
CN109421731A (zh) * 2017-09-05 2019-03-05 罗伯特·博世有限公司 可信度检验模块、驾驶辅助***和校准传感器的方法
CN110162026A (zh) * 2018-02-11 2019-08-23 北京图森未来科技有限公司 一种物体识别***、方法及装置
CN110214264A (zh) * 2016-12-23 2019-09-06 御眼视觉技术有限公司 具有施加的责任约束的导航***
CN110582778A (zh) * 2017-05-01 2019-12-17 明导发展(德国)有限公司 具有对传感器数据的机器学习分类的嵌入式机动车辆感知
CN110816547A (zh) * 2018-08-07 2020-02-21 通用汽车环球科技运作有限责任公司 用于自主驾驶的实际感知***的感知不确定性建模
CN111661046A (zh) * 2017-02-10 2020-09-15 伟摩有限责任公司 确定对象的未来行为和航向的方法
CN113302108A (zh) * 2019-02-06 2021-08-24 宝马股份公司 用于运行车辆的方法、装置、计算机程序和计算机程序产品
CN113924241A (zh) * 2019-05-31 2022-01-11 伟摩有限责任公司 用于自主车辆的追踪消失对象
CN113963027A (zh) * 2021-10-28 2022-01-21 广州文远知行科技有限公司 不确定性检测模型的训练、不确定性的检测方法及装置
CN114026624A (zh) * 2019-07-03 2022-02-08 日立安斯泰莫株式会社 通过远红外相机识别对象

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101843561B1 (ko) * 2009-10-26 2018-03-30 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치 및 반도체 장치
US9381916B1 (en) 2012-02-06 2016-07-05 Google Inc. System and method for predicting behaviors of detected objects through environment representation
US9760092B2 (en) 2012-03-16 2017-09-12 Waymo Llc Actively modifying a field of view of an autonomous vehicle in view of constraints
KR20130127822A (ko) * 2012-05-15 2013-11-25 한국전자통신연구원 도로상 물체 분류 및 위치검출을 위한 이종 센서 융합처리 장치 및 방법
US8676431B1 (en) * 2013-03-12 2014-03-18 Google Inc. User interface for displaying object-based indications in an autonomous driving system
USD750663S1 (en) 2013-03-12 2016-03-01 Google Inc. Display screen or a portion thereof with graphical user interface
USD754189S1 (en) 2013-03-13 2016-04-19 Google Inc. Display screen or portion thereof with graphical user interface
USD754190S1 (en) 2013-03-13 2016-04-19 Google Inc. Display screen or portion thereof with graphical user interface
US10412368B2 (en) 2013-03-15 2019-09-10 Uber Technologies, Inc. Methods, systems, and apparatus for multi-sensory stereo vision for robotics
US9062979B1 (en) 2013-07-08 2015-06-23 Google Inc. Pose estimation using long range features
JP6110256B2 (ja) * 2013-08-21 2017-04-05 株式会社日本自動車部品総合研究所 対象物推定装置および対象物推定方法
US9346400B2 (en) * 2013-12-20 2016-05-24 Ford Global Technologies, Llc Affective user interface in an autonomous vehicle
DE102014201159A1 (de) * 2014-01-23 2015-07-23 Robert Bosch Gmbh Verfahren und Vorrichtung zum Klassifizieren eines Verhaltens eines Fußgängers beim Überqueren einer Fahrbahn eines Fahrzeugs sowie Personenschutzsystem eines Fahrzeugs
US9187088B1 (en) * 2014-08-15 2015-11-17 Google Inc. Distribution decision trees
US9494430B2 (en) * 2014-10-27 2016-11-15 Caterpillar Inc. Positioning system implementing multi-sensor pose solution
JP6462328B2 (ja) * 2014-11-18 2019-01-30 日立オートモティブシステムズ株式会社 走行制御システム
JP6237685B2 (ja) * 2015-04-01 2017-11-29 トヨタ自動車株式会社 車両制御装置
SE539098C2 (en) * 2015-08-20 2017-04-11 Scania Cv Ab Method, control unit and system for path prediction
WO2017077807A1 (ja) * 2015-11-06 2017-05-11 本田技研工業株式会社 車両走行制御装置
US11328155B2 (en) * 2015-11-13 2022-05-10 FLIR Belgium BVBA Augmented reality labels systems and methods
JP6512140B2 (ja) * 2016-03-09 2019-05-15 トヨタ自動車株式会社 自動運転システム
US10077007B2 (en) * 2016-03-14 2018-09-18 Uber Technologies, Inc. Sidepod stereo camera system for an autonomous vehicle
WO2017159176A1 (ja) * 2016-03-17 2017-09-21 株式会社日立製作所 自動運転支援システム、および、自動運転支援方法
KR102521934B1 (ko) 2016-06-13 2023-04-18 삼성디스플레이 주식회사 터치 센서 및 이를 이용한 터치 감지 방법
US10471904B2 (en) * 2016-08-08 2019-11-12 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for adjusting the position of sensors of an automated vehicle
US10712746B2 (en) * 2016-08-29 2020-07-14 Baidu Usa Llc Method and system to construct surrounding environment for autonomous vehicles to make driving decisions
US10146223B1 (en) 2016-10-21 2018-12-04 Waymo Llc Handling sensor occlusions for autonomous vehicles
US11112237B2 (en) 2016-11-14 2021-09-07 Waymo Llc Using map information to smooth objects generated from sensor data
RU2646771C1 (ru) * 2016-11-21 2018-03-07 Федеральное государственное унитарное предприятие "Центральный ордена Трудового Красного Знамени научно-исследовательский автомобильный и автомоторный институт "НАМИ" (ФГУП "НАМИ") Способ трассировки маршрута движения автоматического транспортного средства
US10315649B2 (en) 2016-11-29 2019-06-11 Ford Global Technologies, Llc Multi-sensor probabilistic object detection and automated braking
US10442435B2 (en) * 2016-12-14 2019-10-15 Baidu Usa Llc Speed control parameter estimation method for autonomous driving vehicles
US10146225B2 (en) * 2017-03-02 2018-12-04 GM Global Technology Operations LLC Systems and methods for vehicle dimension prediction
WO2018201097A2 (en) * 2017-04-28 2018-11-01 FLIR Belgium BVBA Video and image chart fusion systems and methods
US10509692B2 (en) * 2017-05-31 2019-12-17 2236008 Ontario Inc. Loosely-coupled lock-step chaining
JP6683178B2 (ja) 2017-06-02 2020-04-15 トヨタ自動車株式会社 自動運転システム
USD884005S1 (en) 2017-07-31 2020-05-12 Omnitracs, Llc Display screen with transitional graphical user interface
JP6859907B2 (ja) * 2017-09-08 2021-04-14 トヨタ自動車株式会社 車両制御装置
US10967862B2 (en) 2017-11-07 2021-04-06 Uatc, Llc Road anomaly detection for autonomous vehicle
US11488393B2 (en) 2017-11-14 2022-11-01 AWARE Technologies Systems and methods for moving object predictive locating, reporting, and alerting
US11454975B2 (en) * 2018-06-28 2022-09-27 Uatc, Llc Providing actionable uncertainties in autonomous vehicles
US10766487B2 (en) 2018-08-13 2020-09-08 Denso International America, Inc. Vehicle driving system
CN110968087B (zh) * 2018-09-30 2023-05-23 百度（美国）有限责任公司 车辆控制参数的标定方法、装置、车载控制器和无人车
EP3663881B1 (de) * 2018-12-03 2021-02-24 Sick Ag Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren
US20200216064A1 (en) * 2019-01-08 2020-07-09 Aptiv Technologies Limited Classifying perceived objects based on activity
WO2020160276A1 (en) * 2019-01-30 2020-08-06 Perceptive Automata, Inc. Neural network based navigation of autonomous vehicles through traffic entities
US11474486B2 (en) * 2019-03-11 2022-10-18 Mitsubishi Electric Research Laboratories, Inc. Model-based control with uncertain motion model
DE102020206660A1 (de) * 2019-05-30 2020-12-03 Robert Bosch Gesellschaft mit beschränkter Haftung Redundante umgebungswahrnehmungsverfolgung für automatisierte fahrsysteme
WO2020246632A1 (ko) * 2019-06-04 2020-12-10 엘지전자 주식회사 자율 주행 차량과 그 제어 방법
US11634162B2 (en) 2019-08-16 2023-04-25 Uatc, Llc. Full uncertainty for motion planning in autonomous vehicles
DE102019218631A1 (de) * 2019-11-29 2021-06-02 Robert Bosch Gmbh Zertifizierung von Kartenelementen für automatisierte Fahrfunktionen
US11967106B2 (en) 2019-12-27 2024-04-23 Motional Ad Llc Object tracking supporting autonomous vehicle navigation
FR3116252B1 (fr) 2020-11-19 2023-03-24 Renault Sas Système et procédé de contrôle adapté à la perception
US12039438B2 (en) * 2020-12-04 2024-07-16 Toyota Research Institute, Inc. Systems and methods for trajectory forecasting according to semantic category uncertainty
US11618453B2 (en) * 2021-02-23 2023-04-04 Aptiv Technologies Limited Grid-based road model with multiple layers

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1966335A (zh) * 2006-09-03 2007-05-23 孔朕 一种显著提高车辆安全可靠驾驶性能的方法与装置
US20080084283A1 (en) * 2006-10-09 2008-04-10 Toyota Engineering & Manufacturing North America, Inc. Extra-vehicular threat predictor
US20080300787A1 (en) * 2006-02-03 2008-12-04 Gm Global Technology Operations, Inc. Method and apparatus for on-vehicle calibration and orientation of object-tracking systems
CN101320089A (zh) * 2007-06-05 2008-12-10 通用汽车环球科技运作公司 用于车辆动力估计的雷达、激光雷达和摄像机增强的方法
WO2009099382A1 (en) * 2008-02-07 2009-08-13 Scabua Cv Ab (Publ) Method and device for adaptive cruise control, computer programme, computer programme product, computer and vehicle
KR20110097391A (ko) * 2010-02-25 2011-08-31 주식회사 만도 차량 충돌 경감 장치의 표적 선정 방법 및 그 차량 충돌 경감 장치

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4970653A (en) * 1989-04-06 1990-11-13 General Motors Corporation Vision method of detecting lane boundaries and obstacles
US6850252B1 (en) * 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US7421321B2 (en) * 1995-06-07 2008-09-02 Automotive Technologies International, Inc. System for obtaining vehicular information
US7979172B2 (en) * 1997-10-22 2011-07-12 Intelligent Technologies International, Inc. Autonomous vehicle travel control systems and methods
US6421603B1 (en) * 1999-08-11 2002-07-16 Honeywell International Inc. Hazard detection for a travel plan
US7006683B2 (en) * 2001-02-22 2006-02-28 Mitsubishi Electric Research Labs., Inc. Modeling shape, motion, and flexion of non-rigid 3D objects in a sequence of images
DE10257842A1 (de) * 2002-05-07 2003-11-27 Bosch Gmbh Robert Verfahren zur Bestimmung einer Unfallgefahr eines ersten Objekts mit wenigstens einem zweiten Objekt
JP3875988B2 (ja) * 2002-05-10 2007-01-31 本田技研工業株式会社 未知の障害物の中の予測不可能な目標物の実時間追跡
GB2389947B (en) * 2002-07-25 2004-06-02 Golden River Traffic Ltd Automatic validation of sensing devices
US6952001B2 (en) * 2003-05-23 2005-10-04 Raytheon Company Integrity bound situational awareness and weapon targeting
US7409295B2 (en) * 2004-08-09 2008-08-05 M/A-Com, Inc. Imminent-collision detection system and process
EP1754621B1 (en) * 2005-08-18 2009-10-14 Honda Research Institute Europe GmbH Driver assistance system
US7864032B2 (en) * 2005-10-06 2011-01-04 Fuji Jukogyo Kabushiki Kaisha Collision determination device and vehicle behavior control device
US7167799B1 (en) * 2006-03-23 2007-01-23 Toyota Technical Center Usa, Inc. System and method of collision avoidance using intelligent navigation
JP4946212B2 (ja) * 2006-06-30 2012-06-06 トヨタ自動車株式会社 走行支援装置
US7634383B2 (en) * 2007-07-31 2009-12-15 Northrop Grumman Corporation Prognosis adaptation method
AU2009295270B2 (en) * 2008-09-19 2015-02-05 The University Of Sydney A method and system of data modelling
US8437901B2 (en) * 2008-10-15 2013-05-07 Deere & Company High integrity coordination for multiple off-road vehicles
US8229663B2 (en) * 2009-02-03 2012-07-24 GM Global Technology Operations LLC Combined vehicle-to-vehicle communication and object detection sensing
US20100305857A1 (en) * 2009-05-08 2010-12-02 Jeffrey Byrne Method and System for Visual Collision Detection and Estimation
US8417490B1 (en) * 2009-05-11 2013-04-09 Eagle Harbor Holdings, Llc System and method for the configuration of an automotive vehicle with modeled sensors
US8825456B2 (en) * 2009-09-15 2014-09-02 The University Of Sydney Method and system for multiple dataset gaussian process modeling
US20120089292A1 (en) * 2010-02-14 2012-04-12 Leonid Naimark Architecture and Interface for a Device-Extensible Distributed Navigation System
AU2011201189B2 (en) * 2010-03-16 2014-08-28 The University Of Sydney Vehicle localization in open-pit mining using GPS and monocular camera
US8965676B2 (en) * 2010-06-09 2015-02-24 Toyota Motor Engineering & Manufacturing North America, Inc. Computationally efficient intersection collision avoidance system
US8849483B2 (en) * 2011-04-13 2014-09-30 California Institute Of Technology Target trailing with safe navigation with colregs for maritime autonomous surface vehicles

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080300787A1 (en) * 2006-02-03 2008-12-04 Gm Global Technology Operations, Inc. Method and apparatus for on-vehicle calibration and orientation of object-tracking systems
CN1966335A (zh) * 2006-09-03 2007-05-23 孔朕 一种显著提高车辆安全可靠驾驶性能的方法与装置
US20080084283A1 (en) * 2006-10-09 2008-04-10 Toyota Engineering & Manufacturing North America, Inc. Extra-vehicular threat predictor
CN101320089A (zh) * 2007-06-05 2008-12-10 通用汽车环球科技运作公司 用于车辆动力估计的雷达、激光雷达和摄像机增强的方法
WO2009099382A1 (en) * 2008-02-07 2009-08-13 Scabua Cv Ab (Publ) Method and device for adaptive cruise control, computer programme, computer programme product, computer and vehicle
KR20110097391A (ko) * 2010-02-25 2011-08-31 주식회사 만도 차량 충돌 경감 장치의 표적 선정 방법 및 그 차량 충돌 경감 장치

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11725956B2 (en) 2015-04-01 2023-08-15 Vayavision Sensing Ltd. Apparatus for acquiring 3-dimensional maps of a scene
CN112665556B (zh) * 2015-04-01 2023-09-05 瓦亚视觉传感有限公司 使用被动和主动测量生成场景的三维地图
CN108271408A (zh) * 2015-04-01 2018-07-10 瓦亚视觉有限公司 使用被动和主动测量生成场景的三维地图
CN112665556A (zh) * 2015-04-01 2021-04-16 瓦亚视觉传感有限公司 使用被动和主动测量生成场景的三维地图
CN108271408B (zh) * 2015-04-01 2020-12-04 瓦亚视觉有限公司 使用被动和主动测量生成场景的三维地图
CN106168989A (zh) * 2015-05-22 2016-11-30 罗伯特·博世有限公司 用于运行车辆的方法和设备
CN106168989B (zh) * 2015-05-22 2021-12-17 罗伯特·博世有限公司 用于运行车辆的方法和设备
CN108290579B (zh) * 2015-11-04 2022-04-12 祖克斯有限公司 用于自主车辆的模拟***和方法
CN108290579A (zh) * 2015-11-04 2018-07-17 祖克斯有限公司 用于自主车辆的模拟***和方法
CN108698595A (zh) * 2016-02-11 2018-10-23 三菱电机株式会社 用于控制车辆运动的方法和车辆的控制***
CN107179767B (zh) * 2016-03-10 2021-10-08 松下电器（美国）知识产权公司 驾驶控制装置、驾驶控制方法以及非瞬时性记录介质
CN107179767A (zh) * 2016-03-10 2017-09-19 松下电器（美国）知识产权公司 驾驶控制装置、驾驶控制方法以及非瞬时性记录介质
CN110214264A (zh) * 2016-12-23 2019-09-06 御眼视觉技术有限公司 具有施加的责任约束的导航***
CN111661046B (zh) * 2017-02-10 2024-03-26 伟摩有限责任公司 确定对象的未来行为和航向的方法
US11851055B2 (en) 2017-02-10 2023-12-26 Waymo Llc Using wheel orientation to determine future heading
CN111661046A (zh) * 2017-02-10 2020-09-15 伟摩有限责任公司 确定对象的未来行为和航向的方法
CN108423005B (zh) * 2017-02-15 2022-12-27 福特全球技术公司 用于自主车辆的基于反馈的控制模型的生成
CN108423005A (zh) * 2017-02-15 2018-08-21 福特全球技术公司 用于自主车辆的基于反馈的控制模型的生成
CN110582778A (zh) * 2017-05-01 2019-12-17 明导发展(德国)有限公司 具有对传感器数据的机器学习分类的嵌入式机动车辆感知
CN110582778B (zh) * 2017-05-01 2023-07-18 西门子电子设计自动化有限公司 具有对传感器数据的机器学习分类的嵌入式机动车辆感知
CN109131065B (zh) * 2017-06-16 2022-01-14 通用汽车环球科技运作有限责任公司 用于由自主车辆进行外部警告的***和方法
CN109131065A (zh) * 2017-06-16 2019-01-04 通用汽车环球科技运作有限责任公司 用于由自主车辆进行外部警告的***和方法
CN109284764A (zh) * 2017-07-19 2019-01-29 通用汽车环球科技运作有限责任公司 用于自主车辆中对象分类的***和方法
CN109283549A (zh) * 2017-07-19 2019-01-29 安波福技术有限公司 用于被遮挡对象的自动车辆激光雷达跟踪***
CN109284764B (zh) * 2017-07-19 2022-03-01 通用汽车环球科技运作有限责任公司 用于自主车辆中对象分类的***和方法
CN109421731A (zh) * 2017-09-05 2019-03-05 罗伯特·博世有限公司 可信度检验模块、驾驶辅助***和校准传感器的方法
CN110162026B (zh) * 2018-02-11 2022-06-21 北京图森智途科技有限公司 一种物体识别***、方法及装置
US11532157B2 (en) 2018-02-11 2022-12-20 Beijing Tusen Zhitu Technology Co., Ltd. System, method and apparatus for object identification
US11869249B2 (en) 2018-02-11 2024-01-09 Beijing Tusen Zhitu Technology Co., Ltd. System, method and apparatus for object identification
CN110162026A (zh) * 2018-02-11 2019-08-23 北京图森未来科技有限公司 一种物体识别***、方法及装置
CN110816547A (zh) * 2018-08-07 2020-02-21 通用汽车环球科技运作有限责任公司 用于自主驾驶的实际感知***的感知不确定性建模
CN113302108A (zh) * 2019-02-06 2021-08-24 宝马股份公司 用于运行车辆的方法、装置、计算机程序和计算机程序产品
CN113924241A (zh) * 2019-05-31 2022-01-11 伟摩有限责任公司 用于自主车辆的追踪消失对象
CN113924241B (zh) * 2019-05-31 2024-03-01 伟摩有限责任公司 用于自主车辆的追踪消失对象
CN114026624A (zh) * 2019-07-03 2022-02-08 日立安斯泰莫株式会社 通过远红外相机识别对象
CN114026624B (zh) * 2019-07-03 2023-09-29 日立安斯泰莫株式会社 通过远红外相机识别对象
CN113963027B (zh) * 2021-10-28 2022-09-09 广州文远知行科技有限公司 不确定性检测模型的训练、不确定性的检测方法及装置
CN113963027A (zh) * 2021-10-28 2022-01-21 广州文远知行科技有限公司 不确定性检测模型的训练、不确定性的检测方法及装置

Also Published As

Publication number Publication date
JP2015506310A (ja) 2015-03-02
KR20140119787A (ko) 2014-10-10
WO2013116141A1 (en) 2013-08-08
EP2809561A4 (en) 2015-12-23
US20130197736A1 (en) 2013-08-01
EP2809561A1 (en) 2014-12-10

Similar Documents

Publication Publication Date Title
US12001217B1 (en) Detecting sensor degradation by actively controlling an autonomous vehicle
CN104094177A (zh) 基于感知不确定性的车辆控制
US10037039B1 (en) Object bounding box estimation
US11807235B1 (en) Modifying speed of an autonomous vehicle based on traffic conditions
US10185324B1 (en) Building elevation maps from laser data
CN103718124B (zh) 传感器域选择
US9255805B1 (en) Pose estimation using long range features
CN107798305B (zh) 检测车道标记
US8874372B1 (en) Object detection and classification for autonomous vehicles
US8948958B1 (en) Estimating road lane geometry using lane marker observations
US8949016B1 (en) Systems and methods for determining whether a driving environment has changed
US9600768B1 (en) Using behavior of objects to infer changes in a driving environment
CN105009175B (zh) 基于传感器盲点和局限性来修改自主车辆的行为
US8612135B1 (en) Method and apparatus to localize an autonomous vehicle using convolution
US8565958B1 (en) Removing extraneous objects from maps
AU2020202527A1 (en) Using wheel orientation to determine future heading
US10845202B1 (en) Method and apparatus to transition between levels using warp zones
CN103339009A (zh) 对自主车辆的诊断和修理
US10380757B2 (en) Detecting vehicle movement through wheel movement

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141008