CN114902305A - 用于载具队伍的代理校准目标的识别 - Google Patents

用于载具队伍的代理校准目标的识别 Download PDF

Info

Publication number
CN114902305A
CN114902305A CN202080091463.7A CN202080091463A CN114902305A CN 114902305 A CN114902305 A CN 114902305A CN 202080091463 A CN202080091463 A CN 202080091463A CN 114902305 A CN114902305 A CN 114902305A
Authority
CN
China
Prior art keywords
vehicle
proxy
data
sensor
candidate object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080091463.7A
Other languages
English (en)
Inventor
V.格拉贝
C.布雷利
V.伊万琴科
A.米德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Publication of CN114902305A publication Critical patent/CN114902305A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021—Determination of steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215—Sensor drifts or sensor failures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

示例实施例涉及用于传感器群的代理校准目标的识别。一种示例方法包括使用耦合到载具的传感器收集关于载具的环境内的一个或多个对象的数据。传感器已经使用地面真值校准目标进行了校准。该方法还包括基于所收集的数据从一个或多个对象中识别至少一个候选对象，以用作用于耦合到载具队伍内的载具的其它传感器的代理校准目标。此外，该方法包括由载具提供关于候选对象的数据以供载具队伍内的一个或多个载具使用。

Description

用于载具队伍的代理校准目标的识别
相关申请的交叉引用
本申请要求于2019年12月30日提交的美国临时专利申请序列号62/955,300的优先权，并且是该美国临时专利申请的非临时申请，其全部内容通过引用并入本文。
背景技术
除非本文另有说明，否则本部分中描述的材料不是本申请的权利要求的现有技术，并且并不由于包括在本部分中而被承认是现有技术。
自主载具或以自主模式操作的载具可以使用由传感器提供的信息。每个载具均可包括计算设备以处理从载具传感器接收的信息，从而避开障碍物并确保正确的导航。这种载具通常配备有各种类型的传感器，以便检测环境中的对象。例如，自主载具可包括激光器、声纳、雷达、相机、以及扫描并记录来自载具的周围环境的数据的其它传感器。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其各自的特性(位置、形状、走向、速率等)。这种检测和识别对于自主载具的操作是有用的。
为了准确地检测载具周围的环境，载具传感器可能需要校准。可以通过捕获相对于传感器位于已知距离处的校准目标的数据、捕获具有已知反射率图案的校准目标的数据、和/或捕获在预定布置中具有预定符号的校准目标的数据，来执行载具传感器的校准。此类校准目标在本文中可被称为“地面真值校准目标”。
使用从观察地面真值校准目标的传感器产生的捕获数据，可以在硬件和/或软件中进行修改以解决(account for)已知校准目标与使用传感器测量的数据之间的差异。此类地面真值校准技术可以以预先指定的时间间隔进行(例如，对于特定传感器，可以每天、每周、每月等执行校准)。此外，此类校准技术可以在容纳校准设备的位置执行。例如，特定车库可以具有用于校准载具的不同传感器的校准目标的多个布置。
在校准之后，载具可以在运行时操作最近校准的传感器中的一个或多个以执行对象检测和回避。然而，随着时间的推移，传感器的校准质量可能劣化(例如，由于因不平坦路面引起的推撞或热而在传感器的光学器件内产生的机械偏移)。为了校正这种劣化的校准，可以执行检查或后续校准。因为仅某些位置可以容纳执行地面真值校准(例如，使用地面真值校准目标)的设备，所以载具执行此类检查或后续校准可能是繁重的(例如，返回校准车库可能是长距离的和/或一次仅一定数量的载具可以使用校准车库，从而导致期间载具无法使用的长的校准等待时间)。
发明内容
本申请公开了涉及用于检测环境中的对象并从检测到的对象中识别一个或多个候选对象以用作代理校准目标来执行校准的装置和方法的实施例。一个或多个候选对象可用作校准目标以核查、验证、测试和/或校准载具的传感器。例如，载具可包括一个或多个传感器(例如，lidar传感器、雷达传感器、声纳传感器、相机等)，该一个或多个传感器被配置为捕获载具周围的环境的部分。每个载具可包括计算设备，该计算设备被配置为检测载具的环境内的对象(例如，建筑物、墙壁、特征、地标、静止对象、验证或校准目标等)，并从检测到的对象中识别一个或多个候选对象以用作代理校准目标。载具可被配置为将与一个或多个候选对象相关联的信息发送到远程设备(例如，远程服务器或另一载具)以用于校准载具传感器。
载具可被配置为从远程设备(例如，远程服务器)接收与一个或多个候选对象相关联的信息。载具可被配置为从接收到的信息获得一个或多个候选对象的位置并导航到该位置。一旦载具在一个或多个候选对象附近，载具可以使用载具的传感器扫描和/或捕获一个或多个候选对象。然后载具可以将捕获的与一个或多个候选对象相关联的信息与从远程设备接收的关于一个或多个候选对象的信息进行比较。载具可被配置为使用比较来校准、对准、修理、测试、验证和/或核查载具的传感器的性能。
在一个方面，提供了一种方法。该方法包括使用耦合到载具的传感器收集关于载具的环境内的一个或多个对象的数据。传感器已经使用地面真值校准目标进行了校准。该方法还包括基于所收集的数据从一个或多个对象中识别至少一个候选对象以用作用于耦合到载具队伍内的载具的其它传感器的代理校准目标。此外，该方法包括由载具提供关于候选对象的数据以供载具队伍内的一个或多个载具使用。
在另一方面，提供了一种方法。该方法包括由载具队伍内的第一载具接收关于代理校准目标的数据。代理校准目标已经使用耦合到载具队伍内的第二载具的第二传感器进行了表征。第二传感器已经使用地面真值校准目标进行了校准。代理校准目标也已经由第二传感器从一个或多个对象中识别作为用于代理校准的候选目标。该方法还包括使用关于代理校准目标的数据来校准第一传感器。
在附加的方面，提供了一种方法。该方法包括由代理校准目标服务器接收关于环境内的候选对象的数据。关于候选对象的数据可由载具队伍使用以执行代理校准。关于候选对象的数据已经由耦合到载具队伍内的第一载具的第一传感器确定。第一传感器已经使用地面真值校准目标进行了校准。候选对象已经由第一传感器从一个或多个对象中识别以用作代理校准目标。该方法还包括由代理校准目标服务器向载具队伍内的一个或多个载具提供关于候选对象的数据。
通过在适当时参考附图阅读以下详细描述，这些以及其它方面、优点和替代方案对于本领域的普通技术人员而言将变得清晰。
附图说明
图1是示出了根据示例实施例的载具的功能框图；
图2A是根据示例实施例的载具的物理配置的图示；
图2B是根据示例实施例的载具的物理配置的图示；
图2C是根据示例实施例的载具的物理配置的图示；
图2D是根据示例实施例的载具的物理配置的图示；
图2E是根据示例实施例的载具的物理配置的图示；
图3是根据示例实施例的与自主载具相关的各种计算***之间的无线通信的概念性图示；
图4是根据示例实施例的方法的流程图；
图5是根据示例实施例的方法的流程图；
图6是根据示例实施例的方法的流程图；
图7是根据示例实施例的捕获与环境中的对象有关的信息的自主载具的概念性图示；以及
图8是根据示例实施例的具有相对于对象的地理围栏区域的环境的概念性图示。
具体实施方式
本文设想了示例方法和装置。本文描述的任何示例实施例或特征不必被解释为比其它实施例或特征优选或有利。本文描述的示例实施例并不意味着是限制性的。将容易理解的是，所公开的***和方法的某些方面可以以各种各样的不同配置来布置和组合，所有这些均在本文中进行了设想。
此外，图中所示的特定布置不应被视为限制性的。应当理解，其它实施例可包括更多或更少的在特定图中所示的每种元件。此外，所示元件中的一些可以组合或省略。更进一步，示例实施例可包括图中未示出的元件。
诸如自主或无人驾驶载具的载具可以在不需要驾驶员提供引导和控制的情况下导航行进路径。为了实现安全的自主导航，载具可以利用从载具的传感器获取的关于局部环境的数据。载具可包括一个或多个计算设备，其被配置为处理从载具传感器接收的关于环境的信息。一个或多个计算设备可以向载具的***提供信息和/或指令以在载具行驶通过环境时执行导航策略。
本文公开的示例装置和方法在不需要使用地面真值校准目标的情况下执行传感器校准。例如，可以假定最近已经使用地面真值校准目标校准的载具(例如，从使用地面真值校准目标校准载具的传感器起已经经过了小于阈值的时间量)被正确校准。照此，这些载具可以使用它们的传感器准确地捕获环境内的对象(例如，来自不同有利点的环境内的对象的反射率或精确位置)。此外，基于对象的属性，最近校准的载具可以识别环境内的候选对象，这些候选对象可用作用于校准其它载具的传感器的代理校准目标(例如，代替用于校准需要检查校准的载具的地面真值校准目标而使用)。在一些实施例中，例如，最近校准的载具可识别或选择朗伯或接近朗伯的对象以用作代理校准目标。
在识别可用作代理校准目标的候选对象时，最近校准的载具可将关于候选对象(例如，地理位置、反射率、大小、形状、颜色等)的信息(包括标签和/或元数据)上传到远程设备(例如，远程/代理服务器)，该远程设备可散布关于用作校准队伍中的其它载具的传感器时的代理校准目标的候选对象的信息。与候选对象相关联的信息可存储在服务器中并且可以由其它载具访问。与候选对象相关联的信息可存储在服务器内并且可以由其它载具访问。
队伍中的其它载具(例如，需要检查校准的那些载具)然后可以获得并使用与候选对象相关联的信息来执行检查校准。在替代实施例中，不是将与候选对象相关联的信息上传到远程设备(例如，远程/代理服务器)，而是最近校准的载具可将关于候选对象的信息直接传送到队伍中的其它载具，使得这样的载具可使用候选对象作为代理校准目标以执行校准。队伍中需要检查校准的载具(例如，由于自上次校准以来经过指定量的运行时间或由于运行时间中检测到的误差)可确定候选对象的位置，并且可导航到该位置以捕获关于对象的信息以用于传感器校准。该代理校准目标可以是用于所有类型的传感器(例如，相机、lidar设备、雷达设备等)的校准目标，而其它代理校准目标仅可以是用于传感器子集的校准目标(例如，仅可用于校准lidar设备)。
与用作代理校准目标的候选对象相关联的信息可包括反射率信息、位置信息(例如，全球定位***(GPS)坐标)、颜色信息和/或指示用作代理校准目标的候选对象何时由最近校准的载具表征或捕获的时间标签。时间标签可用于确定关于候选对象的信息何时可能变得陈旧/不可靠并且候选对象应不再用作代理校准目标(例如，至少直到关于目标的信息被另一新近校准的载具重新验证)。例如，在预定的持续时间之后或在雨、雪或其它天气条件之后，用作代理校准目标的候选对象的表面可能已经改变，使得其反射率可能已经改变并且可能不再表示由最近校准的载具先前捕获的候选对象的状况。结果，候选对象可能不再可用作代理校准目标。
此外，候选对象可仅从环境内的不同数量的视角观察到。照此，与用作代理校准目标的候选对象相关联的信息(例如，标签中的一个)可通知队伍中的载具相对于候选对象的地理围栏区域。当需要检查校准的载具在地理围栏区域内时，载具可尝试使用载具的传感器捕获环境中的候选对象。否则，载具可能放弃尝试捕获候选对象以用作代理校准目标。另外，在地理围栏区域内，可能仅存在一些朝向(例如，偏航朝向)，从这些朝向使用载具的传感器可观察到候选对象。此类朝向可包括在由最近校准的载具向远程设备(例如，代理/远程服务器)提供的信息中。可替代地，此类朝向可以由服务器确定和/或由最近校准的载具离线(即，当最近校准的载具不在运输中时)确定。
现在将更详细地描述本公开范围内的示例***。示例***可以以汽车的形式实现或者可以采取汽车的形式。然而，示例***还可以以其它载具的形式实现或采取其它载具的形式，诸如小汽车、卡车、摩托车、公共汽车、船、飞机、直升机、割草机、推土机、艇、雪地车、飞行器、休闲车、游乐园载具、农场设备、建筑设备、有轨电车、高尔夫球车、火车、手推车和机器人设备。其它载具也是可能的。此外，在一些实施例中，示例***可以不包括载具。
以下描述和附图将阐明各种示例实施例的特征。所提供的实施例是示例性的，而并非旨在为限制性的。照此，附图的尺寸不一定是按比例的。
现在参考附图，图1是示出了示例载具100的功能框图，该载具可被配置为完全或部分地以自主模式操作。更具体而言，载具100可以通过从计算***接收控制指令而在没有人类交互的情况下以自主模式操作。作为以自主模式操作的一部分，载具100可使用传感器来检测并可能地识别周围环境的对象以实现安全导航。在一些实施例中，载具100还可包括使驾驶员能够控制载具100的操作的子***。
如图1所示，载具100可包括各种子***，诸如推进***102、传感器***104、控制***106、一个或多个***设备108、电源110、计算机***112(也可被称为计算***)、数据存储装置114和用户接口116。在其它示例中，载具100可包括更多或更少的子***，每个子***均可包括多个元件。载具100的子***与部件可以以各种方式互连。另外，本文描述的载具100的功能可以被划分为附加功能或物理部件，或者在实施例中被组合为更少的功能或物理部件。例如，控制***106与计算机***112可以组合成根据各种操作来操作载具100的单个***。
推进***102可包括可操作以为载具100提供动力运动的一个或多个部件，并且可包括发动机/马达118、能量源119、变速器120和车轮/轮胎121以及其它可能的部件。例如，发动机/马达118可被配置为将能量源119转换成机械能，并且可对应于内燃机、电动机、蒸汽机或斯特林发动机中的一种或其组合，以及其它可能的选项。例如，在一些实施例中，推进***102可包括多种类型的发动机和/或马达，诸如汽油发动机和电动机。
能量源119表示可以全部或部分地为载具100的一个或多个***(例如，发动机/马达118)提供动力的能量来源。例如，能量源119可以对应于汽油、柴油、其它基于石油的燃料、丙烷、其它基于压缩气体的燃料、乙醇、太阳能电池板、电池和/或其它电力来源。在一些实施例中，能量源119可包括燃料箱、电池、电容器和/或飞轮的组合。
变速器120可以将机械动力从发动机/马达118传输到载具100的车轮/轮胎121和/或其它可能的***。照此，变速器120可包括变速箱、离合器、差速器和驱动轴以及其它可能的部件。驱动轴可包括连接到一个或多个车轮/轮胎121的轮轴。
载具100的车轮/轮胎121在示例实施例中可以具有各种配置。例如，载具100可以以单轮车、自行车/摩托车、三轮车或小汽车/卡车四轮形式以及其它可能的配置存在。照此，车轮/轮胎121可以以各种方式连接到载具100，并且可以以诸如金属和橡胶的不同材料存在。
传感器***104可包括各种类型的传感器，诸如全球定位***(GPS)122、惯性测量单元(IMU)124、雷达126、激光测距仪/lidar 128、相机130、转向传感器123和节气门/制动传感器125，以及其它可能的传感器。在一些实施例中，传感器***104还可包括被配置为监视载具100的内部***(例如，O2监视器、燃油表、发动机油温、制动器磨损)的传感器。
GPS 122可包括收发器，其可操作以提供关于载具100相对于地球的位置的信息。IMU 124可具有使用一个或多个加速率计和/或陀螺仪的配置，并且可以基于惯性加速率来感测载具100的位置和朝向变化。例如，当载具100静止或运动时，IMU 124可以检测载具100的俯仰和偏航。
雷达126可表示被配置为使用无线电信号来感测载具100的局部环境内的对象(包括对象的速率和走向)的一个或多个***。照此，雷达126可包括被配置为发射和接收无线电信号的天线。在一些实施例中，雷达126可对应于可安装的雷达***，该可安装的雷达***被配置为获得载具100的周围环境的测量。
激光测距仪/lidar 128可包括一个或多个激光源、激光扫描器和一个或多个检测器，以及其它***部件，并且可以以相干模式(例如，使用外差检测)或以非相干检测模式操作。在一些实施例中，激光测距仪/lidar 128的一个或多个检测器可包括一个或多个光电检测器。此类光电检测器可以是特别敏感的检测器(例如，雪崩光电二极管(APD))。在一些示例中，此类光电检测器甚至可以能够检测单个光子(例如，单光子雪崩二极管(SPAD))。此外，此类光电检测器可以被布置(例如，通过串联的电连接)成阵列(例如，如在硅光电倍增器(SiPM)中)。
相机130可包括被配置为捕获载具100的环境的图像的一个或多个设备(例如，静态相机或视频相机)。
转向传感器123可感测载具100的转向角度，其可涉及测量方向盘的角度或测量表示方向盘的角度的电信号。在一些实施例中，转向传感器123可测量载具100的车轮的角度，诸如检测车轮相对于载具100的前向轴的角度。转向传感器123还可被配置为测量载具100的方向盘的角度、表示方向盘的角度的电信号和车轮的角度的组合(或子集)。
节气门/制动传感器125可以检测载具100的节气门位置或制动器位置中的位置。例如，节气门/制动传感器125可测量油门踏板(节气门)和制动踏板两者的角度，或者可测量可表示例如油门踏板(节气门)的角度和/或制动踏板的角度的电信号。节气门/制动传感器125还可以测量载具100的节气门体的角度，该节气门体可包括向发动机/马达118(例如，蝶形阀或汽化器)提供能量源119的调节的物理机构的一部分。另外，节气门/制动传感器125可以测量载具100的转子上的一个或多个制动块的压力，或油门踏板(节气门)和制动踏板的角度、表示油门踏板(节气门)和制动踏板的角度的电信号、节气门体的角度、以及至少一个制动块正在施加到载具100的转子上的压力的组合(或子集)。在其它实施例中，节气门/制动传感器125可被配置为测量施加到载具的踏板(诸如节气门或制动踏板)上的压力。
控制***106可包括被配置为辅助导航载具100的部件，诸如转向单元132、节气门134、制动单元136、传感器融合算法138、计算机视觉***140、导航/路径***142和避障***144。更具体而言，转向单元132可操作以调整载具100的走向，并且节气门134可控制发动机/马达118的操作速率以控制载具100的加速率。制动单元136可以使载具100减速，这可涉及使用摩擦力来使车轮/轮胎121减速。在一些实施例中，制动单元136可以将车轮/轮胎121的动能转换为电流以供载具100的一个或多个***随后使用。
传感器融合算法138可包括卡尔曼滤波器、贝叶斯网络或可处理来自传感器***104的数据的其它算法。在一些实施例中，传感器融合算法138可以基于输入的传感器数据来提供评估，诸如单个对象和/或特征的评估、特定情形的评估、和/或给定情形内的潜在影响的评估。
计算机视觉***140可包括可操作以处理并分析图像以致力于确定对象、环境对象(例如，交通灯、道路边界等)和障碍物的硬件和软件。照此，计算机视觉***140可使用例如对象识别、运动结构(SFM)、视频跟踪和在计算机视觉中使用的其它算法，以识别对象、绘制(map)环境、跟踪对象、估计对象的速率等。
导航/路径***142可确定载具100的行驶路径，这可涉及在操作期间动态地调整导航。照此，导航/路径***142可使用来自传感器融合算法138、GPS 122和地图以及其它来源的数据来导航载具100。避障***144可以基于传感器数据来评估潜在障碍物，并使载具100的***避开或以其它方式成功越过潜在障碍物。
如图1所示，载具100还可包括***设备108，诸如无线通信***146、触摸屏148、麦克风150和/或扬声器152。***设备108可以为用户提供控制或其它元件以与用户接口116交互。例如，触摸屏148可向载具100的用户提供信息。用户接口116还可以经由触摸屏148从用户接受输入。***设备108还可以使载具100能够与诸如其它载具设备的设备通信。
无线通信***146可以直接或经由通信网络与一个或多个设备无线通信。例如，无线通信***146可以使用3G蜂窝通信，诸如码分多址(CDMA)、演进数据优化(EVDO)、全球移动通信***(GSM)/通用分组无线电服务(GPRS)，或4G蜂窝通信，诸如全球微波接入互操作性(WiMAX)或长期演进(LTE)。可替代地，无线通信***146可以使用WiFi或其它可能的连接与无线局域网(WLAN)通信。无线通信***146还可以使用例如红外链路、蓝牙或ZigBee直接与设备通信。在本公开的上下文中，诸如各种载具通信***的其它无线协议是可能的。例如，无线通信***146可包括一个或多个专用短程通信(DSRC)设备，其可包括载具和/或路边站之间的公共和/或专用数据通信。
载具100可包括用于为部件供电的电源110。在一些实施例中，电源110可包括可再充电的锂离子或铅酸电池。例如，电源110可包括被配置为提供电能的一个或多个电池。载具100还可以使用其它类型的电源。在示例实施例中，电源110和能量源119可以集成到单个能量源中。
载具100还可包括计算机***112以执行操作，诸如本文中描述的操作。照此，计算机***112可包括至少一个处理器113(其可包括至少一个微处理器)，该至少一个处理器可操作以执行诸如数据存储装置114的非瞬态计算机可读介质中存储的指令115。在一些实施例中，计算机***112可表示多个计算设备，其可用于以分布式方式控制载具100的各个部件或子***。
在一些实施例中，数据存储装置114可包含可由处理器113执行以执行载具100的各种功能(包括以上结合图1描述的那些)的指令115(例如，程序逻辑)。数据存储装置114还可包含附加指令，包括向推进***102、传感器***104、控制***106和***设备108中的一个或多个传送数据，从其接收数据，与之交互和/或对其进行控制的指令。
除了指令115之外，数据存储装置114可以存储诸如道路地图、路径信息以及其它信息的数据。此类信息可以在载具100以自主、半自主和/或手动模式操作期间由载具100和计算机***112使用。
载具100可包括用于向载具100的用户提供信息或从载具100的用户接收输入的用户接口116。用户接口116可以控制可以在触摸屏148上显示的交互式图像的内容和/或布局，或启用对所述内容和/或布局的控制。此外，用户接口116可包括该组***设备108内的一个或多个输入/输出设备，诸如无线通信***146、触摸屏148、麦克风150和扬声器152。
计算机***112可以基于从各种子***(例如，推进***102、传感器***104和控制***106)以及从用户接口116接收的输入来控制载具100的功能。例如，计算机***112可利用来自传感器***104的输入以便估计由推进***102和控制***106产生的输出。依据该实施例，计算机***112可操作以监视载具100及其子***的许多方面。在一些实施例中，计算机***112可以基于从传感器***104接收的信号来禁用载具100的一些或全部功能。
载具100的部件可被配置为以与它们各自***内或外的其它部件互连的方式工作。例如，在示例实施例中，相机130可以捕获多个图像，这些图像可表示关于以自主模式操作的载具100的环境的状态的信息。环境的状态可包括载具正在其上操作的道路的参数。例如，计算机视觉***140能够基于道路的多个图像来识别斜度(坡度)或其它特征。另外，GPS122以及由计算机视觉***140识别的特征的组合可与数据存储装置114中存储的地图数据一起使用以确定特定道路参数。此外，雷达126还可以提供关于载具的周围环境的信息。
换句话说，各种传感器(其可以被称为输入指示和输出指示传感器)与计算机***112的组合可以交互，以提供被提供以控制载具的输入的指示或载具的周围环境的指示。
在一些实施例中，计算机***112可以基于由除了无线电***之外的***提供的数据来作出关于各种对象的确定。例如，载具100可具有被配置为感测载具的视场中的对象的激光器或其它光学传感器。计算机***112可使用来自各种传感器的输出来确定关于载具的视场中的对象的信息，并且可确定到各种对象的距离和方向信息。计算机***112还可以基于来自各种传感器的输出来确定对象是期望的还是不期望的。
虽然图1将载具100的各种部件(即，无线通信***146、计算机***112、数据存储装置114和用户接口116)示出为集成到载具100中，但是这些部件中的一个或多个可以与载具100分开地安装或关联。例如，数据存储装置114可以部分地或全部地与载具100分开存在。因此，载具100可以以设备元件的形式提供，这些设备元件可以分开地或一起定位。构成载具100的设备元件可以以有线和/或无线方式通信地耦合在一起。
图2A-2E示出了示例载具200，其可包括参考图1结合载具100描述的一些或全部功能。尽管为了说明的目的，载具200在图2A-2E中被示为厢式货车，但是本公开并不限于此。例如，载具200可以表示卡车、小汽车、半拖车卡车、摩托车、高尔夫球车、越野车、农用车等。
示例载具200包括传感器单元202、第一lidar单元204、第二lidar单元206、第一雷达单元208、第二雷达单元210、第一lidar/雷达单元212、第二lidar/雷达单元214、以及雷达单元、lidar单元、激光测距仪单元和/或其它类型的一个或多个传感器可在载具200上定位的两个附加位置216、218。第一lidar/雷达单元212和第二lidar/雷达单元214中的每一个可以采取lidar单元、雷达单元或两者的形式。
此外，示例载具200可包括结合图1的载具100描述的任何部件。第一和第二雷达单元208、210和/或第一和第二lidar单元204、206可以针对潜在障碍物的存在而主动地扫描周围环境，并且可以类似于载具100中的雷达126和/或激光测距仪/lidar 128。
传感器单元202安装在载具200的顶部，并且包括一个或多个传感器，该一个或多个传感器被配置为检测关于载具200周围的环境的信息，并且输出该信息的指示。例如，传感器单元202可包括相机、雷达、lidar、测距仪和声学传感器的任意组合。传感器单元202可包括一个或多个可移动座架，该一个或多个可移动座架可操作以调整传感器单元202中的一个或多个传感器的朝向。在一个实施例中，可移动座架可包括旋转平台，该旋转平台可以扫描传感器以便从载具200周围的每个方向获得信息。在另一实施例中，传感器单元202的可移动座架可以在特定角度和/或方位角范围内以扫描方式移动。传感器单元202可以安装在小汽车车顶的顶上，尽管其它安装位置也是可能的。
另外，传感器单元202的传感器可以分布在不同的位置，并且不需要并置在单个位置。一些可能的传感器类型和安装位置包括这两个附加位置216、218。此外，传感器单元202的每个传感器可被配置为独立于传感器单元202的其它传感器而移动或扫描。
在示例配置中，一个或多个雷达扫描器(例如，第一和第二雷达单元208、210)可位于载具200的后部附近，以针对无线电反射对象的存在而主动地扫描载具200的后部附近的环境。类似地，第一lidar/雷达单元212和第二lidar/雷达单元214可以安装在载具200的前部附近，以主动地扫描载具200的前部附近的环境。雷达扫描器可以位于例如适于照亮包括载具200的向前移动路径的地区而不被载具200的其它特征遮挡的位置。例如，雷达扫描器可以嵌入和/或安装在前保险杠、前大灯、罩子和/或发动机罩等中或附近。此外，一个或多个附加的雷达扫描设备可被定位成针对无线电反射对象的存在而主动地扫描载具200的侧面和/或后部，诸如通过将此类设备包括在后保险杠、侧板、摇板和/或底架等之中或附近。
尽管在图2A-2E中未示出，但是载具200可包括无线通信***。无线通信***可包括无线发射器和接收器，其可被配置为与载具200外部或内部的设备通信。具体而言，无线通信***可包括收发器，其被配置为与例如载具通信***或道路站中的其它载具和/或计算设备通信。此类载具通信***的示例包括DSRC、射频识别(RFID)和其它针对智能运输***提出的通信标准。
载具200可包括相机，可能在传感器单元202内的位置。相机可以是被配置为捕获载具200的环境的多个图像的光敏仪器，诸如静态相机、视频相机等。为此，相机可被配置为检测可见光，并且可以附加地或可替代地被配置为检测来自光谱的其它部分的光，诸如红外光或紫外光。相机可以是二维检测器，并且可以可选地具有三维空间灵敏度范围。在一些实施例中，相机可包括例如范围检测器，该范围检测器被配置为产生指示从相机到环境中的多个点的距离的二维图像。为此，相机可以使用一种或多种范围检测技术。例如，相机可以通过使用结构化光技术来提供范围信息，在该结构化光技术中，载具200用预定光图案(诸如栅格或棋盘图案)照亮环境中的对象，并且使用相机来检测预定光图案从周围环境的反射。基于反射光图案中的失真，载具200可以确定到对象上的点的距离。预定光图案可包括红外光，或者用于此类测量的其它合适波长的辐射。在一些示例中，相机可以安装在载具200的前挡风玻璃内部。具体而言，相机可被定位成相对于载具200的朝向从前视视图捕获图像。还可以在载具200的内部或外部使用相机的其它安装位置和视角。此外，相机可具有可操作以提供可调整视场的相关联光学器件。更进一步，相机可以利用可移动座架安装到载具200，以改变相机的指向角，诸如经由平移/倾斜机构。
除所示部件之外或代替所示部件，载具200可包括一个或多个其它部件。附加部件可包括电气或机械功能。
载具200的控制***可被配置为根据多种可能的控制策略中的控制策略来控制载具200。控制***可被配置为从耦合到载具200(在载具200上或载具200外)的传感器接收信息，基于该信息修改控制策略(和相关联的驾驶行为)，并且根据修改的控制策略来控制载具200。控制***还可被配置为监视从传感器接收的信息，并且连续地评估驾驶状况；并且还可被配置为基于驾驶状况的变化来修改控制策略和驾驶行为。
图3是根据示例实施例的与自主载具相关的各种计算***之间的无线通信的概念性图示。具体而言，无线通信可以经由网络304在远程计算***302与载具200之间发生。无线通信还可以发生在服务器计算***306与远程计算***302之间，以及服务器计算***306与载具200之间。
载具200可对应于能够在位置之间运输乘客或物体的各种类型的载具，并且可以采取上述载具中的任何一个或多个的形式。在一些情况下，载具200可以以自主模式操作，该自主模式使得控制***能够使用传感器测量在目的地之间安全地导航载具200。当以自主模式操作时，载具200可以与乘客一起或不与乘客一起导航。结果，载具200可以在期望的目的地之间接载和送达乘客。
远程计算***302可表示与远程辅助技术相关的任何类型的设备，包括但不限于本文描述的那些。在示例中，远程计算***302可表示任何类型的设备，其被配置为：(i)接收与载具200相关的信息；(ii)提供接口，人类操作者可以通过该接口进而感知信息并输入与该信息相关的响应；以及(iii)将该响应传送到载具200或其它设备。远程计算***302可以采用各种形式，诸如工作站、台式计算机、膝上型计算机、平板计算机、移动电话(例如，智能电话)和/或服务器。在一些示例中，远程计算***302可包括在网络配置中一起操作的多个计算设备。
远程计算***302可包括与载具200的子***和部件相似或相同的一个或多个子***和部件。至少，远程计算***302可包括被配置为执行本文所述的各种操作的处理器。在一些实施例中，远程计算***302还可包括用户接口，该用户接口包括输入/输出设备，诸如触摸屏和扬声器。其它示例也是可能的。
网络304表示实现远程计算***302与载具200之间的无线通信的基础设施。网络304还实现服务器计算***306与远程计算***302之间以及服务器计算***306与载具200之间的无线通信。
远程计算***302的位置可以在示例内变化。例如，远程计算***302可具有距载具200的远程位置，其具有经由网络304的无线通信。在另一示例中，远程计算***302可以对应于载具200内的计算设备，该计算设备与载具200分离，但是人类操作者可以在与载具200的乘客或驾驶员交互时与该计算设备交互。在一些示例中，远程计算***302可以是具有可由载具200的乘客操作的触摸屏的计算设备。
在一些实施例中，本文描述的由远程计算***302执行的操作可以附加地或可替代地由载具200(即，由载具200的任何***或子***)执行。换句话说，载具200可被配置为提供远程辅助机构，载具的驾驶员或乘客可以与该远程辅助机构交互。
服务器计算***306可被配置为经由网络304与远程计算***302和载具200进行无线通信(或者可能直接与远程计算***302和/或载具200进行无线通信)。服务器计算***306可以表示被配置为接收、存储、确定和/或发送与载具200及其远程辅助有关的信息的任何计算设备。照此，服务器计算***306可被配置为执行在本文被描述为由远程计算***302和/或载具200执行的任何操作或此类操作的部分。照此，服务器计算***306可被配置为执行在本文被描述为由远程计算***302和/或载具200执行的任何操作或此类操作的部分。与远程辅助相关的无线通信的一些实施例可以利用服务器计算***306，而其它实施例可以不利用。
服务器计算***306可包括与远程计算***302和/或载具200的子***和部件相似或相同的一个或多个子***和部件，诸如被配置为执行本文所述的各种操作的处理器、以及用于从远程计算***302和载具200接收信息并向远程计算***302和载具200提供信息的无线通信接口。
上述各种***可以执行各种操作。现在将描述这些操作和相关特征。
根据以上讨论，计算***(例如，远程计算***302、服务器计算***306或载具200本地的计算***)可操作以使用相机来捕获自主载具的环境的图像。通常，至少一个计算***将能够分析图像并且可能控制自主载具。
在一些实施例中，为了便于自主操作，载具(例如，载具200)可以以各种方式接收表示载具在其中操作的环境中的对象的数据(在本文中也被称为“环境数据”)。载具上的传感器***可以提供表示环境的对象的环境数据。例如，载具可具有各种传感器，包括相机、雷达单元、激光测距仪、麦克风、无线电单元和其它传感器。这些传感器中的每一个可以将关于每个相应传感器接收的信息的环境数据传送到载具中的处理器。
在一个示例中，相机可被配置为捕获静止图像和/或视频。在一些实施例中，载具可具有定位在不同朝向上的多于一个的相机。此外，在一些实施例中，相机能够移动以在不同方向上捕获图像和/或视频。相机可被配置为将所捕获的图像和视频存储到存储器中，以用于稍后由载具的处理***进行处理。所捕获的图像和/或视频可以是环境数据。此外，相机可包括如本文所述的图像传感器。
在另一示例中，雷达单元可被配置为发射将被载具附近的各种对象反射的电磁信号，然后捕获从这些对象反射的电磁信号。捕获的反射电磁信号可以使雷达***(或处理***)能够作出关于反射电磁信号的对象的各种确定。例如，可以确定到各种反射对象的距离和各种反射对象的位置。在一些实施例中，载具可以在不同朝向具有多于一个的雷达。雷达***可被配置为将捕获的信息存储到存储器，以用于稍后由载具的处理***进行处理。由雷达***捕获的信息可以是环境数据。
在另一个示例中，激光测距仪可被配置为发射将被载具附近的目标对象反射的电磁信号(例如，红外光，诸如来自气体或二极管激光器或其它可能的光源的红外光)。激光测距仪能够捕获反射的电磁(例如，激光)信号。捕获的反射电磁信号可以使测距***(或处理***)能够确定到各种对象的范围。激光测距仪还可以能够确定目标对象的速度或速率并将其存储为环境数据。
另外，在示例中，麦克风可被配置为捕获载具周围环境的音频。由麦克风捕获的声音可包括紧急载具警报和其它载具的声音。例如，麦克风可以捕获救护车、消防车或警车的警报器的声音。处理***能够识别所捕获的音频信号指示紧急载具。在另一示例中，麦克风可以捕获另一载具的排气的声音，诸如来自摩托车的排气的声音。处理***能够识别所捕获的音频信号指示摩托车。由麦克风捕获的数据可以形成环境数据的一部分。
在又一示例中，无线电单元可被配置为发射可以采取蓝牙信号、802.11信号和/或其它无线电技术信号的形式的电磁信号。第一电磁辐射信号可以经由位于无线电单元中的一个或多个天线来发射。此外，第一电磁辐射信号可以用许多不同的无线电信令模式中的一种来发射。然而，在一些实施例中，希望用请求来自位于自主载具附近的设备的响应的信令模式发射第一电磁辐射信号。处理***能够基于传送回无线电单元的响应来检测附近的设备，并使用该传送的信息作为环境数据的一部分。
在一些实施例中，处理***能够组合来自各种传感器的信息，以便对载具的环境作出进一步的确定。例如，处理***可以组合来自雷达信息和捕获图像两者的数据以确定另一载具或行人是否在自主载具的前方。在其它实施例中，处理***可以使用传感器数据的其它组合来作出关于环境的确定。
当以自主模式操作时，载具可以在几乎没有人工输入的情况下控制其操作。例如，人类操作者可以将地址输入到载具中，并且载具然后能够在没有来自人类的进一步输入的情况下(例如，人类不必操控或触摸制动/油门踏板)行驶到指定目的地。此外，当载具正在自主操作时，传感器***可正在接收环境数据。载具的处理***可以基于从各种传感器接收的环境数据来改变载具的控制。在一些示例中，载具可以响应于来自各种传感器的环境数据来改变载具的速度。载具可以改变速度以便避开障碍物，遵守交通法规等。当载具中的处理***识别载具附近的对象时，载具能够改变速度，或者以另一种方式改变运动。
当载具检测到对象但在对象的检测中置信度不高时，载具可请求人类操作者(或更强大的计算机)执行一个或多个远程辅助任务，诸如：(i)确认对象实际上是否存在于环境中(例如，实际上是否存在停止标志或实际上是否不存在停止标志)；(ii)确认载具对对象的识别是否正确；(iii)如果识别不正确，则校正该识别；和/或(iv)为自主载具提供补充指令(或修改当前指令)。远程辅助任务还可包括人类操作者提供指令以控制载具的操作(例如，如果人类操作者确定对象是停止标志，则指示载具停止在停止标志处)，尽管在一些情形中，载具本身可以基于人类操作者的与对象的识别相关的反馈来控制其自身的操作。
为了促进这一点，载具可以分析表示环境的对象的环境数据，以确定检测置信度低于阈值的至少一个对象。载具中的处理器可被配置为基于来自各种传感器的环境数据来检测环境的各种对象。例如，在一个实施例中，处理器可被配置为检测对于载具进行识别可能重要的对象。此类对象可包括行人、路标、其它载具、其它载具上的指示器信号、以及在所捕获的环境数据中检测到的其它各种对象。
检测置信度可以指示所确定的对象在环境中被正确识别或存在于环境中的可能性。例如，处理器可以对接收到的环境数据中的图像数据内的对象执行对象检测，并且基于无法识别检测置信度高于阈值的对象来确定至少一个对象具有低于阈值的检测置信度。如果对对象执行的对象检测或对象识别的结果是不确定的，则检测置信度可以是低的或低于设定的阈值。
载具可以取决于环境数据的来源以各种方式检测环境的对象。在一些实施例中，环境数据可以来自相机并且可以是图像或视频数据。在其它实施例中，环境数据可以来自lidar单元。载具可以分析捕获的图像或视频数据以识别图像或视频数据中的对象。方法和装置可被配置为针对环境的对象的存在来监视图像和/或视频数据。在其它实施例中，环境数据可以是雷达、音频或其它数据。载具可被配置为基于雷达、音频或其它数据来识别环境的对象。
在一些实施例中，载具用来检测对象的技术可以基于一组已知数据。例如，与环境对象相关的数据可以存储到位于载具中的存储器。载具可以将接收到的数据与存储的数据进行比较以确定对象。在其它实施例中，载具可被配置为基于数据的上下文来确定对象。例如，与建筑相关的路标通常可具有橙色。因此，载具可被配置为检测橙色的且作为与建筑相关的路标位于道路侧附近的对象。另外，当载具的处理***在所捕获的数据中检测对象时，它还可以计算每个对象的置信度。
此外，载具还可具有置信度阈值。置信度阈值可以取决于正在被检测的对象的类型而变化。例如，对于可能需要来自载具的快速响应动作的对象，诸如另一载具上的刹车灯，置信度阈值可以更低。然而，在其它实施例中，置信度阈值对于所有检测到的对象可以是相同的。当与检测到的对象相关联的置信度大于置信度阈值时，载具可以假定该对象被正确地识别并且基于该假定而响应地调整载具的控制。
当与检测到的对象相关联的置信度小于置信度阈值时，载具采取的动作可以改变。在一些实施例中，尽管置信度水平低，但载具可作出反应，好像检测到的对象存在。在其它实施例中，载具可以作出反应，好像检测到的对象不存在。
当载具检测到环境的对象时，其还可以计算与特定检测到的对象相关联的置信度。可以依据实施例以各种方式计算置信度。在一个示例中，当检测环境的对象时，载具可以将环境数据与关于已知对象的预定数据进行比较。环境数据与预定数据之间的匹配越近，置信度越高。在其它实施例中，载具可以使用环境数据的数学分析来确定与对象相关联的置信度。
响应于确定对象具有低于阈值的检测置信度，载具可以向远程计算***传送对识别对象的远程辅助的请求。如上所述，远程计算***可以采用各种形式。例如，远程计算***可以是与载具分离的在载具内的计算设备，但是人类操作者可以在与载具的乘客或驾驶员交互时与该计算设备交互，诸如用于显示远程辅助信息的触摸屏界面。附加地或可替代地，作为另一示例，远程计算***可以是位于不在载具附近的位置处的远程计算机终端或其它设备。
对远程辅助的请求可包括包含对象的环境数据，诸如图像数据、音频数据等。载具可以通过网络(例如，网络304)并且在一些实施例中经由服务器(例如，服务器计算***306)将环境数据传送到远程计算***。远程计算***的人类操作者进而可以使用环境数据作为对请求作出响应的基础。
在一些实施例中，当对象被检测为具有低于置信度阈值的置信度时，可以给予对象初步识别，并且载具可被配置为响应于初步识别来调整载具的操作。这种操作调整可以采取以下形式：停止载具、将载具切换到人控模式、改变载具的速度(例如，速率和/或方向)、以及其它可能的调整。
在其它实施例中，即使载具检测到置信度满足或超过阈值的对象，载具也可以根据检测到的对象来操作(例如，如果对象以高置信度被识别为停止标志，则载具停止)，但是载具可被配置为在载具根据检测到的对象操作的同时(或在其稍后的时间)请求远程辅助。
图4是根据示例实施例的方法400的流程图。图4所示的方法400呈现了可用于诸如参考图1-3示出和描述的载具100和200的任何载具和/或载具的***或部件的方法的实施例。例如，本文描述的过程可以由与计算机***112、传感器融合算法138和/或计算机视觉***140通信的安装到自主载具(例如，载具100或200)的雷达单元126、lidar单元128、其它基于范围的传感器或相机130来执行。
方法400可包括如框402-406中的一个或多个所示的一个或多个操作、功能或动作。尽管这些框是按顺序示出的，但是在一些情况下，这些框可以并行地和/或以与本文描述的那些顺序不同的顺序来执行。而且，可以基于期望的实施方式而将各种框组合为较少的框，划分为额外的框，和/或移除。
另外，对于方法400以及本文公开的其它过程和方法，该流程图示出了本实施例中的一个可能的实施方式的功能和操作。在这点上，每个框可表示模块、段、制造或操作过程的一部分、或程序代码的一部分，其包括可由处理器执行以用于实现过程中的特定逻辑功能或步骤的一个或多个指令。程序代码可以存储在任何类型的计算机可读介质上，例如诸如包括盘或硬盘驱动器的存储设备。计算机可读介质可包括非瞬态计算机可读介质，例如，诸如像寄存器存储器、处理器高速缓存和随机存取存储器(RAM)的在短时间段内存储数据的计算机可读介质。计算机可读介质还可包括非瞬态介质，诸如二级或持久长期存储装置，例如像只读存储器(ROM)、光盘或磁盘、光盘只读存储器(CD-ROM)。计算机可读介质还可以是任何其它易失性或非易失性存储***。计算机可读介质可以被认为是例如计算机可读存储介质或有形存储设备。
附加地或可替代地，对于方法400以及本文公开的其它过程和方法，该流程图中的一个或多个框可以表示被连线以执行过程中的特定逻辑功能的电路。
在一些示例中，对于方法400以及本文公开的其它过程和方法，该流程图中描述的功能可以由单个载具(例如，载具100或200)执行，分布在多个载具之间，由远程服务器/外部计算来执行和/或由一个或多个外部计算***与一个或多个载具的组合来执行，以及其它可能性。
在框400处，方法400可包括使用耦合到载具的传感器收集关于载具的环境内的一个或多个对象的数据。载具可包括被配置为从载具周围的环境收集数据或信息(例如，传感器数据)的一个或多个传感器。例如，载具可以利用各种类型的传感器来捕获并获取载具的环境内的信息。传感器可被配置为提供与环境有关的不同形式或类型的信息。具体而言，载具可以使用传感器***来检测并收集关于载具周围的环境中的对象的信息。传感器***的传感器可以使用地面真值校准目标进行校准。
在一个实施例中，载具可以配备有相机以捕获并收集关于载具周围的环境中的对象的各种信息。例如，相机可以捕获环境中的对象(例如，建筑物、墙壁、特征、交通信号、路标、地标、静止对象、验证或校准目标等)的图像或一系列图像。相机可以附接到载具的不同位置，以相对于载具从不同点或朝向捕获图像。相机可以连接在网络中，并且可以通过有线或无线连接链接到载具的其它相机或***。载具的计算设备可以实时地从相机接收图像或视频。计算设备可以处理图像以获得与环境中的对象相关的信息，如下面进一步描述的。
载具还可被配置为使用诸如图2所示的lidar单元204的lidar单元来捕获并收集关于载具周围的环境的信息。例如，lidar单元可以通过用激光器照射对象并分析反射光来向载具的计算设备提供指示载具与环境中的其它对象之间的距离的信息。lidar单元可以使用紫外光、可见光或近红外光来检测载具的环境内的对象。在从lidar单元接收信息时，载具的计算设备可产生环境的3D点云，其可包括指示载具与环境内的各种对象(诸如其它载具、建筑物、标志、树、车道标记或其它对象)之间的距离的信息。3D点云还可包括指示载具周围的环境中的对象的大小、速率和/或位置的信息。
此外，载具可被配置为使用雷达单元捕获并收集关于环境的信息。例如，雷达单元可以通过使用发射和接收无线电波来实现对载具的环境内的对象的检测。具体而言，雷达单元可以向载具的计算设备提供指示环境内的对象的范围、高度、行进方向和速率的信息。例如，由雷达***接收的反射无线电波可以识别附近载具或对象(例如，其它载具、建筑物、标志、树、车道标记或其它对象)的位置和/或速率。也可以通过使用雷达和lidar单元来提供其它信息。
另外，载具还可被配置为使用全球定位***(GPS)捕获并收集关于载具或其它对象相对于全球坐标系的位置的信息。GPS可用于向载具的计算设备提供指示载具相对于交叉路口、道路、建筑物或环境内的其它关注点的位置的信息。GPS也可用于提供关于附近对象的信息。
在一个实施方式中，载具可以利用一个或多个传感器(例如，相机、lidar单元、雷达单元和/或GPS)来捕获并收集关于载具的环境内的地区或区域的信息。例如，当载具静止或导航通过环境时，载具的传感器可以捕获并获取与环境中的对象(诸如墙壁、建筑物、校准目标、验证目标或环境的其它特征)相关联的信息。载具可被配置为定期地(例如，每天、每周等)获取与对象相关联的信息。在捕获关于环境中的对象的信息之前，载具的传感器可能已经在预定时间段内使用地面真值校准目标进行了校准。
在框404处，方法400可包括基于所收集的数据从一个或多个对象中识别至少一个候选对象以用作用于耦合到载具队伍内的载具的其它传感器的代理校准目标。如上所述，载具可被配置为使用一个或多个传感器(例如，lidar单元、雷达单元、相机等)从载具周围的环境捕获并收集数据或信息(例如，传感器数据)。可以在捕获关于环境的信息之前使用地面真值校准目标来校准载具的一个或多个传感器。
载具可包括计算设备，该计算设备被配置为从一个或多个传感器接收关于环境的信息(例如，传感器数据)并且评估该信息以检测环境中的对象。具体而言，载具的计算设备可被配置为基于对象的特性而从环境中的检测到的对象中识别一个或多个候选对象以用作代理校准目标，如下面进一步描述的。在一个实施方式中，载具的计算设备可以接收关于由载具队伍内的另一载具的传感器捕获的一个或多个对象的信息。
载具的计算设备可被配置为基于来自载具的传感器的信息(例如，传感器数据)而产生或构建环境的三维(3D)表示，其可以指示载具、对象与环境内的其它元素之间的各种测量和距离。具体而言，3D表示内的数据点可被组织在3D坐标系中，该3D坐标系可以由x、y和z坐标定义。在一些情况下，数据点可以表示其它维度，诸如二维或一维。3D表示可以作为3D点云由计算设备产生，该3D点云表示在环境中检测到的一个或多个对象的表面上的大量数据点。
载具的计算设备可以使用对象检测算法/模块或其它计算过程来分析3D点云(作为数据点或作为确定的3D表面)以感知环境中的特征，从而识别点云中存在的对象。为了确定对象是否存在于3D点云中，对象检测软件和/或模块可以分析3D点云以检测并识别由传感器捕获的环境中的对象。例如，载具的计算设备可以将点云的数据点的布置与匹配对象、环境特征和/或对象或特征的类别的模式(pattern)相关联。由点云表示的对象可以是例如载具(例如，小汽车)、建筑物、墙壁、障碍物(例如，树)、行人、路标、交通灯或其它对象或元素。
一旦从点云的数据点检测到对象，载具的计算设备可以确定与检测到的对象相对应的各种信息。例如，计算设备可以分析3D点云内的数据点，以检测与环境内的对象相关联的区别特性、参数和/或特征。对象的特性、参数和/或特征可以包括但不限于反射光强度、定位、位置、朝向、距离、高度、尺寸、颜色、材料、纹理和/或其它特性或参数。例如，计算设备可被配置为基于点云数据来确定范围信息，诸如对应于环境内的对象相对于载具的距离。类似地，计算设备还可以确定环境内的对象之间的相对距离或与距离有关的其它参数。在一些示例中，计算设备可以识别具有已知反射率的目标(例如，校准和/或验证目标)。此外，计算设备可以分析范围数据以确定关于环境内的对象的强度信息。在一些情况下，范围信息的多个数据点可以变化，这可能是由于环境内对象的复杂性或材料而引起的。
载具的计算设备还可被配置为基于点云数据来确定载具周围的环境中的对象的位置。例如，计算设备可以根据由GPS或其它传感器提供的信息使用相对于载具的位置的不同坐标系来确定对象的位置。另外，载具的计算设备可被配置为使用从相机捕获的图像来对环境中的对象进行姿势估计。例如，计算设备可以利用各种图像来确定环境中的特定对象相对于载具的位置或朝向。
此外，载具的计算设备可被配置为确定点云的数据点被捕获的一天中的特定时间(例如，早上、下午或晚上)。例如，点云的每个数据点可以与时间戳相关联。计算设备还可以确定在捕获点云的数据点时发生的一个或多个环境条件(例如，太阳的角度、温度、湿度、风速、可见性/雾的存在、背景噪声水平等)。环境条件可能影响载具的一个或多个传感器的分辨率、信号质量和/或其它扫描特性。
在对象已经基于3D点云的数据点进行了检测和/或识别之后，载具的计算设备可以将对象识别或分类为候选对象，以用作用于校准其它载具的传感器的代理校准目标。例如，可以使用各种标准来分析和/或评估与对象相关联的信息，以确定与对象相关联的一个或多个特征或参数(例如，质量度量)，诸如候选对象的反射率信息、位置信息、颜色信息、一天中的时间、太阳角度、日期或时间标签、对比度水平、饱和度水平和/或模糊水平。如果与对象相关联的特征或参数中的一个或多个的质量满足或符合质量标准或特定阈值，则计算设备可以将一个或多个对象分类或识别为候选对象，以用作用于校准其它载具的传感器的代理校准目标，如下面进一步描述的。在一些实施例中，例如，最近校准的载具可识别或选择朗伯或接近朗伯的对象以用作代理校准目标。此外，计算设备可以识别具有已知反射率的校准或验证目标。因此，载具的计算设备可被配置为基于一个或多个候选对象的特性而从环境中的对象中识别一个或多个候选对象以用作代理校准目标。
在框406处，方法400包括由载具提供关于代理校准目标的数据以供载具队伍内的一个或多个载具使用。一旦载具的计算设备已经从环境中的检测到的对象中识别出一个或多个候选对象(例如，静止对象、墙壁、建筑物、地标、地理特征、校准或验证目标等)，则载具可被配置为向远程设备(例如，远程/代理服务器或载具队伍中的另一载具)发送或提供与一个或多个候选对象相关联的信息。一个或多个候选对象可以用作用于校准队伍中的其它载具的传感器的代理校准目标。在一些示例中，校准和/或验证目标可以由队伍中的其它载具验证。
与候选对象相关联的信息可包括由该载具或载具队伍内的另一载具的一个或多个传感器对环境中的一个或多个候选对象的一个或多个扫描。该信息还可包括一个或多个候选对象的特性(例如，反射光强度、定位、位置、朝向、距离、高度、尺寸、形状、颜色、材料、纹理和/或其它特性或参数等)。此外，与候选对象相关联的信息还可包括指示候选对象何时由载具表征或捕获的时间标签。时间标签可用于确定关于候选对象的信息何时可能变得陈旧/不可靠并且候选对象应不再用作代理校准目标(例如，至少直到关于目标的信息被另一最近校准的载具重新验证)。例如，在预定的持续时间之后或在雨、雪或其它天气条件之后，用作代理校准目标的候选对象的表面可能已经被改变，使得其反射率可能已经改变并且可能不再准确地表示由最近校准的载具先前捕获的候选对象的状况。结果，候选对象可能不再可用作代理校准目标。
此外，与用作代理校准目标的候选对象相关联的信息(例如，标签中的一个)可提供相对于候选对象的地理围栏区域。当需要检查校准的载具在地理围栏区域内时，载具可尝试使用载具的传感器捕获环境中的候选对象。与候选对象相关联的信息还可包括使用载具的传感器从其可观察到候选对象的朝向(例如，偏航朝向)。朝向可以由最近校准的载具或远程设备(例如，远程/代理服务器)来确定。
远程设备(例如，远程/代理服务器)可被配置为从载具接收与一个或多个候选对象相关联的信息。然后，远程设备可以向另一载具或第二载具发送或提供与一个或多个候选对象相关联的信息，以用作代理校准目标。可替代地，该另一载具或第二载具可以直接从该载具接收与一个或多个校准对象相关联的信息。
一旦该另一载具或第二载具可以接收与用作代理校准目标的一个或多个候选对象相关联的信息，则该另一载具可以使用一个或多个候选对象来校准、对准、修理、测试、验证和/或核查该另一载具的一个或多个传感器的性能。例如，与一个或多个候选对象相关联的信息可包括一个或多个候选对象的位置。该另一载具可使用一个或多个候选对象的位置以在一个或多个候选对象的位置附近或距离一个或多个候选对象的位置的阈值距离内导航。当该另一载具确定(例如，使用GPS等)其位于到一个或多个候选对象的适当范围或距离内时，该另一载具可以使其传感器中的一个或多个捕获并收集与环境中的一个或多个候选对象相关联的信息。在一些情况下，阈值距离可以基于该另一载具的传感器的扫描范围配置。
该另一载具还可被配置为朝向包括一个或多个候选对象的视场(FOV)调整其传感器中的一个(例如，lidar单元)的观看方向。例如，如图7所示，载具700可以调整其FOV以捕获并收集关于环境中的对象702的信息。此外，一个或多个候选对象可仅从环境内的不同数量的视角观察到。照此，与一个或多个候选对象(例如，标签中的一个)相关联的信息可通知队伍中的载具相对于代理校准目标的地理围栏区域的位置。例如，如图8所示，可以识别地理围栏区域800以捕获关于环境中的对象802的信息。当需要检查校准的载具在地理围栏区域内时，载具可捕获关于环境中的候选对象的信息以用于在校准传感器中使用。
在该另一载具使用载具的传感器捕获与环境中的一个或多个候选对象相关联的信息之后，该另一载具的计算设备然后可以将从远程设备(即，远程服务器或队伍中的另一载具)接收的与一个或多个候选对象相关联的信息与由该另一载具捕获的与一个或多个候选对象相关联的信息进行比较。该另一载具随后可以使用该比较来校准、对准、修理、测试、验证和/或核查其传感器中的一个或多个的性能，如下面进一步描述的。在一些示例中，该另一载具可以验证对象，诸如具有已知反射率的校准和/或验证目标。
图5是根据示例实施例的方法500的流程图。图5所示的方法500呈现了可用于诸如参考图1-3示出和描述的载具100和200的任何载具和/或载具的***或部件的方法的实施例。方法500可包括如框502-504中的一个或多个所示的一个或多个操作、功能或动作。尽管这些框是按顺序示出的，但是在一些情况下，这些框可以并行地和/或以与本文描述的那些顺序不同的顺序来执行。而且，可以基于期望的实施方式而将各种框组合为较少的框，划分为额外的框，和/或移除。
在框502处，方法500包括由代理校准目标服务器接收关于环境内的候选对象的数据。如上所述，载具可以从在环境中所检测的对象中识别一个或多个候选对象。一个或多个候选对象可被载具队伍用作用于执行传感器校准的代理校准目标。例如，一旦载具已经识别出用作代理校准目标的一个或多个候选对象(例如，静止对象、建筑物、地标、地理特征、校准或验证目标等)，则载具可以将与候选对象相关联的信息发送到远程设备(例如，代理校准目标服务器)。
远程设备可以接收并存储从载具接收到的与一个或多个候选对象相关联的信息。该信息可包括由该载具或载具队伍内的另一载具的一个或多个传感器对环境中检测到的一个或多个候选对象的一个或多个扫描。该信息还可包括如上所述的一个或多个候选对象的特性(例如，反射光强度、定位、位置、朝向、距离、高度、尺寸、形状、颜色、材料、纹理和/或其它特性或参数等)。
在框504处，方法500包括由代理校准目标服务器向载具队伍内的一个或多个载具提供关于候选对象的数据。远程设备(例如，代理校准目标服务器)可以存储与被识别用作代理校准目标的一个或多个候选对象相关联的信息。在从载具接收到校准消息时，远程设备可被配置为向载具发送或提供与一个或多个候选对象相关联的信息，以用作代理校准目标。该信息可包括由载具的一个或多个传感器对环境中的检测到的对象(例如，静止对象、建筑物、地标、地理特征等)中的一个或多个候选对象的一个或多个扫描。该信息还可包括与一个或多个候选对象相关联的特性(例如，反射光强度、定位、位置、朝向、距离、高度、尺寸、形状、颜色、材料、纹理和/或其它特性或参数等)。
一旦该载具接收与用作代理校准目标的一个或多个候选对象相关联的信息，该载具可以使用代理校准目标来校准、对准、修理、测试、验证和/或核查该载具的一个或多个传感器的性能。例如，载具可以获得一个或多个候选对象的位置，并在一个或多个候选对象的位置附近导航载具。当载具确定(例如，使用GPS等)其位于到一个或多个候选对象的适当范围或距离内时，载具可以使其传感器中的一个或多个捕获并收集与环境中的一个或多个候选对象相关联的信息。
在载具捕获与环境中的一个或多个候选对象相关联的信息之后，载具的计算设备然后可以将从远程设备(即，远程服务器或队伍中的另一载具)接收的代理校准目标与由载具的传感器捕获的一个或多个候选对象进行比较。该载具随后可以使用该比较来校准、对准、修理、测试、验证和/或核查该载具的一个或多个传感器的性能，如下面进一步描述。
图6是根据示例实施例的方法600的流程图。图6所示的方法600呈现了可用于诸如参考图1-3示出和描述的载具100和200的任何载具和/或载具的***或部件的方法的实施例。方法600可包括如框602-604中的一个或多个所示的一个或多个操作、功能或动作。尽管这些框是按顺序示出，但是在一些情况下，这些框可以并行地和/或以与本文描述的那些顺序不同的顺序来执行。而且，可以基于期望的实施方式而将各种框组合为较少的框，划分为额外的框，和/或移除。
在框602处，方法600可包括由载具队伍内的第一载具接收关于代理校准目标的数据。远程设备(例如，代理/远程服务器或载具队伍中的另一载具)可被配置为存储与一个或多个候选对象相关联的信息，以用作与载具的传感器的校准有关的代理校准目标。与一个或多个候选对象相关联的信息可能已经由载具的一个或多个传感器在特定时间段内捕获并且被识别为候选对象以用作代理校准目标。载具的传感器可能已经使用地面真值校准目标进行了校准。
载具可以确定载具的一个或多个传感器可能需要校准并从远程设备请求代理校准目标。例如，载具的计算设备可以基于确定自从一个或多个传感器已被校准以来经过了预定时间量而从远程设备请求代理校准目标。在另一示例中，计算设备可以基于对传感器的扫描特性中的缺陷(诸如扫描范围的改变、误差容限或传感器的其它扫描特性)的确定而从远程设备请求代理校准目标。计算设备还可以基于确定在环境中识别的对象的位置不与地图数据中给出的位置精确匹配而从远程设备请求代理校准目标。此外，计算设备可基于传感器而从远程设备请求代理校准目标，该传感器在目标的扫描中展示出与目标的一个或多个其它扫描(例如，由同一传感器在不同时间，或由一个或多个其它传感器在相同时间或在不同时间)相比出乎意料的或不同的扫描特性。
响应于确定载具的一个或多个传感器可能需要校准，载具可以向远程设备(例如，代理/远程服务器或队伍中的另一载具)传送(例如，经由通信***)校准消息。校准消息可以请求远程设备向载具发送代理校准目标。在远程设备接收到校准消息之后，远程设备可以发送并且载具可以接收与用作代理校准目标的一个或多个候选对象相关联的信息。
代理校准目标可以对应于环境中的一个或多个候选对象(例如，静止对象、墙壁、建筑物、特征等)。代理校准目标还可以包括指示代理校准目标的一个或多个特性(例如，颜色、材料、形状等)的信息。例如，该信息可包括代理校准目标在环境中的位置。此外，该信息可包括代理校准目标和位置的列表。
在框604处，方法600可包括使用关于代理校准目标的信息或数据来校准第一传感器。载具可以从远程设备(例如，远程服务器)接收代理校准目标，并且使用所接收的代理校准目标来校准、对准、修理、测试、验证和/或核查载具的一个或多个传感器的性能。例如，载具可以基于从远程设备接收的信息来确定与代理校准目标相关联的环境中的候选对象的位置。如上所述，载具可以在候选对象附近导航并且使用一个或多个传感器来捕获并收集与候选对象相关联的信息。
在载具捕获与候选对象相关联的信息之后，载具的计算设备然后可以将由载具捕获的与候选对象相关联的信息与从远程设备(例如，代理/远程服务器)接收的与代理校准目标相关联的信息进行比较。载具随后可以使用该比较来校准、对准、修理、测试、验证和/或核查载具的一个或多个传感器的性能。
在一个实施方式中，载具的计算设备可以使用该比较来确定传感器是否正在提供不准确的信息。例如，如果由载具的传感器提供的候选对象(例如，特性)的信息与由远程设备提供的代理校准目标的信息的比较相差至少阈值量，则载具可以识别载具的传感器以用于校准或进一步测试，防止载具将传感器用于环境的后续扫描，更新用于解释来自传感器的传感器数据的校准信息(例如，校准系数)，将来自传感器的传感器测量与各种环境条件(例如，光条件、天气条件、温度、背景噪声水平、一天中的时间等)相关联，和/或将该传感器与载具中的其它传感器对准，以及其它可能性。载具还可被配置为确定该差异是由于目标本身的变化(例如，目标被移动或损坏)而引起或由于影响lidar测量的环境条件的变化(例如，大雨、雾等)而引起，而不是由于载具的校准而引起。
当传感器未被正确校准时，载具的计算设备可以基于比较而提供指令以调整与传感器相关联的一个或多个参数，诸如调整传感器的强度和朝向，以便校准传感器。例如，载具的计算设备可以调整lidar单元的强度。计算设备还可以基于比较而提供指令以调整传感器的聚焦方向。例如，载具可以调整载具的雷达单元或相机的聚焦方向。此外，载具可以调整校准参数，以用于修改从相机接收到的图像像素数据或者用于修改相机的曝光时间或其它操作参数以解决相机传感器的扫描特性(例如，颜色数据)的变化。
由于载具的传感器可能定期地需要校准以保持准确性和正确的功能，因此当载具在代理校准目标附近行驶时，上述方法和装置可以在各种时间重复，以确保传感器持续遵守特定规范和/或特定误差容差。载具可以利用出现在载具的环境中的对象来校准传感器，而不是为校准目的而设计的指定目标。例如，载具可被配置为通过将从远程设备接收到的对应于环境中的对象的代理校准目标与由载具的传感器捕获的关于对象的信息进行比较来校准各种传感器。
本公开不限于本申请中描述的特定实施例，这些特定实施例旨在说明各个方面。在不背离其精神和范围的情况下，可以进行许多修改和变化，如对于本领域的技术人员将是清晰的。除了本文列举的那些方法和装置之外，从前述描述中，本公开的范围内的功能上等同的方法和装置对于本领域的技术人员而言将是清晰的。这些修改和变化旨在落入所附权利要求的范围内。
以上详细描述参考附图描述了所公开的***、设备和方法的各种特征和功能。在附图中，类似的符号通常标识类似的部件，除非上下文另有规定。本文以及图中描述的示例实施例并不意味着是限制性的。在不脱离本文所呈现的主题的范围的情况下，可利用其它实施例，且可作出其它改变。将容易理解的是，如本文大体上描述的且在图中示出的本公开的各方面可以以多种不同的配置进行布置、替代、组合、分离以及设计，在本文中明确地预期了所有这些配置。
关于图中的且如本文所讨论的任何或所有消息流图、场景和流程图，每个步骤、块、操作和/或通信均可以表示根据示例实施例的信息的处理和/或信息的传输。可替代实施例包括在这些示例实施例的范围内。在这些可替代实施例中，例如，被描述为步骤、块、传输、通信、请求、响应和/或消息的操作可以以与所示或所讨论的顺序不同的顺序执行，包括基本上同时或以相反的顺序执行，这取决于所涉及的功能。此外，更多或更少的块和/或操作可以与本文讨论的任何消息流图、场景和流程图一起使用，并且这些消息流图、场景和流程图可以部分地或整体地彼此组合。
表示信息处理的步骤、块或操作可以对应于可被配置为执行本文所述方法或技术的特定逻辑功能的电路。可替代地或附加地，表示信息处理的步骤或块可以对应于模块、段或程序代码(包括相关数据)的一部分。程序代码可包括可由处理器执行以用于实现该方法或技术中的特定逻辑操作或动作的一个或多个指令。程序代码和/或相关数据可以存储在任何类型的计算机可读介质上，诸如存储设备，其包括RAM、盘驱动器、固态驱动器或另外的存储介质。
此外，表示一个或多个信息传输的步骤、块或操作可以对应于同一物理设备中的软件和/或硬件模块之间的信息传输。然而，其它信息传输可以在不同物理设备中的软件模块和/或硬件模块之间。
图中所示的特定布置不应被视为限制性的。应当理解，其它实施例可包括更多或更少的在给定图中所示的每种元件。此外，所示元件中的一些可以组合或省略。更进一步，示例实施例可包括图中未示出的元件。
虽然本文已经公开了各种方面和实施例，但是其它方面和实施例对于本领域的技术人员而言是清晰的。本文所公开的各种方面和实施例是出于说明的目的而非旨在为限制性的，其中真实范围由所附权利要求指示。

Claims (24)

1.一种方法，包括：
使用耦合到载具的传感器收集关于所述载具的环境内的一个或多个对象的数据，其中，所述传感器已经使用地面真值校准目标进行了校准；
基于收集的数据，从所述一个或多个对象中识别至少一个候选对象以用作用于耦合到载具队伍内的载具的其它传感器的代理校准目标；以及
由所述载具提供关于所述候选对象的数据以供所述载具队伍内的一个或多个载具使用。
2.根据权利要求1所述的方法，其中，由所述载具提供关于所述候选对象的数据以供所述载具队伍内的一个或多个载具使用包括：由所述载具将关于所述候选对象的数据传送到代理校准目标服务器以供所述载具队伍使用。
3.根据权利要求1所述的方法，其中，由所述载具提供关于所述候选对象的数据以供所述载具队伍内的一个或多个载具使用包括：由所述载具将关于所述候选对象的数据传送到所述载具队伍内的至少一个载具。
4.根据权利要求1所述的方法，其中，在从收集关于所述载具的环境内的一个或多个对象的数据开始的阈值时间段内，使用所述地面真值校准目标来校准所述传感器。
5.根据权利要求4所述的方法，还包括：
确定使用所述地面真值校准目标校准所述传感器所处的时间与当前时间之间的时间差；
将所述时间差与阈值进行比较；以及
基于所述比较来确定所述传感器可用于识别将用作代理校准目标的候选对象。
6.根据权利要求1所述的方法，其中，所述传感器包括光检测和测距LIDAR传感器、雷达传感器或相机。
7.根据权利要求6所述的方法，其中，所述载具被配置为以自主模式操作，并且其中，所述载具队伍包括被配置为以自主模式操作的载具。
8.根据权利要求1所述的方法，其中，关于所述候选对象的数据包括所述候选对象的颜色。
9.根据权利要求1所述的方法，其中，关于所述候选对象的数据包括所述候选对象的反射率。
10.根据权利要求1所述的方法，其中，关于所述候选对象的数据包括指定其内可观察到所述候选对象的地理区域的数据。
11.根据权利要求1所述的方法，其中，关于所述候选对象的数据包括指示表征所述候选对象所处的时间的时间戳。
12.根据权利要求1所述的方法，其中，关于所述候选对象的数据包括所述候选对象的三维模型。
13.根据权利要求1所述的方法，其中，所述候选对象包括建筑物的墙壁、广告牌、交通信号、路标、金属杆、路面、校准目标或验证目标。
14.根据权利要求1所述的方法，其中，所述候选对象具有朗伯反射率或接近朗伯反射率。
15.根据权利要求1所述的方法，还包括：
从耦合到所述载具队伍内的另一载具的另一传感器接收关于所述一个或多个对象的数据；以及
将接收的数据与收集的数据进行比较，其中，所述至少一个候选对象是基于所述比较来识别的。
16.一种方法，包括：
由耦合到载具队伍内的第一载具的第一传感器接收关于代理校准目标的数据，其中，所述代理校准目标已经：
使用耦合到所述载具队伍内的第二载具的第二传感器进行了表征，其中，所述第二传感器已经使用地面真值校准目标进行了校准；以及
由所述第二传感器从一个或多个对象中识别作为用于代理校准的候选目标；以及
使用关于所述代理校准目标的数据来校准所述第一传感器。
17.根据权利要求16所述的方法，
其中，关于所述代理校准目标的数据包括其内可观察到所述代理校准目标的地理区域的边界，
其中，所述方法还包括改变所述第一载具的导航路线，并且
其中，改变的导航路线穿过所述边界。
18.根据权利要求16所述的方法，其中，关于所述代理校准目标的数据由所述第二载具传送到所述第一载具。
19.根据权利要求16所述的方法，
其中，关于所述代理校准目标的数据由所述第二载具上传到代理校准目标服务器，以供所述载具队伍使用，并且
其中，接收关于所述代理校准目标的数据包括：由所述第一载具从所述代理校准目标服务器下载关于所述代理校准目标的数据。
20.根据权利要求16所述的方法，还包括：由所述第一传感器基于自所述第一传感器的先前校准起的时间量来确定要执行代理校准。
21.一种方法，包括：
由代理校准目标服务器接收关于环境内的候选对象的数据，
其中，关于所述候选对象的数据可由载具队伍使用以执行代理校准，
其中，关于所述候选对象的数据已经由耦合到所述载具队伍内的第一载具的第一传感器确定，
其中，所述第一传感器已经使用地面真值校准目标进行了校准，并且
其中，所述候选对象已经由所述第一传感器从一个或多个对象中识别以用作代理校准目标；以及
由所述代理校准目标服务器向所述载具队伍内的一个或多个载具提供关于所述候选对象的数据。
22.根据权利要求21所述的方法，
其中，关于所述候选对象的数据包括指示所述候选对象由第一传感器表征所处的时间的时间戳，并且
其中，所述方法还包括：
由所述代理校准目标服务器确定当前时间与所述候选对象由所述第一传感器表征所处的时间之间的时间差；
将所述时间差与阈值进行比较；以及
基于所述比较，修改所述代理校准目标服务器中的关于所述候选对象的数据或从所述代理校准目标服务器移除关于所述候选对象的数据。
23.根据权利要求21所述的方法，
其中，关于所述候选对象的数据包括指示所述候选对象的地理位置的地理位置标签，并且
其中，所述方法还包括：
由所述代理校准目标服务器监视所述候选对象的地理位置处的天气状况；以及
基于所述天气状况，修改所述代理校准目标服务器中的关于所述候选对象的数据或从所述代理校准目标服务器移除关于所述候选对象的数据。
24.根据权利要求21所述的方法，其中，关于所述候选对象的数据包括指示哪些类型的传感器能够使用所述候选对象进行校准的一个或多个标签。
CN202080091463.7A 2019-12-30 2020-12-23 用于载具队伍的代理校准目标的识别 Pending CN114902305A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962955300P 2019-12-30 2019-12-30
US62/955,300 2019-12-30
PCT/US2020/066860 WO2021138202A1 (en) 2019-12-30 2020-12-23 Identification of proxy calibration targets for a fleet of vehicles

Publications (1)

Publication Number Publication Date
CN114902305A true CN114902305A (zh) 2022-08-12

Family

ID=76545900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080091463.7A Pending CN114902305A (zh) 2019-12-30 2020-12-23 用于载具队伍的代理校准目标的识别

Country Status (5)

Country Link
US (3) US11634153B2 (zh)
EP (1) EP4085442A4 (zh)
CN (1) CN114902305A (zh)
IL (1) IL294243A (zh)
WO (1) WO2021138202A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4085442A4 (en) 2019-12-30 2024-01-17 Waymo LLC IDENTIFYING PROXY CALIBRATION TARGETS FOR A VEHICLE FLEET
US11995920B2 (en) * 2020-10-23 2024-05-28 Argo AI, LLC Enhanced sensor health and regression testing for vehicles
JP7380542B2 (ja) * 2020-12-23 2023-11-15 トヨタ自動車株式会社 自動運転システム、及び異常判定方法
US11809190B2 (en) * 2021-04-30 2023-11-07 Zoox, Inc. Methods and systems to assess vehicle capabilities
US20230166758A1 (en) * 2021-11-30 2023-06-01 Gm Cruise Holdings Llc Sensor calibration during transport
US11814067B2 (en) * 2021-12-14 2023-11-14 Gm Cruise Holdings Llc Periodically mapping calibration scene for calibrating autonomous vehicle sensors
CN114882461B (zh) * 2022-05-25 2023-09-29 阿波罗智能技术(北京)有限公司 设备环境识别方法、装置、电子设备和自动驾驶车辆

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017189361A1 (en) * 2016-04-29 2017-11-02 Pcms Holdings, Inc. System and method for calibration of vehicle sensors assisted by inter-vehicle communication
CN109154647A (zh) * 2016-05-11 2019-01-04 三星电子株式会社 距离传感器及由包括距离传感器的设备和***执行的校准方法
CN109839132A (zh) * 2017-11-29 2019-06-04 德尔福技术有限责任公司 自动车辆传感器校准***
CN110228431A (zh) * 2018-03-06 2019-09-13 罗伯特·博世有限公司 用于校准车辆的传感器的方法和设备
CN110514785A (zh) * 2019-07-31 2019-11-29 北京佳华智联科技有限公司 传感器数据在线校准方法、装置、电子设备及存储介质

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6505105B2 (en) 2001-01-05 2003-01-07 Delphi Technologies, Inc. Electronic control unit calibration
US8918302B2 (en) 2008-09-19 2014-12-23 Caterpillar Inc. Machine sensor calibration system
US20100235129A1 (en) 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
CA2806852C (en) 2010-08-03 2018-09-04 Fori Automation, Inc. Sensor system and method for use with an automated guided vehicle (agv)
US8775064B2 (en) 2011-05-10 2014-07-08 GM Global Technology Operations LLC Sensor alignment process and tools for active safety vehicle applications
GB201116961D0 (en) 2011-09-30 2011-11-16 Bae Systems Plc Fast calibration for lidars
US20170328729A1 (en) 2012-08-14 2017-11-16 Google Inc. System To Optimize Sensor Parameters In An Autonomous Vehicle
WO2014068302A1 (en) 2012-11-05 2014-05-08 The Chancellor Masters And Scholars Of The University Of Oxford Extrinsic calibration of imaging sensing devices and 2d lidars mounted on transportable apparatus
US9844318B2 (en) * 2013-03-26 2017-12-19 Novartis Ag Devices, systems, and methods for calibrating an OCT imaging system in a laser surgical system
US9841839B2 (en) 2013-10-07 2017-12-12 Tactual Labs Co. System for measuring latency on a touch device
DE102013225563A1 (de) 2013-12-11 2015-06-11 Robert Bosch Gmbh Verfahren zur Überwachung eines Sensors eines Fahrzeugs
US10612939B2 (en) 2014-01-02 2020-04-07 Microsoft Technology Licensing, Llc Ground truth estimation for autonomous navigation
EP3127403B8 (en) 2014-04-04 2019-04-10 Signify Holding B.V. System and methods to support autonomous vehicles via environmental perception and sensor calibration and verification
DE102014210147A1 (de) 2014-05-27 2015-12-03 Continental Teves Ag & Co. Ohg Fahrzeugsteuersystem für eine autonome Führung eines Fahrzeugs
US9933515B2 (en) 2014-12-09 2018-04-03 Toyota Motor Engineering & Manufacturing North America, Inc. Sensor calibration for autonomous vehicles
KR20160082309A (ko) * 2014-12-30 2016-07-08 현대모비스 주식회사 레이저스캐너를 이용한 레이더센서의 차량 추적위치 보정 시스템 및 방법
US20160210775A1 (en) 2015-01-21 2016-07-21 Ford Global Technologies, Llc Virtual sensor testbed
US9916703B2 (en) * 2015-11-04 2018-03-13 Zoox, Inc. Calibration for autonomous vehicle operation
US10042055B2 (en) * 2016-04-20 2018-08-07 Here Global B.V. Traffic volume estimation
CN106254461B (zh) 2016-08-06 2019-04-05 中国科学院合肥物质科学研究院 一种智能车辆感知能力测试平台的数据同步方法
TWI625051B (zh) 2017-03-21 2018-05-21 奇景光電股份有限公司 深度感測裝置
US10521977B2 (en) 2017-03-27 2019-12-31 GM Global Technology Operations LLC Methods and systems for integrated vehicle sensor calibration and maintenance
US10481044B2 (en) * 2017-05-18 2019-11-19 TuSimple Perception simulation for improved autonomous vehicle control
DE102017006260A1 (de) 2017-07-01 2018-01-04 Daimler Ag Verfahren zum Bestimmen von Detektionseigenschaften wenigstens eines Umgebungssensors in einem Fahrzeug und Fahrzeug, eingerichtet zur Durchführung eines solchen Verfahrens
US10746858B2 (en) * 2017-08-17 2020-08-18 Uatc, Llc Calibration for an autonomous vehicle LIDAR module
DE102017215552A1 (de) * 2017-09-05 2019-03-07 Robert Bosch Gmbh Plausibilisierung der Objekterkennung für Fahrassistenzsysteme
US10771776B2 (en) * 2017-09-12 2020-09-08 Sony Corporation Apparatus and method for generating a camera model for an imaging system
US10481600B2 (en) 2017-09-15 2019-11-19 GM Global Technology Operations LLC Systems and methods for collaboration between autonomous vehicles
US10430970B2 (en) 2017-12-04 2019-10-01 GM Global Technology Operations LLC Detection and recalibration for a camera system using lidar data
US11435456B2 (en) * 2017-12-28 2022-09-06 Lyft, Inc. Sensor calibration facility
US11415683B2 (en) 2017-12-28 2022-08-16 Lyft, Inc. Mobile sensor calibration
FI128841B (en) 2018-03-22 2021-01-15 Univ Helsinki Sensor calibration
US10468062B1 (en) * 2018-04-03 2019-11-05 Zoox, Inc. Detecting errors in sensor data
US11222527B2 (en) * 2019-08-16 2022-01-11 Here Global B.V. Method, apparatus, and system for vehicle map data update
EP4085442A4 (en) 2019-12-30 2024-01-17 Waymo LLC IDENTIFYING PROXY CALIBRATION TARGETS FOR A VEHICLE FLEET

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017189361A1 (en) * 2016-04-29 2017-11-02 Pcms Holdings, Inc. System and method for calibration of vehicle sensors assisted by inter-vehicle communication
CN109154647A (zh) * 2016-05-11 2019-01-04 三星电子株式会社 距离传感器及由包括距离传感器的设备和***执行的校准方法
CN109839132A (zh) * 2017-11-29 2019-06-04 德尔福技术有限责任公司 自动车辆传感器校准***
CN110228431A (zh) * 2018-03-06 2019-09-13 罗伯特·博世有限公司 用于校准车辆的传感器的方法和设备
CN110514785A (zh) * 2019-07-31 2019-11-29 北京佳华智联科技有限公司 传感器数据在线校准方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20230234611A1 (en) 2023-07-27
US20210197854A1 (en) 2021-07-01
US11945467B2 (en) 2024-04-02
US11634153B2 (en) 2023-04-25
IL294243A (en) 2022-08-01
US20240182065A1 (en) 2024-06-06
EP4085442A4 (en) 2024-01-17
WO2021138202A1 (en) 2021-07-08
EP4085442A1 (en) 2022-11-09

Similar Documents

Publication Publication Date Title
US11945467B2 (en) Identification of proxy calibration targets for a fleet of vehicles
US9043072B1 (en) Methods and systems for correcting an estimated heading using a map
US9063548B1 (en) Use of previous detections for lane marker detection
US11653108B2 (en) Adjustable vertical field of view
US11594037B1 (en) Vehicle sensor calibration and verification
CN113795728A (zh) 确定与光探测和测距(lidar)设备相关的放弃处理的策略的方法和***
US20220244395A1 (en) Calibration and Localization of a Light Detection and Ranging (Lidar) Device Using a Previously Calibrated and Localized Lidar Device
US20240106987A1 (en) Multi-Sensor Assembly with Improved Backward View of a Vehicle
US11993288B2 (en) Automated cut-in identification and classification
EP4390448A1 (en) Differential methods for environment estimation, lidar impairment detection, and filtering
US11959774B1 (en) Extrinsic calibration of sensors mounted on a vehicle
US20220163675A1 (en) Methods of Using Background Images from a Light Detection and Ranging (LIDAR) Device
US20230184910A1 (en) Lower Power Linearization of Lidar Signals
US20240085693A1 (en) Replaceable, Heated, and Wipeable Apertures for Optical Systems
US20230194676A1 (en) Two-Step Return Calibration for Lidar Cross-Talk Mitigation
US20230408651A1 (en) Spinning Lidar With One or More Secondary Mirrors
US20230194677A1 (en) Multi-Chip Daisychain for Output Aggregation
US20240071093A1 (en) Time-Division Multiple Access Scanning for Crosstalk Mitigation in Light Detection and Ranging (Lidar) Devices
US20230358868A1 (en) Mitigating Crosstalk from High-Intensity Returns in a Light Detection and Ranging (Lidar) Device
US20240205054A1 (en) Low-Speed Ring with Controlled Jitter
CN117274944A (zh) 使用机器学习的道路对象的联合检测和分组

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination