CN112363492A - 用于操作自动驾驶车辆的计算机实施的方法以及数据处理*** - Google Patents

用于操作自动驾驶车辆的计算机实施的方法以及数据处理*** Download PDF

Info

Publication number
CN112363492A
CN112363492A CN202010149500.7A CN202010149500A CN112363492A CN 112363492 A CN112363492 A CN 112363492A CN 202010149500 A CN202010149500 A CN 202010149500A CN 112363492 A CN112363492 A CN 112363492A
Authority
CN
China
Prior art keywords
obstacle
moving
movement
status
adv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010149500.7A
Other languages
English (en)
Inventor
陶佳鸣
蒋一飞
张雅嘉
胡江滔
潘嘉诚
周金运
孙宏艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of CN112363492A publication Critical patent/CN112363492A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/408—Traffic behavior, e.g. swarm
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Analytical Chemistry (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种用于操作自动驾驶车辆(ADV)的计算机实施的方法。方法包括：基于从安装在ADV上的各种传感器获得的传感器数据来感知ADV周围的驾驶环境，包括检测一个或多个移动障碍物；基于感知过程来确定和跟踪检测到的障碍物的障碍物状态，其中可以在与障碍物关联的障碍物状态缓冲器中维持障碍物的障碍物状态；当通过传感器检测到第一移动障碍物被对象阻挡时，基于第一移动障碍物的先前的障碍物状态来预测在视野中的第一移动障碍物被对象阻挡时第一移动障碍物的进一步移动；以及通过考虑在第一移动障碍物在盲区中时的第一移动障碍物的预测移动，为ADV规划轨迹。

Description

用于操作自动驾驶车辆的计算机实施的方法以及数据处理 ***
技术领域
本公开的实施方式总体涉及操作自动驾驶车辆。更具体地，本公开的实施方式涉及用于自动驾驶车辆的规划和控制的盲区处理。
背景技术
以自动驾驶模式运行(例如，无人驾驶)的车辆可以将乘员、尤其是驾驶员从一些驾驶相关的职责中解放出来。当以自动驾驶模式运行时，车辆可以使用车载传感器导航到各个位置，从而允许车辆在最少人机交互的情况下或在没有任何乘客的一些情况下行驶。
移动规划和控制是自动驾驶的关键操作。然而，传统的移动规划操作主要根据其曲率和速度来估计完成给定路径的难度，而没有考虑不同类型车辆的特征差异。相同的移动规划和控制应用于所有类型的车辆，但这在某些情况下可能不准确且不平稳。
自动驾驶车辆(ADV)使用车载传感器来感知车辆的周围。在某些情况下，这样的感知可能会受到限制或阻碍。例如，传感器可能被诸如建筑物、墙壁或其他对象等的静态障碍物所阻挡。类似地，诸如卡车、车辆或其他移动对象等的动态障碍物可能阻挡传感器。阻挡可能会导致ADV的“盲区”，这可能产生问题。例如，ADV可能忽略盲区，或将该区域视为没有值得关注的移动对象，而这可能是错误的。然而，移动的对象，诸如另一车辆、行人、骑自行车的人等可能在盲区中，并且ADV应相应地做出反应，例如，通过改变路径、向左或向右转向或改变速度来做出反应。因此，提供一种处理盲区问题的ADV解决方案是有益的。这可以进一步提高自动驾驶的安全性。
发明内容
本公开的实施方式提供用于操作自动驾驶车辆的计算机实施的方法、非暂时性机器可读介质以及数据处理***。
在本公开的一方面，用于操作自动驾驶车辆(ADV)的计算机实施的方法包括：基于从多个传感器获得的传感器数据来感知所述ADV周围的驾驶环境，包括检测一个或多个移动障碍物；确定和跟踪所述一个或多个移动障碍物在预定时间段内的障碍物状态；基于从所述多个传感器获得的其他传感器数据，确定所述一个或多个移动障碍物中的第一移动障碍物被对象阻挡；基于与所述第一移动障碍物关联的先前的障碍物状态，预测在所述第一移动障碍物被所述对象阻挡时所述第一移动障碍物的移动；以及通过考虑所述第一移动障碍物的经预测的移动来规划所述ADV的轨迹，以使所述ADV行驶为避免与所述第一移动障碍物碰撞。
在本公开的另一方面，非暂时性机器可读介质存储有指令，所述指令在由处理器执行时致使所述处理器执行以下操作：基于从多个传感器获得的传感器数据来感知自动驾驶车辆ADV周围的驾驶环境，包括检测一个或多个移动障碍物；确定和跟踪所述一个或多个移动障碍物在预定时间段内的障碍物状态；基于从所述多个传感器获得的其他传感器数据，确定所述一个或多个移动障碍物中的第一移动障碍物被对象阻挡；基于与所述第一移动障碍物关联的先前的障碍物状态，预测在所述第一移动障碍物被所述对象阻挡时所述第一移动障碍物的移动；以及通过考虑所述第一移动障碍物的经预测的移动来规划所述ADV的轨迹，以使所述ADV行驶为避免与所述第一移动障碍物碰撞。
在本公开的又一方面，数据处理***包括：处理器；以及存储器，所述存储器联接到所述处理器且存储指令，所述指令在由所述处理器执行时致使所述处理器执行以下操作：基于从多个传感器获得的传感器数据来感知自动驾驶车辆ADV周围的驾驶环境，包括检测一个或多个移动障碍物；确定和跟踪所述一个或多个移动障碍物在预定时间段内的障碍物状态；基于从所述多个传感器获得的其他传感器数据，确定所述一个或多个移动障碍物中的第一移动障碍物被对象阻挡；基于与所述第一移动障碍物关联的先前的障碍物状态，预测在所述第一移动障碍物被所述对象阻挡时所述第一移动障碍物的移动；以及通过考虑所述第一移动障碍物的经预测的移动来规划所述ADV的轨迹，以使所述ADV行驶为避免与所述第一移动障碍物碰撞。
附图说明
本公开的实施方式在附图的各图中以举例而非限制的方式示出，附图中的相同参考数字指示相似元件。
图1A和图1B示出了根据一个实施方式的盲区处理。
图2示出了根据一个实施方式的盲区处理。
图3示出了根据一个实施方式的具有动态障碍物的盲区处理。
图4示出了根据一个实施方式的用于自动驾驶的包括处理盲区的过程。
图5是示出根据一个实施方式的盲区处理模块的示例的框图。
图6是示出根据一个实施方式的自动驾驶车辆的框图。
图7是示出根据一个实施方式的自动驾驶车辆的示例的框图。
图8是示出根据一个实施方式的与自动驾驶车辆一起使用的感知与规划***的示例的框图。
图9是示出根据一个实施方式的用于跟踪对象的移动的对象跟踪***的示例的框图。
具体实施方式
将参考以下所讨论的细节来描述本公开的各种实施方式和方面，附图将示出所述各种实施方式。下列描述和附图是对本公开的说明，而不应当解释为限制本公开。描述了许多特定细节以提供对本公开各种实施方式的全面理解。然而，在某些情况下，并未描述众所周知的或常规的细节以提供对本公开的实施方式的简洁讨论。
本说明书中对“一个实施方式”或“实施方式”的提及意味着结合该实施方式所描述的特定特征、结构或特性可以包括在本公开的至少一个实施方式中。短语“在一个实施方式中”在本说明书中各个地方的出现不必全部指同一实施方式。
根据一些实施方式，过程计算机实现的用于在“盲区”情况下操作自动驾驶车辆(ADV)的过程包括：基于由ADV的传感器生成的传感器信息来检测第一对象和第二对象。可以确定第二对象的移动信息，诸如但不限于第二对象的方向、速度、加速度或轨迹。当确定第二对象被第一对象阻挡在盲区中时，过程可以基于在第二对象被阻挡之前确定的第二对象的移动信息来估计第二对象在盲区中的位置。
具体地说，当静态或动态障碍物阻挡ADV的传感器感知另一个值得关注的对象(例如，行人、骑自行车的人、汽车等)时，可能会出现盲区。过程可以包括基于由一个或多个传感器生成的第一组传感器信息来检测第一对象(例如，阻挡对象)和第二对象(例如，在盲区中的阻挡对象)。同样，基于第一组传感器信息，过程可以确定第二对象的方向、速度、加速度、轨迹和/或其他移动信息。换言之，在第一组传感器信息中，第一对象和第二对象都被“感知到”。
基于第二组传感器信息(在比第一组晚的时间感测到的)，过程可以确定一个或多个传感器到第二对象的视线被第一对象阻挡在盲区中。作为响应，过程可以基于由基于第一组传感器信息确定的第二对象的方向、速度、加速度、轨迹和/或其他过去的移动信息来估计第二对象在盲区中的位置。位置(或定位)可以由坐标限定，诸如纬度和经度坐标；x和y；x、y和z；或其他描述对象位置的坐标，诸如在二维(2D)或三维(3D)地图上。在生成第二组传感器信息之前的一个或多个时间帧或时间段生成第一组传感器信息。过去的移动信息可以基于在多个时间段上收集的传感器信息来确定，并且不限于紧接阻挡第二对象之前的时间段。
换言之，当第二对象被认为被第一对象遮挡时，可以基于第二对象的历史移动信息来确定第二对象的位置，第二对象的历史移动信息可以包括过去的方向/行进、过去的速度、过去的加速度和过去的轨迹的任何组合。第一对象(阻挡对象)可以位于ADV(及其传感器)和第二对象(被阻挡对象)之间，阻碍ADV传感器感测到第二对象。
ADV可以基于第二对象在盲区中的估计位置来修改或确定ADV的目标位置、路径、速度、方向或转向角度。这可以提高在盲区情况下的自动驾驶安全性。应当理解，当与被阻挡对象在盲区中的位置有关时，“估计”可以与“确定”和“计算”可交换地使用。类似地，对于在盲区中的对象，“方向”与“行进”可交换地使用。
根据一个实施方式，基于从安装在ADV上的各种传感器获得的传感器数据来感知ADV周围的驾驶环境，包括检测一个或多个障碍物。基于感知过程来确定和跟踪检测到的障碍物的障碍物状态，其中可以将障碍物的障碍物状态保持在与障碍物关联的障碍物状态缓冲器中。当传感器检测到第一移动障碍物被对象阻挡时(例如，由于对象而导致的第一移动障碍物的盲区)，则基于第一移动障碍物的先前的障碍物状态(例如，第一移动障碍物的移动历史)来预测在第一移动障碍物在视野中被对象阻挡时，第一移动障碍物的进一步移动。通过考虑在第一移动障碍物在盲区中时第一移动障碍物的预测移动，为ADV规划了轨迹。
在一个实施方式中，对于通过感知检测到的每个移动障碍物，分配障碍物缓冲器以特定地存储相应障碍物的障碍物状态。障碍物状态可以包括在特定时间点的障碍物的位置、速度或行进方向的一个或多个。可以利用障碍物的障碍物状态来重建障碍物已行进的先前轨迹或路径。可以基于重建的轨迹或路径来预测障碍物的进一步移动。另外，还可以考虑从远程服务器获取的地图信息、交通规则和/或实时交通信息，基于移动障碍物的障碍物状态来推断车道和/或交通流量(例如，交通拥堵)的车道配置。
图1A示出了向北行驶的ADV 108。在时间t0，对象104(例如，车辆)向东行驶，直接朝向盲区106。对象102可以是静态的(例如，建筑物、树木、灌木丛或墙壁)或动态的(例如，卡车或汽车)，阻挡ADV的一个或多个传感器感知盲区106。ADV的传感器可以是传感器技术的不同组合，例如，如关于图6、图7和图8的传感器***615所描述的。ADV108可以感知、监视和跟踪障碍物104，并且可以在与障碍物104关联的障碍物缓冲器中保持障碍物104的障碍物状态(例如，位置、速度、行进方向)。
在图1B中，ADV的传感器不再感测到对象104，因为它可能已经移动到盲区内。基于对象的历史移动数据，可以估计对象的一个或多个位置114。对象的历史移动数据可以基于来自时间t0的传感器信息和/或其他过去的传感器信息(例如t-1、t-2等)，以在对象“消失”在盲区中之前，生成平均移动数据(例如，平均速度)、确定加速/减速模式，和/或确定对象(例如，在对象为车辆的情况下)的转向模式。
可以基于对象的历史移动数据(例如，在时间t0处的行进)来确定对象104在盲区中的轨迹110。附加地或可替代地，可以基于地图信息(例如，基于对象104所处的盲区中的行驶车道的曲率和定向)来确定轨迹。图1A和图1B中所示的示例将轨迹显示为笔直的。在车辆104被阻挡之前，ADV 108会感知到车辆104将沿着轨迹笔直移动。此外，ADV可以利用地图数据和车辆104的先前移动来确定车辆104所处的车道是笔直通过盲区的，这进一步指示了车辆的轨迹在盲区中应该是笔直的。可以基于车辆104在预定时间段的先前障碍物/车辆状态(由ADV 108保持)来导出车辆104的先前移动。
可以沿着轨迹110计算被阻挡对象的一个或多个位置114。例如，在t1处，可以估计车辆104的第一位置。此外，在时间t2处，可以估计车辆104的第二位置。可以基于采集第一组传感器信息的时间(例如，t0)沿着轨迹计算位置。例如，可以基于速度、时间和初始位置沿着轨迹确定对象104的估计位置。因此，可以基于在时间t0处的位置s0和对象的速度v来确定在时间t1处的对象的位置s1，s1＝s0+v*(t1-t0)。应当理解，这是一个简化的示例，因为阻挡对象的盲区确定可以基于各种因素，如在其他部分中所讨论的。可以实现其他算法。
图2示出了本公开的各个方面。在该示例中，可以由ADV 208在一个或多个时间t0和t-1处感测对象204(例如，车辆)。可以基于感测到的信息来确定对象的移动信息。可以基于移动数据来预测或确定对象在盲区206中的轨迹210。轨迹210可以遵循对象的先前确定的弧度或转向图案(例如，基于诸如在时间t0和t-1处的转向角度和在转向角度上的变化的感测数据)而成弧度。可以例如基于对象204的移动历史确定对象204的一个或多个估计位置207。例如，在时间t1和t2处的位置可以基于过去的移动历史，诸如但不限于在一个或多个时间t0和t-1处的对象的速度、位置和/或加速度。可以沿着对象的预测轨迹210确定估计位置。
可以基于地图信息和交通规则进一步估计对象204的位置。例如，如果ADV具有描述了感测到对象204正在行进的道路的曲率和定向的地图信息，则盲区处理器可以基于地图提供的已知道路几何结构和/或对象在进入盲区206之前的行进和转向信息来确定对象的轨迹。
诸如交叉路口、停车标志、交通灯和/或其他交通控制对象214等的交通提示可以由ADV感知或以电子方式提供为数字地图信息。盲区处理器可以使用这些提示以及已知的交通规则以在盲区中“减速”对象或“停止”对象。例如，如果已知在盲区中存在停止标志，则对象204可以被“停止”，并且位置估计算法可以将减速和/或停止作为因素计入计算中。类似地，如果ADV检测到交通灯214是黄色或红色，则BAP算法可以使车辆减速或停止。
在一个实施方式中，ADV可以忽略值得关注区域212之外的盲区和对象。可以基于与ADV的目标路径213(这可以基于ADV的目的地和地图信息来确定)的接近度来定义值得关注区域。例如，如果诸如车辆、行人或自行车的移动对象217被建筑物216阻挡，则盲区处理器和ADV可忽略该移动对象，而不计算其在盲区中的位置。因为对象217的位置与ADV及其当前路径无关，所以ADV不必对该对象做出反应。这可以减少开销并提高计算效率。
在本公开中所描述的用于预测或估计车辆的位置的各方面(例如，基于先前的移动历史、地图信息、预测的轨迹、交通规则等)也涉及其他对象，诸如在盲区中被阻挡的骑自行车的人和行人。例如，如在图3中所示，ADV 308可以以参考图1和图2描述的相同方式估计被对象302阻挡的在盲区中的骑自行车的人和行人(310、306)的位置(311、307)。另外，图3示出阻挡对象可以是动态(移动)对象，诸如汽车或卡车。涉及静态阻挡对象(诸如建筑物)描述的各方面也适用于动态阻挡对象，反之亦然。
在一个实施方式中，基于对象的分类进一步确定对象在盲区中的位置。例如，第二对象可以通过机器学习算法(例如，训练过的神经网络)被识别为骑自行车的人、行人或汽车。可以基于识别出的分类应用不同交通规则和行为，以确定对象的位置。可以基于从驾驶环境的采集图像(即，由摄像机采集的图像、由LIDAR设备采集的点云)提取出的一组特征，使用神经网络预测模型来执行对象分类。
例如，行人可能因为“禁行”交通灯而减速，与汽车或骑自行车的人无关。用于确定位置的速度也可以特定于分类，例如，可以将2.5至8mph的速度范围应用于在盲区中的行人，在该区域中，骑自行车的人或汽车可以具有明显地更高的速度。与汽车相比，骑自行车的人更可能将其路径从在路上骑行改为在人行道上骑行。
此外，对象或障碍物可以被分类为紧急车辆，诸如消防车、警车、救护车或其他紧急车辆。ADV的传感器(例如，一个或多个麦克风和/或摄像机)可以感测车辆是否装有警报器，这可以作为车辆是否可能减速或在红灯前停下的因素。例如，如果警车、消防车或救护车打开了紧急警报器，它可能会在红灯前减速，但行驶经过红灯。ADV可以相应地修改其控制(例如，停下和/或停到人行道上)。
图4示出了根据一个实施方式的用于处置自动驾驶的盲区的过程400。过程400可以由处理逻辑来执行，该处理逻辑可以包括软件、硬件或其组合。例如，过程400可以由ADV的规划模块(诸如图8的规划模块805)执行，这将在下面进一步详细描述。参考图4，在块401处，处理逻辑基于从ADV的各种传感器获得的传感器数据来感知ADV周围的驾驶环境，包括检测一个或多个移动障碍物。在块402处，确定并跟踪每个移动障碍物的障碍物状态(例如，位置、速度和行进方向)，障碍物状态可以在存储器或永久性存储设备中维持一段时间。在块403处，处理逻辑基于另外的传感器数据确定第一移动障碍物被另一对象阻挡。作为响应，在块404处，处理逻辑基于第一移动障碍物的先前跟踪障碍物状态来预测第一移动障碍物被对象阻挡时第一移动障碍物的进一步移动。在块405处，通过考虑第一移动障碍物的预测移动来规划ADV的轨迹，(例如)以使ADV行驶为避免与第一移动障碍物碰撞。
在一个实施方式中，可以为在盲区中的单个被阻挡对象确定多个可能的移动。例如，如果对象成弧度，一种可能的轨迹是继续弧度。另一个可能的轨迹是对象变成直线。另外，在盲区中可能存在道路叉。类似地，可以为同一对象确定多个可能的速度。例如，如果在进入盲区之前确定车辆正在减速，则可以基于该减速估计不同位置和时间处的车速。其他因素，诸如交通标志、交叉路口、交通灯、其他车辆等，也可以纳入估计过程。
ADV可以根据多种可能性做出反应，例如，针对单个对象的不同可能速度、轨迹和位置，确定控制以提供安全性优化驾驶。附加地或可替代地，盲区处理器可以确定最可能的场景，或根据可能性对不同的可能场景进行排序。一方面，可以实施机器学习算法(例如，训练过的神经网络)以选择优化的驾驶控制，并且对不同场景的可能性进行排序或选择(确定被阻挡对象的可能轨迹、速度、位置)。可以基于各种因素(例如，交通标志、交通灯、其他感测到的对象、交通规则和地图信息等)的重要性排序，采用其他基于启发式的算法。
图5是示出根据一个实施方式的自动驾驶***架构的框图。路由器502和地图504被提供给地图服务器506，地图服务器506可以确定ADV到达目的地的路径。可以将路径提供给预测模块514和规划模块516，盲区处理器518可以集成到规划模块516。路径也可以提供给车辆控制模块520。
感知模块向预测模块514提供感知信息(例如，通过处理来自传感器的数据)，该信息包括在ADV的环境中感知到哪些对象以及这些对象如何移动，所述预测模块可以预测感知到的对象的未来移动。感知模块可以将感知到的信息提供给规划模块(和盲区处理器)。因此，感知模块可以处理传感器数据以识别阻挡对象和移动到盲区中的第二对象，以及在移动到盲区之前的第二对象的方向、速度、加速度和/或轨迹。如在本公开中所描述的，该信息可以被提供给盲区处理器以确定第二对象在盲区中的位置。类似地，例如，可以利用预测模块514基于分类、交通规则、地图信息、交通灯和标志等来预测盲区中的对象如何表现。这些模块在下面进一步详细描述。
图6是示出根据本公开的一个实施方式的自动驾驶车辆的框图。ADV 600可以表示上述的任何ADV。参考图6，自动驾驶车辆601可以通过网络通信地联接到一个或多个服务器，该网络可以是任何类型的网络，诸如局域网(LAN)、广域网(WAN)(诸如互联网)、蜂窝网络、卫星网络或其组合，该网络是有线的或无线的。服务器可以是任何类型的服务器或服务器集群，诸如Web或云服务器、应用程序服务器、后端服务器或其组合。服务器可以是数据分析服务器、内容服务器、交通信息服务器、地图和兴趣点(MPOI)服务器或位置服务器等。
自动驾驶车辆是指可以被配置成处于自动驾驶模式下的车辆，在所述自动驾驶模式下车辆在极少或没有来自驾驶员的输入的情况下导航通过环境。这种自动驾驶车辆可以包括传感器***，所述传感器***具有被配置成检测与车辆运行环境有关的信息的一个或多个传感器。所述车辆和其相关联的控制器使用所检测的信息来导航通过所述环境。自动驾驶车辆601可以在手动模式下、在全自动驾驶模式下或者在部分自动驾驶模式下运行。
在一个实施方式中，自动驾驶车辆601包括，但不限于，感知与规划***610、车辆控制***611、无线通信***612、用户接口***613和传感器***615。自动驾驶车辆601还可以包括普通车辆中包括的某些常用组件，诸如：发动机、车轮、方向盘、变速器等，所述组件可以由车辆控制***611和/或感知与规划***610使用各种通信信号和/或命令进行控制，该各种通信信号和/或命令例如，加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等。
组件610至615可以经由互连件、总线、网络或其组合彼此通信地联接到彼此。例如，组件610至615可以经由控制器局域网(CAN)总线通信地联接到彼此。CAN总线是被设计成允许微控制器和设备在没有主机的应用中与彼此通信的车辆总线标准。它是最初是为汽车内的复用电气布线设计的基于消息的协议，但也用于许多其它环境。
现在参考图7，在一个实施方式中，传感器***615包括但不限于一个或多个摄像机711、全球定位***(GPS)单元712、惯性测量单元(IMU)713、雷达单元714以及光检测和测距(LIDAR)单元715。GPS***712可以包括收发器，所述收发器可操作以提供关于自动驾驶车辆的位置的信息。IMU单元713可以基于惯性加速度来感测自动驾驶车辆的位置和定向变化。雷达单元714可以表示利用无线电信号来感测自动驾驶车辆的本地环境内的对象的***。在一些实施方式中，除感测对象之外，雷达单元714可以另外感测对象的速度和/或行进方向。LIDAR单元715可以使用激光来感测自动驾驶车辆所处环境中的对象。除其它***组件之外，LIDAR单元715还可以包括一个或多个激光源、激光扫描仪以及一个或多个检测器。摄像机711可以包括用来采集自动驾驶车辆周围环境的图像的一个或多个设备。摄像机711可以是静态摄像机和/或视频摄像机。摄像机可以是可机械地移动的，例如，通过将摄像机安装在旋转和/或倾斜平台上。
传感器***615还可以包括其他传感器，诸如：声纳传感器、红外传感器、转向传感器、油门传感器、制动传感器以及音频传感器(例如，麦克风)。音频传感器可以配置为从自动驾驶车辆周围的环境中采集声音。转向传感器可以配置为感测方向盘、车辆的车轮或其组合的转向角度。油门传感器和制动传感器分别感测车辆的油门位置和制动位置。在一些情形下，油门传感器和制动传感器可以集成为集成式油门/制动传感器。
例如，可以使用各种传感器来确定进入盲区之前的对象的移动信息。然后，可以推测移动信息以确定在盲区中对象的移动信息(例如，行进、速度、加速度、位置)。
在一个实施方式中，车辆控制***611包括但不限于转向单元701、油门单元702(也被称为加速单元)和制动单元703。转向单元701用来调整车辆的方向或行进方向。油门单元702用来控制电动机或发动机的速度，进而控制车辆的速度和加速度。制动单元703通过提供摩擦使车辆的车轮或轮胎减速而使车辆减速。应注意，在图7中所示的组件可以以硬件、软件或其组合实现。
回到图6，无线通信***612允许自动驾驶车辆601与诸如设备、传感器、其它车辆等外部***之间的通信。例如，无线通信***612可以与一个或多个设备直接无线通信，或者经由通信网络进行无线通信。无线通信***612可以使用任何蜂窝通信网络或无线局域网(WLAN)，例如，使用WiFi，以与另一组件或***通信。无线通信***612可以例如使用红外链路、蓝牙等与设备(例如，乘客的移动设备、显示设备、车辆601内的扬声器)直接通信。用户接口***613可以是在车辆601内实现的***设备的部分，包括例如键盘、触摸屏显示设备、麦克风和扬声器等。
自动驾驶车辆601的功能中的一些或全部可以由感知与规划***610控制或管理，尤其当在自动驾驶模式下操作时。感知与规划***610包括必要的硬件(例如，处理器、存储器、存储设备)和软件(例如，操作***、规划和路线安排程序)，以从传感器***615、控制***611、无线通信***612和/或用户接口***613接收信息，处理所接收的信息，规划从起始点到目的地点的路线或路径，随后基于规划和控制信息来驾驶车辆601。可替代地，感知与规划***610可以与车辆控制***611集成在一起。
例如，作为乘客的用户可以例如经由用户接口来指定行程的起始位置和目的地。感知与规划***610获得行程相关数据。例如，感知与规划***610可以从MPOI服务器中获得位置和路线信息。位置服务器提供位置服务，并且MPOI服务器提供地图服务和某些位置的POI。可替代地，此类位置和MPOI信息可以本地高速缓存在感知与规划***610的永久性存储设备中。
当自动驾驶车辆601沿着路线移动时，感知与规划***610也可以从交通信息***或服务器(TIS)获得实时交通信息。应注意，服务器可以由第三方实体进行操作。可替代地，服务器的功能可以与感知与规划***610集成在一起。基于实时交通信息、MPOI信息和位置信息以及由传感器***615检测或感测的实时本地环境数据(例如，障碍物、对象、附近车辆)，感知与规划***610可以规划最佳路线并且根据所规划的路线例如经由控制***611来驾驶车辆601，以安全且高效到达指定目的地。
图8是示出根据一个实施方式的与自动驾驶车辆一起使用的感知与规划***的示例的框图。***800可以被实现为图6的自动驾驶车辆601的一部分，包括但不限于感知与规划***610、控制***611和传感器***615。参考图8，感知与规划***610包括但不限于定位模块801、感知模块802、预测模块803、决策模块804、规划模块805、控制模块806、路由模块807、对象跟踪模块808和盲区处理器820。
模块801至808和820中的一些或全部可以以软件、硬件或其组合实现。例如，这些模块可以安装在永久性存储设备852中、加载到存储器851中，并且由一个或多个处理器(未示出)执行。应注意，这些模块中的一些或全部可以通信地联接到图7的车辆控制***611的一些或全部模块或者与它们集成在一起。模块801至808和820中的一些可以一起集成为集成模块。
定位模块801确定自动驾驶车辆300的当前位置(例如，利用GPS单元712)，并管理与用户的行程或路线相关的任何数据。定位模块801(也被称为地图与路线模块)管理与用户的行程或路线相关的任何数据。用户可以例如经由用户接口登录并且指定行程的起始位置和目的地。定位模块801与自动驾驶车辆300的诸如地图和路线信息811的其它组件通信，以获得行程相关数据。例如，定位模块801可以从位置服务器和地图与POI(MPOI)服务器获得位置和路线信息。位置服务器提供位置服务，并且MPOI服务器提供地图服务和某些位置的POI，从而可以作为地图和路线信息811的一部分高速缓存。当自动驾驶车辆300沿着路线移动时，定位模块801也可以从交通信息***或服务器获得实时交通信息。
基于由传感器***615提供的传感器数据和由定位模块801获得的定位信息，感知模块802确定对周围环境的感知。感知信息可以表示普通驾驶员在驾驶员正驾驶的车辆周围将感知到的东西。感知可以包括例如采用对象形式的车道配置、交通灯信号、另一车辆的相对位置、行人、建筑物、人行横道或其它交通相关标志(例如，停止标志、让行标志)等。车道配置包括描述一个或多个车道的信息，例如，车道的形状(例如，笔直或弯曲)、车道的宽度、在道路中有多少条车道、单向或双向车道、合并或拆分车道、出口车道等。
感知模块802可以包括计算机视觉***或计算机视觉***的功能，以处理并分析由一个或多个摄像机采集的图像，从而识别自动驾驶车辆环境中的对象和/或特征。所述对象可以包括交通信号、道路边界、其它车辆、行人和/或障碍物等。计算机视觉***可以使用对象识别算法、视频跟踪以及其它计算机视觉技术。在一些实施方式中，计算机视觉***可以绘制环境地图，跟踪对象，以及估算对象的速度等。除了处理来自一个或多个摄像机的图像之外，感知模块802也可以基于由诸如雷达和/或LIDAR的其他传感器提供的传感器数据来检测对象。可以将来自各种传感器的数据进行组合并进行比较，以确认或反驳检测到的对象，以提高对象检测和识别的准确性。
针对每个对象，预测模块803预测对象在这种情况下将如何表现。通过考虑一组地图/路线信息811和交通规则812，基于实时地感知驾驶环境的感知数据来进行预测。例如，如果对象是在相反方向上的车辆并且当前的驾驶环境包括交叉路口，则预测模块803将预测车辆可能向前笔直移动还是转弯。如果感知数据指示交叉路口没有交通灯，则预测模块803可预测车辆可能必须在进入交叉路口之前完全停止。如果感知数据指示车辆当前处于仅左转车道或仅右转车道，则预测模块803可预测车辆将更可能相应地左转或右转。类似地，盲区处理器820可以利用预测模块的算法来预测对象在盲区中如何表现，同时还将对象的最后一次感测到的移动计入考虑因素。
针对每个对象，决策模块804做出关于如何处置对象的决定。例如，针对特定对象(例如，交叉路线中的另一车辆)以及描述对象的元数据(例如，速度、方向、转弯角度)，决策模块804决定如何与所述对象相遇(例如，超车、让行、停止、超过)。决策模块804可以根据诸如交通规则或驾驶规则812的规则集来做出此类决定，所述规则集可以存储在永久性存储设备852中。
路由模块807配置为提供从起始点到目的地点的一条或多条路线或路径。对于例如从用户接收到的从起始位置到目的地位置的给定行程，路由模块807获得路线和地图信息811，并确定从起始位置到目的地位置的所有可能的路线或路径。路由模块807可以为其确定的从起始位置到目的地位置的每条路线生成地形图形式的参考线路。参考线路是指在不受其他车辆、障碍物或交通状况等其他条件干扰的情况下一条理想的路线或路径。换言之，如果在道路上没有其他车辆、行人或障碍物，则ADV应完全或紧密遵循参考线路。然后，地形图被提供给决策模块804和/或规划模块805。决策模块804和/或规划模块805根据其他模块提供的其他数据(诸如来自定位模块801的交通状况、感知模块802感知的驾驶环境以及预测模块803预测的交通状况)，检查所有可能的路线，以选择和修改最佳路线之一。取决于在实时时间点的特定驾驶环境，用于控制ADV的实际路径或路线可能接近或不同于路由模块807提供的参考线路。
基于针对所感知到的对象中的每个的决定，规划模块805使用路由模块807提供的参考线路为基础，为自动驾驶车辆规划路径或路线以及驾驶参数(例如，距离、速度和/或转弯角度)。换言之，针对给定的对象，决策模块804决定对该对象做什么，而规划模块805确定如何去做。例如，针对给定的对象，决策模块804可以决定超过所述对象，而规划模块805可以确定在所述对象的左侧还是右侧超过。规划和控制数据由规划模块805生成，包括描述车辆300在下一移动循环(例如，下一路线/路径段)中将如何移动的信息。例如，规划和控制数据可以指示车辆300以30英里每小时(mph)的速度移动10米，随后以25mph的速度变到右侧车道。
基于规划和控制数据，控制模块806根据由规划和控制数据限定的路线或路径通过将适当的命令或信号发送到车辆控制***611来控制并驾驶自动驾驶车辆。所述规划和控制数据包括足够的信息，以沿着路径或路线在不同的时间点使用适当的车辆设置或驾驶参数(例如，油门、制动和转弯命令)将车辆从路线或路径的第一点驾驶到第二点。
在一个实施方式中，规划阶段以多个规划周期(也被称为驾驶周期)执行，例如，以每100毫秒(ms)的时间间隔执行。对于每个规划周期或驾驶周期，将基于规划和控制数据发出一个或多个控制命令。换言之，对于每100ms，规划模块805规划例如包括目标位置和ADV到达目标位置所需的时间的下一路线段或路径段。可替代地，规划模块805还可以指定特定速度、方向和/或转向角度等。在一个实施方式中，规划模块805规划下一预定时间段(诸如5秒)的路线段或路径段。对于每个规划周期，规划模块805基于在先前周期中规划的目标位置，规划当前周期(例如，接下来的5秒)的目标位置。然后，控制模块806基于当前周期的规划和控制数据来生成一个或多个控制命令(例如，油门、制动、转向控制命令)。
应注意，决策模块804和规划模块805可以集成为集成模块。决策模块804/规划模块805可以包括导航***或导航***的功能，以确定自动驾驶车辆的驾驶路径。例如，导航***可以确定用于实现自动驾驶车辆沿着以下路径移动的一系列速度和前进方向：所述路径在使自动驾驶车辆沿着通往最终目的地的基于车行道的路径前进的同时，基本上避免感知到的障碍物。目的地可以根据经由用户接口***613进行的用户输入来设定。导航***可以在自动驾驶车辆正在运行的同时动态地更新驾驶路径。导航***可以将来自GPS***和一个或多个地图的数据合并，以确定用于自动驾驶车辆的驾驶路径。
根据一个实施方式，对象跟踪模块808配置为跟踪感知模块802检测到的障碍物的移动历史以及ADV的移动历史。对象跟踪模块808可以实现为感知模块802的一部分。障碍物和ADV的移动历史可以被存储在各自的障碍物和车辆状态缓冲器中，被维持在存储器851和/或永久性存储设备852中，以作为驾驶统计813的一部分。对于感知模块802检测到的每个障碍物，确定在预定时间段内的不同时间点上的障碍物状态，并将其维持在与维持在存储器851中的障碍物关联的障碍物状态缓冲器中以进行快速访问。可以进一步刷新障碍物状态并将其存储在永久性存储设备852中，作为驾驶统计813的一部分。维持在存储器851中的障碍物状态可以维持更短的时间段，而存储在永久性存储设备852中的障碍物状态可以维持更长的时间段。类似地，ADV的车辆状态也可以作为驾驶统计813的一部分维持在存储器851和永久性存储设备852中。
图9是示出根据一个实施方式的对象跟踪***的框图。参考图9，对象跟踪模块808包括车辆跟踪模块901和障碍物跟踪模块902，它们可以被实现为集成模块。车辆跟踪模块901配置为至少基于从GPS712接收的GPS信号和/或从IMU 713接收的IMU信号来跟踪ADV的移动。车辆跟踪模块901可以基于GPS/IMU信号执行移动估计，以确定车辆状态，诸如在不同时间点的位置、速度和行进方向。然后，车辆状态被存储在车辆状态缓冲器903中。在一个实施方式中，存储在车辆状态缓冲器903中的车辆状态可以仅包含车辆在具有固定时间增量的不同时间点处的位置。因此，基于在固定增量时间戳处的位置，可以推导速度和行进方向。可替代地，车辆状态可以包括丰富的车辆状态元数据集，包括位置、速度、行进方向、加速度/减速度以及发出的控制命令。
在一个实施方式中，障碍物跟踪模块902配置为基于从各种传感器(例如，摄像机911、LIDAR 915和/或RADAR 914)获得的传感器数据跟踪检测到的障碍物。障碍物跟踪模块902可以包括摄像机对象检测器/跟踪模块和LIDAR对象检测器/跟踪模块，以分别检测和跟踪由图像采集的障碍物和由LIDAR点云采集的障碍物。可以对摄像机和LIDAR对象检测器/跟踪模块提供的输出执行数据融合操作。在一个实施方式中，可以在神经网络预测模型中实施照相机和LIDAR对象检测器/跟踪模块，以预测和跟踪障碍物的移动。然后，将障碍物的障碍物状态存储到障碍物状态缓冲器904中。障碍物状态与如上所述的车辆状态类似或相同。
在一个实施方式中，对于检测到的每个障碍物，分配一个障碍物状态缓冲器以特定地存储相应障碍物的障碍物状态。在一个实施方式中，车辆状态缓冲器和障碍物状态缓冲器中的每一个被实现为循环缓冲器，类似于先进先出(FIFO)缓冲器，以维持与预定时间段关联的预定数据量。存储在障碍物状态缓冲器904中的障碍物状态可以用于预测障碍物的未来移动，从而可以规划ADV的更好的路径以避免与障碍物的碰撞。
例如，在某些情况下，障碍物可能被ADV无法“看见”的另一个对象阻挡。然而，根据障碍物的过去的障碍物状态，可以预测出进一步的移动轨迹，即使如上所述障碍物不在视线范围内。这是很重要的，因为障碍物可能暂时处于盲点，而ADV需要通过考虑障碍物的未来位置来进行规划以避免潜在的碰撞。可替代地，可以基于障碍物的轨迹来确定交通流量或交通拥堵。
根据一个实施方式，由于各种原因，分析模块905可以随后或实时地分析存储在障碍物状态缓冲器904中的障碍物状态和存储在车辆状态缓冲器903中的车辆状态。例如，轨迹重建模块906可以利用障碍物在一段时间内的障碍物状态来重建障碍物在过去移动的轨迹。可以利用一个或多个障碍物在驾驶环境中的重建轨迹，通过创建虚拟车道确定或预测道路的车道配置。车道配置可以包括多个车道、车道宽度、车道形状或曲率，和/或车道中心线。例如，基于多条障碍物流的交通行驶流，可以确定多个车道。另外，通常障碍物或移动对象在车道的中心处移动。因此，通过跟踪障碍物的移动轨迹，可以预测车道中心线。此外，还可以通过观察障碍物宽度加上政府法规所要求的最小间隙空间，根据预测的车道中心线确定车道宽度。当ADV在车道标记不可用或不够清晰的乡村地区行驶时，这样的车道配置预测尤其有用。
根据另一实施方式，如果需要跟随或尾随另一个移动障碍物，则可以基于从相应的障碍物状态缓冲区中检索到的障碍物状态，来重建该障碍物的过去的移动轨迹。然后可以基于要遵循的障碍物的重建轨迹来规划尾随的路径。
应注意，如上文示出和描述的组件中的一些或全部可以在软件、硬件或其组合中实现。例如，此类组件可以实现为安装并存储在永久性存储设备中的软件，所述软件可以通过处理器(未示出)加载在存储器中并在存储器中执行以实施贯穿本申请所述的过程或操作。可替代地，此类组件可以实现为编程或嵌入到专用硬件(诸如，集成电路(例如，专用集成电路或ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA))中的可执行代码，所述可执行代码可以经由应用的相应驱动程序和/或操作***来访问。此外，此类组件可以实现为处理器或处理器内核中的特定硬件逻辑，作为可由软件组件通过一个或多个特定指令访问的指令集的一部分。
前述详细描述中的一些部分已经根据在计算机存储器内对数据位的运算的算法和符号表示而呈现。这些算法描述和表示是数据处理领域中的技术人员所使用的方式，以将他们的工作实质最有效地传达给本领域中的其他技术人员。本文中，算法通常被认为是产生所期望结果的自洽操作序列。这些操作是指需要对物理量进行物理操控的操作。
然而，应当牢记，所有这些和类似的术语均旨在与适当的物理量关联，并且仅仅是应用于这些量的方便标记。除非在以上讨论中以其它方式明确地指出，否则应当了解，在整个说明书中，利用术语(诸如所附权利要求书中所阐述的术语)进行的讨论是指计算机***或类似电子计算设备的动作和处理，所述计算机***或类似电子计算设备操控计算机***的寄存器和存储器内的表示为物理(电子)量的数据，并将所述数据变换成计算机***存储器或寄存器或者其它此类信息存储设备、传输或显示设备内类似地表示为物理量的其它数据。
本公开的实施方式还涉及用于执行本文中的操作的装置。这种计算机程序被存储在非暂时性计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式存储信息的任何机构。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、闪存存储器设备)。
前述附图中所描绘的过程或方法可以由处理逻辑来执行，所述处理逻辑包括硬件(例如，电路、专用逻辑等)、软件(例如，体现在非暂时性计算机可读介质上)或两者的组合。尽管所述过程或方法在上文是依据一些顺序操作来描述的，但是应当了解，所述操作中的一些可以按不同的顺序执行。此外，一些操作可以并行地执行而不是顺序地执行。
本公开的实施方式并未参考任何特定的编程语言进行描述。应理解，可以使用多种编程语言来实现如在本文中所描述的本公开的实施方式的教导。
在以上的说明书中，已经参考本公开的具体示例性实施方式对本公开的实施方式进行了描述。将显而易见的是，在不脱离所附权利要求书中阐述的本公开的更宽泛精神和范围的情况下，可以对本公开作出各种修改。因此，应当在说明性意义而不是限制性意义上来理解本说明书和附图。

Claims (20)

1.一种用于操作自动驾驶车辆ADV的计算机实施的方法，所述方法包括：
基于从多个传感器获得的传感器数据来感知所述ADV周围的驾驶环境，包括检测一个或多个移动障碍物；
确定和跟踪所述一个或多个移动障碍物在预定时间段内的障碍物状态；
基于从所述多个传感器获得的其他传感器数据，确定所述一个或多个移动障碍物中的第一移动障碍物被对象阻挡；
基于与所述第一移动障碍物关联的先前的障碍物状态，预测在所述第一移动障碍物被所述对象阻挡时所述第一移动障碍物的移动；以及
通过考虑所述第一移动障碍物的经预测的移动来规划所述ADV的轨迹，以使所述ADV行驶为避免与所述第一移动障碍物碰撞。
2.如权利要求1所述的方法，其中跟踪所述一个或多个移动障碍物的障碍物状态包括：
针对感知到的所述一个或多个移动障碍物中的每个移动障碍物，分配一个障碍物状态缓冲区；以及
在分配的障碍物状态缓冲区中存储所述一个或多个移动障碍物在不同时间点的障碍物状态。
3.如权利要求1所述的方法，其中每个障碍物状态包括相应移动障碍物在特定时间点的位置、速度和行进方向。
4.如权利要求1所述的方法，其中预测所述第一移动障碍物的移动包括：
基于所述第一移动障碍物的障碍物状态，重建所述第一移动障碍物的移动轨迹；以及
基于所述第一移动障碍物的重建的移动轨迹，预测所述第一移动障碍物的进一步移动。
5.如权利要求1所述的方法，还包括：基于所述一个或多个移动障碍物的障碍物状态来确定一个或多个车道的车道配置，其中，所述第一移动障碍物的移动还基于所述车道配置来预测。
6.如权利要求1所述的方法，还包括：基于所述一个或多个移动障碍物的障碍物状态来确定所述驾驶环境的交通流量，其中，所述第一移动障碍物的移动还基于所述交通流量来预测。
7.如权利要求1所述的方法，其中，还基于地图信息和交通规则来执行对所述第一移动障碍物的移动的预测。
8.如权利要求1所述的方法，其中，预测所述第一移动障碍物的移动包括：基于在所述驾驶环境中感知到的交通灯、停车标志或交叉路口来预测所述第一移动障碍物的减速或停止。
9.一种存储有指令的非暂时性机器可读介质，所述指令在由处理器执行时致使所述处理器执行操作，所述操作包括：
基于从多个传感器获得的传感器数据来感知自动驾驶车辆ADV周围的驾驶环境，包括检测一个或多个移动障碍物；
确定和跟踪所述一个或多个移动障碍物在预定时间段内的障碍物状态；
基于从所述多个传感器获得的其他传感器数据，确定所述一个或多个移动障碍物中的第一移动障碍物被对象阻挡；
基于与所述第一移动障碍物关联的先前的障碍物状态，预测在所述第一移动障碍物被所述对象阻挡时所述第一移动障碍物的移动；以及
通过考虑所述第一移动障碍物的经预测的移动来规划所述ADV的轨迹，以使所述ADV行驶为避免与所述第一移动障碍物碰撞。
10.如权利要求9所述的机器可读介质，其中跟踪所述一个或多个移动障碍物的障碍物状态包括：
针对感知到的所述一个或多个移动障碍物中的每个移动障碍物，分配一个障碍物状态缓冲区；以及
在分配的障碍物状态缓冲区中存储所述一个或多个移动障碍物在不同时间点的障碍物状态。
11.如权利要求9所述的机器可读介质，其中每个障碍物状态包括相应移动障碍物在特定时间点的位置、速度和行进方向。
12.如权利要求9所述的机器可读介质，其中预测所述第一移动障碍物的移动包括：
基于所述第一移动障碍物的障碍物状态，重建所述第一移动障碍物的移动轨迹；以及
基于所述第一移动障碍物的重建的移动轨迹，预测所述第一移动障碍物的进一步移动。
13.如权利要求9所述的机器可读介质，其中所述操作还包括：基于所述一个或多个移动障碍物的障碍物状态来确定一个或多个车道的车道配置，其中，所述第一移动障碍物的移动还基于所述车道配置来预测。
14.如权利要求9所述的机器可读介质，其中所述操作还包括：基于所述一个或多个移动障碍物的障碍物状态来确定所述驾驶环境的交通流量，其中，所述第一移动障碍物的移动还基于所述交通流量来预测。
15.如权利要求9所述的机器可读介质，其中，还基于地图信息和交通规则来执行对所述第一移动障碍物的移动的预测。
16.如权利要求9所述的机器可读介质，其中，预测所述第一移动障碍物的移动包括：基于在所述驾驶环境中感知到的交通灯、停车标志或交叉路口来预测所述第一移动障碍物的减速或停止。
17.一种数据处理***，包括：
处理器；以及
存储器，所述存储器联接到所述处理器且存储指令，所述指令在由所述处理器执行时致使所述处理器执行操作，所述操作包括：
基于从多个传感器获得的传感器数据来感知自动驾驶车辆ADV周围的驾驶环境，包括检测一个或多个移动障碍物；
确定和跟踪所述一个或多个移动障碍物在预定时间段内的障碍物状态；
基于从所述多个传感器获得的其他传感器数据，确定所述一个或多个移动障碍物中的第一移动障碍物被对象阻挡；
基于与所述第一移动障碍物关联的先前的障碍物状态，预测在所述第一移动障碍物被所述对象阻挡时所述第一移动障碍物的移动；以及
通过考虑所述第一移动障碍物的经预测的移动来规划所述ADV的轨迹，以使所述ADV行驶为避免与所述第一移动障碍物碰撞。
18.如权利要求17所述的***，其中跟踪所述一个或多个移动障碍物的障碍物状态包括：
针对感知到的所述一个或多个移动障碍物中的每个移动障碍物，分配一个障碍物状态缓冲区；以及
在分配的障碍物状态缓冲区中存储所述一个或多个移动障碍物在不同时间点的障碍物状态。
19.如权利要求17所述的***，其中每个障碍物状态包括相应移动障碍物在特定时间点的位置、速度和行进方向。
20.如权利要求17所述的***，其中预测所述第一移动障碍物的移动包括：
基于所述第一移动障碍物的障碍物状态，重建所述第一移动障碍物的移动轨迹；以及
基于所述第一移动障碍物的重建的移动轨迹，预测所述第一移动障碍物的进一步移动。
CN202010149500.7A 2019-07-25 2020-03-06 用于操作自动驾驶车辆的计算机实施的方法以及数据处理*** Pending CN112363492A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/522,515 US20210027629A1 (en) 2019-07-25 2019-07-25 Blind area processing for autonomous driving vehicles
US16/522,515 2019-07-25

Publications (1)

Publication Number Publication Date
CN112363492A true CN112363492A (zh) 2021-02-12

Family

ID=74190544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010149500.7A Pending CN112363492A (zh) 2019-07-25 2020-03-06 用于操作自动驾驶车辆的计算机实施的方法以及数据处理***

Country Status (2)

Country Link
US (1) US20210027629A1 (zh)
CN (1) CN112363492A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115166708A (zh) * 2022-09-06 2022-10-11 比业电子（北京）有限公司 针对传感器盲区内目标识别的判断方法、装置和设备
WO2023093056A1 (zh) * 2021-11-29 2023-06-01 上海商汤智能科技有限公司 车辆控制

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11161464B2 (en) 2018-01-12 2021-11-02 Uatc, Llc Systems and methods for streaming processing for autonomous vehicles
US20200348143A1 (en) * 2019-05-03 2020-11-05 Apple Inc. Adjusting heading sensor output based on image data
US11198386B2 (en) * 2019-07-08 2021-12-14 Lear Corporation System and method for controlling operation of headlights in a host vehicle
EP3972882B1 (en) * 2019-09-17 2023-08-30 Mobileye Vision Technologies Ltd. Systems and methods for predicting blind spot incursions
US11345342B2 (en) * 2019-09-27 2022-05-31 Intel Corporation Potential collision warning system based on road user intent prediction
RU2769921C2 (ru) * 2019-11-21 2022-04-08 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для автоматизированного определения присутствия объектов
US11521487B2 (en) * 2019-12-09 2022-12-06 Here Global B.V. System and method to generate traffic congestion estimation data for calculation of traffic condition in a region
US11485197B2 (en) 2020-03-13 2022-11-01 Lear Corporation System and method for providing an air quality alert to an occupant of a host vehicle
US11958481B2 (en) * 2020-04-20 2024-04-16 Subaru Corporation Surrounding moving object detector
US11315429B1 (en) 2020-10-27 2022-04-26 Lear Corporation System and method for providing an alert to a driver of a host vehicle
CN112650243B (zh) * 2020-12-22 2023-10-10 北京百度网讯科技有限公司 车辆控制方法、装置、电子设备和自动驾驶车辆
US11735205B2 (en) * 2021-01-12 2023-08-22 Baidu Usa Llc Audio logging for model training and onboard validation utilizing autonomous driving vehicle
US11999375B2 (en) * 2021-03-03 2024-06-04 Wipro Limited Method and system for maneuvering vehicles using adjustable ultrasound sensors
JP2022147924A (ja) * 2021-03-24 2022-10-06 株式会社Subaru 運転支援装置
CN115246416B (zh) * 2021-05-13 2023-09-26 上海仙途智能科技有限公司 轨迹预测方法、装置、设备及计算机可读存储介质
WO2023287052A1 (ko) * 2021-07-12 2023-01-19 재단법인대구경북과학기술원 관제 인프라를 이용한 다중 센서 융합 기반의 회피 경로 생성 방법 및 제어 장치
CN113362607B (zh) * 2021-08-10 2021-10-29 天津所托瑞安汽车科技有限公司 基于转向状态的盲区预警方法、装置、设备和介质
US12043289B2 (en) * 2021-08-17 2024-07-23 Argo AI, LLC Persisting predicted objects for robustness to perception issues in autonomous driving
CN113844442B (zh) * 2021-10-22 2023-06-23 大连理工大学 一种无人运输的全局多源感知融合及局部避障方法和***
CN113706586B (zh) * 2021-10-29 2022-03-18 深圳市城市交通规划设计研究中心股份有限公司 基于多点位感知的目标跟踪方法及装置、存储介质
CN114701519B (zh) * 2022-04-12 2024-05-17 东莞理工学院 一种自动驾驶控制***
CN114719867B (zh) * 2022-05-24 2022-09-02 北京捷升通达信息技术有限公司 一种基于传感器的车辆导航方法及***
CN115447606A (zh) * 2022-08-31 2022-12-09 九识(苏州)智能科技有限公司 一种基于盲区识别的自动驾驶车辆控制方法和装置
CN115468578B (zh) * 2022-11-03 2023-03-24 广汽埃安新能源汽车股份有限公司 路径规划方法、装置、电子设备和计算机可读介质
CN115468579B (zh) * 2022-11-03 2023-03-24 广汽埃安新能源汽车股份有限公司 路径规划方法、装置、电子设备和计算机可读介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130282236A1 (en) * 2010-11-01 2013-10-24 Hitachi, Ltd Onboard device and control method
CN104423384A (zh) * 2013-08-09 2015-03-18 丰田自动车株式会社 自主移动体、障碍物感测方法以及避障方法
CN107031619A (zh) * 2015-12-11 2017-08-11 现代自动车株式会社 用于控制自动驾驶***的路径的方法和设备
US20180099665A1 (en) * 2016-10-11 2018-04-12 Mando Corporation Device for controlling vehicle at intersection
CN108139756A (zh) * 2016-08-29 2018-06-08 百度（美国）有限责任公司 为自动驾驶车辆构建周围环境以制定驾驶决策的方法和***
CN108334064A (zh) * 2017-01-20 2018-07-27 株式会社久保田 自动行驶作业车
CN108351653A (zh) * 2015-12-09 2018-07-31 深圳市大疆创新科技有限公司 用于uav飞行控制的***和方法
CN109491377A (zh) * 2017-09-11 2019-03-19 百度（美国）有限责任公司 用于自动驾驶车辆的基于dp和qp的决策和规划
CN109739246A (zh) * 2019-02-19 2019-05-10 百度在线网络技术（北京）有限公司 一种变换车道过程中的决策方法、装置、设备及存储介质
CN109801508A (zh) * 2019-02-26 2019-05-24 百度在线网络技术（北京）有限公司 路口处障碍物的运动轨迹预测方法及装置
CN109927719A (zh) * 2017-12-15 2019-06-25 百度在线网络技术（北京）有限公司 一种基于障碍物轨迹预测的辅助驾驶方法和***
CN109933062A (zh) * 2017-12-15 2019-06-25 百度（美国）有限责任公司 自动驾驶车辆的报警***
CN109947090A (zh) * 2017-12-21 2019-06-28 百度（美国）有限责任公司 用于自动驾驶车辆规划的非阻塞边界
US20190384302A1 (en) * 2018-06-18 2019-12-19 Zoox, Inc. Occulsion aware planning and control
US10671076B1 (en) * 2017-03-01 2020-06-02 Zoox, Inc. Trajectory prediction of third-party objects using temporal logic and tree search

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130282236A1 (en) * 2010-11-01 2013-10-24 Hitachi, Ltd Onboard device and control method
CN104423384A (zh) * 2013-08-09 2015-03-18 丰田自动车株式会社 自主移动体、障碍物感测方法以及避障方法
CN108351653A (zh) * 2015-12-09 2018-07-31 深圳市大疆创新科技有限公司 用于uav飞行控制的***和方法
CN107031619A (zh) * 2015-12-11 2017-08-11 现代自动车株式会社 用于控制自动驾驶***的路径的方法和设备
CN108139756A (zh) * 2016-08-29 2018-06-08 百度（美国）有限责任公司 为自动驾驶车辆构建周围环境以制定驾驶决策的方法和***
US20180099665A1 (en) * 2016-10-11 2018-04-12 Mando Corporation Device for controlling vehicle at intersection
CN107972665A (zh) * 2016-10-11 2018-05-01 株式会社万都 用于控制在交叉路口处的车辆的装置
CN108334064A (zh) * 2017-01-20 2018-07-27 株式会社久保田 自动行驶作业车
US10671076B1 (en) * 2017-03-01 2020-06-02 Zoox, Inc. Trajectory prediction of third-party objects using temporal logic and tree search
CN109491377A (zh) * 2017-09-11 2019-03-19 百度（美国）有限责任公司 用于自动驾驶车辆的基于dp和qp的决策和规划
CN109927719A (zh) * 2017-12-15 2019-06-25 百度在线网络技术（北京）有限公司 一种基于障碍物轨迹预测的辅助驾驶方法和***
CN109933062A (zh) * 2017-12-15 2019-06-25 百度（美国）有限责任公司 自动驾驶车辆的报警***
CN109947090A (zh) * 2017-12-21 2019-06-28 百度（美国）有限责任公司 用于自动驾驶车辆规划的非阻塞边界
US20190384302A1 (en) * 2018-06-18 2019-12-19 Zoox, Inc. Occulsion aware planning and control
CN109739246A (zh) * 2019-02-19 2019-05-10 百度在线网络技术（北京）有限公司 一种变换车道过程中的决策方法、装置、设备及存储介质
CN109801508A (zh) * 2019-02-26 2019-05-24 百度在线网络技术（北京）有限公司 路口处障碍物的运动轨迹预测方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023093056A1 (zh) * 2021-11-29 2023-06-01 上海商汤智能科技有限公司 车辆控制
CN115166708A (zh) * 2022-09-06 2022-10-11 比业电子（北京）有限公司 针对传感器盲区内目标识别的判断方法、装置和设备
CN115166708B (zh) * 2022-09-06 2022-12-30 比业电子（北京）有限公司 针对传感器盲区内目标识别的判断方法、装置和设备

Also Published As

Publication number Publication date
US20210027629A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
CN112363492A (zh) 用于操作自动驾驶车辆的计算机实施的方法以及数据处理***
CN112498365B (zh) 基于置信度水平和距离、响应于障碍物的自动驾驶车辆的延迟决策
US10928820B1 (en) Confidence levels along the same predicted trajectory of an obstacle
CN111775933B (zh) 用于基于车辆周围障碍物的移动轨迹自主驾驶车辆的方法
US10915766B2 (en) Method for detecting closest in-path object (CIPO) for autonomous driving
US11560159B2 (en) Group and combine obstacles for autonomous driving vehicles
US11880201B2 (en) Fastest lane determination algorithm under traffic jam
US11662730B2 (en) Hierarchical path decision system for planning a path for an autonomous driving vehicle
US11661085B2 (en) Locked pedestrian detection and prediction for autonomous vehicles
US20200409391A1 (en) Vehicle-platoons implementation under autonomous driving system designed for single vehicle
US11787440B2 (en) Lane boundary and vehicle speed based nudge decision
US12017681B2 (en) Obstacle prediction system for autonomous driving vehicles
US11608056B2 (en) Post collision damage reduction brake system incorporating front obstacle avoidance
CN112985435A (zh) 用于操作自主驾驶车辆的方法及***
CN113247017A (zh) 用于确保自动驾驶车辆的稳定绕行的双缓冲***
CN113428173A (zh) 用于自动驾驶车辆的静态曲率误差补偿控制逻辑
CN113060140A (zh) 基于中心线移位的变道前路径规划
US11288528B2 (en) Differentiation-based traffic light detection
CN114764022A (zh) 用于自主驾驶车辆的声源检测和定位的***和方法
CN113815526A (zh) 用于自动驾驶车辆的早期制动灯警告***
US20230202516A1 (en) Planning under prediction with confidence region for an autonomous driving vehicle
US20230065284A1 (en) Control and planning with localization uncertainty

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination