CN110531749A - 确定避开移动障碍物的自动驾驶的驾驶路径 - Google Patents

确定避开移动障碍物的自动驾驶的驾驶路径 Download PDF

Info

Publication number
CN110531749A
CN110531749A CN201811566683.1A CN201811566683A CN110531749A CN 110531749 A CN110531749 A CN 110531749A CN 201811566683 A CN201811566683 A CN 201811566683A CN 110531749 A CN110531749 A CN 110531749A
Authority
CN
China
Prior art keywords
path
estimation range
automatic driving
driving vehicle
adv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811566683.1A
Other languages
English (en)
Inventor
许珂诚
缪景皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of CN110531749A publication Critical patent/CN110531749A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

ADV可确定移动障碍物的预测路径。ADV可基于预测路径确定预测区域。ADV可基于预测区域确定ADV的路径。当确定ADV的路径时，ADV的路径可避开预测区域。

Description

确定避开移动障碍物的自动驾驶的驾驶路径
技术领域
本公开的实施方式大体上涉及操作自动驾驶车辆。更具体地，本公 开的实施方式涉及确定用于自动驾驶车辆的路径或路线。
背景技术
以自动驾驶模式运行(例如，无人驾驶)的车辆可将乘员、尤其 是驾驶员从一些驾驶相关的职责中解放出来。当以自动驾驶模式运行 时，车辆可使用车载传感器导航到各个位置，从而允许车辆在最少人 机交互的情况下或在没有任何乘客的一些情况下行驶。
运动规划和控制是自动驾驶的关键操作。具体地，轨迹规划是自动 驾驶***的重要组成部分。常规轨迹规划技术严重依赖于高质量参考线 来生成稳定轨迹，所述参考线是用于自动驾驶车辆的导引路径，例如道 路的中心线。
发明内容
根据本申请的一方面，提供了一种用于操作自动驾驶车辆的计算 机实施的方法，所述计算机实施的方法包括：
确定移动障碍物的预测路径；
基于所述移动障碍物的所述预测路径确定预测区域，其中，所述 预测区域包括所述预测路径；
基于所述预测区域确定所述自动驾驶车辆的路径，其中，所述路 径避开所述预测区域；以及
基于所述路径控制所述自动驾驶车辆。
根据本申请的另一方面，提供了一种存储有指令的非暂时性机器 可读介质，所述指令在由处理器执行时致使所述处理器执行操作，所 述操作包括：
确定移动障碍物的预测路径；
基于所述移动障碍物的所述预测路径确定预测区域，其中，所述 预测区域包括所述预测路径；
基于所述预测区域确定所述自动驾驶车辆的路径，其中，所述路 径避开所述预测区域；以及
基于所述路径控制所述自动驾驶车辆。
根据本申请的又一方面，提供了一种数据处理***，包括：
处理器；以及
存储器，耦合到所述处理器以存储指令，所述指令在由所述处理 器执行时致使所述处理器执行操作，所述操作包括：
确定移动障碍物的预测路径；
基于所述移动障碍物的所述预测路径确定预测区域，其中，所述 预测区域包括所述预测路径；
基于所述预测区域确定所述自动驾驶车辆的路径，其中，所述路 径避开所述预测区域；以及
基于所述路径控制所述自动驾驶车辆。
附图说明
本公开的实施方式在附图的各图中以举例而非限制的方式示出， 附图中的相同参考标记指示相似元件。
图1是示出根据一些实施方式的网络化***的框图。
图2是示出根据一些实施方式的自动驾驶车辆的示例的框图。
图3A至图3B是示出根据一些实施方式的与自动驾驶车辆一起使 用的感知与规划***的示例的框图。
图4A是示出根据一些实施方式的感知模块的示例的框图。
图4B是示出根据一些实施方式的预测模块的示例的框图。
图4C是示出根据一些实施方式的规划模块的示例的框图。
图5A是示出根据一些实施方式的示例性图形的图示。
图5B是示出根据一些实施方式的示例性图形的图示。
图5C是示出根据一些实施方式的示例性图形的图示。
图5D是示出根据一些实施方式的示例性图形的图示。
图6A是示出根据一些实施方式的行驶在道路上的自动驾驶车辆 的示例的图示。
图6B是示出根据一些实施方式的行驶在道路上的自动驾驶车辆 的示例的图示。
图7是示出根据一些实施方式的用于确定自动驾驶车辆的路径的 过程的示例的流程图。
图8是示出根据一个实施方式的数据处理***的框图。
具体实施方式
将参考以下所讨论的细节来描述本公开的各种实施方式和方面， 附图将示出所述各种实施方式。下列描述和附图是本公开的说明，而 不应当解释为对本公开进行限制。描述了许多特定细节以提供对本公 开的各种实施方式的全面理解。然而，在某些情况下，并未描述众所 周知的或常规的细节，以提供对本公开的实施方式的简洁讨论。
本说明书中对“一个实施方式”或“实施方式”的提及意味着结 合该实施方式所描述的特定特征、结构或特性可包括在本公开的至少 一个实施方式中。短语“在一个实施方式中”在本说明书中各个地方 的出现不必全部指同一实施方式。
根据一些实施方式，使用了一种确定自动驾驶车辆(ADV)的路 径的新方法。各种移动障碍物/物体可能位于ADV行驶/所在的相同地 理区域中。这些移动的障碍物可能不可预知地移动。例如，虽然行人 可能正沿着路径移动，但是行人可能突然改变方向(例如，向左转) 或者可能加速/减速。当试图预测移动物体的路径以避免与移动物体相 撞、撞击或碰撞移动物体时，这可能会引起问题。因此，确定(例如， 计算、运算、获得等)包括移动障碍物可能移动到的可能位置的区域 可能是有用的。
ADV可确定包括移动障碍物可能移动到的可能区域的预测区域。 预测区域可以包括移动障碍物可能移动到的可能位置的大百分比(例 如，99.7％)。这可以允许ADV确定和/或规划避开预测区域的ADV 的路径。当ADV避开预测区域(移动障碍物可能移动到的区域)时， 这允许ADV增加避免与移动障碍物相撞的概率。
图1是示出根据本公开的一些实施方式的自动驾驶车辆网络配置 的框图。参考图1，网络配置100包括可通过网络102通信地联接到 一个或多个服务器103至104的自动驾驶车辆101。尽管示出一个自 动驾驶车辆，但多个自动驾驶车辆可通过网络102联接到彼此和/或联 接到服务器103至104。网络102可以是任何类型的网络，例如，有 线或无线的局域网(LAN)、诸如互联网的广域网(WAN)、蜂窝网络、 卫星网络或其组合。服务器103至104可以是任何类型的服务器或服 务器群集，诸如，网络或云服务器、应用服务器、后端服务器或其组 合。服务器103至104可以是数据分析服务器、内容服务器、交通信 息服务器、地图和兴趣点(MPOI)服务器或位置服务器等。
自动驾驶车辆是指可被配置成处于自动驾驶模式下的车辆，在所 述自动驾驶模式下车辆在极少或没有来自驾驶员的输入的情况下导航 通过环境。这种自动驾驶车辆可包括传感器***，所述传感器***具 有被配置成检测与车辆运行环境有关的信息的一个或多个传感器。所 述车辆和其相关联的控制器使用所检测的信息来导航通过所述环境。自动驾驶车辆101可在手动模式下、在全自动驾驶模式下或者在部分 自动驾驶模式下运行。
在一个实施方式中，自动驾驶车辆101包括，但不限于，感知与 规划***110、车辆控制***111、无线通信***112、用户接口*** 113和传感器***115。自动驾驶车辆101还可包括普通车辆中包括的 某些常用部件，诸如：发动机、车轮、方向盘、变速器等，所述部件可由车辆控制***111和/或感知与规划***110使用多种通信信号和 /或命令进行控制，该多种通信信号和/或命令例如，加速信号或命令、 减速信号或命令、转向信号或命令、制动信号或命令等。
部件110至115可经由互连件、总线、网络或其组合通信地联接 到彼此。例如，部件110至115可经由控制器局域网(CAN)总线通 信地联接到彼此。CAN总线是被设计成允许微控制器和装置在没有主 机的应用中与彼此通信的车辆总线标准。它是最初是为汽车内的复用 电气布线设计的基于消息的协议，但也用于许多其它环境。
现在参考图2，在一个实施方式中，传感器***115包括但不限 于一个或多个摄像机211、全球定位***(GPS)单元212、惯性测量 单元(IMU)213、雷达单元214以及光探测和测距(LIDAR)单元 215。GPS单元212可包括收发器，所述收发器可操作以提供关于自动 驾驶车辆的位置的信息。IMU单元213可基于惯性加速度来感测自动 驾驶车辆的位置和定向变化。雷达单元214可表示利用无线电信号来 感测自动驾驶车辆的本地环境内的对象的***。在一些实施方式中， 除感测对象之外，雷达单元214可另外感测对象的速度和/或前进方向。 LIDAR单元215可使用激光来感测自动驾驶车辆所处环境中的对象。 除其它***部件之外，LIDAR单元215还可包括一个或多个激光源、 激光扫描器以及一个或多个检测器。摄像机211可包括用来采集自动 驾驶车辆周围环境的图像的一个或多个装置。摄像机211可以是静物 摄像机和/或视频摄像机。摄像机可以是可机械地移动的，例如，通过 将摄像机安装在旋转和/或倾斜平台上。
传感器***115还可包括其它传感器，诸如：声纳传感器、红外 传感器、转向传感器、油门传感器、制动传感器以及音频传感器(例 如，麦克风)。音频传感器可被配置成从自动驾驶车辆周围的环境中采 集声音。转向传感器可被配置成感测方向盘、车辆的车轮或其组合的 转向角度。油门传感器和制动传感器分别感测车辆的油门位置和制动 位置。在一些情形下，油门传感器和制动传感器可集成为集成式油门/ 制动传感器。
在一个实施方式中，车辆控制***111包括但不限于转向单元 201、油门单元202(也被称为加速单元)和制动单元203。转向单元 201用来调整车辆的方向或前进方向。油门单元202用来控制电动机 或发动机的速度，电动机或发动机的速度进而控制车辆的速度和加速 度。制动单元203通过提供摩擦使车辆的车轮或轮胎减速而使车辆减 速。应注意，如图2所示的部件可以以硬件、软件或其组合实施。
返回参考图1，无线通信***112允许自动驾驶车辆101与诸如 装置、传感器、其它车辆等外部***之间的通信。例如，无线通信系 统112可以与一个或多个装置直接无线通信，或者经由通信网络进行 无线通信，诸如，通过网络102与服务器103至104通信。无线通信 ***112可使用任何蜂窝通信网络或无线局域网(WLAN)，例如，使 用WiFi，以与另一部件或***通信。无线通信***112可例如使用红 外链路、蓝牙等与装置(例如，乘客的移动装置、显示装置、车辆101 内的扬声器)直接通信。用户接口***113可以是在车辆101内实施 的***装置的部分，包括例如键盘、触摸屏显示装置、麦克风和扬声 器等。
自动驾驶车辆101的功能中的一些或全部可由感知与规划*** 110控制或管理，尤其当在自动驾驶模式下操作时。感知与规划*** 110包括必要的硬件(例如，处理器、存储器、存储装置)和软件(例 如，操作***、规划和路线安排程序)，以从传感器***115、控制系 统111、无线通信***112和/或用户接口***113接收信息，处理所 接收的信息，规划从起始点到目的地点的路线或路径，随后基于规划 和控制信息来驾驶车辆101。可替代地，感知与规划***110可与车 辆控制***111集成在一起。
例如，作为乘客的用户可例如经由用户接口来指定行程的起始位 置和目的地。感知与规划***110获得行程相关数据。例如，感知与 规划***110可从MPOI服务器中获得位置和路线信息，所述MPOI 服务器可以是服务器103至104的一部分。位置服务器提供位置服务， 并且MPOI服务器提供地图服务和某些位置的POI。可替代地，此类 位置和MPOI信息可本地高速缓存在感知与规划***110的永久性存 储装置中。在一些实施方式中，感知和规划***110可能不具有MPOI 信息(例如，地图数据)。例如，感知和规划***110可能不具有用于 其他环境或地理区域/位置的地图数据，感知和规划***110可能不具 有用于自动驾驶车辆101当前行驶或所在的环境或地理区域/位置的地 图数据(例如，感知和规划***110可能具有用于一个城市的地图数 据，但是可能不具有用于另一城市的地图数据)。在另一示例中，感知 和规划***110可能不具有任何地图数据或MPOI信息(例如，感知 和规划***110可能没有存储任何地图数据)。
当自动驾驶车辆101沿着路线移动时，感知与规划***110也可 从交通信息***或服务器(TIS)获得实时交通信息。应注意，服务器 103至104可由第三方实体进行操作。可替代地，服务器103至104 的功能可与感知与规划***110集成在一起。基于实时交通信息、MPOI信息和位置信息以及由传感器***115检测或感测的实时本地 环境数据(例如，障碍物、对象、附近车辆)，感知与规划***110可 规划最佳路线并且根据所规划的路线例如经由控制***111来驾驶车 辆101，以安全且高效到达指定目的地。
服务器103可以是数据分析***，从而为各种客户执行数据分析 服务。在一个实施方式中，数据分析***103包括数据收集器121和 机器学习引擎122。数据收集器121从各种车辆(自动驾驶车辆或由 人类驾驶员驾驶的常规车辆)收集驾驶统计数据123。驾驶统计数据 123包括指示所发出的驾驶指令(例如，油门、制动、转向指令)以 及由车辆的传感器在不同的时间点捕捉到的车辆的响应(例如，速度、 加速、减速、方向)的信息。驾驶统计数据123还可包括描述不同时 间点下的驾驶环境的信息，例如，路线(包括起始位置和目的地位置)、 MPOI、道路状况、气候状况等。
基于驾驶统计数据123，出于各种目的，机器学习引擎122生成 或训练一组规则、算法和/或预测模型124。例如，可以用初始系数或 参数来选择和定义一组五次多项式函数。此外，还可以基于可以从驾 驶统计123获得的诸如传感器规格和特定车辆设计的硬件特性来定义 一组约束。
图3A和图3B是示出根据一些实施方式的与自动驾驶车辆一起使 用的感知与规划***的示例的框图。***300可被实施为图1的自动 驾驶车辆101的一部分，包括但不限于感知与规划***110、控制系 统111和传感器***115。参考图3A至图3B，感知与规划***110 包括但不限于定位模块301、感知模块302、预测模块303、决策模块 304、规划模块305、控制模块306和路线模块307。
模块301至307中的一些或全部可以以软件、硬件或其组合实施。 例如，这些模块可安装在永久性存储装置352中、加载到存储器351 中，并且由一个或多个处理器(未示出)执行。应注意，这些模块中 的一些或全部可通信地联接到图2的车辆控制***111的一些或全部 模块或者与它们集成在一起。模块301至307中的一些可一起集成为 集成模块。
定位模块301确定自动驾驶车辆300的当前位置(例如，利用GPS 单元212)以及管理与用户的行程或路线相关的任何数据。定位模块 301(又称作为地图与路线模块)管理与用户的行程或路线相关的任何 数据。用户可例如经由用户接口登录并且指定行程的起始位置和目的 地。定位模块301与自动驾驶车辆300的诸如地图与路线信息311的 其它部件通信，以获得行程相关数据。例如，定位模块301可从位置 服务器和地图与POI(MPOI)服务器获得位置和路线信息。位置服务 器提供位置服务，并且MPOI服务器提供地图服务和某些位置的POI， 从而可作为地图与路线信息311的一部分高速缓存。当自动驾驶车辆 300沿着路线移动时，定位模块301也可从交通信息***或服务器获 得实时交通信息。在一个实施方式中，地图和路线信息311可以先前 已经存储在永久性存储设备352中。例如，地图和路线信息311可能 先前已经被下载或复制到永久性存储设备352。
基于由传感器***115提供的传感器数据和由定位模块301获得 的定位信息，感知模块302确定对周围环境的感知。感知信息可表示 普通驾驶员在驾驶员正驾驶的车辆周围将感知到的东西。感知可包括 例如采用对象形式的车道配置(例如，直线车道或弯曲车道)、交通灯 信号、另一车辆的相对位置、行人、建筑物、人行横道或其它交通相 关标志(例如，停止标志、让行标志)等。
感知模块302可包括计算机视觉***或计算机视觉***的功能， 以处理并分析由一个或多个摄像机采集的图像，从而识别自动驾驶车 辆环境中的对象和/或特征。所述对象可包括交通信号、道路边界、其 它车辆、行人和/或障碍物等。计算机视觉***可使用对象识别算法、 视频跟踪以及其它计算机视觉技术。在一些实施方式中，计算机视觉 ***可绘制环境地图，跟踪对象，以及估算对象的速度等。感知模块 302也可基于由诸如雷达和/或LIDAR的其它传感器提供的其它传感 器数据来检测对象。
针对每个对象，预测模块303预测对象在这种情况下将如何表现。 预测是基于感知数据执行的，该感知数据在考虑一组地图/路线信息 311和交通规则312的时间点感知驾驶环境。例如，如果对象为相反 方向上的车辆且当前驾驶环境包括十字路口，则预测模块303将预测 车辆是否可能会笔直向前移动或转弯。如果感知数据表明十字路口没 有交通灯，则预测模块303可能会预测车辆在进入十字路口之前可能 需要完全停车。如果感知数据表明车辆目前处于左转唯一车道或右转 唯一车道，则预测模块303可能预测车辆将更可能分别左转或右转。 在一些实施方式中，用于环境或地理区域/位置的地图/路线信息311可以在自动驾驶车辆行驶通过该环境或地理区域/位置时动态地生成 (例如，由感知模块302生成)，如下文更详细地讨论的那样。
针对每个对象，决策模块304作出关于如何处置对象的决定。例 如，针对特定对象(例如，交叉路线中的另一车辆)以及描述对象的 元数据(例如，速度、方向、转弯角度)，决策模块304决定如何与所 述对象相遇(例如，超车、让行、停止、超过)。决策模块304可根据诸如交通规则或驾驶规则312的规则集来作出此类决定，所述规则集 可存储在永久性存储装置352中。
各种移动障碍物/物体可能不可预知地移动。例如，虽然行人可能 正沿着路径移动，但是行人可能突然改变方向(例如，向左转)或者 可能加速/减速。当试图预测移动物体的路径以避免与移动物体相撞、 撞击或碰撞移动物体时，这可能会引起问题。因此，确定(例如，计 算、运算、获得等)包括移动障碍物可能移动到的可能位置的区域可 能是有用的。这可允许ADV增加避开移动障碍物的概率。
路线模块307配置成提供从起始点到目的地点的一个或多个路线 或路径。对于从起始位置到目的地位置的给定行程，例如从用户接收 的给定行程，路线模块307获得路线与地图信息311，并确定从起始 位置至到达目的地位置的所有可能路线或路径。在一些实施方式中， 地图/路线信息311可以由感知模块302生成，如下面更详细地讨论的 那样。路线模块307可生成地形图形式的参考线，它确定了从起始位 置至到达目的地位置的每个路线。参考线是指不受其它诸如其它车辆、 障碍物或交通状况的任何干扰的理想路线或路径。即，如果道路上没 有其它车辆、行人或障碍物，则ADV应精确地或紧密地跟随参考线。然后，将地形图提供至决策模块304和/或规划模块305。决策模块304 和/或规划模块305检查所有可能的路线，以根据由其它模块提供的其 它数据选择和修正最佳路线中的一个，其中，其它数据诸如为来自定 位模块301的交通状况、由感知模块302感知到的驾驶环境以及由预 测模块303预测的交通状况。根据时间点下的特定驾驶环境，用于控 制ADV的实际路径或路线可能接近于或不同于由路线模块307提供 的参考线。
基于针对所感知到的对象中的每个的决定，规划模块305使用由 路线模块307提供的参考线作为基础，为自动驾驶车辆规划路径或路 线以及驾驶参数(例如，距离、速度和/或转弯角度)。换言之，针对 给定的对象，决策模块304决定对该对象做什么，而规划模块305确 定如何去做。例如，针对给定的对象，决策模块304可决定超过所述 对象，而规划模块305可确定在所述对象的左侧还是右侧超过。规划 和控制数据由规划模块305生成，包括描述车辆300在下一移动循环 (例如，下一路线/路径段)中将如何移动的信息。例如，规划和控制 数据可指示车辆300以30英里每小时(mph)的速度移动10米，随 后以25mph的速度变到右侧车道。
基于规划和控制数据，控制模块306根据由规划和控制数据限定 的路线或路径通过将适当的命令或信号发送到车辆控制***111来控 制并驾驶自动驾驶车辆。所述规划和控制数据包括足够的信息，以沿 着路径或路线在不同的时间点使用适当的车辆设置或驾驶参数(例如， 油门、制动和转弯命令)将车辆从路线或路径的第一点驾驶到第二点。
在一个实施方式中，规划阶段在多个规划周期(也称作为指令周 期)中执行，例如，在每个时间间隔为100毫秒(ms)的周期中执行。 对于规划周期或指令周期中的每一个，将基于规划和控制数据发出一 个或多个控制指令。即，对于每100ms，规划模块305规划下一个路 线段或路径段，例如，包括目标位置和ADV到达目标位置所需要的 时间。可替代地，规划模块305还可规定具体的速度、方向和/或转向 角等。在一个实施方式中，规划模块305为下一个预定时段(诸如，5 秒)规划路线段或路径段。对于每个规划周期，规划模块305基于在 前一周期中规划的目标位置规划用于当前周期(例如，下一个5秒) 的目标位置。控制模块306然后基于当前周期的规划和控制数据生成 一个或多个控制指令(例如，油门、制动、转向控制指令)。
应注意，决策模块304和规划模块305可集成为集成模块。决策 模块304/规划模块305可包括导航***或导航***的功能，以确定自 动驾驶车辆的驾驶路径。例如，导航***可确定用于实现自动驾驶车 辆沿着以下路径移动的一系列速度和前进方向：所述路径在使自动驾 驶车辆沿着通往最终目的地的基于车行道的路径前进的同时，基本上 避开感知到的障碍物。目的地可根据经由用户接口***113进行的用 户输入来设定。导航***可在自动驾驶车辆正在运行的同时动态地更 新驾驶路径。导航***可将来自GPS***和一个或多个地图的数据(可 以由感知模块302生成，或者可以先前已存储/下载)合并，以确定用于自动驾驶车辆的驾驶路径。
决策模块304/规划模块305还可包括防撞***或防撞***的功 能，以识别、评估并且避免或以其它方式越过自动驾驶车辆的环境中 的潜在障碍物。例如，防撞***可通过以下方式实现自动驾驶车辆的 导航中的变化：操作控制***111中的一个或多个子***来采取变向 操纵、转弯操纵、制动操纵等。防撞***可基于周围的交通模式、道 路状况等自动确定可行的障碍物回避操纵。防撞***可被配置成使得 当其它传感器***检测到位于自动驾驶车辆将变向进入的相邻区域中 的车辆、建筑障碍物等时不采取变向操纵。防撞***可自动选择既可 使用又使得自动驾驶车辆乘员的安全性最大化的操纵。防撞***可选择预测使得自动驾驶车辆的乘客舱中出现最小量的加速度的避让操 纵。
路线模块307可从地图信息(诸如，路段的信息、路段的车行道 信息和车道距路缘的距离信息)生成参考路线。例如，道路可分成{A、 B和C}节或段以表示三个路段。路段A的三个车道可列举为{A1、A2 和A3}。通过生成沿着参考路线的参考点来生成参考路线。例如，对 于车辆车道，路线模块307可连接由地图数据(可以由感知模块302 生成，或者可以先前已存储/下载)提供的车辆车道的两个相对路缘或 端点的中点。基于表示先前在不同时间点在车辆车道上行驶的车辆的 所收集的数据点的中点和机器学***滑函数。
基于参考点或车道参考点，路线模块307可通过对参考点进行插 值生成参考线，使得生成的参考线用作为用于控制车辆车道上的ADV 的参考线。在一些实施方式中，表示参考线的参考点表和路段表实时 上载到ADV中，使得ADV可基于ADV的地理位置和行驶方向生成 参考线。例如，在一个实施方式中，ADV可通过表示即将到来的前面 的路段的路径段标识符和/或基于ADV的GPS位置，通过请求用于路 径段的路线安排服务来生成参考线。基于路径段标识符，路线安排服 务可返回到ADV参考点表，该参考点表包括用于所关注的路段的所 有车道的参考点。ADV可查阅用于路径段的车道的参考点，以生成用 于控制车辆车道上的ADV的参考线。
图4A是示出根据一些实施方式的感知模块302的示例的框图。 参考图4A，感知模块302包括但不限于传感器组件411和障碍物组件 412。这些组件411到412可以在软件、硬件或它们的组合中实现。传 感器组件411可以从ADV的一个或多个传感器获得传感器数据。例 如，传感器组件411可以周期性地请求或轮询来自一个或多个传感器 的传感器数据(例如，可以每隔几毫秒、每秒或一些其他适当的时间 段请求来自传感器的传感器数据)。在另一示例中，传感器组件411可 以监听或等待待从一个或多个传感器接收的传感器数据。例如，传感 器组件411可以被配置成不断监视总线、通信信道(有线或无线)、电 线、线、引线、迹线等，使得传感器组件411能够在传感器数据由一 个或多个传感器生成时立即接收传感器数据。
在一个实施方式中，传感器可以是相机(例如，数码相机、摄像 机、录像机等)或能够捕获或记录图像的某种其他设备。由相机生成 的并由传感器组件411接收的传感器数据可以被称为视频数据。视频 数据的示例可以包括但不限于数字图像(例如，联合摄影专家组 (JPEG)图像)、视频帧、运动图像专家组(MPEG)数据或适合于表 示由相机捕获的光学图像的其他数据。在另一实施方式中，传感器可 以是雷达单元(例如，图2所示的雷达单元214)或能够使用无线电 波(例如，射频波或信号)确定ADV周围物体的位置、范围、角度 和/或速度的某种其他设备。由雷达单元生成的传感器数据可以称为雷 达数据。雷达数据可以是指示雷达单元检测到的物体的位置、范围、 角度和/或速度的数据。在另一实施方式中，传感器可以是LIDAR单 元(例如，图2所示的LIDAR单元215)或能够使用光(例如，激光) 确定ADV周围物体的位置、范围、角度和/或速度的某种其他设备。 由LIDAR单元生成的传感器数据可以是可以指示由LIDAR单元检测 到的物体的位置、范围、角度和/或速度的数据。在其它实施方式中， 其他类型的传感器可以生成可以提供至传感器组件411的其他类型的数据。可用于检测环境或地理位置/区域中的物体(例如，行人、车辆、 路障、障碍物、栅栏、车道线、标志、交通灯等)的位置、范围、角 度和/或速度的任何类型的传感器都可以在本文描述的实施方式、实现 方式和/或示例中使用。在另一实施方式中，传感器可以是GPS接收器或单元(例如，图2所示的GPS单元212)或能够确定ADV的位 置(例如，物理或地理位置)的某种其他设备。GPS接收器生成的传 感器数据可以是GPS数据(可以称为GPS坐标)。
在一个实施方式中，传感器数据可以指示关于ADV当前所在或 行驶的环境或地理区域/位置的信息。例如，传感器数据可以指示物体 (例如，行人、车辆、路障、障碍物、栅栏、车道线、标志、交通灯 等)的位置和/或布局。在另一示例中，传感器数据可以指示环境或地理区域的道路条件(例如，道路是否是干路、湿路、平路、颠簸道路 等)。在另一示例中，传感器数据可以指示环境或地理区域的天气条件 (例如，温度，是否有雨、风、雪、冰雹等)。
在一个实施方式中，障碍物组件412可以基于传感器组件411获 得/接收的传感器数据来检测一个或多个移动障碍物。例如，障碍物组 件412可以分析由相机捕获的图像或视频(例如，视频数据)以识别 位于ADV所在/行驶的地理区域中的移动障碍物。在另一示例中，障 碍物组件412可分析雷达数据以识别位于ADV所在/行驶的地理区域 中的移动障碍物。在另一示例中，障碍物组件412可分析LIDAR数据 以识别在ADV所在/行驶的地理区域中的移动障碍物。
在一个实施方式中，组件412可以使用各种技术、方法、算法、 操作等，以基于传感器数据识别移动障碍物。例如，障碍物组件412 可以使用图像或视频处理/分析技术或算法来基于视频数据识别移动 障碍物。在另一示例中，障碍物组件412可以使用各种对象检测技术 或算法来基于雷达和/或LIDAR数据识别移动障碍物。所描述的示例、 实现方式和/或实施方式可以使用各种类型的传感器数据和/或各种函 数、技术、方法、算法、操作等来识别移动障碍物。例如，障碍物组 件412可以使用机器学习、人工智能、统计模型、神经网络、聚类技 术等。
图4B是示出根据一些实施方式的预测模块303的示例的框图。 参考图4B，预测模块303包括但不限于路径组件431、变化组件432 和区域组件433。这些组件431-433可以在软件、硬件或它们的组合中 实现。参考线生成器405被配置为生成用于ADV的参考线。如上所 述，感知模块302(如图3A、3B和4A所示)可以检测ADV所在地 理区域内的移动障碍物。例如，感知模块302可以检测在ADV所在/ 行驶的街道/道路上行走的行人。在另一示例中，感知模块302可以检 测ADV所在/行驶的街道/道路上的自行车骑行人。如上所述，感知模 块302可以基于由一个或多个传感器(例如，摄像机、雷达单元、LIDAR 单元等)生成的传感器数据(例如，视频数据、雷达数据、LIDAR数 据等)来检测移动障碍物。
在一个实施方式中，路径组件431可以确定移动障碍物的路径。 如上所述，感知模块302可基于传感器数据检测ADV所在/行驶的地 理区域中的移动障碍物(例如，行人、自行车骑行人等)。路径组件431可以基于传感器数据确定移动障碍物可能行进或采用的路径。移 动障碍物可能行进的路径可以被称为预测路径、估计路径、可能路径 等。
在一个实施方式中，路径组件431可以通过确定ADV所在/行驶 的地理区域中的一组或多个预测点来确定移动障碍物的预测路径。例 如，路径组件431可以使用卡尔曼滤波器来确定一组/多个预测点。卡 尔曼滤波器可以使用一系列随时间观察到的测量结果来产生未知变量 的估计或预测。卡尔曼滤波器还可以估计每个时间帧的变量上的联合 概率分布。卡尔曼滤波器可以被称为线性二次估计(LQE)。虽然本公 开可以涉及卡尔曼滤波器，但是在其他实施方式中，可以使用各种其 他滤波器、算法、方法、函数、操作、过程等来确定一组多个预测点。
在一个实施方式中，路径组件431可以定义和/或生成一个或多个 多项式函数(例如，五次多项式、三次多项式等)来表示或建模移动 障碍物的预测路径。例如，多项式函数可以定义在X-Y平面上的包括 预测点的线(例如，预测点在由多项式函数定义的线上并且线代表预 测的路径)。还可以基于各种边界或约束生成、确定、计算一个或多个 多项式函数。边界或约束可以预先设置和/或存储为图3A中示出的约 束313的一部分。由路径组件431使用的多项式函数可以预先设置和/ 或存储为图3A中示出的多项式函数314的一部分。
在一个实施方式中，区域组件433可以基于ADV的预测路径(由 路径组件431确定)来确定预测区域。区域组件433可以基于一个或 多个预测点来确定预测区域，如下文更详细地讨论的那样。例如，区 域组件433可以确定围绕预测路径的区域。如上所述，移动障碍物的 运动可能是不可预测的或不确定的。例如，在地理区域(ADV所在/ 行驶的区域)中行走的行人可能加速(例如，走得更快)、减速(例如， 走得更慢)或可能改变方向(例如，左转、右转、回转等)。
在一个实施方式中，区域组件433可以基于由变化组件432确定 的多个周围区域来确定预测区域。变化组件432可以为由路径组件431 确定(例如，获得、计算、生成等)的每个预测点确定周围区域，如 下文更详细地讨论的。例如，变化组件432可以确定由路径组件431 生成的每个预测点的周围区域。每个周围区域可以基于距相应预测点 的阈值标准偏差来确定。例如，周围区域的大小(例如，长度、宽度 等)可以等于距相应预测点的三个标准偏差。周围区域可称为X-sigma (X-σ)区域，其中X是距相应预测点的标准偏差的数目。例如，如 果周围区域的大小(例如，长度、宽度等)等于距相应预测点的三个 标准偏差，那么周围区域可被称为3-sigma(3-σ)区域。3-σ区域可 以是移动障碍物不会移出该3-σ区域边界外的可能性(例如，概率) 为99.7％的区域。在一些实施方式中，如果使用不同数量的标准偏差， 周围区域的大小可能是不同的。例如，大小等于距相应预测点的两个 标准偏差的周围区域(其可被称为2-sigma(2-σ)区域)可以小于大 小等于距相应预测点的三个标准偏差的周围区域(例如，3-σ区域)。 2-σ区域可以是移动障碍物不会移出该2-σ区域边界外的可能性(例 如，概率)为95％的区域。
在一个实施方式中，由变化组件432确定的周围区域可以具有形 状(例如，几何形状、规则形状、不规则形状等)。例如，预测点的周 围区域可以具有圆形形状(例如，可以是圆)。在另一示例中，预测点 的周围区域可以具有椭球形状(例如，可以是椭圆)。虽然附图和本公 开可能涉及圆和/或椭圆，但是在其他实施方式中可以使用其他形状。
在一个实施方式中，区域组件433可以基于由变化组件432确定 的一个或多个周围区域来确定预测区域的一个或多个边界点。例如， 区域组件433可以为每个周围区域确定一个或多个边界点。当边界点 被连接以形成预测区域时，周围区域的最外边缘可能被包含在边界点 内。区域组件433可以基于边界点确定预测区域。例如，预测区域可 以由边界点包围。在另一示例中，边界点可以定义预测区域的边缘或 边界。在一些实施方式中，预测路径可以在预测区域内。例如，预测 路径可以在预测区域的中心区域或中心区中。在另一示例中，预测区 域可以包含或围绕预测路径。
在一些实施方式中，预测区域可以包括或包含移动障碍物可能移 动到的可能位置。例如，移动障碍物可能是行人。行人在移动/行进通 过地理区域时可能不可预知地移动。基于用于确定预测区域的周围区 域的阈值标准偏差，预测区域可以包含行人可能移动到的可能位置的 百分比。例如，如果使用3-sigma(3-σ)周围区域来确定预测区域， 那么预测区域可包含99.7％的行人可以移动到的可能位置。因此，如 果ADV避开了预测区域，则ADV可以具有99.7％的可能性避开(例 如，不撞击移动障碍物)。这可以允许ADV对移动障碍物的移动的不 确定性或不可预测性进行虑及、计划、准备等。
图4C是示出根据一些实施方式的规划模块305的示例的框图。 参考图4C，规划模块305包括但不限于分段器401、多项式函数生成 器402、样本点生成器403、路径生成器404和参考线生成器405。这 些模块401-405可以在软件、硬件或它们的组合中实现。参考线生成 器405被配置为生成用于ADV的参考线。如上所述，参考线可以是 用于ADV的引导路径，例如道路的中心线，以生成稳定的轨迹。参 考线生成器405可以基于地图和路线信息311(图3A和3B所示)生 成参考线。如上所述，地图和路线信息311可以是预先存在的地图数 据(例如，先前下载或存储的地图数据)。在一个实施方式中，参考线 生成器405可以基于预测模块303确定(例如，生成、计算、运算等) 的预测区域和/或预测路径来生成参考线。参考线生成器405可以生成 避开预测区域和/或预测路径的参考线。例如，当在X-Y平面上表示时，参考线不会交叉/穿过预测区域和/或预测路径。
分段器401被配置为将参考线分割成多个参考线段。参考线可以 被划分为参考线段，以生成参考线的分离的段或部分。对于每个参考 线段，多项式函数生成器402可被配置为定义和生成多项式函数以表 示或建模相应的参考线段。样本点生成器403可以基于参考线生成样 本点。例如，样本点生成器403可以生成大体可以遵循参考线的一组 或多组样本点(例如，一个或多个样本点的群)，如下文更详细地讨论 的那样。在一个实施方式中，样本点生成器40可以基于预测模块303 确定(例如，生成、计算、运算等)的预测区域和/或预测路径生成一 组或多组样本点。样本点生成器403可以生成避开预测区域和/或预测 路径的样本点的组。例如，当在X-Y平面上表示时，样本点组可不位 于预测区域内和/或可不位于预测路径上。
多项式函数生成器402可将多组样本点彼此连接。例如，多项式 函数生成器402可以在一组样本点中的每个样本点和下一组相邻样本 点中的每个样本点之间生成一个或多个段(例如，连接)，如下文更详 细地讨论的那样。多项式函数生成器402还可以生成、计算、确定等 可用于表示样本点之间的段的一个或多个多项式。例如，多项式函数 生成器402可以为两个样本点之间的每个段生成、确定、计算等多项 式函数。也可以基于各种边界或约束生成、确定、计算表示段的多项 式函数。边界或约束可以预先设置和/或存储为图3A中所示的约束313 的一部分。规划模块305使用(例如，由多项式函数生成器402使用) 的多项式函数可以预先配置和/或存储为图3A中所示的多项式函数 314的一部分。
路径生成器404可以基于样本点之间的段来确定ADV的路径， 如下面更详细地讨论的那样。例如，路径生成器404可以确定每个段 的成本。成本可以基于各种因素或参数，包括但不限于，段离参考线 有多远，段中的样本点离参考线有多远，段或段中的样本点的曲率变 化率，段的曲率，可能位于样本点处的障碍物(例如，车辆、行人、 障碍物等)等。成本也可以称为权重。路径生成器404可以识别或选 择形成具有最低总成本(最低总权重)的路径的段。
图5A是示出根据一些实施方式的示例性图形500A的图示。图形 500A可以使用笛卡尔坐标系来表示X-Y平面，如图5A中的X轴和Y 轴所示。例如，可以使用X-Y坐标来表示图形500A上的点的位置。 在另一示例中，可以使用一个或多个等式/函数(例如，线性函数、三次多项式、五次多项式等)来表示图形500A上的线和/或区域。如上 所述，ADV(例如，图3A、3B和4A中所示的感知模块302)可以检 测ADV所在地理区域内的移动障碍物。例如，ADV可基于传感器数 据检测在ADV所在/行驶的街道/道路(例如，地理区域)上行走/跑步 的行人。如图5A所示，ADV(例如，图3B所示的预测模块302、图 4B所示的路径组件431等)可基于传感器数据确定移动障碍物可能行 进或采取的路径。移动障碍物可能行进的路径可称为预测路径、估计 路径、可能路径等。移动障碍物(例如，行人)的预测路径由线505 表示。线505(例如，移动障碍物的预测路径)包括点511、513、515、 517和519(例如，点511、513、515、517和519位于或落在505上)。 点511、513、515、517和519可以被称为预测点。
在一个实施方式中，如上所述，ADV可以使用卡尔曼滤波器来确 定线505(例如，移动障碍物的预测路径)和/或点511、513、515、 517和519(例如，预测点)。虽然本公开可涉及卡尔曼滤波器，但是 在其他实施方式中，可以使用各种其他滤波器、算法、方法、函数、 操作、过程等来确定预测点组/多个预测点。线505可以基于函数/等式 来表示，诸如线性函数、多项式函数(例如，三次多项式、五次多项 式等)，如上面所讨论的。
图5B是示出根据一些实施方式的示例性图形500B的图示。如上 所述，图形500B可以使用笛卡尔坐标系表示X-Y平面，如图5B中的 X轴和Y轴所示。此外，如上所述，ADV可以检测ADV所在的地理 区域(例如，道路、街道等)内的移动障碍物(例如，行人、自行车 骑行人等)。如图5B所示，ADV可基于传感器数据确定移动障碍物可 能行进或采取的路径。移动障碍物可能行进的路径可称为预测路径、 估计路径、可能路径等。移动障碍物(例如，行人)的预测路径由线 505表示。线505(例如，移动障碍物的预测路径)包括点511、513、 515、517和519(例如，点511、513、515、517和519位于或落在 505上)。点511、513、515、517和519可以被称为预测点。
在一个实施方式中，ADV(例如，图3B所示的预测模块302、图 4B所示的变化组件432等)可以基于点511、513、515、515、517和 519(例如，基于一个或多个预测点)来确定周围区域523、525、527 和529(例如，由图5B中的椭圆表示)。例如，ADV可以为点513确 定周围区域523，可以为点515确定周围区域525，可以为点517确定 周围区域527，并且可以为点519确定周围区域529。
虽然周围区域523、525、527和529被示出为椭圆，但是在其他 实施方式中，周围区域523、525、527和529可以具有其他形状。例 如，用于预测点的周围区域可以具有圆形形状(例如，可以是圆)。在 另一示例中，预测点的周围区域可以具有椭球形状(例如，可以是椭圆)。虽然附图和本公开可以涉及圆和/或椭圆，但是在其他实施方式 中可以使用其他形状。在一些实施方式中，周围区域523、525、527 和529的长度和宽度可以基于移动障碍物的总体路径(由线505表示)。 例如，线505沿X轴的距离大于沿Y轴的距离(例如，线的长度大于线的宽度)。因此，周围区域523、525、527和529的长度(例如，椭 圆的长度)可以大于周围区域523、525、527和529的宽度(例如， 椭圆的宽度)。在另一示例中，如果线将近或接近45°角(例如，线的 长度基本上等于线的宽度)，则周围区域的长度和宽度可以相等(例如， 周围区域可以具有圆形形状，而不是椭球形状)。
在一个实施方式中，可基于距相应预测点的阈值标准偏差来确定周 围区域523、525、527和529中的每一个。例如，周围区域517的长度 和宽度可以等于距点517的标准偏差的阈值数目。如上所述，周围区域 523、525、527和529可被称为X-sigma(X-σ)区域，其中X是距相应 预测点的标准偏差的数量(例如，3-sigma(3-σ)区域可指示周围区域的 长度和宽度是距点的三个标准偏差)。在一些实施方式中，周围区域523、 525、527和529可以是3-sigma(3-σ)区域。3-σ区域可以是移动障碍 物不会移出该3-σ区域边界外的可能性(例如，概率)为99.7％的区 域。在其他实施方式中，周围区域523、525、527和529可以是不同的 X-sigma区域。例如，周围区域523、525、527和529可以是2-sigma(2-σ) 区域。在另一示例中，周围区域523可以是3-sigma(3-σ)区域，而周围 区域529可以是2-sigma(2-σ)区域。
图5C是示出根据一些实施方式的示例性图形500C的图示。如上 所述，图形500C可以使用笛卡尔坐标系表示X-Y平面，如图5C中的X 轴和Y轴所示。此外，如上所述，ADV可以检测ADV所在的地理区 域(例如，道路、街道等)内的移动障碍物(例如，行人、自行车骑 行人等)。如图5C所示，ADV可以基于传感器数据确定移动障碍物可能 行进或采取的路径。移动障碍物可能行进的路径可称为预测路径、估计 路径、可能路径等。移动障碍物(例如，行人)的预测路径由线505表 示。线505(例如，移动障碍物的预测路径)包括点511、513、515、517和519(例如，点511、513、515、517和519位于或落在505上)。点511、513、515、517和519可以被称为预测点。同样如图5C所示，ADV 可确定周围区域523、525、527和529。周围区域523、525、527和529 中的每一个可基于距相应预测点的阈值标准偏差来确定，如上文所讨论的。例如，周围区域517的长度和宽度可以等于距点517的标准偏差的 阈值数目。
在一个实施方式中，ADV(例如，图3B所示的预测模块303、图4B 所示的区域组件433等)可以基于由变化组件432确定的一个或多个周 围区域来确定预测区域的一个或多个边界点。例如，ADV可以为周围区 域523确定边界点531和532，可以为周围区域525确定边界点533和 534，可以为周围区域527确定边界点535和536，并且可以为周围区域 529确定边界点537和538。在一些实施方式中，边界点531至538可以 被确定为使得当边界点被连接以形成区域(例如，预测区域)时，周围 区域523、525、527和529的最外边缘被包含在边界点内，如下文更详 细地讨论的那样。
图5D是示出根据一些实施方式的示例性图形500D的图示。如上 所述，图形500D可以使用笛卡尔坐标系表示X-Y平面，如图5D中的X 轴和Y轴所示。此外，如上所述，ADV可以检测ADV所在的地理区 域(例如，道路、街道等)内的移动障碍物(例如，行人、自行车骑 行人等)。ADV可基于传感器数据确定移动障碍物可能行进或采取的路 径。移动障碍物可能行进的路径可称为预测路径、估计路径、可能路径 等。ADV还可确定周围区域523、525、527和529。ADV还可以基于周 围区域523、525、527和529进一步确定边界点531至538。
在一个实施方式中，区域组件433可基于边界点531至538来确定 预测区域550(由阴影区域示出)。如图所示，边界点531至538连接在 一起以形成预测区域550。例如，点511可以连接到边界点532和531， 边界点531连接到边界点533，边界点533连接到边界点535，边界点535 连接到边界点537，边界点532连接到边界点534，边界点534连接到边 界点536，边界点536连接到边界点538，边界点537连接到边界点538。 所连接的点(例如，点511和边界点531至538)可以形成预测区域550。 边界点531至538可以被包含或包括在预测区域550中。例如，边界点531至538可以位于预测区域550的边缘或边界周围。图5A到5C中所 示的预测路径(例如，线505)可以位于预测区域550内。
在一些实施方式中，预测区域550可以包括或包含移动障碍物可能 移动到的可能位置。例如，移动障碍物可以是可能沿着预测路径(例如， 图5A到5C所示的线505)行进的行人。由于移动的障碍物(例如，行 人)在移动/行进通过地理区域时可能不可预测地移动，因此确定包括移 动的障碍物可能移动的可能位置的区域可能是有用的。基于用于确定预 测区域的周围区域的阈值标准偏差，预测区域可以包含行人可移动到的 可能位置的百分比。例如，如果每个周围区域523、525、527和529是 3-sigma(3-σ)周围区域，那么预测区域可包含99.7％的行人可以移动 到的可能位置。因此，如果ADV避开预测区域550，那么ADV可以具有99.7％的可能性避开(例如，不碰撞)移动障碍物。这可以允许ADV 对移动障碍物移动的不确定性或不可预测性进行考虑、计划、准备等。 这也可以通过增加ADV不会与移动障碍物相撞、不碰撞、不撞击等的可 能性来允许ADV更安全地操作。
图6A是示出根据一些实施方式在环境600A(例如，地理区域/位置) 中行驶(例如，移动、驾驶等)的ADV 605的示例的图示。环境600A 包括道路610(例如，街道、车道、大路、免费高速公路、高速公路等) 和车辆615。道路610具有两个车道，车道611和车道612。两个车道通 过车道线613划分，道路的边界由车道线616和617限定。环境600A还 包括行人630(例如，移动障碍物)，行人630正移动(例如，行走、跑 步等)通过环境600A。道路610、车道611和612、车道线613、616和 617、ADV 605的位置、行人630的位置和/或图6A所示的其他元素可以 使用笛卡尔坐标系表示，如图6A中的X轴和Y轴所示。例如，ADV 605 的位置可以使用X-Y坐标表示。
如上所述，ADV 605可基于传感器数据(例如，基于视频数据、雷 达数据、LIDAR数据等)检测和/或识别行人630。ADV 605可以确定行 人630的预测路径，如上所述。ADV 605还可以基于预测路径的点确定 多个周围区域，如上所述。ADV 605可以为周围区域确定多个边界点， 并且可以基于多个边界点来确定预测区域635，如上所述。
在一些实施方式中，预测区域635可以包括或包含行人630可能移 动到的可能位置。由于行人630在移动/行进通过环境600A时可能不可 预测地移动，因此确定包括移动障碍物可能移动的可能位置的区域可能 是有用的。如果使用3-sigma(3-σ)周围区域来确定预测区域635，那 么预测区域635可以包含99.7％的行人630可能移动到的可能位置。因此，如果ADV避开预测区域635，那么ADV可以具有99.7％的可能性避开 (例如，不碰撞)行人630。这也可以通过增加ADV不会与移动障碍物 相撞、撞击、碰撞等的可能性来允许ADV更安全地操作。
图6B是示出根据一些实施方式的在环境600B(例如，地理区域/位 置)中行驶(例如，移动、驾驶等)的ADV 605的示例的图示。环境600 B包括道路610、车道线613、616和617以及车辆615。如上所述，参 考线生成器405(如图4所示)可以生成参考线。参考线可以是引导路径， 例如，ADV 605的道路610的中心线。同样如上所述，分段器401(如 图4所示)可以将参考线分割(例如，划分、分离等)为参考线段。样 本点生成器403可以生成样本点650(如图6B中的黑点所示)，如上所 述。样本点650可以被分组为样本点的群或组。如图6B所示，样本点 607被分组为三组样本点。道路610、样本点650、参考线630和/或图6B 中所示的其他元素可以使用笛卡尔坐标系表示，如图6B中的X轴和Y 轴所示。例如，ADV 605的位置可以用X-Y坐标表示。在另一示例中， 样本点650可以用X-Y坐标表示。在其他实施方式中，可以使用不同数 量的参考线段、不同数量的样本点、不同数量的组、组中不同数量的样 本点、不同位置的样本点。
在一个实施方式中，可以使用一个或多个多项式函数来表示参考线。 例如，多项式函数生成器402可以生成可以表示参考线段的多项式函数。 多项式函数生成器402可以为每个参考线段生成一个多项式函数。针对 每个参考线段，五次函数生成器402可生成五次多项式函数θ(s)。在一 个实施方式中，每个五次多项式函数表示对应参考线段的开始参考点的 方向。五次多项式函数的导数(例如，一阶导数)表示参考线段的开始 参考点的曲率，K＝dθ/ds。五次多项式函数的二阶导数表示曲率变化或 曲率变化率，dK/ds。
出于说明目的，定义以下各项：
·θ0：开始方向
·开始曲率κ，关于曲线长度的方向导数，即
·开始曲率导数，即
·θ1：结束方向
·结束曲率
·结束曲率导数
·Δs：两个端点之间的曲线长度
每个分段螺旋路径由七个参数决定：开始方向(θ0)、开始曲率(dθ0)、 开始曲率导数(d2θ0)、结束方向(θ1)、结束曲率(dθ1)、结束曲率导 数(d2θ1)以及开始点与结束点之间的曲线长度(Δs)。在一个实施方式 中，多项式函数可以是五次多项式函数。五次多项式函数可以由等式(1) (例如公式、函数等)定义如下：
θi(s)＝a*s5+b*s4+c*s3+d*s2+e*s+f (1)
并且其满足
θi(0)＝θi (2)
θi(Δs)＝θi+1 (5)
在另一实施方式中，多项式函数可以是三次多项式。一个三次多项 式可以由等式(8)定义如下：
θi(s)＝a*s3+b*s2+c*s+f (8)
并且三次多项式可以满足由方程(2)至(7)所示的相同条件(关 于五次多项式函数如上表示)。
基于上述约束，对所有参考线段的所有多项式函数执行优化，使得 在零段长度处的表示参考线段(i)的多项式函数的输出应当与对应参考 线段(i)的开始参考点处的方向相同或相似。多项式函数的一阶导数应 当与参考线段(i)的开始参考点处的曲率相同或相似。多项式函数的二 阶导数应当与参考线段(i)的开始参考点处的曲率变化率相同或相似。 类似地，在完整段长度(s)处的表示参考线段(i)的多项式函数的输出 应当与下一个参考线段(i+1)的开始参考点处的方向相同或相似，所述 开始参考点是当前参考线段(i)的结束参考点。多项式函数的一阶导数 应当与下一个参考线段(i+1)的开始参考点处的曲率相同或相似。多项 式函数的二阶导数应当与下一个参考线段(i+1)的开始参考点处的曲率 变化率相同或相似。
例如，对于参考线段501，对应多项式函数θ(0)的输出表示参考 线段的开始点的方向或角度。θ(Δs0)表示参考线段的结束点的方向， 其中参考线段的结束点也是下一个参考线段的开始点。θ(0)的一阶导 数表示参考线段的开始点(x0,y0)处的曲率，并且θ(0)的二阶导数表 示参考线段的结束点处的曲率变化率。θ(s0)的一阶导数表示参考线段 的结束点的曲率，并且θ(s0)的二阶导数表示参考线段的结束点的曲率 变化率。
通过代入上述变量θi、θi+1、Δs，将存在可以用于求 解多项式函数的系数a、b、c、d、e和f的六个方程式。例如，如上所述， 给定点处的方向可以使用上述五次多项式函数来定义：
θ(s)＝as5+bs4+cs3+ds2+es+f (9)
五次多项式函数的一阶导数表示路径的点处的曲率：
dθ＝5as4+4bs3+3cs2+2ds+e (10)
五次多项式函数的二阶导数表示路径的点处的曲率变化率：
d2θ＝20as3+12bs2+6cs+2d (11)
对于给定螺旋路径或参考线段，涉及两个点：开始点和结束点，其 中每个点的方向、曲率和曲率变化率可以分别由上述三个方程式表示。 因此，针对每个螺旋路径或参考线段存在总共六个方程式。这六个方程 式可以用于确定对应五次多项式函数的系数a、b、c、d、e和f。
当螺旋路径用于表示笛卡尔空间中的连续参考点之间的曲线时，需 要在螺旋路径曲线长度与笛卡尔空间中的位置之间建立连接或桥梁。给 定由{θi,dθi,d2θi,θi+1,dθi+1,d2θi+1,Δs}定义的螺旋路径θi(s)和路径开始点 pi＝(xi,yi)，我们需要确定点p＝(x,y)的坐标，给定任何s＝[0,Δs]。 在一个实施方式中，给定点的坐标可以基于以下等式(例如公式、函数 等)来获得：
当s＝Δs时，给定曲线θi和开始坐标pi＝(xi,yi)，获得结束坐标 pi+1。执行函数的优化，使得螺旋路径的函数的总体输出达到最小，同时 满足上述一组约束。此外，要求从优化导出的终点的坐标相对于初始参 考线的对应坐标在预定范围(例如，公差、误差容限)内。也就是说， 每个经优化的点与初始参考线的对应点之间的差值应当在预定阈值内。
在一些实施方式中，路径生成器404可以使用动态编程算法、函数、 操作等来确定ADV 605的路径。例如，路径生成器404可以使用Dijkstra 算法基于段的成本(例如，权重)来确定ADV 605的成本最低的路径。 ADV的路径可以包括在最左样本点组和中间样本点组之间的九个段中的 一个段，以及在中间样本点组和最右样本点组之间的九个段中的一个段。 如果多个路径具有相同的最低成本，则路径生成器404可基于各种因素 选择多个路径中的一个。例如，路径生成器404可以选择最接近于遵循 参考线的路径(例如，与参考线偏离最小的路径)。
图7是示出根据一些实施方式的用于确定自动驾驶车辆(例如， ADV)的路径的过程700的示例的流程图。过程700可以由处理逻辑来 执行，处理逻辑可以包括软件、硬件或其组合。过程700可以通过处理 逻辑来执行，处理逻辑可以包括硬件(例如，电路、专用逻辑、可编程 逻辑、处理器、处理装置、中央处理单元(CPU)、片上***(SoC)等)、 软件(例如，在处理装置上运行/执行的指令)、固件(例如，微代码)、 或它们的组合。在一些实施方式中，过程700可以由如图3B、图4A、 图4B和4C所示的感知模块302、预测模块303和规划模块305中的一 个或多个来执行。参照图7，在块705，处理逻辑识别和/或检测移动障碍 物。例如，处理逻辑可以基于传感器数据检测移动障碍物(例如行人)。 在块710，处理逻辑可以确定移动障碍物的预测路径。例如，处理逻辑可 以基于传感器数据确定表示预测路径的一个或多个点(例如，预测点)。
在块715，处理逻辑可确定预测点的周围区域。例如，处理逻辑可以 确定阈值标准偏差(例如，三个标准差)并且可以基于阈值标准偏差确 定周围区域，如上面所讨论的。在块720，处理逻辑可以基于周围区域确 定边界点。例如，处理逻辑可以确定边界点，使得当边界点连接时，周 围区域的最外边缘可被包含在边界点内。在块725，处理逻辑可以基于边界点确定预测区域。例如，处理逻辑可以连接边界点以形成预测区域， 如上所述。
在块730，处理逻辑可以基于预测区域确定ADV的路径。例如，处 理逻辑可以确定避开预测区域的参考线，如上所述。处理逻辑可以基于 参考线确定样本点。样本点也可以避开预测区域，如上所述。处理逻辑 可以进一步基于样本点确定多个段，如上所述。处理逻辑可以进一步基 于多个段确定ADV的路径，如上所述。在块735，处理逻辑可以基于路 径控制ADV。例如，处理逻辑可以使ADV沿着路径移动和/或行驶。
应注意，如上文示出和描述的部件中的一些或全部可在软件、硬 件或其组合中实施。例如，此类部件可实施为安装并存储在永久性存 储装置中的软件，所述软件可通过处理器(未示出)加载在存储器中 并在存储器中执行以实施贯穿本申请所述的过程或操作。可替代地， 此类部件可实施为编程或嵌入到专用硬件(诸如，集成电路(例如， 专用集成电路或ASIC)、数字信号处理器(DSP)或现场可编程门阵 列(FPGA))中的可执行代码，所述可执行代码可经由来自应用的相 应驱动程序和/或操作***来访问。此外，此类部件可实施为处理器或 处理器内核中的特定硬件逻辑，作为可由软件部件通过一个或多个特 定指令访问的指令集的一部分。
图8是示出可与本公开的一个实施方式一起使用的数据处理*** 的示例的框图。例如，***1500可表示以上所述的执行上述过程或方 法中的任一个的任何数据处理***，例如，图1的感知与规划***110 或者服务器103至104中的任一个。***1500可包括许多不同的部件。 这些部件可实施为集成电路(IC)、集成电路的部分、分立电子装置或 适用于电路板(诸如，计算机***的主板或***卡)的其它模块或者 实施为以其它方式并入计算机***的机架内的部件。
还应注意，***1500旨在示出计算机***的许多部件的高阶视 图。然而，应当理解的是，某些实施例中可具有附加的部件，此外， 其它实施例中可具有所示部件的不同布置。***1500可表示台式计算 机、膝上型计算机、平板计算机、服务器、移动电话、介质播放器、 个人数字助理(PDA)、智能手表、个人通信器、游戏装置、网络路由 器或集线器、无线接入点(AP)或中继器、机顶盒或其组合。此外， 虽然仅示出了单个机器或***，但是术语“机器”或“***”还应当 被理解为包括单独地或共同地执行一个(或多个)指令集以执行本文所讨论的任何一种或多种方法的机器或***的任何集合。
在一个实施方式中，***1500包括通过总线或互连件1510连接 的处理器1501、存储器1503以及装置1505至1508。处理器1501可 表示其中包括单个处理器内核或多个处理器内核的单个处理器或多个 处理器。处理器1501可表示一个或多个通用处理器，诸如，微处理器、 中央处理单元(CPU)等。更具体地，处理器1501可以是复杂指令集 计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指 令字(VLIW)微处理器、或实施其它指令集的处理器、或实施指令集 组合的处理器。处理器1501还可以是一个或多个专用处理器，诸如， 专用集成电路(ASIC)、蜂窝或基带处理器、现场可编程门阵列 (FPGA)、数字信号处理器(DSP)、网络处理器、图形处理器、通信 处理器、加密处理器、协处理器、嵌入式处理器、或者能够处理指令 的任何其它类型的逻辑。
处理器1501(其可以是低功率多核处理器套接口，诸如超低电压 处理器)可充当用于与所述***的各种部件通信的主处理单元和中央 集线器。这种处理器可实施为片上***(SoC)。处理器1501被配置 成执行用于执行本文所讨论的操作和步骤的指令。***1500还可包括 与可选的图形子***1504通信的图形接口，图形子***1504可包括 显示控制器、图形处理器和/或显示装置。
处理器1501可与存储器1503通信，存储器1503在一个实施方式 中可经由多个存储器装置实施以提供给定量的***存储。存储器1503 可包括一个或多个易失性存储(或存储器)装置，诸如，随机存取存 储器(RAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、静态 RAM(SRAM)或者其它类型的存储装置。存储器1503可存储包括由 处理器1501或任何其它装置执行的指令序列的信息。例如，各种操作 ***、装置驱动程序、固件(例如，输入输出基本***或BIOS)和/ 或应用的可执行代码和/或数据可加载到存储器1503中并由处理器 1501执行。操作***可以是任何类型的操作***，例如，机器人操作 ***(ROS)、来自公司的操作***、来自苹果 公司的来自公司的LINUX、 UNIX，或者其它实时或嵌入式操作***。
***1500还可包括IO装置，诸如装置1505至1508，包括网络 接口装置1505、可选的输入装置1506，以及其它可选的IO装置1507。 网络接口装置1505可包括无线收发器和/或网络接口卡(NIC)。所述 无线收发器可以是WiFi收发器、红外收发器、蓝牙收发器、WiMax收发器、无线蜂窝电话收发器、卫星收发器(例如，全球定位***(GPS) 收发器)或其它射频(RF)收发器或者它们的组合。NIC可以是以太 网卡。
输入装置1506可包括鼠标、触摸板、触敏屏幕(其可与显示装置 1504集成在一起)、指针装置(诸如，手写笔)和/或键盘(例如，物 理键盘或作为触敏屏幕的一部分显示的虚拟键盘)。例如，输入装置 1506可包括联接到触摸屏的触摸屏控制器。触摸屏和触摸屏控制器例 如可使用多种触敏技术(包括但不限于电容、电阻、红外和表面声波 技术)中的任一种，以及其它接近传感器阵列或用于确定与触摸屏接 触的一个或多个点的其它元件来检测其接触和移动或间断。
IO装置1507可包括音频装置。音频装置可包括扬声器和/或麦克 风，以促进支持语音的功能，诸如语音识别、语音复制、数字记录和/ 或电话功能。其它IO装置1507还可包括通用串行总线(USB)端口、 并行端口、串行端口、打印机、网络接口、总线桥(例如，PCI-PCI 桥)、传感器(例如，诸如加速度计运动传感器、陀螺仪、磁强计、光 传感器、罗盘、接近传感器等)或者它们的组合。装置1507还可包括 成像处理子***(例如，摄像机)，所述成像处理子***可包括用于促 进摄像机功能(诸如，记录照片和视频片段)的光学传感器，诸如电 荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)光学传感器。 某些传感器可经由传感器集线器(未示出)联接到互连件1510，而诸 如键盘或热传感器的其它装置可根据***1500的具体配置或设计由 嵌入式控制器(未示出)控制。
为了提供对诸如数据、应用、一个或多个操作***等信息的永久 性存储，大容量存储装置(未示出)也可联接到处理器1501。在各种 实施方式中，为了实现更薄且更轻的***设计并且改进***响应性， 这种大容量存储装置可经由固态装置(SSD)来实施。然而，在其它 实施方式中，大容量存储装置可主要使用硬盘驱动器(HDD)来实施， 其中较小量的SSD存储装置充当SSD高速缓存以在断电事件期间实 现上下文状态以及其它此类信息的非易失性存储，从而使得在***活 动重新启动时能够实现快速通电。另外，闪存装置可例如经由串行外 围接口(SPI)联接到处理器1501。这种闪存装置可提供***软件的 非易失性存储，所述***软件包括所述***的BIOS以及其它固件。
存储装置1508可包括计算机可访问的存储介质1509(也被称为 机器可读存储介质或计算机可读介质)，其上存储有体现本文所述的任 何一种或多种方法或功能的一个或多个指令集或软件(例如，模块、 单元和/或逻辑1528)。处理模块/单元/逻辑1528可表示上述部件中的 任一个，例如规划模块305、控制模块306。处理模块/单元/逻辑1528 还可在其由数据处理***1500、存储器1503和处理器1501执行期间 完全地或至少部分地驻留在存储器1503内和/或处理器1501内，数据 处理***1500、存储器1503和处理器1501也构成机器可访问的存储 介质。处理模块/单元/逻辑1528还可通过网络经由网络接口装置1505 进行传送或接收。
计算机可读存储介质1509也可用来永久性地存储以上描述的一 些软件功能。虽然计算机可读存储介质1509在示例性实施方式中被示 为单个介质，但是术语“计算机可读存储介质”应当被认为包括存储 所述一个或多个指令集的单个介质或多个介质(例如，集中式或分布 式数据库和/或相关联的高速缓存和服务器)。术语“计算机可读存储 介质”还应当被认为包括能够存储或编码指令集的任何介质，所述指 令集用于由机器执行并且使得所述机器执行本公开的任何一种或多种 方法。因此，术语“计算机可读存储介质”应当被认为包括但不限于 固态存储器以及光学介质和磁性介质，或者任何其它非暂时性机器可读介质。
本文所述的处理模块/单元/逻辑1528、部件以及其它特征可实施 为分立硬件部件或集成在硬件部件(诸如，ASICS、FPGA、DSP或类 似装置)的功能中。此外，处理模块/单元/逻辑1528可实施为硬件装 置内的固件或功能电路。此外，处理模块/单元/逻辑1528可以以硬件 装置和软件部件的任何组合来实施。
应注意，虽然***1500被示出为具有数据处理***的各种部件， 但是并不旨在表示使部件互连的任何特定架构或方式；因为此类细节 和本公开的实施方式没有密切关系。还应当认识到，具有更少部件或 可能具有更多部件的网络计算机、手持计算机、移动电话、服务器和/ 或其它数据处理***也可与本公开的实施方式一起使用。
前述详细描述中的一些部分已经根据在计算机存储器内对数据位 的运算的算法和符号表示而呈现。这些算法描述和表示是数据处理领 域中的技术人员所使用的方式，以将他们的工作实质最有效地传达给 本领域中的其他技术人员。本文中，算法通常被认为是导致所期望结 果的自洽操作序列。这些操作是指需要对物理量进行物理操控的操作。
然而，应当牢记，所有这些和类似的术语均旨在与适当的物理量 关联，并且仅仅是应用于这些量的方便标记。除非在以上讨论中以其 它方式明确地指出，否则应当了解，在整个说明书中，利用术语(诸 如所附权利要求书中所阐述的术语)进行的讨论是指计算机***或类 似电子计算装置的动作和处理，所述计算机***或电子计算装置操控 计算机***的寄存器和存储器内的表示为物理(电子)量的数据，并 将所述数据变换成计算机***存储器或寄存器或者其它此类信息存储 装置、传送或显示装置内类似地表示为物理量的其它数据。
本公开的实施方式还涉及用于执行本文中的操作的设备。这种计 算机程序被存储在非暂时性计算机可读介质中。机器可读介质包括用 于以机器(例如，计算机)可读的形式存储信息的任何机构。例如， 机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读 存储介质(例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、 磁盘存储介质、光存储介质、闪存存储器装置)。
前述附图中所描绘的过程或方法可由处理逻辑来执行，所述处理 逻辑包括硬件(例如，电路、专用逻辑等)、软件(例如，体现在非暂 时性计算机可读介质上)或两者的组合。尽管所述过程或方法在上文 是依据一些顺序操作来描述的，但是应当了解，所述操作中的一些可 按不同的顺序执行。此外，一些操作可并行地执行而不是顺序地执行。
本公开的实施方式并未参考任何特定的编程语言进行描述。应认 识到，可使用多种编程语言来实施如本文描述的本公开的实施方式的 教导。
在以上的说明书中，已经参考本公开的具体示例性实施方式对本 公开的实施方式进行了描述。将显而易见的是，在不脱离所附权利要 求书中阐述的本公开的更宽泛精神和范围的情况下，可对本发明作出 各种修改。因此，应当在说明性意义而不是限制性意义上来理解本说 明书和附图。

Claims (20)

1.一种用于操作自动驾驶车辆的计算机实施的方法，所述计算机实施的方法包括：
确定移动障碍物的预测路径；
基于所述移动障碍物的所述预测路径确定预测区域，其中，所述预测区域包括所述预测路径；
基于所述预测区域确定所述自动驾驶车辆的路径，其中，所述路径避开所述预测区域；以及
基于所述路径控制所述自动驾驶车辆。
2.根据权利要求1所述的计算机实施的方法，其中，确定所述预测路径包括：
确定所述自动驾驶车辆所在的地理区域中的多个预测点，其中，所述预测路径包括所述多个预测点。
3.根据权利要求2所述的计算机实施的方法，其中，确定所述预测区域包括：
确定所述多个预测点的多个周围区域。
4.根据权利要求3所述的计算机实施的方法，其中，所述多个周围区域的每个周围区域是基于距相应预测点的阈值标准偏差确定的。
5.根据权利要求3所述的计算机实施的方法，其中，确定所述预测区域进一步包括：
基于所述多个周围区域确定多个边界点。
6.根据权利要求5所述的计算机实施的方法，其中，所述预测区域包含在所述多个边界点内。
7.根据权利要求1所述的计算机实施的方法，其中，确定所述自动驾驶车辆的所述路径包括：
基于所述预测区域生成参考线，其中，所述参考线避开所述预测区域；
基于所述参考线生成样本点组，其中，所述样本点组避开所述预测区域；
在所述样本点组之间生成多个段；以及
基于所述多个段确定所述自动驾驶车辆的所述路径，其中，所述路径包括来自所述样本点组中的每个的一个样本点。
8.根据权利要求1所述的计算机实施的方法，其中，所述预测路径是基于由所述自动驾驶车辆的一个或多个传感器生成的传感器数据来确定的。
9.根据权利要求8所述的计算机实施的方法，其中，所述传感器数据包括视频数据，并且其中，所述一个或多个传感器包括相机。
10.根据权利要求8所述的计算机实施的方法，其中，所述传感器数据包括雷达数据，并且其中，所述一个或多个传感器包括雷达单元。
11.根据权利要求8所述的计算机实施的方法，其中，所述传感器数据包括光探测和测距(LIDAR)数据，并且其中，所述一个或多个传感器包括光探测和测距单元。
12.一种存储有指令的非暂时性机器可读介质，所述指令在由处理器执行时致使所述处理器执行操作，所述操作包括：
确定移动障碍物的预测路径；
基于所述移动障碍物的所述预测路径确定预测区域，其中，所述预测区域包括所述预测路径；
基于所述预测区域确定所述自动驾驶车辆的路径，其中，所述路径避开所述预测区域；以及
基于所述路径控制所述自动驾驶车辆。
13.根据权利要求12所述的非暂时性机器可读介质，其中，确定所述预测路径包括：
确定所述自动驾驶车辆所在的地理区域中的多个预测点，其中，所述预测路径包括所述多个预测点。
14.根据权利要求13所述的非暂时性机器可读介质，其中，确定所述预测区域包括：
确定所述多个预测点的多个周围区域。
15.根据权利要求14所述的非暂时性机器可读介质，其中，所述多个周围区域的每个周围区域是基于距相应预测点的阈值标准偏差确定的。
16.根据权利要求14所述的非暂时性机器可读介质，其中，确定所述预测区域进一步包括：
基于所述多个周围区域确定多个边界点。
17.根据权利要求16所述的非暂时性机器可读介质，其中，所述预测区域包含在所述多个边界点内。
18.根据权利要求12所述的非暂时性机器可读介质，其中，确定所述自动驾驶车辆的所述路径包括：
基于所述预测区域生成参考线，其中，所述参考线避开所述预测区域；
基于所述参考线生成样本点组，其中，所述样本点组避开所述预测区域；
在所述样本点组之间生成多个段；以及
基于所述多个段确定所述自动驾驶车辆的所述路径，其中，所述路径包括来自所述样本点组中的每个的一个样本点。
19.根据权利要求12所述的非暂时性机器可读介质，其中，所述预测路径是基于由所述自动驾驶车辆的一个或多个传感器生成的传感器数据来确定的。
20.一种数据处理***，包括：
处理器；以及
存储器，耦合到所述处理器以存储指令，所述指令在由所述处理器执行时致使所述处理器执行操作，所述操作包括：
确定移动障碍物的预测路径；
基于所述移动障碍物的所述预测路径确定预测区域，其中，所述预测区域包括所述预测路径；
基于所述预测区域确定所述自动驾驶车辆的路径，其中，所述路径避开所述预测区域；以及
基于所述路径控制所述自动驾驶车辆。
CN201811566683.1A 2018-05-24 2018-12-19 确定避开移动障碍物的自动驾驶的驾驶路径 Pending CN110531749A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/988,901 US10800408B2 (en) 2018-05-24 2018-05-24 Determining driving paths for autonomous driving that avoid moving obstacles
US15/988,901 2018-05-24

Publications (1)

Publication Number Publication Date
CN110531749A true CN110531749A (zh) 2019-12-03

Family

ID=68614336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811566683.1A Pending CN110531749A (zh) 2018-05-24 2018-12-19 确定避开移动障碍物的自动驾驶的驾驶路径

Country Status (3)

Country Link
US (1) US10800408B2 (zh)
JP (1) JP7003087B2 (zh)
CN (1) CN110531749A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113951767A (zh) * 2021-11-08 2022-01-21 珠海格力电器股份有限公司 可移动设备的控制方法及装置
WO2022021910A1 (zh) * 2020-07-25 2022-02-03 华为技术有限公司 一种车辆碰撞检测方法、装置及计算机可读存储介质
CN114440882A (zh) * 2022-02-07 2022-05-06 电子科技大学 一种多智能家居移动设备及其协作寻路防撞方法
CN114537381A (zh) * 2020-11-24 2022-05-27 郑州宇通客车股份有限公司 一种自动驾驶车辆的车道避障方法及装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6574224B2 (ja) * 2017-08-30 2019-09-11 本田技研工業株式会社 車両制御装置、車両、車両制御方法およびプログラム
US10782699B2 (en) * 2018-03-10 2020-09-22 Baidu Usa Llc Real-time perception adjustment and driving adaption based on surrounding vehicles' behavior for autonomous driving vehicles
US11126199B2 (en) * 2018-04-16 2021-09-21 Baidu Usa Llc Learning based speed planner for autonomous driving vehicles
US11155259B2 (en) * 2018-09-13 2021-10-26 Honda Motor Co., Ltd. System and method for egocentric-vision based future vehicle localization
US11199847B2 (en) * 2018-09-26 2021-12-14 Baidu Usa Llc Curvature corrected path sampling system for autonomous driving vehicles
US11079761B2 (en) * 2018-12-12 2021-08-03 Ford Global Technologies, Llc Vehicle path processing
US11733703B2 (en) * 2019-01-30 2023-08-22 Perceptive Automata, Inc. Automatic braking of autonomous vehicles using machine learning based prediction of behavior of a traffic entity
US10919543B2 (en) * 2019-01-30 2021-02-16 StradVision, Inc. Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route
US11467579B2 (en) 2019-02-06 2022-10-11 Perceptive Automata, Inc. Probabilistic neural network for predicting hidden context of traffic entities for autonomous vehicles
US11221229B1 (en) * 2019-03-20 2022-01-11 Gm Cruise Holdings Llc Autonomous vehicle routing based on predicted location of a disruptive third-party vehicle
US11454971B2 (en) * 2019-08-29 2022-09-27 GM Global Technology Operations LLC Methods and systems for learning user preferences for lane changes
DE112020006351T5 (de) 2019-12-26 2022-10-20 Panasonic Intellectual Property Management Co., Ltd. Anzeigesteuervorrichtung, Anzeigesystem und Anzeigesteuerverfahren
US11661085B2 (en) * 2020-06-04 2023-05-30 Baidu Usa Llc Locked pedestrian detection and prediction for autonomous vehicles
CN111650945B (zh) * 2020-06-28 2023-10-24 北京智行者科技股份有限公司 动态障碍物防撞方法
KR20220039903A (ko) 2020-09-21 2022-03-30 현대자동차주식회사 자율주행 제어 장치 및 방법
CN112529874A (zh) * 2020-12-14 2021-03-19 上海智蕙林医疗科技有限公司 基于三维雷达的障碍物检测方法、装置、介质和机器人
US11880203B2 (en) * 2021-01-05 2024-01-23 Argo AI, LLC Methods and system for predicting trajectories of uncertain road users by semantic segmentation of drivable area boundaries
KR102317430B1 (ko) * 2021-05-27 2021-10-26 주식회사 라이드플럭스 자율주행 차량의 주행 계획을 위한 로드 네트워크 맵 생성방법, 서버 및 컴퓨터프로그램
US20230065284A1 (en) * 2021-09-01 2023-03-02 Baidu Usa Llc Control and planning with localization uncertainty

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1986306A (zh) * 2005-12-22 2007-06-27 日产自动车株式会社 车辆用驾驶操作辅助装置以及具备它的车辆
CN101971116A (zh) * 2008-02-07 2011-02-09 丰田自动车株式会社 自动移动体及其控制方法、以及控制***
CN107031619A (zh) * 2015-12-11 2017-08-11 现代自动车株式会社 用于控制自动驾驶***的路径的方法和设备
CN107339997A (zh) * 2016-05-03 2017-11-10 现代自动车株式会社 自主车辆的路径规划装置及方法
US20180033318A1 (en) * 2016-07-29 2018-02-01 Ge Aviation Systems Llc Sense and avoid maneuvering

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2337386B (en) * 1996-09-09 2001-04-04 Dennis J Dupray Location of a mobile station
JP2002260192A (ja) * 2001-03-05 2002-09-13 Natl Inst For Land & Infrastructure Management Mlit 歩行者衝突防止支援方法及びその装置
JP4604683B2 (ja) * 2004-11-25 2011-01-05 日産自動車株式会社 危険状況警報装置
JP4148276B2 (ja) * 2006-05-09 2008-09-10 ソニー株式会社 位置推定装置、位置推定方法及びプログラム記録媒体
JP4893118B2 (ja) * 2006-06-13 2012-03-07 日産自動車株式会社 回避制御装置、この回避制御装置を備える車両および回避制御方法
JP5112666B2 (ja) * 2006-09-11 2013-01-09 株式会社日立製作所 移動装置
JP5082433B2 (ja) * 2006-12-26 2012-11-28 トヨタ自動車株式会社 移動体周囲危険度判定方法、装置、およびプログラム
JP5205997B2 (ja) * 2008-02-06 2013-06-05 日産自動車株式会社 車両用運転操作支援装置
JP5620147B2 (ja) * 2010-05-24 2014-11-05 株式会社豊田中央研究所 可動物予測装置及びプログラム
JP5782708B2 (ja) * 2010-12-03 2015-09-24 日産自動車株式会社 走行支援装置
EP2681085B1 (de) * 2011-03-01 2017-05-10 Continental Teves AG & Co. oHG Verfahren und vorrichtung zur prädiktion und adaption von bewegungstrajektorien von kraftfahrzeugen
DE102013101639A1 (de) * 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
JP6294342B2 (ja) * 2013-11-05 2018-03-14 株式会社日立製作所 自律移動システム
WO2016077506A1 (en) * 2014-11-11 2016-05-19 Bent Image Lab, Llc Accurate positioning of augmented reality content
JP6376059B2 (ja) * 2015-07-06 2018-08-22 トヨタ自動車株式会社 自動運転車両の制御装置
US9604639B2 (en) * 2015-08-28 2017-03-28 Delphi Technologies, Inc. Pedestrian-intent-detection for automated vehicles
CN114838733A (zh) * 2015-09-25 2022-08-02 苹果公司 非固态对象监测
US9568915B1 (en) * 2016-02-11 2017-02-14 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling autonomous or semi-autonomous vehicle
JP6731819B2 (ja) * 2016-09-26 2020-07-29 日立オートモティブシステムズ株式会社 移動体軌道予測システム
US10127818B2 (en) * 2017-02-11 2018-11-13 Clear Commute Ventures Pty Ltd Systems and methods for detecting and avoiding an emergency vehicle in the proximity of a substantially autonomous vehicle
US10449958B2 (en) * 2017-02-15 2019-10-22 Ford Global Technologies, Llc Feedback-based control model generation for an autonomous vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1986306A (zh) * 2005-12-22 2007-06-27 日产自动车株式会社 车辆用驾驶操作辅助装置以及具备它的车辆
CN101971116A (zh) * 2008-02-07 2011-02-09 丰田自动车株式会社 自动移动体及其控制方法、以及控制***
CN107031619A (zh) * 2015-12-11 2017-08-11 现代自动车株式会社 用于控制自动驾驶***的路径的方法和设备
CN107339997A (zh) * 2016-05-03 2017-11-10 现代自动车株式会社 自主车辆的路径规划装置及方法
US20180033318A1 (en) * 2016-07-29 2018-02-01 Ge Aviation Systems Llc Sense and avoid maneuvering

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
花晓峰 等: "基于禁区惩罚函数和MPC倍增预测的车辆避障研究", 《计算机工程与应用》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022021910A1 (zh) * 2020-07-25 2022-02-03 华为技术有限公司 一种车辆碰撞检测方法、装置及计算机可读存储介质
CN114537381A (zh) * 2020-11-24 2022-05-27 郑州宇通客车股份有限公司 一种自动驾驶车辆的车道避障方法及装置
CN114537381B (zh) * 2020-11-24 2024-05-31 宇通客车股份有限公司 一种自动驾驶车辆的车道避障方法及装置
CN113951767A (zh) * 2021-11-08 2022-01-21 珠海格力电器股份有限公司 可移动设备的控制方法及装置
CN114440882A (zh) * 2022-02-07 2022-05-06 电子科技大学 一种多智能家居移动设备及其协作寻路防撞方法
CN114440882B (zh) * 2022-02-07 2023-10-31 电子科技大学 一种多智能家居移动设备及其协作寻路防撞方法

Also Published As

Publication number Publication date
US10800408B2 (en) 2020-10-13
JP2019204509A (ja) 2019-11-28
JP7003087B2 (ja) 2022-01-20
US20190359205A1 (en) 2019-11-28

Similar Documents

Publication Publication Date Title
CN110531749A (zh) 确定避开移动障碍物的自动驾驶的驾驶路径
JP6906011B2 (ja) オブジェクトの二次元境界枠を自動運転車両の三次元位置に転換するための方法［ｍｅｔｈｏｄ ｆｏｒ ｔｒａｎｓｆｏｒｍｉｎｇ ２ｄ ｂｏｕｎｄｉｎｇ ｂｏｘｅｓ ｏｆ ｏｂｊｅｃｔｓ ｉｎｔｏ ３ｄ ｐｏｓｉｔｉｏｎｓ ｆｏｒ ａｕｔｏｎｏｍｏｕｓ ｄｒｉｖｉｎｇ ｖｅｈｉｃｌｅｓ （ａｄｖｓ）］
JP6757820B2 (ja) 重み付け幾何学的コストを有する区分的螺旋曲線を使用した基準線平滑化方法
CN108981730A (zh) 用于为操作自动驾驶车辆生成参考路径的方法和***
CN110345955A (zh) 用于自动驾驶的感知与规划协作框架
CN109947090A (zh) 用于自动驾驶车辆规划的非阻塞边界
CN110096053A (zh) 用于自动驾驶车辆的驾驶轨迹生成方法、***和机器可读介质
US11520335B2 (en) Determining driving paths for autonomous driving vehicles based on map data
CN109955853B (zh) 用于操作自动驾驶车辆的方法、***和存储介质
CN109491375A (zh) 用于自动驾驶车辆的基于驾驶场景的路径规划
CN110239562A (zh) 自动驾驶车辆的基于周围车辆行为的实时感知调整与驾驶调适
CN110389583A (zh) 生成自动驾驶车辆的轨迹的方法
CN110389585A (zh) 用于自动驾驶车辆的基于学习的速度规划器
US11199842B2 (en) Determining driving paths for autonomous driving using parallel processing
US20200031340A1 (en) Adjusting speeds along a path for autonomous driving vehicles
CN110389584A (zh) 用于评估自动驾驶车辆的轨迹候选项的方法
CN110119140A (zh) 用于加速曲线投影的***和方法
CN110083149A (zh) 用于自动驾驶车辆的路径与速度优化后馈机制
CN109489673A (zh) 用于自动驾驶车辆的数据驱动地图更新***
CN110389581A (zh) 用于为自动驾驶车辆生成障碍物的预测轨迹的方法
CN109489675A (zh) 用于自动驾驶车辆的基于成本的路径规划
CN109491377A (zh) 用于自动驾驶车辆的基于dp和qp的决策和规划
CN109491376A (zh) 用于自动驾驶车辆的基于动态规划和梯度下降的决策和规划
CN110325935A (zh) 用于自动驾驶车辆的路径规划的基于驾驶场景的车道引导线
CN109521763A (zh) 用于自动驾驶车辆的基于约束平滑样条的路径优化

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination