CN111923927B - 用于交互感知交通场景预测的方法和装置 - Google Patents

Abstract

描述了用于在自动驾驶车辆(AV)中制定决策的方法和***。一种车辆控制***可以包括控制单元、感知单元和行为规划单元。行为规划单元可以包括意图估计器，意图估计器从感知单元接收第一感知信息集合。行为规划单元可以包括运动预测器，其从感知单元接收第一感知信息集合。行为规划单元可以包括从感知单元接收第二感知信息集合的函数近似器。第二感知信息集合小于第一感知信息集合。函数近似器确定预测，并且控制单元使用该预测来控制AV的操作。

Description

用于交互感知交通场景预测的方法和装置

技术领域

本公开涉及自动驾驶车辆。更具体地，本公开涉及用于自动驾驶车辆的行为规划和决策制定方法。

背景技术

自动驾驶车辆(AV)需要在动态的、不确定的环境中制定决策(并与在驾驶场景中涉及的所有其他角色的动作之间具有紧密的耦合)，即执行行为规划。行为规划层可以被配置为基于其他角色的感知行为、道路状况和基础设施信号来确定驾驶行为。

对于无冲突路径，准确且有效地估计交通参与者的未来交互是重要的。现代框架可以被设计成以两种方式之一来解决这个问题：驾驶员意图(操纵)估计或未来运动预测。这些方法的独立应用可以应用于行人运动和车辆运动两者，然而，每种技术仅捕获驱动代理如何在环境中移动的部分信息。

典型的意图估计和运动预测模型处理相同的输入(即，跟踪历史)并以不同格式提供输出。换句话说，它们是解决相同问题的两种方式，因此是解决个体模型的原因。因此，将期望组合意图估计和运动预测模型的输出以预测交通参与者的未来运动。

发明内容

本文公开了行为规划和决策制定的方法和***的实现。在一方面，用于自动驾驶车辆(AV)的车辆控制***可以包括感知单元、行为规划单元和控制单元。行为规划单元可以包括意图估计器、运动预测器、函数近似器或它们的任意组合。意图估计器可以被配置为从感知单元接收第一感知信息集合。运动预测器可以被配置为从感知单元接收所述第一感知信息集合。函数近似器可以被配置为从感知单元接收第二感知信息集合。所述第二感知信息集合可以小于所述第一感知信息集合。函数近似器可以被配置为确定预测。控制单元可被配置为使用该预测来控制AV的操作。

在一方面，一种用于在AV中使用的方法可以包括在意图估计器处接收第一感知信息集合。该方法可以包括在运动预测器处接收所述第一感知信息集合。该方法可以包括在函数近似器处接收第二感知信息集合。所述第二感知信息集合可以小于所述第一感知信息集合。该方法可以包括确定预测。该方法可包括基于该预测来控制AV的操作。

附图说明

当结合附图阅读时，从以下详细描述中可以最好地理解本公开。要强调的是，根据惯例，附图的各种特征不是按比例绘制的。相反，为了清楚起见，各种特征的尺寸被任意地扩大或缩小。

图1是根据本公开实施例的车辆的示例的图。

图2是图1所示的控制***的示例的图。

图3是根据本公开实施例的车辆控制***的示例的图。

图4是根据本公开实施例的包括车辆控制***的车辆的侧视图的示例的图。

图5是根据本公开实施例的车辆控制***的示例的图。

图6是根据本公开实施例的车辆控制***的示例的图。

图7A是根据本公开实施例的两阶段框架的示例的图。

图7B是根据本公开实施例的两阶段框架的另一示例的图。

图7C是根据本公开实施例的三阶段框架的示例的图。

图8是根据本公开实施例的示例框架的示例的图。

图9是实现本公开实施例的用于接近交叉口的用例的示例的图。

图10是用于高速公路场景的用例的示例的图。

图11是用于基于两个或更多模型的组合来确定推荐的方法的示例的图。

具体实施方式

现在将更详细地参考本发明的实施例，在附图中示出了本发明的示例。在可能的情况下，在所有附图和说明书中使用相同的附图标记来表示相同或相似的部件。

如本文所使用的，术语“计算机”或“计算设备”包括能够执行本文所公开的任何方法或其任何一个或多个部分的任何单元或单元的组合。

如本文所使用，术语“处理器”指示一个或多个处理器，例如一个或多个专用处理器、一个或多个数字信号处理器、一个或多个微处理器、一个或多个控制器、一个或多个微控制器、一个或多个应用处理器、一个或多个中央处理单元(CPU)、一个或多个图形处理单元(GPU)、一个或多个数字信号处理器(DSP)、一个或多个专用集成电路(ASIC)、一个或多个专用标准产品、一个或多个现场可编程门阵列、任何其它类型的集成电路或集成电路的组合、一个或多个状态机或上述这些的任何组合。

如本文所使用的，术语“存储器”指示可以有形地包含、存储、传送或传输可以由任何处理器使用或与任何处理器结合使用的任何信号或信息的任何计算机可用或计算机可读的介质或设备。例如，存储器可以是一个或多个只读存储器(ROM)、一个或多个随机存取存储器(RAM)、一个或多个寄存器、低功率双倍数据速率(LPDDR)存储器、一个或多个高速缓存存储器、一个或多个半导体存储器设备、一个或多个磁介质、一个或多个光介质、一个或多个磁光介质、或上述这些的任意组合。

如本文所使用的，术语“指令”可以包括用于执行本文所公开的任何方法或其任何部分的指导或表达，并且可以以硬件、软件或这些的任何组合来实现。例如，指令可以被实现为存储在存储器中的信息，诸如计算机程序，其可以由处理器执行以执行如本文所述的相应方法、算法、方面或这些的组合中的任何一者。指令或其一部分可以被实现为专用处理器或电路，其可以包括用于执行如本文所述的方法、算法、方面或这些的组合中的任何一个的专用硬件。在一些实现方式中，指令的部分可以分布在单个设备上的多个处理器上、分布在多个设备上，所述多个设备可以直接通信或者在诸如局域网、广域网、因特网或这些的组合之类的网络上通信。

如本文所使用的，术语“确定”和“识别”或它们的任何变型包括使用本文示出和描述的一个或多个设备和方法以任何方式进行选择、查明、计算、查找、接收、确定、建立、获得或以其它方式识别或确定。

如本文所使用的，术语“示例”、“实施例”、“实现”、“方面”、“特征”或“元素”指示用作示例、实例或说明。除非明确指出，否则任何示例、实施例、实现方式、方面、特征或元素与其他示例、实施例、实现方式、方面、特征或元素彼此独立，并且可以与任何其他示例、实施例、实现方式、方面、特征或元素组合使用。

如本文所用，术语“或”旨在表示包含性的“或”而不是排他性的“或”，除非另有说明或从上下文中明确，否则“X包括A或B”旨在指示任何自然的包含性排列。即如果X包括A；X包括B；或者X包括A和B，则“X包括A或B”在任何前述情况下都满足。另外，除非另有说明或从上下文中明确涉及单数形式，否则本申请和所附权利要求中使用的冠词“一”一般应当被解释为表示“一个或多个”。

此外，为了简化说明，尽管本文的附图和描述可以包括步骤或阶段的序列或系列，但是本文公开的方法的元素可以以不同顺序或同时发生。另外，本文公开的方法的元素可以与本文未明确呈现和描述的其它元素一起出现。此外，并非本文所述方法的所有元素都是实现根据本公开的方法所必需的。尽管在此以特定的组合描述了方面、特征和元素，但是每个方面、特征或元素可以独立地使用或者与其他方面、特征和元素组合或不组合地使用。

随着自动驾驶车辆(AV)的出现，AV必须在包括多个独立行动的交通参与者的环境中共存。对于无冲突路径，每个AV必须准确和有效地估计交通参与者的未来交互。

本文公开的实施例包括一种架构，其被配置为智能地组合多个信息源以预测交通参与者的未来运动。该架构的框架可以是角色(即，流量参与者)不可知的。该框架可以被分派任务用于未来预定时间的场景中的所有交通参与者的轨迹预测。对框架的输入可以是交通场景的一个或多个角色的当前感知、一个或多个角色的当前定位状态、一个或多个角色的未来意图估计、一个或多个角色的未来运动预测或它们的任意组合的组合。交通场景的自主角色的当前感知可以基于传感器数据，例如，摄像头、雷达、激光雷达(LiDARS)或其任意组合。自主角色的当前定位状态可以基于诸如全球定位***(GPS)、惯性导航***(INS)或两者的信息源。

意图估计和运动预测是可以使用多种方法解决的场景预测问题。例如，在意图估计模型中，可以实现机器学习(ML)模型。ML模型可以获得场景中的所有交通参与者的状态历史，并且输出每个交通参与者的在不久的未来要执行的相应意图(即，操纵)。例如，用于车道变换场景的操纵集合可包括向左移动、向右移动、保持车道、保持速度、制动或其任何组合。类似地，每个道路结构可具有离散的操纵集合，其由交通参与者的类型分类，例如，车辆、骑自行车的人或行人。在运动预测模型中，可以实现ML模型。例如，ML模型可以获得与意图估计模型相同的输入，即，所有交通参与者的过去状态，并且学习所有角色(自车到其他角色，反之亦然)之间的空间和时间交互，以输出交通参与者中的每一者的相应未来状态。

由于代理所显示的行为的众多可能性，交互感知预测难以确定，因此如果没有适当建模，问题可能很快变得难以处理。可以实现函数近似器以获得最终输出，其中同时组合不同的信息源以考虑多模态，并且以便使用单个框架覆盖更大范围的可能性。函数近似器可以被配置为以智能方式组合信息。可以使用多种方法，例如代数乘法或加法、使用诸如打包、提升(boosting)等的集成技术或它们的任意组合来执行组合。同时提交的题为“DECISION MAKING METHODS AND SYSTEMS FOR AUTOMATED VEHICLE”的美国专利申请序列号16/410,261在此通过引用整体并入本文。

图1是根据本公开的实施例的车辆1000的示例的图。车辆1000可以是自动驾驶车辆(AV)或半自动驾驶车辆。如图1所示，车辆1000包括控制***1010。控制***1010可以被称为控制器。控制***1010包括处理器1020。处理器1020被编程为命令应用达到预定转向转矩值和达到预定净非对称制动力值中的一者。选择每个预定力以实现预定车辆横摆转矩，该预定车辆横摆转矩至多是由致动转向***1030得到的第一最大横摆转矩和由致动制动***得到的第二最大横摆转矩中的较小者。

转向***1030可以包括转向致动器1040，其是电动助力转向致动器。制动***可包括耦合到车辆1000的相应车轮1060的一个或多个制动器1050。另外，处理器1020可以被编程为命令制动***通过每个制动器1050施加与其他制动器1050不同的制动力来施加净非对称制动力。

处理器1020可进一步被编程为响应于转向***1030的故障而命令制动***施加制动力，例如净非对称制动力。附加地或替代地，处理器1020可以被编程为响应于转向***1030的故障而向乘员提供警告。转向***1030可以是动力转向控制模块。控制***1010可以包括转向***1030。另外，控制***1010可以包括制动***。

转向***1030可以包括转向致动器1040，其是电动助力转向致动器。制动***可包括两个制动器1050，其耦合到车辆1000的相对侧上相应的车轮1060。另外，该方法可包括通过每个制动器1050施加不同的制动力来命令制动***施加净非对称制动力。

如果在车辆1000正在执行转弯时，转向***1030和制动***中的一者失效，则控制***1010允许转向***1030和制动***中的另一者接管转向***1030和制动***中的失效的一者。无论转向***1030和制动***中的哪一者保持可操作，都能够向车辆1000施加足够的横摆转矩以继续转弯。因此，车辆1000不太可能撞击诸如另一车辆或道路障碍物的物体，并且车辆1000的任何乘员不太可能受伤。

车辆1000可以在一个或多个自动驾驶车辆操作等级操作。出于本公开的目的，自动模式被定义为其中车辆1000的推进(例如，经由包括电动机和/或内燃机的动力总成)、制动和转向中的每一者由处理器1020控制的模式；在半自动模式中，处理器1020控制车辆1000的推进、制动和转向中的一者或两者。因此，在一个示例中，非自动操作模式可指SAE等级0-1，部分自动或半自动操作模式可指SAE等级2-3，而全自动操作模式可指SAE等级4-5。

参考图2，控制***1010包括处理器1020。处理器1020包括在车辆1000中，用于执行各种操作，包括如本文所述的操作。处理器1020是计算设备，其通常包括处理器和存储器，存储器包括一种或多种形式的计算机可读介质，并且存储可由处理器执行以用于执行各种操作的指令，包括如本文所公开的操作。处理器1020的存储器通常还存储经由各种通信机制接收的远程数据；例如，处理器1020通常被配置用于在车辆1000内的通信网络上通信。处理器1020还可以具有到车载诊断连接器(OBD-II)的连接。尽管为了便于说明，在图2中示出了一个处理器1020，但是应当理解，处理器1020可以包括一个或多个计算设备，并且可以由一个或多个计算设备来执行本文描述的各种操作。处理器1020可以是控制模块，例如动力转向控制模块，或者可以包括其他计算设备中的控制模块。

控制***1010可以通过通信网络和/或通过任何其它有线或无线通信网络来传输信号，该通信网络可以是控制器局域网(CAN)总线、以太网、本地互连网络(LIN)、蓝牙。处理器1020可以与推进***2010、转向***1030、制动***2020、传感器2030和/或用户界面2040以及其他部件通信。

继续参考图2，车辆1000的推进***2010产生能量并将能量转换成车辆1000的运动。推进***2010可以是已知的车辆推进子***，例如，包括耦合到将旋转运动传递到行走轮1060的变速器(transmission)的内燃机的传统动力总成；包括电池、电动机和将旋转运动传递到行走轮1060的变速器的电动动力总成；包括传统动力总成和电动动力总成的元件的混合动力总成；或任何其它类型的推进装置(propulsion)。推进***2010与处理器1020和驾驶员通信并接收来自它们的输入。驾驶员可以通过例如油门踏板和/或变速杆(未示出)控制推进***2010。

参照图1和2，转向***1030通常是已知的车辆转向子***，并且控制行走轮1060的转向。转向***1030与方向盘1070和处理器1020通信且从其接收输入。转向***1030可以是具有经由转向致动器1040的电动助力转向的齿条齿轮***、线控转向***(这两者都是本领域已知的)或任意其他合适的***。转向***1030可包括固定到耦合到转向齿条1090的转向柱1080的方向盘1070。

参照图1，转向齿条1090例如以四杆联动装置可转动地耦合于行走轮1060。转向齿条1090的平移运动导致行走轮1060转变方向。转向柱1080可以经由齿条齿轮(即，齿轮齿条(未示出)之间的齿轮啮合)耦合到转向齿条1090。

转向柱1080将方向盘1070的旋转传递到转向齿条1090的移动。转向柱1080可以是例如将方向盘1070连接到转向齿条1090的轴。转向柱1080可以容纳扭转传感器和离合器(未示出)。

方向盘1070允许操作者通过将方向盘1070的旋转传递到转向齿条1090的移动来操纵车辆1000。方向盘1070可以是例如固定地附接到转向柱1080的刚性圈，例如已知的方向盘。

继续参考图1，转向致动器1040耦合到转向***1030，例如转向柱1080，以便引起行走轮1060的转动。例如，转向致动器1040可以是可旋转地耦合到转向柱1080的电动机，即，耦合成能够向转向柱1080施加转向转矩。转向致动器1040可以与处理器1020通信。

转向致动器1040可向转向***1030提供助力。换句话说，转向致动器1040可在方向盘1070由驾驶员旋转的方向上提供转矩，从而允许驾驶员使用更少的力量来转动方向盘1070。转向致动器1040可以是电动助力转向致动器。

参照图1和图2，制动***2020通常是已知的车辆制动子***，并且阻碍车辆1000的运动，从而使车辆1000减速和/或停止。制动***2020包括耦合到行走轮1060的制动器1050。制动器1050可以是摩擦制动器，例如盘式制动器、鼓式制动器、带式制动器等；可以是再生制动器；可以是任何其它合适类型的制动器；或可以是这些的组合。制动器1050可以耦合到例如车辆1000的相对侧上的相应行走轮1060。制动***2020与处理器1020和驾驶员通信并且接收来自它们的输入。驾驶员可以经由例如制动踏板(未示出)来控制制动。

参考图2，车辆1000可包括传感器2030。传感器2030可以检测车辆1000的内部状态，例如，车轮速度、车轮方向以及发动机和变速器变量。传感器2030可以检测车辆1000的位置或方向，例如，全球定位***(GPS)传感器；加速度计，例如压电或微机电***(MEMS)；陀螺仪，例如速率、环形激光器或光纤陀螺仪；惯性测量单元(IMU)；和磁力计。传感器2030可以检测外部世界，例如，雷达传感器、扫描激光测距仪、光检测和测距(LIDAR)设备以及诸如摄像头的图像处理传感器。传感器2030可以包括通信设备，例如，车辆到基础设施(V2I)设备、车辆到车辆(V2V)设备或车辆到万物(V2E)设备。

用户界面2040向车辆1000的乘员呈现信息并从其接收信息。用户界面2040可以位于例如车辆1000的客舱(未示出)中的仪表板上，或者可以容易地被乘员看到的任何地方。用户界面2040可以包括用于输出(即，向乘员提供信息)的刻度盘、数显器、屏幕、扬声器等，例如，包括诸如已知的元件的人机界面(HMI)。用户界面2040可以包括按钮、旋钮、键盘、触摸屏、麦克风等，用于接收来自乘员的输入，即信息、指令等。

图3是根据本公开的实施例的车辆控制***3000的示例的图。车辆控制***3000可以包括各种组件，这取决于特定实现方式的要求。在一些实施例中，车辆控制***3000可以包括处理单元3010、图像获取单元3020、位置传感器3030、一个或多个存储器单元3040、3050、地图数据库3060、用户界面3070和无线收发信机3072。处理单元3010可以包括一个或多个处理设备。在一些实施例中，处理单元3010可以包括应用处理器3080、图像处理器3090或任何其他合适的处理设备。类似地，图像获取单元3020可根据特定应用的要求包括任何数量的图像获取设备和组件。在一些实施例中，图像获取单元3020可包括一个或多个图像捕获设备(例如，摄像头、CCD或任何其他类型的图像传感器)，诸如图像捕获设备3022、图像捕获设备3024、图像捕获设备3026。***3000还可以包括将处理单元3010通信地连接到图像获取单元3020的数据接口3028。例如，数据接口3028可以包括用于将由图像获取单元3020获取的图像数据传输到处理单元3010的任何有线和/或无线链路。

无线收发信机3072可以包括一个或多个设备，该一个或多个设备被配置为通过使用射频、红外频率、磁场或电场来经由空中接***换到一个或多个网络(例如，蜂窝、因特网等)的传输。无线收发信机3072可以使用任何已知的标准来发送和/或接收数据(例如，Wi-Fi、蓝牙、蓝牙智能、802.15.4、ZigBee等)。这种传输可以包括从主车辆到一个或多个位于远程位置的服务器的通信。这种传输还可以包括主车辆与该主车辆环境中的一个或多个目标车辆之间的通信(单向或双向)(例如，以便于考虑主车辆环境中的目标车辆或与主车辆环境中的目标车辆一起协调主车辆的导航))，或者甚至是至进行传输的车辆附近的未指定接收方的广播传输。

应用处理器3080和图像处理器3090两者都可以包括各种类型的基于硬件的处理设备。例如，应用处理器3080和图像处理器3090中的任一者或两者可以包括微处理器、预处理器(诸如图像预处理器)、图形处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器、或适合于运行应用和适合于图像处理和分析的任何其他类型的设备。在一些实施例中，应用处理器3080和/或图像处理器3090可以包括任何类型的单核或多核处理器、移动设备微控制器、中央处理单元等。

在一些实施例中，应用处理器3080和/或图像处理器3090可以包括具有本地存储器和指令集的多个处理单元。这样的处理器可包含用于从多个图像传感器接收图像数据的视频输入，且还可包含视频输出能力。在一个示例中，处理器可以使用在332Mhz下操作的90纳米-微米(nm-micron)技术。

本文公开的任何处理设备可以被配置为执行某些功能。配置诸如所描述的处理器、其他控制器或微处理器中的任何一者之类的处理设备以执行某些功能可以包括对计算机可执行指令进行编程并且使得这些指令可用于处理设备以便在处理设备的操作期间执行。在一些实施例中，配置处理设备可以包括直接用架构指令对处理设备进行编程。在其他实施例中，配置处理设备可以包括将可执行指令存储在存储器上，该存储器在操作期间可由处理设备访问。例如，处理设备可以在操作期间访问存储器以获得并执行所存储的指令。在任一情况下，被配置为执行本文公开的感测、图像分析和/或导航功能的处理设备表示控制主车辆的多个基于硬件的组件的基于专用硬件的***。

虽然图3描绘了包括在处理单元3010中的两个单独的处理设备，但是可以使用更多或更少的处理设备。例如，在一些实施例中，单个处理设备可以用于完成应用处理器3080和图像处理器3090的任务。在其它实施例中，这些任务可以由多于两个的处理设备执行。此外，在一些实施例中，车辆控制***3000可以包括一个或多个处理单元3010，而不包括其他组件，例如图像获取单元3020。

处理单元3010可以包括各种类型的设备。例如，处理单元3010可以包括各种设备，诸如控制器、图像预处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器或用于图像处理和分析的任何其他类型的设备。图像预处理器可以包括视频处理器，用于捕获、数字化并处理来自图像传感器的图像。CPU可以包括任意数量的微控制器或微处理器。支持电路可以是本领域中公知的任何数量的电路，包括高速缓存、电源、时钟和输入输出电路。存储器可以存储软件，当由处理器执行时，该软件控制***的操作。存储器可以包括数据库和图像处理软件。存储器可以包括任意数量的随机存取存储器、只读存储器、闪存、磁盘驱动器、光存储器、带式存储器、可移动除存储器和其它类型的存储器。在一个实例中，存储器可以与处理单元3010分离。在另一实例中，存储器可以集成到处理单元3010中。

每个存储器3040、3050可以包括软件指令，当由处理器(例如，应用处理器3080和/或图像处理器3090)执行时，该软件指令可以控制车辆控制***3000的各个方面的操作。这些存储器单元可以包括各种数据库和图像处理软件，以及诸如神经网络或深度神经网络等的训练***。存储器单元可以包括随机存取存储器、只读存储器、闪存、磁盘驱动器、光存储器、带式存储器、可移除存储器和/或任何其它类型的存储。在一些实施例中，存储器单元3040、3050可与应用处理器3080和/或图像处理器3090分离。在其它实施例中，这些存储器单元可以集成到应用处理器3080和/或图像处理器3090中。

位置传感器3030可以包括适于确定与车辆控制***3000的至少一个组件相关联的位置的任何类型的设备。在一些实施例中，位置传感器3030可以包括GPS接收器。这样的接收器可以通过处理由全球定位***卫星广播的信号来确定用户位置和速度。来自位置传感器3030的位置信息可以被使得对于应用处理器3080和/或图像处理器3090可用。

在一些实施例中，车辆控制***3000可以包括诸如用于测量车辆1000的速度的速度传感器(例如，速度计)的组件。车辆控制***3000还可以包括一个或多个加速度计(单轴或多轴)，用于测量车辆1000沿一个或多个轴的加速度。

存储器单元3040、3050可以包括指示已知地标位置的数据库或以任何其它形式组织的数据。环境的感测信息(例如图像、雷达信号、来自LIDAR的深度信息或两个或更多图像的立体处理)可以与位置信息(例如GPS坐标、车辆的自主运动等)一起被处理，以确定车辆相对于已知地标的当前位置，并修正该车辆位置。

用户界面3070可以包括适合于向车辆控制***3000的一个或多个用户提供信息或从其接收输入的任何设备。在一些实施例中，用户界面3070可以包括用户输入设备，包括例如触摸屏、麦克风、键盘、指针设备、跟踪轮、摄像头、旋钮、按钮等。利用这样的输入设备，用户能够通过键入指令或信息、提供语音命令、使用按钮、指针或眼睛跟踪能力在屏幕上选择菜单选项、或通过用于将信息传送到车辆控制***3000的任何其它合适的技术，来向车辆控制***3000提供信息输入或命令。

用户界面3070可以配备有一个或多个处理设备，该一个或多个处理设备被配置为向用户提供信息和从用户接收信息，并且处理该信息以供例如应用处理器3080使用。在一些实施例中，此类处理设备可执行用于识别和跟踪眼部运动、接收和解释语音命令、识别和解释在触摸屏上进行的触摸和/或手势、响应于键盘输入或菜单选择等的指令。在一些实施例中，用户界面3070可以包括显示器、扬声器、触觉设备和/或用于向用户提供输出信息的任何其他设备。

地图数据库3060可以包括用于存储对车辆控制***3000有用的地图数据的任何类型的数据库。在一些实施例中，地图数据库3060可以包括与各种项目在参考坐标系中的位置有关的数据，所述项目包括道路、水景、地理特征、商业、兴趣点、餐馆、加油站等。地图数据库3060不仅可以存储这些项目的位置，而且可以存储与这些项目相关的描述符，包括例如与所存储的特征中的任何特征相关联的名称。在一些实施例中，地图数据库3060可以与车辆控制***3000的其他组件物理地定位在一起。替代地或附加地，地图数据库3060或其一部分可以相对于车辆控制***3000的其他组件(例如，处理单元3010)远程地定位。在这样的实施例中，来自地图数据库3060的信息可以通过有线或无线数据连接下载到网络(例如，通过蜂窝网络和/或因特网等)。在一些情况中，地图数据库3060可以存储稀疏数据模型，该稀疏数据模型包括某些道路特征(例如，车道标志)或主车辆的目标轨迹的多项式表示。地图数据库3060还可以包括存储的各种识别的地标的表示，所述地标可以用于确定或更新主车辆相对于目标轨迹的已知位置。地标表示可以包括诸如地标类型、地标位置以及其它可能的标识符之类的数据字段。

图像捕获设备3022、3024和3026可以各自包括适合于从环境捕获至少一个图像的任何类型的设备。此外，可以使用任何数量的图像捕获设备来获取图像以输入到图像处理器。一些实施例可仅包括单个图像捕获设备，而其它实施例可包括两个、三个或甚至四个或更多个图像捕获设备。以下将参考图4进一步描述图像捕获设备3022、3024和3026。

一个或多个摄像头(例如，图像捕获设备3022、3024和3026)可以是包括在车辆上的感测块的一部分。各种其它传感器可以包括在感测块中，并且可以依赖于任何或所有传感器来形成车辆的感测导航状态。除了摄像头(前向、侧向、后向等)之外，诸如雷达、激光雷达(LIDAR)和声音传感器之类的其他传感器可以被包括在感测块中。另外，感测块可以包括被配置为传输和发送/接收与车辆环境有关的信息的一个或多个组件。例如，这些组件可以包括无线收发信机(RF等)，其可以从相对于主车辆远程定位的源接收关于主车辆环境的基于传感器的信息或任意其他类型的信息。这种信息可以包括传感器输出信息或从除了主车辆之外的车辆***接收的相关信息。在一些实施例中，这样的信息可以包括从远程计算设备、中央服务器等接收的信息。此外，摄像头可以采取许多不同的配置：单个摄像头单元、多个摄像头、摄像头群、长FOV、短FOV、广角、鱼眼等。

图4是根据本公开实施例的包括车辆控制***3000的车辆1000的侧视图的示例的图。例如，车辆1000可以配备有如上面关于图3所描述的处理单元3010和车辆控制***3000的任何其他组件。虽然在一些实施例中，车辆1000可仅配备有单个图像捕获设备(例如，摄像头)，但在其它实施例中，可使用多个图像捕获设备。例如，如图4所示，车辆1000的图像捕获设备3022和3024中的任一者可以是自动驾驶***(ADAS)成像装置的一部分。

作为图像获取单元3020的一部分的包括在车辆1000上的图像捕获设备可以放置在任何合适的定位。在一些实施例中，图像捕获设备3022可位于后视镜附近。该位置可提供与车辆1000的驾驶员的视线类似的视线，这可帮助确定什么对于驾驶员是可见的和不可见的。图像捕获设备3022可位于后视镜附近的任何位置，但将图像捕获设备3022放置在镜子的驾驶员侧可进一步帮助获得表示驾驶员视野和/或视线的图像。

也可使用图像获取单元3020的图像捕获设备的其他位置。例如，图像捕获设备3024可以位于车辆1000的保险杠上或保险杠中。这样的位置可能特别适合于具有广视场的图像捕获设备。位于保险杠的图像捕获设备的视线可能与驾驶员的不同，因此，保险杠图像捕获设备和驾驶员可能不总是看到相同的物体。图像捕获设备(例如，图像捕获设备3022、3024和3026)也可以位于其他位置。例如，图像捕获设备可以位于车辆1000的外后视镜的一个或两个的上面或者集成在外后视镜上，位于车辆1000的车顶上，位于车辆1000的引擎盖上，位于车辆1000的后备箱上，位于车辆1000的侧面，安装在车辆1000的任意窗户上、设置在窗户后，或设置在窗户前面，以及安装在车辆1000的前面和/或后面的灯具中或附近。

除了图像捕获设备，车辆1000可以包括车辆控制***3000的各种其他组件。例如，处理单元3010可以被包括在车辆1000上，与车辆的发动机控制单元(ECU)集成或分离。车辆1000还可配备有位置传感器3030，例如GPS接收器，并且还可包括地图数据库3060和存储器单元3040和3050。

如前所述，无线收发信机3072可以和/或通过一个或多个网络(例如，蜂窝网络、因特网等)接收数据。例如，无线收发信机3072可以将由车辆控制***3000收集的数据上传到一个或多个服务器，并且从该一个或多个服务器下载数据。经由无线收发信机3072，车辆控制***3000可以接收例如对存储在地图数据库3060、存储器3040和/或存储器3050中的数据的周期性或按需更新。类似地，无线收发信机3072可以将来自车辆控制***3000的任何数据(例如，由图像获取单元3020捕获的图像、由位置传感器3030或其他传感器、车辆控制***等接收的数据)和/或由处理单元3010处理的任何数据上传到一个或多个服务器。

车辆控制***3000可以基于隐私等级设置将数据上传到服务器(例如，上传到云)。例如，车辆控制***3000可以实现隐私等级设置以调节或限制发送到服务器的数据(包括元数据)的类型，该数据可以唯一地标识车辆和/或车辆的驾驶员/所有者。这样的设置可以由用户经由例如无线收发信机3072来设置，由工厂默认设置来初始化，或者由无线收发信机3072所接收的数据来初始化。

图5是根据本公开实施例的车辆***架构5000的示例的图。车辆***架构5000可以被实现为主车辆5010的一部分。

参考图5，车辆***架构5000包括导航设备5090、决策单元5130、物体检测器5200、V2X通信5160和车辆控制器5020。导航设备5090可以由决策单元5130用来确定主车辆5010到达目的地的行驶路径。例如，行驶路径可以包括行进路线或导航路径。导航设备5090、决策单元5130和车辆控制器5020可共同用于确定沿道路将主车辆5010转向到何处，使得主车辆5010相对于例如车道标志、路缘、交通标志、行人、其他车辆等适当地定位在道路上，基于数字地图5120确定指示主车辆5010跟随以到达目的地的路线，或两者。

为了确定主车辆5010位于数字地图5120上的何处，导航设备5090可包括定位设备5140，例如GPS/GNSS接收器和惯性测量单元(IMU)。摄像头5170、雷达单元5190、声纳单元5210、LIDAR单元5180或它们的任意组合可以用于检测在数字地图5120上指示的主车辆5010附近的相对永久物体，例如交通信号、建筑物等，并且确定相对于那些物体的相对位置，以便确定主车辆5010位于数字地图5120上的何处。这个过程可以被称为地图定位。导航设备5090的功能、导航设备5090所提供的信息或两者可全部或部分地通过V2I通信、V2V通信、车辆到行人(V2P)通信或它们的组合(其可一般地标记为V2X通信5160)来提供。

在一些实施方式中，物体检测器5200可包括声纳单元5210、摄像头5170、LIDAR单元5180和雷达单元5190。物体检测器5200可以用于检测另一实体的相对位置，并且确定另一实体将与主车辆5010的行驶路径相交的交点。为了确定交点以及主车辆5010和另一实体何时将到达该交点的相对时间，车辆***架构5000可以使用物体检测器5200来确定例如相对速度、另一实体与主车辆5010的分离距离或者这两者。物体检测器5200的功能、由物体检测器5200提供的信息或者这两者可以全部或者部分地通过V2I通信、V2V通信、V2P通信或者它们的组合来实现，其可以一般地被标记为V2X通信5160。因此，车辆***架构5000可以包括收发信机以实现这样的通信。

车辆***架构5000包括与物体检测器5200和导航设备5090通信的决策单元5130。通信可以是通过但不限于有线、无线通信或光纤的方式。决策单元5130可以包括(一个或多个)处理器，例如微处理器或其他控制电路，例如模拟电路、数字电路或两者，包括用于处理数据的专用集成电路(ASIC)。决策单元5130可以包括存储器，包括非易失性存储器，例如电可擦除可编程只读存储器(EEPROM)，用于存储一个或多个程序、阈值、捕获的数据或其组合。决策单元5130可以确定或控制主车辆5010的路线或路径规划、本地驾驶行为以及轨迹规划。

车辆***架构5000包括与决策单元5130通信的车辆控制器或轨迹***5020。车辆控制器5020可以通过向沿着几何路径引导车辆的物理控制机制(例如转向器、加速器、制动器等)施加适当的车辆命令(例如转向、油门、制动等运动)来执行限定的几何路径。车辆控制器5020可包括(一个或多个)处理器，例如微处理器或其他控制电路，例如模拟电路、数字电路或两者，包括用于处理数据的专用集成电路(ASIC)。车辆控制器5020可包括存储器，包括非易失性存储器，例如电可擦除可编程只读存储器(EEPROM)，用于存储一个或多个程序、阈值、捕获的数据或其组合。

主车辆5010可以以自动模式操作，其中不需要操作人员来操作车辆5010。在自动模式中，车辆控制***5000(例如，使用车辆控制器5020、决策单元5130、导航设备5090、物体检测器5200和其他描述的传感器和设备)自主地控制车辆5010。替代地，主车辆可以以手动模式操作，其中自动化程度或水平可以比向操作人员提供转向建议稍多。例如，在手动模式中，车辆***架构5000可以根据需要辅助操作人员到达所选择的目的地，避免与另一实体的干扰或碰撞，或者两者，其中另一实体可以是另一车辆、行人、建筑物、树、动物或车辆5010可能遇到的任何其他物体。

图6是根据本公开实施例的车辆控制***6000的示例的图。车辆控制***6000可以包括传感器6010和V2V、V2X以及用于收集关于环境6005的数据的其他类似设备6015。感知单元6030可以使用该数据来从环境6005提取相关知识，诸如但不限于环境模型和车辆姿态。感知单元6030可以包括环境感知单元，其可以使用数据来开发环境6005的前后关系(contextual)理解，诸如但不限于障碍物所处的位置、道路标志/标记的检测、以及根据它们的语义含义对数据进行分类。感知单元6030还可包括定位单元，其可被AV使用以确定其相对于环境6005的位置。规划单元6040可以使用来自感知单元6030的数据和输出制定有目的的决策，以便实现AV的更高阶目标，这可以将AV从开始位置带到目标位置，同时避免障碍物并且优化所设计的探索法(heuristics)。规划单元6040可以包括任务规划单元或规划器6042、行为规划单元或规划器6044和运动规划单元或规划器6046。任务规划单元6042例如可为AV设置战略目标，行为规划单元6044可确定驾驶行为或车辆目标状态，且运动规划单元6046可计算轨迹。感知单元6030以及规划单元6040例如可在图5的决策单元5130中实现。控制单元或控制器6050可执行已由例如规划单元6040的较高级处理产生的规划的动作或目标动作。控制单元6050可包括路径跟踪单元6053和轨迹跟踪单元6057。控制单元6050可通过图5所示的车辆控制器5020实现。

行为规划单元6044可以包括与感知单元6030、定位单元6037和任务规划单元6042通信的场景感知数据结构生成器。驾驶场景和时间历史可由场景感知数据结构生成器填充，并可用作概率探测器单元的输入。场景感知数据结构生成器可以基于感知单元6030提供的环境结构、定位单元6037提供的车辆位置和任务规划单元6042提供的战略级别目标来确定当前驾驶场景状态。当前驾驶场景状态可以被保存在驾驶场景和时间历史中，例如，其可以被实现为存储器中的数据结构。

可以使用各种方法来执行轨迹预测。例如，可以使用来自意图估计和运动预测的输出的概率组合来执行轨迹预测。在另一示例中，轨迹预测可经由意图估计或运动预测中的一个随后接着另一意图估计或运动预测的串行处理来执行。概率组合可以通过将两个或更多个概率相乘来执行。意图估计和运动预测组合可以使用单层堆叠方法，其中通过加权函数执行组合。

本文所公开的实施例可以实现一个或多个函数近似器。函数近似器是被配置为学***滑性质和其突出显示(highlight)表现最佳的每个基本模型和怀疑(discredit)表现不佳的每个基本模型的能力，新模型可以优于单级学习者。例如，取决于用于函数近似器的模型，可以例如使用线性回归显式地学习新模型，或者可以例如使用神经网络隐式地学习新模型。函数近似器可以被配置为确定接收到的预测是否正确。如果函数近似器确定所接收的预测不正确，则函数近似器可以忽略所接收的预测。

图7A是根据本公开实施例的两阶段框架700A的示例的图。如图7A所示，两阶段框架700A包括第一级710A和第二级720A。第一级710A包括意图估计器712A和运动预测器714A。第二级720A包括函数近似器722A。两阶段框架700A可以组合任何学***均、贝叶斯模型组合、模型桶和堆叠的集成学习。示例学习模型可以包括但不限于线性回归器、支持向量机、K最近邻或神经网络。为了简单起见，参考使用堆叠学习模型的实现来描述本文描述的实施例，并且应当理解，可以使用任何学习模型。堆叠学习模型可以允许整个***以局部方式学习，使得模型的学习性能基于样本数据，而不是总体性能。因此，堆叠学习模型可以允许对训练数据的整体理解。

堆叠学习模型可以被称为元集成，并且可以被配置为组合两个或更多个模型以学习新模型。堆叠学习模型的训练可以包括正常模式和重新堆叠模式。正常模式可包括在第一级测试多个模型、存储每个模型的预测、用这些预测作为特征来训练下一级模型或它们的任何组合。重新堆叠模式可包括在第一级测试多个模型、存储每个模型的预测、用来自所有最后一级(包括在每级的输入)的预测训练下一级模型。

意图估计器712A可以获得场景中的每个角色的状态历史。每个状态历史可包含位置、速度、加速度、航向、任何传感器数据或它们的任何组合。状态历史可以通过传感器融合技术从感知单元获得。意图估计器712A可获得场景中的所有交通参与者的状态历史，并输出每个交通参与者的要在不久的将来执行的相应意图(即，操纵)。例如，用于车道变换场景的操纵集合可包括向左移动、向右移动、保持车道、保持速度、制动或它们的任何组合。类似地，每个道路结构可具有离散的操纵集合，其由交通参与者的类型分类，例如，车辆、骑自行车的人或行人。道路结构可以包括高速公路、街道、小巷、尽头路、车道、停车场、停车位、或者车辆可以穿过的任何空间或结构。运动预测器714A可获得与意图估计器712A相同的输入，即所有交通参与者的过去状态，并学习所有角色(自车到其他角色，反之亦然)之间的空间和时间交互，以输出每个交通参与者的相应未来状态。在该示例中，意图估计器712A和运动预测器714A可以获得相同的输入并生成不同的输出。输出可以被称为预测。

函数近似器722A接收来自意图估计器712A的输出和来自运动预测器714A的输出。函数近似器722A可以被配置为同时组合输出以考虑多模态，并且使用单个框架覆盖更大范围的可能性。函数近似器722A可以被配置为以智能方式组合来自意图估计器712A和运动预测器714A的输出，例如使用投票方法、代数乘法或加法方法、使用诸如打包、提升、堆叠等的集成技术或它们的任意组合，并且基于该组合确定一个或多个预测。函数近似器722A可以被配置为将一个或多个预测传输到控制单元，例如图6中所示的控制单元6050。函数近似器722A可以使用存储的模型的预测来确定所接收的预测是否正确。如果确定所接收的预测不正确，则函数近似器722A可被配置为忽略该预测，向该预测分配低权重，或者对从其接收到不正确预测的模型进行离散化或降值。

图7B是根据本公开实施例的两阶段框架700B的另一示例的图。图7B是图7A所示的堆叠模型的两阶段框架700A的扩展，其中可以在第一级实现多个意图估计器和运动预测器。如图7B所示，两阶段框架700B包括第一级710B和第二级720B。第一级710B包括第一意图估计器712B、第一运动预测器714B、第二意图估计器716B和第二运动预测器718B。为了简单起见，仅示出两个意图估计器和两个运动预测器，并且应当理解，可以在第一级710B实现任何数量的意图估计器和运动预测器。第二级720B包括函数近似器722B。两阶段框架700B可组合任何学***均、贝叶斯模型组合、模型桶和堆叠的集成学习。示例学习模型可以包括但不限于线性回归器、支持向量机、K最近邻或神经网络。为了简单起见，参考使用堆叠学习模型的实现来描述本文描述的实施例，并且应当理解，可以使用任何学习模型。堆叠学习模型可以允许整个***以局部方式学习，使得模型的学习性能基于样本数据，而不是总体性能。因此，堆叠学习模型可以允许对训练数据的整体理解。

堆叠学习模型可以被配置为组合两个或更多个模型以学习新模型。堆叠学习模型的训练可以包括正常模式和重新堆叠模式。正常模式可包括在第一级测试多个模型、存储每个模型的预测、用这些预测作为特征来训练下一级模型或它们的任何组合。重新堆叠模式可包括在第一级测试多个模型、存储每个模型的预测、用来自所有最后一级(包括在每级的输入)的预测训练下一级模型。

参考图7B，第一意图估计器712B和第二意图估计器716B可以获得场景中的每个角色的状态历史。输入到第一意图估计器712B和第二意图估计器716B的状态历史可以是相同的输入或不同的输入。第一意图估计器712B和第二意图估计器716B的底层算法可以相同或不同。第一意图估计器712B和第二意图估计器716B可以获得场景中的所有交通参与者的状态历史，并输出每个交通参与者的要在不久的将来执行的相应意图(即，操纵)。例如，用于车道变换场景的操纵集合可包括向左移动、向右移动、保持车道、保持速度、制动或它们的任何组合。类似地，每个道路结构可具有离散的操纵集合，其由交通参与者的类型分类，例如，车辆、骑自行车的人或行人。第一运动预测器714B和第二运动预测器718B可以分别获得与第一意图估计器712B和第二意图估计器716B相同的输入，即所有交通参与者的过去状态，并且学习所有角色(自车到角色，反之亦然)之间的空间和时间交互，以输出每个交通参与者的相应未来状态。在该示例中，第一意图估计器712B、第二意图估计器716B、第一运动预测器714B和第二运动预测器718B可以获得相同的输入并生成不同的输出。输出可以被称为预测。

函数近似器722B接收来自第一意图估计器712B的输出、来自第一运动预测器714B的输出、来自第二意图估计器716B的输出、以及来自第二运动预测器718B的输出。函数近似器722B可以被配置为同时组合输出以考虑多模态，并且使用单个框架覆盖更大范围的可能性。函数近似器722B可以被配置为以智能方式组合来自第一意图估计器712B、第一运动预测器714B、第二意图估计器716B和第二运动预测器718B的输出，例如使用投票方法、代数乘法或加法方法、使用诸如打包、提升、堆叠等的集成技术或它们的任意组合，并且基于该组合确定一个或多个预测。函数近似器722B可以被配置为将一个或多个预测传输到控制单元，例如图6中所示的控制单元6050。函数近似器722B可以使用存储的模型的预测来确定接收的预测是否正确。如果确定所接收的预测不正确，则函数近似器722B可以被配置为忽略该预测，向该预测分配低权重，或者对从其接收到不正确预测的模型进行离散化或降值。

图7C是根据本公开实施例的三阶段框架700C的示例的图。图7C是图7B中所示的两阶段框架700B的扩展，其是三阶段重新堆叠模式堆叠模型。如图7C所示，三阶段框架700C包括第一级710C、第二级720C和第三级730C。第一级710C包括第一意图估计器712C、第一运动预测器714C、第二意图估计器716C和第二运动预测器718C。为了简单起见，仅示出两个意图估计器和两个运动预测器，并且应当理解，在第一级710C处可以实现任何数量的意图估计器和运动预测器。第二级720C包括第一函数近似器722C和第二函数近似器724C。为了简单起见，仅示出了两个函数近似器，并且应当理解，在第二级720C处可以实现任何数量的函数近似器。第三级730C包括函数近似器732C。为了简单起见，仅示出了一个函数近似器，并且应当理解，某些实现可以包括第三级730C处的多个函数近似器。三阶段框架700C可以实现任何学***均、贝叶斯模型组合、模型桶和堆叠的集成学习。为了简单起见，参考使用堆叠学习模型的实现来描述本文描述的实施例，并且应当理解，可以使用任何学习模型。堆叠学习模型可以允许整个***以局部方式学习，使得模型的学习性能基于样本数据，而不是总体性能。因此，堆叠学习模型可以允许对训练数据的整体理解。

堆叠学习模型可以被配置为组合两个或更多个模型以学习新模型。堆叠学习模型的训练可以包括正常模式和重新堆叠模式。正常模式可包括在第一级测试多个模型、存储每个模型的预测、用这些预测作为特征来训练下一级模型或它们的任何组合。重新堆叠模式可包括在第一级测试多个模型、存储每个模型的预测、用来自所有最后一级(包括在每级的输入)的预测训练下一级模型。

参考图7C，第一意图估计器712C和第二意图估计器716C可以获得场景中的每个角色的状态历史。输入到第一意图估计器712C和第二意图估计器716C的状态历史可以是相同的输入或不同的输入。第一意图估计器712C和第二意图估计器716C的底层算法可以相同或不同。第一意图估计器712C和第二意图估计器716C可以获得场景中的所有交通参与者的状态历史，并输出每个交通参与者的要在不久的将来执行的相应意图(即，操纵)。例如，用于车道变换场景的操纵集合可包括向左移动、向右移动、保持车道、保持速度、制动或它们的任何组合。类似地，每个道路结构可具有离散的操纵集合，其由交通参与者的类型分类，例如，车辆、骑自行车的人或行人。第一运动预测器714C和第二运动预测器718C可以分别获得与第一意图估计器712C和第二意图估计器716C相同的输入，即所有交通参与者的过去状态，并且学习所有角色(自车到其他角色，反之亦然)之间的空间和时间交互，以输出每个交通参与者的相应未来状态。在该示例中，第一意图估计器712C、第二意图估计器716C、第一运动预测器714C和第二运动预测器718C可以获得相同的输入并生成不同的输出。输出可以被称为预测。

第一函数近似器722C和第二函数近似器724C接收来自第一意图估计器712C的输出、来自第一运动预测器714C的输出、来自第二意图估计器716C的输出、以及来自第二运动预测器718C的输出。第一函数近似器722C和第二函数近似器724C可以各自被配置为同时组合相应的输出以考虑多模态，并且使用单个框架覆盖更大范围的可能性。第一函数近似器722C和第二函数近似器724C可以分别被配置为以智能方式组合来自第一意图估计器712C、第一运动预测器714C、第二意图估计器716C和第二运动预测器718C的相应输出，例如使用投票方法、代数乘法或加法方法、使用诸如打包、提升、堆叠等的集成技术或它们的任意组合，并且基于该组合确定一个或多个预测。第一函数近似器722C和第二函数近似器724C可以各自被配置为将一个或多个预测传送到第三级730C处的函数近似器732C。第一函数近似器722C和第二函数近似器724C可以各自使用存储的模型预测来确定接收的预测是否正确。如果确定所接收的预测不正确，则第一函数近似器722C和第二函数近似器724C可以各自被配置为忽略该预测，向该预测分配低权重，或者对从其接收到不正确预测的模型进行离散化或降值。

函数近似器732C被配置成接收来自第一意图估计器712C的输出、来自第一运动预测器714C的输出、来自第二意图估计器716C的输出、来自第二运动预测器718C的输出、来自第一函数近似器722C的输出、以及来自第二函数近似器724C的输出。函数近似器732C可以被配置为同时组合输出以考虑多模态，并且使用单个框架来覆盖更大范围的可能性。函数近似器732C可被配置为以智能方式组合来自第一意图估计器712C、第一运动预测器714C、第二意图估计器716C、第二运动预测器718C、第一函数近似器722C和第二函数近似器724C的输出，例如使用投票方法、代数乘法或加法方法、使用诸如打包、提升、堆叠等的集成技术或它们的任意组合，并基于该组合确定一个或多个预测。函数近似器732C可被配置为将一个或多个预测传输到控制单元，例如图6所示的控制单元6050。函数近似器732C可使用存储的模型预测来确定接收的预测是否正确。如果确定所接收的预测不正确，则函数近似器732C可以被配置为忽略该预测，向该预测分配低权重，或者对从其接收到不正确预测的模型进行离散化或降值。

图8是根据本公开实施例的示例框架800的图。如图8所示，框架800包括感知单元810、行为规划单元820和控制单元830。感知单元810的示例可以包括如图6所示的感知单元6030，行为规划单元820的示例可以包括如图6所示的行为规划单元6044，控制单元830的示例可以包括如图6所示的控制单元6050。

行为规划单元820包括意图估计器840、运动预测器850和函数近似器860。意图估计器840的示例可以包括分别在图7A-7C中示出的意图估计器712A、712B、716B、712C、716C中的任意者。运动预测器850的示例可包括图7A-7C所示的运动预测器714A、714B、718B、714C、718C中的任意者。函数近似器860的示例可以包括图7A-7C所示的函数近似器722A、722B、722C、724C、732C中的任意者。为了简单起见，行为规划单元820被示出为具有两阶段框架，并且应当理解，可以被实现为具有任何数量的阶段。

参考图8，感知单元810可以将感知信息，例如传感器数据，发送到预测模型的第一层，并且还发送到所有函数近似器作为进一步的阶段。如图8所示，感知单元810被配置为发送第一感知信息集合870给意图估计器840和运动预测器850，并发送第二感知信息集合880给函数近似器860。在该示例中，第一感知信息集合870可以大于第二感知信息集合880。在示例中，第二感知信息集合880可以是第一感知信息集合870的子集。在示例中，第二感知信息集合880可以包括未包括在第一感知信息集合870中的信息。第一感知信息集合870和第二感知信息集合880的大小和结构可以是固定的、可变的或可定制的。第二感知信息集合880可以是学习的相关性、导数等的集合。第二感知信息集合880可以向函数近似器860提供观察的场景的一些前后关系。

图9是实现本公开实施例的用于接近交叉口900的用例的示例的图。如图9所示，第一车辆910和第二车辆920正在接近交叉口900。在这种情况下，第二车辆920可以请求其行为规划单元理解第一车辆910的行为。第二车辆920的行为规划单元的一个或多个函数近似器可以获得来自一个或多个意图估计器和一个或多个运动预测的输出作为输入。在该示例中，来自一个或多个意图估计器的输出被示出为意图估计930(以点划线示出)，其指示第一车辆910将在交叉口900处进行右车道变更并向右转。在该示例中，来自一个或多个运动预测器的输出被示出为运动预测940，其指示第一车辆910将在交叉口900处进行左转。在该示例中，第二车辆920的函数近似器可以被配置为基于其自身的训练模型来确定输出，其中函数近似器基于多个测试场景来学习各个预测模型的性能。由于该学习过程，即使模型输出与预测形成对比，函数近似器也可以确定更准确和智能的决策。

图10是用于高速公路场景的用例的示例的图。如图10所示，示出了在四车道高速公路1060上行驶的第一车辆1010、第二车辆1020、第三车辆1030、第四车辆1040和第五车辆1050。在该示例中，第一车辆1010和第三车辆1030可以是较大的车辆，例如运动型多功能车(SUV)，而第二车辆1020、第四车辆1040和第五车辆1050可以是较小的车辆，例如轿车。

在该示例中，第一车辆1010可以被配置为请求其行为规划单元理解第二车辆1020、第三车辆1030、第四车辆1040和第五车辆1050的行为。图10中所示的实线箭头指示由第一车辆1010的运动预测器确定的每个车辆的运动预测，而点划线箭头指示由第一车辆1010的意图估计器确定的每个车辆的意图估计。第一车辆的函数近似器可以被配置为接收场景中的每个车辆的运动预测和意图估计。第一车辆1010的函数近似器可以基于相应的运动预测和意图估计来确定场景中的其他车辆中的每一者的行为。另外，第一车辆1010可以包括已经观察到在各种场景上执行的底层模型中的每一者的更高级的元模型。可以为各种场景中的每一者存储底层模型的性能结果。基于所存储的性能结果，函数近似器可能能够基于特定情况确定更好的决策。所提出的框架的另一个优点是可以将较小的感知信息集合发送到函数近似器。该较小的感知信息集合可以提供与场景中的车辆数量、场景中的车道数量、场景中的车辆大小或它们的任意组合相关的信息，并且最终有益于改进的决策。

图11是用于基于两个或更多个模型的组合来确定推荐的方法1100的示例的图。参考图11，函数近似器可以：1110，接收意图估计和运动预测。然后，函数近似器可以：1120，确定意图估计和预测运动是否对应于存储的场景。如果意图估计和预测运动不对应于存储的场景，则函数近似器可以：1130，将观察的场景存储为新场景，例如在图3所示的存储器单元3040或存储器单元3050中。如果意图估计和预测运动对应于存储的场景，则函数近似器：1140，区分存储的场景的意图估计和预测运动。区分存储的场景的意图估计和预测运动可以包括：1150，确定意图估计是否与存储的场景的意图匹配。区分存储的场景的意图估计和预测运动可以包括确定：1160，预测运动是否与存储的场景的运动匹配。

如果确定意图估计与所存储的场景的意图相匹配，则函数近似器可以：1170，基于匹配的意图估计来确定推荐。如果确定意图估计与所存储的场景的意图不匹配，则函数近似器可以被配置为：1180，将意图估计存储为所存储的场景的新意图，例如存储在图3所示的存储器单元3040或存储器单元3050中。

如果预测运动被确定为与所存储的场景的意图相匹配，则函数近似器可以：1170，基于匹配的运动来确定推荐。如果预测运动被确定为所存储的场景的运动不匹配，则函数近似器可以被配置成：1190，将预测运动存储为所存储的场景的新运动，例如存储在图3所示的存储器单元3040或存储器单元3050中。

尽管本文的一些实施例涉及方法，但是本领域技术人员将理解，它们也可以被实现为***或计算机程序产品。因此，本发明的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或组合软件和硬件方面的实施例的形式，其在本文中可以统称为“处理器”、“设备”或“***”。此外，本发明的方面可以采取在其上具有计算机可读程序代码的一个或多个计算机可读介质中实施的计算机程序产品的形式。可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是，例如但不限于，电、磁、光、电磁、红外或半导体***、装置或设备，或前述的任何合适的组合。计算机可读存储介质的更具体的示例(非穷举列表)包括以下：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备、或前述的任何合适的组合。在本文的上下文中，计算机可读存储介质可以是任何有形介质，其可以包含或存储由指令执行***、装置或设备使用或与指令执行***、装置或设备结合使用的程序。

计算机可读信号介质可以包括例如在基带中或者作为载波的一部分传播的数据信号，其中传播的数据信号具有在其中实施的计算机可读程序代码。这种传播信号可以采取多种形式中的任何一种，包括但不限于电磁、光或其任何合适的组合。计算机可读信号介质可以是不是计算机可读存储介质并且可以传送、传播或传输由指令执行***、装置或设备使用或与指令执行***、装置或设备结合使用的程序的任何计算机可读介质。

可以使用任何适当的介质来传输在计算机可读介质上实施的程序代码，包括但不限于CD、DVD、无线、有线、光纤电缆、RF等或前述的任何适当组合。

用于执行本发明的各方面的操作的计算机程序代码可以以一种或多种编程语言的任意组合来编写，所述编程语言包括诸如Java、Smalltalk、C++等的面向对象的编程语言以及诸如“C”编程语言或类似的编程语言的常规程序编程语言。程序代码可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立的软件包执行，部分在用户的计算机上并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种场景下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，通过使用因特网服务供应商的因特网)。

下面参考根据本发明实施例的方法、装置(***)和计算机程序产品的流程图和/或框图来描述本发明的各方面。将理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机程序指令实现。

这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机程序指令也可以存储在计算机可读介质中，其可以指导计算机、其他可编程数据处理装置或其他设备以特定方式运行，使得存储在计算机可读介质中的指令产生包括实现流程图和/或框图中指定的功能/动作的指令的制品。

计算机程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而在计算机或其他可编程装置上执行的指令提供用于实现流程图和/或框图的一个或多个框中指定的功能/动作的过程。

附图中的流程图和框图示出了根据本发明的各种实施例的***、方法和计算机程序产品的可能实现的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示代码模块、片段或部分，其包括用于实现指定的(一个或多个)逻辑功能的一个或多个可执行指令。还应当注意，在一些备选实现中，框中所标注的功能可以不按图中所标注的顺序发生。

虽然已经结合某些实施例描述了本公开，但是应当理解，本公开不限于所公开的实施例，而是相反，本公开旨在覆盖包括在所附权利要求的范围内的各种修改、组合和等同设置，所附权利要求的范围符合最宽解释，以便涵盖法律所允许的所有这样的修改和等效结构。

Claims (14)

1.一种用于自动驾驶车辆AV的车辆控制***，所述车辆控制***包括：

感知单元；以及

行为规划单元，包括：

意图估计器，其被配置为从所述感知单元接收第一感知信息集合；

运动预测器，其被配置为从所述感知单元接收所述第一感知信息集合；

函数近似器，被配置为从所述感知单元接收第二感知信息集合，其中所述第二感知信息集合小于所述第一感知信息集合，所述函数近似器还被配置为确定预测；以及

控制单元，被配置为使用所述预测来控制所述AV的操作；

其中，所述函数近似器被配置为组合所述意图估计器的输出、所述运动预测器的输出和所述第二感知信息集合，并基于所述意图估计器的所述输出、所述运动预测器的所述输出和所述第二感知信息集合的所述组合来确定所述预测；所述第二感知信息集合向所述函数近似器提供观察的场景的前后关系。

2.根据权利要求1所述的车辆控制***，其中所述行为规划单元被配置为同时组合所述意图估计器的输出和所述运动预测器的输出。

3.根据权利要求2所述的车辆控制***，其中所述行为规划单元被配置为使用投票方法来同时组合所述意图估计器的所述输出和所述运动预测器的所述输出。

4.根据权利要求2所述的车辆控制***，其中所述行为规划单元被配置为使用代数乘法来同时组合所述意图估计器的所述输出和所述运动预测器的所述输出。

5.根据权利要求1所述的车辆控制***，其中所述函数近似器还被配置为确定所述意图估计器的输出是否正确，并且在所述函数近似器确定所述意图估计器的所述输出不正确的情况下，所述函数近似器还被配置为对所述意图估计器进行离散化。

6.根据权利要求1所述的车辆控制***，其中所述函数近似器还被配置为确定所述运动预测器的输出是否正确，并且在所述函数近似器确定所述运动预测器的所述输出不正确的情况下，所述函数近似器还被配置为对所述运动预测器进行离散化。

7.根据权利要求1所述的车辆控制***，其中，所述第二感知信息集合是学习的相关性或导数的集合。

8.一种用于在自动驾驶车辆AV中使用的方法，所述方法包括：

在意图估计器处接收第一感知信息集合；

在运动预测器处接收所述第一感知信息集合；

在函数近似器处接收第二感知信息集合，其中所述第二感知信息集合小于所述第一感知信息集合；

确定预测；以及

基于所述预测来控制所述AV的操作；

所述方法还包括：

组合所述意图估计器的输出、所述运动预测器的输出和所述第二感知信息集合；

基于所述意图估计器的所述输出、所述运动预测器的所述输出和所述第二感知信息集合的所述组合来确定所述预测；所述第二感知信息集合向所述函数近似器提供观察的场景的前后关系。

9.根据权利要求8所述的方法，所述方法还包括：

同时组合所述意图估计器的输出和所述运动预测器的输出。

10.根据权利要求9所述的方法，其中使用投票方法来执行所述组合。

11.根据权利要求9所述的方法，其中使用代数乘法来执行所述组合。

12.根据权利要求8所述的方法，所述方法还包括：

确定所述意图估计器的输出是否正确；以及

在所述意图估计器的所述输出不正确的情况下，对所述意图估计器进行离散化。

13.根据权利要求8所述的方法，所述方法还包括：

确定所述运动预测器的输出是否正确；以及

在所述运动预测器的所述输出不正确的情况下，对所述运动预测器进行离散化。

14.根据权利要求8所述的方法，其中所述第二感知信息集合是学习的相关性或导数的集合。

Images