CN117416344A - 自主驾驶***中校车的状态估计 - Google Patents

Abstract

本文公开了用于估计学校交通车辆的状态的***、方法和计算机程序产品的实施例。例如，该方法包括捕获包括关于自主车辆的环境的信息的传感器数据。该方法还包括检测传感器数据中的学校交通车辆、接收与学校交通车辆的一组候选状态相关的指示列表、以及分析来自一个或多个源的数据以确定指标值。该方法还包括使用指示值来计算概率质量函数，概率质量函数包括学校交通车辆处于每个候选状态的可能性。该方法还包括基于概率质量函数对自主车辆的运动控制***施加一个或多个目标，并使自主车辆根据该一个或多个目标操作。

Description

自主驾驶***中校车的状态估计

背景技术

自主车辆(AV)为社会和个人提供了一系列潜在的好处，比如为那些不能以拼车或自主出租车服务形式出行的人提供了移动解决方案，并减少因人为判断错误而导致的道路碰撞的数量。自主车辆使用传感器扫描周围环境的现有和即将发生的情况，并使用传感器数据和包括地图数据和当地交通法规的其他信息来规划它们的运动。当AV能够合成复杂的信息，在即将发生的情况发生之前预测并做出反应时，运动计划就会得到增强。

本文描述了旨在解决上述问题和/或其他问题的方法和***。

发明内容

本公开的一个或多个方面的细节在附图和下面的描述中都有详细说明。可以从描述和附图以及权利要求中明显看出本公开中描述的技术的其他特征、目的和优点。

本公开描述了与估计学校交通车辆的状态相关的实施例。

在一些实施例中，公开了一种预测学校交通车辆即将到来的状态的方法。该方法包括接收自主车辆附近的环境的传感器数据。该方法还包括响应于传感器数据包括学校交通车辆的代表，而分析传感器数据以从一组候选状态估计学校交通车辆的当前状态，其中候选状态包括有效装载或卸载状态(actively loading orunloading state)、即将装载或卸载状态(imminently loading orunloading state)和休止状态(inactive state)。该方法还包括，响应于估计的当前状态为有效装载或卸载状态或即将装载或卸载状态，而使自主车辆减速或停止，直到学校交通车辆处于休止状态。

在一些实施例中，公开了一种***。该***包括存储器和至少一个处理器，该至少一个处理器连接到存储器并且配置为接收自主车辆附近的环境的传感器数据。处理器还配置为响应于传感器数据包括学校交通车辆的表示而分析传感器数据，以从一组候选状态估计学校交通车辆的当前状态。候选状态包括有效装载或卸载状态、即将装载或卸载状态和休止状态。处理器被配置为响应于估计的当前状态为有效装载或卸载状态或即将装载或卸载状态，而使自主车辆减速或停止，直到学校交通车辆处于休止状态。

在一些实施例中，公开了一种非暂时性计算机可读介质。非暂时性计算机可读介质存储指令，指令在由至少一个计算设备执行时将使至少一个计算设备执行操作。操作包括接收自主车辆附近的环境的传感器数据。操作包括响应于传感器数据包括学校交通车辆的代表而分析传感器数据以从一组候选状态估计学校交通车辆的当前状态，其中候选状态包括有效装载或卸载状态、即将装载或卸载状态和休止状态。操作包括响应于估计的当前状态为有效装载或卸载状态或即将装载或卸载状态，而使自主车辆减速或停止，直到学校交通车辆处于休止状态。

在一些实施例中，公开了一种操作自主车辆的方法。该方法包括由自主车辆的一个或多个传感器捕获传感器数据，传感器数据包括关于自主车辆所处的环境的信息。该方法还包括通过自主车辆的处理器检测传感器数据中的学校交通车辆，并接收与学校交通车辆的一组候选状态相关的指示列表。该方法还包括分析来自一个或多个源的数据以确定指示，并使用指示值来计算概率质量函数，其中概率质量函数包括学校交通车辆处于这组候选状态中的每个候选状态的可能性。该方法还包括基于概率质量函数对自主车辆的运动控制***施加一个或多个目标，并使自主车辆根据一个或多个目标操作。

在一些实施例中，公开了一种***。该***包括：自主车辆的一个或多个传感器，传感器配置用于捕获包括关于自主车辆所处的环境的信息的传感器数据；存储器；和至少一个处理器，处理器连接到存储器并且配置用于检测一个或多个传感器捕获的传感器数据中的学校交通车辆。至少一个处理器还被配置为接收与学校交通车辆的一组候选状态相关的指示列表，并分析来自一个或多个源的数据以确定指示值。至少一个处理器还配置为：使用指示值来计算概率质量函数，其中概率质量函数包括学校交通车辆处于一组候选状态中的每个候选状态的可能性；基于概率质量函数对自主车辆的运动控制***施加一个或多个目标；以及使自主车辆根据一个或多个目标操作。

在一些实施例中，公开了一种非暂时性计算机可读介质。非暂时性计算机可读介质存储指令，指令在由至少一个计算设备执行时将使至少一个计算设备执行操作。操作包括通过自主车辆的一个或多个传感器捕获传感器数据，该传感器数据包括关于自主车辆所处的环境的信息。该方法还包括检测传感器数据中的学校交通车辆，并接收与学校交通车辆的一组候选状态相关的指示列表。操作还包括分析来自一个或多个源的数据以确定指示值，并使用指示值来计算概率质量函数，其中概率质量函数包括学校交通车辆处于该组候选状态中的每个候选状态的可能性。操作还包括基于概率质量函数对自主车辆的运动控制***施加一个或多个目标，并使自主车辆根据一个或多个目标进行操作。

附图说明

本文包含附图且附图构成说明书的一部分。

图1示出了用于估计的示例环境和行为者的状态；

图2示出了示例状态估计器的框图；

图3A-3D示出了包括学校交通车辆的示例道路；

图4示出了预测学校交通车辆即将到来的状态的方法的流程图；

图5示出了根据本公开的各个方面的示例自主车辆***；

图6示出了根据本公开的各个方面的车辆的示例架构；

图7是可用于实现各种实施例的示例性计算机***；

图8是说明自主车辆的示例子***的框图。

在附图中，相似的附图标记通常表示相同或相似的元件。此外，总体上，附图标记最左边的数字表示附图标记首次出现的附图。

具体实施方式

本文中使用的单数形式“一”、“一个”和“该”包括复数形式，除非上下文另有明确规定。除非另有定义，否则本文中使用的所有技术和科学术语与本领域普通技术人员通常理解的含义相同。本文中使用的术语“包括”是指“包括但不限于”。

在本文中，术语“车辆”是指能够承载一名或多名乘客和/或货物并由任何形式的能量提供动力的任何移动形式的运输工具。术语“车辆”包括但不限于轿车、卡车、货车、火车、自主车辆、飞机、无人机等。“自主车辆”(或“AV”)是指具有处理器、编程指令和可由处理器控制而无需操作人员的传动系部件的车辆。自主车辆可以是完全自主的，对于大多数或所有驾驶条件和功能而言，不需要操作人员，或者可以是半自主的，在某些条件下或对于某些操作，可能需要操作人员，或者操作人员可以超驰车辆的自主***并且可以控制车辆。值得注意的是，本文是在自主车辆的背景下进行描述的。然而，该方案不限于自主车辆应用。

术语“学校巴士”、“校车”或“学校交通车辆”是指主要用于运送学生往返学校的巴士、货车或其他车辆。

与本文相关的附加术语的定义包含在该具体实施方式的末尾。

本文描述了用于自主车辆(AV)或其他机器人***以估计和响应学校交通车辆的状态的***、装置、设备、方法和/或计算机程序产品的实施例，和/或上述任何的组合和子组合。例如，学校交通车辆(如学校巴士)的状态可以是“有效装载或卸载”。也就是说，学校巴士可以停在指定的巴士车站，在该巴士车站学生进入(上车)或离开(下车)学校巴士。在许多或所有地区，当地交通法规禁止在有效装载或卸载下越过学校巴士，即使是在相反的车道中(除非例如相反的车道与学校巴士通过明显的障碍物或距离隔开)。学校巴士可以显示一个或多个指示，如部署临时停车标志和/或显示红色闪烁的灯，以提醒驾驶员在学校巴士处于此状态期间他们有义务避免超过学校巴士。此外，学校巴士可以具有指示有效装载或卸载状态的其他视觉提示。例如，学校巴士可能会停在路边，和/或可能有允许学生上车或下车的敞开的侧门或后门。环境可以提供学校巴士处于有效装载或卸载状态的附加指示或提示。例如，AV可以检测已经停在学校巴士附近的其他车辆，或者可以检测在巴士的一个或多个车门附近上车、下车或聚集的学生。外在信息也可以发挥作用。例如，学校巴士通常在一天中的特定时间、一周中的特定日期(也不包括公共假日)和一年中的特定时间段将学生送到学校。因此，日历和一天中的时间信息可以为确定学校巴士的可能状态提供附加的背景。

当学校巴士接近巴士车站但在停车之前时，学校巴士会显示出它即将处于有效装卸或卸载状态的指示。也就是说，学校巴士可以提前通知，在相对较短的时间内停车，以容许学生进入或离开巴士(或两者都有)。例如，巴士在例如停止并且显示红色闪烁灯之前开始减速和/或显示黄色闪烁灯。环境可以提供附加的指示，其表明学校巴士即将处于有效装卸或卸载状态。例如，学生们可能会聚集在路边，例如在巴士的前面。通过识别到学校巴士处于“即将装载或卸载”状态，AV可以计划在预期到学校巴士过渡到有效装卸或卸载状态(即学生主动进入和/或离开学校巴士的状态)时的运动。例如，自主车辆会开始减慢自己的运动和/或增加其与学校巴士的跟随距离，以便在巴士过渡到有效装卸或卸载状态时能够更平稳地完全停止。在学校巴士完成装载和/或卸载过程后，学校巴士可以进入“休止”状态，即不涉及专门的交通法规要求其他车辆减速、停车和/或避免越过学校巴士的状态。“休止”状态可能包括学校车辆移动但没有任何停车意图信号的状态，以及学校巴士停车但并非是有效装卸或卸载乘客的状态。学校巴士可以放置任何临时部署的停车标志和/或熄灭任何先前指示有效装载或卸载状态的红色闪烁灯。当学校巴士处于休止状态时，AV的运动规划***可以将学校巴士视为普通车辆。

所公开的***和方法也可以适用于校车以外的某些行为者。具体地，本公开可扩展到在装载和卸载乘客时显示视觉提示的车辆。例如，应急车辆也可以具有一小组离散状态，每个状态都有一组相关的指示，以及与特定的(例如临时的)交通法规相关的一些状态。

即使这些其他行为者与影响AV运动规划的交通法规(在学校巴士方式中存在)无关，AV的运动规划***也可以将行为者确定的运动状态用于其他目的。例如，AV的运动规划***可以根据所确定的状态来推断出行为者的意图和/或未来的位置、速度或其他方面。在学校巴士的示例中，AV的运动规划***可以推断，处于有效装载或卸载状态的学校巴士将保持静止，直到它进入休止状态。同样，AV的运动控制***可以推断，处于“即将装卸或卸载”状态的校车趋向于即将减速并停车(以便能够装载/卸载学生乘客)。本文总体描述了基于信号、指示、提示和/或其他可用的信息源来推断行为者状态并使用早期状态信息来告知AV的运动规划的相关的***和方法。

尤其地，本文公开了确定行为者(例如校车)的状态，其中行为者的状态可能涉及附加的交通法规，尤其确定行为者可能即将涉及附加的交通法规的状态。

图1示出了用于估计的示例环境100和行为者的状态。环境100包括道路130，道路130具有两个单车宽车道132，车道132a、132b，每个行驶方向都有一个车道。在这里，道路是没有分割的。也就是说，在车道132a、132b之间没有实质性的障碍或其他物理分隔物。沿同一方向行驶的车辆通常占据同一车道(例如，132a、132b)，但例如为了超越另一车辆可以暂时穿过虚线进入相反的车道132。在图1所示的场景中，AV 102在车道132a中行驶，并且跟随(跟踪在后面)沿相同方向行驶的校车120。校车停在了巴士车站106。校车已经部署了临时停车标志(STOP)124，并显示红色闪烁灯(例如122)，以指示它正在有效装载和/或卸载乘客116。如图所示，校车120还打开了其侧门126，以允许在巴士车站等候的乘客(例如116a-c)上车。AV 102已经根据交通规定停车，以避免在校车120处于有效装卸或卸载状态时超越校车120。

AV 102可以具有一个或多个成像传感器，如摄像机，其被配置用于捕获AV 102周围环境的图像。AV传感器还可以包括测距传感器，例如雷达或激光雷达***，这些雷达***被配置用于获取包括从传感器到环境中对象的表面的距离的传感器数据，以例如创建深度图和/或点云。在这里，传感器可以检测校车120处于有效装载或卸载状态的一个或多个指示，例如闪烁的灯。然而，其他指示可能部分或全部被AV的传感器所隐藏。例如，由于AV 102和校车的相对位置、校车的尺寸或其他因素，AV的传感器可能无法检测到校车120的打开侧车门。

在一些示例中，AV 102包括状态估计器200(图2)，其被配置为在一些指示可能无法被AV 102检测到的情况下基于从AV的传感器(和其他源)接收的图像中检测到的指示来推断校车(或其他行为者)的状态。

图2示出了示例状态估计器200的框图。估计器200配置为从行为者的一组候选状态210中估计行为者的状态。例如，校车可以有可以选择的三个候选状态，即：(i)有效装载或卸载；(ii)即将装载或卸载；和(iii)休止。其他行为者可以有不同的候选状态组。每个候选状态都有与该状态相关的一组相关指示。也就是说，这些指示使行为者或多或少更有可能处于相关的候选状态。这些指示可以包括可以由AV 102的传感器检测或基于传感器数据确定的行为者的各个方面，例如行为者的估计速度、从AV 102到行为者的距离、或由AV 102的感知***应用于行为者的分类，其中分类可以包括骑车人、行人、应急车辆、校车等。该指示还可以包括可由AV 102的传感器所检测的行为者(或AV 102)周围环境的各个方面。例如，在校车的情况下，这些指示可以包括检测到在路边聚集的行人(如学生)的存在，或环境中其他行为者的行为，例如检测到要停车但不在红绿灯、停车标志等处的车辆。指示可以包括与传感器数据无关的附加信息214，例如地图信息或一天中的时间或星期几、或行为者或多或少可能处于候选状态之一的其他日历信息。

下表示出了校车状态指示的示例(而非穷举)的列表。例如，由于AV 102和行为者的相对位置，这些指示中的一些指示可能部分或完全被AV传感器的视场遮挡。例如，当AV102在行为者的正后方时，行为者的侧门会被遮挡。此外，行为者的一个或多个灯可能会损坏或失效。尽管存在一些指示被遮挡和/或传感器噪声或分辨率限制，通过评估行为者状态的多个独立信号(指示)，AV可以更稳健地确定行为者的状态。

在一些示例中，AV的传感器以诸如10Hz的恒定频率向AV的感知***提供传感器数据212。AV的感知***可以以相同的频率(例如在处理带宽允许的情况下)或以较慢的频率处理数据以确定每个指示的值。在上表中，几个指示以二元术语描述，例如检测到或未检测到，或存在或不存在。在数学方面，这些指示值可以例如表示为百分比，例如0％检测到或100％检测到。在这些情况下，AV的感知***也可以提供与一个或多个指示值相关的置信水平。为了计算置信水平，***可以使用与传感器相关的因素，如传感器分辨率，或可能影响传感器数据质量的测量的环境因素，如有无雾或雨等。置信水平可应用于指示值。例如，对100％检测到的指示应用20％的置信水平会将指示值降低到80％。同样地，对0％检测到的指示应用20％的置信水平会将指示值提高到20％。将置信水平与指示值相结合的其他方法也在本公开的范围内。置信水平也可以与是否已检测到该指标的评估有关。例如，AV的感知***可以对传感器数据应用分类器(或其他机器学***的临时部署的停车标志。如行为者的速度的其他值也可以具有相关的置信水平。在一些示例中，置信水平可以包括估计的行为者速度分布的标准差。

AV的感知***可以根据每个指示的值(和置信水平)进一步评估行为者处于一种或多种候选状态的可能性。例如，AV的感知***可以计算该组候选状态的概率质量函数(PMF)，即行为者处于每种候选状态的可能性。AV的感知***可以例如基于指示和相关状态或多个状态之间的相关性强度对每个指示赋予不同的权重。例如，检测到闪烁的红灯的权重可以高于校车的速度的权重。在一些示例中，AV的感知***可以例如基于另一指示的值动态地调整每个指示的权重。例如，如果检测到其他指示，如闪烁的红灯，AV的感知***可以减少应用于一天中的时间的指示的权重。

可选地(或另外)，AV的感知***可以对指示值应用训练过的机器学习模型(如神经网络或分类器)，以确定行为者处于一种或多种候选状态的可能性。然后，AV的感知***可以将PMF(或来自机器学习模型的等效输出)提供给贝叶斯估计器220，以持续更新和保持行为者的可能状态。在一些示例中，AV的感知***对贝叶斯估计器220的输出应用统计模型，如隐马尔可夫模型(HMM)230，以便针对行为者的下一状态提供时间滤波的PMF。也就是说，HMM表示基于贝叶斯估计器220的(未经过滤的)输出的行为者的下一状态(来自候选状态之中)的可能性。然后，AV的感知***可以将估计的状态240(或，例如候选状态之间的概率分布)提供给AV的运动规划***，以供进一步处理和/或其他使用。

运动规划***可以以多种方式使用所提供的可能性。例如，如果行为者处于“有效装载或卸载”或“即将装载或卸载”状态的可能性很低(例如，因为行为者不是校车，或行为者远离AV 102的传感器以至于无法可靠地确定行为者的状态，或因为很少或没有指示的值与这些状态一致)，运动规划***可以照常进行。也就是说，运动规划***可以在不施加附加目标或限制的情况下继续进行。然而，如果行为者处于“有效装载或卸载”状态的可能性很高，AV的运动计划***会施加另外的限制。这些另外的限制可以基于当地的交通法规。

在一些示例中，AV 102可以基于AV 102的位置来访问本地交通法规的数据库。部分或全部数据库可以存储在AV 102的车载计算***中，并且例如当AV 102进入新的监管单元(如国家、州、城市或其他直辖市)时，可以从远程服务器访问部分或全部数据库。在一些示例中，AV 102使用位置数据来确定要访问和/或应用什么交通法规。可以基于行为者的类型来进一步索引或访问该数据库。例如，该数据库可以包括AV可以在其中运行的每个国家、州、市或其他交通司法管辖区内与校车有关的交通法规。附加限制除其他方面之外可以包括避免超过行为者(例如在相邻车道)，和/或如果行为者位于交叉路口中或交叉路口附近，则避免进入即将到来的交叉路口(下文详细描述)。如果行为者处于“有效装载或卸载”状态的可能性是中等的(例如存在行为者是否在候选状态的合理的不确定性)，则AV的运动规划***在行为者的可能性保持在中等范围的时间段内会实施保持在行为者后方的增加的跟随距离的目标。

在一些示例中，AV的运动规划***使用经验确定的标准来确定可能性在中等范围内。根据经验确定的标准，可以平衡AV感知***的误报状态分类率和漏报状态分类率。误报状态分类率和漏报状态分类率可以基于例如应用于AV的感知***的标记训练数据。此外或可选地，误报状态分类率和漏报状态分类率可以基于由AV的感知***执行的操作状态分类，并随后例如由AV的感知***确认或否认。通过考虑状态估计的可能性，AV的运动规划***可以对模糊的情况做出更适当的反应。此外，如果行为者处于“即将装载或卸载”状态的可能性是中等或高的，AV的运动规划***可以针对该状态(和/或可能性)实施特定目标，如降低AV 102的速度准备平稳停止，如果需要的话，在行为者之后的适当的距离处停止，以及甚至在行为者停止之前开始减速过程。上面所述的状态估计器200不限于校车的背景。状态估计器200可以对应急车辆或具有一组离散状态和一组指示的其他行为者进行分类，每个指示使行为者或多或少可能处于离散状态之一。与校车的情况一样，应急车辆的状态会导致AV的运动规划***例如基于当地的交通法规施加另外的目标和/或限制。

AV的运动规划***的目标和/或限制可用于指导AV的运动控制***。也就是说，AV的运动控制***可以调整AV的各个方面，如制动和转向，以满足AV的运动规划***所施加的目标和/或限制(在可行的情况下)。AV的运动控制***可以进一步由附加信息引导，附加信息包括AV 102的速度、行为者的速度、AV 102和行为者的相对位置、AV 102占据的车道的方面(如湿和/或光滑的道路)和行为者的方面(包括AV 102占据的车道与行为者占据的车道之间的关系)、车辆动力学和其他相关信息。在一些情况下，AV的运动控制***需要超驰一个或多个目标或限制。例如，当AV的运动规划***施加了不超过相邻车道上的行为者的限制时，但AV 102已经在相邻车道中并且已经与行为者部分重叠(或者另外无法避免超过行为者)时。在一些示例中，AV的运动规划***可能会实施对“即将装载或卸载”状态所设定的目标，以减少这种情况发生的可能性。例如，当行为者处于“即将装载或卸载”状态的可能性为中等或高时，AV的运动规划***可以实施消除与行为者现有的重叠和/或保持在行为者后方的至少最小跟随距离的目标，即使行为者在相邻车道上且并非位于AV 102的正前方。通过实施对“即将装载或卸载”状态所设定的目标或限制，AV 102可以对接近巴士车站但尚未进入“有效装载或卸载”状态的校车作出更平顺的反应。

在一些示例中，AV的运动规划***对多个可能的候选状态施加目标或限制。例如，AV的运动规划***可以基于行为者处于两个或更多个状态中的每一个的概率或例如所有候选状态的概率质量函数(PMF)施加目标或限制。例如，如果行为者处于任何一个候选状态(例如“有效装载或卸载”，“即将装载或卸载”和休止)的概率都很低(例如，低于阈值)，或者都相对相似，则AV的运动规划***可以实施与行为者的模糊状态相关的目标或限制，直到其中一个候选状态的可能性超过阈值或变得明显大于其他状态的可能性。换句话说，AV的运动规划***可以基于行为者的两个或更多个候选状态之间的概率分布来实施“软”目标，其中“软”目标定位或准备使AV顺利地解决最可能出现的候选状态。在校车的情况下，这些目标或限制可以包括减速和/或打破与行为者的任何重叠。

在一些示例中，AV的运动规划***可以基于被AV的感知***检测到的所有行为者的PMF来施加目标。例如，AV的感知***可以检测一辆或多辆校车、应急车辆和/或其他行为者。AV的感知***可以为每个被检测到的行为者的候选状态组计算概率质量函数(PMF)。AV的运动规划***可以基于部分或全部被检测到的行为者的状态的总体可能性来施加目标。

AV的运动规划***也可以通过其他方式使用行为者的估计状态。例如，AV的运动规划***可以使用行为者的状态来预测行为者未来的行动(或不行动)。例如，校车在处于“有效装载或卸载”状态时可能保持停止，而在“即将装载或卸载”状态时可能即将减速和停止。此外，AV的运动规划***可以基于校车的状态推断出环境中其他车辆的状态。当校车处于“有效装载或卸载”状态时，周围车辆可能保持停止，而当校车处于“即将装载或卸载”状态时，周围车辆可能减速和停止。

AV的运动规划***可以基于道路的配置和/或AV 102和行为者的相对位置应用不同的目标或限制。前面的讨论主要集中在AV 102处于同一车道或相邻车道的行为者之后。当AV 102排在行为者前面，与行为者朝同一方向行驶时，AV的运动规划***可以将校车视为普通车辆。也就是说，AV的运动规划***可以决定不根据行为者的状态来施加目标或限制。附图3A-3D说明了AV的运动规划***可以解决的各种情况。图3A示出了包括具有相同行驶方向的两个相邻车道132a、132b的道路130。AV 102和行为者在向同一方向行驶时可能占据不同的车道。如图所示，行为者处于“有效装载或卸载”状态。在这里，当地的交通法规禁止AV 102超过行为者，即使它们占据不同的车道。图3B示出了包括具有相反的行驶方向的两个相邻的车道132a、132b的道路130。AV 102和行为者可以向相反的方向行驶。如图所示，行为者处于“有效装载或卸载”状态。在这里，当地的交通法规禁止AV 102越过行为者，即使他们占据不同的车道。图3C示出了包括具有相反的行驶方向且由分隔物350隔开的两个车道132a、132b的分开的道路。如图所示，行为者处于“有效装载或卸载”状态。然而，当地的交通法规允许AV 102超过行为者，因为车道被分隔物350隔开。分隔物350可以是例如混凝土分隔物、纵向渠化装置(LCD)、泽西屏障、中间带、中央预留地等。本领域的普通技术人员应该理解，这些只是分隔物的示例，并且根据本公开的各个方面可以进一步考虑其他类型的分隔物。图3D示出了两个道路的交叉路口(和两个车道的交叉路口)370。如图所示，行为者处于“有效装载或卸载”状态。在这里，当校车在交叉路口370内或位于通向交叉路口370的入口380处时，即使AV 102打算远离校车(例如，在所示的交叉路口右转)，当地交通法规也禁止AV 102进入交叉路口。

图4示出了预测学校交通车辆即将到来的状态的方法的流程图400。在步骤402，该方法包括接收自主车辆附近的环境的传感器数据(如图像)。在一些示例中，接收传感器数据包括通过诸如摄像机或激光雷达***的自主车辆的一个或多个传感器捕获图像或点云。在步骤404，该方法包括响应于包括学校交通车辆的呈现或其他表示的传感器数据，分析该图像以估计学校交通车辆的当前状态。在一些示例中，自主车辆包括配置用于识别图像中的对象和/或对图像中的对象分类的感知***或其他图像处理***。感知***可以使用训练过的机器学习模型来识别和标记图像中的对象。感知***可以对图像应用一个或多个边界框，每个边界框都包含已识别的对象。在一些示例中，感知***对图像中(或在边界框内)的对象类型进行分类或标记。感知***可以包括机器学习模型，其被训练以识别图像中的学校交通车辆。可以使用学校交通车辆的图像训练机器学习模型，或者模型可能被训练来识别与学校交通车辆相关的特征，该特征包括但不限于尺寸、颜色、共享、外部标记等。当机器学习模型识别出图像中(或在边界框内)的学校交通工具时，感知***可以将对象标记为学校交通车辆。关于感知***及其如何操作的附加细节将在图8的讨论中描述。

在一些示例中，分析传感器数据包括检测对象(例如学校交通车辆)状态的指示。对象可以具有一组相关的候选状态。每个候选状态都可以具有一组相关的指示。如上所述，自主车辆的感知***可以检测图像中的一个或多个指示。例如，自主车辆的感知***可以检测黄色闪烁的灯，即“即将装载或卸载”状态的指示。学校运输车辆的其他候选状态可以包括“有效装载或卸载”和休止。在步骤406中，该方法包括估计学校交通车辆的当前状态。在一些示例中，估计行为者(例如学校交通车辆)的状态包括基于指示计算所有候选状态的概率质量函数。换句话说，感知***可以基于检测到的指示计算出行为者处于每一个候选状态的可能性。在一些示例中，基于每个指示的概率进行估计。行为者处于每个候选状态的可能性可以取决于误差估计。例如，如果感知***可以检测具有50％误差估计的闪烁的黄灯，则感知***可以确定行为者处于即将装载或卸载状态的概率，并确定行为者处于有效装载或卸载状态(或休止状态)的概率。

在步骤408，该方法包括响应于估计状态是有效装载或卸载或立即装载或卸载，使车辆减速或停止，直到学校运输车辆处于休止状态。在一些示例中，使车辆减速或停止包括基于行为者的估计状态将目标施加给车辆的运动控制***。例如，当地交通法规可能禁止越过处于有效装载或卸载状态的校车。基于学校交通车辆的估计状态以及基于有关学校交通车辆的当地法规，运动规划***会实施使自主车辆减速和停车的目标，以避免越过学校交通车辆。车辆的运动规划***可以产生命令，使车辆减速或停止，而车辆的运动控制***可以执行该命令。下面在图8的讨论中描述关于这些***的示例细节。

图5示出了根据本公开的各个方面的示例***500。***500包括以半自主或自主方式沿着道路行驶的车辆102。车辆102在本文中也被称为AV 102。AV 102可以包括但不限于陆地车辆(如图5所示)、飞机或船舶。如上所述，除了特别指出的地方外，本公开不一定限于AV实施例，并且在一些实施例中可以包括非自主驾驶车辆。

AV 102通常被配置为检测其附近的对象。这些对象可以包括但不限于车辆503、骑车人514(例如自行车、电动滑板车、摩托车等的骑车人)和/或行人516。

如图5所示，AV 102可以包括传感器***511、车载计算设备513、通信接口517和用户接口515。自主车辆***500还可以包括包括在车辆中的某些部件(例如，如图2所示)，这些部件可由车载计算设备513使用各种通信信号和/或命令进行控制，通信信号和/或命令例如是加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等。

传感器***511可以包括一个或多个传感器，传感器被连接到AV 102和/或被包括在AV 102内。例如，这样的传感器可以包括但不限于激光雷达(LiDAR)***、无线电探测和测距(RADAR，以下也称为雷达)***、激光探测和测距(LADAR)***、声音导航和测距(SONAR，以下也称为声纳)***、一个或多个摄像机(例如，可见光谱摄像机、红外摄像机等)、温度传感器、定位传感器(例如，全球定位***(GPS)等)、位置传感器、燃料传感器、运动传感器(例如，惯性测量单元(IMU)等)、湿度传感器、占用传感器等。传感器数据可以包括描述对象在AV 102的周围环境内的位置的信息、关于环境本身的信息、关于AV 102运动的信息、关于车辆路线的信息等。当AV 102在表面上行进时，至少一些传感器可以收集与表面有关的数据。

AV 102还可以通过通信网络508将由传感器***收集的传感器数据通信到远程计算设备510(例如，云处理***)。远程计算设备510可以被配置有一个或多个服务器，以处理本文中所描述的技术的一个或多个进程。远程计算设备510也可以被配置为通过网络508从服务器和/或数据库512向AV 102传输数据/指令，或者从AV 102向服务器和/或数据库512传输数据/指令。

网络508可以包括一个或多个有线或无线网络。例如，网络108可以包括蜂窝网络(例如，长期演进(LTE)网络、码分多址(CDMA)网络、3G网络、4G网络、5G网络、另一种类型的下一代网络等)。网络还可以包括公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)，城域网(MAN)、电话网络(例如，公共交换电话网络(PSTN))、专用网络、自组织网络、内联网、互联网、基于光纤的网络、云计算网络等，和/或这些或其他类型网络的组合。

AV 102可以检索、接收、显示和编辑从本地应用程序生成的或通过网络508从数据库512传递的信息。数据库512可以被配置为存储和提供原始数据、索引数据、结构化数据、地图数据、程序指令或已知的其他配置。

通信接口517可以被配置为允许AV 102和外部***之间的通信，外部***例如是外部设备、传感器、其他车辆、服务器、数据存储器、数据库等。通信接口517可以使用任何现在或以后已知的协议、保护方案、编码、格式、封装等，例如但不限于Wi-Fi、红外链路、蓝牙等。用户接口***515可以是在AV 102内实现的***设备的一部分，包括例如键盘、触摸屏显示设备、麦克风和扬声器等。车辆还可以通过诸如车辆到车辆、车辆到对象或其他V2X通信链路的通信链路经由通信接口517接收关于其环境中的设备或对象的状态信息、描述性信息或其他信息。术语“V2X”是指车辆与车辆在其环境中可能遇到或影响的任何对象之间的通信。

图6示出了根据本公开的各个方面的用于车辆的示例***架构600。图5中的车辆102和/或503可以具有与图6中所示的***架构相同或相似的***架构。因此，下面对***架构600的讨论就足以理解图5中的车辆102、503。然而，其他类型的车辆也被考虑在本文中描述的技术范围内，并且可以包含与图6相关描述的更多或更少的要素。作为非限制性示例，飞行器可以不包括制动器或齿轮控制器，但可以包括高度传感器。在另一非限制性示例中，水基车辆可以包括深度传感器。本领域的技术人员将理解，如已知的，基于车辆的类型可以包括其他推进***、传感器和控制器。

如图6所示，用于车辆的***架构600包括发动机或马达602和用于测量车辆各种参数的各种传感器604-618。在具有燃料动力发动机的燃气动力或混合动力车辆中，传感器可以包括例如发动机温度传感器604、电池电压传感器606、发动机每分钟转数(“RPM”)传感器608和节气门位置传感器610。如果车辆是电动或混合动力车辆，那么车辆可以具有电动马达，并且相应地包括诸如电池监测***612(用于测量电池的电流、电压和/或温度)、马达电流传感器614和马达电压传感器616，以及马达位置传感器618(例如解析器和编码器)之类的传感器。

两种类型的车辆通用的操作参数传感器包括，例如：位置传感器636，例如加速度计、陀螺仪和/或惯性测量单元；速度传感器638；以及里程计传感器640。车辆还可以具有时钟642，***使用该时钟来确定操作期间的车辆时间。时钟642可以被编码到车辆车载计算设备中，它可以是单独的设备，或者多个时钟可以是可用的。

车辆还包括各种传感器，这些传感器用于收集有关车辆行驶环境的信息。这些传感器可以包括，例如：定位传感器660(例如，全球定位***(“GPS”)设备)；对象检测传感器，例如一个或多个摄像机662；激光雷达***664；和/或雷达和/或声纳***666。传感器还可以包括环境传感器668，例如降水传感器和/或环境温度传感器。对象检测传感器可以使车辆能够在任何方向上检测在车辆的给定距离范围内的对象，同时环境传感器收集关于车辆行驶区域内的环境条件的数据。车辆可检测范围内的对象可以包括如建筑物和树木的静止对象以及如行人的移动(或潜在移动)的行为者。

在操作过程中，信息从传感器传递到车辆车载计算设备620。车载计算设备620可以使用图7的计算机***来实现。车辆车载计算设备620分析由传感器捕获的数据，并且可选地基于分析结果控制车辆的操作。例如，车辆车载计算设备620可以经由制动控制器622控制制动；经由转向控制器624控制方向；经由节气门控制器626(在燃气动力车辆中)或马达速度控制器628(例如电动车辆中的电流水平控制器)、差速齿轮控制器630(在具有变速器的车辆中)和/或其他控制器控制速度和加速度。辅助设备控制器654可以被配置为控制一个或多个辅助设备，例如测试***、辅助传感器、由车辆运输的移动设备等。

地理位置信息可以从定位传感器660传送到车载计算设备620，然后车载计算设备可以访问与位置信息相对应的环境地图，以确定环境的已知固定特征，例如街道、建筑物、停车标志和/或停/走信号。从摄像机662捕获的图像和/或从诸如激光雷达***664之类的传感器捕获的对象检测信息从那些传感器传送到车载计算设备620。对象检测信息和/或捕获的图像由车载计算设备620处理，以检测车辆附近的对象。用于基于传感器数据和/或捕获的图像进行对象检测的任何已知或将要已知的技术都可以用于本文公开的实施例中。

车载计算设备620可以包括路线控制器632和/或可以与路线控制器632通信，该控制器为自主车辆生成从起始位置到目的地位置的导航路线。路线控制器632可以访问地图数据存储器，以识别车辆可以继续行驶以从起始位置到达目的地位置的可能的路线和路段。路线控制器632可以对可能的路线进行评分，并识别出到达目的地的首选路线。例如，路线控制器632可以生成在路线期间尽量减少行驶的欧氏距离或其他成本函数的导航路线，并且可以进一步访问可以影响在特定路线上行驶所需的时间量的交通信息和/或估计。取决于实施方式，路线控制器632可以使用各种路线方法(例如Dijkstra算法、Bellman-Ford算法或其他算法)来生成一个或多个路线。路线控制器632还可以使用交通信息来生成反映该路线的预期条件(例如，星期几或一天的当前时间等)的导航路线，以使生成的在高峰时段的行驶路线可以与生成的深夜的行驶路线不同。路线控制器632还可以生成到目的地的多个导航路线，并将这些导航路线中的多个路线发送给用户，供用户从各种可能的路线中进行选择。

在各种实施例中，车载计算设备620可以确定AV 102的周围环境的感知信息。基于由一个或多个传感器提供的传感器数据和所获得的位置信息，车载计算设备620可以确定AV 102的周围环境的感知信息。感知信息可以表示普通驾驶员在车辆周围环境中将感知到的情况。感知数据可以包括与AV 102的环境中的一个或多个对象有关的信息。例如，车载计算设备620可以处理传感器数据(例如，激光雷达或雷达数据、摄像机图像等)，以便识别AV102的环境中的对象和/或特征。对象可以包括交通信号、道路边界、其他车辆、行人和/或障碍物等。车载计算设备620可以使用任何现在或以后已知的对象识别算法、视频跟踪算法和计算机视觉算法(例如，在多个时间段内逐帧迭代地跟踪对象)来确定感知。

在一些实施例中，车载计算设备620还可以为环境中的一个或多个已识别对象确定对象的当前状态。状态信息可以包括但不限于每个对象的以下信息：当前位置；当前速度和/或加速度、当前航向；当前姿态；当前形状、大小或占地面积；类型(例如，车辆、行人、自行车、静态对象或障碍物)；和/或其他状态信息。

车载计算设备620可以执行一个或多个预测和/或估计操作。例如，车载计算设备620可以预测一个或多个对象的未来位置、轨迹和/或动作。例如，车载计算设备620可以至少部分地基于感知信息(例如，每个对象的状态数据，包括如下所述确定的估计形状和姿势)、位置信息、传感器数据和/或描述对象、AV 102、周围环境和/或它们的关系的过去和/或当前状态的任何其他数据来预测对象的未来位置、轨迹和/或动作。此外，计算设备620可以确定与一个或多个预测相关的置信水平。例如，计算设备620可以确定与一个或多个感知的行为者的位置、速度、方向和/或其他方面相关的误差估计，并使用该误差估计来预测对象的可能轨迹。例如，如果对象是车辆并且当前驾驶环境包括交叉路口，则车载计算设备620可以预测对象是否可能直线向前移动或转弯，并且确定与每种可能性相关的概率。如果感知数据指示交叉路口没有红绿灯，车载计算设备620还可以预测车辆是否必须在进入交叉路口之前完全停车。

在各种实施例中，车载计算设备620可以确定自主车辆的运动计划。例如，车载计算设备620可以基于感知数据和/或预测数据来确定自主车辆的运动计划。具体地，给定关于邻近对象的未来位置的预测和其他感知数据，车载计算设备620可以确定AV 102的运动计划，该运动计划相对于在其未来位置的对象最佳地导航自主车辆。

例如，对于特定的行为者(例如，具有给定速度、方向、转弯角度等的车辆)，车载计算设备620基于例如交通状况、地图数据、自主车辆的状态等来决定是否超车、让行、停车和/或通过。此外，车载计算设备620还规划AV 102在给定路线上行驶的路径，以及驾驶参数(例如，距离、速度和/或转弯角度)。也就是说，对于给定的对象，车载计算设备620决定如何处理该对象。例如，对于给定对象，车载计算设备620可以决定超过该对象，并可以确定是从对象的左侧或右侧超过(包括速度等运动参数)。车载计算设备620还可以评估检测到的对象和AV 102之间发生碰撞的风险。如果风险超过可接受的阈值，则可以确定在自主车辆遵循定义的车辆轨迹和/或在预定义的时间段(例如，N毫秒)内执行一个或多个动态生成的紧急机动的情况下是否可以避免碰撞。如果可以避免碰撞，则车载计算设备620可以执行一个或多个控制指令以执行谨慎的机动(例如，稍微减速、加速、变道或转弯)。相反，如果不能避免碰撞，则车载计算设备620可以执行一个或多个控制指令，用于执行紧急机动(例如，制动和/或改变行驶方向)。

可以例如使用一个或多个计算机***，如图7中所示的计算机***700来实现各种实施例。计算机***700可以是能够执行本文中所描述的功能的任何计算机。

计算机***700包括一个或多个处理器(也称为中央处理单元，或CPU)，例如处理器704。处理器704连接到通信基础设施或总线702。可选地，一个或多个处理器704可以各自是图形处理单元(GPU)。在实施例中，GPU是用于处理数学密集的应用的专用电子电路的处理器。GPU可以具有并行结构，可以有效地并行地处理大块数据，例如计算机图形应用、图像、视频等常见的数学密集型数据。

计算机***700还包括用户输入/输出设备703，如监视器、键盘、指向设备等，它们通过用户输入/输出接口702与通信基础设施进行通信。

计算机***700还包括主要的存储器或主存储器708，例如随机存取存储器(RAM)。主存储器708可以包括一个或多个缓存级别。主存储器708在其中存储了控制逻辑(即计算机软件)和/或数据。

计算机***700还可以包括一个或多个辅助存储设备或存储器710。辅助存储器710可以包括例如硬盘驱动器712和/或可移动的存储设备或驱动器714。可移动存储驱动器714可以是外部硬盘驱动器、通用串行总线(USB)驱动器、诸如紧凑型闪存卡或安全数字存储器的存储卡、软盘驱动器、磁带驱动器、光盘驱动器、光学存储设备、磁带备份设备和/或任何其他存储设备/驱动器。

可移动存储驱动器714可以与可移动存储单元718相互作用。可移动存储单元718包括存储有计算机软件(控制逻辑)和/或数据的计算机可用或可读存储设备。可移动存储单元718可以是外部硬盘驱动器、通用串行总线(USB)驱动器、诸如紧凑型闪存卡或安全数字存储器的存储卡、软盘、磁带、光盘、DVD、光盘存储盘和/任何其他计算机数据存储设备。可移动存储驱动器714以众所周知的方式读取可移动存储单元718和/或编写可移动存储单元718。

根据示例实施例，辅助存储器710可以包括允许计算机***700访问计算机程序和/或其他指令和/或数据的其他手段、工具或其他方法。这种手段、工具或其他方法可以包括例如可移动存储单元722和接口720。可移动存储单元722和接口720的示例可以包括程序盒和盒接口(例如存在于视频游戏设备中的那种)、可移动存储芯片(例如EPROM或PROM)和相关插座、存储棒和USB端口、存储卡和相关的存储卡插槽，和/或任何其他可移动存储单元和相关接口。

计算机***700还可以包括通信或网络接口724。通信接口724使计算机***700能够与远程设备、远程网络、远程实体等(由附图标记728单独和集体引用)的任何组合进行通信和交互。例如，通信接口724可以允许计算机***700通过通信路径726与远程设备728进行通信，通信路径726可以是有线和/或无线的，并且可以包括局域网、广域网、互联网等的任何组合。控制逻辑和/或数据可以经由通信路径726传输到计算机***700，或从计算机***700传输控制逻辑和/或数据。

在一些实施例中，包括有形的、非暂时的计算机可读介质的有形的、非暂时的设备或制造工具在本文中也被称为计算机程序产品或程序存储设备，计算机可读介质具有存储在其中的控制逻辑(软件)。这包括但不限于，计算机***700、主存储器706、辅助存储器710、和可移动存储单元718和722，以及体现上述任何组合的有形制造物品。这种控制逻辑当由一个或多个数据处理设备(如计算机***700)执行时，使得这些数据处理设备如本文中描述的那样运行。

基于本公开中包含的教导，对于相关技术的技术人员显而易见的是，如何使用图7中所示以外的数据处理设备、计算机***和/或计算机架构来制作和使用本公开的实施例。尤其地，可以使用本文中描述的那些以外的软件、硬件和/或操作***实施方式来操作实施例。

图8示出了可以与上述讨论相关的车辆子***的高度概述。在本文图6的讨论中描述了这种***中的具体部件。子***的某些部件可以体现在处理器硬件和计算机可读的编程指令中，它们是车辆车载计算***801的一部分。

子***可以包括感知***802，该***包括捕获关于存在于车辆邻近环境中的移动行为者和其他对象的信息的传感器。示例传感器包括摄像机、激光雷达传感器和雷达传感器。由这些传感器捕获的数据(如数字图像、激光雷达点云数据或雷达数据)被称为感知数据。感知数据可以包括代表环境中的一个或多个对象的数据。感知***可以包括一个或多个处理器，以及具有编程指令和/或训练的人工智能模型的计算机可读存储器，在车辆运行期间训练的人工智能模型将处理感知数据以识别对象并为场景中检测到的每个对象分配分类标签和唯一标识符。分类标签可以包括诸如车辆、骑车人、行人、建筑物等类别。识别对象和为对象分配分类标签的方法在本领域中是众所周知的，并且可以使用任何合适的分类过程，例如对场景中检测到的对象进行边界框(或例如长方体)预测，并使用卷积神经网络或其他计算机视觉模型的那些分类。一些这样的过程在下列文件中有描述：“Yurtsever等人，自动驾驶调查：常见做法和新兴技术”(arXiv，2020年4月2日)(“Yurtsever et al.,ASurvey ofAutonomous Driving:Common Practices and Emerging Technologies”(arXivApril 2,2020))。

如果车辆是AV 102，则车辆的感知***802可以将感知数据传送到车辆的预测***803。预测***(也可称为预言***)可以包括处理器和计算机可读编程指令，这些指令被配置为处理从感知***接收到的数据并预测感知***检测到的其他行为者的行为。例如，预测***803可以包括机器学习模型，该模型被训练以基于感知***检测到行人516(或其他行为者)的图像(或图像的部分)来预测任何或所有行人516(或其他行为者)的速度。

在AV 102中，车辆的感知***以及车辆的预测***会将数据和信息传递到车辆的运动规划***804和运动控制***805，以便接收***可以评估这些数据并对这些数据发起任意数量的反应运动。运动规划***804和控制***805包括和/或共享一个或多个处理器和计算机可读编程指令，计算机可读编程指令被配置为处理从其他***接收的数据、确定车辆的轨迹并输出命令到车辆硬件以使车辆根据确定的轨迹移动。这些命令可能导致车辆硬件采取的示例操作包括使车辆的制动控制***致动，使车辆的加速控制子***提高车辆的速度，或使车辆的转向控制子***使车辆转向。各种运动规划技术都是众所周知的，例如，在下列中所描述的：Gonzalez等人，“自主车辆运动规划技术综述”，发表在IEEE智能交通***汇刊，第17卷，第4期(2016年4月)(Gonzalez et al.,“A Review ofMotionPlanningTechniques for Automated Vehicles,”published in IEEE Transactions onIntelligent Transportation Systems,vol.17,no.4(April 2016))。

与本公开相关的术语包括：

“电子设备”或“计算设备”指包含处理器和存储器的设备。每个设备可以具有其自己的处理器和/或存储器，或者该处理器和/或存储器可以与虚拟机或容器装置中的其他设备共享。存储器将包含或接收编程指令，当由处理器执行时，使电子设备根据编程指令执行一个或多个操作。

术语“存储器”、“存储设备”、“数据存储”、“数据存储设备”等均指存储计算机可读数据、编程指令或两者的非瞬态设备。除非另有特别说明，否则术语“存储器”、“存储设备”、“数据存储”、“数据存储设备”等旨在包括单个设备实施例、多个存储设备一起或共同存储一组数据或指令的实施例、以及这些设备内的单个扇区。

术语“处理器”和“处理设备”是指被配置为执行编程指令的电子设备的硬件部件。除非另有特别说明，否则单数术语“处理器”或“处理设备”旨在包括单个处理设备实施例和多个处理设备一起或共同执行过程的实施例。

在本文中，术语“通信链路”和“通信路径”表示第一设备经由其向一个或多个其他设备发送通信信号和/或从一个或多个其他设备接收通信信号的有线或无线路径。如果设备能够通过通信链路发送和/或接收数据，则设备是“通信连接”的。“电子通信”是指通过一个或多个信号在两个或更多个电子设备之间传输数据，无论是通过有线网络还是无线网络，以及直接或通过一个或多个中间设备间接传输。术语“无线通信”是指两个设备之间的通信，其中通信路径的至少一部分包括无线传输的信号，但不一定要求整个通信路径是无线的。

术语“分类器”是指一种自动化过程，人工智能***可以通过该过程为一个或多个数据点分配标签或类别。分类器包括通过如机器学习等自动化过程训练的算法。分类器通常从一组标记或未标记的训练数据开始，并应用一个或多个算法来检测数据中对应于各种标签或类别的一个或多个特征和/或模式。这些算法可以包括但不限于像决策树一样简单的算法、像朴素贝叶斯分类一样复杂的算法和/或诸如K最近邻算法的中间算法。分类器可以包括人工神经网络(ANN)、支持向量机(SVM)分类器和/或许多不同类型的分类器中的任何一个。一旦经过训练，分类器就可以使用它在训练期间学到的知识库对新数据点进行分类。训练分类器的过程会随着时间的推移而发展，因为分类器可能会定期接受更新数据的训练，并且它们可能会从提供的关于它们出现的错误分类的数据的信息中学习。分类器将由执行编程指令的处理器实施，它可以对大型数据集合(例如图像数据、激光雷达***数据和/或其他数据)进行操作。

“机器学习模型”或“模型”是指可以基于一组输入特征预测现实世界过程的输出而无需明确编程的一组算法例程和参数，预测可以是例如对象轨迹的预测、患者的诊断或治疗、基于用户搜索查询的适当推荐等。可以在训练过程中确定软件例程的结构(例如子例程的数量和它们之间的关系)和/或参数值，这可以使用正在建模的真实世界过程的实际结果。这样的***或模型被理解为必然植根于计算机技术，事实上，在没有计算技术的情况下其无法实现甚至存在。虽然机器学习***利用各种类型的统计分析，但机器学习***与统计分析的区别在于无需显式编程即可具有学习的能力，并且植根于计算机技术。

典型的机器学习流水线可以包括基于样本数据集(称为“训练集”)构建机器学习模型，针对一个或多个附加的样本数据集(称为“验证集”和/或“测试集”)评估模型以决定是否保持模型以及衡量模型需要有多好，并在“生产”中针对应用程序服务捕获的实时输入数据使用模型进行预测或决策。训练集、验证集和/或测试集以及机器学习模型往往难以获得，且应该保密。本公开描述了用于提供保护数据集以及机器学习模型的隐私和完整性的安全机器学习流水线的***和方法。

术语“边界框”指的是表示对象位置的矩形框。边界框可以在数据中由对应于框的第一角(例如右上角)的x轴和y轴坐标[xmax，ymax]以及对应于矩形的与第一角相对的角(例如左下角)的x轴和y轴坐标[xmin，ymin]来表示。它可以被计算为包含对象的所有点的最小矩形，可选地加上附加空间以允许误差幅度。对象的点可以是由一个或多个传感器检测到的点，例如由摄像机捕获的图像的像素，或者由激光雷达传感器捕获的点云的点。

当提到“对象”时，术语“对象”是指由车辆感知***检测到或由模拟***模拟的对象，旨在包括静止对象和移动(或潜在移动)行为者，除非使用“行为者”或“静止对象”这一术语另有明确说明。

本文使用的术语“行人”包括在场景中正在移动或可能移动而没有乘坐在车辆中的任何活的行为者。行人可以是人或动物。行人可以通过行走、跑步或使用部分或例如旱冰鞋、滑板、手动滑板车等完全需要人体运动以操作的人力运动辅助物品来移动。行人包括等待被巴士接走的学生。

当在自主车辆运动规划中使用时，术语“轨迹”是指车辆的运动规划***804产生的计划，以及在控制车辆的运动时，车辆的运动控制***805将遵循的计划。轨迹包括车辆在一个时间范围内的多个时间点的计划位置和方向，以及车辆在同一时间范围内计划的方向盘角度和角度速率。自主车辆的运动控制***将实施该轨迹，并向车辆的转向控制器、制动控制器、节气门控制器和/或其他运动控制子***发送命令，以使车辆沿着计划的路径移动。

车辆的感知或预测***可以生成的行为者的“轨迹”是指行为者在时间范围内将遵循的预测路径，以及行为者的预测速度和/或行为者在沿时间范围的各个点沿着路径的位置。

在本文中，术语“街道”、“车道”、“道路”和“交叉路口”以在一条或多条道路上行驶的车辆为例加以说明。然而，该实施例旨在包括在其他位置上的车道和交叉路口，如停车场。此外，对于设计用于室内的自主车辆(如仓库中的自动分拣设备)，街道可以是仓库的走廊，车道可以是走廊的一部分。如果自主车辆是无人机或其他飞机，术语“街道”或“道路”可以代表航线，而车道可以是航线的一部分。如果自主车辆是船舶，那么术语“街道”或“道路”可以代表水道，而车道可以是水道的一部分。

在本文中，当如“第一”和“第二”这种顺序相关的术语用于修饰名词时，这种使用只是为了将一个项目与另一个项目区分开来，除非特别说明，否则不需要顺序。此外，如“垂直”和“水平”、或“前部”和“后部”的相对位置的术语在使用时，旨在彼此相对，而不必是绝对的，并且仅指与这些术语相关联的设备的一个可能位置，这取决于设备的方向。

应当理解，具体实施方式部分而不是任何其他部分旨在用于解释权利要求。其他部分可以提出发明人所设想的一个或多个但不是所有的示例性实施例，因此，不旨在以任何方式限制本公开或所附权利要求。

虽然本公开描述了示例性领域和应用的示例性实施例，但应理解，本公开不限于此。其他实施例及其修改是可能的，并且在本公开的范围和精神内。例如，在不限制本段的一般性的情况下，实施例不限于图中所示和/或本文所述的软件、硬件、固件和/或实体。此外，实施例(无论是否在本文中明确描述)对于本文所描述的示例之外的领域和应用具有显著的实用性。

本文在功能构建块的帮助下描述了实施例，该功能构建块说明了特定功能的实现及其关系。为了便于描述，这些功能构建块的边界在本文中被任意定义。只要适当地执行指定的功能和关系(或其等价物)，就可以定义替代边界。此外，替代实施例可以使用不同于本文所述的次序来执行功能块、步骤、操作、方法等。

本文中对“一个实施例”、“实施例”和“示例实施例”或类似短语的引用表明，所描述的实施例可以包括特定的特征、结构或特性，但每个实施例不一定都包括特定的特性、结构或特征。此外，这样的短语不一定指的是相同的实施例。此外，当结合实施例描述特定的特征、结构或特性时，无论这里是否明确提及或描述，将这种特征、结构、或特性结合到其他实施例中将在相关领域的技术人员的知识范围内。此外，可以使用表达式“连接”和“耦接”及其衍生物来描述一些实施例。这些术语不一定是彼此的同义词。例如，可以使用术语“连接”和/或“耦接”来描述一些实施例，以指示两个或更多个元件彼此直接物理或电接触。然而，术语“连接”也可以指两个或更多个元件彼此不直接接触，但是仍然相互合作或相互作用。

在一些实施例中，公开了一种预测学校交通车辆即将到来的状态的方法。该方法包括接收自主车辆附近的环境的传感器数据。该方法还包括响应于传感器数据包括学校交通车辆的代表，而分析传感器数据以从一组候选状态估计学校交通车辆的当前状态，其中候选状态包括有效装载或卸载状态、即将装载或卸载状态和休止状态。该方法还包括，响应于估计的当前状态为有效装载或卸载状态或即将装载或卸载状态，而使自主车辆减速或停止，直到学校交通车辆处于休止状态。

本公开的实施方式可以包括一个或多个以下可选特征。在一些实施方式中，使自主车辆减速或停止包括基于学校交通车辆的估计状态对自主车辆的运动控制***施加目标。施加的目标可以基于与学校交通车辆相关的交通法规。在一些示例中，每个候选状态具有一组相关的指示，并且分析传感器数据包括检测传感器数据中的一个或多个相关的指示。分析传感器数据还可以包括基于检测到的指示计算候选状态的概率质量函数。使自主车辆减速或停止可以包括基于候选状态的概率质量函数对自主车辆的运动控制***施加目标。分析传感器数据以估计学校交通车辆的当前状态还可以包括分析日历日期和/或一天中的时间。在一些示例中，该方法还包括基于后续图像检测学校交通车辆的后续状态，并确定后续状态是否与预期的即将到来的状态相对应。

在一些实施例中，公开了一种***。该***包括存储器和至少一个处理器，该至少一个处理器连接到存储器并且配置为接收自主车辆附近的环境的传感器数据。处理器还配置为响应于传感器数据包括学校交通车辆的表示而分析传感器数据，以从一组候选状态估计学校交通车辆的当前状态。候选状态包括有效装载或卸载状态、即将装载或卸载状态和休止状态。处理器被配置为响应于估计的当前状态为有效装载或卸载状态或即将装载或卸载状态，而使自主车辆减速或停止，直到学校交通车辆处于休止状态。

本公开的实施方式可以包括一个或多个以下可选特征。在一些实施方式中，至少一个处理器被配置为基于学校交通车辆的估计状态对自主车辆的运动控制***施加目标来使自主车辆减速或停止。施加的目标可以基于与学校交通车辆相关的交通法规。在一些示例中，每个候选状态具有一组相关的指示，并且至少一个处理器配置为通过检测传感器数据中的一个或多个相关指示并分析传感器数据和基于检测到的指示计算候选状态的概率质量函数来分析传感器数据。至少一个处理器可以配置为基于候选状态的概率质量函数对自主车辆的运动控制***施加目标，而使自主车辆减速或停止。

在一些实施例中，公开了一种非暂时性计算机可读介质。非暂时性计算机可读介质存储指令，指令在由至少一个计算设备执行时将使至少一个计算设备执行操作。操作包括接收自主车辆附近的环境的传感器数据。操作包括响应于传感器数据包括学校交通车辆的表示而分析传感器数据以从一组候选状态估计学校交通车辆的当前状态，其中候选状态包括有效装载或卸载状态、即将装载或卸载状态和休止状态。操作包括响应于估计的当前状态为有效装载或卸载状态或即将装载或卸载状态，而使自主车辆减速或停止，直到学校交通车辆处于休止状态。

本公开的实施方式可以包括一个或多个以下可选特征。在一些实施方式中，使自主车辆减速或停止包括基于学校交通车辆的估计状态对自主车辆的运动控制***施加目标。施加的目标可以基于与学校交通车辆相关的交通法规。在一些示例中，每个候选状态具有一组相关的指示，并且分析传感器数据包括检测传感器数据中的一个或多个相关的指示。分析传感器数据还可以包括基于检测到的指示计算候选状态的概率质量函数。在一些示例中，使自主车辆减速或停止可以包括基于候选状态的概率质量函数对自主车辆的运动控制***施加目标。分析传感器数据以估计学校交通车辆的当前状态还可以包括分析日历日期和/或一天中的时间。

在一些实施例中，公开了一种操作自主车辆的方法。该方法包括由自主车辆的一个或多个传感器捕获传感器数据，传感器数据包括关于自主车辆所处的环境的信息。该方法还包括通过自主车辆的处理器检测传感器数据中的学校交通车辆，并接收与学校交通车辆的一组候选状态相关的指示列表。该方法还包括分析来自一个或多个源的数据以确定指示，并使用指示值来计算概率质量函数，其中概率质量函数包括学校交通车辆处于这组候选状态中的每个候选状态的可能性。该方法还包括基于概率质量函数对自主车辆的运动控制***施加一个或多个目标，并使自主车辆根据一个或多个目标操作。

本公开的实施方式可以包括一个或多个以下可选特征。在一些实施方式中，候选状态包括有效装载或卸载状态、即将装载或卸载状态和休止状态。一个或多个目标可以包括使自主车辆停止，直到学校交通车辆处于休止状态。使用指示值来计算概率质量函数可以包括对指示值应用训练过的机器学***。一个或多个源中的至少一个可以是时间源或日期源。在一些示例中，使用指示值来计算概率质量函数包括对一个或多个指示值赋予与其他指示值不同的权重。在一些示例中，使用指示值来计算概率质量函数包括对每个指示值赋予与每个其他指示值不同的权重。

在一些实施例中，公开了一种***。该***包括：自主车辆的一个或多个传感器，传感器配置用于捕获包括关于自主车辆所处的环境的信息的传感器数据；存储器；和至少一个处理器，处理器连接到存储器并且配置用于检测一个或多个传感器捕获的传感器数据中的学校交通车辆。至少一个处理器还被配置为接收与学校交通车辆的一组候选状态相关的指示列表，并分析来自一个或多个源的数据以确定指示值。至少一个处理器还配置为：使用指示值来计算概率质量函数，其中概率质量函数包括学校交通车辆处于一组候选状态中的每个候选状态的可能性；基于概率质量函数对自主车辆的运动控制***施加一个或多个目标；以及使自主车辆根据一个或多个目标操作。

本公开的实施方式可以包括一个或多个以下可选特征。在一些实施方式中，候选状态包括有效装载或卸载状态、即将装载或卸载状态和休止状态。在一些示例中，一个或多个目标包括使自主车辆停止，直到学校交通车辆处于休止状态。至少一个处理器可以被配置为通过对指示值应用训练过的机器学习模型来计算概率质量函数。在一些示例中，至少一个处理器被配置为通过对一个或多个指示值赋予与其他指示值不同的权重来计算概率质量函数。

在一些实施例中，公开了一种非暂时性计算机可读介质。非暂时性计算机可读介质存储指令，指令在由至少一个计算设备执行时将使至少一个计算设备执行操作。操作包括通过自主车辆的一个或多个传感器捕获传感器数据，该传感器数据包括关于自主车辆所处的环境的信息。该方法还包括检测传感器数据中的学校交通车辆，并接收与学校交通车辆的一组候选状态相关的指示列表。操作还包括分析来自一个或多个源的数据以确定指示值，并使用指示值来计算概率质量函数，其中概率质量函数包括学校交通车辆处于该组候选状态中的每个候选状态的可能性。操作还包括基于概率质量函数对自主车辆的运动控制***施加一个或多个目标，并使自主车辆根据一个或多个目标进行操作。

本公开的实施方式可以包括一个或多个以下可选特征。在一些实施方式中，候选状态包括有效装载或卸载状态、即将装载或卸载状态和休止状态。在一些示例中，一个或多个目标包括使自主车辆停止，直到学校交通车辆处于休止状态。使用指示值来计算概率质量函数可以包括对指示值应用训练过的机器学***。一个或多个源中的至少一个可以是时间源或日期源。在一些示例中，指令配置为通过对一个或多个指示值赋予与其他指示值不同的权重而使至少一个计算设备计算概率质量函数。

本公开的广度和范围不应受上述任何示例性实施例的限制，而应仅根据以下权利要求及其等价范围来定义。

Claims (20)

1.一种操作自主车辆的方法，所述方法包括：

通过所述自主车辆的一个或多个传感器捕获传感器数据，所述传感器数据包括关于所述自主车辆所处的环境的信息；以及

通过所述自主车辆的处理器执行下列操作：

检测所述传感器数据中的学校交通车辆，

接收与所述学校交通车辆的一组候选状态相关的指示列表；

分析来自一个或多个源的数据以确定指示值；

使用所述指示值计算概率质量函数，其中所述概率质量函数包括所述学校交通车辆处于所述组中的每个所述候选状态的可能性；

基于所述概率质量函数对所述自主车辆的运动控制***施加一个或多个目标；以及

使所述自主车辆根据一个或多个所述目标操作。

2.根据权利要求1所述的方法，其中所述候选状态包括有效装载或卸载状态、即将装载或卸载状态和休止状态。

3.根据权利要求2所述的方法，其中一个或多个所述目标包括使所述自主车辆停止，直到所述学校交通车辆处于所述休止状态。

4.根据权利要求1所述的方法，其中使用所述指示值计算概率质量函数包括对所述指示值应用训练过的机器学习模型。

5.根据权利要求1所述的方法，其中分析来自一个或多个源的数据以确定指示值还包括基于所述一个或多个传感器的方面对一个或多个所述指示值应用置信水平。

6.根据权利要求1所述的方法，其中所述一个或多个源中的至少一个是时间源或日期源。

7.根据权利要求1所述的方法，其中使用所述指示值计算概率质量函数包括为一个或多个指示值赋予与其他指示值不同的权重。

8.根据权利要求1所述的方法，其中使用所述指示值计算概率质量函数包括为每个指示值赋予与每个其他指示值不同的权重。

9.一种***，包括：

自主车辆的一个或多个传感器，所述传感器被配置用于捕获包括关于所述自主车辆所处的环境的信息的传感器数据；

存储器；以及

至少一个处理器，所述至少一个处理器与所述存储器连接并且被配置用于：

检测通过所述一个或多个传感器捕获的所述传感器数据中的学校交通车辆，

接收与所述学校交通车辆的一组候选状态相关的指示列表；

分析来自一个或多个源的数据以确定指示值；

使用所述指示值计算概率质量函数，其中所述概率质量函数包括所述学校交通车辆处于所述组中的每个所述候选状态的可能性；

基于所述概率质量函数对所述自主车辆的运动控制***施加一个或多个目标；以及

使所述自主车辆根据一个或多个所述目标操作。

10.根据权利要求9所述的***，其中所述候选状态包括有效装载或卸载状态、即将装载或卸载状态和休止状态。

11.根据权利要求10所述的***，其中一个或多个所述目标包括使所述自主车辆停止，直到所述学校交通车辆处于所述休止状态。

12.根据权利要求9所述的***，其中所述至少一个处理器被配置为通过对所述指示值应用训练过的机器学习模型来计算所述概率质量函数。

13.根据权利要求9所述的***，其中所述至少一个处理器被配置为通过为一个或多个指示值赋予与其他指示值不同的权重来计算所述概率质量函数。

14.一种存储指令的非暂时性计算机可读介质，所述指令在由至少一个计算设备执行时使所述至少一个计算设备执行操作，所述操作包括：

通过自主车辆的一个或多个传感器捕获传感器数据，所述传感器数据包括关于所述自主车辆所处的环境的信息；以及

通过所述自主车辆的处理器执行下列操作：

检测所述传感器数据中的学校交通车辆，

接收与所述学校交通车辆的一组候选状态相关的指示列表；

分析来自一个或多个源的数据以确定指示值；

使用所述指示值计算概率质量函数，其中所述概率质量函数包括所述学校交通车辆处于所述组中的每个所述候选状态的可能性；

基于所述概率质量函数对所述自主车辆的运动控制***施加一个或多个目标；以及

使所述自主车辆根据一个或多个所述目标操作。

15.根据权利要求14所述的非暂时性计算机可读介质，其中所述候选状态包括有效装载或卸载状态、即将装载或卸载状态和休止状态。

16.根据权利要求15所述的非暂时性计算机可读介质，其中一个或多个目标包括使所述自主车辆停止，直到所述学校交通车辆处于所述休止状态。

17.根据权利要求14所述的非暂时性计算机可读介质，其中使用所述指示值计算概率质量函数包括对所述指示值应用训练过的机器学习模型。

18.根据权利要求14所述的非暂时性计算机可读介质，其中分析来自一个或多个源的数据以确定指示值还包括基于所述一个或多个传感器的方面对一个或多个所述指示值应用置信水平。

19.根据权利要求14所述的非暂时性计算机可读介质，其中所述一个或多个源中的至少一个是时间源或日期源。

20.根据权利要求14所述的非暂时性计算机可读介质，其中所述指令被配置为使所述至少一个计算设备通过为一个或多个指示值赋予与其他指示值不同的权重来计算概率质量函数。