CN110850865A - 自主运载工具的远程操作 - Google Patents

Abstract

控制一个或多个自主运载工具的操作的计算机***。例如，计算机***可部署自主运载工具至一个或多个位置或区域、向自主运载工具中的每一个指派运输任务、向自主运载工具中的每一个提供导航指令、向自主运载工具中的每一个指派维护任务、和/或向自主运载工具中的每一个指派其他任务。进一步地，计算机***可被用于监视自主运载工具的操作。例如，计算机***可从自主运载工具中的每一个收集信息、处理所收集的信息、并将信息呈现给一个或多个用户，由此使得用户能够始终知晓与自主运载工具操作有关的信息。

Description

自主运载工具的远程操作

技术领域

本说明书涉及用于远程监视和控制自主运载工具的操作的计算机系 统。

背景技术

自主运载工具可被用于将人和/或货物(例如，包裹、物品或其他物品) 从一个地方运输到另一个地方。作为示例，自主运载工具可导航至人的位置，等待该 人登上该自主运载工具，然后穿行至指定的目的地(例如，由该人选择的位置)。作为 另一示例，自主运载工具可导航至货物的位置，等待该货物被装载到该自主运载工具 上，然后穿行至指定的目的地(例如，该货物的交付位置)。

发明内容

计算机***能够控制一个或多个自主运载工具的操作。例如，计算机 ***能够部署自主运载工具至一个或多个位置或区域、向自主运载工具中的每一个指 派运输任务、向自主运载工具中的每一个提供导航指令、向自主运载工具中的每一个 指派维护任务、和/或向自主运载工具中的每一个指派其他任务。进一步地，计算机 ***可被用于监视自主运载工具的操作。例如，计算机***可从自主运载工具中的每 一个收集信息、处理所收集的信息、并将信息呈现给一个或多个用户，由此使得用户 能始终知晓与自主运载工具的操作有关的信息。计算机***可包括位于通信网络上的 一个或多个设备(例如，集中式网络、点对点网络以及非集中式网络等)。在一些实施 例中，计算机***是集中式计算机***。

在一方面，计算机设备接收来自多个运载工具中的每一个运载工具的 第一运载工具遥测数据。对于多个运载工具中的每一个运载工具，运载工具遥测数据 包括该运载工具的地理位置的指示。多个运载工具中的至少一个为自主运载工具。进 一步地，用户界面由与计算机设备相关联的显示设备呈现。用户界面基于第一运载工 具遥测数据生成。用户界面包括图形地图和一个或多个第一显示要素。每一个第一显 示要素至少指示多个运载工具中的相应运载工具的相应地理位置。计算机***接收第 一用户输入，该第一用户输入选择多个运载工具中特定的运载工具。响应于接收第一 用户输入，计算机设备从所选的运载工具获取第二运载工具遥测数据，并由显示设备 在用户界面上呈现至少第一运载工具遥测数据的与所选的运载工具相关的部分或者 第二运载工具遥测数据的与所选的运载工具相关的部分的视觉表示。

该方面的实现可包括下列特征中的一个或多个。

在一些实施例中，对于多个运载工具中的每一个运载工具，第一运载 工具遥测数据包括与运载工具的地理位置相对应的地理坐标。

在一些实施例中，对于多个运载工具中的每一个运载工具，第一运载 工具遥测数据包括该运载工具的高度的指示。

在一些实施例中，第二运载工具遥测数据包括由所选的运载工具的传 感器捕获的视频或图像中的至少一个。

在一些实施例中，第二运载工具遥测数据包括所选的运载工具的速度 的指示。

在一些实施例中，第二运载工具遥测数据包括所选的运载工具的取向 的指示。

在一些实施例中，第二运载工具遥测数据包括所选的运载工具的计算 机***的操作状况的指示。

在一些实施例中，第二运载工具遥测数据包括所选的运载工具的一个 或多个电池的状况的指示。

在一些实施例中，第二运载工具遥测数据包括所选的运载工具的能耗 的指示。

在一些实施例中，第二运载工具遥测数据包括所选的运载工具的操作 状况的指示。

在一些实施例中，第二运载工具遥测数据包括与所选的运载工具的环 境有关的信息。在一些实施例中，与所选的运载工具的环境有关的信息包括位于所选 的运载工具附近的一个或多个对象的指示。在一些实施例中，与所选的运载工具的环 境有关的指示包括环境中的天气的指示。在一些实施例中，与所选的运载工具的环境 有关的信息包括环境中的一个或多个停车位的指示或环境中的地标的指示中的至少 一个。

在一些实施例中，第二运载工具遥测数据包括与所选的运载工具的路 线有关的信息。

在一些实施例中，第一运载工具遥测数据和/或第二运载工具遥测数 据中的至少一个为文本数据。在一些实施例中，第一运载工具遥测数据或第二运载工 具遥测数据中的至少一个包括JavaScript对象简谱(JSON)格式的一个或多个数据项。

在一些实施例中，计算机设备进一步从多个运载工具中的第一运载工 具接收第一运载工具的异常操作的指示。响应于接收第一运载工具的异常操作的所述 指示，由显示设备在用户界面上呈现与第一运载工具的异常操作有关的警报。在一些 实施例中，第一运载工具的异常操作的指示是第一运载工具与计算机设备之间的网络 连接的中断的指示或者第一运载工具的路径被阻挡的指示中的至少一个。

在一些实施例中，用户界面包括第二显示要素，该第二显示要素在列 表中指示多个运载工具中的一个或多个运载工具。

在一些实施例中，至少第一运载工具遥测数据的与所选的运载工具有 关的部分或者第二运载工具遥测数据的与所选的运载工具有关的部分的视觉表示包 括呈现由所选的运载工具的传感器捕获的视频以及重叠在该视频上的一个或多个图 形要素。一个或多个图形要素指示在视频中检测到的一个或多个对象。

在一些实施例中，对于多个自主运载工具中的至少一个运载工具，用 户界面包括自主运载工具的被指派任务的指示(例如，行驶至客户/包裹处、运送客户/ 包裹、充电、空闲、重新定位等)。

在一些实施例中，计算机设备进一步接收第二用户输入，该第二用户 输入包括关于多个运载工具的一个或多个搜索条件。计算机设备确定多个运载工具中 符合所述一个或多个搜索条件的一个或多个运载工具。由显示设备在所述用户界面上 显示符合一个或多个搜索条件的一个或多个运载工具的视觉表示。在一些实施例中， 一个或多个搜索条件包括与一个或多个自主运载工具相关联的服务设施的指示。确定 符合一个或多个搜索条件的一个或多个运载工具包括标识位于服务设施附近的一个 或多个运载工具。

在另一方面，用户界面被呈现在自主运载工具的显示设备上。用户界 面包括自主运载工具周围的环境的视觉表示、指示自主运载工具相对于环境的物理位 置的第一显示要素、以及一个或多个第二显示要素。每一个第二显示要素指示自主运 载工具的相应操作属性。指定要由自主运载工具执行的操作的用户输入通过用户界面 被接收。响应于接收到用户输入，使用自主运载工具执行所指定的操作。

该方面的实现可包括下列特征中的一个或多个。

在一些实施例中，至少一个第二显示要素指示自主运载工具的路线。

在一些实施例中，至少一个第二显示要素指示关于自主运载工具的事 件的发生。在一些实施例中，事件为自主运载工具的环境中的交通堵塞。在一些实施 例中，事件为自主运载工具的环境中的道路建设。在一些实施例中，事件为沿着自主 运载工具的路径的交通模式的速度降低。

在一些实施例中，至少一个第二显示要素包括由自主运载工具的传感 器捕获的视频。在一些实现中，至少一个第二显示要素可包括重叠在视频上的一个或 多个图形要素，该一个或多个图形要素指示视频中的一个或多个检测到的对象。

在一些实施例中，至少一个第二显示要素指示由自主运载工具检测到 的对象。

在一些实施例中，至少一个第二显示要素指示由自主运载工具检测到 的对象的分类。在一些实施例中，分类可以是运载工具、行人或静止对象中的至少一 个。在一些实施例中，至少一个第二显示要素指示与由自主运载工具检测到的对象的 分类相关联的置信度度量。

在一些实施例中，自主运载工具进一步确定关于自主运载工具的触发 事件的发生，获取由自主运载工具的传感器捕获的视频，确定视频中与触发事件相对 应的部分，并在显示设备上的用户界面中呈现该视频的部分。在一些实施例中，触发 事件是下列事件中的至少一个：检测到来到自主运载工具附近的对象、检测到沿着自 主运载工具的路径的对象、自主运载工具的紧急制动的启用、或者自主运载工具的规 避机动的启用。

在一些实施例中，自主运载工具检测自主运载工具附近的多个对象。 一个或多个第二显示要素指示所述多个对象的子集。

在一些实施例中，使用自主运载工具执行所指定的操作包括显示与自 主运载工具有关的附加信息。

在一些实施例中，使用自主运载工具执行所指定的操作包括修改自主 运载工具的路线。

在一些实施例中，使用自主运载工具执行所指定的操作包括修改自主 运载工具的目的地。

在另一方面，计算机***从远离计算机***的自主运载工具接收对计 算机***的、用于远程控制自主运载工具的操作的请求。请求包括与位于自主运载工 具附近的一个或多个对象有关的信息。基于接收到的请求生成的用户界面被呈现在计 算机***的显示设备上。用户界面包括自主运载工具周围的环境的视觉表示、指示自 主运载工具相对于环境的物理位置的第一显示要素、以及指示位于自主运载工具附近 的一个或多个对象的第二显示要素。计算机***接收用户输入，该用户输入为自主运 载工具指定路线以穿过环境中的一个或多个对象。响应于接收到用户输入，命令信号 从计算机***被传送至自主运载工具。命令信号包括针对自主运载工具的、导航所指 定的路线的指令。

该方面的实现可包括下列特征中的一个或多个。

在一些实施例中，与一个或多个对象相关的信息包括由自主运载工具 的传感器捕获的视频或图像中的至少一个。

在一些实施例中，对于每一个对象，与一个或多个对象相关的信息包 括对象的分类的指示以及对象相对于自主运载工具的位置的指示。

在一些实施例中，对象相对于自主运载工具的位置的指示包括文本信 息，该文本信息指示对象相对于自主运载工具的位置。在一些实施例中，描述对象相 对于自主运载工具的位置的文本信息包括JavaScript对象简谱(JSON)格式的一个或多 个数据项。

在一些实施例中，第二显示要素包括：自主运载工具周围多个区域的 图形表示；以及对于区域中的至少一个，一个或多个对象中的至少一个被定位于该区 域中的图形指示。在一些实施例中，呈现用户界面包括基于文本数据生成第二显示要 素，从而对于每一个对象指示该对象相对于图形网格的多个二维框的位置。在一些实 施例中，指示对象相对于图形网格的多个框的位置的文本数据包括JavaScript对象简 谱(JSON)格式的一个或多个数据项。

在一些实施例中，接收为自主运载工具指定路径以穿过环境中的一个 或多个对象的用户输入包括使用输入设备检测由用户相对于第二显示要素执行的物 理姿势。在一些实施例中，显示设备是触敏显示设备，并且使用触敏显示设备检测物 理姿势。

在一些实施例中，基于一个或多个参考路径修改所指定的路径。在一 些实施例中，一个或多个参考路径与自主运载工具周围的环境中的道路的交通模式相 对应。在一些实施例中，修改所指定的路径包括将所指定的路径与一个或多个参考路 径对准。

在另一方面，自主运载工具从自主运载工具的一个或多个传感器接收 传感器数据。自主运载工具生成由远离自主运载工具的计算机***对该自主运载工具 进行远程控制的请求。生成请求包括由自主运载工具确定与自主运载工具和计算机系 统之间的网络连接相关联的质量度量，并且当确定该质量度量大于阈值质量水平时， 将表示传感器数据的第一数据项包括在请求中，该第一数据项符合与阈值质量水平相 关联的一个或多个条件。远程控制请求从自主运载工具被传送至计算机***。

该方面的实现可包括下列特征中的一个或多个。

在一些实施例中，传感器数据包括由一个或多个传感器捕获的视频、 图像或接近度数据中的至少一个。

在一些实施例中，质量度量与网络连接的可用带宽相对应。

在一些实施例中，质量度量和与网络连接相关联的延迟相对应。

在一些实施例中，质量度量与网络连接的可靠性相对应。

在一些实施例中，确定与网络连接相关联的质量度量包括：使用网络 连接传送信标信号；以及基于该信标信号的传送确定质量度量。

在一些实施例中，基于信标信号的传送确定质量度量包括基于该信标 信号的传送确定网络连接的可用带宽。

在一些实施例中，与阈值质量水平相关联的一个或多个条件包括传感 器数据的数据大小或复杂度中的至少一个。

在一些实施例中，自主运载工具确定与该自主运载工具和计算机*** 之间的网络连接相关联的第二质量度量。当确定第二质量度量低于阈值质量水平时， 将表示传感器数据的第二数据项包括在请求中，该第二数据项符合与阈值质量水平相 关联的一个或多个条件。第二数据项具有与第一数据项相比更小的数据大小或更低的 复杂度。在一些实施例中，第一数据项包括与第二数据项所包括的视频相比较具有更 高分辨率的视频。在一些实施例中，第一数据项包括与第二数据项所包括的视频相比 具有更高帧率的视频。在一些实施例中，第一数据项包括与第二数据项所包括的图像 相比具有更高分辨率的图像。在一些实施例中，第一数据项与第二数据项相比包括更 多数量的图像。在一些实施例中，第一数据项包括传感器数据中的、与该传感器数据 的包括在第二数据项中的部分相比具有更高空间分辨率的部分。在一些实施例中，第 一数据项包括传感器数据中的、与该传感器数据的包括在第二数据项中的部分相比具 有更高时间分辨率的部分。在一些实施例中，第一数据项包括自主运载工具的环境的 视频或图像中的至少一个。在一些实施例中，第二数据项包括描述自主运载工具的环 境的文本数据，而不是视频或图像中的至少一个。在一些实施例中，文本数据包括 JavaScript对象简谱(JSON)、超文本标记语言(HTML)或可扩展标记语言(XML)数据格 式的一个或多个数据项。

在一些实施例中，自主运载工具确定阻碍自主运载工具行驶的状况。 远程控制的请求是响应于确定阻碍自主运载工具行驶的状况而生成的。在一些实施例 中，阻碍自主运载工具行驶的状况与阻挡自主运载工具的路径的对象相对应。在一些 实施例中，阻碍自主运载工具行驶的状况与沿着自主运载工具的路径的道路的关闭相 对应。

在一些实施例中，自主运载工具接收命令信号，该命令信号包括针对 自主运载工具的、用于导航所指定的路径的指令，且自主运载工具执行该命令信号以 导航所指定的路线。

这些和其他的方面、特征和实现可以表达为方法、装置、***、部件 、程序产品、用于执行功能的装置或步骤、以及以其他方式。

根据包括权利要求的以下描述，这些和其他的方面、特征和实现将变 得显而易见。

附图简述

图1示出了具有自主能力的自主运载工具的示例。

图2示出了示例性“云”计算环境。

图3示出了计算机***。

图4示出了自主运载工具的示例架构。

图5示出了可以由感知模块使用的输入和输出的示例。

图6示出了LiDAR***的示例。

图7示出了操作中的LiDAR***。

图8更详细地示出了LiDAR***的操作。

图9示出了规划模块的输入和输出之间的关系的框图。

图10示出了路线规划中使用的有向图。

图11示出了控制模块的输入和输出的框图。

图12示出了控制器的输入、输出以及组件的框图。

图13-图15示出了用于控制并监视自主运载工具队列的操作的计算机 ***的示例。

图16-图19示出了自主运载工具和计算机***之间、基于二者之间的 网络连接状况的、以动态方式进行的示例交换信息。

图20-图22示出了描绘障碍与自主运载工具的相对位置的示例视觉表 示。

图23-图29示出了用于监视以及控制一个或多个自主运载工具的示例 图形用户界面。

图30-图36示出了用于监视以及控制自主运载工具的操作的示例图形 用户界面。

图37以流程图示出了用于监视和控制自主运载工具的操作的示例过 程。

图38以流程图示出了用于监视和控制自主运载工具的操作的另一个 示例过程。

图39以流程图示出了用于监视和控制自主运载工具的操作的另一个 示例过程。

图40以流程图示出了用于监视和控制自主运载工具的操作的另一个 示例过程。

具体实施方式

在以下描述中，出于说明目的阐述了众多具体细节以便提供对本发明 的全面理解。然而，显而易见的是，可以在没有这些具体细节的情况下实践本发明。 在其他情况下，以框图形式示出了公知的结构和设备，以避免不必要地模糊本发明。

在附图中，为了便于描述，示出了示意性要素的特定布置或顺序，诸 如表示设备、模块、指令块和数据要素的示意性要素。然而，本领域技术人员应该理 解，附图中的示意性要素的特定排序或布置并不意味着需要特定的处理顺序或序列、 或过程的分离。此外，在附图中包括示意性要素并不意味着暗示在所有实施例中需要 此类要素，或者在一些实施例中，由此类要素表示的特征可以不包括在其他要素中或 与其他要素组合。

此外，在附图中，使用诸如实线或虚线或箭头的之类连接要素来说明 两个或更多个其他示意性要素之间的连接、关系或关联，不存在任何此类连接要素并 不意味着暗示不存在任何联系、关系或关联。换句话说，要素之间的一些连接、关系 或关联未在附图中示出，以免模糊本公开。另外，为了便于说明，单个连接元件用于 表示要素之间的多个连接、关系或关联。例如，在连接要素表示信号、数据或指令的 通信的情况下，本领域技术人员应该理解，此类要素表示可能需要的一个或多个信号 路径(例如，总线)，以实现通信。

现在将详细参照实施例，在附图中示出这些实施例的示例。在以下详 细描述中，阐述了众多具体细节以便提供对各个所描述的实施例的透彻理解。然而， 对本领域的普通技术人员将显而易见的是，无需这些具体细节就可实践所描述的各种 实施例。在其它实例中，并未对公知方法、程序、组件、电路以及网络进行详细描述 以免不必要地模糊各实施例的各方面。

以下描述了几个特征，这些特征可以彼此独立地使用或者与其他特征 的任何组合一起使用。但是，任何单个特征都可能无法解决上面讨论的任何问题，或 者可能只解决上面讨论的问题之一。上面讨论的一些问题可能无法通过本文描述的任 何特征完全解决。尽管提供了标题，但是在具有该标题的部分中没有找到与特定标题 有关的信息，也可以在说明书的其他地方找到。本文根据以下概述描述实施例：

1.总体概述

2.硬件概述

3.自主运载工具架构

4.自主运载工具输入

5.自主运载工具规划

6.自主运载工具控制

7.远程监视和控制自主运载工具的操作

8.用于监视和控制自主运载工具队列的操作的示例过程

总体概述

计算机***能控制一个或多个自主运载工具(例如，自主运载工具队 列)的操作。例如，计算机***能够将自主运载工具部署到一个或多个位置或区域， 向自主运载工具中的每一个指派运输任务(例如，接载并运送乘客，接载并运送货物 等)，为自主运载工具中的每一个提供导航指令(例如，提供两个位置之间的路径或路 线，提供穿过自主运载工具附近的对象的指令等)，向自主运载工具中的每一个指派 维护任务(例如，在充电站对其电池充电，在服务站接受维修等)，和/或为自主运载工 具中的每一个指派其他任务。

进一步地，计算机***能被用于监视自主运载工具的操作。例如，计 算机***能够从自主运载工具中的每一个收集信息(例如，运载工具遥测数据，诸如 有关运载工具的速度、朝向、状态或运载工具的操作的其他方面的数据)，处理所收 集的信息，并将该信息呈现给一个或多个用户(例如，以交互图形用户界面的形式)， 使得用户能始终了解有关自主运载工具的操作的信息。

在一些实施例中，计算机***包括位于通信网络上的一个或多个设备 (例如，集中式网络、点对点网络以及非集中式网络等)。进一步地，计算机***与自 主运载工具基于二者之间的网络状况以动态的方式交换信息。例如，如果计算机*** 与自主运载工具之间的网络连接的质量较高(例如，较高的可用带宽，较低的延迟， 和/或较高的可靠性)，则计算机***能够从自主运载工具获取较高质量的数据(例如， 较详细的数据、大小较大的数据和/或较复杂的数据)。作为另一个示例，如果计算机 ***与自主运载工具之间的网络连接质量较低(例如，较低的可用带宽，较高的延迟， 和/或较低的可靠性)，则计算机***能够从自主运载工具获取质量较低的数据(例如， 不太详细的数据、大小较小的数据和/或不太复杂的数据)。

本文所描述的主题可提供若干技术益处。例如，一些实现能够提升自 主运载工具队列整体以及自主运载工具各自的效率和有效性。作为示例，通过基于计 算机***和自主运载工具之间的网络连接质量动态地调整其二者之间的数据传输，使 得即使通信网络性能发生变化，该计算机***和该自主运载工具也更有可能以及时且 可靠的方式交换相关信息。例如，当自主运载工具位于具有良好网络连接的区域时， 自主运载工具能够传送有关其操作的详细信息至计算机***。这使得计算机***能够 以更加准确和/或全面的方式控制和/或监视自主运载工具的操作。然而，当自主运载 工具位于具有较差网络连接的区域时，自主运载工具能够传送有关其操作的不太详细 的信息至计算机***，使得该计算机***继续接收特定信息(例如，对于安全控制和/ 或监视该自主运载工具的操作相对更为重要的信息)，而不会超出该网络连接的能力 。这样，计算机***和自主运载工具能够在彼此之间更高效且更可靠地通信。这使得 自主运载工具能够更高效地操作(例如，通过使计算机***能够基于从自主运载工具 获取的信息来及时生成指令，即便是在拥塞的网络中)。这也使得自主运载工具能够 更为安全地操作(例如，通过使计算机***能够更快地应对由自主运载工具检测到的 危险情况(诸如障碍或即将发生的碰撞)，即便是在拥塞的网络中)。

硬件概述

图1示出了具有自主能力的自主运载工具100的示例。

如本文所使用的，术语“自主能力”是指使得运载工具能够在没有实 时人为干预(除非运载工具特别要求)的情况下***作的功能、特征或设施。

如本文所使用，自主运载工具(AV)是具有自主能力的运载工具。

如本文所使用，“运载工具”包括货物或人的转移手段。例如，汽车 、公共汽车、火车、飞机、无人机、卡车、船只、船舶、潜水器、飞船等。无人驾驶 汽车是AV的示例。

如本文所使用，“轨迹”指的是由AV所生成的、用于从第一时空位 置导航至第二时空位置的路线或路径。在实施例中，第一时空位置指的是初始或起始 位置，且第二时空位置指的是目的地、最终位置、目标、目标地点或目标位置。在一 些示例中，轨迹由一个或多个分段(例如，道路分段)组成且每一个分段由一个或多个 块(例如，街道或交叉路口的部分)组成在实施例中，时空位置与现实世界位置相对应 。例如，时空位置是用于接载或放下人或货物的接载或放下位置。

如本文所使用，“传感器”包括一个或多个物理组件，该物理组件检 测有关该物理组件周围的环境的信息。这些物理组件中的一些可包括电子组件，诸如 模数转换器、缓冲器(诸如RAM和/或非易失性存储器)以及数据处理组件，诸如 ASIC(专用集成电路)、微处理器和/或微控制器。

“一个或多个”包括：由一个要素执行的功能；由多于一个要素例如以 分布式方式执行的功能；由一个要素执行的若干功能；由若干要素执行的若干功能； 或上述的任何组合。

还将理解的是，虽然在一些实例中，术语第一、第二等在本文中用于 描述各种要素，但这些要素不应受这些术语的限制。这些术语仅用于将一个要素与另 一个区别开来。例如，第一接触件可被称为第二接触件，并且类似地，第二接触件可 被称为第一接触件，而没有背离各个所描述的实施例的范围。第一接触件和第二接触 件两者都是接触件，但它们并非相同的接触件。

在对本文中各个所描述的实施例的描述中使用的术语仅出于描述特 定实施例的目的，而非旨在构成限定。如在对所描述的各实施例和所附权利要求的描 述中所使用，单数形式“一(a、an)”、和“该(the)”旨在也包括复数形式，除非上下文 另外明确指出。还将理解的是，本文所使用的术语“和/或”是指并且包含相关联的所 列项目中的任一个以及相关联的所列项目中的一个或更多个的所有可能的组合。将进 一步理解的是，术语“包括(includes)”、“包括(including)”、“包括(comprises)”和/或“包 括(comprising)”当在本申请文件中使用时指明所陈述的特征、整数、步骤、操作、要 素和/或组件的存在，但并不排除一个或多个其它特征、整数、步骤、操作、要素、 组件和/或其群组的存在或添加。

如本文中所使用的，取决于上下文，术语“如果(if)”可选地被解释为 表示“当…时或”在…后”或“响应于确定”或“响应于检测到”。类似地，取决于上下文， 短语“如果被确定”或“如果检测到(所陈述的条件或事件)”被可选地解释为表示“在确 定…后”或“响应于确定”或“在检测到(所陈述的条件或事件)后”或“响应于检测到(所 陈述的条件或事件)”。

如本文中所使用，AV***指的是该AV以及支持该AV的操作的硬件 、软件、存储的数据以及实时生成的数据的阵列。在实施例中，AV***被结合到AV 中。在实施例中，AV***跨若干位置分布。例如，AV***的软件中的一些在类似于 下文关于图3描述的云计算环境300的云计算环境中被实现。

总体上，本文描述可适用于具有一个或多个自主能力的任意运载工具 的技术，包括完全自主运载工具、高度自主运载工具和有条件的自主运载工具，诸如 分别为所谓的5级、4级和3级运载工具(参见SAE国际标准J3016：与道路机动车辆自动 驾驶***相关的术语的分类和定义(Taxonomy and Definitions for Terms Related to On-Road MotorVehicle Automated Driving Systems)，其通过引用整体并入本文，以用 于有关运载工具的自主级别的分类的更多详细信息)。本文描述的技术也可以应用于 部分自主运载工具和驾驶员辅助运载工具，诸如所谓的2级和1级运载工具(参见SAE 国际标准J3016：与道路机动车辆自动驾驶***相关的术语的分类和定义)。在实施 例中，1级、2级、3级、4级和5级运载工具***中的一个或多个可以基于传感器输入 的处理在某些操作条件下使某些运载工具操作(例如，转向、制动和使用地图)自动化 。本文描述的技术能够使从完全自主运载工具到人工操作运载工具的范围内的任何级 别的运载工具受益。

参考图1，AV***120自主地或半自助地操作AV100沿着轨迹198通过 环境190至目的地199(有时被称为最终位置)，同时避开对象(例如，自然障碍191、运 载工具193、行人192、骑车者以及其他障碍物)并遵守道路规则(例如，操作或驾驶惯 例规则)。

在实施例中，AV***120包括设备101，该设备被装配成用于接 收并作用于来自计算机处理器146的操作命令。在实施例中，计算处理器146与下文参 照图3描述的处理器304相似。设备101的示例包括转向控制102、制动器103、齿轮、 加速器踏板或其他加速控制机制、风挡雨刮器、侧门锁、窗户控制以及转向指示器。

在实施例中，AV***120包括传感器121，用于测量或推断AV100 的状态或状况的属性，诸如AV的位置、线性速度和角速度和加速度、以及朝向(例如， AV100前端的取向)。传感器121的示例为GPS、测量运载工具线性加速度和角速度的 惯性测量单元(IMU)、用于测量或估计轮滑移率的轮速度传感器、轮制动压力或制动 扭矩传感器、引擎扭矩或轮扭矩传感器以及转向角和角速度传感器。

在实施例中，传感器121也包括用于感测或测量AV的环境的属性 的传感器。例如，采用可见光、红外或热(或两者)光谱的单目或立体视频相机122、 LiDAR 123、雷达、超声传感器、飞行时间(TOF)深度传感器、速度传感器、温度传 感器、湿度传感器以及降水传感器。

在实施例中，AV***120包括数据存储单元142以及存储器单元 144，用于存储与计算机处理器146或由传感器121收集的数据相关联的机器指令。在 实施例中，数据存储单元142与下文描述的与图3有关的ROM308或存储设备310相似 。在实施例中，存储器144与下文描述的主存储器306相似。在实施例中，数据存储单 元142和存储器144存储与环境190相关的历史、实时和/或预测信息。在实施例中，所 存储的信息包括地图、驾驶性能、交通堵塞更新或天气状况。在实施例中，和环境190 相关的数据从位于远程的数据库134通过通信信道被传送至AV100。

在实施例中，AV***120包括通信设备140，用于将其他运载工 具的状态和状况的所测量或所推断的属性(诸如位置、线性速度和角速度、线性加速 度和角加速度、以及线性前进方向和角前进方向)通信至AV100。这些设备包括运载 工具到运载工具(V2V)和运载工具到基础设施(V2I)的通信设备和用于通过点对点或 自组织网络或通过两者进行无线通信的设备。在实施例中，通信设备140跨电磁频谱 (包括无线电通信和光通信)或其他介质(例如，空气和声学介质)进行通信。运载工具 到运载工具(V2V)通信与运载工具到基础设施(V2I)通信的组合(以及在一些实施例 中，一个或多个其他类型的通信)有时被称为运载工具到所有(V2X)通信。V2X通信通 常遵守一个或多个与自主运载工具通信或在自主运载工具之间进行通信的通信标准。

在实施例中，通信设备140包括通信接口。例如，有线、无线、 WiMAX、Wi-Fi、蓝牙、卫星、蜂窝、光、近场、红外或无线电接口。通信接口将数 据从位于远程的数据库134传送至AV***120。在实施例中，如图2中所描述，位于远 程的数据库134嵌入到云计算环境200中。通信接口140将从传感器121收集的数据或与 AV100的操作相关的其他数据传送至位于远程的数据库134。在实施例中，通信接口 140将与远程操作相关的信息传送至AV100。在一些实施例中，AV100与其他远程(例 如，“云”)服务器136通信。

在实施例中，位于远程的数据库134也存储并传送数字数据(例如， 存储诸如道路和街道位置之类的数据)。此类数据被存储在位于AV100上的存储器144 中，或通过通信信道从位于远程的数据库134被传送至AV100。

在实施例中，位于远程的数据库134存储并传送有关运载工具驾 驶属性的历史信息(例如，速度和加速度分布)，该运载工具之前曾在一天中类似的时 间沿着轨迹198行驶。在一个实现中，此类数据可被存储在位于AV100上的存储器144 中，或通过通信信道从位于远程的数据库134被传送至AV100。

位于AV100上的计算设备146基于实时传感器数据和现有信息算 法地生成控制动作，从而允许AV***120执行其自主驾驶能力。

在实施例中，AV***120包括耦合至计算设备146的计算机*** 设备132，用于向AV100的用户(例如，乘客或远程用户)提供信息和警报以及接收来自 该用户的输入。在实施例中，***设备132与下文参照图3所讨论的显示器312、输入 设备314以及光标控制器316相似。耦合是无线的或有线的。可以将接口设备中的任何 两个或更多个集成到单个设备中。

图2示出了示例性“云”计算环境。云计算是服务交付模型，用 于实现到可配置计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储、 应用、虚拟机以及服务)共享池的方便、按需的网络访问。在典型的云计算***中， 一个或多个大型云数据中心容纳被用于交付由云提供的服务的机器。现在参考图2， 云计算环境200包括云数据中心204a、204b以及204c，其彼此之间通过云202互连。数 据中心204a、204b以及204c向连接到云202的计算机***206a、206b、206c、206d、 206e以及206f提供云计算服务。

云计算环境200包括一个或多个云数据中心。通常，云数据中心(例 如图2中所示的云数据中心204a)指的是服务器的物理布置以组成云，例如图2所示的 云202，或云的特定部分。例如，服务器在云数据中心物理地布置为房间、组、排以 及机架。云数据中心具有一个或多个区域，该区域包括一个或多个服务器房间。每一 个房间具有一排或多排服务器，每一排包括一个或多个机架。每一个机架包括一个或 多个单个服务器节点。在一些实现中，基于数据中心设施物理基础设施的需求(包括 功率、能源、热、热量和/或其他需求)，位于区域、房间、机架和/或排的服务器被布 置成组。在实施例中，服务器节点和图3中所述的计算机***相似。数据中心204a具 有分布在多个机架的多个计算***。

云202包括云数据中心204a、204b以及204c以及将云数据中心204a 、204b以及204c互连的网络和网络资源(例如，网络设备、节点、路由器、交换机以 及网络电缆)，并帮助云计算***206a-f让其更为便于访问云计算服务。在实施例中， 网络表示一个或多个本地网络、广域网或互联网的任意组合，这些网络通过使用地面 或卫星连接部署的有线或无线链路进行耦合。在网络上交换的数据使用任意数量的网 络层协议进行传送，诸如网际协议(IP)、多协议标签交换(MPLS)、异步传输模式(ATM) 以及帧中继等。进一步地，在网络表示多个子网的组合的实施例中，下方子网中的每 一个使用不同的网络层协议。在一些实施例中，网络表示一个或多个互连的互联网， 诸如公共互联网。

计算***206a-f或云计算设备消费者通过网络链路和网络适配器 被连接至云202。在实施例中，计算***206a-f被实现为各种计算设备，例如服务器、 台式计算机、膝上型计算机、平板、智能手机、IoT设备、自主运载工具(包括，汽车 、无人机、班车、火车、公共汽车等)以及消费者电子产品。在实施例中，计算*** 206a-f在其他***中实现或作为其他***的部分实现。

图3示出了计算机***300。在实现中，计算机***300是专用计 算设备。专用计算机设备是硬连线的，用于执行技术或包括被持久地编程以执行技术 的数字电子设备(诸如，一个或多个专用集成电路(ASIC)或现场可编程门阵列 (FPGA))，或可包括被编程以执行依照固件、存储器、其他存储或其组合内的程序指 令的技术的一个或多个通用硬件处理器。此类专用计算设备还可将定制的硬连线逻辑 、ASIC或FPGA与定制的编程进行组合，以实现这些技术。在各种实施例中，专用计 算设备是台式计算机***、便携式计算机***、手持式设备、网络设备或包含用于实 现这些技术的硬连线和/或程序逻辑的任何其他设备。

在实施例中，计算机***300包括总线302或用于传送信息的其他 通信机制以及与总线302耦合并且用于处理信息的硬件处理器304。硬件处理器304例 如是通用微处理器。计算机***300还包括主存储器306(诸如，随机存取存储器(RAM) 或其他动态存储设备)，该主存储器耦合至总线302，用于存储将要由处理器304执行 的信息和指令。在一个实现中，主存储器306被用来在对将由处理器304执行的指令的 执行期间存储临时变量或其他中间信息。此类指令在被存储在对于处理器304可访问 的非暂态存储介质中时将计算机***300呈现为被定制成用于执行这些指令中指定的 操作的专用机器。

在实施例中，计算机***300进一步包括耦合至总线302并且用于 存储用于处理器303的静态信息和指令的只读存储器(ROM)308或其他静态存储设备。 提供存储设备310，并且该存储设备耦合至总线302以用于存储信息和指令，该存储设 备诸如，磁盘、光盘、固态驱动器、或三维交叉点存储器。

在实施例中，计算机***300经由总线302耦合至显示器312以向 计算机用户显示信息，该显示器312诸如，阴极射线管(CRT)、液晶显示器(LCD)、等 离子体显示器、发光二极管(LED)显示器、或有机发光二极管(OLED)显示器。包括字 母数字及其他键的输入设备314耦合至总线302，以供将信息和命令选择传送至处理器 304。另一类型的用户输入设备是光标控制器316，诸如，鼠标、轨迹球、启用触摸的 显示器或光标方向键，该光标控制器用于将方向信息和命令选择传送至处理器304， 并用于控制显示器312上的光标移动。该输入设备典型地具有两个轴(第一轴(例如，x 轴)和第二轴(例如，y轴))上的两个自由度，这允许设备指定平面中的位置。

根据一个实施例，本文中的技术由计算机***300响应于处理器 304执行主存储器306中所包含的一条或多条指令的一个或多个序列而执行。此类指令 从另一存储介质(诸如，存储设备310)被读取到主存储器306中。对主存储器306中所 包含的指令序列的执行使得处理器304执行本文中所描述的过程步骤。在替代实施例 中，硬连线的电路被用来代替软件指令，或者与软件指令组合使用。

本文中所使用的术语“存储介质”是指存储使得机器以特定方式 进行操作的数据和/或指令的任何非暂态介质。此类存储介质包括非易失性介质和/或 易失性介质。非易失性介质包括例如，光盘、磁盘、固态驱动器或三维交叉点存储器， 诸如存储设备310。易失性介质包括动态存储器，诸如主存储器306。常见形式的存储 介质包括例如，软盘、柔性盘、硬盘、固态驱动器、磁带或任何其他磁数据存储介质 、CD-ROM、任何其他光学数据存储介质、具有孔图案的任何物理介质、RAM、PROM 和EPROM、闪存-EPROM、NV-RAM、或任何其他存储芯片或盒式存储器。

存储介质与传输介质不同，但可以与传输介质一同使用。传输介 质参与在存储介质之间传输信息。例如，传输介质包括同轴电缆、铜导线和光纤，包 括含总线302的导线。传输介质还可以采取声波或光波的形式，诸如那些在无线电波 和红外数据通信期间生成的波。

在实施例中，各种形式的介质涉及将一条或多条指令的一个或多 个序列携带至处理器304以供执行。例如，指令最初被携带在远程计算机的磁盘或固 态驱动器上。远程计算机将这些指令加载到其动态存储器中并使用调制解调器通过电 话线发送这些指令。计算机***300本地的调制解调器在电话线上接收数据，并使用 红外发射器将该数据转换为红外信号。红外检测器接收红外信号中携带的数据，并且 适当的电路将该数据放置在总线302上。总线302将数据携带至主存储器306，处理器 304从该主存储器获取指令并执行这些指令。由主存储器306接收的指令可在由处理器 304执行之前或之后任选地被存储在存储设备310上。

计算机***300还包括耦合至总线302的通信接口318。通信接口 318提供到网络链路320的双向数据通信耦合，该网络链路连接至本地网络322。例如， 通信接口318是集成服务数字网络(ISDN)卡、电缆调制解调器、卫星调制解调器、或 用于提供到对应类型的电话线的数据通信连接的调制解调器。作为另一示例，通信接 口318是用于提供到兼容的LAN的数据通信连接的局域网(LAN)卡。在一些实现中， 还实现了无线链路。在任意此类实现中，通信接口318发送和接收携带表示各种类型 的信息的数字数据流的电信号、电磁信号或光信号。

网络链路320典型地提供通过一个或多个网络到其他数据设备的 数据通信。例如，网络链路320提供通过本地网络322到主机计算机324或到由互联网 服务提供商(ISP)326运营的云数据中心或装备的连接。ISP 326进而通过世界范围的分 组数据通信网络(现在通常被称为“互连网”328)提供数据通信服务。本地网络322和互 连网328两者均使用携带数字数据流的电信号、电磁信号或光信号。通过各种网络的 信号以及网络链路320上和通过通信接口318的信号是示例形式的传输介质，这些信号 携带去往和来自计算机***300的数字数据。在实施例中，网络320包含上文所述的云 202或云202的部分。

计算机***300通过(多个)网络、网络链路320和通信接口318发送 消息并接收包括程序代码的数据。在实施例中，计算机***300接收代码以用于处理 。所接收的代码在其被接收时由处理器304执行，和/或被存储在存储设备310和/或其 他非易失性存储中以供稍后执行。

自主运载工具架构

图4示出了自主运载工具(例如，图1所示的AV100)的示例架构400 。架构400包括预测模块402(有时被称为预测电路)、规划模块404(有时被称为规划电 路)、控制模块406(有时被称为控制电路)、定位模块408(有时被称为定位电路)以及数 据库模块410(有时被称为数据库电路)。每一个模块都在AV100的操作中发挥作用。模 块402、404、406、408以及410一起可作为图1所示的AV***120的部分。在一些实施 例中，模块402、404、406、408以及410中的任意模块是计算机软件和计算机硬件的 组合。

在使用中，规划模块404接收表示目的地412的数据，并确定表示 轨迹414(有时被称为路线)的数据，AV100可沿该轨迹行驶至(例如，抵达)目的地412 。为了让规划模块404确定表示轨迹414的数据，规划模块404接收来自预测模块402 、定位模块408以及数据库模块410的数据。

预测模块402使用一个或多个传感器121(例如，也如图1中所示) 标识附近的物理对象。对象被分类(例如，被编组为诸如行人、自行车、机动车、交 通标志等类型)且表示被分类的对象416的数据被提供给规划模块404。

规划模块404也接收来自定位模块408的表示AV位置418的数据。 定位模块408通过使用来自传感器121的数据以及来自数据库模块410的数据(例如，地 理数据)来计算位置从而确定AV位置。例如，定位模块408使用来自GNSS(全球导航 卫星***)传感器的数据以及地理数据来计算AV的经度和纬度。在实施例中，由定位 模块408使用的数据包括道路几何属性高精度地图、描述道路网络连接属性的地图、 描述道路物理属性(诸如交通速度、交通量、车辆和自行车行车道的数量、车道宽度 、车道交通方向或车道标记类型和位置或其组合)的地图、以及描述道路特征(诸如人 行横道、交通标志或其他各种类型的交通标志)的空间位置的地图。

控制模块406接收表示轨迹414的数据以及表示AV位置418的数 据，并以将使得AV100沿轨迹414行驶至目的地412的方式操作AV的控制功能 420a-c(例如，转向、节气门、制动、点火)。例如，如果轨迹414包括左转向，则控制 模块406将以如下方式操作控制功能420a-c，该方式使得转向功能的转向角度将使得 AV100左转且节气门和制动将使得AV100在转向前停下并等待行人或运载工具。

自主运载工具输入

图5示出了由预测模块402(图4)所使用的输入502a-d(例如，图1所 示的传感器121)以及输出504a-d(例如，传感器数据)的示例。一个输入502a是LiDAR(光 检测和测距)***(例如，图1所示的LiDAR123)。LiDAR是使用光(例如，诸如红外光 这样的光的脉冲)以获得有关其视线内的物理对象的数据的技术。LiDAR***产生LiDAR数据作为输出504a。例如，LiDAR数据是被用于构建环境190的表示的3D或2D 点的集合(也称为点云)。

另一输入502b是雷达***。雷达是使用无线电波以获取有关附近 物理对象的数据的技术。雷达可获取有关不在LiDAR***视线内的对象的数据。雷达 ***502b生成雷达数据作为输出504b。例如，雷达数据是一个或多个被用于构建环境 190的表示的射频电磁信号。

另一输入502c是相机***。相机***使用一个或多个相机(例如， 使用诸如电耦合设备(CCD)之类的光传感器的数码相机)以获得有关附近物理对象的 信息。相机***产生相机数据作为输出504c。相机数据通常采取图像数据的形式(例 如，诸如RAW、JPEG、PNG等图像数据格式的数据)。在一些示例中，相机***具有 多个独立相机，例如，用于立体视觉(stereo sision)的相机，该相机使得相机***能够 感知深度。尽管由相机***所感知的对象在本文中被描述为“附近”，但这是相对于 AV的。在使用中，相机***可被配置成用于“看”远处的对象，例如，位于AV前方 至多一公里或更远的对象。相应地，相机***可具有诸如被优化以感知远处对象的传 感器以及透镜之类的特征。

另一输入502d是交通灯检测(TLD)***。TLD***使用一个或多 个相机以获得有关交通灯、街道标志以及提供视觉导航信息的其他物理对象的信息。 TLD***产生TLD数据作为输出504d。TLD数据通常采取图像数据的形式(例如，诸 如RAW、JPEG、PNG等图像数据格式的数据)。TLD***与结合了相机的***的不同 之处在于TLD***使用具有广视场的相机(例如，使用广角透镜或鱼眼透镜)以获得有 关提供视觉导航信息的尽可能多的物理对象的信息，从而使得AV100能够访问由这些 对象提供的所有相关的导航信息。例如，TLD***的视角可以是大约120度或更大。

在一些实施例中，输出504a-d被使用传感器融合技术组合。这样， 各个输出504a-d被提供给AV100的其他***(例如，被提供给如图4所示的规划模块 404)，或者组合后的输出能够以相同类型(例如，使用相同的组合技术或组合相同的 输出或其二者)或不同类型(例如，使用不同的对应组合技术或组合不同的对应输出或 其二者)的单组合输出或多组合输出的形式被提供至其他***，。在一些实施例中， 使用早期融合技术。早期融合技术的特征为在一个或多个数据处理步骤被应用到经组 合的输出之前将输出组合。在一些实施例中，使用后期融合技术。后期融合技术的特 征为在一个或多个数据处理步骤被应用到各个输出之后将输出组合。

图6示出了LiDAR***602的示例(例如，如图5中所示的输入502a) 。LiDAR***602从光发射器606(例如，激光发射器)发出光604a-c。由LiDAR***发 出的光通常不在可视频谱内；例如，通常使用红外光。发出的光604b中的一些遇到物 理对象608(例如，运载工具)并反射回LiDAR***602。(由LiDAR***发出的光通常不 穿透物理对象，例如，以固态存在的物理对象。)LiDAR***602也具有一个或多个光 检测器610，其检测反射的光。在实施例中，与LiDAR***相关联的一个或多个数据 处理***生成图像612，该图像表示LiDAR***的视场614。图像612包括表示物理物 理608的边界616的信息。由此，图像612被用于确定AV附近的一个或多个物理对象的 边界616。

图7示出了操作中的LiDAR***602。在本图所示的场景中， AV100接收图像702形式的相机***输出504c以及LiDAR数据点704形式的LiDAR系 统输出504a。在使用中，AV100的数据处理***将图像702与数据点704相比较。具体 而言，在图像702中被标识的物理对象706也在数据点704中被标识。由此，AV100基 于数据点704的轮廓和密度感知物理对象的边界。

图8更详细地示出了LiDAR***602的操作。如上文所述，AV100 基于由LiDAR***602检测到的数据点的特征检测物理对象的边界。如图8所示，扁平 对象(诸如地面802)将以一致的方式反射由LiDAR***602发射的光804a-d。换言之， 由于LiDAR***602使用一致的间隔发出光，因此地面802将会以同样一致的间隔将光 反射回至LiDAR***602。当AV100在地面802上行驶时，如果道路没有障碍，LiDAR ***602将会继续检测由下一有效地面点806反射的光。然而，如果对象808阻碍了道 路，由LiDAR***602发射的光804e-f将会以与预期的一致方式不一致的方式从点 810a-b处反射。从该信息中，AV100可确定存在对象808。

自主运载工具规划

图9示出了规划模块404(如图4中所示)的输入和输出之间的关系 的框图900。通常，规划模块404的输出是从起点904(例如，源位置或初始位置)到终 点906(例如，目的地或最终位置)的路线902。路线902通常由一个或多个分段定义。 例如，分段是指在街道、道路、公路、车道或其他适合机动车行驶的物理区域的至少 一部分上行驶的距离。在一些示例中，例如，如果AV100是可以越野的运载工具(诸 如四轮驱动(4WD)或全轮驱动(AWD)汽车、SUV、或皮卡等)，则路线902包括诸如未 铺砌道路或开放空地这样的“越野”分段。

除路线902之外，规划模块也输出车道级别路线规划数据908。车 道级别路线规划数据908被用于基于分段在特定时间的状况来遍历路线902的分段。例 如，如果路线902包括多车道公路，则车道级别路线规划数据908包括轨迹设计数据 910，AV100可使用该数据在多个车道中选择车道，例如，基于是否接近出口、一个 或多个车道上是否有其他运载工具、或其他在几分钟或更短时间内变化的因素。相似 地，在一些实现中，车道级别路线规划数据908包括特定于路线902的分段的速度约束 912。例如，如果分段包括行人或预期外交通，则速度约束912可限制AV以低于预期 速度(例如，基于用于该分段的速度限制数据的速度)的速度行驶。

在实施例中，向规划模块404的输入包括数据库数据914(例如，来 自如图4所示的数据库模块410)、当前位置数据916(例如，如图4所示的AV位置418) 、目的地数据918(例如，用于如图4所示的目的地412)以及对象数据920(例如，由如图 4所示的感知模块402感知的被分类的对象416)。在一些实施例中，数据库数据914包 括规划中使用的规则。规则使用正式语言来指定，例如，使用布尔逻辑。在AV100 所遇到的任何给定情况中，规则的至少一些适用于该情况。如果规则具有基于AV100 可用的信息(例如，有关周围环境的信息)满足的条件，则规则适用于给定情况。规则 可具有优先级。例如，规则“如果道路为高速公路，则移动至最左侧车道”可具有比 “如果一英里以内有出口，则移动至最右侧车道”相比更低的优先级。

图10示出了路线规划(例如，由规划模块404(图4)执行)中使用的有 向图1000。总体上，如图10中所示的有向图1000被用于确定任意起点1002与终点1004 之间的路线。在现实世界中，分隔起点1002和终点1004的距离可能相对较大(例如， 在两个不同的城市区域)或可能相对较小(例如，紧邻城市街区的两个交叉口或多车道 道路的两个车道)。

在实施例中，有向图1000具有节点1006a-d，其表示能够由AV100 占据的起点1002与终点1004之间的不同位置。在一些示例中，例如，当起点1002和终 点1004表示不同城市区域时，节点1006a-d表示道路的分段。在一些示例中，例如， 当起点1002和终点1004表示相同道路的不同位置时，节点1006a-d表示该道路上的不 同位置。由此，有向图1000包括采用不同粒度级别的信息。在实施例中，具有高粒度 的有向图也是具有更大比例的另一有向图的子图。例如，起点1002距终点1004较远(例 如，相距很多英里)的有向图的绝大多数信息均具有较低粒度且基于存储的数据，但 对于该图中的、表示AV100视场内的物理位置的部分也包括一些高粒度信息。

节点1006a-d与对象1008a-b不同，该对象不能与节点重叠。在实 施例中，当粒度较低时，对象1008a-b表示不能被机动车穿行的区域，例如，没有街 道或道路的区域。当粒度较高时，对象1008a-b表示AV100视场内的物理对象，例如， 其他机动车、行人、或AV100无法与其共享物理空间的其他实体。在实施例中，对象 1008a-b的一些或全部为静态对象(例如，不改变位置的对象，诸如街灯或电线杆)或动 态对象(例如，能够改变位置的对象，诸如行人或其他车辆)。

节点1006a-d通过边1010a-c连接。如果两个节点1006a-b由边1010a 连接，则AV100可能在一个节点1006a和另一节点1006b之间行驶，例如，无需在抵达 另一节点1006b之前行驶至中间节点。(当我们描述AV100在节点之间行驶时，我们是 指AV100在由相应节点标识的两个物理位置之间行驶。)在AV100从第一节点行驶至 第二节点或从第二节点行驶至第一节点的意义上，边1010a-c通常是双向的。在实施 例中，在AV能从第一节点行驶至第二节点但无法从第二节点行驶至第一节点的意义 上，边1010a-c是单向的。当边1010a-c表示例如单行道、街道、道路或公路的各个车 道、或由于法律或物理约束只能在一个方向穿行的其他特征时，边1010a-c是单向的 。

在实施例中，规划模块404使用有向图1000来标识由起点1002和 终点1004之间的节点和边组成的路径1012。

边1010a-c具有与其相关联的成本1014a-b。成本1014a-b是表示如 果AV100选择该边将会花费的资源的值。典型的资源为时间。例如，如果一个边1010a 表示另一边1010b两倍的物理距离，那么第一边1010a的相关联成本1014a可以是第二 边1010b的相关联成本1014b的两倍。影响时间的其他因素包括预期交通、交叉路口数 量、速度限制等。另一典型的资源为燃料经济性。两个边1010a-b可表示相同的物理 距离，但是一个边1010a可能比另一边1010b需要更多的燃料(例如，由于道路状况、 预期天气等)。

当规划模块404标识起点1002和终点1004之间的路径1012时，规 划模块404通常选择针对成本优化的路径，例如，各个边的成本加在一起时具有最低 总成本的路径。

自主运载工具控制

图11示出了控制模块406(例如如图4中所示)的输入和输出的框图 1100。控制模块根据控制器1102操作，该控制器包括例如与处理器304相似的一个或 多个处理器(例如，一个或多个计算机处理器，诸如微处理器或微控制器或其二者)、 与主存储器306、ROM1308以及存储设备210相似的短期和/或长期数据存储(例如，存 储器随机存取存储器或闪存或其二者)、以及存储在存储器内的指令，当该指令被执 行时(例如，由一个或多个处理器执行)执行控制器1102的操作。

在实施例中，控制器1102接收表示期望输出1104的数据。期望输 出1104通常包括速度，例如，速度和朝向。期望输出1104可基于例如从规划模块404(例 如，如图4所示)接收的数据。依据期望输出1104，控制器1102生成可用作节气门输入 1106以及转向输入1108的数据。节气门输入1106表示接合AV100的节气门(例如，加 速控制)的幅度，例如，通过接合转向踏板、或接合另一节气门控制，以实现期望输 出1104.在一些示例中，节气门输入1106也包括可用于接合AV100的制动(例如，减速 控制)的数据。转向输入1108表示转向角，例如，AV的转向控制(例如，方向盘、转向 角致动器或用于控制转向角的其他功能)为实现期望输出1104而应被定位成的角度。

在实施例中，控制器1102接收反馈，该反馈被用于调整被提供给 节气门和转向的输入。例如，如果AV100遇到了干扰1110，诸如山，AV100的测量速 度1112就会降低至预期输出速度。在实施例中，任何测量输出1114都被提供至控制器 1102，以便执行必要的调整，例如，基于测量速度和期望输出之间的差异1113。测量 输出1114包括测量位置1116、测量速度1118(包括速度和朝向)、测量加速度1120以及 可由AV100的传感器测量的其他输出。

在实施例中，有关干扰1110的信息被事先检测(例如，由诸如相机 或LiDAR传感器之类的传感器检测)，并被提供至预测反馈模块1122。预测反馈模块 1122随后向控制器1102提供信息，控制器1102可使用该信息进行相应的调整。例如， 如果AV100的传感器检测(“看”)到山，则该信息可被控制器1102使用以准备在合适 的时间接合节气门以避免显著减速。

图12示出了控制器1102的输入、输出以及组件的框图1200。控制 器1102具有速度分析器1202，该速度分析器影响节气门/制动控制器1204的操作。例 如，取决于例如由控制器1102接收并由速度分析器1202处理的反馈，速度分析器1202 使用节气门/制动器1206指示节气门/制动器控制器1204接合加速或减速。

控制器1102还具有横向跟踪控制器1208，该横向跟踪控制器影响 转向控制器1210的操作。例如，取决于例如由控制器1102接收且由横向跟踪控制器 1208处理的反馈，横向跟踪控制器1208指示转向控制器1204调整转向角致动器1212 的位置。

控制器1102接收用于确定如何控制节气门/制动器1206以及转向 角致动器1212的若干输入。规划模块404提供由控制器1212使用的信息，例如以便当 AV100开始操作时选择朝向并且当AV100到达交叉路口时确定穿行哪个路段。定位模 块408向控制器1102提供例如描述AV100的当前位置的信息，从而使得控制器1102能 够确定AV100是否位于基于节气门/制动器1206以及转向角致动器1212被控制的方式 所预期的位置。在实施例中，控制器1102从其他输入1214接收信息(例如，从数据库 或计算机网络等接收的信息)。

远程监视和控制自主运载工具的操作

在一些实施例中，计算机***控制一个或多个自主运载工具(例 如，自主运载工具队列)的操作。例如，计算机***可将自主运载工具部署到一个或 多个位置或区域，向自主运载工具中的每一个指派运输任务(例如，接载并运送乘客， 接载并运送货物等)，为自主运载工具中的每一个提供导航指令(例如，提供两个位置 之间的路径或路线，提供遍历自主运载工具附近的对象的指令等)，向自主运载工具 中的每一个指派维护任务(例如，在充电站更换其电池，在服务站接受维护等)，和/ 或为自主运载工具中的每一个指派其他任务。

进一步地，计算机***可被用于监视自主运载工具的操作。例如， 计算机***能够从自主运载工具的每一个中收集信息(例如，运载工具遥测数据，诸 如有关运载工具的速度、朝向、状态或运载工具操作的其他方面的数据)，处理所收 集的信息，并将该信息呈现给一个或多个用户(例如，以交互图形用户界面的形式)， 使得用户能够始终了解有关自主运载工具的操作的信息。

图13示出了用于监视和控制自主运载工具队列1302a-d的操作的 示例计算机***1300。在本示例中，计算机***1300远离自主运载工具1302a-d中的 每一个，并与自主运载工具1302a-d通信(例如，通过无线通信网络)。在一些实施例中， 计算机***1300以相对于图1所述的远程服务器136和/或相对于图1和图3所述的云计 算环境300相似的方式实现。在一些实施例中，自主运载工具1302a-d中的一个或多个 以类似于关于图1描述的自主运载工具100的方式实现。

自主运载工具1302a-d中的每一个被定位于地理区域1304内。地理 区域1304可与特定政治区域(例如，特定的国家、州、郡、省、市、镇、行政区或其 他政治区域)、特定的预定义区域(例如，具有特定的预定义边界的区域，诸如由软件 确定的地理围栏区域)、瞬时定义的区域(例如，具有动态边界的区域，诸如受繁忙的 交通影响的街道群组)或任意其他区域相对应。

自主运载工具1302a-d中的每一个能够传送有关其操作的信息至 计算机***1300。该信息可包括运载工具遥测数据(例如，包括一个或多个测量、读 数、和/或由运载工具的一个或多个传感器获取的样本的数据)。

运载工具遥测数据可包括各种信息。作为示例，运载工具遥测数 据可包括使用一个或多个成像传感器(例如，光检测器、相机模块等)获得的数据。例 如，该数据可包括由自主运载工具的成像传感器捕获的一个或多个视频或图像。

作为另一示例，运载工具遥测数据可包括关于自主运载工具的当 前状况的信息。例如，该数据可包括关于自主运载工具的位置(例如，由具有GNSS传 感器的定位模块确定)、速度(例如，由速度传感器确定)、高度(例如，由高度计确定) 和/或朝向或取向(例如，由指南针或陀螺仪确定)的信息。该数据还可包括关于自主运 载工具和/或其子组件中的一个或多个的状态的信息。例如，该数据可包括指示自主 运载工具正在正常操作的信息、或指示与自主运载工具的操作(例如，错误指示、警 告、故障指示等)相关的一个或多个异常的信息。作为另一示例，该数据可包括指示 自主运载工具的一个或多个特定子组件正在正常操作的信息，或指示与这些子组件相 关的一个或多个异常的信息。

作为另一示例，运载工具遥测数据可包括关于自主运载工具的历 史状况的信息。例如，该数据可包括关于自主运载工具的历史位置、速度、高度和/ 或朝向或取向的信息。该数据还可包括关于自主运载工具和/或其子组件中的一个或 多个的历史状态的信息。

作为另一示例，运载工具遥测数据可包括关于自主运载工具由该 自主运载工具观察的当前和/或历史环境状况的信息。例如，该数据可包括关于由自 主运载工具观察的道路的交通状况、由自主运载工具观察的道路的封闭或障碍、由自 主运载工具观察的对象或危害或其他信息的信息。

自主运载工具1302a-d能根据不同的频率、速率或模式向计算机系 统1300传送信息。例如，自主运载工具1302a-d能周期性地传送信息(例如，以循环重 复的方式，诸如以特定的频率)。作为另一示例，自主运载工具1302a-d能间歇性地或 偶发地传送信息。作为另一示例，若满足一个或多个触发条件(例如，当由自主运载 工具收集到特定类型的信息时、在特定类型的时间、当特定事件发生时等)，则自主 运载工具1302a-d能传送信息。作为另一示例，自主运载工具1302a-d能连续地或基本 连续地传送信息。

在一些实施例中，自主运载工具1302a-d传送其收集的信息的子集 。作为示例，每一个自主运载工具1302a-d能收集信息(例如，使用一个或多个传感器)， 并选择性地将所收集的信息的子集传送至计算机***1300。在一些实施例中，自主运 载工具1302a-d能传送其收集的信息的全部或基本全部。作为示例，每一个自主运载 工具1302a-d能收集信息(例如，使用一个或多个传感器)，并选择性地将所收集的信息 的全部或基本全部传送至计算机***1300。

在一些实施例中，自主运载工具1302a-d动态地传送不同类型的信 息至计算机***1300(取决于情况)。作为示例，在一些实施例中，自主运载工具1302a-d 可周期性地、间歇性地、或连续地向计算机***1300传送第一数据集。当从计算机系 统1300接收到对附加信息的请求时，自主运载工具1302a-d能向计算机***1300传送 第二数据集。第一数据集和第二数据集可具有不同的大小和/或复杂度。例如，第一 数据集可相对更小和/或更不复杂(例如，包括更少的有关自主运载工具的操作的信 息)，而第二数据集可相对更大和/或更为复杂(例如，包括更多有关自主运载工具的操 作的信息)。这可能是有益的，例如，由于其使得计算机***1300能够接收有关自主 运载工具1302a-d中的每一个的特定信息(例如，基于相对较小的数据集对自主运载工 具1302a-d进行持续监视)且按需请求附加信息(例如，如果需要附加信息来以更准确或 全面的方式对自主运载工具1302a-d的操作进行监视和/或控制)，而不超出它们之间的 网络连接能力。

作为示例，如图13所示，自主运载工具中的每一个能传送相应的 第一运载工具遥测数据1306a-d至计算机***1300。第一运载工具遥测数据1306a-d可 以相对“基本”、“简单”、“轻质”或“通用”。作为示例，第一运载工具遥测数 据1306a-d可在本质上相对大小更小和/或在本质上更不复杂(例如，与下文更详细地描 述的第二运载工具遥测数据相比)。作为另一示例，第一运载工具遥测数据1306a-d可 包括由自主运载工具1302a-d的传感器收集的相对更小的数据子集。作为另一示例， 第一运载工具遥测数据1306a-d可包括由自主运载工具1302a-d的传感器收集的数据的 相对抽象的表示(例如，所收集数据的概括的、节略的、编辑的和/或简化的表示)。

计算机***1300可使用收集的信息来促进自主运载工具1302a-d 的控制和/或监视。作为示例，计算机***1300可生成交互图形用户界面(GUI)，包括 所收集的信息中的一些或全部，并将该GUI呈现给用户(例如，使用与计算机***1300 相关联或以其他方式与计算机***1300通信的显示设备)。用户可与GUI交互以查看关 于自主运载工具1302a-d中的每一个的信息和/或发出针对自主运载工具1302a-d的指 令(例如，向自主运载工具指派新任务的命令，修改或取消之前命令的命令等)。示例 GUI相对于图23-29和图30-36中示出并描述。在一些实施例中，计算机***1300能够 基于收集的信息自动地发出针对自主运载工具1302a-d的一个或多个指令(例如，自动 地生成向自主运载工具指派新任务的命令，修改或取消之前命令的命令等)。发出的 命令从计算机***1300被传送至自主运载工具1302a-d中的一个或多个以供执行。

在一些实施例中，附加信息被选择性地从自主运载工具1302a-d 中的一个或多个获取。例如，如图14所示，计算机***1300能接收用户输入1308，该 用户输入指示计算机***1300的用户已选择自主运载工具1302a。用户输入1308可与 例如与由计算机***1300呈现的GUI交互并且选择自主运载工具1302a的用户相对应 (例如，指示该用户希望查看有关自主运载工具1302a的附加信息)。

如图15所示，作为响应，计算机***1300传送请求信息1310至所 选的自主运载工具1302a以请求附加信息。响应于接收请求信息1310，自主运载工具 1302b传送第二运载工具遥测数据1312至计算机***1300。

第二运载工具遥测数据1312可比先前由自主运载工具1302a传送 的第一运载工具遥测数据1306a更为“详细”。例如，第二运载工具遥测数据1312与 第一运载工具遥测数据1306A相比较可相对大小更大和/或更为复杂。作为另一示例， 第二运载工具遥测数据1312可包括由自主运载工具1302a的传感器收集的、与第一运 载工具遥测数据1306a相比更大的数据的子集。作为另一示例，第二运载工具遥测数 据1312可包括由自主运载工具1302a的传感器收集的数据的相对更为不抽象的表示 (例如，所收集数据的更为详细的概述或更为不简化的表示，或所收集数据的本身)。 作为另一示例，第二运载工具遥测数据1312可包括由自主运载工具1302a的传感器收 集的数据的整体，而不是所收集数据的子集。

例如，第一运载工具遥测数据1306A可包括具有特定分辨率和大 小的一个或多个图像，并且第二运载工具遥测数据1312可包括具有高于第一运载工具 遥测数据1306A的图像的分辨率和/或大小的一个或多个图像。

作为另一示例，第一运载工具遥测数据1306A可包括具有特定分 辨率、大小以及帧率的一个或多个视频，并且第二运载工具遥测数据1312可包括具有 高于第一运载工具遥测数据1306A的视频的分辨率、大小和/或帧率的一个或多个视频 。

作为另一示例，第一运载工具遥测数据1306A可包括依据特定频 率或速率收集的传感器测量，并且第二运载工具遥测数据1312可包括依据高于第一运 载工具遥测数据1306A的频率或速率收集的一个或多个传感器测量。

作为另一示例，第一运载工具遥测数据1306A可包括特定数据类 型(例如，32位浮点型)的一个或多个数据项，并且第二运载工具遥测数据1312可包括 数据类型大于第一运载工具遥测数据1306A的数据类型(例如，64位双精度浮点型)的 一个或多个数据项。

作为另一示例，第一运载工具遥测数据1306A可包括依据特定精 准度来表达值的一个或多个数据项，并且第二运载工具遥测数据1312可包括依据比第 一运载工具遥测数据1306A的数据项的精确度更高的精准度来表达值的一个或多个 数据项。

作为另一示例，第一运载工具遥测数据1306A可包括大小相对较 小的一个或多个类型的数据项(例如，文本数据，诸如JavaScript对象简谱(JSON)、超 文本标记语言(HTML)、或可扩展标记语言(XML)数据格式的数据)，并且第二运载工 具遥测数据1312可包括大小相对较大的一个或多个类型的数据项(例如，图像和/或视 频、详细的传感器数据、大型二进制文件等)。

在一些实施例中，计算机***1300与自主运载工具1302a-d基于二 者之间的网络连接的状况来以动态的方式交换信息。例如，如果计算机***1300和自 主运载工具1302a-d之间的网络连接质量较高(例如，较高的可用带宽、较低的延迟、 和/或较高的可靠性)，则计算机***1302a-d能够从自主运载工具获取更大量的数据 (例如，更为详细的数据、大小更大的数据和/或更为复杂的数据)。作为另一个示例， 如果计算机***1300和自主运载工具1302a-d之间的网络连接的质量较低(例如，较低 的可用带宽、较高的延迟、和/或较低的可靠性)，则计算机***1300可从自主运载工 具获取更少量的数据(例如，不太详细的数据、更为基本的数据、大小更小的数据和/ 或不太复杂的数据)。

为了图示，图16示出了具有自主运载工具1302a的区域1304。在 本示例中，自主运载工具1302a在其路径上遇到障碍1600，并已确定无法以自动的方 式安全地和/或有效地导航绕过障碍1600。障碍1600可以是例如另一运载工具(例如， 汽车、货车、卡车、摩托车、自行车灯)、行人、非车辆对象(例如，障碍物、锥形警 告路标、道路垃圾等)、危害(例如，沟渠或坑洞、道路不连续部分等)、道路封闭或可 能阻碍自主运载工具1302a行驶的其他任何阻碍。障碍1600可被例如自主运载工具 1302a、其他自主运载工具(例如，当前位于障碍1600附近或之前位于障碍1600附近的 其他自主运载工具)、和/或计算机***1300(例如，基于由计算机***1300从一个或多 个自主运载工具或其他信息源(诸如地图或交通数据库)收集的数据)检测。

当确定无法以自动的方式安全地和/或有效地导航绕过障碍1600 时，自主运载工具1302a准备向计算机***1300传送远程控制请求(例如，请求用于穿 过障碍1600的指令)。如图17中所示，自主运载工具首先向计算机***1300传送信标 信号1602，并基于该传送评估自主运载工具1302a与计算机***1300之间的网络连接 质量。作为示例，信标信号1602可包括具有已知大小和/或已知内容作为基线、标准 或可再现样本(使用该样本进行测试(例如，“测试”数据或“采样”数据))的一个或 多个数据项。

如图18所示，信标信号1602的传送可被分析以确定自主运载工具 1302a与计算机***1300之间的网络连接质量。例如，基于信标信号1602的传送，自 主运载工具1302a和/或计算机***1300可确定网络连接的可用带宽(例如，网络连接在 给定期间段可传输的信息的量)、与使用网络连接传输信息相关联的延迟(例如，信息 遍历网络连接所用的时间的量)和/或使用网络连接传输的可靠性(例如，网络连接以持 续的方式执行传输的能力)。例如，自主运载工具1302a和/或计算机***1300可测量传 送信标信号1602所用的时间的量、传送的传送速率、传送速率的一致性或规律性、信 标信号1602抵达计算机***1300时的完整性以及其他因素。进一步地，自主运载工具 1302a和/或计算机***1300可确定传送过程中是否出现任何错误或不规则性。在一些 实施例中，自主运载工具1302a和/或计算机***1300确定表示自主运载工具1302a与 计算机***1300之间的网络连接的质量的一个或多个质量度量(例如，一个或多个数 值分数、或其他客观或主观描述符)。作为示例，如果质量度量是数值分数，则更高 的可用带宽、更低的延迟以及更高的可靠性可与更高的质量度量相对应。反之，更低 的可用带宽、更高的延迟以及更低的可靠性可与更低的质量度量相对应。在一些实施 例中，多个质量度量可被确定，其中每一个质量度量与网络连接质量的不同对应方面 (例如，可用带宽、延迟、可靠性等)相对应。

如图19中所示，当确定了网络连接的质量度量时，自主运载工具 1302生成远程控制请求1604，并将该请求1604传送至计算机***1300。

请求1604可包括描述障碍1600的数据。作为示例，请求1604可包 括指示障碍1600的位置(例如，障碍1600相对于自主运载工具1304A的位置、或障碍 1600的绝对位置等)的数据。作为另一示例，请求1604可包括指示障碍1600的大小、 形状和/或取向的数据。

请求1604也可包括描述自主运载工具1304A的一个或多个方面的 数据。作为示例，请求1604可包括运载工具遥测数据，诸如关于图13-图15所描述的 。例如，运载工具遥测数据可包括使用一个或多个成像传感器获得的数据(例如，视 频或图像)、关于自主运载工具的当前状况(例如，自主运载工具的位置、速度、高度 和/或朝向或取向、自主运载工具和/或其一个或多个子组件的状态等)的信息、关于自 主运载工具的在先状况的信息和/或关于由自主运载工具观察的当前和/或历史环境状 况的信息。

自主运载工具1304A可基于与网络连接相关联的质量度量来动态 地改变包括在请求1604内的信息。例如，如果计算机***1300与自主运载工具1302a 之间的网络连接质量较高(例如，与较高的可用带宽、较低的延迟、和/或较高的可靠 性相对应的与一个或多个较高的质量度量相关联)，则自主运载工具1304A可包括更大 量的信息(例如，更为详细的数据、大小更大的数据和/或更为复杂的数据)。作为另一 示例，如果计算机***1300与自主运载工具1302a之间的网络连接质量更低(例如，与 更低的可用带宽，更高的延迟，和/或更低的可靠性相对应的与一个或多个更低的质 量度量相关联)，则自主运载工具1304A可包括更少量的信息(例如，不太详细的数据 、大小更小的数据和/或不太复杂的数据)。

作为示例，如果网络连接的质量较低，则自主运载工具1304A可 包括具有特定分辨率和大小的一个或多个图像。如果网络连接的质量较高，则自主运 载工具1304A可包括具有更高分辨率和/或大小的一个或多个图像。

作为另一示例，如果网络连接的质量较低，则自主运载工具1304A 可包括具有特定分辨率、大小以及帧率的一个或多个视频。如果网络连接的质量较高， 则自主运载工具1304A可包括具有较高分辨率、大小和/或帧率的一个或多个视频。

作为另一示例，如果网络连接的质量较低，则自主运载工具1304A 可包括依据特定频率或速率收集的一个或多个传感器测量。如果网络连接的质量较 高，则自主运载工具1304A可包括依据较高的频率或速率收集的一个或多个传感器测 量。

作为另一示例，如果网络连接的质量较低，则自主运载工具1304A 可包括依据特定的时间分辨率和/或空间分辨率收集的一个或多个传感器测量。如果 网络连接的质量较高，则自主运载工具1304A可包括依据较高的时间分辨率和/或空间 分辨率收集的一个或多个传感器测量。

作为另一示例，如果网络连接的质量较低，则自主运载工具1304A 可包括特定数据类型(例如，32位浮点类型)的一个或多个数据项。如果网络连接的质 量较高，则自主运载工具1304A可包括更大的数据类型(例如，64位双精度类型)的一 个或多个数据项。

作为另一示例，如果网络连接的质量较低，则自主运载工具1304A 可包括依据特定精确度来表达值的一个或多个数据项。如果网络连接的质量较高，则 自主运载工具1304A可包括依据更高的精确度来表达值的一个或多个数据项。

作为另一示例，如果网络连接的质量较低，则自主运载工具1304A 可包括大小相对较小的一个或多个类型的数据项(例如，文本数据，诸如JSON、HTML 或XML数据格式的数据)。如果网络连接的质量较高，则自主运载工具1304A可包括 大小相对较大的一个或多个类型的数据项(例如，图像和/或视频、详细的传感器数据 、大型二进制文件等)。

在一些实施例中，自主运载工具1304A依据多个不同的级别、层 次或等级改变包括在请求1604中的信息。例如，如果网络连接的质量对应于最高水平 (例如，与高于或等于第一阈值水平的质量度量相关联)，则自主运载工具1304A可包 括信息中具有最多信息(例如，最为详细的数据、大小最大的数据和/或最为复杂的数 据)的第一部分。如果网络连接的质量对应于较低的水平(例如，与低于第一阈值水平 但高于或等于较低的第二阈值水平的质量度量相关联)，则自主运载工具1304A可包括 信息中具有较少的数据量(例如，不太详细的数据、大小较小的数据和/或不太复杂的 数据)的第二部分。如果网络连接的质量对应于更低的水平(例如，与低于第二阈值水 平但高于或等于较低的第三阈值水平的质量度量相关联)，则自主运载工具1304A可包 括信息中具有更少的数据量(例如，更不详细的数据、大小更小的数据和/或更不复杂 的数据)的第三部分。任意级别、层次或等级可以此方式定义(例如，二、三、四或更 多)。以此方式，自主运载工具1302a与计算机***1300之间的数据传输可基于它们之 间的网络连接的质量而被动态地改变，由此改善通信的有效性。

在一些实施例中，自主运载工具与计算机***之间的网络连接可 使用蜂窝网络建立，诸如4G网络(例如，使用由国际电信联盟(ITU)定义的“***” 宽带蜂窝网络技术实现的网络)或5G网络(例如，使用由国际电信联盟(ITU)定义的“第 五代”宽带蜂窝网络技术实现的网络)。网络连接的质量可基于所使用的蜂窝网络的 类型变化。作为示例，5G网络可具有大约20Gbit/s的峰值数据速率(例如，最大可实现 数据速率)、大约1Gbit/s的用户体验数据速率(例如，跨覆盖区域可实现的数据速率) 、大约1ms的延迟(例如，无线电网络贡献至分组行进时间)、大约500km/h的移动性(例 如，“移交”和服务质量要求的最大速度)、大约10⁶/km²的连接密度(例如，每单位区 域内的设备总数)以及大约10(Mbit/s)/m²的区域通信量容量(例如，跨覆盖区域的总通 信量)。在一些实施例中，网络具有高于、等于或低于约20Gbit/s的峰值数据速率。在 一些实施例中，网络具有高于、等于或低于1Gbit/s的用户体验数据速率。在一些实 施例中，网络具有高于、等于或低于1ms的延迟。在一些实施例中，网络具有高于、 等于或低于500km/h的移动性。在一些实施例中，网络具有高于、等于或低于10⁶/km²的连接密度。在一些实施例中，网络具有高于、等于或低于10(Mbit/s)/m²的区域通信 量容量。在一些实施例中，信标信号被用于确定正被使用的蜂窝网络的类型，且网络连接的性能基于合适的技术规范(例如，由ITU定义的4G或5G规范)而确定。

当接收到请求1604时，计算机***1300确定障碍1600的位置、形 状和取向(例如，相对于自主运载工具1302a)，并向用户呈现障碍1600和自主运载工具 1302a的视觉表示(例如，使用由计算机***1300生成的GUI)。用户能与GUI交互以检 查障碍的性质，并向自主运载工具1302a输入命令以穿过障碍1600。例如，用户能为 自主运载工具1302a输入路线以导航绕过和/或避开障碍1600，同时保持足够安全的行 驶路径。输入的指令从计算机***1300被传送至自主运载工具1302a以用于执行。

在一些实施例中，计算机***1300使用简化的视觉表示呈现关于 障碍1600和自主运载工具1302a的信息(例如，障碍1600和自主运载工具1302a的相对 位置和取向的抽象表示)。这可能是有用的，例如，由于其使得用户能够更易于理解 障碍1600的性质并提供导航路径以绕开障碍1600，而不会被无关的信息淹没。

作为示例，图20示出了描绘障碍与自主运载工具的相对位置的视 觉表示2000。视觉表示2000例如能够使用由计算机***1300生成的GUI来呈现。

视觉表示2000包括占用网格2002以及自主运载工具2006的视觉 表示，该占用网格限定多个不同的二维框2004。占用网格2002表示自主运载工具周围 的物理环境(例如，从俯视的视角)。例如，占用网格2004的每一个框2004可指示沿着 自主运载工具的行驶平面在该自主运载工具附近的特定地区或区域。在一些实施例 中，占用网格2002可依据固定或恒定的比例表示自主运载工具周围的物理环境(例如， 每一个框表示位于自主运载工具附近的相应1英寸*1英寸的区域)。在一些实施例中， 占用网格2002可依据可变比例表示自主运载工具周围的物理环境(例如，更为靠近自 主运载工具的框表示位于该自主运载工具附近的更小的区域，而距离该自主运载工具 更远的框表示更大的区域)。

进一步地，占用网格2004的一个或多个框2004能以对比的颜色、 色调或模式描绘以便指示障碍相对于自主运载工具的位置。例如，在图20所示的示例 中，若干框2004a被添加阴影以便指示障碍位于由这些框描绘的区域中(例如，总体上 位于自主运载工具的前方或右前方)。其他框2004b未添加阴影以指示由这些框描绘的 区域没有被阻挡。相应地，用户能够查看视觉表示2000并快速且直观地确定障碍相对 于自主运载工具的位置、形状以及取向。

占用网格2002能基于由自主运载工具1302a收集的信息来生成。 例如，自主运载工具1302a能够收集与其环境有关的传感器数据(例如，图像、视频、 接近度数据等)并将所收集数据的一些或全部传送至计算机***1300。计算机*** 1300能够解释传感器数据以确定自主运载工具1302a附近的一个或多个对象的存在和 位置，并生成视觉地表示这些对象的占用网格2004。

作为另一示例，自主运载工具1302a能够收集与其环境相关的传 感器数据，解释该传感器数据以确定其附近的一个或多个对象的存在和位置，并生成 指示对象相对于自主运载工具1302a的位置的一个或多个数据项。自主运载工具1302a 能够传送数据项至计算机***1300，进而，计算机***1300能够基于该数据项生成占 用网格2004。

在一些实施例中，数据项包括由自主运载工具1302a收集的传感 器数据的简化表示。例如，自主运载工具1302a能收集各种不同的传感器测量(例如， 图像、视频、雷达测量、LiDAR测量、超声测量等)并基于这些测量确定一个或多个 对象的存在和位置。数据项能够简单地标识每一个对象相对于自主运载工具1302a的 位置，而不包括这些传感器测量本身。在一些实施例中，该信息以文本数据的形式表 达(文本数据诸如JSON、HTML、或XML数据格式的数据)。这是有益的，例如，由于 其使得自主运载工具1302a能够向计算机***1300传送描述位于该自主运载工具附近 的对象的位置的信息，同时减少通过网络连接传送的数据的量(例如，传送简化的文 本数据而不是全面的传感器数据)。由此，自主运载工具1302a以及计算机***1300能 以更加有效的方式通信。

进一步地，用户能与视觉表示2000交互以便为自主运载工具输入 用于导航绕过和/或避开障碍的路径。例如，如图21所示，用户能为自主运载工具输 入路径2008以导航绕过和/或避开障碍并继续前行。可以各种不同的方式输入路径 2008。作为示例，用户可使用输入设备(诸如鼠标、触控板或触控笔)输入路径2008(例 如，绘制或交换相对于视觉表示2000的路径2008)。作为另一示例，视觉表示2000可 被呈现在触敏显示设备(例如，触摸屏)上，用户可通过将路径2008绘制或跟踪到视觉 表示2000上(例如，通过相对于视觉表示2000跟踪他的手指或触笔)来输入路径2008。 输入的路径2008能够从计算机***1300传送至自主运载工具以用于执行，由此使得该 自主运载工具能够穿过障碍并继续前行。

在一些实施例中，由用户输入的路径在传送至自主运载工具之前 被修改。例如，输入的路径能够出于安全和/或实际考虑而被修改。作为示例，输入 的路径能够被修改，使得其更好地考虑道路的配置(例如，车道线、道路边界等)、交 通流(例如，交通的方向)、交通规则或规章以及其他考虑。在一些实施例中，输入的 路径被“咬合”至邻近该输入的路径的替代路线(例如，与输入的路径相似的参考路 径，但该参考路径具有改进的安全性和/或实际意义)。这可能是有用的，例如，由于 其使得用户能够快速地提供与自主运载工具的导航有关的粗略或大体指示(例如，不 用担心自主运载工具将要行驶的精确路线)，同时保证自主运载工具被提供足够精确 的指令以安全且有效地穿过障碍。在一些实施例中，计算机***1300基于由自主运载 工具、其他自主运载工具(例如，当前位于障碍附近或之前已经导航通过该环境的其 他自主运载工具)、或者其他信息源(例如，提供地图数据、诸如卫星或空中图像之类 的成像数据、勘测数据等的服务)收集的信息来确定替代路径。

如上文所述，计算机***1300能够生成交互性GUI以向用户呈现 关于一个或多个自主运载工具的信息和/或使得用户能够输入针对一个或多个自主运 载工具的指令。图23-图29以及图30-图36示出了示例GUI。

图23示出了用于监视和控制一个或多个自主运载工具的操作的 示例GUI2300。GUI2300能由例如计算机***1300生成并使用显示设备(例如，视频监 视器或屏幕)呈现给用户。在一些实施例中，GUI2300能够在“指令中心”中使用，以 用于远程地控制多个自主运载工具(例如，自主运载工具队列)。

GUI2300包括地图部分2302，其示出若干自主运载工具的位置。 例如，地图部分2302包括多个显示要素2304，其指示自主运载工具相对于图形地图 2306的位置。用户能与地图部分2302交互以查看不同的地理区域(例如，通过缩放和/ 或平移图形地图2306)。用户也能与地图部分2302交互以查看不同层的信息。例如， 图形地图2306可包括多个不同的彼此重叠的层，每一层指示不同类型的信息(例如， 道路、交通、卫星/空中成像、地形等)。用户能选择性地显示或隐藏一个或多个层以 查看不同类型的信息(单独查看或结合其它层查看)。

GUI2300也包括列表部分2308，其显示关于若干自主运载工具的 信息。作为示例，对于每一个自主运载工具，列表部分2308能够展示自主运载工具的 标识符(例如，名字、序列号、或其他标识符)、自主运载工具的位置(例如，城市、区 域、或位置点等)、自主运载工具当前状态(例如，自主运载工具已停靠、正在行驶、 正在接载乘客、正在运送乘客或正在执行某些其他任务的指示)、自主运载工具的“健 康”(例如，自主运载工具正常操作、或遇到一个或多个异常或错误的指示)、以及自 主运载工具可用的网络连接的质量(例如，由与无线通信网络相关联的无线发射器传 送的信号的强度的指示)。在一些实施例中，在列表部分2308中示出的自主运载工具 与在地图部分2302示出的自主运载工具直接对应。在一些实施例中，用户可滚动列表 部分2308(例如，通过向上或向下滚动)以查看与额外自主运载工具有关的信息。

进一步地，列表部分2308包括搜索输入框2310。用户能向搜索输 入框2310输入搜索项以筛选在列表部分2308示出的自主运载工具。作为示例，用户能 输入一个或多个搜索项(例如，和自主运载工具的标识符、位置、状态、健康、或任 何其他信息相关的项)，并且作为响应，GUI2300能显示匹配这些搜索项的自主运载工 具。在一些实施例中，用户能够输入特定的位置或地标(例如，城市或区域、地址、场 所、建筑等的名字)，并且作为响应，GUI2300能够显示位于或邻近所输入位置或地标 的自主运载工具。

如图24所示，GUI2300能够向用户建议一个或多个搜索项。例如， 当用户选择搜索输入框2310时，GUI2300能够在搜索输入框2310附近显示一个或多 个建议的搜索项2312。用户能够选择建议的搜索项2312以进行搜索，或手动地向搜索 输入框2310输入搜索项。

进一步地，用户能够选择自主运载工具以查看与该自主运载工具 有关的附加信息。例如，用户能够使用输入设备(例如，鼠标、触控板、触控笔、或 触敏显示设备)选择显示在地图部分2302或列表部分2308的自主运载工具。如图25中 所示，作为响应，GUI2300调整地图部分2302以聚焦在所选的自主运载工具上(例如， 通过缩放和/或平移图形地图2306)，并显示运载工具信息部分2314，该运载工具信息 部分呈现了与所选自主运载工具有关的附加信息。作为示例，运载工具信息部分2314 能够显示所选的自主运载工具的标识符、操作状态、相对于被指派任务的进展(例如， 在两个位置之间的行驶进展)、速度、电池状况、朝向或取向、里程、或与自主运载 工具的操作有关的其他信息。作为另一示例，运载工具信息部分2314能够显示由自主 运载工具获得的一个或多个图像或视频(例如，示出自主运载工具的周围的图像或视 频馈送)。在一些实施例中，用户能够从若干不同的视图中选择(例如，与安装在自主 运载工具上的不同成像传感器相对应)。进一步地，地图部分2302能够显示自主运载 工具的当前路线或行驶路线以及自主运载工具的目的地。

用户能够与运载工具信息部分2314交互以获取关于自主运载工 具的进一步信息。例如，运载工具信息部分2314可包括若干可选择的要素2316，该每 一个要素2316与自主运载工具的不同方面(例如，自主运载工具的计算机***、网络 连接性、传感器等)相关。用户能够选择可选择的要素2316中的一个以查看关于所选 方面的附加信息。例如，用户能够选择与自主运载工具的计算机***相对应的可选择 要素2316。如图26中所示，作为响应，GUI2300更新运载工具信息部分2314以显示关 于计算机***的附加信息(例如，CPU使用、存储器使用、硬盘驱动使用、硬件版本 、软件版本等)。相似地，用户能够选择其他可选择要素2316以查看关于自主运载工 具的其他信息。

在一些实施例中，GUI2300显示有关针对自主运载工具执行的安 全检查(例如，由自主运载工具自动执行的安全检查和/或由人类操作员(诸如安全操作 员)执行的安全检查)。例如，如图27中所示，GUI2300能够显示安全***分2318， 其包括作为安全检查的部分而待执行的若干任务以及这些任务的状态(例如，“已完 成”、“未完成”或“N/A”)的列表。安全***分2318能够更新以便指示每一个任 务的性能。

在一些实施例中，用户能手动地为自主运载工具指定行驶路线或 行驶路径。如图28所示，用户能选择可选择要素2320(例如，指示用户想要为自主运 载工具输入新的路线)。作为响应，GUI2300更新地图部分2302以显示任意对象或在自 主运载工具附近的其他障碍的视觉表示2322。视觉表示2312可与关于图20-图22示出 并描述的相似(例如，具有表示自主运载工具周围的物理环境的二维占用网格)。以与 关于图20-图22所描述的相似的方式，用户能够为自主运载工具输入路线2324(例如， 穿过障碍的路径)，并指示自主运载工具沿着该路径行驶(例如，通过选择“发送”要 素2326)。

如图23所示，GUI2300能使用地图部分2302显示多个不同的自主 运载工具的位置(例如，使用重叠在图形地图2306上的显示要素2304)。进一步地，用 户能够与地图部分2302交互以查看不同的地理区域(例如，通过缩放和/或平移图形地 图2306)。在一些实施例中，GUI2300使用单个显示要素显示多个自主运载工具的大体 位置。这在例如改进GUI2300的可读性中可以是有用的。例如，如果多个自主运载工 具在地图部分2302上被定位成彼此相邻，那么这些自主运载工具的显示要素可以被组 合为单个显示要素。进一步地，组合的显示要素可包括其表示的运载工具数量的指示 。

作为示例，图29示出了图形地图2306相对于图23中所示的图形地 图被缩小的GUI2300。GUI2300，使用显示要素2326指示不同de自主运载工具群组的 大***置(以及每一个群组中自主运载工具的数量)，而不呈现各个自主运载工具的位 置。

在一些实施例中，GUI2300动态地在显示各个自主运载工具的位 置以及显示自主运载工具群组的大***置之间切换。例如，如果图形地图2306被放大 得相对较近，则GUI2300可在图形地图2306上显示各个自主运载工具的位置。如何图 形地图2306随后被缩小至特定的缩放级别，则GUI2300则可替代地显示自主运载工具 群组的大***置(例如，以便避免图形地图2306杂乱)。

图30示出了用于监视和控制单个自主运载工具的操作的示例 GUI3000a(具有“竖屏”取向)以及3000b(具有“横屏”取向)。GUI3000a和3000b能由 例如自主运载工具生成并使用显示设备(例如，安装在自主运载工具内(诸如自主运载 工具的内部控制台或座位上)的视频监视器或屏幕)呈现给自主运载工具的乘客。

GUI3000a和3000b能呈现关于自主运载工具的操作和/或自主运 载工具周围的环境的信息。这可能是有用的，例如，由于其使得自主运载工具的乘客 能够在行驶期间知晓与该自主运载工具的操作有关的信息，即便该乘客并未直接控制 该自主运载工具(例如，以便提升乘客的舒适和安全)。

GUI3000a和3000b能够显示自主运载工具和/或周围环境的简化 的视觉表示。这在例如改进GUI3000a和3000b的可读性中可以是有益的(例如，通过减 少可能使用户迷惑或分心的复杂度或杂乱)。例如，GUI3000a和3000b能够显示示出了 自主运载工具和所选的环境特征的简化图形表示(例如，特定道路、对象等)，而不显 示自主运载工具及其周围的每一个对象的照片般写实的表示(例如，使用由成像传感 器直接捕获的图片或视频)。进一步地，图形表示能够使用高对比和高可见度的显示 要素来生成以改进可读性。

例如，如图30所示，GUI3000a和3000b包括表示自主运载工具周 围的环境地图部分3002、以及指示自主运载工具在环境中的位置的显示要素3004。作 为示例，地图部分3002能够指示环境中的一个或多个道路、自主运载工具的当前或预 期路径、以及位于自主运载工具附近的一个或多个对象。

进一步地，地图部分3002能够显示关于自主运载工具的操作的信 息。例如，地图部分3002能够指示自主运载工具的当前速度(例如，以显示要素3004 旁边的文本的形式)。在一些实施例中，当前速度在视图中被隐藏，乘客可通过选择 显示要素3004以选择性地显示当前速度。

作为另一示例，地图部分3002可指示沿着自主运载工具的路径或 路线是否有减速或延后。例如，如果存在使得自主运载工具减速的交通堵塞，则地图 部分3002可通过使用对比颜色或图案(例如，红色虚线)来指示路径3006从而指示减速 。

作为另一示例，地图部分3002可指示由自主运载工具检测到的一 个或多个事件或状况(例如，使用从显示要素3004延伸的“气泡”显示要素3008，或 使用重叠在地图部分3002上的通知消息3010)。示例事件或状况包括检测到行人、绕 道、障碍、人行横道、交通信号、或其他特征，或确定需要改变车道(例如，出于导 航或避让目的)。GUI3000b下方示出了额外的示例气泡显示要素3008以及通知消息 3010。

地图部分3002可使用符号图标3012指示对象的位置和分类(例如， 对象的简化表示)。不同的图标可被用于不同分类和类型的对象。例如，图31示出了 若干示例符号图标3012a-3012b，其可被用于表示不同分类或类型的对象。例如，图 标3012a可被用于表示机动车辆(例如，汽车、卡车、火车等)，图标3012b可被用于表 示行人，图标3012c可被用于表示自行车，图标3012d可被用于表示未分类对象，且图 标3012e可被用于标识建筑障碍物或交通锥形警告路标。

进一步地，图标3012的不透明度或阴影可被改变以指示关于对象 分类的置信度。例如，如果自主运载工具以较高的置信度确定对象为运载工具，则该 对象的图标3012可以相对较深或更不透明。作为另一示例，如果自主运载工具以较低 的置信度确定对象为运载工具，则该对象的图标3012可以相对较浅或更加透明。

GUI3000a和3000b上所呈现的信息的量可依据实现变化。作为示 例，在一些实现中，GUI3000a以及3000b可指示在周围环境所检测到的对象的全部或 基本全部。作为另一示例，在一些实现中，GUI3000a以及3000b可指示所检测到的对 象的子集(例如，更靠近自主运载工具的对象，或更为重要或优先级更高的对象)。为 了图示，图32示出了GUI3000a的四个变形，其中每一个变形示出了关于自主运载工 具及其周围环境的不同水平的细节。例如，最左侧的变形仅示出了环境中的道路，而 中间靠左的变形额外示出了人行横道、自主运载工具在环境中的位置以及自主运载工 具的预期路径。进一步地，中间靠右的变形额外示出了在环境中检测到的对象(例如， 其他运载工具、行人、自行车等)。进一步地，最右侧的变形额外示出了关于检测到 的事件或状况的信息(例如，以气泡显示要素和通知消息的形式)。这是有益的，例如， 由于其使得自主运载工具能够改变显示给乘客的信息的量，使得乘客不会被压垮或分 心。

在一些实施例中，GUI3000a以及3000b包括具有“增强现实”重 叠以提升视频清晰度的一个或多个视频。作为示例，图33示出了具有视频3014的 GUI3000a。视频3014能够使用例如一个或多个视频相机或自主运载工具的其他成像 传感器来获得。进一步地，视频3014可包括强调视频3014中描绘的某些特征的一个或 多个图形重叠。例如，视频3014可包括指示自主运载工具的当前或预期的路径的重叠 3016(例如，模拟三维路径的显示要素)。作为另一示例，视频3014可包括标识自主运 载工具附近的运载工具的重叠3018(例如，高对比颜色重叠)。也可使用其他重叠(例如， 以便标识其他类型的对象、障碍或视频3014中所示的其他特征)。

在一些实施例中，GUI3000a以及3000b示出了实时或基本实时捕 获的视频。例如，由成像传感器捕获的视频可被立即在GUI3000a以及3000b上示出， 以便提供自主运载工具周围的环境基本同时的视图。在一些实施例中，GUI3000a以 及3000b示出了过去(例如，在几秒钟或几分钟之前发生，等等)捕获的视频的部分。 这在例如为用户提供特定事件(例如，靠近碰撞、突然变道、规避机动等)的“即时回 放”中可以是有用的，由此使得用户得以更好地理解为什么自主运载工具以该方式响 应。在一些实施例中，成像传感器持续地捕获视频(例如，在视频缓冲中)，且视频的 部分基于检测到特定触发事件(例如，检测到附近对象、执行变道、执行规避机动、 执行紧急制动等)而被选择性地提取以用于显示。

在一些实施例中，GUI被用于向乘客显示娱乐节目(例如，电影、 电视节目、视频、音乐等)。例如，如图34所示，GUI3020包括若干可选择的显示要素3022，其中每一个显示要素3022与不同的节目相对应。用户可选择显示要素3012中的 一个以回放特定节目(例如，如图35所示)。进一步地，GUI3020可中断回放以向乘客 呈现关于自主运载工具的信息。例如，GUI3020能够呈现关于发生特定事件或状况(例 如，检测到建筑工地区、检测到自主运载工具附近对象、确定需要变道等)的通知消 息3024。

在一些实施例中，GUI被用于向乘客显示安全性和取向信息。这 在例如教育乘客有关自主运载工具的安全操作时可以是有用的。例如，图36示出了欢 迎乘客进入自主运载工具并显示关于即将到来的行程的信息(例如，开始位置、目的 地位置、它们之间的距离、估计行驶时间以及沿着路线的交通水平)的示例GUI3026a 。作为另一示例，图36示出了指示用户在行程准备阶段系好安全带的示例GUI3026b 。作为另一示例，图36示出了向用户请求用于开始行程的指令的示例GUI3026c。

用于监视和控制自主运载工具的操作的示例过程

图37示出了用于监视和控制自主运载工具的操作的示例过程 3700。过程3700能够至少部分地使用本文中所描述的***中的一个或多个来执行(例 如，使用关于图1-图36描述的一个或多个计算机***、AV***、自主运载工具、图 形用户界面等)。

在过程3700中，计算机设备接收来自多个运载工具中的每一个运 载工具的第一运载工具遥测数据(步骤3710)。运载工具遥测数据包括多个运载工具中 的每一个运载工具、以及该运载工具的地理位置的指示。多个运载工具中的至少一个 运载工具为自主运载工具。

在一些实施例中，第一运载工具遥测数据包括相对“基本”、“较 简单”、“轻质”或“通用”的数据(例如，与下文详细描述的第二运载工具遥测数 据相比较)。作为示例，第一运载工具遥测数据能够在本质上相对大小较小和/或本质 上较为不复杂。作为另一示例，第一运载工具遥测数据可包括由自主运载工具的传感 器收集的数据的相对较小的子集。作为另一示例，第一运载工具遥测数据可包括由自 主运载工具的传感器收集的数据的相对抽象的表示(例如，所收集的数据的概括的、 节略的、编辑的和/或简化的表示)。

本文描述了第一运载工具遥测数据的各种示例。作为示例，对于 多个运载工具中的每一个运载工具，第一运载工具遥测数据可包括与运载工具地理位 置相对应的地理坐标和/或运载工具的高度。

计算机基于第一运载工具遥测数据生成用户界面，并在与计算机 设备相关联的显示设备上呈现该用户界面(步骤3720)。用户界面包括图形地图和一个 或多个第一显示要素。每一个第一显示要素至少指示多个运载工具中的相应运载工具 的相应地理位置。在一些实施例中，用户界面包括在列表中指示一个或多个运载工具 的第二显示要素。在一些实施例中，对于至少一个自主运载工具，用户界面包括自主 运载工具的被指派任务的指示(例如，行驶至客户/包裹处、运送客户/包裹、充电、空 闲、重新定位等)。示例用户界面在例如图23-图29中示出。

计算机设备接收从多个运载工具中选择特定的运载工具的第一 用户输入(步骤3730)。作为示例，用户可使用输入设备(诸如，鼠标、触控板、触控笔 或触敏显示设备)选择运载工具。

响应于接收到第一用户输入，计算机设备从所选的运载工具获取 第二运载工具遥测数据(步骤3740)。第二运载工具遥测数据与第一运载工具遥测数据 相比可更加“详细”。例如，第二运载工具遥测数据与第一运载工具遥测数据相比可 相对大小更大和/或更为复杂。作为另一示例，第二运载工具遥测数据可包括由自主 运载工具的传感器收集的、与第一运载工具遥测数据相比更大的数据的子集。作为另 一示例，第二运载工具遥测数据可包括由自主运载工具的传感器收集的数据的相对更 为不抽象的表示(例如，所收集数据的更为详细的概述或更为不简化的表示，或所收 集数据的本身)。作为另一示例，第二运载工具遥测数据可包括由自主运载工具的传 感器收集的数据的整体，而不是所收集数据的子集。

本文描述了第一运载工具遥测数据的各种示例。这可包括视频、 图像、传感器数据、CPU、电池、能耗、取向、驾驶速度、通用运载工具状态(例如， 正常/错误状况)、故障指示(例如，制动器故障、传感器故障等)、历史数据、决策制 定、环境信息、交通速度、对象标识、地理位置、对象颜色、运载工具/对象取向、 路径信息、路径选择决策制定等。

作为示例，第二运载工具遥测数据可包括由所选的运载工具的传 感器(例如，成像传感器，诸如光检测器或相机模块)捕获的视频和/或图像。作为另一 示例，第二遥测数据可包括所选运载工具的速度的指示和/或所选运载工具的取向的 指示。作为另一示例，第二运载工具遥测数据可包括所选运载工具的计算机***的操 作状况(例如，CPU使用、存储器使用等)的指示。作为另一示例，第二运载工具遥测 数据可包括所选运载工具的一个或多个电池的状况的指示。作为另一示例，第二运载 工具遥测数据可包括所选运载工具的能耗的指示。作为另一示例，第二运载工具遥测 数据可包括所选运载工具的操作状况(例如，总体运载工具状态，诸如正常/错误状况 、故障指示器(诸如制动器或故障传感器)等)的指示。

在一些实施例中，第二运载工具遥测数据包括关于所选运载工具 的环境的信息。作为示例，这可以包括在所选运载工具附近的一个或多个对象的指示 、环境中的天气的指示、环境中的一个或多个停车位的指示和/或环境中的地标的指 示。

在一些实施例中，第二运载工具遥测数据包括关于所选运载工具 的路线的信息(例如，当前路线、关于路线选择所做的决策等)。

计算设备使用显示设备在用户界面上呈现至少第一运载工具遥 测数据中的、与所选运载工具有关的部分、或者第二运载工具遥测数据中的、与所选 运载工具有关的部分的视觉表示(步骤3750)。在一些实施例中，视觉表示包括“原始” 数据(例如，直接从传感器获取而基本未经任何后处理的数据)。在一些实施例中，视 觉表示包括“经处理”的数据(例如，从传感器获取并且随后***纵以便例如概括数 据、基于数据标识新趋势或洞察或执行其他数据分析的数据)。

在一些实施例中，视觉表示包括“增强现实”视频。例如，这可 包括由所选运载工具的传感器捕获的视频，以及在视频上重叠的一个或多个图形要素 (例如，在视频中指示一个或多个检测到的对象，诸如其他运载工具、行人、对象等) 。

在一些实施例中，第一运载工具遥测数据和/或第二运载工具遥测 数据为文本数据。例如，第一运载工具遥测数据和/或第二运载工具遥测数据可包括 JavaScript对象简谱(JSON)、超文本标记语言(HTML)或可扩展标记语言(XML)格式的 一个或多个数据项。

在一些情况下，计算机设备从第一运载工具接收第一运载工具的 异常操作的指示。作为响应，计算机设备可通过显示设备在用户界面上呈现关于第一 运载工具的异常操作的警报。第一运载工具的异常操作的指示可以是第一运载工具和 计算机设备之间的网络连接的中断的指示和/或第一运载工具的路径被阻挡的指示。

在一些实施例中，计算机设备接收第二用户输入，该第二用户输 入包括关于多个运载工具的一个或多个搜索条件。计算机设备确定符合一个或多个搜 索条件的一个或多个运载工具，并在用户界面上呈现符合该一个或多个搜索条件的一 个或多个运载工具的视觉表示。一个或多个搜索条件可包括与一个或多个自主运载工 具相关联的服务设施，并且确定符合一个或多个搜索条件的一个或多个运载工具可包 括标识位于服务设施附近的一个或多个运载工具。

图38示出了用于监视和控制自主运载工具的操作的另一示例过 程3800。过程3800可至少部分地使用本文中所描述的***中的一个或多个来执行(例 如，使用关于图1-图36所描述的一个或多个计算机***、AV***、自主运载工具、 图形用户界面等)。

过程3800中，用户界面被呈现在自主运载工具的显示设备上(步骤 3810)。用户界面包括自主运载工具周围的环境的视觉表示、指示自主运载工具相对 于环境的物理位置的第一显示要素、以及一个或多个第二显示要素。示例用户界面在 例如图30-图36中示出。

每一个第二显示要素指示自主运载工具的相应操作属性。例如， 这可以包括运载工具的路线、由运载工具检测到的对象、检测到的事件、视频馈送、 视频回放、增强现实视频覆盖、置信度指示符、减速指示符等。

作为示例，至少一个第二显示要素可指示自主运载工具的路线。 作为另一示例，至少一个第二显示要素可指示关于自主运载工具的事件的发生。事件 可以是自主运载工具的环境中的交通堵塞、自主运载工具的环境中的道路建设、沿着 自主运载工具的路径的交通模式的速度降低和/或任意其他事件。作为另一示例，至 少一个第二显示要素可包括由自主运载工具的传感器捕获的视频。视频可以是“增强 现实”视频。例如，至少一个第二显示要素可包括重叠在视频上的一个或多个图形要 素(例如，指示视频中的一个或多个检测到的对象)。

作为另一示例，至少一个第二显示要素可指示由自主运载工具检 测到的对象。作为另一示例，至少一个第二显示要素可指示由自主运载工具检测到的 对象的分类。分类可以是运载工具、行人或静止对象中的至少一个。进一步地，至少 一个第二显示要素可指示与由自主运载工具检测到的对象的分类相关联的置信度度 量。

在一些实施例中，“即时回放”视频被显示给用户。例如，自主 运载工具可确定关于自主运载工具的触发事件的发生(例如，检测到来到自主运载工 具附近的对象、检测到沿着自主运载工具的路径的对象、自主运载工具的紧急制动的 启用、自主运载工具的规避机动的启用或任意其他事件)。进一步地，自主运载工具 可获得由自主运载工具的传感器(例如，相机模块)捕获的视频。自主运载工具可确定 视频中与触发事件相对应的部分(例如，视频片段)，并使用显示设备将视频的该部分 呈现在用户界面上。

在一些实施例中，自主运载工具检测自主运载工具附近的多个对 象。一个或多个第二显示要素可指示检测到的对象的子集。

指定要由自主运载工具执行的操作的用户输入通过用户界面来 接收(步骤3820)。作为示例，用户可使用输入设备(诸如，鼠标、触控板、触控笔或触 敏显示设备)进行输入。

响应于接收到用户输入，使用自主运载工具执行所指定的操作(步 骤3830)。作为示例，这可包括显示与自主运载工具有关的附加信息、修改自主运载 工具的路径、修改自主运载工具的目的地或执行关于自主运载工具的任意其他动作。

图39示出了用于监视和控制自主运载工具的操作的另一示例过 程3900。过程3900至少部分可使用本文中所描述的***中的一个或多个来执行(例如， 使用关于图1-图36描述的一个或多个计算机***、AV***、自主运载工具、图形用 户界面等)。

过程3900中，计算机***从自主运载工具接收由计算机***远程 控制自主运载工具的操作的请求(步骤3910)。请求包括与位于自主运载工具附近的一 个或多个对象有关的信息。例如，请求可包括由自主运载工具的传感器(例如，成像 传感器，诸如光检测器或相机模块)捕获的视频或图像中的至少一个、每一个对象的 分类的指示(例如，其他运载工具、行人、自行车等)以及每一个对象相对于自主运载 工具的位置的指示、和/或指示对象相对于自主运载工具的位置的文本数据。在一些 实施例中，文本数据包括JavaScript对象简谱(JSON)、超文本标记语言(HTML)或可扩 展标记语言(XML)数据格式的一个或多个数据。

计算机***基于接收的请求生成用户界面，并将该用户界面呈现 在显示设备上(步骤3920)。用户界面包括自主运载工具周围的环境的视觉表示、指示 自主运载工具相对于环境的物理位置的第一显示要素、以及指示位于自主运载工具附 近的一个或多个对象的第二显示要素。

在一些实施例中，第二显示要素包括标识自主运载工具附近的一 个或多个对象的位置的占用网格。作为示例，第二显示要素可包括自主运载工具周围 的多个区域的图形表示，且对于区域中的至少一个，可包括一个或多个对象中的至少 一个被定位于该区域中的图形指示(例如，对比阴影、颜色、标记、图案等)。在一些 实施例中，自主运载工具周围的多个区域的图形表示包括限定多个二维框的图形网格 (其中每一个与自主运载工具周围的不同位置相对应)，其中一个或多个框具有对比阴 影、颜色、标记、图案或其他视觉特征以指示特定位置处的对象的存在。在一些实施 例中，第二显示要素基于文本数据产生，对于每一个对象，该文本数据指示该对象相 对于图形网格的多个二维框的位置。文本数据可包括JSON、HTML或XML数据格式 的一个或多个数据项。进一步地，文本数据可从自主运载工具接收。示例占用网格例 如参照图20-图22来描述。

计算机***接收用户输入，该用户输入为自主运载工具指定路径 以穿过环境中的一个或多个对象(步骤3930)。在一些实施例中，计算机***通过检测 由用户执行的相对于第二显示要素的物理姿势来接收用户输入(例如，相对于占用网 格描绘路线)。在一些实施例中，第二显示要素被呈现在触敏显示设备上，并且使用 该触敏显示设备检测物理姿势(例如，通过检测用户在所显示的占用网格上描绘路线) 。

在一些实施例中，由用户指定的路径基于一个或多个参考路径被 修改(例如，与参考路径“咬合”、将所指定的路径与一个或多个参考路径对准，等) 。在一些实施例中，参考路径与自主运载工具周围的环境中道路的交通模式相对应。

响应于接收到用户输入，计算机***向自主运载工具传送包括针 对自主运载工具的、穿过指定路线的指令的命令信号。

图40示出了用于监视和控制自主运载工具的操作的另一示例过 程4000。过程4000可至少部分地使用本文中所描述的***中的一个或多个来执行(例 如，使用关于图1-图36所述的一个或多个计算机***、AV***、自主运载工具、图 形用户界面等)。

在过程4000中，自主运载工具接收来自自主运载工具的一个或多 个传感器的传感器数据(步骤4010)。传感器数据可包括例如由一个或多个传感器捕获 的一个或多个视频、图像、接近度数据、和/或其他信息。

自主运载工具生成用于由远离自主运载工具的计算机***对自 主运载工具进行远程控制的请求(步骤4020)。生成请求包括：确定与自主运载工具和 计算机***之间的网络连接相关联的质量度量；以及当确定该质量度量高于阈值质量 水平时，将表示传感器数据的第一数据项(例如，符合与阈值质量水平相关联的一个 或多个条件的数据项)包括在请求中。替代地，当确定质量度量低于阈值质量水平时， 将表示传感器数据的另一数据项(例如，与较低的质量水平相关联的数据项)包括在请 求中。

在一些实施例中，与阈值质量水平相关联的一个或多个条件包括 传感器数据的数据大小或复杂度中的至少一个。例如，如果质量度量满足或超过阈值 质量水平，则所包括的传感器数据可具有特定数据大小或复杂度(例如，较高的数据 大小或复杂度)。相反，如果质量度量低于阈值质量水平，则所包括的传感器数据可 具有不同的数据大小或复杂度(例如，较低的数据大小或复杂度)。

在一些实施例中，质量度量与网络连接的一个或多个方面相对 应，诸如网络连接的可用带宽、与网络连接相关联的延迟、和/或网络连接的可靠性 。较高的质量度量可与较高质量的连接相对应(例如，较大的可用带宽、较低的延迟 、和/或较高的可靠性)，而较低的质量度量可与较低质量的连接相对应(例如，较少的 可用带宽、较高的延迟、和/或较低的可靠性)。在一些实施例中，质量度量通过使用 网络连接传送信标信号来确定(例如，包括测试数据的传送)，并基于信标信号的传送 确定质量度量。在一些实施例中，网络连接的可用带宽基于信标信号的传送来确定。

自主运载工具传送远程控制请求至计算机***(步骤4030)。

在一些实施例中，自主运载工具进一步确定与自主运载工具和计 算机***之间的网络连接相关联的第二质量度量(例如，在与第一质量度量的确定不 同的时间和/或位置)。当确定第二质量度量低于阈值质量水平时，自主运载工具可将 表示传感器数据的第二数据项包括在请求中。第二数据项可符合与阈值质量水平相关 联的一个或多个条件。

进一步地，第二数据项可具有小于第一数据项的数据大小或低于 第一数据项的复杂度。例如，第一数据项可包括与第二数据项所包括的视频相比具有 更高分辨率的视频。作为另一示例，第一数据项可包括与第二数据项所包括的视频相 比具有更高帧率的视频。作为另一示例，第一数据项可包括与第二数据项所包括的图 像相比具有更高分辨率的图像。作为另一示例，第一数据项可包括与第二数据项相比 更多数量的图像。作为另一示例，第一数据项可包括传感器数据中的、与传感器数据 的包括在第二数据项中的部分相比具有更高空间分辨率的部分。作为另一示例，第一 数据项可包括传感器数据中的、与传感器数据的包括在第二数据项中的部分相比具有 更高时间分辨率的部分。作为另一示例，第一数据项可包括自主运载工具的环境的至 少一个视频或图像，并且第二数据项可包括描述自主运载工具的文本数据而不是该至 少一个视频或图像。在一些实施例中，文本数据可包括JSON、HTML或XML数据格 式的一个或多个数据项。

在一些实施例中，自主运载工具确定阻碍自主运载工具行驶的状 况。响应于该确定，远程控制请求被生成。该状况可与例如阻挡自主运载工具的路径 的对象或沿着自主运载工具路径的道路的封闭相对应。

在一些实施例中，自主运载工具接收来自计算机***的命令信号 (例如，响应于请求)。命令信号可包括针对自主运载工具的、穿过所确定的路径的指 令。自主运载工具可执行命令信号以穿过指定的路线(例如，为了避开阻碍其行驶的 一个或多个对象)。

在先前的描述中，已参照许多特定的细节来描述本发明的实施 例，而该细节可以因实现不同而改变。因此，说明书和附图应被认为是说明性而非限 制性意义的。本发明范围的唯一且排他的指示符，本申请人期望本发明的范围是本申 请以特定的形式发布的权利要求书的文字和等效范围，包括任意后续校正。本文所明 确阐述的包括在此类权利要求中的任意术语的定义应当以权利要求中此类术语所使 用的意义为准。此外，当我们在先前的说明书或以下权利要求中使用术语“进一步包 括”时，该短语的下文可以是额外步骤或实体，或先前所述的步骤或实体的子步骤/ 子实体。

Claims (84)

1.一种方法，包括：

在计算机设备处接收来自多个运载工具中的每一个运载工具的第一运载工具遥测数据，其中，对于所述多个运载工具中的每一个运载工具，所述运载工具遥测数据包括所述运载工具的地理位置的指示，并且其中，所述多个运载工具中的至少一个运载工具为自主运载工具；

由与所述计算机设备相关联的显示设备呈现基于所述第一运载工具遥测数据生成的用户界面，其中，所述用户界面包括图形地图以及一个或多个第一显示要素，每一个第一显示要素至少指示所述多个运载工具中对应运载工具的对应地理位置；

在所述计算机设备处接收第一用户输入，所述第一用户输入选择所述多个运载工具中的特定运载工具；

响应于接收所述第一用户输入：

由所述计算机设备获取来自所选择的运载工具的第二运载工具遥测数据，以及

由所述显示设备在所述用户界面上呈现至少所述第一运载工具遥测数据的与所选择的运载工具有关的部分或者所述第二运载工具遥测数据的与所选择的运载工具有关的部分的视觉表示。

2.如权利要求1所述的方法，其特征在于，对于所述多个运载工具中的每一个运载工具，所述第一运载工具遥测数据包括与所述运载工具的所述地理位置相对应的地理坐标。

3.如权利要求1和2中任一项所述的方法，其特征在于，对于所述多个运载工具中的每一个运载工具，所述第一运载工具遥测数据包括所述运载工具的高度的指示。

4.如权利要求1-3中任一项所述的方法，其特征在于，所述第二运载工具遥测数据包括由所选择的运载工具的传感器所捕获的视频或图像中的至少一个。

5.如权利要求1-4中任一项所述的方法，其特征在于，所述第二运载工具遥测数据包括所选择的运载工具的速度的指示。

6.如权利要求1-5中任一项所述的方法，其特征在于，所述第二运载工具遥测数据包括所选择的运载工具的取向的指示。

7.如权利要求1-6中任一项所述的方法，其特征在于，所述第二运载工具遥测数据包括所选择的运载工具的计算机***的操作状况的指示。

8.如权利要求1-7中任一项所述的方法，其特征在于，所述第二运载工具遥测数据包括所选择的运载工具的一个或多个电池的状况的指示。

9.如权利要求1-8中任一项所述的方法，其特征在于，所述第二运载工具遥测数据包括所选择的运载工具的能耗的指示。

10.如权利要求1-9中任一项所述的方法，其特征在于，所述第二运载工具遥测数据包括所选择的运载工具的操作状况的指示。

11.如权利要求1-10中任一项所述的方法，其特征在于，所述第二运载工具遥测数据包括与所选择的运载工具的环境有关的信息。

12.如权利要求1-11中任一项所述的方法，其特征在于，与所选择的运载工具的所述环境有关的所述信息包括位于所选择的运载工具附近的一个或多个对象的指示。

13.如权利要求1-12中任一项所述的方法，其特征在于，与所选择的运载工具的所述环境有关的所述信息包括所述环境中天气的指示。

14.如权利要求1-13任一项所述的方法，其特征在于，与所选择的运载工具的所述环境有关的所述信息包括所述环境中的一个或多个停车位的指示或者所述环境中的地标的指示中的至少一个。

15.如权利要求1-14中任一项所述的方法，其特征在于，所述第二运载工具遥测数据包括与所选择的运载工具的路径有关的信息的指示。

16.如权利要求1-15中任一项所述的方法，其特征在于，所述第一运载工具遥测数据或所述第二运载工具遥测数据中的至少一个为文本数据。

17.如权利要求1-16中任一项所述的方法，其特征在于，所述第一运载工具遥测数据或所述第二运载工具遥测数据中的至少一个包括JavaScript对象简谱(JSON)格式的一个或多个数据项。

18.如权利要求1-17中任一项所述的方法，进一步包括：

在计算机设备处接收来自所述多个运载工具中的第一运载工具的、所述第一运载工具的异常操作的指示；

响应于接收到所述第一运载工具的所述异常操作的所述指示，由所述显示设备在所述用户界面上呈现与所述第一运载工具的所述异常操作有关的警报。

19.如权利要求1-18中任一项所述的方法，其特征在于，所述第一运载工具的所述异常操作的所述指示是所述第一运载工具与所述计算机设备之间的网络连接的中断指示或所述第一运载工具的路线被阻挡的指示中的至少一个。

20.如权利要求1-19中任一项所述的方法，其特征在于，所述用户界面包括第二显示要素，所述第二显示要素在列表中指示所述多个运载工具中的一个或多个运载工具。

21.如权利要求1-20中任一项所述的方法，其特征在于，至少所述第一运载工具遥测数据的与所选择的运载工具有关的部分或者所述第二运载工具遥测数据的与所选择的运载工具有关的部分的所述视觉表示包括呈现由所选择的运载工具的传感器捕获的视频以及重叠在所述视频上的一个或多个图形要素，所述一个或多个图形要素指示所述视频中的一个或多个检测到的对象。

22.如权利要求1-21中任一项所述的方法，其特征在于，对于所述多个运载工具中的至少一个自主运载工具，所述用户界面包括所述自主运载工具的被指派的任务的指示。

23.如权利要求1-22中任一项所述的方法，进一步包括：

在所述计算机设备处接收第二用户输入，所述第二用户输入包括关于所述多个运载工具的一个或多个搜索条件；

在所述计算机设备处确定所述多个运载工具中符合所述一个或多个搜索条件的一个或多个运载工具；以及

由所述显示设备在所述用户界面上呈现符合所述一个或多个搜索条件的所述一个或多个运载工具的视觉表示。

24.如权利要求1-23中任一项所述的方法，其特征在于，所述一个或多个搜索条件包括与一个或多个自主运载工具相关联的服务设施的指示，以及

其中，确定符合所述一个或多个搜索条件的所述一个或多个运载工具包括标识位于所述服务设施附近的一个或多个运载工具。

25.一种第一设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，所述一个或多个程序存储在存储器中并包含用于执行如权利要求1-24中任一项所述的方法的指令。

26.一种非瞬态计算机可读存储介质，包括由第一设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括指令，当由所述一个或多个处理器执行所述指令时，致使所述第一设备执行如权利要求1-24中任一项所述的方法。

27.一种方法，包括：

在自主运载工具的显示设备上呈现用户界面，包括：

所述自主运载工具周围的环境的视觉表示，

第一显示要素，所述第一显示要素指示所述自主运载工具相对于所述环境的物理位置，以及

一个或多个第二显示要素，每一个第二显示要素指示所述自主运载工具的相应操作属性；

通过所述用户界面接收用户输入，所述用户输入指定将由所述自主运载工具执行的操作；以及

响应于接收所述用户输入，使用所述自主运载工具执行所指定的操作。

28.如权利要求27所述的方法，其特征在于，第二显示要素的至少一个指示所述自主运载工具的路径。

29.如权利要求27和28中任一项所述的方法，其特征在于，至少一个第二显示要素指示关于所述自主运载工具的事件的发生。

30.如权利要求27-29中任一项所述的方法，其特征在于，所述事件是所述自主运载工具的环境中的交通堵塞。

31.如权利要求27-30中任一项所述的方法，其特征在于，所述事件是所述自主运载工具的所述环境中的道路建设。

32.如权利要求27-31中任一项所述的方法，其特征在于，所述事件是沿着所述自主运载工具的路径的交通模式的速度降低。

33.如权利要求27-32中任一项所述的方法，其特征在于，至少一个第二显示要素包括由所述自主运载工具的传感器捕获的视频。

34.如权利要求27-33中任一项所述的方法，其特征在于，所述至少一个第二显示要素包括重叠在所述视频上的一个或多个图形要素，所述一个或多个图形要素指示所述视频中的一个或多个检测到的对象。

35.如权利要求27-34中任一项所述的方法，其特征在于，至少一个第二显示要素包括由所述自主运载工具检测到的对象。

36.如权利要求27-35中任一项所述的方法，其特征在于，至少一个第二显示要素包括由所述自主运载工具检测到的所述对象的分类。

37.如权利要求27-36中任一项所述的方法，其特征在于，所述分类是运载工具、行人或静止对象中的至少一个。

38.如权利要求27-37中任一项所述的方法，其特征在于，至少一个第二显示要素指示与由所述自主运载工具检测到的所述对象的所述分类相关联的置信度度量。

39.如权利要求27-38中任一项所述的方法，进一步包括：

由所述自主运载工具确定关于所述自主运载工具的触发事件的发生；

由所述自主运载工具获得由所述自主运载工具的传感器捕获的视频；

由所述自主运载工具确定所述视频的与所述触发事件相对应的部分；以及

在所述显示设备上的所述用户界面上呈现所述视频的所述部分。

40.如权利要求27-39中任一项所述的方法，其特征在于，所述触发事件是以下事件中的至少一个：检测到来到所述自主运载工具附近的对象、检测到沿着所述自主运载工具的路径的对象、所述自主运载工具的紧急制动的启用、所述自主运载工具的规避机动的启用。

41.如权利要求27-40中任一项所述的方法，进一步包括：

由所述自主运载工具检测位于所述自主运载工具附近的多个对象，

其中，所述一个或多个第二显示要素指示所述多个对象的子集。

42.如权利要求27-41中任一项所述的方法，其特征在于，使用所述自主运载工具执行所指定的操作包括显示与所述自主运载工具有关的附加信息。

43.如权利要求27-42中任一项所述的方法，其特征在于，使用所述自主运载工具执行所指定的操作包括修改所述自主运载工具的路径。

44.如权利要求27-43中任一项所述的方法，其特征在于，使用所述自主运载工具执行所指定的操作包括修改所述自主运载工具的目的地。

45.一种第一设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，所述一个或多个程序存储在存储器中并包含用于执行如权利要求27-44中任一项所述的方法的指令。

46.一种非瞬态计算机可读存储介质，包括由第一设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括指令，当由所述一个或多个处理器执行所述指令时，致使所述第一设备执行如权利要求27-44中任一项所述的方法。

47.一种方法，包括：

在计算机***处从远离所述计算机***接收的自主运载工具接收对所述计算机***的请求，该请求用于远程控制所述自主运载工具的所述操作，所述请求包括与位于所述自主运载工具附近的一个或多个对象有关的信息；

在所述计算机***的显示设备上呈现基于所接收的请求生成的用户界面，所述用户界面包括：

所述自主运载工具周围的环境的视觉表示，

第一显示要素，所述第一显示要素指示所述自主运载工具相对于所述环境的物理位置，以及

第二显示要素，所述第二显示要素指示位于所述自主运载工具附近的所述一个或多个对象；

在所述计算机***处接收用户输入，所述输入指定用于所述自主运载工具的、穿过所述环境中的所述一个或多个对象的路径；以及

响应于接收到所述用户输入，从所述计算机***传送命令信号至所述自主运载工具，所述命令信号包括针对所述自主运载工具的、用于导航所指定的路径的指令。

48.如权利要求47所述的方法，其特征在于，与所述一个或多个对象相关的所述信息包括由所述自主运载工具的传感器捕获的视频或图像中的至少一个。

49.如权利要求47和48中任一项所述的方法，其特征在于，对于每一个对象，与所述一个或多个对象相关的所述信息包括所述对象的分类的指示以及所述对象相对于所述自主运载工具的位置的指示。

50.如权利要求47-49中任一项所述的方法，其特征在于，所述对象相对于所述自主运载工具的位置的所述指示包括文本数据，所述文本数据指示所述对象相对于所述自主运载工具的位置。

51.如权利要求47-50中任一项所述的方法，其特征在于，描述所述对象相对于所述自主运载工具的位置的所述文本数据包括JavaScript对象简谱(JSON)格式的一个或多个数据项。

52.如权利要求47-51中任一项所述的方法，其特征在于，所述第二显示要素包括：

所述自主运载工具周围的多个区域的图形表示，以及

针对所述区域中的至少一个，所述一个或多个对象中的至少一个被定位于该区域内的图形指示。

53.如权利要求47-52中任一项所述的方法，其特征在于，呈现所述用户界面包括基于文本数据生成所述第二显示要素，从而对于每一个对象指示所述对象相对于图形网格的多个二维框的位置。

54.如权利要求47-53中任一项所述的方法，其特征在于，指示所述对象相对于所述图形网格的所述多个框的位置的所述文本数据包括JavaScript对象简谱(JSON)格式的一个或多个数据项。

55.如权利要求47-54中任一项所述的方法，其特征在于，接收指定用于所述自主运载工具的、穿过所述环境中的所述一个或多个对象的路径的所述用户输入包括使用输入设备检测由用户执行的关于所述第二显示要素的物理姿势。

56.如权利要求47-55中任一项所述的方法，其特征在于，所述显示设备是触敏显示设备，并且其中使用所述触敏显示设备检测所述物理姿势。

57.如权利要求47-56中任一项所述的方法，进一步包括基于一个或多个参考路径修改所指定的路径。

58.如权利要求47-57中任一项所述的方法，其特征在于，所述一个或多个参考路径与所述自主运载工具周围的所述环境中的道路的交通模式相对应。

59.如权利要求47-58中任一项所述的方法，其特征在于，修改所指定的路径包括将所指定的路径与所述一个或多个参考路径对准。

60.一种第一设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，所述一个或多个程序存储在存储器中并包含用于执行如权利要求47-59中任一项所述的方法的指令。

61.一种非瞬态计算机可读存储介质，包括由第一设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括指令，当由所述一个或多个处理器执行所述指令时，致使所述第一设备执行如权利要求47-59中任一项所述的方法。

62.一种方法，包括：

由自主运载工具接收来自所述自主运载工具的一个或多个传感器的传感器数据；

由所述自主运载工具生成由远离所述自主运载工具的计算机***对所述自主运载工具进行远程控制的请求，其中生成所述请求包括：

由所述自主运载工具确定与所述自主运载工具和所述计算机***之间的网络连接相关联的质量度量，以及

当确定所述质量度量大于阈值质量水平时，将表示所述所述传感器数据的第一数据项包括在所述请求中，所述第一数据符合与所述阈值质量水平相关联的一个或多个条件；以及

从所述自主运载工具向所述计算机***传送所述远程控制的请求。

63.如权利要求62所述的方法，其特征在于，所述传感器数据包括由所述一个或多个传感器捕获的视频、图像或接近度数据中的至少一个。

64.如权利要求62和63中任一项所述的方法，其特征在于，所述质量度量与所述网络连接的可用带宽相对应。

65.如权利要求62-64中任一项所述的方法，其特征在于，所述质量度量与和所述网络连接相关联的延迟相对应。

66.如权利要求62-65中任一项所述的方法，其特征在于，所述质量度量与所述网络连接的可靠性相对应。

67.如权利要求62-66中任一项所述的方法，其特征在于，确定与所述网络连接质量相关联的所述质量度量包括：

使用所述网络连接传送信标信号，以及

基于所述信标信号的传送，确定所述质量度量。

68.如权利要求62-67中任一项所述的方法，其特征在于，基于所述信标信号的传送确定所述质量度量包括基于所述信标信号的传送确定所述网络连接的可用带宽。

69.如权利要求62-68中任一项所述的方法，其特征在于，与所述阈值质量水平相关联的所述一个或多个条件包括所述传感器数据的数据大小或复杂度中的至少一个。

70.如权利要求62-69中任一项所述的方法，进一步包括：

由所述自主运载工具确定与所述自主运载工具和所述计算机***之间的所述网络连接相关联的第二质量度量，以及

当确定所述第二质量度量低于所述阈值质量水平时，将表示所述传感器数据的第二数据项包括在所述请求中，所述第二数据项符合与所述阈值质量水平相关联的一个或多个条件，所述第二数据项与所述第一数据项相比具有更小的数据大小或更低的复杂度。

71.如权利要求62-70中任一项所述的方法，其特征在于，所述第一数据项包括与所述第二数据项所包括的视频相比具有更高分辨率的视频。

72.如权利要求62-71中任一项所述的方法，其特征在于，所述第一数据项包括与所述第二数据项所包括的视频相比具有更高帧率的视频。

73.如权利要求62-72中任一项所述的方法，其特征在于，所述第一数据项包括与所述第二数据项所包括的图像相比具有更高分辨率的图像。

74.如权利要求62-73中任一项所述的方法，其特征在于，所述第一数据项包括与所述第二数据项所包括的图像的数量相比具有更多数量的图像。

75.如权利要求62-74中任一项所述的方法，其特征在于，所述第一数据项包括传感器数据中、与传感器数据的包括在所述第二数据项中的部分相比具有更高空间分辨率的部分。

76.如权利要求62-75中任一项所述的方法，其特征在于，所述第一数据项包括传感器数据中、与传感器数据的包括在所述第二数据项中的部分相比具有更高时间分辨率的部分。

77.如权利要求62-76中任一项所述的方法，其特征在于，所述第一数据项包括所述自主运载工具的环境的至少一个视频或图像，并且其中，所述第二数据项包括描述所述自主运载工具的所述环境的文本数据而不是所述至少一个视频或图像。

78.如权利要求62-77中任一项所述的方法，其特征在于，所述文本数据包括JavaScript对象简谱(JSON)、超文本标记语言(HTML)或可扩展标记语言(XML)格式的一个或多个数据项。

79.如权利要求62-78中任一项所述的方法，进一步包括：

由所述自主运载工具确定阻碍所述自主运载工具的行驶的状况，以及

其中，所述远程控制的请求是响应于确定所述阻碍所述自主运载工具的行驶的状况而生成的。

80.如权利要求62-79中任一项所述的方法，其特征在于，所述阻碍所述自主运载工具的行驶的状况与阻挡所述自主运载工具的路径的对象相对应。

81.如权利要求62-80中任一项所述的方法，其特征在于，所述阻碍所述自主运载工具的行驶的状况与沿着所述自主运载工具的路径的道路的封闭相对应。

82.如权利要求62-81中任一项所述的方法，进一步包括：

在所述自主运载工具处接收来自所述计算机***的命令信号，所述命令信号包括针对所述自主运载工具的、用于导航所指定的路径的指令，以及

在所述自主运载工具处执行所述命令信号以导航所指定的路径。

83.一种第一设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，所述一个或多个程序存储在存储器中并包含用于执行如权利要求62-82中任一项所述的方法的指令。

84.一种非瞬态计算机可读存储介质，包括由第一设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括指令，当由所述一个或多个处理器执行所述指令时，致使所述第一设备执行如权利要求62-82中任一项所述的方法。

Images