CN111104849A

CN111104849A - 运载工具的导航期间的、地图中的环境特征的自动注释

Info

Publication number: CN111104849A
Application number: CN201911035567.1A
Authority: CN
Inventors: P·S·R·埃弗里尔拉
Original assignee: Delphi Technologies Inc
Current assignee: Motional AD LLC
Priority date: 2018-10-29
Filing date: 2019-10-29
Publication date: 2020-05-05
Anticipated expiration: 2039-10-29
Also published as: US11340080B2; US11774261B2; US20200132477A1; US20220276060A1; DK201970128A1; DK180774B1; US20230408286A1; CN111104849B; CN115082914A

Abstract

除了其他方面，描述了用于运载工具的导航期间的、地图中的环境特征的自动注释的技术。该技术包括由位于环境内的运载工具接收环境的地图。运载工具的多个传感器接收传感器数据和语义数据。传感器数据包括环境的多个特征。生成多个特征中的特征的几何模型。该特征与环境中的可行驶区域相关联。从可行驶区域提取可行驶段。可行驶段被分成多个几何块，其中每个几何块对应于可行驶区域的特性，并且特征的几何模型包括多个几何块。使用语义数据对几何模型进行注释。带注释的几何模型嵌入在地图中。

Description

运载工具的导航期间的、地图中的环境特征的自动注释

相关申请的交叉引用

本申请要求2018年10月29日提交的美国临时申请62/752,299和2019年2月7日提交的美国临时申请62/802,677的权益，这两个申请均通过引用以其整体并入本文。

技术领域

本说明书总体上涉及用于运载工具的导航规划，并且具体地涉及运载工具的导航期间的、地图中的环境特征的自动注释。

技术背景

自主运载工具(AV)具有通过减少道路交通事故、交通拥堵、停车拥堵和燃油效率来使交通***转变的潜力。然而，用于AV导航的常规方法通常依赖于传统的静态地图，并且不足以精确定位AV。用于静态地图生成的常规方法可能无法解决不断变化的环境特征和动态道路状况的问题。而且，传统的地图绘制方法可能无法缩放到大型环境，诸如城市或州。

发明内容

提供了用于运载工具的导航期间的、地图中的环境特征的自动注释的技术。该技术包括使用位于环境中的运载工具的一个或多个处理器来接收环境的地图。运载工具的一个或多个传感器接收传感器数据和语义数据。传感器数据包括环境的多个特征。根据传感器数据，生成多个特征中的特征的几何模型。生成包括将特征与环境中的可行驶区域相关联。从可行驶区域提取可行驶段。可行驶段被分成多个几何块。每个几何块对应于可行驶区域的特性，并且特征的几何模型包括多个几何块。使用语义数据对几何模型进行注释。带注释的几何模型嵌入在地图中。

在一个实施例中，位于环境中的运载工具的一个或多个传感器用于生成包括环境的特征的传感器数据。使用传感器数据，将特征映射到环境的地图内的可行驶区域。使用地图内的可行驶区域，提取包含多个几何块的多边形。每个几何块对应于可行驶区域的可行驶段。使用从地图内的可行驶区域提取的语义数据，对多边形进行注释。使用运载工具的一个或多个处理器，带注释的多边形被嵌入到地图中。

在一个实施例中，传感器数据包括LiDAR点云数据。

在一个实施例中，一个或多个传感器包括相机，并且传感器数据还包括环境的多个特征的图像。

在一个实施例中，车辆位于环境内的时空位置处，并且多个特征与时空位置相关联。

在一个实施例中，该特征表示可行驶区域的沿相同方向定向的多个车道，并且多个几何块中的每个几何块表示可行驶区域的单个车道。

在一个实施例中，该特征表示可行驶区域的高度、位于可行驶区域附近的路缘、或将可行驶区域的两个车道隔开的中线。

在一个实施例中，可行驶区域包括路段、位于路段上的停车位、连接至路段的停车场或位于环境内的空地。

在一个实施例中，一个或多个传感器包括全球导航卫星***(GNSS)传感器或惯性测量单元(IMU)。该方法还包括使用传感器数据确定车辆相对于可行驶区域的边界的空间位置。

在一个实施例中，几何模型的生成包括对LiDAR点云数据进行分类。

在一个实施例中，几何模型的生成包括将多个几何块叠加到LiDAR点云数据上以生成包括多个几何块中的几何块的并集的多边形。

在一个实施例中，多边形表示将可行驶区域的车道分成多个车道。

在一个实施例中，多边形表示可行驶区域的多个车道合并为单个车道。

在一个实施例中，多边形表示可行驶区域的多个车道的交叉。

在一个实施例中，多边形表示环岛，其包括可行驶区域上的用于使运载工具进入或离开环岛的空间位置。

在一个实施例中，多边形表示可行驶区域的车道的弯曲。

在一个实施例中，对几何模型进行注释包括生成结合几何模型和语义数据的计算机可读语义注释，该方法还包括将具有计算机可读语义注释的地图发送到远程服务器或另一运载工具。

在一个实施例中，在第一操作模式下执行使用语义数据对几何模型进行注释，该方法进一步包括使用运载工具的控制模块在第二操作模式下使用地图在可行驶区域上对运载工具进行导航。

在一个实施例中，语义数据表示可行驶区域上的标记、位于环境内的道路标志或位于环境内的交通信号。

在一个实施例中，使用语义数据对几何模型进行注释包括从语义数据中提取与沿可行驶区域对运载工具进行导航相关联的运载工具的逻辑行驶约束。

在一个实施例中，逻辑行驶约束包括交通信号灯序列、有条件的左或右转弯或交通方向。

在一个实施例中，在第二操作模式中，从地图提取带注释的几何模型。运载工具的导航包括响应于带注释的几何模型的提取而将命令发送到运载工具的油门或制动器。

在一个实施例中，存储了与沿着可行驶区域对运载工具进行导航相关联的多个操作度量。使用该地图，更新多个操作度量。

使用更新的多个操作度量，确定运载工具的改道信息。改道信息被发送到位于环境中的服务器或另一运载工具。

在一个实施例中，使用运载工具的控制模块，使用所确定的改道信息在可行驶区域上对运载工具进行导航。

在一个实施例中，从第二运载工具接收地图的计算机可读语义注释。该地图与接收到的计算机可读语义注释合并，以发送到远程服务器。

在一个实施例中，在第一操作模式下执行将带注释的几何模型嵌入地图中。该方法还包括从地图内的带注释的几何模型确定可行驶区域。

在一个实施例中，运载工具包括一个或多个计算机处理器。一个或多个非瞬态存储介质存储指令，当这些指令由一个或多个计算机处理器执行时，使得本文公开的任何实施例被执行。

在一个实施例中，一个或多个非瞬态存储介质存储指令，当这些指令由一个或多个计算设备执行时，使得本文公开的任何实施例被执行。

在一个实施例中，一种方法包括执行涉及指令的机器执行的操作，当指令被一个或多个计算设备执行时，该指令使得本文公开的任何实施例被执行。机器执行的操作是发送所述指令、接收所述指令、存储所述指令或执行所述指令中的至少一项。

在一个实施例中，一个或多个非瞬态存储介质存储环境的地图。通过使用位于环境中的运载工具的一个或多个处理器接收环境的地图来生成地图。使用运载工具的一个或多个传感器，接收传感器数据和语义数据。传感器数据包括环境的多个特征。根据传感器数据，生成多个特征中的特征的几何模型。生成包括将特征与环境中的可行驶区域相关联。从可行驶区域提取可行驶段。可行驶段被分成多个几何块。每个几何块对应于可行驶区域的特性，并且特征的几何模型包括多个几何块。使用语义数据对几何模型进行注释。带注释的几何模型嵌入在地图中。

在一个实施例中，运载工具包括通信设备，该通信设备被配置为使用位于环境中的运载工具的一个或多个处理器来接收该环境的地图。一个或多个传感器被配置为接收传感器数据和语义数据。传感器数据包括环境的多个特征。一个或多个处理器被配置为从传感器数据生成多个特征中的特征的几何模型。生成包括将特征与环境中的可行驶区域相关联。从可行驶区域提取可行驶段。可行驶段被分成多个几何块。每个几何块对应于可行驶区域的特性，并且特征的几何模型包括多个几何块。使用语义数据对几何模型进行注释。带注释的几何模型嵌入在地图中。

可以将这些和其他方面、特征和实现表达为方法、装置、***、组件、程序产品、用于执行功能的装置或步骤、以及以其他方式表达。

根据包括权利要求的以下描述，这些和其他方面、特征和实现方式将变得显而易见。

附图说明

图1图示出根据一个或多个实施例的具有自主能力的自主运载工具(AV)的示例。

图2图示出根据一个或多个实施例的示例“云”计算环境。

图3图示出根据一个或多个实施例的计算机***。

图4图示出根据一个或多个实施例的用于AV的示例架构。

图5图示出根据一个或多个实施例可由感知模块使用的输入和输出的示例。

图6图示出根据一个或多个实施例的LiDAR***的示例。

图7图示出根据一个或多个实施例的操作中的LiDAR***。

图8更详细地图示出根据一个或多个实施例的LiDAR***的操作。

图9图示出根据一个或多个实施例的规划模块的输入与输出之间的关系的框图。

图10图示出根据一个或多个实施例的在路径规划中使用的有向图。

图11图示出根据一个或多个实施例的控制模块的输入和输出的框图。

图12图示出根据一个或多个实施例的控制器的输入、输出和组件的框图。

图13图示出根据一个或多个实施例的用于在运载工具的导航期间的、地图中的环境特征的自动注释的架构的框图。

图14图示出根据一个或多个实施例的在运载工具的导航期间的、地图中的环境特征的自动注释的示例环境。

图15图示出根据一个或多个实施例的在运载工具的导航期间的、地图中的示例自动注释的环境特征。

图16图示出根据一个或多个实施例的在运载工具的导航期间的示例自动注释的地图。

图17图示出根据一个或多个实施例的在运载工具的导航期间的、地图中的环境特征的自动注释的过程。

图18图示出根据一个或多个实施例的在运载工具的导航期间的、地图中的环境特征的自动注释的过程。

具体实施方式

在以下描述中，出于解释的目的阐述了众多特定细节以便提供对本发明的透彻理解。然而，将显而易见的是，可以在没有这些特定细节的情况下实践本发明。在其他情况下，以框图形式示出了公知的结构和设备，以避免不必要地使本发明模糊。

在附图中，为了易于描述，示出了示意性要素的特定布置或次序，示意性要素诸如表示设备、模块、指令块和数据要素的那些示意性要素。然而，本领域技术人员应当理解，附图中的示意性要素的特定排序或布置并非旨在暗示要求特定的处理次序或顺序、或过程的分离。此外，在附图中包括示意性要素并不意味着暗示在所有实施例中都要求此类要素，或者在一些实施例中由此类要素表示的特征可以不被包括在其他要素中或与其他要素组合。

此外，在附图中，在使用诸如实线或虚线或箭头的之类连接要素来说明两个或更多个其他示意性要素之间的连接、关系或关联的情况下，不存在任何此类连接要素并不意味着暗示没有连接、关系或关联可以存在。换句话说，要素之间的一些连接、关系或关联未在附图中示出，以免使本公开模糊。另外，为了易于说明，使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，在连接要素表示信号、数据或指令的通信的情况下，本领域技术人员应当理解，此类要素如可根据需要来表示一个或多个信号路径(例如，总线)以影响通信。

现在将详细参照实施例，在附图中图示出这些实施例的示例。在以下详细描述中，阐述了众多具体细节以便提供对所描述的各实施例的透彻理解。然而，对本领域的普通技术人员将显而易见的是，可在没有这些特定细节的情况下实施所描述的各实施例。在其他实例中，并未对公知方法、程序、组件、电路以及网络进行详细描述，以免不必要地使实施例的各方面模糊。

以下描述了若干特征，这些特征各自可以彼此独立地使用或者与其他特征的任何组合一起使用。然而，任何单独的特征可能无法解决上面讨论的问题中的任一个，或者可能仅解决上面讨论的问题之一。上面讨论的问题中的一些可能无法通过本文中所描述的特征中的任一特征完全解决。尽管提供了标题，与特定标题有关但未在具有该标题的部分中找到的信息也能在本说明书中的其他地方被找到。本文中根据以下大纲来对实施例进行描述：

1.总体概述

2.***概述

3.自主运载工具架构

4.自主运载工具输入

5.自主运载工具规划

6.自主运载工具控制

7.用于地图中的环境特征的自动注释的架构

8.用于地图中的环境特征的自动注释的环境

9.地图中的示例自动注释的环境特征

10.示例自动注释的地图

11.用于地图中的环境特征的自动注释的过程

总体概述

运载工具对正在其中导航的环境的实时地图进行注释。运载工具通过获取有关环境的信息并自动将信息注释到实时地图中来对实时地图进行注释。实时地图是表示动态环境变化或条件的环境的实时地图或描绘。运载工具访问地图的多个部分并实时更新这些部分。为了对地图进行注释，运载工具从服务器或另一运载工具接收环境的地图。运载工具使用运载工具的一个或多个传感器来接收传感器数据和语义数据。例如，传感器可以包括激光雷达或相机。传感器数据包括环境的多个特征。每个特征表示环境的一个或多个特性，诸如物理或语义方面。例如，特征可以对路缘或道路中线的表面或结构建模。根据传感器数据，运载工具生成环境的特征的几何模型。为了生成几何模型，运载工具将特征与环境中的可行驶区域相关联。运载工具从可行驶区域提取可行驶段。例如，可行驶段可以包括道路的车道。运载工具将提取的可行驶段分离成多个几何块。每个几何块对应于可行驶区域的特性，并且特征的几何模型包括多个几何块。运载工具使用语义数据对几何模型进行注释。运载工具将带注释的几何模型嵌入实时地图中，以随环境中的变化状况更新实时地图。例如，注释可以将环境中的新交通模式或新建设区域通知其他运载工具。

***概述

图1图示出具有自主能力的自主运载工具100的示例。

如本文中所使用，术语“自主能力”指使得运载工具能够在没有实时人类干预的情况下被部分地或完全地操作的功能、特征或设施，包括但不限于完全自主的运载工具、高度自主的运载工具以及有条件的自主运载工具。

如本文中所使用，自主运载工具(AV)是具有自主能力的运载工具。

如本文中所使用，“运载工具”包括运输货物或人的装置。例如，汽车、公共汽车、火车、飞机、无人机、卡车、船只、船舶、潜水器、飞船等。无人驾驶汽车是运载工具的示例。

如本文中所使用，“轨迹”指的是用于将AV从第一时空位置导航至第二时空位置的路径或路线。在实施例中，第一时空位置被称为初始或起始位置，且第二时空位置被称为目的地、最终位置、目标、目标地点或目标位置。在一些示例中，轨迹由一个或多个段(例如，道路区段)组成，并且每段由一个或多个块(例如，车道或交叉口的部分)组成。在实施例中，时空位置与现实世界位置相对应。例如，时空位置是用于接载或卸放人或货物的接载或卸放位置。

如本文中所使用，“(多个)传感器”包括检测有关传感器周围的环境的信息的一个或多个硬件组件。硬件组件中的一些可包括感测组件(例如，图像传感器、生物特征识别传感器)、发射和/或接收组件(例如，激光或射频波发射器和接收器)、电子组件(诸如，模数转换器)、数据存储设备(诸如，RAM和/或非易失性存储)、软件或固件组件以及数据处理组件(诸如，ASIC(专用集成电路))、微处理器和/或微控制器。

如本文中所使用，“场景描述”是数据结构(例如，列表)或数据流，该数据结构或数据流包括由AV运载工具上的一个或多个传感器检测到的或由在AV外部的源提供的一个或多个经分类或经标识的对象。

如本文中所使用，“道路”是可由运载工具穿行的物理区域，并且可以与经命名的通路(例如，城市街道、州际高速公路等)相对应，或可以与未经命名的通路(例如，住宅或办公建筑中的车道、停车场的一段、空地的一段以及乡村区域的土路等)相对应。由于一些运载工具(例如，四轮皮卡、运动型多功能车等)能够穿行各种并非专门针对运载工具行驶适配的物理区域，因此“道路”可以是并非由任何市政当局或其他政府或行政主体正式定义为通路的物理区域。

如本文中所使用，“车道”是可由运载工具穿行的道路的部分，并且可对应于车道标记之间的大多数或全部空间，或可对应于车道标记之间的空间中的仅一些(例如，少于50％)。例如，具有分隔较远的车道标记的道路可在标记之间容纳两个或更多个运载工具，使得一个运载工具能够在不穿行车道标记的情况下经过另一运载工具，并且可因此解释为具有比车道标记之间的空间更窄的车道，或在车道标记之间具有两个车道。在没有车道标记的情况下，车道也可被解释。例如，可以基于环境的物理特征来限定车道，例如，乡村区域中沿着通路的岩石和树木。

“一个或多个”包括：由一个要素执行的功能、由不止一个要素例如以分布式方式执行的功能、由一个要素执行的若干功能、由若干要素执行的若干功能、或上述的任何组合。

还将理解的是，虽然在一些实例中，术语第一、第二等在本文中用于描述各种要素，但这些要素不应受这些术语的限制。这些术语仅用于将一个要素与另一个区别开来。例如，第一接触件可被称为第二接触件，并且类似地，第二接触件可被称为第一接触件，而没有背离各个所描述的实施例的范围。第一接触件和第二接触件二者都是接触件，但它们并非相同的接触件。

在对本文中各种所描述的实施例的描述中使用的术语仅出于描述特定实施例的目的，而不旨在是限制性的。如在对所描述的各实施例和所附权利要求的描述中所使用，单数形式“一(a、an)”、和“该(the)”旨在也包括复数形式，除非上下文另外明确指出。还将理解的是，如本文使用的术语“和/或”指代并且包括相关联的列举项的一个或多个项的任何和所有可能组合。将进一步理解的是，术语“包含(includes、including)”和/或“包括(comprises、comprising)”当在本申请文件中使用时，指明所陈述的特征、整数、步骤、操作、要素和/或组件的存在，但并不排除一个或多个其他特征、整数、步骤、操作、要素、组件和/或其群组的存在或添加。

如本文中所使用的，取决于上下文，术语“如果(if)”可选地被解释为表示“当…时”或“在…后”或“响应于确定”或“响应于检测到”。类似地，取决于上下文，短语“如果被确定”或“如果检测到[所陈述的状况或事件]”被可选地解释为表示“在确定…后”或“响应于确定”或“在检测到[所陈述的状况或事件]后”或“响应于检测到[所陈述的状况或事件]”。

如本文中所使用，AV***指的是该AV以及支持该AV的操作的硬件、软件、存储的数据以及实时生成的数据的阵列。在实施例中，AV***被结合到AV中。在实施例中，AV***跨若干位置分布。例如，AV***的软件中的一些实现在类似于下文关于图3描述的云计算环境300的云计算环境上。

总体上，本文描述适用于具有一项或多项自主能力的任何运载工具的技术，这些运载工具包括完全自主的运载工具、高度自主的运载工具和有条件自主的运载工具，诸如分别为所谓的5级、4级和3级运载工具(参见SAE国际标准J3016：与道路机动车辆自动驾驶***相关的术语的分类和定义(Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems)，其通过引用整体并入本文，以用于有关运载工具的自主级别的分类的更多详细信息)。本文档中所描述的技术也可适用于部分自主的运载工具和驾驶员辅助的运载工具，诸如所谓的2级和1级运载工具(参见SAE国际标准J3016：与道路机动车辆自动驾驶***相关的术语的分类和定义)。在实施例中，1级、2级、3级、4级和5级运载工具***中的一个或多个可以基于传感器输入的处理在某些操作条件下使某些运载工具操作(例如，转向、制动和使用地图)自动化。本文描述的技术能够使从完全自主的运载工具到人工操作的运载工具的范围内的任何级别的运载工具受益。

参考图1，AV***120操作AV 100沿着轨迹198通过环境190至目的地199(有时被称为最终位置)，同时避开对象(例如，自然障碍191、运载工具193、行人192、骑车者以及其他障碍物)并遵守道路规则(例如，操作规则或驾驶偏好)。

在实施例中，AV***120包括设备101，该设备101被装配成用于接收并作用于来自计算机处理器146的操作命令。在实施例中，计算处理器146与下文参照图3描述的处理器304类似。设备101的示例包括转向控制件102、制动器103、齿轮、加速器踏板或其他加速控制机制、风挡雨刮器、侧门锁、窗户控制件或转向指示器。

在实施例中，AV***120包括传感器121，用于测量或推断AV100的状态或状况的属性，诸如AV的位置、线速度和加速度、角速度和加速度、以及航向(例如，AV 100前端的取向)。传感器121的示例为GNSS、测量运载工具线性加速度和角速度的惯性测量单元(IMU)、用于测量或估计轮滑移率的轮速度传感器、轮制动压力或制动扭矩传感器、发动机扭矩或轮扭矩传感器以及转向角和角速度传感器。

在实施例中，传感器121还包括用于感测或测量AV的环境的属性的传感器。例如，采用可见光、红外或热(或两者)光谱的单目或立体视频相机122、LiDAR 123、雷达、超声传感器、飞行时间(TOF)深度传感器、速度传感器、温度传感器、湿度传感器以及降水传感器。

在实施例中，AV***120包括数据存储单元142以及存储器144，用于存储与计算机处理器146相关联的机器指令或由传感器121收集的数据。在实施例中，数据存储单元142与下文描述的与图3有关的ROM 308或存储设备310类似。在实施例中，存储器144与下文描述的主存储器306类似。在实施例中，数据存储单元142和存储器144存储与环境190相关的历史信息、实时信息和/或预测信息。在实施例中，所存储的信息包括地图、驾驶性能、交通堵塞更新或天气状况。在实施例中，与环境190相关的数据从位于远程的数据库134通过通信信道被传送到AV 100。

在实施例中，AV***120包括通信设备140，用于将其他运载工具的状态和状况的所测量或所推断的属性(诸如位置、线速度和角速度、线加速度和角加速度、以及线性前进方向和角前进方向)传递至AV 100。这些设备包括运载工具到运载工具(V2V)和运载工具到基础设施(V2I)通信设备以及用于通过点对点或自组织网络或通过这两者进行无线通信的设备。在实施例中，通信设备140跨电磁频谱(包括无线电通信和光通信)或其他介质(例如，空气和声学介质)进行通信。运载工具到运载工具(V2V)通信与运载工具到基础设施(V2I)通信(以及在一些实施例中，一个或多个其他类型的通信)的组合有时被称为运载工具到所有(V2X)通信。V2X通信通常遵守一个或多个与自主运载工具通信或在自主运载工具之间进行通信的通信标准。

在实施例中，通信设备140包括通信接口。例如，有线、无线、WiMAX、Wi-Fi、蓝牙、卫星、蜂窝、光、近场、红外或无线电接口。通信接口将数据从位于远程的数据库134传送到AV***120。在实施例中，位于远程的数据库134嵌入在如图2中所示的云计算环境200中。通信接口140将从传感器121收集的数据或与AV 100的操作相关的其他数据传送到位于远程的数据库134。在实施例中，通信接口140将与遥操作相关的信息传送到AV 100。在一些实施例中，AV 100与其他远程(例如，“云”)服务器136通信。

在实施例中，位于远程的数据库134也存储并传送数字数据(例如，存储诸如道路和街道位置之类的数据)。此类数据被存储在位于AV 100上的存储器144中，或通过通信信道从位于远程的数据库134被传送到AV 100。

在实施例中，位于远程的数据库134存储并传送有关运载工具的驾驶属性的历史信息(例如，速度和加速度分布)，该运载工具之前曾在一天中类似的时间沿着轨迹198行驶。在一个实现中，此类数据可被存储在位于AV100上的存储器144中，或通过通信信道从位于远程的数据库134被传送到AV100。

位于AV 100上的计算设备146基于实时传感器数据和先前信息通过算法方式生成控制动作，从而允许AV***120执行其自主驾驶能力。

在实施例中，AV***120包括耦合至计算设备146的计算机***设备132，用于向AV100的用户(例如，乘客或远程用户)提供信息和警报以及接收来自该用户的输入。在实施例中，***设备132与下文参照图3所讨论的显示器312、输入设备314以及光标控制器316类似。耦合是无线的或有线的。可以将接口设备中的任何两个或更多个集成到单个设备中。

示例云计算环境

图2示出了示例“云”计算环境。云计算是服务交付模型，用于实现到可配置计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储、应用、虚拟机以及服务)共享池的方便、按需的网络访问。在典型的云计算***中，一个或多个大型云数据中心容纳被用于交付由云提供的服务的机器。现在参考图2，云计算环境200包括云数据中心204a、204b以及204c，它们通过云202被互连。数据中心204a、204b以及204c向连接到云202的计算机***206a、206b、206c、206d、206e以及206f提供云计算服务。

云计算环境200包括一个或多个云数据中心。通常，云数据中心(例如图2中所示的云数据中心204a)指的是组成云(例如，图2中示出的云202)或云的特定部分的服务器的物理布置。例如，服务器在云数据中心物理地布置为房间、组、排以及机架。云数据中心具有一个或多个区域，这一个或多个区域包括一个或多个服务器房间。每一个房间具有一排或多排服务器，并且每一排包括一个或多个机架。每一个机架包括一个或多个个体服务器节点。在一些实现中，基于数据中心设施的物理基础设施要求(其包括功率、能源、热、热量和/或其他要求)将区域、房间、机架和/或排中的服务器被布置成组。在实施例中，服务器节点与图3中所述的计算机***类似。数据中心204a具有通过许多机架而分布的许多计算***。

云202包括云数据中心204a、204b以及204c以及网络和联网资源(例如，联网装备、节点、路由器、交换机以及联网电缆)，这些网络和联网资源将云数据中心204a、204b以及204c互连，并帮助促进计算***的206a-f对云计算服务的访问。在实施例中，网络表示使用有线或无线链路耦合的一个或多个本地网络、广域网或互联网络的任何组合，有线和无线链路使用地面或卫星连接来部署。通过网络交换的数据使用任何数量的网络层协议进行传送，这些网络层协议诸如网际协议(IP)、多协议标签交换(MPLS)、异步传输模式(ATM)以及帧中继等。进一步地，在其中网络表示多个子网的组合的实施例中，在下方子网中的每一个子网处使用不同的网络层协议。在一些实施例中，网络表示一个或多个经互连的互联网络，诸如公共因特网。

计算***206a-f或云计算设备消费方通过网络链路和网络适配器被连接至云202。在实施例中，计算***206a-f被实现为各种计算设备，例如服务器、台式计算机、膝上型计算机、平板、智能手机、物联网(IoT)设备、自主运载工具(包括，汽车、无人机、班车、火车、公共汽车等)以及消费者电子产品。在实施例中，计算***206a-f在其他***中实现或实现为其他***的部分。

计算机***

图3图示出计算机***300。在实现中，计算机***300是专用计算设备。专用计算机设备是硬接线的以执行技术，或包括被持久地编程以执行技术的数字电子设备(诸如，一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA))，或可包括被编程以依照固件、存储器、其他存储或其组合内的程序指令来执行技术的一个或多个通用硬件处理器。此类专用计算设备还可将定制的硬接线逻辑、ASIC或FPGA与定制的编程进行组合，以实现这些技术。在各种实施例中，专用计算设备是台式计算机***、便携式计算机***、手持设备、网络设备或包含用于实现这些技术的硬接线和/或程序逻辑的任何其他设备。

在实施例中，计算机***300包括用于传送信息的总线302或其他通信机制、以及与总线304耦合以用于处理信息的硬件处理器302。硬件处理器304例如是通用微处理器。计算机***300还包括主存储器306(诸如，随机存取存储器(RAM)或其他动态存储设备)，该主存储器耦合至总线302，用于存储信息以及用于由处理器304执行的指令。在一个实现中，主存储器306被用来在用于处理器304执行的指令的执行期间存储临时变量或其他中间信息。此类指令在被存储在对于处理器304可访问的非瞬态存储介质中时将计算机***300呈现为被定制成用于执行这些指令中指定的操作的专用机器。

在实施例中，计算机***300进一步包括耦合至总线302的、用于存储用于处理器304的静态信息和指令的只读存储器(ROM)308或其他静态存储设备。提供存储设备310，并且该存储设备耦合至总线302以用于存储信息和指令，该存储设备诸如，磁盘、光盘、固态驱动器、或三维交叉点存储器。

在实施例中，计算机***300经由总线302耦合至显示器312以向计算机用户显示信息，该显示器312诸如，阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、发光二极管(LED)显示器、或有机发光二极管(OLED)显示器。包括字母数字及其他键的输入设备314耦合至总线302，用于将信息和命令选择传送到处理器304。另一类型的用户输入设备是用于将方向信息和命令选择传送到处理器304并用于控制显示器312上的光标移动的光标控制器316，诸如，鼠标、轨迹球、启用触摸的显示器或光标方向键。该输入设备典型地具有两个轴(第一轴(例如，x轴)和第二轴(例如，y轴))上的两个自由度，这允许设备指定平面中的位置。

根据一个实施例，本文中的技术由计算机***300响应于处理器304执行主存储器306中所包含的一条或多条指令的一个或多个序列而执行。此类指令从另一存储介质(诸如，存储设备310)被读取到主存储器306中。对主存储器306中所包含的指令序列的执行使得处理器304执行本文中所描述的过程步骤。在替代实施例中，使用硬接线电路代替软件指令，或者与软件指令组合地使用硬接线电路。

本文中所使用的术语“存储介质”是指存储使得机器以特定方式进行操作的数据和/或指令的任何非暂态介质。此类存储介质包括非易失性介质和/或易失性介质。非易失性介质包括例如，光盘、磁盘、固态驱动器或三维交叉点存储器，诸如存储设备310。易失性介质包括动态存储器，诸如主存储器306。常见形式的存储介质包括例如，软盘、柔性盘、硬盘、固态驱动器、磁带或任何其他磁数据存储介质、CD-ROM、任何其他光学数据存储介质、具有孔图案的任何物理介质、RAM、PROM和EPROM、闪存-EPROM、NV-RAM、或任何其他存储芯片或盒式存储器。

存储介质与传输介质不同，但可以与传输介质一同使用。传输介质参与在存储介质之间传递信息。例如，传输介质包括同轴电缆、铜导线和光纤，包括含总线302的导线。传输介质还可以采取声波或光波的形式，诸如那些在无线电波和红外数据通信期间生成的波。

在实施例中，各种形式的介质涉及将一条或多条指令的一个或多个序列承载至处理器304以供执行。例如，指令最初被承载在远程计算机的磁盘或固态驱动器上。远程计算机将这些指令加载到其动态存储器中，并使用调制解调器通过电话线发送这些指令。计算机***300本地的调制解调器在电话线上接收数据，并使用红外发射器将该数据转换为红外信号。红外检测器接收红外信号中承载的数据，并且适当的电路将该数据置于总线302上。总线302将数据承载至主存储器306，处理器304从该主存储器306检取指令并执行这些指令。由主存储器306接收的指令可在由处理器304执行之前或之后任选地被存储在存储设备310上。

计算机***300还包括耦合至总线302的通信接口318。通信接口318提供到网络链路320的双向数据通信耦合，该网络链路320连接至本地网络322。例如，通信接口318是集成服务数字网络(ISDN)卡、电缆调制解调器、卫星调制解调器、或用于提供到对应类型的电话线的数据通信连接的调制解调器。作为另一示例，通信接口318是用于提供到兼容的局域网(LAN)的数据通信连接的LAN卡。在一些实现中，还实现了无线链路。在任何此类实现中，通信接口318发送和接收承载表示各种类型的信息的数字数据流的电信号、电磁信号或光信号。

网络链路320典型地提供通过一个或多个网络到其他数据设备的数据通信。例如，网络链路320提供通过本地网络322到主机计算机324或到由互联网服务提供商(ISP)326运营的云数据中心或装备的连接。ISP 326进而通过世界范围的分组数据通信网络(现在通常被称为“因特网”328)提供数据通信服务。本地网络322和因特网328两者均使用承载数字数据流的电信号、电磁信号或光信号。通过各种网络的信号以及网络链路320上和通过通信接口318的信号是示例形式的传输介质，这些信号承载去往和来自计算机***300的数字数据。在实施例中，网络320包含上文所述的云202或云202的部分。

计算机***300通过(多个)网络、网络链路320和通信接口318发送消息并接收包括程序代码的数据。在实施例中，计算机***300接收代码以用于处理。所接收的代码在其被接收时由处理器304执行，和/或被存储在存储设备310和/或其他非易失性存储中以供稍后执行。

自主运载工具架构

图4图示出用于自主运载工具(例如，图1中所示的AV 100)的示例架构400。架构400包括感知模块402(有时被称为感知电路)、规划模块404(有时被称为规划电路)、控制模块406(有时被称为控制电路)、定位模块408(有时被称为定位电路)以及数据库模块410(有时被称为数据库电路)。每一个模块都在AV 100的操作中发挥作用。模块402、404、406、408以及410一起可以是图1所示的AV***120的部分。在一些实施例中，模块402、404、406、408以及410中的任一个是计算机软件(例如，存储在计算机可读介质上的可执行代码)以及计算机硬件(例如，一个或多个微处理器、微控制器、专用集成电路(ASIC)、硬件存储器设备、其他类型的集成电路、其他类型的计算机硬件或上述这些事物中的任何事物或所有事物的组合)的组合。

在使用中，规划模块404接收表示目的地412的数据，并确定表示轨迹414(有时被称为路线)的数据，AV 100可沿该轨迹行驶以到达(例如，抵达)目的地412。为了使规划模块404确定表示轨迹414的数据，规划模块404接收来自感知模块402、定位模块408以及数据库模块410的数据。

感知模块402使用一个或多个传感器121(例如，也如图1中所示)标识附近的物理对象。对象经分类(例如，被编组为诸如行人、自行车、机动车、交通标志等的类型)，并且包括经分类的对象416的场景描述被提供给规划模块404。

规划模块404也接收来自定位模块408的表示AV位置418的数据。定位模块408通过使用来自传感器121的数据以及来自数据库模块410的数据(例如，地理数据)来计算位置从而确定AV位置。例如，定位模块408使用来自GNSS(全球导航卫星***)传感器的数据并使用地理数据来计算AV的经度和纬度。在实施例中，由定位模块408使用的数据包括：道路几何属性的高精度地图、描述道路网络连接性属性的地图、描述道路物理属性(诸如交通速度、交通量、车辆和自行车行车道的数量、车道宽度、车道交通方向或车道标记类型和位置或其组合)的地图、以及描述道路特征(诸如人行横道、交通标志或各种类型的其他行驶信号)的空间位置的地图。

控制模块406接收表示轨迹414的数据以及表示AV位置418的数据，并以将使得AV100沿轨迹414行驶至目的地412的方式操作AV的控制功能420a-c(例如，转向、油门、制动、点火)。例如，如果轨迹414包括左转向，则控制模块406将以如下方式操作控制功能420a-c，该方式使得转向功能的转向角度将使得AV 100左转且油门和制动将使得AV 100在作出转向前停下并等待通行的行人或运载工具。

自主运载工具输入

图5图示出由感知模块402(图4)使用的输入502a-d(例如，图1中所示的传感器121)以及输出504a-d(例如，传感器数据)的示例。一个输入502a是LiDAR(光检测和测距)***(例如，图1所示的LiDAR123)。LiDAR是使用光(例如，诸如红外光之类的光的猝发)以获得有关其视线内的物理对象的数据的技术。LiDAR***产生LiDAR数据作为输出504a。例如，LiDAR数据是被用于构建环境190的表示的3D或2D点的集合(也称为点云)。

另一输入502b是雷达***。雷达是使用无线电波以获取有关附近物理对象的数据的技术。雷达可获取有关不在LiDAR***视线内的对象的数据。雷达***502b生成雷达数据作为输出504b。例如，雷达数据是被用于构建环境190的表示的一个或多个射频电磁信号。

另一输入502c是相机***。相机***使用一个或多个相机(例如，使用诸如电耦合器件(CCD)之类的光传感器的数码相机)以获得有关附近物理对象的信息。相机***产生相机数据作为输出504c。相机数据通常采取图像数据的形式(例如，诸如RAW、JPEG、PNG等图像数据格式的数据)。在一些示例中，相机***具有例如用于立体观测(立体视觉)的多个独立相机，这使得相机***能够感知深度。尽管由相机***感知的对象在本文中被描述为“附近”，但这是相对于AV的。在使用中，相机***可被配置成用于“看见”远处的对象，例如，位于AV前方多达一公里或更远的对象。相应地，相机***可具有诸如被优化以感知远处对象的传感器以及透镜之类的特征。

另一输入502d是交通灯检测(TLD)***。TLD***使用一个或多个相机以获得有关交通灯、街道标志以及提供视觉导航信息的其他物理对象的信息。TLD***产生TLD数据作为输出504d。TLD数据通常采取图像数据的形式(例如，诸如RAW、JPEG、PNG等图像数据格式的数据)。TLD***与结合了相机的***的不同之处在于，TLD***使用具有广视场(例如，使用广角透镜或鱼眼透镜)的相机以获得有关提供视觉导航信息的尽可能多的物理对象的信息，从而使得AV 100能够访问由这些对象提供的所有相关的导航信息。例如，TLD***的视角可以是大约120度或更大。

在一些实施例中，输出504a-d是使用传感器融合技术被组合的。因此，各个输出504a-d被提供给AV 100的其他***(例如，被提供给如图4所示的规划模块404)，或者经组合的输出能够以相同类型(例如，使用相同的组合技术，或组合相同的输出，或这两者)或不同类型(例如，使用不同的对应组合技术，或组合不同的对应输出，或这两者)的单个经组合的输出或多个经组合的输出的形式被提供至其他***。在一些实施例中，使用早期融合技术。早期融合技术通过在一个或多个数据处理步骤被应用到经组合的输出之前将输出组合来表征。在一些实施例中，使用后期融合技术。后期融合技术通过在一个或多个数据处理步骤被应用到各个输出之后将输出组合来表征。

图6图示出LiDAR***602的示例(例如，图5中所示的输入502a)。LiDAR***602从光发射器606(例如，激光发射器)发出光604a-c。由LiDAR***发出的射线通常不在可视频谱内；例如，通常使用红外射线。发出的光604b中的一些遇到物理对象608(例如，运载工具)并往回反射到LiDAR***602。(由LiDAR***发射的光通常不穿透物理对象，例如，以固态存在的物理对象)LiDAR***602也具有一个或多个光检测器610，其检测反射的光。在实施例中，与LiDAR***相关联的一个或多个数据处理***生成图像612，该图像612表示LiDAR***的视场614。图像612包括表示物理对象608的边界616的信息。以此方式，图像612被用于确定AV附近的一个或多个物理对象的边界616。

图7图示出操作中的LiDAR***602。在该图中示出的场景中，AV 100接收图像702形式的相机***输出504c以及LiDAR数据点704形式的LiDAR***输出504a。在使用中，AV100的数据处理***将图像702与数据点704相比较。具体而言，在图像702中被标识的物理对象706也在数据点704中被标识。以此方式，AV 100基于数据点704的轮廓和密度来感知物理对象的边界。

图8更详细地图示出LiDAR***602的操作。如上文所述，AV100基于由LiDAR***602检测到的数据点的特性来检测物理对象的边界。如图8中所示，平的对象(诸如，地面802)将以一致的方式反射由LiDAR***602发射的射线804a-d。换言之，由于LiDAR***602使用一致的间隔发出射线，因此地面802将会以同样一致的间隔将射线往回反射至LiDAR***602。随着AV 100在地面802上行驶，如果没有对象阻碍道路，则LiDAR***602将继续检测由下一有效地面点806反射的光。然而，如果对象808阻碍了道路，则由LiDAR***602发射的光804e-f将以与所预期的一致方式不一致的方式从点810a-b被反射。从该信息中，AV 100可判定存在对象808。

路径规划

图9图示出规划模块404(例如，如图4中所示)的输入与输出之间的关系的框图900。通常，规划模块404的输出是从起点904(例如，源位置或初始位置)到终点906(例如，目的地或最终位置)的路线902。路线902通常由一个或多个分段定义。例如，分段是指在街道、道路、公路、车道或其他适合机动车行驶的物理区域的至少一部分上行驶的距离。在一些示例中，例如，如果AV 100是具有越野能力的运载工具(诸如，四轮驱动(4WD)或全轮驱动(AWD)汽车、SUV、皮卡等)，则路线902包括诸如未铺砌道路或开放空地之类的“越野”分段。

除路线902之外，规划模块也输出车道级路线规划数据908。车道级路线规划数据908被用于基于分段在特定时间的状况来遍历路线902的分段。例如，如果路线902包括多车道公路，则车道级路线规划数据908包括轨迹规划数据910，AV 100可使用该轨迹规划数据，例如基于是否正接近出口、车道中的一个或多个车道是否有其他运载工具、或在几分钟或更短时间内变化的其他因素在多个车道中选择车道。类似地，在一些实现中，车道级路线规划数据908包括特定于路线902的区段的速度约束912。例如，如果区段包括行人或预期外的交通，则速度约束912可将AV 100限制到低于预期速度(例如，基于用于该区段的速度限制数据的速度)的行驶速度。

在实施例中，向规划模块404的输入包括数据库数据914(例如，来自如图4所示的数据库模块410)、当前位置数据916(例如，如图4所示的AV位置418)、目的地数据918(例如，用于如图4所示的目的地412)以及对象数据920(例如，由如图4所示的感知模块402感知的被分类的对象416)。在一些实施例中，数据库数据914包括规划中使用的规则。规则使用正式语言来指定，例如，使用布尔逻辑来指定。在由AV 100遇到的任何给定情况中，规则中的至少一些将应用于该情况。如果规则具有基于可用于AV 100的信息(例如，有关周围环境的信息)而被满足的条件，则该规则应用于给定情况。规则可具有优先级。例如，规则“如果道路为高速公路，则移动至最左侧车道”可具有比“如果一英里以内正接近出口，则移动至最右侧车道”更低的优先级。

图10图示出在(例如，由规划模块404(图4)执行的)路线规划中使用的有向图1000。总体上，如图10中所示的有向图那样的有向图1000被用于确定任何起点1002与终点1004之间的路径。在现实世界中，分隔起点1002和终点1004的距离可能相对较大(例如，在两个不同的城市区域)或可能相对较小(例如，紧邻城市街区的两个交叉口或多车道道路的两个车道)。

在实施例中，有向图1000具有节点1006a-d，其表示能够由AV100占据的起点1002与终点1004之间的不同位置。在一些示例中，例如，当起点1002和终点1004表示不同城市区域时，节点1006a-d表示道路的区段。在一些示例中，例如，当起点1002和终点1004表示相同道路上的不同位置时，节点1006a-d表示该道路上的不同位置。以此方式，有向图1000包括采用不同粒度级别的信息。在实施例中，具有高粒度的有向图也是具有更大比例的另一有向图的子图。例如，在其中起点1002距终点1004较远(例如，相距很多英里)的有向图的大多数信息具有低粒度且该有向图基于所存储的数据，但对于该图的、表示AV 100的视场内的物理位置的部分也包括一些高粒度信息。

节点1006a-d与对象1008a-b不同，对象1008a-b不能与节点重叠。在实施例中，当粒度为低时，对象1008a-b表示不能被机动车穿行的区域，例如，没有街道或道路的区域。当粒度为高时，对象1008a-b表示AV 100的视场内的物理对象，例如，其他机动车、行人、或AV100无法与其共享物理空间的其他实体。在实施例中，对象1008a-b中的一些或全部是静态对象(例如，不改变位置的对象，诸如街灯或电线杆)或动态对象(例如，能够改变位置的对象，诸如行人或其他车辆)。

节点1006a-d由边1010a-c连接。如果两个节点1006a-b由边1010a连接，则AV 100可以在一个节点1006a与另一节点1006b之间行驶，例如，不必在抵达另一节点1006b之前行驶至中间节点。(当我们提到AV 100在节点之间行驶时，我们是指AV 100在由相应节点表示的两个物理位置之间行驶)在AV100从第一节点行驶至第二节点或从第二节点行驶至第一节点的意义上，边1010a-c通常是双向的。在实施例中，在AV 100能从第一节点行驶至第二节点但AV 100无法从第二节点行驶至第一节点的意义上，边1010a-c是单向的。当边1010a-c表示例如单行道、街道、道路或公路的各个车道、或由于法律或物理约束仅能在一个方向穿行的其他特征时，边1010a-c是单向的。

在实施例中，规划模块404使用有向图1000来标识由起点1002与终点1004之间的节点和边组成的路径1012。

边1010a-c具有相关联的成本1014a-b。成本1014a-b是表示如果AV 100选择该边则将被花费的资源的值。典型的资源为时间。例如，如果一条边1010a表示另一边1010b两倍的物理距离，则第一边1010a的相关联的成本1014a可以是第二边1010b的相关联的成本1014b的两倍。影响时间的其他因素包括预期交通、交叉路口数量、速度限制等。另一典型的资源为燃料经济性。两条边1010a-b可表示相同的物理距离，但是一条边1010a可能比另一边1010b需要更多的燃料(例如，由于道路状况、预期天气等)。

当规划模块404标识起点1002与终点1004之间的路径1012时，规划模块404通常选择针对成本优化的路径，例如，当各个边的成本加在一起时具有最低总成本的路径。

自主运载工具控制

图11图示出(例如，如图4中所示的)控制模块406的输入和输出的框图1100。控制模块根据控制器1102操作，该控制器1102包括例如与处理器304类似的一个或多个处理器(例如，一个或多个计算机处理器，诸如，微处理器、或微控制器、或这两者)、与主存储器306、ROM 1308以及存储设备210类似的短期和/或长期数据存储(例如，存储器随机存取存储器、或闪存、或这两者)、以及存储在存储器内的指令，当该指令被执行(例如，由一个或多个处理器执行)时执行控制器1102的操作。

在实施例中，控制器1102接收表示期望输出1104的数据。期望输出1104通常包括速度，例如，速率和前进方向。期望输出1104可基于例如从(例如，如图4所示的)规划模块404接收的数据。根据期望输出1104，控制器1102生成可用作油门输入1106以及转向输入1108的数据。油门输入1106表示例如通过接合转向踏板、或接合另一油门控制件以实现期望输出1104来接合AV100的油门(例如，加速控制)所按照的幅度。在一些示例中，油门输入1106也包括可用于接合AV 100的制动(例如，减速控制)的数据。转向输入1108表示转向角，例如，AV的转向控制件(例如，方向盘、转向角致动器或用于控制转向角的其他功能)为实现期望输出1104而应当被定位所处于的角度。

在实施例中，控制器1102接收反馈，该反馈被用于调整被提供给油门和转向的输入。例如，如果AV 100遇到了扰动1110，诸如山丘，则AV100的测量速度1112降低至预期输出速度。在实施例中，任何测量输出1114都被提供至控制器1102，使得例如基于测量速度与期望输出之间的差异1113执行必要的调整。测量输出1114包括测量位置1116、测量速度1118(包括速率和朝向)、测量加速度1120以及可由AV 100的传感器测量的其他输出。

在实施例中，有关干扰1110的信息被事先检测(例如，由诸如相机或LiDAR传感器之类的传感器检测)，并被提供至预测性反馈模块1122。预测性反馈模块1122随后向控制器1102提供信息，控制器1102可使用该信息以相应地调整。例如，如果AV 100的传感器检测到(“看见”)山，则该信息可被控制器1102使用以准备在合适的时间接合油门以避免显著的减速。

图12图示出控制器1102的输入、输出以及组件的框图1200。控制器1102具有速度分析器1202，该速度分析器1202影响油门/制动控制器1204的操作。例如，取决于例如由控制器1102接收并由速度分析器1202处理的反馈，速度分析器1202使用油门/制动器1206指示油门/制动控制器1204参与加速或参与减速。

控制器1102还具有横向跟踪控制器1208，该横向跟踪控制器1208影响转向控制器1210的操作。例如，取决于例如由控制器1102接收且由横向跟踪控制器1208处理的反馈，横向跟踪控制器1208指示转向控制器1204调整转向角致动器1212的位置。

控制器1102接收用于确定如何控制油门/制动器1206以及转向角致动器1212的若干输入。规划模块404提供由例如控制器1102使用以便当AV 100开始操作时选择朝向并且当AV 100到达交叉路口时确定要穿行哪个路段的信息。定位模块408向控制器1102提供例如描述AV 100的当前位置的信息，从而使得控制器1102能够判定AV 100是否位于基于油门/制动器1206以及转向角致动器1212正被控制所按照的方式而预期的位置。在实施例中，控制器1102从其他输入1214接收信息(例如，从数据库、计算机网络等接收的信息)。

用于地图的自动注释的架构

图13图示出根据一个或多个实施例的用于在AV 1308的导航期间的、地图1364中的环境特征的自动注释的架构1300的框图。架构1300包括AV 1308位于其中的环境1304。架构1300还包括远程服务器1312和一个或多个其他运载工具1316。一个或多个其他运载工具1316是在环境1304之外或之内导航或停泊的其他AV、半自主运载工具或非自主运载工具。例如，一个或多个其他运载工具1316在导航期间进入和离开环境1304，以及在其他环境中导航。一个或多个其他运载工具1316可以是AV 1308在环境1304的道路上经历的交通的一部分。在一些实施例中，一个或多个其他运载工具1316属于一个或多个AV车队。在其他实施例中，架构1300包括与本文中所描述的组件相比附加的或更少的组件。类似地，各功能能以与此处所描述的方式不同的方式在各组件和/或不同的实体之间分布。

环境1304可以是以上参考图1示出和描述的环境190的示例。环境1304表示地理区域，诸如州、城镇、街区或道路网或段。环境1304包括AV1308以及一个或多个对象1320、1324。这些对象是AV 1308外部的物理实体。在其他实施例中，环境1304包括比本文所述的组件更多或更少的组件。类似地，各功能能以与此处所描述的方式不同的方式在各组件和/或不同的实体之间分布。

服务器1312存储由AV 1308和运载工具1316访问的数据，并且执行由AV 1308和运载工具1316使用的计算。服务器1312可以是图1中所示的服务器136的示例。服务器1312通信地耦合到AV 1308和运载工具1316。在一个实施例中，服务器1308可以是如以上关于图1和图2中的服务器136更详细地描述的“云”服务器。服务器1308的部分可在软件或硬件中实现。例如，服务器1308或服务器1308的部分可以是以下各项的部分：PC、平板PC、STB、智能电话、物联网(IoT)器具、或能够执行指定将要由该机器执行的动作的指令的任何机器。在一个实施例中，服务器1312实时存储由AV 1308或其他天线或计算机装置生成的环境1304的地图1364，并将地图1364发送给AV 1308以进行更新或注释。服务器1312还可将地图1364的部分发送到AV 1308或运载工具1316，以辅助AV 1308或运载工具1316对环境1304进行导航。

运载工具1316是位于环境1304之内或之外的非自主、部分自主或自主运载工具。在图13的实施例中，示出了运载工具1316位于环境1304的外部，但是，运载工具1316可以进入或离开环境1304。存在两种操作模式：映射模式和行驶模式。在映射模式下，AV 1308在环境1304中行驶以生成地图1364。在行驶模式下，AV 1308或运载工具1316可以从服务器1312接收实时地图1364的一部分以进行导航辅助。在行驶模式下，AV 1308使用其传感器1336和1340确定环境1304的特征并注释或更新地图1364的该部分。通过这种方式，在实时地图1364上连续地更新环境1304的变化或动态特性(诸如，临时建设区域或交通阻塞)。在实施例中，运载工具1316可以生成地图1364的各部分或将地图1364的各部分发送到服务器1312，以及可选地发送到AV 1308。

对象1320、1324位于AV 1308外部的环境1304内，如以上参考图4和图5中的对象416所描述的。在一个实施例中，对象1320是环境1304的静态部分或方面，诸如路段、交通信号灯、建筑物、位于路段上的停车位、高速公路出口或入口坡道、环境1304的沿相同方向定向的可行驶区域的多个车道、可行驶区域的高度、与可行驶区域相邻的路缘或将可行驶区域的两个车道隔开的中线。可行驶区域包括环境1304的路段、位于该路段上的停车位、连接至该路段的停车场或位于环境1304内的空地。在实施例中，可行驶区域包括AV1308可穿越的越野小道和其他未标记或未区分的路径。静态对象具有环境1304的更永久的特性，其每天都不变。在行驶模式下，一旦映射了表示静态特性的特征，AV 1308便可以专注于导航和映射表示更多动态特性的特征，诸如另一运载工具1316。

在一个实施例中，对象1320表示用于车辆导航的路标或交通标志，诸如路段上的标记、位于环境内的道路标志、交通信号或分隔两个车道的中线(这将有关行驶方向和车道变化来指示驾驶员)。在行驶模式下，AV 1308可以使用来自地图1364的此类映射特征的语义信息来得到情境并做出导航决策。例如，嵌入在表示分隔两个车道的中线的特征中的语义信息将指示AV 1308不要离靠近到来交通的中线太近。

在另一个实施例中，对象1320、1324具有与车辆操纵相关联的环境的特性，诸如将车道分成多个车道、将多个车道合并成单个车道、多个车道的交叉口、包括用于运载工具进入或离开环岛的空间位置的环岛，或者道路网的车道的弯曲。在行驶模式下，表示此类特性的映射特征会调用AV 1308导航***内的导航算法，以指导AV 1308进行操控，诸如三点调头、车道合并、U形转弯、Y形转弯、K形转弯或进入环岛。在另一个实施例中，对象1324具有更动态的特性，诸如另一运载工具1316、行人或骑自行车的人。表示动态特性的映射特征指示AV 1308执行碰撞预测并在需要时降低驾驶激进性。在映射模式下，对象1320、1324由AV1308分类(例如，分组为诸如行人、汽车等的类型)，并且表示分类的对象1320、1324的数据用于地图生成。上文参考图6、图7和图8中的物理对象608、物理对象608的边界616、物理对象706、地面802和对象808更详细地描述了对象1320、1324。

AV 1308包括地图注释器1328、一个或多个传感器1344和1348以及通信设备1332。AV 1308通信地耦合到服务器1312，并且可选地耦合到一个或多个车辆1316。AV 1308可以是图1中的AV 100的示例。在其他实施例中，AV 1308包括与本文中所描述的那些组件相比附加的或更少的组件。类似地，各功能能以与此处所描述的方式不同的方式在各组件和/或不同的实体之间分布。

一个或多个视觉传感器1336感测环境1304的状态，诸如对象1320、1324的存在和结构，并将传感器数据1344和表示该状态的语义数据发送给地图注释器1328。视觉传感器1336可以是以上参考图1示出和描述的传感器122-123的示例。视觉传感器1336通信地耦合到地图注释器1328以发送传感器数据1344和语义数据。视觉传感器1336包括：可见光、红外或热(或两者)光谱中的一个或多个单目或立体摄像机；LiDAR；雷达；超声传感器；飞行时间(TOF)深度传感器，并且可以包括温度传感器、湿度传感器或降水传感器。

在一个实施例中，视觉传感器1336生成传感器数据1344，其中传感器数据1344包括环境的多个特征。特征是传感器数据1344的表示对象1320或1324的一个或多个特性的部分。例如，特征可以对对象1324的一部分表面或一部分结构进行建模。地图注释器1328接收传感器数据1344和语义数据，并从传感器数据1344生成导出值(特征)。这些特征旨在作为对象1320的物理或语义特性的信息性和非冗余表示。通过使用缩减的表示(特征)而不是完整的初始传感器数据1344来执行地图1364的注释。例如，AV 1308的LiDAR传感器用于用脉冲激光照射目标对象1320并测量反射脉冲1344。然后可以使用激光返回时间和波长中的差异来制作目标对象1320的数字3-D表示(特征)。

在一个实施例中，视觉传感器1336是空间分布的智能相机或LiDAR设备，其能够从各种视角处理环境1304的传感器数据1344并将其融合为比个体图像更有用的数据形式。例如，传感器数据1344包括从目标对象1320反射的LiDAR点云数据。向在另一示例中，传感器数据包括环境1340的多个特征的图像。传感器数据1344被发送到地图注释器1328以用于图像处理、通信和存储功能。在上文参考图6、图7和图8中的输入502a-d、LiDAR***602、光604a-c、光发射器606、光检测器610、视场614和光804a-d更详细地描述视觉传感器1336。上文参考图6、图7和图8中的输出504a-d、图像612和LiDAR数据点704更详细地描述了传感器数据1344。

在一个实施例中，AV 1308位于环境1304内的时空位置处，并且多个特征与时空位置相关联。时空位置包括地理坐标、与位于该地理坐标的AV 1308相关联的时间或位于该地理坐标的AV 1308的前进方向(方向取向或姿势)。在一个实施例中，第一时空位置包括GNSS坐标、商业名称、街道地址或城市或城镇的名称。

传感器1336和1340接收传感器数据1344和1348以及与环境1304相关联的语义数据。在一个实施例中，语义数据表示可行驶区域上的标记、位于环境1304内的道路标志或位于环境1304内的交通信号。例如，传感器1336内的相机所拍摄的图像可用于图像处理以提取语义数据。AV 1308使用语义数据为特征赋予含义，以使得可以将这些特征用于智能导航决策。例如，在可行驶区域上的将交通沿特定方向引导的标记会提示AV 1308在该方向上行驶。位于环境1304内的具有“让行”标记或指令的道路标志引导AV 1308让行于迎面而来的交通或合并交通。位于环境1304内的交通信号引导AV 1308在红灯时停止并在绿灯时行进。

一个或多个测程传感器1340感测AV 1308相对于环境1304的状态，并将表示AV1308的状态的测程数据1348发送到地图注释器1328。测程传感器1340可以是以上参考图1示出和描述的传感器121的示例。测程传感器1340通信地耦合到地图注释器1328以发送测程数据1348。测程传感器1340包括一个或多个GNSS传感器、测量运载工具线性加速度和角速度的IMU、用于测量或估计车轮滑移率的车辆速度传感器、车轮制动压力或制动扭矩传感器、发动机扭矩或车轮扭矩传感器或转向角和角速度传感器。IMU是一种电子设备，其测量和报告AV的比力、角速率或AV周围的磁场。IMU使用加速度计、陀螺仪或磁力计的组合。IMU用于操纵AV。当GNSS信号不可用(诸如在隧道中)或存在电子干扰时，IMU允许AV上的GNSS接收器工作。测程测量包括速度、加速度或转向角。AV使用测程数据来提供唯一识别的签名，以区分环境中的不同时空位置。

在一个实施例中，测程传感器1340使用加速计、陀螺仪或磁力计的组合来测量并报告AV 1308的时空位置、比力、角速率或AV 1308周围的磁场。在另一个实施例中，测程传感器1340生成包括速度、转向角、纵向加速度或横向加速度的测程数据1348。测程传感器1340利用原始IMU测量值来确定姿态、角速率、线速度和相对于全局参考系的位置。在一个实施例中，由IMU报告的测程数据1348用于通过积分来自陀螺仪的角速率以计算角位置来确定姿态、速度和位置。

地图注释器1328从服务器1312接收环境1304的地图1364，生成环境1304的特征的几何模型1360，并将该几何模型的注释版本嵌入地图1364中。地图注释器1328包括几何模型生成器1352和几何模型注释器1356。地图注释器1328通信地耦合到视觉传感器1336和测程传感器1340，以接收传感器数据1344、语义数据和测程数据1348。地图注释器1328通信地耦合到通信设备1332，以将带注释的地图1364发送到通信设备1332。

地图注释器1328可以是图4所示的规划模块404的示例或者可以被包含在规划模块404内。地图注释器1328可以以软件或硬件来实现。例如，地图注释器1328或地图注释器1328的一部分可以是PC、平板PC、STB、智能电话、IoT器具或能够执行指定由机器采取的动作的指令的任何机器的一部分。在其他实施例中，地图注释器1328包括比本文描述的组件更多或更少的组件。类似地，各功能能以与此处所描述的方式不同的方式在各组件和/或不同的实体之间分布。

几何模型生成器1352从传感器数据1344生成多个特征中的特征的几何模型1360。几何模型生成器1352可以以软件或硬件来实现。例如，几何模型生成器1352或几何模型生成器1352的一部分可以是PC、平板PC、STB、智能电话、IoT器具或能够执行指定由机器采取的动作的指令的任何机器的一部分。

几何模型生成器1352从传感器数据1344提取特征。为了提取特征，在一个实施例中，几何模型生成器1352从传感器数据1344生成多个像素。生成的像素数N对应于视觉传感器1336的LiDAR束的数量，例如，来自图6中的LiDAR***602的光发射器606的LiDAR束604a-c的数量。几何模型生成器1352分析多个像素中的第一像素与第一像素的相邻像素之间的深度差，以提取特征。在一个实施例中，几何模型生成器1352根据为像素收集的一系列高度渲染多个像素中的每个像素。几何模型生成器1352确定目标对象1320的可见高度。几何模型生成器1352从传感器数据1344生成目标对象1320的数字模型，并使用序列滤波器将数字模型分割成特征。当从传感器数据1344生成多个像素时，几何模型生成器1352考虑AV 1308的位置不确定性和方向取向。

几何模型生成器1352将特征与环境1304内的可行驶区域相关联。在一个实施例中，来自实时地图1364的现有信息和传感器数据1344被组合以将特征与可行驶区域相关联。几何模型生成器1352基于来自实时地图的、从环境1304的其他区域学习的信息，检测可行驶区域。根据传感器数据1344，几何模型生成器1352通过从训练区域学习道路的当前外观，检测可行驶区域。例如，可以使用贝叶斯框架来组合实时地图信息和传感器数据1344以将特征与可行驶区域相关联。

几何模型生成器1352从可行驶区域提取可行驶段。基于AV1308的时空位置将可行驶段与所提取的特征相关。在一个实施例中，几何模型生成器1352使用诸如颜色和车道标记之类的线索来提取可行驶段。几何模型生成器1352进一步使用LiDAR点的空间信息来分析可行驶区域，并将可行驶区域的分段与特征相关联。在一个实施例中，几何模型生成器1352将特征的图像数据和LiDAR点融合以执行关联。融合方法的益处和优点在于，它排除对训练步骤或手动标记数据的需要。在该实施例中，几何模型生成器1352使用超像素作为基本处理单元以将稀疏LiDAR点与图像数据组合。超像素是数字图像的多边形部分，并且比普通像素大。使用统一的颜色和亮度渲染每个超像素。超像素是密集的，并且包含LiDAR传感器无法捕获的颜色信息，而LiDAR点包含相机无法获取的深度信息。几何模型生成器1352执行超像素分类以分割环境1304内的可行驶区域并提取可行驶部分。

在一个实施例中，几何模型生成器1352使用上述的测程数据1348来确定AV 1308相对于可行驶区域的边界的时空位置。位置坐标包括纬度、经度、海拔或相对于外部对象(例如，对象1320或运载工具1316)的坐标。在一个实施例中，几何模型生成器1352使用测程数据1348来通过分析相关联的传感器数据1344相对于初始时空位置估计AV 1308的位置随时间的变化。几何模型生成器1352从传感器数据1344提取图像特征点并跟踪图像序列中的图像特征点以确定AV 1308的位置坐标。几何模型生成器1352定义感兴趣的特征，并跨图像帧执行特征的概率匹配，以构建AV 1308的光流场。几何模型生成器1352检查流场矢量是否存在潜在的跟踪误差，并去除任何被识别的异常值。几何模型生成器1352根据构造的光流来估计视觉传感器1336的运动。然后，将估计的运动用于确定AV 1308的时空位置和方向取向。以这种方式，从可行驶区域提取包含AV 1308的时空位置的可行驶段。

几何模型生成器1352将提取的可行驶段分离成多个几何块。每个几何块对应于可行驶区域的特性。可行驶区域的特性是指道路的物理元素的定位，该定位由可行驶区域的对齐方式、轮廓和横截面定义。对齐方式被定义为可行驶区域的一系列水平切线和曲线。轮廓是道路的垂直方面，包括波峰和垂度曲线。横截面说明位置以及行车道、自行车道和人行道的数量，以及它们的倾斜。横截面还说明了可行驶区域的排水特征或路面结构。

在一个实施例中，几何模型1360的生成包括对传感器数据1344(例如LiDAR点云数据)进行分类。例如，基于高度的分割可用于从LiDAR点云数据1344内插表面模型。在一个实施例中，形状拟合用于从LiDAR点云数据1344对表面进行三角剖分，然后使用内插表面的形状的形态学解释将每个几何块分段。在另一个实施例中，光谱分段用于基于LiDAR点云数据1344的强度值或RGB值将提取的可行驶段分离成多个几何块。特征的几何模型1360包括多个分离的几何块。

本文公开了涉及针对不同环境对象和特征的几何模型的生成的实施例。车道的几何模型1360包括一个基线路径。该几何模型是其他要素所基于的最小几何实体。在一个实施例中，几何模型表示可行驶区域的沿相同方向定向的多个车道。多个几何块中的每个几何块代表可行驶区域的单个车道。几何模型是非相交路段内的车道块。车道块在其区域内具有相同的交通方向，使得每个车道在道路网络(例如在图10中示出)的图形上具有相同的源边缘和目的地边缘。在车道块内，车道的数量不会变化。多个车道在可行驶区域内共享车道分隔线，并且车道块表示为车道块的并集，例如：(车道1)U(车道2)U…U(车道N)。在一个实施例中，特征表示与车道块相关联的驻车场或停车场。

车道连接件特征表示从源车道的一个边缘到目的地车道的另一边缘的连接(见图10)。车道连接件的面积基于沿着车道连接件包含的基线路径的曲率的源边缘和目的地边缘的宽度。在一个实施例中，几何模型表示交叉口内的车道连接件的块。车道连接件的每个块具有相同的交通方向，即，在图10的有向图中，每个车道连接件具有相同的源边缘和目的地边缘。车道连接件的数量在交叉口内不变。

在一个实施例中，特征表示杜宾斯(Dubins)路径。杜宾斯路径是连接二维欧几里德平面(X-Y平面)中两个点的最短曲线。杜宾斯路径对路径的曲率以及路径的规定初始和最终切线具有约束。

在一个实施例中，特征表示可行驶区域的高度、位于可行驶区域附近的路缘、或将可行驶区域的两个车道隔开的中线。例如，特征可以表示超仰角(super-elevation)，诸如，道路上弯道的外边缘在内边缘上方倾斜的量。路缘的存在可以由道路的横截面表示。横截面包括车道的数量、其宽度和交叉坡度，以及是否存在路肩、路缘、人行道、排水沟、沟渠和其他道路特征。中线或道路分隔线特征将车道块与另一个车道块分开，例如，中线或道路分隔线将具有不同交通方向的两个车道块分开。车道分隔线特征可分隔两条具有相同交通方向的车道。

在一个实施例中，特征表示道路段上的走道或人行道。例如，人行横道特征由叠加在路段上的几何模型表示。行人观察区的几何模型表示即使行人观察区不是人行横道或人行道，AV 1308也可能会遇到行人的区域。基于历史观察，从传感器数据1344中提取行人观察区。

在一个实施例中，几何模型1360的生成包括将多个几何块叠加到LiDAR点云数据1344上以生成包括几何块的并集的多边形。例如，LiDAR点云数据1344用作其上叠加有几何块的基图。几何块的位置、大小和形状不等。将几何块的各个属性编辑到LiDAR点云数据1344上，以得出多边形并使几何块的并集的空间分布可视化。例如，可行驶区域包括路段、位于路段上的停车位、连接至路段的停车场或位于环境内的空地。因此，表示可行驶区域的一部分的几何模型是包含一个或多个路段的多边形。可行驶区域表示为路段的并集，例如，(路段(非交叉路口))U(路段(交叉路口))。因此，多边形表示是所有路段多边形的并集。在一个实施例中，可行驶区域包括表示避让区的特征。避让区是包含另一辆已停止车辆的区域。

在一个实施例中，多边形表示“出入(inout)边缘”。出入边缘或双向边缘是图10的有向图的将非交叉路段和交叉路段分开的边缘。出入边缘包括在一个或多个交通方向上的一个或多个通行边缘。如果出入边缘有一个以上的交通方向，则通行边缘共享图的节点，这些节点是道路分隔线的一部分。出入边缘表示为并集，诸如(通行边缘1)U(通行边缘2)U…U(通行边缘N)。因此，出入边缘由其包括的所有通行边缘的并集表示。每个出入边缘与可行驶区域的一部分相关联。通行边缘是将车道块和路块连接件分开的边缘。通行边缘包括一个或多个车道边缘。如果通行边缘包括一个以上的车道边缘，则包含的车道边缘共享作为车道分隔线的一部分的节点。因此，通行边缘表示为并集，诸如(车道边缘1)U(车道边缘2)U…U(车道边缘N)，即通行边缘是它所包括的车道边缘线的并集。车道边缘是分隔车道和车道连接件的边缘。

在一个实施例中，多边形表示优先区域。优先区域是可行驶区域的被确定为比当前由AV 1308占用的时空位置具有更高优先级的部分。因此，在优先区域上移动或停止的其他运载工具、骑自行车的人或行人拥有路权。优先区域具有多个标志，诸如汽车、自行车、行人等。如果优先区域标记有特定标志，则运载工具或行人的优先级高于AV 1308。

在一个实施例中，多边形表示AV 1308的停止线。停止线耦合到需要AV 1308在其内停止的停止区域。当遇到停车线(诸如停车标志、让行标志、人行横道、交通信号灯或右转或左转)时，AV 1308将停止。停止线与车道的块(当停止线为停止标志、让行标志、行人横道或交通信号灯时)或路块连接件(当停止线为右转或左转时)相关联。每个停止线还与人行横道或交通信号灯相关联。每个人行横道停车线与人行横道关联。每个交通信号灯停止线与交通信号灯相关联。每条右转或左转停车线均与人行横道相关联。

在一个实施例中，多边形表示将可行驶区域的车道分成多个车道、多个车道的交叉或者将多个车道合并成单个车道。车道的分割或合并与无障碍物的视线区域相关联，以使AV 1308安全操作。合并时，将应用基本路权规则(取决于位置，让行于右侧运载工或或大道规则)。AV 1308应该能够在AV 1308可以调整其速度或停止以让行于其他交通的点上，感测到相交道路上接近的交通。

在一个实施例中，交叉口包括沿路段的多个车道的变化、岔道、车道的合并或三个或更多道路的交叉点。代表交叉口的多边形包含一个或多个路块连接件。交叉口被表示为并集，诸如(路块连接件1)U(路块连接件2)U…U(路块连接件N)。交叉口多边形可以包括三向交叉口(例如，三个路段之间的交叉点)、两个臂形成一条道路时的T交叉点、Y交叉点或岔路或四向交叉口或十字路口。

在一个实施例中，多边形表示环岛，其包括可行驶区域上的用于使AV 1308进入或离开环岛的空间位置。环岛特征包括圆形交叉口或交叉点，道路交通在该交叉口或交叉点围绕中心岛在一个方向上流动。环岛特征要求进入交通给已经在圈中的交通让行，并以最佳方式遵守各种设计规则以提高安全性。环岛多边形可与指示电车或火车线或双向交通流的特征相关联。

在一个实施例中，多边形表示可行驶区域的车道的弯曲。例如，多边形包括在多个方向上定向的一个或多个几何块。几何块共享道路分隔线。交叉口被表示为并集，诸如(路块连接件1)U(路块连接件2)U…U(路块连接件N)。多边形表示是弯道包含的所有路块的并集。道路弯道会影响AV 1308可用的视距，即被山顶或水平弯道或交叉口内侧的障碍物阻挡之前，AV 1308可见的前方道路长度。

几何模型注释器1356生成环境1304的带注释的地图1364。几何模型注释器1356通信地耦合到视觉传感器1336，以接收传感器数据1344和语义数据。几何模型注释器1356通信地耦合至测程传感器1340以接收测程数据1348。几何模型注释器1356通信地耦合至通信设备1332以发送带注释的地图1364。几何模型注释器1356可以以软件或硬件来实现。在一个实施例中，几何模型注释器1356或几何模型注释器1356的一部分可以是PC、平板PC、STB、智能电话、IoT器具或能够执行指定由机器采取的动作的指令的任何机器的一部分。

几何模型注释器1356执行语义注释以使用语义数据标记几何模型1360的像素或部分。因此，语义标记与上面讨论的几何分段不同，几何分段提取感兴趣的特征并生成该特征的几何模型。另一方面，语义注释提供对特征或几何模型1360的像素和部分的理解。在一个实施例中，几何模型注释器1356通过生成将几何模型1360和语义数据组合在一起的计算机可读语义注释来注释几何模型1360。为了执行注释，几何模型注释器1356将几何模型1360的每个像素与类别标签(诸如“让行标志”、“禁止右转”或“停放的运载工具”)相关联。

在一个实施例中，几何模型注释器1356从语义数据中提取逻辑行驶约束。逻辑行驶约束与沿可行驶区域对AV 1308进行导航相关联。例如，逻辑行驶约束包括交通信号灯序列、有条件的左转或右转，或交通方向。逻辑行驶约束的其他示例包括在AV 1308接近减速带时降低速度，在接近高速公路的出口时移至出口车道或减速以礼让正在超车的运载工具。可以在计算机可读脚本中将逻辑行驶约束注释到几何模型1360上，上面参考图4示出和描述的规划模块404或控制模块406可执行该计算机可读脚本。

几何模型注释器1356将带注释的几何模型1360嵌入到地图1364中。在一个实施例中，几何模型注释器1356通过将与带注释的几何模型1360相对应的计算机可读语义注释嵌入在地图1364中来嵌入带注释的几何模型1360。几何模型注释器1356将语义注释嵌入使得其成为信息源，其易于由AV1308、服务器1312或运载工具1316解释、组合和重复使用。例如，语义注释可以是在地图1364的人类可读部分中不可见的结构化数字旁注。因为语义注释是机器可解释的，所以语义注释使AV 1308能够执行诸如对地图1364进行分类、链接、推断、搜索或过滤的操作。几何模型注释器1356从而通过将地图1364链接到提取的环境特征来用计算机可读信息丰富地图内容。

在一个实施例中，地图注释器1328从第二车辆1316接收计算机可读语义注释。地图注释器1328将实时地图1364与接收到的计算机可读语义注释合并，以发送到远程服务器1312。例如，地图注释器1328处理包含接收到的计算机可读语义注释的位图图像。基于颜色信息自动提取位图图像中的感兴趣区域，并确定其几何性质。该过程的结果是作为对地图1364的输入的特征的结构化描述。

在一个实施例中，几何模型注释器1356以映射操作模式或行驶操作模式将带注释的几何模型1360嵌入地图1364中。在行驶模式中，AV 1308从服务器1312接收实时地图1364。AV 1308根据地图1364中的带注释的几何模型来确定如上面参考图11所述和所示的用于导航的可行驶区域。几何模型注释器1356使用语义数据针对新感测的特征对几何模型1360进行注释。控制模块406使用地图1364在可行驶区域内对AV 1308进行导航。

地图1364使用诸如停车位或旁路的存在之类的语义特征实现自主行驶。在行驶模式下，AV 1308将其自身的传感器数据与来自地图1364的语义注释进行组合，以实时观察路况。因此，AV 1308可以提前了解100m以上的道路状况。带注释的地图1364比单独的车载传感器提供更高的准确性和可靠性。地图1364提供了对AV 1308的时空位置的估计，并且AV1308的导航***知道了预期的目的地。AV 1308在AV 1308的视线范围内确定本地导航目标。AV1308的传感器使用地图1364确定到道路边缘的位置，生成到本地导航目标的路径。在行驶模式下，AV 1308从实时地图1364中提取带注释的几何模型1360。控制模块406通过响应于带注释的几何模型1360的提取而将命令发送到AV1308的油门或制动器1206(如上面参考图12详细示出和描述的)，对AV 1308进行导航。

在一个实施例中，AV 1308存储与沿着可行驶区域对AV 1308进行导航相关联的多个操作度量。如上文参考图3所描述和示出的，操作度量被存储在主存储器306、ROM 308或存储设备310中。与行驶段相关联的操作度量可以表示：当沿行驶段行驶时，AV 1308与对象1320的多个预测的碰撞；当沿行驶段行驶时，AV 1308的多个预测的停止；或者沿行驶段行驶时，AV 1308与对象1320之间的最大侧向间隙。地图注释器1328使用地图1364更新多个操作度量。规划模块404使用更新的多个操作度量来确定用于AV 1308的改道信息。例如，改道信息的确定包括选择与小于阈值(例如1)的预测碰撞数相关联的行驶段，选择与小于阈值的预测停止数相关联的行驶段，或选择与大于阈值的AV1308和对象1320之间的预测横向间隙相关联的行驶段。通信设备1332将改道信息发送到位于环境1304内的服务器1312或另一运载工具1316。AV 1308的控制模块406使用所确定的改道信息在可行驶区域上对AV 1308进行导航。

地图注释器1328经由通信设备1332发送具有计算机可读语义注释的地图1364。通信设备1332还与服务器1312、AV 1308内的乘客或其他运载工具交流数据，诸如指令或AV1308或其他运载工具的状态和条件的测量或推断的属性。通信设备1332可以是图1所示的通信设备140的示例。通信设备1332跨网络通信地耦合到服务器1312并且可选地耦合到车辆1316。在实施例中，通信设备1332跨因特网、电磁频谱(包括无线电通信和光通信)或其他介质(例如，空气和声学介质)进行通信。通信设备1332的部分可在软件或硬件中实现。例如，通信设备1332或通信设备1320的一部分可以是PC、平板PC、STB、智能电话、IoT器具或能够执行指定由机器采取的动作的指令的任何机器的一部分。上文参考图1中的通信设备140更详细地描述了通信设备1332。

本文公开的实施例的益处和优点在于，与直接扫描点云空间的传统方法相比，使用带注释的地图对AV进行导航更加准确，并且在计算上更便宜。AV能够有效地确定用于实时导航的定位。使用实时注释的地图对AV进行导航，可以提高乘客和行人的安全性，降低AV的磨损，减少行驶时间，缩短行驶距离等。对于道路网络上的其他车辆，也获得了增加的安全性。

融合图像数据和LiDAR点以将特征与可行驶区域相关联，排除了训练步骤或手动标记数据的需要。此外，用语义数据注释几何模型减少可能由于传感器噪声和AV对其方向取向和位置的估计而导致的错误。使用地图注释器的其他益处和优点是，AV能够正确地区分实时地图中的两个或多个似合理位置。因此，带注释的特征将嵌入在地图中的正确时空位置处。

地图中的环境特征的自动注释的示例环境

图14图示出根据一个或多个实施例的在AV 1308的导航期间的、地图1364中的环境特征的自动注释的示例环境1400。环境1400包括AV 1308所位于的时空位置1404。环境1400包括路段1408、路缘1412、建设区域1416、道路标记1420(方向箭头)、表示AV 1308所位于的车道的边界的车道标记1424，以及车道外的停放车辆1428。

AV 1308的视觉传感器1336生成表示在时空位置1404处的环境1400的传感器数据1344。例如，在图14中生成的传感器数据1344描述路缘1412、施工区域1416、道路标记1420、车道标记1424或停放车辆1428的形状、结构和位置。视觉传感器1336包括一个或多个单眼或立体相机、红外或热(或两者)传感器、LiDAR 1436、雷达、超声传感器或飞行时间(TOF)深度传感器，并且可包括温度传感器、湿度传感器或降水传感器。在一个实施例中，传感器数据1344包括相机图像、三维LiDAR点云数据或根据时间索引的LiDAR点云数据。

测程传感器1340生成表示AV 1308的操作状态的测程数据1348。AV 1308的测程传感器1340包括一个或多个GNSS传感器、测量运载工具线性加速度和角速度的IMU、用于测量或估计车轮滑移率的车辆速度传感器、车轮制动压力或制动扭矩传感器、发动机扭矩或车轮扭矩传感器或转向角和角速度传感器。测程数据1348与时空位置1404和路段1408相关联。在一个实施例中，地图注释器1328使用测程数据1348确定AV 1308的位置1404和方向取向。AV 1308向服务器1312或另一运载工具1316发送确定的位置坐标和方向取向，以向其他的运载工具1316提供导航辅助。

地图注释器1328使用传感器数据1344注释环境1400的地图1364。为了注释地图1364，地图注释器1328从传感器数据1344生成环境特征的几何模型1360。例如，环境特征可以表示建设区域1416或道路标记1420的一部分。在一个实施例中，环境特征的提取包括生成多个像素，其中多个像素的数量对应于LiDAR束1436的数量。AV 1308分析多个像素中的第一像素与第一像素的相邻像素之间的深度差，以提取环境特征。

为了生成几何模型1360，地图注释器1328将特征与环境1400内的可行驶区域相关联。地图注释器1328从可行驶区域提取可行驶段，例如1408。地图注释器1328将可行驶段分割成多个几何块，其中每个几何块对应于可行驶区域的特性。特征的几何模型1360包括多个几何块。在一个实施例中，地图注释器1328通过将多个几何块叠加在诸如LiDAR点云数据的传感器数据1344上以生成包括几何块的并集的多边形，由此生成几何模型1360。多边形对环境1400的特征(诸如，环岛或交叉口)建模。在一个实施例中，地图注释器1328通过将三维LiDAR点云数据映射到二维图像来生成几何模型1360。地图注释器1328使用用于边缘检测的边缘算子从二维图像提取表示目标对象1416的形状的边缘像素。使用变换以提取对应于环境特征的多边形来将提取的边缘像素组装到对象1416的轮廓中。地图注释器1328使用语义数据注释几何模型1360，并将注释的几何模型1360嵌入地图1364中。

在一个实施例中，地图注释器1328将环境特征与测程数据1348相关联。由此减少了在AV 1308的方向取向和位置1404的估计期间由传感器噪声引起的误差。AV 1308通过将测距数据1348用到闭环中来解决此类误差。例如，AV 1308识别两个不同的时空位置(例如1404和1432)何时被错误地关联，并移除两个不同的时空位置1404和1432之间的关系。地图注释器1328嵌入了对应于实时地图1364内的几何模型1360的计算机可读语义注释。环境特征由此由几何形状表示。例如，该形状可以代表建设区域1416。

在一个实施例中，当AV 1308位于环境1400内的第二时空位置1432时，视觉传感器1336生成表示环境1400的第二传感器数据。AV 1308将第二传感器数据与第二时空位置1432相关联从而使第二传感器数据有别于传感器数据1344。AV 1308从而为环境1400中的所有节点(时空位置)生成唯一标识的签名。在一个实施例中，地图注释器1328接收LiDAR点云数据，并根据LiDAR点云数据生成基图。该地图可能具有错误标识的环闭合形式的不准确性和误差。通过将测程测量数据1348用到闭环中来将第二传感器数据与第二时空位置1432关联以解决这些误差，例如，识别两个节点(例如1404和1432)何时不正确地相关并移除这两个节点的关系。

用于AV的导航的示例自动注释的实时地图

图15图示出根据一个或多个实施例的在AV 1308的导航期间实时地图1500中的环境特征的示例自动注释的几何模型。地图1500对应于以上参考图14示出和描述的环境1400。在地图模式下，几何模型注释器1356嵌入图14中的车道标记特征1424的带注释的几何模型1360，作为地图1500内的计算机可读语义注释1504。语义注释1504是易于由图13中的AV 1308、服务器1312或运载工具1316解释、组合和重复使用的信息源。在一个实施例中，语义注释1504是机器可解释的彩色结构化数字旁注。注释1504的颜色或纹理使AV 1308能够执行诸如对地图1500进行分类、链接、推断、搜索或过滤的操作。在行驶模式下，特征1504的颜色可以向AV 1308指示特征1504是车道标记1424的一部分。由此使停留在车道内的规则能够对AV 1308进行导航。

几何模型注释器1356从而通过将地图1500链接到提取的环境特征来用计算机可读信息使地图内容丰富化。例如，几何模型生成器1352将特征与环境1400内的可行驶区域相关联。该特征可以是路段1408中的高度或弯道。几何模型生成器1352从可行驶区域提取可行驶段1408。几何模型生成器1352将可行驶段1408分离成多个几何块，诸如1508、1524等。每个几何块对应于可行驶区域的特性。例如，几何块可以对应于对象1324的表面的一部分、结构的一部分或语义描述。每个几何块是可行驶区域的物理或语义特性的信息性且非冗余的表示。特征的几何模型包括多个几何块。路段1408的沿相同方向定向的车道可以具有与几何块1508相同的注释和颜色。车道的方向由语义注释1532表示，其是图14中的道路标记1420的表示。

在一个实施例中，将几何块叠加到传感器数据1344上以生成多边形。例如，生成诸如几何形状1512的多边形。该几何形状1512表示停放的运载工具1428。在行驶模式下，与几何形状1512相关联的颜色或其他注释向AV1308指示停放的运载工具1428的位置是停车位。每次AV 1308在映射模式下对路段1408进行后续访问时，AV 1308都会搜索景观的变化并更新地图1500。例如，AV 1308在映射模式下多次经过环境1400，并且在某些情况下可能无法观察到停放的运载工具1428。。这由AV 1308的导航***或服务器1312解释为意味着停放的运载工具1428的位置可能被其他运载工具占用，或在其他时间未被占用。

地图注释器1328在地图1500中嵌入语义元数据、标记和自定义注释，例如1516。在行驶模式下，AV 1308可以使用注释1516确定不同时空位置之间的关系。例如，AV 1308确定注释1516表示图2中的路缘1412。因此，AV 1308应在由几何块1508指示的可行驶区域中行驶，而不应在路缘另一侧的时空位置1520中行驶。

在一个实施例中，地图1500中的每个位置或地点由纬度和经度坐标表示。在行驶模式下，AV 1308可以使用基于搜索的方法来确定两个位置(诸如图14中的1404和1432)之间的距离或路径。通过使用语义注释来注释每个时空位置，将交通或行驶信息添加到地图1500并从地图1500中检索。例如，语义注释1524的颜色指示AV 1308应该放慢速度或以其他方式谨慎行事，例如增加与由几何形状1528表示的建设区域1416的横向距离。

在一些实施例中，AV 1308的一个或多个传感器1336用于生成包括环境1304的特征的传感器数据1344。例如，映射模式可以用于通过AV1308上的用于提取感兴趣特征的几何轮廓的传感器1336来收集数据(例如，LIDAR点数据)。传感器数据1344用于将特征映射到环境1304的地图1500内的可行驶区域。规则可用于基于其几何轮廓来识别每个感兴趣的特征。地图1500内的可行驶区域用于提取包括多个几何块的多边形。每个几何块(例如，1508)对应于可行驶区域的可行驶段。由此可以提取感兴趣的特征(例如，边界、停放的运载工具、交通信号灯、路牌等)的几何轮廓。从地图1500内的可行驶区域提取的语义数据用于注释多边形。提取的特征(例如，识别出的停车位)可以基于块和段的几何轮廓(多边形表示)被自动识别。因此，基于所识别的特征来注释地图1500表示。AV 1308的一个或多个处理器146用于将带注释的多边形嵌入地图1500中。

在一些实施例中，多边形的提取包括将多个几何块叠加到传感器数据1344上。为每个特征生成多边形表示。多边形表示线段和/或块的并集。生成叠加的多个几何块的并集。LIDAR点数据的群集由此被分类为特征(例如，停放的运载工具、交叉口等)。在一些实施例中，地图内的可行驶区域用于提取语义数据。语义数据包括与沿可行驶区域对AV 1308进行导航相关联的逻辑行驶约束。例如，自主(任务)模式可以用于由AV 1308从地图1500表示中提取语义注释，以识别AV 1308相对于地图1500表示的位置和姿势，并确定可行驶区域。

在一些实施例中，在地图1500内嵌入带注释的多边形包括从带注释的多边形生成计算机可读语义注释。将计算机可读语义注释***到地图1500中。在一些实施例中，AV1308从第二运载工具1316接收第二带注释的多边形。从第二带注释的多边形，生成第二计算机可读语义注释。第二计算机可读语义注释被嵌入到地图1500中。当对接AV 1308以进行充电时，注释和部分更新的地图可以在网络上从AV 1500上载到服务器1312。服务器1312可以将来自几个不同的AV的更新的实时注释合并到实时地图表示中。

在一些实施例中，传感器数据1344包括三维LiDAR点云数据。在一些实施例中，一个或多个传感器1336包括相机，并且传感器数据1344还包括特征的图像。在一些实施例中，多边形表示可行驶区域的沿相同方向定向的多个车道。多个几何块中的每个几何块代表可行驶区域的单个车道。在一些实施例中，多边形表示可行驶区域的高度、位于可行驶区域附近的路缘，或将可行驶区域的两个车道隔开的中线。可行驶区域可以包括道路、位于道路上的停车位、连接到道路的停车场或空地。

在一些实施例中，传感器数据1344用于确定AV 1308相对于可行驶区域的边界的空间位置。一个或多个传感器1336包括全球导航卫星***(GNSS)传感器或惯性测量单元(IMU)。AV 1308相对于可行驶区域的边界的所确定的空间位置用于在可行驶区域内操作AV1308。在一个实施例中，多边形表示将可行驶区域的车道分成多个车道。在一些实施例中，多边形表示可行驶区域的多个车道合并为单个车道。在一些实施例中，多边形表示可行驶区域的多个车道的交汇。在一些实施例中，多边形表示环岛，其包括可行驶区域上的用于使AV 1308进入或离开环岛的空间位置。

在一些实施例中，多边形表示可行驶区域的车道的弯曲。AV1308的控制电路406用于在操作模式下在可行驶区域上操作AV 1308。带注释的多边形的嵌入是在映射模式下执行的。在一些实施例中，语义数据表示可行驶区域上的标记、位于环境内的道路标志或位于环境内的交通信号。在一些实施例中，逻辑行驶约束包括交通信号灯序列、有条件的左或右转弯或交通方向。在一些实施例中，从地图1500提取带注释的多边形。响应于带注释的多边形的提取，命令被发送到AV 1308的油门420b或制动器420c。

示例带注释的地图

图16图示出根据一个或多个实施例的在AV 1308的导航期间的示例自动注释的地图1600。地图1600表示由AV 1308映射和注释的可行驶区域1604和不可行驶区域1608。诸如几何形状1616的几何模型的生成包括将多个几何块叠加到LiDAR点云数据上以生成包括几何块的并集的多边形1616。将多个几何块的各个属性编辑到LiDAR点云数据1344上，以得出多边形1616并使几何块的并集的空间分布可视化。可行驶区域1604包括路段1616、左转弯1612、交叉口1410和交叉口1624。

多边形1612表示AV 1308的停止线。停止线耦合到需要AV1308在其内停止的停止区域。AV 1308从地图1600检索多边形1612，并识别出它正在遭遇左转弯。停止线与图13所示的路块连接件相关。左转停车线与人行横道相关。

几何形状1616表示可行驶区域1604的沿相同方向取向的多个车道。多个几何块中的每个几何块代表可行驶区域的单个车道。几何模型1616因此是非相交路段内的车道块。车道块1616在其区域内具有相同的交通方向，使得每个车道在道路网络(例如在图10中示出)的图形上具有相同的源边缘和目的地边缘。在车道块1616内，车道的数量不会变化。多个车道1616在可行驶区域内共享车道分隔线，并且车道块1616表示为车道块的并集，例如：(车道1)U(车道2)U…U(车道N)。中线或道路分隔线特征将车道块1616与另一车道块分开。中线或道路分隔线将具有不同交通方向的车道块分开。车道分隔线特征可分隔两条具有相同交通方向的车道。

多边形1620表示可行驶区域的多个车道的交叉口。该交叉口1620与无障碍物的视线三角形相关联，以便AV 1308安全地操作。在交叉口1620，将应用基本路权规则(让路于右侧运载工具或或大道规则，取决于位置)。AV 1308应该能够在AV 1308可以调整其速度或停止以让路于其他交通的点上，感测到相交道路上接近的交通。交叉口1620被定义为三个或更多道路的交叉点。多边形1620由一个或多个路块连接件组成。交叉口1620被表示为并集，诸如(路块连接件1)U(路块连接件2)U…U(路块连接件N)。

在一个实施例中，特征表示可行驶区域1604的高度、位于可行驶区域1604附近的路缘1624、或将可行驶区域1604的两个车道隔开的中线。路缘1624由道路的横截面表示。横截面包括车道的数量、其宽度和交叉坡度，以及是否存在路肩、路缘1624、人行道、排水沟、沟渠和其他道路特征。

用于地图的自动注释的过程

图17图示出根据一个或多个实施例的在AV 1308的导航期间的、地图1364中的环境特征的自动注释的过程1700。在一个实施例中，图17的过程可以由AV 1308(诸如地图注释器1328)的一个或多个组件执行。在其他实施例中，诸如远程服务器1312之类的其他实体执行过程1700的一些或全部步骤。同样，实施例可以包括不同和/或附加步骤，或者以不同顺序执行步骤。

AV 1308使用位于环境1304内的AV 1308的一个或多个处理器来接收1704环境1364的地图1364。环境1304表示地理区域，诸如州、城镇、邻里或道路网1604或段1616。环境1304包括AV 1308以及对象1320、1324。这些对象是AV 1308外部的物理实体。

AV 1308使用AV 1308的一个或多个传感器来接收1708传感器数据1344和语义数据。传感器数据1344包括环境1304的多个特征。传感器包括一个或多个视觉传感器1336，例如可见光、红外或热(或两者)光谱中的单眼或立体相机；LiDAR 1436；雷达；超声传感器或飞行时间(TOF)深度传感器。在一个实施例中，传感器数据1344包括相机图像、三维LiDAR点云数据或根据时间索引的LiDAR点云数据。传感器还包括测程传感器1340以生成表示AV1308的操作状态的测程数据1348。AV 1308的测程传感器1340包括一个或多个GNSS传感器、测量运载工具线性加速度和角速度的IMU、用于测量或估计车轮滑移率的车辆速度传感器、车轮制动压力或制动扭矩传感器、发动机扭矩或车轮扭矩传感器，或转向角和角速度传感器。

AV 1308通过将特征与环境1304中的可行驶区域1604相关联，从传感器数据1344生成1712特征的几何模型。在一个实施例中，AV 1308使用统计方法以基于传感器数据1344的2D结构将特征(结构)与可行驶区域1604相关联。从传感器数据1344中提取特征的RGB像素值，并使用统计模型进行组合以获得更高阶的架构。例如，基于道路网络的直方图，通过最小化传感器数据1344内的小区域的方差来确定可行驶区域的纹理。

AV 1308从可行驶区域1604中提取1716可行驶段。基于AV1308的时空位置将可行驶段与所提取的特征相关。在一个实施例中，AV 1308使用诸如颜色和车道标记之类的线索来提取可行驶段。AV 1308进一步使用LiDAR点的空间信息来分析可行驶区域1604，并将可行驶区域的段与特征相关联。在一个实施例中，AV 1308将特征的图像数据和LiDAR点融合以执行关联。

AV 1308将可行驶段分割1720成多个几何块。每个几何块对应于可行驶区域1604的特性。可行驶区域1604的特性是指道路的物理元素的定位，该定位由可行驶区域的对齐方式、轮廓和横截面定义。对齐方式被定义为可行驶区域160的一系列水平切线和曲线。轮廓是道路的垂直方面，包括波峰和垂度曲线。横截面说明了位置以及行车道、自行车道或人行道的数量。特征的几何模型1360包括多个几何块。

AV 1308使用语义数据对几何模型1360进行注释。AV 1308执行语义注释以使用语义数据标记几何模型1360的像素或部分。语义注释提供对特征或几何模型1360的像素和部分的理解。在一个实施例中，AV 1308通过生成将几何模型1360和语义数据组合在一起的计算机可读语义注释来注释几何模型1360。为了执行注释，AV 1308将几何模型1360的每个像素与类别标签(诸如“让行标志”、“禁止右转”或“停放的运载工具”)相关联。

AV 1308将带注释的几何模型1360嵌入1728在实时地图1364中。AV 1356将语义注释嵌入使得其成为信息源，易于由AV 1308、服务器1312或运载工具1316解释、组合和重复使用。例如，语义注释可以是在地图1364的人类可读部分中不可见的结构化数字旁注。因为语义注释是机器可解释的，所以语义注释使AV 1308能够执行诸如对地图1364进行分类、链接、推断、搜索或过滤的操作。AV 1308从而通过将地图1364链接到提取的环境特征来用计算机可读信息使地图内容丰富化。

用于地图的自动注释的过程

图18图示出根据一个或多个实施例的在AV 1308的导航期间的、地图1364中的环境特征的自动注释的过程1800。在一个实施例中，图18的过程可以由AV 1308的一个或多个组件执行。在其他实施例中，诸如远程服务器1312之类的其他实体执行过程1800的一些或全部步骤。同样，实施例可以包括不同和/或附加步骤，或者以不同顺序执行步骤。

AV 1308使用一个或多个传感器1336来生成1804包括环境1304的特征的传感器数据1344。传感器包括一个或多个视觉传感器1336，例如可见光、红外或热(或两者)光谱中的单眼或立体相机；LiDAR 1436；雷达；超声传感器或飞行时间(TOF)深度传感器。在一个实施例中，传感器数据1344包括相机图像、三维LiDAR点云数据或根据时间索引的LiDAR点云数据。环境1304表示地理区域，诸如州、城镇、邻里或道路网1604或段1616。环境1304包括AV1308以及对象1320、1324。这些对象是AV 1308外部的物理实体。

AV 1308使用传感器数据1344将特征映射1808到环境1304的地图1500内的可行驶区域。可行驶区域可包括环境1304的路段、位于该路段上的停车位、连接至该路段的停车场或位于环境1304内的空地。在实施例中，可行驶区域包括AV 1308可穿越的越野小道和其他未标记或未区分的路径。

AV 1308使用地图1500内的可行驶区域提取1812包括多个几何块的多边形。每个几何块对应于可行驶区域的可行驶段。将几何块的各个属性可被编辑到LiDAR点云数据1344上，以得出多边形并使几何块的并集的空间分布可视化。例如，可行驶区域可包括路段、位于路段上的停车位、连接至路段的停车场或位于环境内的空地。因此，表示可行驶区域的一部分的几何模型是包含一个或多个路段的多边形。

AV 1308使用从地图1500内的可行驶区域提取的语义数据注释1816多边形。AV1308执行语义注释以使用语义数据标记多边形的像素或部分。语义注释提供多边形的像素和部分的理解。在一个实施例中，AV 1308通过生成将多边形和语义数据组合在一起的计算机可读语义注释来注释多边形。为了执行注释，AV 1308将多边形的每个像素与类别标签(诸如“让行标志”、“禁止右转”或“停放的运载工具”)相关联。

AV 1308使用AV 1308的一个或多个处理器146将带注释的多边形嵌入1828地图1500中。AV 1308将带注释的多边形嵌入使得其成为信息源，易于由AV 1308、服务器1312或运载工具1316解释、组合和重复使用。例如，带注释的多边形可以是在地图1500的人类可读部分中不可见的结构化数字旁注。因为带注释的多边形是机器可解释的，所以带注释的多边形使AV 1308能够执行诸如对地图1500进行分类、链接、推断、搜索或过滤的操作。AV1308从而通过将地图1500链接到提取的环境特征来用计算机可读信息使地图内容丰富化。

在先前的描述中，已参照许多特定的细节来描述本发明的实施例，这些特定细节可因实现方式而异。因此，说明书和附图应被认为是说明性而非限制性意义的。本发明范围的唯一且排他的指示符，本申请人期望本发明的范围的内容是以发布此类权利要求的特定的形式从本申请发布的权利要求书的字面和等效范围，包括任何后续校正。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求中所使用的意义为准。另外，当我们在先前的说明书或所附权利要求中使用术语“进一步包括”时，该短语的下文可以是额外步骤或实体，或先前所述的步骤或实体的子步骤/子实体。

Claims

1.一种方法，包括：

使用位于环境中的运载工具的一个或多个处理器，接收所述环境的地图；

使用所述运载工具的一个或多个传感器，接收传感器数据和语义数据，所述传感器数据包括所述环境的特征；

使用所述一个或多个处理器，基于所述传感器数据生成所述环境的所述特征的几何模型，所述生成包括：

使用所述一个或多个处理器，将所述特征与所述环境内的可行驶区域相关联；

使用所述一个或多个处理器，基于所述可行驶区域提取至少一个可行驶段；

使用所述一个或多个处理器，将所述至少一个可行驶段分成多个几何块，所述多个几何块中的每个几何块对应于所述可行驶区域的特性；并且

使用所述一个或多个处理器，将所述多个几何块叠加在所述传感器数据上，以生成包括所述多个几何块的并集的多边形；

使用所述一个或多个处理器，利用所述语义数据对所述几何模型进行注释；以及

使用所述一个或多个处理器，将带注释的几何模型嵌入所述地图中。

2.如权利要求1所述的方法，其中所述传感器数据包括LiDAR点云数据。

3.如权利要求2所述的方法，其中所述几何模型的生成包括对所述LiDAR点云数据进行分类。

4.如权利要求1所述的方法，其中所述一个或多个传感器包括相机，所述传感器数据还包括所述环境的特征的图像。

5.如权利要求1所述的方法，其中所述运载工具位于所述环境内的一时空位置处，所述多个特征与所述时空位置相关联。

6.如权利要求1所述的方法，其中所述特征表示所述可行驶区域的多个车道，所述多个车道中的每个车道沿相同方向取向，所述多个几何块中的每个几何块表示所述多个车道中的单个车道。

7.如权利要求1所述的方法，其中所述特征表示所述可行驶区域的高度、位于所述可行驶区域附近的路缘、或将所述可行驶区域的两个车道隔开的中线中的至少一者。

8.如权利要求1所述的方法，其中所述可行驶区域包括以下中的至少一者：路段、位于所述路段上的停车位、连接至所述路段的停车场或位于所述环境内的空地。

9.如权利要求1所述的方法，进一步包括：使用所述传感器数据，确定所述运载工具相对于所述可行驶区域的边界的空间位置，所述一个或多个传感器包括全球导航卫星***(GNSS)传感器或惯性测量单元(IMU)。

10.如权利要求1所述的方法，其中所述多边形表示将所述可行驶区域的车道分成多个车道。

11.如权利要求1所述的方法，其中所述多边形表示将所述可行驶区域的多个车道合并为单个车道。

12.如权利要求1所述的方法，其中所述多边形表示所述可行驶区域的多个车道的交叉口。

13.如权利要求1所述的方法，其中所述多边形表示环岛，该环岛包括所述可行驶区域上的用于使所述运载工具进入或离开所述环岛的空间位置。

14.如权利要求1所述的方法，其中所述多边形表示所述可行驶区域的车道的弯曲。

15.如权利要求1所述的方法，其中所述几何模型的注释包括生成将所述几何模型与所述语义数据结合的计算机可读语义注释，所述方法还包括：将具有所述计算机可读语义注释的地图发送到远程服务器或另一运载工具。

16.如权利要求1所述的方法，其中在第一操作模式下执行使用所述语义数据对所述几何模型进行注释，所述方法进一步包括：使用所述运载工具的控制模块，在第二操作模式下、使用所述地图在所述可行驶区域上对所述运载工具进行导航。

17.如权利要求1所述的方法，其中所述语义数据表示所述可行驶区域上的标记、位于所述环境内的道路标志或位于所述环境内的交通信号中的至少一者。

18.如权利要求1所述的方法，其中使用所述语义数据对所述几何模型进行注释包括：从所述语义数据中提取与在所述可行驶区域内对所述运载工具进行导航相关联的逻辑行驶约束。

19.一种运载工具，包括：

一个或多个计算机处理器；以及

一个或多个非瞬态存储介质，存储有指令，所述指令在由所述一个或多个计算机处理器执行时，使所述一个或多个计算机处理器：

接收所述运载工具所位于的环境的地图；

基于所述传感器数据生成所述环境的所述特征的几何模型，所述生成包括：

将所述特征与所述环境中的可行驶区域相关联；

从所述可行驶区域提取至少一个可行驶段；

将所述至少一个可行驶段分成多个几何块，所述多个几何块中的每个几何块对应于所述可行驶区域的特性；并且

将所述多个几何块叠加在所述传感器数据上，以生成包括所述多个几何块的并集的多边形；

使用所述语义数据对所述几何模型进行注释；以及

将带注释的几何模型嵌入所述地图中。

20.一个或多个非瞬态存储介质，存储有指令，所述指令在由一个或多个计算设备执行时，使所述计算设备：

接收运载工具所位于的环境的地图；

将所述特征与所述环境中的可行驶区域相关联；

从所述可行驶区域提取至少一个可行驶段；

使用所述语义数据对所述几何模型进行注释；以及

将带注释的几何模型嵌入所述地图中。