CN116685874A

CN116685874A - 摄像机-激光雷达融合对象检测***和方法

Info

Publication number: CN116685874A
Application number: CN202180085904.7A
Authority: CN
Inventors: 阿森尼·萨拉宁; 巴塞尔·阿尔加内姆; 本杰明·D·巴拉德; 詹森·齐格拉尔; G·彼得·K·卡尔
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2020-10-23
Filing date: 2021-10-11
Publication date: 2023-09-01
Also published as: US11430224B2; US20220129684A1

Abstract

用于对象检测的***和方法。该方法包括：获取LiDAR数据集，并通过将LiDAR数据集中的点与图像中的像素相匹配来使用LiDAR数据集和图像检测对象；通过减少LiDAR数据集中包含的点的总数来生成修剪后的LiDAR数据集；计算LiDAR数据集中的每个点可能处于的对象检测的分布；使用对象检测的分布来创建LiDAR数据点的多个片段；合并LiDAR数据点的多个片段以生成合并片段；和/或基于LiDAR数据点的合并片段在由LiDAR数据集定义的点云中检测对象。对象检测可以用于促进至少一个自主驾驶操作。

Description

摄像机-激光雷达融合对象检测***和方法

交叉引用和优先权要求

本专利文件要求2020年10月23日提交的专利申请号为17/078,532的美国专利申请、2020年10月23日提交的专利申请号为17/078,543的美国专利申请、2020年10月23日提交的专利申请号为17/078,548的美国专利申请、2020年10月23日提交的专利申请号为17/078,561的美国专利申请和2020年10月23日提交的专利申请号为17/078,575的美国专利申请的优先权，所有这些专利申请都通过引用合并于此。

背景技术

技术领域声明

本公开总体上涉及对象检测***。更具体地，本公开涉及包括LiDAR-图像检测匹配、点修剪、局部变化分段、片段合并和/或片段过滤的摄像机-LiDAR融合(“CLF”)对象检测实施***和方法。

相关技术的描述

现代车辆至少有一台车载计算机，并具有互联网/卫星连接。在这些车载计算机上运行的软件监视和/或控制车辆的操作。车辆还包括用于检测其附近的对象的LiDAR探测器。LiDAR探测器生成测量在多个不同时间从车辆到对象的距离的LiDAR数据集。这些距离测量可用于跟踪对象的运动、对对象轨迹进行预测、以及基于预测的对象轨迹规划车辆的行进路径。

发明内容

本公开涉及利用LiDAR-图像检测匹配进行对象检测的实施***和方法。对象检测可以用于控制自主车辆。在该场景中，方法包括：通过计算设备获取由自主车辆的LiDAR***生成的LiDAR数据集；以及通过计算设备使用LiDAR数据集和至少一个图像来检测自主车辆附近的对象。对象通过以下方式进行检测：将LiDAR数据集中的点与至少一个图像中的像素相匹配；以及基于匹配在由LiDAR数据集定义的点云中检测对象。对象检测用于促进至少一个自主驾驶操作(例如，自主驾驶操作包括对象跟踪操作、对象轨迹预测操作、车辆轨迹确定操作和/或防撞操作)。

在一些场景中，方法还包括通过计算设备获取在LiDAR***的传感器扫过摄像机视场(“FOV”)的中心时捕获的至少一个图像，其中，除了LiDAR数据集之外，还使用至少一个图像来检测对象。匹配可以基于在至少一个图像中检测到的每个对象的标识符、掩码标识符、掩码的单元标识符、每个单元的置信度值、LiDAR点标识符、LiDAR点坐标、外部LiDAR传感器和摄像机校准参数和/或内部摄像机校准参数。

匹配可以包括在考虑摄像机校准不确定性导致的投射不确定性的情况下确定LiDAR数据集的点可以投射到的至少一个图像的像素的概率分布。概率分布是通过计算LiDAR数据集的点可能投射到的像素在图像空间坐标上的概率分布函数来确定的。概率分布函数可以根据以下数学方程来计算：

其中，xⁱ和yⁱ表示像素的图像空间坐标，X、Y和Z表示LiDAR数据集的点的LiDAR空间坐标。概率分布函数可以根据以下数学方程转换为图像检测掩码坐标：

其中和/>表示边界框的图像空间边界，R表示掩码分辨率。

可替换地或附加地，匹配包括基于至少一个置信度值来确定LiDAR数据集的点可能处于的一组对象检测上的概率分布，置信度值指示至少一个图像的至少一个相应像素属于给定检测对象的置信度水平。概率分布可以通过计算LiDAR数据集的点投射到一图像检测而与所有其他图像检测无关的概率来确定。例如，可以根据以下数学方程来计算概率。

其中lp是LiDAR点，mp是掩码像素，表示像素在掩码坐标中的x极限，/>表示像素在掩码坐标中的y极限，dmp表示与给定对象检测d相关的掩码像素，dy表示与给定对象检测d相关的掩码像素的y轴坐标，并且dx表示与给定对象检测d相关的掩码像素的x轴坐标。

可替换地或附加地，匹配包括确定LiDAR点不投射到任何图像检测的概率。例如，匹配包括根据以下数学方程对针对LiDAR数据集的给定点确定的多个概率进行归一化：

其中ip(lp∈d)表示LiDAR数据集的点投射到一图像检测而与所有其他图像检测无关的概率，并且表示LiDAR点不投射到任何图像检测的概率。

本公开还涉及包含点修剪的CLF对象检测实施***和方法。本发明的方案可以用于操作自主车辆。在该场景中，方法包括：通过计算设备获取由自主车辆的LiDAR***生成的LiDAR数据集；以及通过计算设备使用LiDAR数据集和至少一个图像来检测自主车辆附近的对象。通过以下方式检测对象：通过减少LiDAR数据集中包含的点的总数来生成修剪后的LiDAR数据集，并在由修剪后的LiDAR数据集定义的点云中检测对象。对象检测可以由计算设备用来促进至少一个自主驾驶操作(例如，对象跟踪操作、对象轨迹预测操作、车辆轨迹确定操作和/或防撞操作)。

在这些或其他场景中，方法还包括通过计算设备获取在LiDAR***的传感器扫过摄像机FOV中心时捕获的至少一个图像。除了LiDAR数据集之外，还使用该图像来检测对象。

在这些或其他场景中，修剪后的LiDAR数据集通过基于自主车辆的规划轨迹对点进行下采样而生成。与LiDAR数据集中对应于不沿着自主车辆的规划轨迹的第二区域的点相比，LiDAR数据集中对应于沿着自主车辆的规划轨迹的第一区域的点将以更高或更低的采样率进行下采样。第一区域可以包括与在遵循规划轨迹时不太可能干扰自主车辆的至少一个对象相对应的点所在的区域，并且第二区域可以包括与在遵循规划轨迹时可能干扰自主车辆的至少一个对象相对应的点所在的区域。

在这些或其他场景中，修剪后的LiDAR数据集通过基于分配给点的点标签对LiDAR数据集进行下采样而生成。每个点标签可以包括对象类别标识符、颜色和/或唯一标识符中的至少一个。可替换地或附加地，通过将第一重要性标签分配给与移动对象类别相关的点，并将第二重要性标签分配给与静态对象类别相关的点，来对LiDAR数据集进行下采样。可以对分配了第一重要性标签的点进行下采样(例如，以第一分辨率)，和/或可以对分配了第二重要性标签的点进行下采样(例如，以低于第一分辨率的第二分辨率)。

在这些或其他场景中，修剪后的LiDAR数据集通过基于距离边界框的点距离对LiDAR数据集进行下采样而生成。当各个点距离中的一个大于阈值距离时，可以从LiDAR数据集中移除点。

在这些或其他场景中，通过使用包括与自主车辆的规划轨迹相关的信息的地图对LiDAR数据集进行下采样来生成修剪后的LiDAR数据集。当点的高度小于最小高度阈值或大于最大高度阈值时，可以从LiDAR数据集中移除该点。附加地或替代地，通过以基于建模的过程延迟选择的分辨率对LiDAR数据集进行下采样来生成修剪后的LiDAR数据集。

本公开进一步涉及包含局部变化分段的对象检测实施***和方法。对象检测可以用于控制自主车辆。在该场景中，方法包括：通过计算设备获取由自主车辆的LiDAR***生成的LiDAR数据集；以及通过计算设备使用LiDAR数据集和至少一个图像来检测自主车辆附近的对象。通过以下方式检测对象：计算LiDAR数据集的每个点可能处于的对象检测的分布；使用对象检测的分布来创建LiDAR数据点的多个片段；以及基于LiDAR数据点的多个片段在由LiDAR数据库定义的点云中检测对象。对象检测可以由计算设备用来促进至少一个自主驾驶操作(例如，自主驾驶操作包括对象跟踪操作、对象轨迹预测操作、车辆轨迹确定操作和/或防撞操作)。

在这些或其他场景中，方法还包括通过计算设备获取在LiDAR***的传感器扫过摄像机FOV中心时捕获的至少一个图像，其中，除了LiDAR数据集之外，还使用至少一个图像来检测对象。对象检测的分布可以基于以下两项来计算：(a)LiDAR数据集的点可以投射到的至少一个图像的像素的概率分布，以及(b)该点没有投射到任何图像检测的概率。

可以通过使用LiDAR数据集构建连接图来创建LiDAR数据点的片段。连接图包括在3D坐标系中绘制的LiDAR数据集的点以及分别连接这些点的连接线。可以基于LiDAR数据集的两个点是否在彼此的阈值空间或时间距离内、两个点是否是最近邻居、或者三角测量，将连接线添加到连接图中。

附加地或替代地，通过为连接图中的每个点确定描述符来创建LiDAR数据点的片段，该描述符包括表征LiDAR数据集的给定点的元素的矢量。矢量的元素可以包括表面法线、基于至少一个图像的颜色值、强度、纹理、空间坐标、离地高度、类别标签、实例标识符、基于图像的特征、快速点特征直方图、图像检测能力和/或修改的距离。

附加地或替代地，通过基于描述符进一步为每条连接线分配权重来创建LiDAR数据点的片段。权重表示连接图中通过连接线彼此连接的两个点之间的相异性度量。

附加地或替代地，通过基于权重进一步合并LiDAR数据集的点来创建LiDAR数据点的多个片段。当与相应连接线相关的权重小于阈值时，可以将两个点合并在一起。

本公开涉及包含片段合并的对象检测实施***和方法。对象检测可以用于控制自主车辆。在这种情况下，方法包括：通过计算设备获取由自主车辆的LiDAR***生成的LiDAR数据集；以及通过计算设备使用LiDAR数据集和至少一个图像来检测自主车辆附近的对象。通过以下方式检测对象：计算LiDAR数据集的每个点可能处于的对象检测的分布；使用对象检测的分布来创建LiDAR数据点的多个片段；合并LiDAR数据点的多个片段以生成合并片段；以及基于合并片段在由LiDAR数据集定义的点云中检测对象。对象检测可以由计算设备用来促进至少一个自主驾驶操作(例如，对象跟踪操作、对象轨迹预测操作、车辆轨迹确定操作和/或防撞操作)。

在这些或其他场景中，方法还包括通过计算设备获取在LiDAR***的传感器扫过摄像机FOV中心时捕获的至少一个图像，其中除了LiDAR数据集之外，还使用至少一个图像来检测对象。对象检测的分布可以基于以下两项来计算：(a)LiDAR数据集的点可以投射到的至少一个图像的像素的概率分布，以及(b)点没有投射到任何图像检测的概率。

合并片段可以通过以下方式生成：从LiDAR数据点的多个片段中选择片段对；基于片段对中包含的片段的属性来计算每个片段对的特征；针对每个片段对，基于特征生成片段对中包含的片段应当被合并的概率；以及基于为片段对生成的概率来合并LiDAR数据点的多个片段。

可以对片段对进行过滤，以去除质心到质心距离大于阈值的片段对。这些特征可以包括但不限于，针对LiDAR数据点的多个片段中的第一片段中包含的LiDAR数据点计算的概率分布的平均值与针对LiDAR数据点的多个片段中的第二片段中包含的LiDAR数据点计算的概率分布的平均值之间的差。属性可以包括但不限于针对LiDAR数据点的多个片段中的给定片段中巴汗的LiDAR数据点计算的多个概率分布的平均值，和/或指定给定LiDAR数据点可能处于的检测对象的每个概率分布。

可替换地或附加地，属性包括给定片段中LiDAR数据点覆盖的2D区域、给定片段中包含的LiDAR数据点在道路上的百分比、给定片段中包含的LiDAR数据点不在道路上的百分比，和/或给定片段至少部分重叠的车道总数。这些特征包括在道路上比例的差、不在道路上比例的差、区域兼容性、车道兼容性、LiDAR数据点的第一片段至少部分重叠的车道总数和LiDAR数据点的第二片段至少部分重叠的车道总数之间的差、LiDAR数据点的片段之间的高度差或高度距离、掩码兼容性、对象类型分布差和/或对象类型兼容性。

本公开涉及包含片段过滤的对象检测实施***和方法。对象检测可以用于控制自主车辆。在这些场景中，方法包括：通过计算设备获取由自主车辆的LiDAR***生成的LiDAR数据集；以及通过计算设备使用LiDAR数据集和至少一个图像来检测自主车辆附近的对象。通过执行以下操作来检测对象：计算LiDAR数据集的每个点可能处于的对象检测的分布；使用对象检测的分布来创建LiDAR数据点的多个片段；合并LiDAR数据点的多个片段以生成合并片段；以及基于合并片段在由LiDAR数据集定义的点云中检测对象。对象检测由计算设备用于促进至少一个自主驾驶操作(例如，对象跟踪操作、对象轨迹预测操作、车辆轨迹确定操作和/或防撞操作)。

在这些或其他场景中，检测包括获取给定检测掩码和合并片段中给定合并片段的信息。信息可以包括以下中的至少一个：表示LiDAR数据集中投射到给定检测掩码的点数的P_m，表示形成给定合并片段的点数的S_i，表示给定合并片段中投射到给定检测掩码的点数的P^S _m，给定合并片段的高度，给定合并片段的长度ls和/或给定合并片段的宽度w_s。

在这些或其他场景中，检测包括基于信息确定至少一个聚类特征。聚类特征可以包括：基于LiDAR数据集中投射到给定检测掩码的点数和/或形成给定合并片段的点数确定的聚类特征U；基于给定合并片段中投射到给定检测掩码的点数和/或LiDAR数据集中投射到给定检测掩码的点数而确定的聚类特征V；和/或表示聚类高度的聚类特征H，表示聚类长度的聚类特征L，表示聚类的长宽比的聚类特征LTW和/或表示聚类的LiDAR数据点的柱面卷积(或拟合)分数的聚类特征C。

在这些或其他场景中，检测包括基于至少一个聚类特征计算投射分数PS。投射分数PS是两个或更多个聚类特征的乘积。

在这些或其他场景中，检测包括使用投射分数PS来验证给定合并片段是与给定检测掩码相关的特定检测对象的一部分。当投射分数PS超过阈值或投射分数PS的值大于为点在给定检测掩码中的其他合并片段确定的其他投射分数时，可以证实给定合并片段是与给定检测掩码相关的特定检测对象的一部分。

实施***可以包括：处理器；以及包括编程指令的非暂时性计算机可读存储介质，编程指令被配置为使处理器实现用于对象检测的方法。上述方法还可以通过计算机程序产品来实现，该计算机程序产品包括存储器和编程指令，编程指令被配置为使处理器执行操作。

附图说明

将参考以下附图描述本发明的方案，在附图中，贯穿几个附图，相同的附图标记相同的项目。

图1是说明性***的示图。

图2是用于车辆的说明性架构的示图。

图3是图2中所示的车辆所采用的LiDAR***的说明性架构的示图。

图4是说明性计算设备的示图。

图5提供了有助于理解根据本发明的方案如何实现车辆控制的框图。

图6A-6B(在此统称为“图6”)提供了使用CLF对象检测来控制自主车辆的说明性方法的流程图。

图7提供了CLF对象检测的说明性方法的流程图。

图8提供了修剪(或减少)出于检测AV附近的对象的目的而处理的LiDAR数据点数的说明性方法的流程图。

图9提供了执行LiDAR-图像检测(“LID”)匹配算法的说明性方法的流程图。

图10提供了由车辆的摄像机捕获的说明性图像。

图11提供了覆盖有多个边界框的说明性图像。

图12提供了覆盖有边界框和掩码的说明性图像。

图13提供了在考虑投射不确定性的情况下确定LiDAR数据点可以投射到的像素的概率分布的说明性方法的流程图。

图14提供了确定LiDAR数据点可能处于的一组对象检测上的概率分布的说明性方法的流程图。

图15提供了有助于理解本发明的方案的新型局部变化分段(“LVS”)算法的示图。

图16提供了示出在图15的LVS算法期间生成的图形的示图。

图17提供了片段合并器的说明性架构的示图。

图18提供了对象检测片段过滤的说明性方法的流程图。

具体实施方式

除非上下文另有明确规定，否则本文件中使用的单数形式“一”、“一个”和“该”包括复数形式。除非另有定义，否则本文中使用的所有技术和科学术语具有本领域普通技术人员通常理解的含义。在本文件中使用的术语“包含”是指“包括但不限于”。与本文件相关的附加术语的定义包含在具体实施方式的末尾。

“电子设备”或“计算设备”是指包括处理器和存储器的设备。每个设备可以具有其自己的处理器和/或存储器，或者其处理器和/或者存储器可以与其他设备共享，如在虚拟机或容器布置中。存储器将包含或接收编程指令，该编程指令在由处理器执行时使电子设备根据编程指令执行一个或多个操作。

术语“存储器”、“存储设备”、“数据存储器”、“数据存储设备”等均指存储计算机可读数据、编程指令或两者的非暂时性设备。除非另有特别说明，否则术语“存储器”、“存储设备”、“数据存储器”、“数据存储设备”等旨在包括单个设备实施例、多个存储设备一起或共同存储一组数据或指令的实施例以及这些设备内的单个扇区。

术语“处理器”和“处理设备”是指被配置为执行编程指令的电子设备的硬件部件。除非另有特别说明，否则单数术语“处理器”或“处理设备”旨在包括单个处理设备实施例和多个处理设备一起或共同执行过程的实施例。

术语“车辆”是指能够承载一名或多名乘客和/或货物并由任何形式的能量提供动力的任何移动形式的运输工具。术语“车辆”包括但不限于轿车、卡车、货车、火车、自主车辆、飞机、无人机等。“自主车辆”是指具有处理器、编程指令和传动系部件的车辆，传动系部件可由处理器控制，无需人工操作。自主车辆可以是完全自主的，对于大多数或所有驾驶条件和功能，不需要人工操作，或者可以是半自主的，在某些条件或对于某些操作，可能需要人工操作，或者人工操作可以超驰车辆的自主***并且承担车辆的控制。

在本文件中，当使用“第一”和“第二”等术语来修饰名词时，这种使用只是为了区分一个项目和另一个项目，除非特别说明，否则不旨在要求顺序。此外，相对位置的术语，如“垂直”和“水平”，或“前部”和“后部”，在使用时，旨在彼此相对，而不必是绝对的，并且仅指与这些术语相关的设备的一个可能位置，这取决于设备的方向。

实时预测其他车辆驾驶员和行人的动作对在道路上的半自主或自主车辆应用来说是一个挑战。当驾驶员和/或行人违反交通规则时，这种实时预测尤其具有挑战性。***地假设驾驶员和/或行人的最坏情况动作将使自主车辆瘫痪，但错误的乐观预测可能导致不理想的自主车辆行为。

本文件描述了旨在解决上述问题和/或其他问题的方法和***。因此，本发明的方案涉及用于控制车辆的***和方法。方法总体上包括：为运动中的车辆生成车辆轨迹；执行CLF对象检测操作以检测距离车辆给定距离内的对象；为检测到的对象生成至少一个可能的对象轨迹；使用车辆轨迹和至少一个可能的对象轨迹来确定是否存在车辆和对象之间将发生碰撞的不希望的概率；以及当确定存在将发生碰撞的不希望的概率时修改车辆轨迹。

值得注意的是，本文在自主车辆的背景下描述了本发明的方案。本发明的方案不限于自主车辆应用。本发明的方案可以用于其他应用，例如机器人应用、雷达***应用、度量应用和/或***性能应用。

说明性***

现在参考图1，提供了说明性***100的示图。***100包括车辆102₁，车辆102₁以半自主或自主的方式沿着道路行驶。车辆102₁在本文中也被称为自主车辆(“AV”)。AV 102₁可以包括但不限于陆地车辆(如图1所示)、飞机或船只。

AV 102₁通常被配置为检测其附近的对象102₂、114、116。对象可以包括但不限于车辆102₂、骑车人114(例如自行车、电动滑板车、摩托车等的骑车人)和/或行人116。对象检测是根据新颖的CLF对象检测过程来实现的。下面将详细描述新颖的CLF对象检测过程。当进行这样的检测时，AV 102₁执行以下操作：为检测到的对象生成一个或多个可能的对象轨迹；并且分析所生成的可能的对象轨迹中的至少一个以确定在阈值时间段(例如1分钟)内是否存在AV和对象之间将发生碰撞的不希望的概率。如果存在，则AV 102₁执行操作以确定在AV 102₁遵循给定的车辆轨迹并且在预定义的时间段(例如，N毫秒)内执行多个动态生成的紧急机动中的任何一个的情况下，是否可以避免碰撞。如果可以避免碰撞，则AV 102₁不采取任何措施或可选地执行谨慎的机动(例如，稍微减速)。相反，如果不能避免碰撞，则AV102₁立即采取紧急机动(例如，刹车和/或改变行进方向)。

现在参考图2，提供了用于车辆的说明性***架构200的示图。图1的车辆1021和/或102₂可以具有与图2所示相同或相似的***架构。因此，以下对***架构200的讨论对于理解图1的车辆102₁、102₂是足够的。

如图2所示，车辆200包括发动机或马达202和用于测量车辆各种参数的各种传感器204-218。在具有燃料动力发动机的燃气动力或混合动力车辆中，传感器可以包括例如发动机温度传感器204、电池电压传感器206、发动机每分钟转数(“RPM”)传感器208和节气门位置传感器210。如果车辆是电动或混合动力车辆，那么车辆可以具有电动马达，并且相应地将具有诸如电池监测***212(用于测量电池的电流、电压和/或温度)、马达电流传感器214和马达电压传感器216，以及马达位置传感器(例如解析器和编码器218)之类的传感器。

两种类型的车辆常见的操作参数传感器包括，例如：位置传感器236，例如加速度计、陀螺仪和/或惯性测量单元；速度传感器238；以及里程计传感器240。车辆还可以具有时钟242，***使用该时钟来确定操作期间的车辆时间。时钟242可以被编码到车载计算设备中，它可以是单独的设备，或者多个时钟可以是可用的。

车辆还将包括各种传感器，这些传感器用于收集有关车辆行驶环境的信息。这些传感器可以包括，例如：定位传感器260(例如，全球定位***(“GPS”)设备)；对象检测传感器，例如一个或多个摄像机262；LiDAR传感器***264；和/或雷达和/或声纳***266。传感器还可以包括环境传感器268，例如降水传感器和/环境温度传感器。对象检测传感器可以允许车辆在任何方向上检测车辆200的给定距离范围内的对象，而环境传感器收集关于车辆的行驶区域内的环境条件的数据。

在操作过程中，信息从传感器传递到车载计算设备220。车载计算设备220分析由传感器捕获的数据，并可选地基于分析结果控制车辆的操作。例如，车载计算设备220可以经由制动控制器232控制制动；经由转向控制器224控制方向；经由节气门控制器226(在燃气动力车辆中)或马达速度控制器228(例如电动车辆中的电流水平控制器)控制速度和加速度；控制差速齿轮控制器230(在具有变速器的车辆中)；和/或控制其他控制器。

地理位置信息可以从位置传感器260传送到车载计算设备220，然后车载计算设备220可以访问与位置信息相对应的环境地图，以确定环境的已知固定特征，例如街道、建筑物、停车标志和/或停/走信号。从摄像机262捕获的图像和/或从诸如LiDAR 264之类的传感器捕获的对象检测信息从这些传感器传送)到车载计算设备220。对象检测信息和/或捕获的图像由车载计算设备220处理，以检测车辆200附近的对象。基于传感器数据和/或捕获的图像进行对象检测的任何已知或将要已知的技术都可以用于本文公开的实施例中。

LiDAR信息从LiDAR传感器264传送到车载计算设备220。此外，所捕获的图像从摄像机262传送到车载计算设备220。车载计算设备220对LiDAR信息和/或捕获的图像进行处理，以检测车辆200附近的对象。随着讨论的进行，车载计算设备220进行对象检测的方式将变得显而易见。

当车载计算设备220检测到移动对象时，车载计算设备200将为检测到的对象生成一个或多个可能的对象轨迹，并分析可能的对象轨迹以评估对象和AV之间碰撞的概率。如果概率超过可接受的阈值，则车载计算设备220执行操作以确定在AV遵循定义的车辆轨迹和/或在预定义的时间段(例如N毫秒)内执行一个或多个动态生成的紧急机动的情况下，是否可以避免碰撞。如果可以避免碰撞，则车载计算设备220可以使车辆200执行谨慎的机动(例如，稍微减速、加速或转向)。相反，如果无法避免碰撞，则车载计算设备220将使车辆200采取紧急机动(例如，刹车和/或改变行进方向)。

现在参考图3，提供了说明性LiDAR***300的示图。图2的LiDAR***264可以与LiDAR***300相同或基本相似。因此，对LiDAR***300的讨论对于理解图2的LiDAR***264是足够的。

如图3所示，LiDAR***300包括壳体306，壳体306可以围绕中心轴线(如轮毂或轴316)旋转360°。壳体可以包括由透光材料制成的发射器/接收器孔径312。尽管在图2中示出了单个孔径，但是本发明的方案在这方面不受限制。在其他情况下，可以提供用于发射和/或接收光的多个孔径。无论哪种方式，当壳体306围绕内部部件旋转时，LiDAR***300可以通过一个或多个孔径312发射光，并接收朝向一个或多个孔径211的反射光。在替代方案中，壳体306的外壳可以是固定圆顶，至少部分地由透光材料制成，并且在壳体306内部具有可旋转部件。

在旋转外壳或固定圆顶内的是光发射器***304，其被配置和定位为经由一个或多个激光发射器芯片或其他发光器件通过孔径312或通过壳体306的透明圆顶产生和发射光脉冲。发射器***304可以包括任何数量的单独发射器(例如，8个发射器、64个发射器或128个发射器)。发射器可以发射基本上相同强度或不同强度的光。由光发射器***304发射的各个光束将具有明确定义的偏振状态，该偏振状态在整个阵列上不相同。例如，一些光束可以具有垂直偏振，而其他光束可以具有水平偏振。LiDAR***还将包括光检测器308，该光检测器308包含光电检测器或光电检测器阵列，该光电检测器或光检测器阵列被定位并配置为接收反射回***的光。发射器***304和光检测器308将与旋转外壳一起旋转，或者它们将在壳体306的固定圆顶内旋转。一个或多个光学元件结构310可以定位在发光单元304和/或光检测器308的前面，以用作聚焦和引导穿过光学元件结构的光的一个或多个透镜或波片。

一个或多个光学元件结构310可以位于反射镜312的前面，以聚焦和引导穿过光学元件结构的光。如下面所示，该***包括光学元件结构310，该光学元件结构位于反射镜312的前面并连接到该***的旋转元件，使得光学元件结构31与反射镜312一起旋转。可替换地或附加地，光学元件结构310可以包括多个这样的结构(例如透镜和/或波片)。可选地，多个光学元件结构310可以以阵列的方式设置在壳体306的外壳部分上或与壳体306的外壳部分成一体。

可选地，每个光学元件结构310可以包括分束器，该分束器将***接收的光与***产生的光分离。分束器可以包括例如四分之一波或半波波片，以执行分离并确保接收的光被引导到接收器单元而不是发射器***(这可以在没有这样的波片的情况下发生，因为发射的光和接收的光应该呈现相同或相似的偏振)。

LiDAR***将包括为发光单元304供电的电源单元318、马达316和电子部件。LiDAR***还将包括具有诸如处理器322和包含编程指令的非暂时性计算机可读存储器320之类的元件的分析器314，编程指令配置成允许***接收由光检测器单元收集的数据、分析数据以测量接收到的光的特性并且生成信息，连接的***可以使用该信息来做出关于在收集数据的环境中操作的决策。可选地，分析器314可以与LiDAR***300集成，如图所示，或者分析器314中的一些或全部可以在LiDAR***外部并且经由有线或无线通信网络或链路通信地连接到LiDAR***。

现在参考图4，提供了计算设备400的说明性架构的示图。图1的计算设备110和/或图2的车载计算设备220与计算设备300相同或相似。因此，对计算设备300的讨论对于理解图1的计算设备110和图2的车载计算设备220是足够的。

计算设备400可以包括比图4中所示的部件更多或更少的部件。然而，所示的部件足以公开实现本发明的方案的说明性方案。图4的硬件架构表示被配置为操作车辆的代表性计算设备的一种实现方式，如本文所述。因此，图4的计算设备400实现本文所描述的方法的至少一部分。

计算设备400的一些或所有部件可以实现为硬件、软件和/或硬件和软件的组合。硬件包括但不限于一个或多个电子电路。电子电路可以包括但不限于无源部件(例如电阻器和电容器)和/或有源部件(例如放大器和/或微处理器)。无源部件和/或有源部件可以被适配、布置和/或编程为执行本文所述的方法、过程或功能中的一个或多个。

如图4所示，计算设备400包括用户界面402、中央处理单元(“CPU”)406、***总线410、通过***总线410连接到计算设备400的其他部分并可由其访问的存储器412、***接口460以及连接到***总线410的硬件实体414。用户界面可以包括输入设备和输出设备，它们促进用于控制计算设备400的操作的用户-软件交互。输入设备包括但不限于物理键盘和/或触摸键盘450。输入设备可以通过有线或无线连接(例如连接)连接到计算设备400。输出设备包括但不限于扬声器452、显示器454和/或发光二极管456。***接口460被配置为便于与外部设备(例如，诸如接入点等的网络节点)进行有线或无线通信。

至少一些硬件实体414执行涉及访问和使用存储器412的动作，存储器412可以是随机存取存储器(“RAM”)、磁盘驱动器、闪存、光盘只读存储器(“CD-ROM”)和/或能够存储指令和数据的另一硬件设备。硬件实体414可以包括磁盘驱动单元416，该磁盘驱动单元包括计算机可读存储介质418，在该计算机可读存储介质418上存储一组或多组指令420(例如，软件代码)，这些指令被配置为实现本文所述的方法、过程或功能中的一个或多个。在计算设备400执行指令420期间，指令420还可以完全或至少部分地驻留在存储器412内和/或CPU406内。存储器412和CPU 406也可以构成机器可读介质。此处使用的术语“机器可读介质”是指存储一组或多组指令420的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关的高速缓存和服务器)。此处使用的术语“机器可读介质”还指能够存储、编码或携带一组指令420以供计算设备400执行并且使得计算设备400进行本公开的方法中的任何一个或多个的任何介质。

现在参考图5，提供了有助于理解如何根据本发明的方案实现车辆控制的框图。在框502-518中执行的所有操作都可以由车辆(例如，图1的AV 102₁)的车载计算设备执行。

在框502中，检测车辆的位置。该检测可以基于从车辆的位置传感器(例如图2的位置传感器248)输出的传感器数据来进行。该传感器数据可以包括但不限于GPS数据。检测到的车辆的位置然后被传递到框506。

在框504中，在车辆附近检测对象。该检测是基于从车辆的LiDAR***(例如，图2的LiDAR***264)和摄像机(例如，图2的摄像机262)输出的传感器数据进行的。随着讨论的进行，实现对象检测的方式将变得显而易见。将关于检测到的对象的信息传递到框506。该信息包括但不限于对象的初始预测轨迹、对象的速度、对象的完整范围、对象的航向、对象的行进方向和/或对象的分类。对象的完整范围和对象的航向可以由在3D图形中定义的长方体指定，LiDAR数据点绘制在该3D图形上。绘制的LiDAR数据点形成3D点云。初始预测的对象轨迹可以包括但不限于指向长方体的航向方向的线性路径。

从框504输出的该对象检测信息随后可用于促进至少一个自主驾驶操作(例如，对象跟踪操作、对象轨迹预测操作、车辆轨迹确定操作和/或防撞操作)。例如，可以在包括LiDAR数据集的3D图形中为检测到的对象定义长方体。长方体航向和几何形状可用于在框512中预测对象轨迹，如下文所述，和/或在框506中确定车辆轨迹，如下文所述。在框514-518中，可以识别最坏情况下预测的对象轨迹并将其用于触发紧急机动，如下所述。本发明的方案不限于该示例的细节。

在框506中，使用来自框502和504的信息生成车辆轨迹。确定车辆轨迹的技术在本领域中是众所周知的。确定车辆轨迹的任何已知或以后已知的技术都可以在本文中使用，而不受限制。例如，在一些场景中，这种技术涉及确定AV的轨迹，当对象在AV前面时，该轨迹将经过对象，长方体的航向方向与AV移动的方向对齐，并且长方体的长度大于阈值。本发明的方案并不局限于这种情况的细节。车辆轨迹520可以基于来自框502的位置信息、来自框504的对象检测信息和地图信息528(其预先存储在车辆的数据存储器中)来确定。车辆轨迹520可以表示平滑路径，该平滑路径不具有将会给乘客带来不适的突然变化。例如，车辆轨迹由沿着道路的给定车道的行进路径定义，对象在给定的时间量内预测不在道路的给定车道内行驶。车辆轨迹520随后被提供给框508。

在框508中，基于车辆轨迹520生成转向角和速度命令。转向角和速度命令被提供至框510，用于车辆动力学控制。

值得注意的是，本发明的方案利用额外的监督层过程550增强了框502-510的上述车辆轨迹规划过程500。额外的监督层过程550针对在框504中检测到的对象的最可能的行为来优化车辆轨迹，但是如果发生最坏情况的行为，仍然保持可接受的操作。这个额外的监督层过程550是由框512-518来实现的。

如图5所示，在框504中执行对象分类，以将检测到的对象分类为多个类别和/或子类别中的一个。类别可以包括但不限于车辆类别和行人类别。车辆类别可以具有多个车辆子类别。车辆子类别可以包括但不限于自行车子类别、摩托车子类别、滑板子类别、滚轴刀片子类别、踏板车子类别、轿车子类别、SUV子类别和/或卡车子类别。对象分类是基于由车辆的LiDAR***(例如，图2的LiDAR***264)和/或摄像机(例如，图2的摄像机262)生成的传感器数据进行的。基于LiDAR数据和/或图像数据对对象进行分类的技术在本领域是众所周知的。任何已知或以后已知的对象分类技术都可以在本文中使用，而不受限制。除了指示对象的实际行进速度和行进方向的信息532之外，指定对象的分类的信息530被提供至框512。

框512涉及为504中检测到的对象确定一个或多个可能的对象轨迹。可能的对象轨迹可以包括但不限于以下轨迹：

·由对象的实际速度(例如，1英里/小时)和实际行进方向(例如，向西)定义的轨迹；

·由对象的实际速度(例如，1英里/小时)和对象的另一个可能的行进方向(例如，在朝向AV的方向上，从对象的实际行进方向向南、西南或X(例如，40°)度)定义的轨迹；

·由对象的另一个可能的速度(例如，2-10英里/小时)和对象的实际行进方向(例如，向西)定义的轨迹；和/或

·由对象的另一个可能的速度(例如，2-10英里/小时)和对象的另一个可能的行进方向(例如，在朝向AV的方向上，从对象的实际行进方向向南、西南或X(例如，40°)度)定义的轨迹。

可以为与对象处于同一类别和/或子类别中的对象预定义可能的速度和/或可能的行进方向。然后将一个或多个可能的对象轨迹522传递到框514。该***可以使车辆的速度和转向控制器根据定义的轨迹移动车辆，如下所述。

在确定了两个或更多个可能的对象轨迹的情况下，然后512还可以选择性地包括选择可能的对象轨迹中的一个，这为AV提供了最坏情况的碰撞场景。该确定是基于指示AV的实际行进速度和实际行进方向的信息532来进行的。然后将所选择的可能的对象轨迹而不是在512中确定的所有可能的对象轨迹传递到框514。

在框514中，对传递到框514的每个可能的对象轨迹522执行碰撞检查。碰撞检查包括确定是否存在车辆和对象之间将发生碰撞的不希望的概率。这种确定是通过首先确定车辆轨迹520和给定的可能对象轨迹522是否相交来进行的。如果两个轨迹520、522不相交，则车辆轨迹520被认为是可接受的车辆轨迹，并且不采取控制措施来修改车辆轨迹。

相反，如果两个轨迹520、522确实相交，则确定在遵循这两个轨迹的情况下将发生碰撞的预测时间。将预测时间与阈值(例如1秒)进行比较。如果预测时间超过阈值，则车辆轨迹520被认为是可接受的车辆轨迹，并且不采取控制措施来修改车辆轨迹。

如果预测时间等于或小于阈值，则确定在(a)AV遵循车辆轨迹并且(b)在预定义的时间段(例如，N毫秒)内执行多个动态生成的紧急机动中的任何一个的情况下是否可以避免碰撞。动态生成的紧急机动包括但不限于以下内容：

·包括制动命令并基于车辆轨迹和可能的对象轨迹确定的紧急机动；

·至少包括转向命令、制动命令或加速命令并且通过在目标函数上从激活的AV轨迹梯度下降以惩罚碰撞和/或乘坐不适而确定的紧急机动；和/或

·包括预定义的紧急机动的紧急机动，预定义的紧急机动已通过在目标函数上从激活的AV轨迹梯度下降以惩罚碰撞和/或乘坐不适进行优化。

在某些情况下，紧急制动机动是通过假设一个轨迹来产生的，该轨迹在预定义的时间段(N毫秒)内保持预期轨迹，然后以由最大允许减速度和颠簸极限参数化的最大制动分布减速。最大制动分布是通过新速度分布的欧拉积分或通过其他方法沿着原始轨迹产生的。本发明的方案并不局限于这些场景的细节。

在这些或其他场景中，包括转向和制动的紧急机动是通过以下方式生成的：用有限的一组样条点(例如，4个转向样条点和3个速度样条点)参数化转向和制动；根据那些参数，使用共轭梯度下降、牛顿法、鲍威尔法或其他现有的用于最小化多变量函数的方法，最小化惩罚碰撞和/或乘坐不适的目标函数；以及以最小的目标函数代价计算与参数化样条点相对应的轨迹。本发明的方案并不局限于这些场景的细节。

在这些或其他场景中，通过在模拟紧急制动事件期间记录操作员的命令，或通过对应用于当前车辆状态的一小组转向扭矩和制动配置文件进行采样，生成预定义的紧急机动。这些扭矩是从零到转向和制动机构极限以恒定间隔计算的，或者通过其他方法计算。本发明的方案并不局限于这些场景的细节。

如果确定可以在预定义的时间段内避免碰撞，则车辆轨迹520被认为是可接受的车辆轨迹，并且不采取控制措施来修改车辆轨迹。可替换地，使AV执行谨慎的机动(例如，稍微减速，例如5-10英里/小时)。用于使AV采取诸如减速的谨慎机动的技术在本领域是众所周知的。例如，如516所示生成控制措施命令，并在508处使用控制措施命令来调整或以其他方式修改车辆轨迹，之后传递到框510。可以调整或以其他方式修改车辆轨迹，以使车辆减速、使车辆加速和/或使车辆改变其行进方向。

相反，如果确定在预定义的时间段内无法避免碰撞，则使AV立即采取紧急机动。该紧急机动可以包括上面讨论的动态生成的紧急机动中的一个。使AV进行紧急机动的技术在本领域中是众所周知的。

控制车辆的说明性方法

现在参考图6，提供了控制车辆(例如，图1的车辆102₁)的说明性方法600的流程图。方法600的至少一部分由车辆车载计算设备(例如图2的车载计算设备220)执行。方法600针对在任何给定时间被检测到在距离车辆一定距离范围内的每个对象(例如，图1的车辆102₂、图1的骑车人104和/或图1的行人106)执行。

方法600包括多个操作602-630。本发明的方案不限于图6中所示的操作602-630的特定顺序。例如，620的操作可以与604-618的操作并行执行，而不是如图6所示的那样在604-618的操作之后执行。

如图6A所示，方法600从602开始，并继续到604，在604，生成AV的车辆轨迹(例如，图5的车辆轨迹520)。车辆轨迹表示一条平滑的路径，该路径不具有会给乘客带来不适的突然变化。用于确定车辆轨迹的技术在本领域中是众所周知的。用于确定车辆轨迹的任何已知或以后已知的技术都可以在本文中使用，而不受限制。在一些场景中，基于由AV的位置传感器(例如，图2的位置传感器260)生成的位置信息、由AV的车载计算设备(例如，图2的车载计算设备220)生成的对象检测信息、由AV的至少一个摄像机(例如，图2的摄像机262)捕获的图像以及存储在AV的存储器(例如，图4的存储器412)中的地图信息，确定车辆轨迹。在其他场景中，作为替代或者附加地，车道信息被用作位置信息和/或地图信息。

一旦生成车辆轨迹，方法600继续到605，在605中，AV执行操作以检测其附近的对象。在605中采用CLF对象检测算法。下面将详细描述CLF对象检测算法。然后使用对象检测来促进至少一个自主驾驶操作(例如，对象跟踪操作、对象轨迹预测操作、车辆轨迹确定操作和/或防撞操作)。例如，可以在包括LiDAR数据集的3D图形中为检测到的对象定义长方体。长方体指定对象的航向和/或对象几何形状的完整范围。航向和对象几何形状可用于预测对象轨迹和/或确定车辆轨迹，如本领域已知的和上面讨论的。本发明的方案不限于该示例的细节。

因此，方法600继续到606，在606中，为605中检测到的对象(例如，图1中的车辆102₂、骑车人104或行人106)确定一个或多个可能的对象轨迹(例如，图5中的可能的对象轨迹522)。可能的对象轨迹可以包括但不限于以下轨迹：由对象的实际速度(例如，1英里/小时)和实际行进方向(例如，向西)定义的轨迹；由对象的实际速度(例如，1英里/小时)和另一个可能的行进方向(例如，在朝向AV的方向上，从对象的实际行进方向向南、西南或X(例如，40°)度)定义的轨迹；由对象的另一可能速度(例如，2-10英里/小时)和对象的实际行进方向(例如，向西)定义的轨迹；和/或由对象的另一可能速度(例如，2-10英里/小时)和另一可能的行进方向(例如，在朝向AV的方向上，从对象的实际行进方向向南或西南或X(例如，40°)度)定义的轨迹。可以为与对象处于同一类别和/或子类别中的对象预定义可能的速度和/或可能的行进方向。

接下来在608中，选择一个可能的对象轨迹进行后续分析。在一些场景中，对606中生成的每个可能的对象轨迹执行610-628的操作(例如，以迭代或并行方式)。在其他场景中，610-628的操作仅针对可能的对象轨迹中的一个执行，该可能的对象轨迹为AV提供了最坏情况下的碰撞场景。该最坏情况下的可能的对象轨迹是基于指示AV的实际行进速度和实际行进方向的(例如，由图2的速度传感器238和/或图2的定位传感器260生成的)信息来选择的。最坏碰撞场景可以包括但不限于比由可能的对象轨迹提供的所有其他碰撞场景更早发生和/或预计会导致严重伤亡的碰撞场景(例如，高速侧面碰撞或高速正面碰撞)。在另一些场景中，对可能的对象轨迹中的两个或更多个执行操作610-628，这两个或更多个可能的对象轨迹为AV提供最高Z(例如，2或5)个最坏情况下的碰撞场景。Z是根据特定应用选择的整数。本发明的方案并不局限于这些场景的细节。

在接下来的610中，确定604中生成的车辆轨迹和608中选择的可能的对象轨迹是否彼此相交。如果这两个轨迹彼此不相交[611：否]，则执行612，在612中，方法600返回604。

相反，如果这两个轨迹确实彼此相交[611:是]，则方法600继续到614，在614中，确定时间值。该时间值表示在AV遵循车辆轨迹并且对象遵循可能的对象轨迹的情况下将发生碰撞的时间。然后将在614中确定的时间值与阈值时间值进行比较，如616所示。阈值时间值是根据给定的应用来选择的(例如，一秒或多秒)。如果时间值大于阈值时间值[616：否]，则执行618，在618中，方法600返回604。如果时间值等于或小于阈值时间值[616：是]，则方法600继续到620-622。620-622涉及：基于车辆轨迹和可能的对象轨迹动态生成一个或多个紧急机动配置文件；并且确定在AV遵循车辆轨迹并且在预定义的时间段(例如N毫秒)内执行任何一个紧急机动的情况下是否可以避免碰撞。在完成622之后，方法600继续到图6B的624。

现在参考图6B，如果在预定义的时间段内不能避免碰撞[624：否]，则执行626，在626中，使AV立即采取第一机动。第一机动可以包括但不限于上面关于620所讨论的动态生成的紧急机动之一。使AV进行机动的技术在本领域是众所周知的。任何已知或以后已知的使AV进行机动的技术都可以在这里使用。随后，执行630，在630中，方法600结束或者执行其他处理。

相反，如果可以在预定义的时间段内避免碰撞[624：是]，则执行628，在628中，可选地使AV执行第二机动(例如，轻度减速)。随后，执行630，在630中，方法600结束或者执行其他处理。

CLF对象检测

以下讨论针对检测对象的新颖方案。这种新颖方案可以在图5的框504和/或图6的框605中执行。该新颖方案在本文中被称为基于CLF的方案。

CLF对象检测的目的是在添加有来自图像检测的情景的LiDAR点云中检测对象。AV可以在杂乱的环境中操作，对象可以在该环境中移动并且与AV交互和/或彼此交互。在纯LiDAR环境中，当对象彼此靠近并彼此交互时，这项任务极其困难。CLF对象检测充分利用了单眼摄像机图像检测的优点，其中检测与LiDAR点云融合。如上所述，将LiDAR数据点投射到单眼摄像机帧中，以便将像素信息传输到LiDAR数据点。传输的信息可以包括但不限于颜色、对象类型和对象实例。

在将标签从2D图像检测转移到3D LiDAR点云时，存在一些挑战。在这方面，应该注意的是，图像像素并不是与对应于摄像机FOV的扫描楔中的LiDAR数据点完全同时获取的。摄像机的曝光时间窗口通常比LiDAR旋转部件扫过摄像机水平视场所需的时间小得多。这种时间对齐问题对于相对于LiDAR***具有大角速度的移动对象来说最为明显。还应注意的是，LiDAR***安装在与单眼摄像机不同的位置。由于视差问题，存在被LiDAR***感知但不被摄像机感知的空间区域，反之亦然。在多于一个LiDAR点投射到图像的同一区域的情况下，这使得标签转移不明确。在图像检测掩码的准确性和有限分辨率、传感器校准误差以及AV和行为者的相对运动方面也存在问题。

基于CLF的方案在添加有来自图像检测的情景的LiDAR点云中检测对象(例如，图1中的对象102₂、114和/或116)。AV(例如，图1的AV 102₁)必定要在对象可能移动和交互的杂乱的环境中操作。在纯LiDAR环境中，当对象相互靠近时以及还当对象交互时，在这些情况下这项任务非常困难。基于欧几里得点聚类的典型片段检测方法难以检测彼此非常接近的分开的对象。例如，靠近车辆、装载车辆或进入车辆的行人可能被表示为单个行人+车辆片段——点很接近，但对象是分开的。相反，如果一个大型对象(如公交车)被前面的其他对象部分遮挡，通常可以将其检测为多个对象。另一个挑战是，公交车两侧的大窗口区域允许激光扫描仪的光自由穿过窗户，并从公交车内的对象返回。这会产生多个碎片，这些碎片实际上属于同一个大型对象。点相距很远，但它们属于同一个对象。

在基于CLF的方案中，单眼摄像机检测与LiDAR点云融合。将LiDAR点云的点投射到单眼摄像机帧中，以便将像素信息转移到LiDAR点云中的每个点。像素信息包括但不限于颜色、对象类型和对象实例。值得注意的是，AV的摄像机(例如，图2的摄像机262)可以具有重叠的视场(“FOV”)。LiDAR***的垂直FOV与摄像机的垂直FOV并不完全重叠。因此，一些LiDAR点可能从多个摄像机可见，而其他点可能从任何摄像机都不可见。为了帮助进行时间对齐，摄像机被配置为在LiDAR***扫过摄像机FOV中心时拍摄(fire)。该时间对齐(alignment)误差(例如，LiDAR点捕获和图像捕获之间的时间差)用于计算投射不确定性，投射不确定性然后将用于LiDAR-图像检测匹配。

摄像机图像信息被用作辅助LiDAR点分段的附加提示。对用于对LiDAR点进行聚类的距离函数进行了扩展，以包括颜色和图像检测实例兼容性。这使得投射到图像中不同对象检测中的LiDAR点看起来好像它们离分段算法更远。类似地，投射到同一图像检测掩码中的LiDAR点看起来更接近。与在不同对象彼此非常接近的情况下仅依赖于点之间的欧几里得距离的分段相比，这种方法提供了极大的改进。

分段：本发明的方案可以使用任何分段算法，只要它支持自定义的距离函数。在某些场景中，基于CLF的方案中使用的分段算法是LVS。对于LVS，本发明的方案可以在距离函数中包括颜色距离和/或图像检测实例兼容性。任何分段算法的两种主要错误模式是欠分段(用单个片段表示多个对象)和过分段(用多个片段表示单个对象)。在基于CLF的方案中，进行了优化，以大量过分段事件为代价，减少欠分段事件的数量。然后，过分段事件由单独的片段合并器部件处理。

片段合并器：本发明的方案可以使用任何机器学习的分类技术来学习应该合并哪些片段。机器学习分类技术包括但不限于人工神经网络、随机森林、决策树和/或支持矢量机。机器学习的分类技术被训练以确定哪些片段应该相互合并。现在将在分段中使用的相同图像检测信息聚集在片段的组成点上，以便计算片段级特征。除此之外，HD地图中的地面高度和车道信息特征也用于帮助片段合并。

片段过滤器：并非所有检测到的片段都与AV相关，其中许多片段与道路外的杂物(建筑物、电线杆、垃圾桶等)相对应。这是再次使用图像检测信息来查找不在道路上的相关对象的地方。因为只对能够离开道路的跟踪行为者感兴趣，所以可以丢弃静态对象，以改善跟踪流水线(pipeline)延迟的其余部分并降低其计算需求。区分相关对象(例如，移动对象，或可以移动并且在开始移动时可能与AV路径相交的对象)和静态对象(例如不太可能移动的对象)是很重要的。高度相关的对象可以被分配最高优先级，以便相应地分配有限的车载计算资源。每个图像检测掩码对应于3D空间中截锥体内的LiDAR点的集合。这里的挑战是，通常有多个不同深度的对象投射到同一图像检测掩码中。一个例子是前方有杆且后方有行人的车辆检测。由于传感器融合阶段出现的投射误差，属于真实行人对象和杆对象的LiDAR点将具有被标记为车辆的点。这些误差源于获取LiDAR点和获取图像像素时的时间差、由于LiDAR和摄像机的不同位置引起的视差效应(LiDAR可以看到摄像机看到的对象上方)、AV移动、行为者移动、校准误差和/或图像检测掩码的精度和有限分辨率。为了解决图像检测掩码与片段关联的模糊性，为包含投射到特定图像检测掩码中的点的所有片段确定投射特性。仅报告可能对应于在图像上检测到的对象的1个或几个最佳匹配。这有助于消除被跟踪对象集合中的杂物，并减少跟踪流水线延迟和计算需求。

本发明的基于CLF的方案具有许多优点。例如，本发明的基于CLF的方案充分利用了图像检测的优点，但不仅仅依赖于图像检测或机器学习。这意味着既要分离非常接近的对象，又要检测以前未被识别的对象。该方法将ML图像检测与点云分段的经典方法相结合。

对于图像像素，过分段+合并策略可能是众所周知的，但在应用于LiDAR点云时可能不会广泛使用。换言之，许多基线LiDAR检测方法要么使用单个聚类步骤，要么使用深度学习方法。所提出的方法从低级别特征构建小聚类，但随后从聚类中提取更有意义的特征来确定要合并哪些聚类以形成对象。

许多基于学习的方法使用通用的手工制作功能，或对原始数据进行操作(如Microsoft Kinect中的匹配功能)。所提出的方法包含了几个新颖的手工制作功能，这些功能针对环境中的对象(车辆和植被)进行了优化。

现在参考图7，提供了基于CLF的对象检测的说明性方法700的流程图。方法700从702开始，并继续到704，在704中，由AV(例如，图1的AV 102₁和/或图2的200)的LiDAR***(例如，图2的LiDAR***264)执行操作以生成LiDAR数据集。LiDAR数据集测量在给定时间t从AV到至少一个对象(例如，图1的车辆102₂)的距离(包括距离、方位和仰角测量)。LiDAR数据集中包括多个数据点，多个数据点当绘制在3D图形上时形成点云。用于生成LiDAR数据集的技术在本领域中是众所周知的。这里可以使用任何已知或以后已知的用于生成LiDAR数据集的方法。在某些情况下，LiDAR***以10Hz连续旋转，并以当前角度捕获数据。

在706中，检测LiDAR***的传感器何时将扫过摄像机FOV的中心。当进行这样的检测时，触发摄像机(例如，图2的摄像机262)的操作，如708所示。在710中，当LiDAR***的传感器扫过摄像机FOV的中心时，摄像机捕获图像。该图像包括表示第一对象(例如，图1的车辆102₂)在给定时间t相对于AV的位置的内容。该图像在本文中被称为摄像机帧或单眼摄像机帧。在某些情况下，摄像机是以20Hz操作的全局快门(即，同时捕获所有像素)。706-710的操作有助于摄像机拍摄与LiDAR***扫描的时间对齐。因此，时间对齐误差(即，LiDAR点捕获和图像捕获之间的时间差)在摄像机中被最小化。

在712中，AV的车载计算设备(例如，图2的车载计算设备220)执行操作以获取图像和LiDAR数据集。车载计算设备然后在714-728中执行操作，以使用图像和LiDAR数据集来检测AV附近的对象。714-728涉及：修剪(或减少)LiDAR数据集中包含的点的总数；执行LiDAR-图像对象检测操作，以计算LiDAR数据集的每个点可能处于的对象检测的分布；使用LiDAR-图像对象检测操作的输出执行局部变化分段，以创建LiDAR数据点的多个片段；执行片段合并操作以将LiDAR数据点的多个片段合并为对象；以及执行片段过滤操作以在由LiDAR数据集定义的点云中检测对象。值得注意的是，如718、722和726所示，在车载计算设备处理图像和LiDAR数据集期间，LiDAR点可以被进一步修剪一次或多次。这种修剪可以提高车载计算设备的计算效率。值得注意的是，714、718、722和726的点修剪操作在下面标题为“点修剪”的部分中结合图8进行详细描述。716的LiDAR-图像对象检测操作在下面标题为“LiDAR-图像检测匹配”的部分中结合图9-14进行详细描述。720的局部变化片段操作在下面标题为“具有图像检测特征的局部变化分段”的部分中结合图15-16进行详细描述。724的片段合并操作在下面标题为“片段合并”的部分中结合图17进行详细描述。728的片段过滤操作在下面标题为“对象检测片段过滤”的部分中结合图18进行详细描述。在完成728之后，执行730，在730中，方法700结束或执行其他处理。

点修剪

LiDAR数据集可能包含大量的点。例如，LiDAR扫描仪(例如，图2的LiDAR传感器***264)可以产生每100ms包含超过100000个点的高密度范围图像。在实时***中处理每个和各个LiDAR数据点可能是昂贵得令人望而却步的。因此，限制出于对象检测目的由***最终处理的LiDAR数据点的数量产生了包括但不限于减少能耗、减少对硬件容量的占用和减少***延迟的优点。因此，本发明的方案实现了一种用于修剪(或减少)出于检测位于AV(例如，图1的AV 102₁)附近的对象(例如，图1的AV 102₂)的目的而处理的LiDAR数据点的数量的方法。

现在参考图8，提供了用于修剪(或减少)出于检测位于AV(例如，图1的AV 102₁)附近的对象(例如，图1的AV 102₂)的目的而处理的LiDAR数据点的数量的说明性方法800的流程图。方法800可以由车载计算设备(例如，图2的车载计算设备220)和/或远程计算设备(如，图1的计算设备110)执行。方法800的操作可以根据给定的应用以相同或不同的顺序执行。此外，方法800可以根据给定应用不进行一个或多个操作。在这方面，应该理解的是，在给定的应用过程中可以采用下面描述的用于下采样LiDAR数据点的标准中的一个或多个。还应当理解，804-814的操作可以在对象检测过程期间的不同点执行。例如，可以在图7的714中执行804的下采样操作。806-808的下采样操作可以在714和/或718中执行。810的下采样操作可以在图7的718中执行。812的操作可以在图7的714和/或722中执行。814的操作可以在图7的714、718、722和/或726中执行。本发明的方案不限于该示例的细节。

如图8所示，方法800从802开始，并继续到可选的804，在804中，基于AV的规划轨迹对LiDAR数据集进行下采样。例如，相比于对应于不沿着AV的规划轨迹的其他区域的LiDAR数据点，以更低的速率对对应于沿着AV的规划轨迹的感兴趣区域的LiDAR的数据点执行下采样。附加地或替代地，相比于对应于感兴趣区域的LiDAR数据点，可以以更高的速率对对应于沿着规划轨迹的不感兴趣的区域的LiDAR数据点执行下采样。感兴趣的区域可以是包括对应于在遵循规划轨迹时可能干扰AV的至少一个对象的LiDAR数据点的区域(例如，包括沿着AV的规划轨迹的车辆、自行车和/或行人的区域)。不感兴趣的区域可以包括对应于在遵循规划轨迹时不太可能干扰AV的至少一个对象的LiDAR数据点。该对象可以包括但不限于停在路边的车辆，以及在与AV相反的方向上行驶的AV后方的车辆。

在可选的806中，将LiDAR数据集的LiDAR数据点投射到摄像机帧(或图像)中，以便将信息从基于图像的对象检测传递到LiDAR数据点。用于将LiDAR数据点投射到摄像机帧中的技术在本领域中是众所周知的。这里可以不受限制地使用任何已知或以后已知的用于将LiDAR数据点投射到帧中的方法。一种已知的投射技术实现了由下面提供的数学方程(1)定义的天真投射算法(naive projection algorithm)。所传递的信息在本文中被称为点标签。点标签指的是与LiDAR数据点相关的指示或描述，包括该LiDAR数据点特有的信息或数据。例如，点标签可以包括对象类别标识符(例如，车辆类别标识符、行人类别标识符、树类别标识符和/或建筑类别标识符)、颜色(例如，RGB值)、至少一个唯一标识符(例如对于对象、相应的图像像素和/或LiDAR数据点)，和/或对象实例标识符(例如在图像中检测到许多相同类别的对象的情况)。

在可选的808中，***(例如，图1的***100和/或图2的***200)可以基于相关的点标签对LiDAR数据集进行下采样。例如，基于与LiDAR数据集的点相关的点标签，将LiDAR数据集中的点划分为两个或更多个类别。例如，LiDAR数据点可以分为两个类别，即包含被分配高重要性标签的第一类别和包含被分配低重要性标签的LiDAR数据点的第二类别。高重要性标签可以包括对于以高精度跟踪重要的标签。高重要性标签被分配给具有例如与车辆类别、行人、自行车或其他移动对象类别相关的对象类别标识符的LiDAR数据点。低重要性标签被分配给具有例如与静态对象类别(例如，建筑物类别、树叶类别、建筑屏障类别和/或标牌类别)相关的对象类别标识符的LiDAR数据点。对于以高精度进行跟踪而言，低重要性标签可能不如高重要性标签重要。然后基于LiDAR数据集中的点的重要性标签(由它们对应的点标签确定)对LiDAR数据集进行下采样。例如，不对具有高重要性标签的LiDAR数据点进行下采样，或者可替换地不对具有高重要性标签的LiDAR数据点以高分辨率进行下采样。相比于具有高重要性标签的LiDAR数据点，对具有低重要性标签的LiDAR数据点进行更积极地下采样，即以较低的分辨率进行下采样。本发明的方案不限于该示例的细节。

在可选的810中，根据截头体修剪算法(frustum pruning algorithm)对LiDAR数据集进行下采样。LiDAR数据集可以包括对应于位于道路或其他行进路径(例如自行车道或小路)上的对象(例如，其他车辆、行人、骑车人和/或标志)的点，和/或对应于位于道路外或其他行进路径的对象(如，建筑物、树木和/或其他树叶)的点。可以为一个或多个检测到的对象生成截头体。对应于图像检测边界框的截头体包含可能对应于特定对象的点云的LiDAR数据点。相比于离边界框更远地投射的LiDAR数据点，在图像检测边界框内或其附近投射的LiDAR数据点对对象检测过程可以具有更高的相关性或重要性，因为离边界框更远的LiDAR数据点不太可能对应于感兴趣对象(例如，行人、自行车、车辆)。因此，可以基于LiDAR数据点与边界框的距离进一步对其进行下采样和/或修剪。例如，对距离边界框超过阈值距离的LiDAR数据点执行修剪。如果距离小于或等于阈值距离，则该点保留在LiDAR数据集中。如果距离大于阈值距离，则从LiDAR数据集中移除该点。本发明的方案不限于该示例的细节。如果除了图像检测边界框之外，图像对象边界是已知的(例如，以像素掩码的形式)，则(代替使用距离边界框的距离)可以使用距离掩码的距离而不是距离边界框的距离。关于是否将该点保留在数据集中的决定是基于该点是否投射到扩张掩码中来确定的。

在可选的812中，使用包括与AV(例如，图1的AV 102₁)的轨迹相关的信息的地图对LiDAR数据集进行下采样。例如，AV可能具有其自主遵循的规划轨迹或行进路径。该地图包括与规划的轨迹或行进路径相对应的各种信息。该信息可以包括但不限于关于车道布置、表面坡度、道路边界和/或静止对象的位置的信息。地图可以被存储在AV的数据存储器(例如，图4的存储器412)中和/或从AV的数据存储器(例如，图4的存储器412)中检索。LiDAR数据集的一个或多个点可以被识别用于相对于地图进行下采样。更具体地，对位于地图上最小高度阈值以下的LiDAR数据点执行下采样。例如，假设AV感兴趣的大多数LiDAR点对应于高度超过特定高度测量值(例如，两英尺)的对象。从LiDAR数据集中移除与小于最小高度阈值(例如，两英尺)的高度相关的点。还可以假设AV感兴趣的大多数LiDAR点对应于高度低于最大高度阈值(例如100英尺)的对象。因此，从LiDAR数据集中移除与超过最大阈值的高度相关的点。本发明的方案不限于该示例的细节。

在可选的814中，基于过程延迟对LiDAR数据集的点进行下采样。对象检测流水线可以采用具有不同时间复杂度特性的多个算法。作为输入数据大小的函数的整个流水线延迟可以是非线性曲线。对来自车辆日志的延迟数据的分析可以提供关于功能外观的见解。例如，函数可以是线性函数和/或更高阶函数(例如，多项式)。通过累积数据，创建了流水线延迟模型。然后，在给定特定输入数据大小的情况下，利用流水线延迟模型来估计延迟，并且可以使用该估计的延迟来操纵下采样分辨率。随后，执行816，在816中，方法800结束或者执行其他操作。

LiDAR-图像检测匹配

本发明的方案的LID匹配算法具有多个方面。这些方面包括：(i)使摄像机拍摄与LiDAR***扫描同步；(ii)考虑具有已知摄像机校准不确定性的投射不确定性；以及(iii)确定LiDAR数据集中的每个点最有可能处于多个图像检测中的哪一个图像检测。如上所述，方面(i)是通过在LiDAR传感器的焦点与摄像机FOV的中心对齐时触发图像捕获来实现的。这种时间对齐误差(即，LiDAR点捕获和图像捕获之间的时间差)通过这种同步被最小化。方面(ii)涉及：基于11个校准参数(即，5个内部参数：xy焦距、偏斜、xy图像中心；6个外部参数：XYZ平移、3个自由度旋转)来确定摄像机校准中的不确定性；将不确定性投射到摄像机帧中；以及确定LiDAR点可以投射到的像素(而不是单个像素)的分布。方面(iii)通过以下方式实现：将每个对象检测视为独立的测量；以及使用置信度来计算LiDAR点可能处于的检测分布。方面(i)-(iii)允许LiDAR匹配算法考虑几个误差和不确定性来源，以更好地将LiDAR点与摄像机空间对象匹配。

因此，LID匹配算法同时考虑了投射不确定性和图像检测中的完全置信度信息。目前，没有考虑投射不确定性，并且(在整个检测中和掩码的每个像素中)对图像检测置信度进行二值化。对象类型估计将被更新以将新的匹配考虑在内。

传统的LID匹配算法存在两个主要问题，即掩码渗出/掩码侵蚀和掩码偏移。本发明的方案通过估计p(lp_i∈d_j)(其中lp_i表示LiDAR点i，d_j表示图像检测j)而不是提供LiDAR点天真地投射到的图像检测来解决这两个问题。这种概率估计考虑了图像检测置信度、投射不确定性和多个重叠掩码的相互作用。有几种已知的投射不确定性来源，如摄像机内部、摄像机-LiDAR外部和时间对齐(由于运动补偿的误差(例如，道路上的颠簸没有很好地通过姿势跟踪)和由于对象运动)。

这种变化需要更改当前单帧对象类型估计。代替比特集计数方法，本发明的方案为LiDAR点可以投射到的每个图像检测计算对象类型分布。然后使用每个图像检测的估计概率来组合对象类型分布的集合。对于多个图像检测中的点，天真方法可能是对每个图像检测的类型分布进行平均。本发明的方案是加权平均，通过考虑每个图像检测的可能性来加权。

现在参考图9，提供了用于执行LID匹配算法的方法900的流程图。方法900从904开始，在904中，由AV(例如，图1的AV 102₁)的车载计算设备(例如，图2的车载计算设备220)获取图像(例如，图10的图像1000)。方法900继续进行图像分析操作906-912。这些图像分析操作906-912可以由实现传统对象检测算法的商用现货(Commercial-Off-The-Shelf，“COTS”)图像分析器执行。906-912总体上包含：识别图像中的一个或多个对象(例如，图1的车辆102₂、图1的骑车人114、图1中的行人116和/或图10中的车辆1002)；定义围绕每个识别出的对象的二维边界框(例如图11的边界框1100)；为每个二维边界框定义掩码(或网格)(例如图12的掩码1200)；以及为掩码(或网格)的每个单元计算其中的像素属于给定检测对象的置信度值。出于对象检测目的计算置信度值的技术在本领域中是众所周知的。

在914中，车载计算设备确定或获取外部LiDAR传感器和摄像机校准参数以及内部摄像机校准参数。外部LiDAR传感器和摄像机校准参数包括但不限于LiDAR传感器坐标和/或指示LiDAR传感器坐标和摄像机坐标之间的对应关系的信息。内部摄像机校准参数包括但不限于x焦距、y焦距、偏斜、图像中心、图像的焦点和/或摄像机位置的3D坐标(x，y，z)。

在916中，各种信息被输入到LID匹配算法中。该信息包括但不限于图像中检测到的每个对象的标识符、掩码标识符、每个掩码的单元标识符、每个单元的置信度值、LiDAR点标识符、LiDAR点坐标、外部LiDAR传感器和摄像机校准参数以及内部摄像机校准参数。这些输入在随后的操作918-920中用于：在考虑摄像机校准不确定性导致的投射不确定性的情况下，(对于LiDAR数据集的每个点)确定LiDAR数据点可以投射到的像素的概率分布；以及(对于LiDAR数据集的每个点)基于置信度值来确定LiDAR数据点可能处于的一组对象检测上的概率分布。下面结合图13详细描述918的操作。下面结合图14详细描述920的操作。随后，执行922，在902中，方法900结束或执行其他操作(例如，返回902)。

如图13所示，图9的918涉及多个子操作1304-1306。在1304，车载计算设备根据天真投射算法(即以天真投射点为中心的概率分布)，在图像空间坐标上计算LiDAR点可能投射到的像素的概率分布函数(“PDF”)f(xⁱ，yⁱ)。天真投射算法由以下数学方程(1)定义。

其中，xⁱ和yⁱ表示像素的图像空间坐标，X、Y和Z表示LiDAR数据集的点的LiDAR空间坐标。基本上，LiDAR数据集的每个点都被投射到图像的像素上，与该像素位于同一条线上，其中线从每个像素到图像的区域绘制。

投射不确定性有几种来源，如时间对齐和对象移动。如果使用多个投射不确定性来源，则每个LiDAR点的每个PDF都需要：(i)在图像空间坐标中可表示；(ii)可转换为图像检测掩码坐标(可以平移和缩放)；以及(iii)可与其他投射不确定性PDF组合(或结合)。本发明的方案使用PDF的雅可比矩阵将不确定性从LiDAR帧传播到摄像机帧。该方案(或传播不确定性的类似替代方案)有助于满足概率分布的要求(i)。

然后将PDF转换为图像检测掩码坐标，如1306所示。这种转换是通过平移和缩放来实现的(其中x的缩放和y的缩放是独立的)。转换由以下数学方程(2)定义。

其中和/>表示边界框的图像空间边界，R表示掩码分辨率。

如图14所示，图9的920涉及执行各种操作1404-1408。在1404中，车载计算设备计算LiDAR点lp_i投射到给定图像检测d_j(例如，d₁)中而与所有其他图像检测(例如，d₂，…，d₁₀)无关的概率。概率表示为i_p(lp_i∈d_j)。在这一点上，对于图像检测掩码坐标上的可能的LiDAR点投射，存在PDF f(x^m，y^m)。在该计算中考虑了图像检测置信度c_d和每像素置信度c_xm、_ym。这些置信度在[0，1]中，但不是概率。应用映射来计算来自c_d的概率p(d)和来自c_xm，_ym的概率p(mp∈d)，其中mp表示掩码像素。映射可以包括但不限于逻辑功能。图像检测掩码中的每像素置信度是针对整个掩码像素的(没有无穷小坐标)。因此，车载计算设备根据数学方程(3)计算LiDAR点投射到特定图像检测掩码像素中的概率。

其中lp是LiDAR点，mp是掩码像素，表示像素在掩码坐标中的x极限，表示像素在掩码坐标中的y极限，dmp表示与给定对象检测d相关的掩码像素，dy表示与给定对象检测d相关的掩码像素的y轴坐标，并且dx表示与给定对象检测d相关的掩码像素的x轴坐标。该概率p(lp∈mp)然后由车载计算设备用于计算LiDAR点处于图像检测中而与所有其他图像检测无关的概率。该计算由以下数学方程(4)定义。

其中掩码分辨率是R乘R。对于每个点，为LiDAR点可能投射到的每个检测计算该概率。在某些情况下，概率总和可能大于1。假设LiDAR点只能投射到单个图像检测中。因此，每个独立的概率都被视为独立的测量(即，i_p(lp∈d1)独立于i_p(lp∈d2))。

车载计算设备进一步计算LiDAR点没有投射到任何图像检测的概率，如1406所示。这个计算是由数学方程(5)定义的。

最后，在1408中，车载计算设备通过对所有计算出的概率进行归一化来计算相关概率(dependent probability)。该计算由以下数学方程(6)定义。

其中ip(lp∈d)表示LiDAR数据集的点投射到一图像检测而与所有其他图像检测无关的概率，并且表示LiDAR点不投射到任何图像检测的概率。该计算的结果表示LiDAR点投射到特定检测的概率。对于每个LiDAR点，LID匹配算法针对LiDAR点可能投射到的每个检测输出该概率。也就是说，对于每个点，从LID匹配算法输出图像检测上的稀疏概率分布。稀疏概率分布表示LiDAR数据点可能处于的一组对象检测上的概率分布。

具有图像检测特征的局部变化分段

在一些使用3D LiDAR点云的传统对象检测算法中，会创建非常相似的小点云集群，因此几乎可以肯定它们位于同一对象中。点云集群(数量比单个点少，情景比单个点多)合并到对象中。点云聚类的常见方法是连接部件(Connected Component)和基于密度的应用空间聚类(Density-Based Spatial Clustering of Applications，“DBSCAN”)。这两种方法都只考虑局部信息(而不考虑场景的较大情景)。一种更好的方法是点云局部变化分段(Point Cloud Local Variation Segmentation，“PCLVS”)，它将局部信息与更广泛的情景相结合。Yizhak Ben-Shabat等人撰写的题名为“3D点云的基于图形的过分段方法”的文件中讨论了一种说明性的PCLVS算法。该文件讨论了使用点的多个特征(位置、基于图像的颜色以及该点处估计表面的方向)。仅凭这些特征不一定足以防止两个接近的对象合并在一起。

本发明的方案提供了一种改进的基于LVS的算法，该算法消除或最小化接近对象的合并。这种改进至少部分地通过使用附加特征来实现，附加特征包括(i)图像检测能力特征和(ii)修改的距离特征。特征(i)是每个点所处的图像检测之间的差。每个点都有其所处的图像检测分布的每摄像机分布(以及不处于任何图像检测的可能性)。来自所有摄像机的信息被概率地组合成单个数字，该单个数字指示这些点是否可能在相同的图像检测中。特征(ii)是点之间几何距离的扩展或收缩高度分量。提供特征(ii)是为了解决点云不具有均匀的点密度以及指向对象的上端和下端的激光较少的问题。特征(i)和(ii)在基于LVS的算法中与诸如颜色相似性之类的共同特征相结合。特征(i)和(ii)通过更有可能组合在同一对象中的聚类而不太可能组合不在同一对象中的聚类，提供了优越的对象检测能力。

传统的PCLVS算法在各种相对简单和适度的场景中处理分段，以从点云中提取对象，但目前在具有挑战性的场景中表现不佳。这种方法没有利用从LiDAR数据中获取的信息的其他方面，例如(i)由LiDAR提供的负面信息在没有交互的情况下通过环境区域返回，以及(ii)如何捕获数据的底层结构。该信息可用于在模糊或具有挑战性的场景中提高分段性能。此外，PCLVS方法试图在很大程度上产生与世界上对象1:1对应的片段，而没有严格利用LiDAR回波之外的信息。这导致了分段误差的增加，尤其是欠分段误差。欠分段误差在分段后特别难以解决，因为拆分欠分段的对象需要实现第二分段算法。偏向过分段提供了两个关键的好处：提高了提取边界的能力，这对AV的运动规划产生了最严重的影响；以及允许后处理对合并片段进行推理，这是一种根本不同的算法。本发明的方案提出了一种新颖的基于LVS的分段方法，该方法解决了这些问题：提供了集成来自LiDAR传感器的附加信息的框架；定义问题以确保输出以更适于下游处理的方式进行结构化；以及通过减少欠分段和改进边界召回来提高性能。

现在参考图15，提供了有助于理解本发明的方案的新颖LVS算法1500的示意图。如图15所示，LiDAR数据点1502被输入到LVS算法1500中。LiDAR数据点1502被传递到图形构造器1504，在图形构造器1504中，通过在3D图形上绘制LiDAR数据点并连接LiDAR数据点来构建连接图。LiDAR数据点连接可以基于两个点是否在彼此的阈值空间距离内和/或两个点之间是否在彼此的阈值时间距离内来进行。在其他情况下，每个LiDAR数据点都连接到其K最近邻居。在其他场景中，构建Delaunay三角测量并将其用作连接图。所连接的LiDAR数据点表示应当合并以形成片段1512的所提出的LiDAR数据点的集合。在图16中提供了说明性的示图1600。如图16所示，示图1600具有表示LiDAR数据点或测量的多个节点1602。已经在节点1602之间添加了连接线1604。连接线1604在本文中也被称为图形边缘e_ij。

接下来，描述符确定器1506确定每个节点1602(或LiDAR数据点)的描述符。描述符是表征节点(或LiDAR数据点)的元素的矢量V。这些元素包括但不限于表面法线N_i、基于图像(例如，图10的图像1000)的逐点颜色值(R_iG_iB_i)、强度I_i、纹理T_i、空间坐标(x_i、y_i、z_i)、离地高度H_i、它们投射到的点(或节点)图像检测对象类别的概率分布cl_i、一组实例标识符{id_i}、基于图像的特征f_i和/或快速点特征直方图FPFH_i。所列元素R_iG_iB_i、I_i、T_i、(x_i、y_i、z_i)和FPFH_i中的每一个在本领域是众所周知的。因此，矢量V可以由以下数学方程(7)来定义。

V＝(N_i，R_iG_iB_i，I_i，T_i，(x_i，y_i，z_i)，H_i，cl_i，id_i，f_i，FPFH_i，...) (7)

边缘权重分配器1508为每个图形边缘e_ij分配权重。图形边缘包括边缘特征MD_i。修改的距离MD_i是节点(或LiDAR数据点)之间的几何距离的扩展或收缩高度分量。修改的距离MD_i可以由以下数学方程(8)来定义。

H是点离地高度，a和k是逻辑函数的常数，当点靠近地面时，逻辑函数压缩Z轴距离。

每个权重表示两个相邻节点1602之间的相异性度量。为矢量V中包含的每种类型的元素计算权重。更具体地，为表面法线计算权重w_n，其可以由以下数学方程(9)定义。

为颜色计算权重w_c，其可以由以下数学方程(10)定义。

计算强度的权重w_I，其可以由以下数学方程(11)定义。

其中I_i和I_j是LiDAR点强度，I_max是最大可能强度值。

为3D图坐标计算权重w_d，其可以由以下数学方程(12)定义。

其中d_min表示图形中的最小距离，d_max表示图形中的最大距离。

为cl_i计算权重w_cl，cl_i可以由以下数学方程(13)定义。如果对象类别不同，则权重w_cl的值可以是1，如果对象类别相同，则权重w_cl的值可以是为-1。图形节点可以由多个LiDAR点组成。如上所述，cl_i是组成点在对象类别上的概率分布。巴塔查里亚距离可以用来计算两个概率分布之间的相似性。

为伪点特征直方图计算权重w_FPFH，权重w_FPFH可以由以下数学方程(14)定义。

为图像检测能力计算权重w_IDC，该图像检测能力可以由以下数学方程(15)定义。

其中，c是点之间的兼容性，C是所有摄像机的集合，D_c是C中的图像检测的集合，d是箝位函数。

针对修改的距离计算权重w_MD，该修改的距离可以与上面的MD_ij相同。

例如，可以通过线性组合将上述权重组合为一个非负标量w(e_ij)。来自所有摄像机的信息被概率地组合成单个数字，该单个数字指示这些点是否可能在相同的图像检测中。非负定标器w(e_ij)可以由以下数学方程(16)来定义。

w(e_ij)＝k_nw_n(eij)+k_cw_c(eij)+k_Iw_I(eij)+k_Tw_T(eij)+k_dw_d(eij)+k_Hw_H(eij)+k_clw_cl(eij)+k_idw_id(eij)+k_FPFHw_FPFH(eij)+k_IDCw_IDC(eij)+k_MDw_MD(eij)+... (16)

其中k_n、k_c、k_I、k_T、k_d、k_H、k_cl、k_id、k_FPFH、k_IDC和k_MD是预定义的常数。定标器w(e_ij)然后由边缘分配器1508作为给定图形边缘e_ij的边缘权重进行分配。然后将边缘权重w(e_ij)传递到LiDAR点合并器1510。

LiDAR点合并器1510使用边缘权重w(e_ij)来决定哪些LiDAR数据点应该合并在一起以形成片段1512。基于这些决策合并LiDAR点。LiDAR点合并器1510的输出是多个片段1512。片段1512被用于随后的片段合并操作中。

LiDAR点合并器1510执行的迭代片段合并操作涉及通过迭代合并较小的片段来构建片段，直到达到停止条件。具体地，所有节点1602最初被认为是单独的片段，并且所有图形边缘1604按边缘权重w(e_ij)升序排序。按顺序考虑图形边缘1604，如果图形边缘连接两个不同的片段，则将每个图形边缘视为合并建议。如果两个片段之间的权重小于两个片段的最大内部变化加上一个使片段偏向合并小片段的项，则接受合并建议。更正式地，给定由具有权重w(e_ij)的边缘e_ij连接的片段C_i、C_j，

其中MST(C_X)定义了C的最小生成树，以及表示控制所发生的分段程度的参数。该阈值可以在每个元素的基础上或在为图形边缘定义的权重的加权和上应用。最终输出1512是将所有观测结果分成不同的聚类的片段。每个片段1512包括一个或多个LiDAR点。

在一些场景中，提供了度量生成器1514，用于从分段操作和输出中收集、计算和/或生成分段度量。在定义这些时，假设标记的基本事实可用于标记***感兴趣的所有对象的点云。注意，由于这种分段方法旨在检测所有应避免的对象，因此应为检测***不感兴趣但应避免的障碍物(例如异物碎片、路标和/或垃圾桶)设置标签。所提出的度量包括欠分段误差度量、边界召回度量以及实例精度和召回度量。

欠分段误差度量衡量分段结果中有多少片段跨越了场景中不同对象之间的边界。由于欠分段事件涉及两个基本事实(ground truth)片段，因此必须计算该误差度量，使其不会对事件进行双重计数。可以通过找到与一个以上基本事实对象相交的每个片段，并在基本事实对象之间划分该片段来计算欠分段误差度量。然后，欠分段误差度量被定义为所有这些欠分段的两个子片段中较小的一个子片段的总和在所有片段的点数上进行平均。

更正式地，欠分段误差度量UE由以下数学方程(18)定义。

其中GT表示一组基本事实标签，而O表示一组计算标签。

边界召回度量衡量通过分段恢复每个对象的边界的程度。过分段产生的边界是基本事实分段的内部边界，但对于本方法的性能改进是固有的。因此，该度量旨在测量通过给定片段提取了多少表示对象边界的LiDAR数据点。这可以通过将3D点云数据投射到深度图像中，并用关联的片段标签绘制每个像素来计算。因此，可以通过找到图像中的边缘来计算边界。可以对输出片段执行相同的过程，然后将边缘标记为真阳性(两个图像中都存在的边缘)和假阴性(基本事实数据中存在但输出片段中不存在的边缘)。

边界召回度量BR可以由以下数学方程(19)来定义。

提取感兴趣对象的性能可以计算为在对象实例上的精度和召回度量。对于基本事实中的每个对象，可以以与在欠分段误差中执行的方式相同的方式来确定片段是否与基本事实标签多数相关。有了这些信息，可以以标准的方式计算精度和召回率。

片段合并器

值得注意的是，LVS算法1500输出的片段1512太小，无法估计长方体。因此，片段合并器被用来构建足够大的片段，用于后续的形状先验(例如，长方体)估计。片段合并器执行片段合并操作，总体上包括：选择片段对；识别哪些片段对的质心到质心的距离大于阈值(例如3m)；基于包含在片段对中的片段的属性来计算每个片段对(其质心到质心的距离小于阈值(例如，＜3m))的特征；基于所计算的特征(为每个片段对)生成片段应当被合并的概率；以及基于概率合并片段。

现在参考图17，提供了说明性的片段合并器1700的示图。片段1512被输入到片段合并器1700中。片段1512可以可选地在1706中被预处理。预处理操作在本领域是众所周知的。预处理可以包括选择片段对，获取片段的质心，确定每个片段对的质心到质心的距离，识别哪些片段对的质心到质心的距离大于阈值(例如，3m)，以及从出于片段合并的目的的进一步考虑中移除所识别的片段对。在一些情况下，阈值被定义为第一片段距质心的半径和第二片段距质心的半径加上预定义的常数(例如，0.5米)的总和。

剩余的片段被传递给属性生成器1708和图形构造函数1710。在属性生成器1608处，可以获取和/或生成每个片段的一组属性。一组属性可以包括但不限于：(i)片段中的LiDAR数据所覆盖的2D区域；(ii)在图9的920中针对包含在片段中的LiDAR数据点计算的概率分布的平均值；(iii)片段中包含的LiDAR数据点在道路上的百分比；(iv)片段中包含的LiDAR数据点不在道路上的百分比；和/或(v)片段至少部分重叠的车道的总数。属性(i)、(iii)、(iv)和(v)可以使用道路地图、车道地图和/或其他地图来确定。例如，属性(i)是通过识别地图上片段所在的区域来确定的。属性(ii)和(iii)是通过识别片段中的哪些LiDAR数据点位于地图中包含的道路上，以及识别片段中的哪些LiDAR数据点不位于地图中包含的道路上来确定的。属性(iv)是通过识别片段的LiDAR数据点覆盖地图中的哪些车道，并计算识别车道的数量来确定的。

在图形构造器1710中，构建图形，在该图形中绘制片段。在图形中为附近片段对添加链接(考虑每个片段的大小)。这些链接定义了应由特征生成器1712为其生成特征的片段对。

在某些场景中，每组特征描述了两个片段的配对。可以使用由属性生成器1708生成的属性来生成特征。这些特征可以包括但不限于：

·在图9的920中针对第一片段计算的概率分布的平均值与在图9中针对第二片段计算的概率分布的平均值之间的差；

·在道路上比例的差，或第一片段中包含的LiDAR数据点在道路上的百分比与第二片段中包含的LiDAR数据点在道路上的百分比的差；

·不在道路上比例的差(例如，第一片段中包含的LiDAR数据点不在道路上的百分比与第二片段中包含的LiDAR数据点不在道路上的百分比的差)；

·区域兼容性(例如，由第一片段和第二片段覆盖的2D车道之间的重叠程度)；

·车道兼容性(例如，第一片段和第二片段所在车道之间的重叠程度)(例如，如果车道组重叠，则兼容。如果两个片段都不在任何车道中，则无信息。如果车道组不重叠，则不兼容)；

·第一片段至少部分重叠的车道总数与第二片段至少部分重叠的车道总数之间的差；

·凸包(或点)之间的最近距离；

·凸包(或点)之间的豪斯多夫距离；

·凸包是否相交；

·片段之间的高度差或高度距离(例如，如果每个片段的高度间隔相交，则该距离为零。否则，这是较高片段的最小高度和较低片段的最大高度之间的距离)；

·掩码兼容性，由数学方程定义，其中，C表示一组摄像机，D表示一组图像检测，w_1cd表示与摄像机c中的图像检测d相匹配的片段1中的点的概率总和，

·主掩码兼容性(如果片段在任意摄像机中具有相同的主掩码，则兼容。如果片段在任意摄像机中具有不同的主掩码，则不兼容。如果存在平局，则兼容性确定为(片段1指向片段1主掩码)*(片段2指向片段2主掩码。)；

·对象类型分布的差(例如，陆地移动距离(earth-mover's distance))；

·两个片段的平均范围(情景特征)；

·较小的最有可能的对象尺寸；

·共享最有可能的对象类型(例如，如果每个片段的最有可能的对象类型相同，则为该对象类型)；

·对象类型兼容性(例如，如果任何组成点投射到的类型中有任何交集，则兼容)；

·主对象类型兼容性(例如，如果存在主对象类型(大多数点投射到某个类型的掩码)并且这两个片段的主类型相同，则兼容)；

·面积相关特征之间的差(例如，两个片段的[片段凸包面积之和]与[合并片段凸包的面积]之比之间的差)；和

·颜色直方图的差。

然后将特征从特征生成器1712传递到机器学***均值之间的差超过阈值并且(2)存在车道不兼容时，确定合并两个路段的低概率。相反，当(1)概率分布平均值之间的差小于阈值并且(2)存在车道兼容性时，存在高概率。本发明的方案在这方面不受限制。概率可以被分配一数值(例如，0-10)，作为级别(例如，低、中或高)的补充或替代。概率的级别或程度可以通过根据给定应用选择的特征的任何组合来确定。

机器学习分类器1714使用机器学习算法进行训练，该算法学习根据一个或多个特征何时应将两个片段合并在一起。任何机器学习算法都可以在这里使用，而没有限制。例如，这里采用了以下一种或多种机器学习算法：监督学习；无监督学习；半监督学习；以及强化学习。通过机器学习算法学习的信息可以用于生成用于确定两个片段应该合并的概率的规则。这些规则然后由机器学习分类器1714来实现。

然后通过机器学***或具有大于阈值的数值时，片段对被分类为合并对。相反，当相应的合并概率具有低水平或具有小于阈值的数值时，片段对被分类为非合并对。本发明的方案不限于该示例的细节。

然后将分类传递给合并器1716。合并器1716根据分类对片段进行合并。例如，将每个合并对中的片段合并在一起。值得注意的是，冗余链路不会出于片段合并的目的进行评估。例如，如果片段A应当与片段B合并，并且片段B应当与片段C合并，则片段合并器1716不评估将片段A与片段C合并。本发明的方案不限于该示例的细节。

应该注意的是，从成对片段合并的角度来看，很难处理的一个问题是较大车辆的碎片。例如，一辆大型箱式卡车可以被观察为相距很远的多个碎片。由于投射不确定性，这些碎片通常不会投射到与卡车后部相同的图像检测掩码中，并且没有足够的情景用于合并器以基于合并概率来合并这些碎片。因此，合并器1716执行额外的操作，以将被检测为车辆的每个大的检测片段(例如，卡车的后部)拟合到形状模型(例如，长方体)，以便估计检测对象的真实范围。边界框估计器可以使用来自车载HD地图的地面高度和车道信息以及来自图像检测的视觉航向。估计的长方体现在有足够的信息来根据碎片与估计的长方体的重叠面积合并碎片。长方体有益的另一个例子是公交车的分段。大的窗口区域允许激光穿过并扫描公交车的内部，从而产生远离公交车外部的L形的多个碎片。在完成合并操作之后，合并器1716输出多个合并片段1714。

对象检测片段过滤

并非所有检测到的LiDAR数据点的片段都与AV相关，许多片段对应于不在道路上的杂物(例如，建筑物、电线杆和/或垃圾桶)。图像检测用于发现不在道路上的相关对象。因为只对不在道路上的运动行为者感兴趣，所以可以丢弃静态对象，以改进CLF对象检测流水线的其余部分，并降低CLF对象检测算法的计算要求。

由于标签转移问题，在与图像检测掩码相对应的截锥体内存在LiDAR数据点的多个片段。此集合中可能有0个或1个真阳性片段，此集合中有0到N个假阳性片段。解决这个关联问题是CLF片段过滤器的主要目的。

一个例子是前面有杆且后面也有行人的车辆检测。由于传感器融合阶段出现的投射误差，属于真实行人对象和杆对象的LiDAR数据点将具有标记为车辆的点。为了解决图像检测掩码与片段关联的模糊性，对于包含投射到特定图像检测掩码中的LiDAR数据点的所有片段，计算投射特性。报告可能对应于在图像上检测到的对象的一个或多个最佳匹配。这有助于消除被跟踪对象集合中的杂物，并减少跟踪流水线延迟和计算需求。

现在参考图18，提供了用于对象检测片段过滤的说明性方法1800的流程图。片段过滤器的输入是在流水线的早期阶段形成的候选片段的集合，其中每个候选片段可能对应于或可能不对应于现实世界对象。对于每个片段，都会有两组点组成片段。P点–投射到图像检测掩码中的点。N点——没有投射到图像检测掩码中但与片段非常接近的点。添加附近的点然后进行几何分段背后的直觉是，伪聚类(如墙或树)的投射点将在距离P点很近的范围内有许多N点，这导致单个聚类包含两个点类别。与聚类中的点总数相比，所得到的伪聚类将包含相对较少的P点。然而，真正的聚类将主要由P点和相对较少的N点组成。因此，需要聚类特征U来区分LiDAR数据点的真实片段和LiDAR数据点的伪片段。聚类特征U由以下数学方程(20)定义。

U ＝ count (P)/(count (N) + count (P)) (20)

其中，P表示聚类中投射点数，N表示与点P相距较近的点数。有时，当单独使用聚类特征U时，可能会遇到不足以识别真实片段的情况。例如，较大的真实对象(例如车辆)可能被较小的伪对象(例如杆)遮挡。在这种情况下，较小的伪对象可能完全由P点组成，而车辆集群将具有P点和N点的混合。为了应对这种情况，需要另一个聚类特征V，并将其与聚类特征U一起使用，以验证该片段是否与给定对象检测正确关联。聚类特征V由以下数学方程(21)定义。

V ＝ count (P)/count (D) (21)

其中D表示投射到特定图像检测掩码m(例如图12的掩码1200)中的点的总数。D点通常分布在世界上的多个对象上。

还有其他聚类特征可用于识别与行人、车辆、自行车和/或任何其他移动对象相关的LiDAR数据点的片段。这些附加的聚类特征包括表示聚类高度的聚类特征H、表示聚类长度的聚类特征L和表示聚类的长宽比的聚类特征LTW。

高度超过2.0–2.5米的集群不太可能与行人相关。长度超过1米的集群不太可能与行人相关。长宽比超过4.0的集群往往与建筑物相关，而不太可能与行人相关。具有高圆柱体卷积分数的集群可能与行人有关。

因此，方法1800从1804开始，在1804中，获取给定图像检测掩码m(例如，图12的掩码1200)的各种信息(例如，从图4的存储器412)。该信息包括但不限于，表示投射到掩码m中的LiDAR数据集的点数的P_m，表示形成LiDAR数据点的给定合并片段s(例如，图17的合并片段1714)的点数的S_i，表示在给定合并片段s中投射到掩码m中的点数的P^Sm，合并片段的高度h_s，合并片段的长度l_s和/或合并片段的宽度w_s。在1806-1810中使用该信息来确定一个或多个聚类特征U、V、H、L和/或LTW。聚类特征U可以根据以下数学方程(22)来确定，聚类特征V可以根据以下数学方程(23)来确定。

U ＝ P^S _m / S_i (22)

V ＝ P^S _m / P_m (23)

聚类特征H设置为等于h_s。聚类特征L被设置为等于l_s。聚类特征LTW可以通过以下数学方程(24)来确定。

LTW ＝ l_s / w_s (24)

在1812中，基于聚类特征U、V、H、L和/或LTW来计算投射分数PS。投射分数可以由以下数学方程(25)来定义。

PS ＝ U * V * H * L * LTW (25)

值得注意的是，本发明的方案不限于数学方程(25)。投射分数可以表示聚类特征的任何组合的乘积。

接下来，在1814中，使用投射分数来验证合并片段是与给定图像检测掩码相关的检测对象的一部分。当投射分数大于阈值时，可以做出这样的验证。当做出这样的验证时，可以在1816中进行对象检测。在一些场景中，基于与同一图像检测掩码相关的两个或更多个合并片段的操作1804-1814的结果来进行对象检测。例如，当为给定合并片段计算的PS大于为多个合并片段中的其他合并片段计算出的PS时，进行对象检测，使得多个合并片段中的给定合并片段与给定检测对象相关。随后，执行1818，在1818中，方法1800结束或者执行其他处理。

尽管本发明的方案已经针对一个或多个实施方式进行了说明和描述，但在阅读和理解本说明书和附图后，本领域其他技术人员将进行等效的更改和修改。此外，虽然本发明的方案的特定特征可能仅针对几个实施方式中的一个公开，但这种特征可以与其他实施方式的一个或多个其他特征相结合，这对于任何给定或特定的应用都是期望的和有利的。因此，本发明的方案的广度和范围不应受到任何上述实施例的限制。相反，本发明的方案的范围应当根据以下权利要求及其等价物来定义。

Claims

1.一种用于控制自主车辆的方法，包括：

通过计算设备获取由所述自主车辆的LiDAR***生成的LiDAR数据集；

通过所述计算设备使用所述LiDAR数据集和至少一个图像来检测所述自主车辆附近的对象，所述对象通过以下方式检测：

将所述LiDAR数据集的点与所述至少一个图像中的像素进行匹配，以及

基于所述匹配在由所述LiDAR数据集定义的点云中检测所述对象；

通过所述计算设备使用所述对象检测来促进至少一个自主驾驶操作。

2.根据权利要求1所述的方法，还包括通过所述计算设备获取在所述LiDAR***的传感器扫过摄像机视场的中心时捕获的至少一个图像，其中除了所述LiDAR数据集之外，还使用所述至少一个图像来检测所述对象。

3.根据权利要求1所述的方法，其中所述至少一个自主驾驶操作包括对象跟踪操作、对象轨迹预测操作、车辆轨迹确定操作或防撞操作。

4.根据权利要求1所述的方法，其中所述匹配基于以下中的至少一个：在所述至少一个图像中检测到的每个对象的标识符、掩码标识符、掩码的单元标识符、每个单元的置信度值、LiDAR点标识符、LiDAR点坐标、外部LiDAR传感器和摄像机校准参数以及内部摄像机校准参数。

5.根据权利要求1所述的方法，其中所述匹配包括在考虑由于摄像机校准不确定性导致的投射不确定性的情况下确定所述LiDAR数据集的点可以投射到的所述至少一个图像的像素的概率分布。

6.根据权利要求5所述的方法，其中通过计算所述LiDAR数据集的点可能投射到的像素在图像空间坐标上的概率分布函数来确定所述概率分布。

7.根据权利要求6所述的方法，其中根据以下数学方程计算所述概率分布函数：

其中xⁱ和yⁱ表示像素的图像空间坐标，X、Y和Z表示所述LiDAR数据集的点的LiDAR空间坐标。

8.根据权利要求6所述的方法，其中根据以下数学方程将所述概率分布函数转换为图像检测掩码坐标：

其中和/>表示边界框的图像空间边界，R表示掩码分辨率。

9.根据权利要求1所述的方法，其中所述匹配包括基于指示所述至少一个图像的至少一个相应像素属于给定检测对象的置信度水平的至少一个置信度值，确定所述LiDAR数据集的点可能处于的一组对象检测上的概率分布。

10.根据权利要求9所述的方法，其中通过计算所述LiDAR数据集的点投射到一图像检测而与所有其他图像检测无关的概率来确定所述概率分布。

11.根据权利要求10所述的方法，其中根据以下数学方程来计算所述概率：

其中lp是LiDAR点，mp是掩码像素，表示像素在掩码坐标中的x极限，/>表示所述像素在掩码坐标中的y极限，dmp表示与给定对象检测d相关的掩码像素，dy表示与所述给定对象检测d相关的掩码像素的y轴坐标，并且dx表示与所述给定对象检测d相关的所述掩码像素的x轴坐标。

12.根据权利要求11所述的方法，其中根据以下数学方程来计算所述概率：

13.根据权利要求10所述的方法，其中所述匹配包括确定所述LiDAR点不投射到任何图像检测的概率。

14.根据权利要求13所述的方法，其中所述匹配包括根据以下数学方程对针对所述LiDAR数据集的给定点确定的多个概率进行归一化：

其中ip(lp∈d)表示所述LiDAR数据集的点投射到一图像检测而与所有其他图像检测无关的概率，并且表示所述LiDAR点不投射到任何图像检测的概率。

15.一种***，包括：

处理器；

非暂时性计算机可读存储介质，包括编程指令，所述编程指令被配置为使所述处理器实现用于操作自主车辆的方法，其中所述编程指令包括以下指令：

16.根据权利要求15所述的***，其中所述编程指令还包括获取在所述LiDAR***的传感器扫过摄像机视场的中心时捕获的至少一个图像的指令，其中除了所述LiDAR数据集之外，还使用所述至少一个图像来检测所述对象。

17.根据权利要求15所述的***，其中所述至少一个自主驾驶操作包括对象跟踪操作、对象轨迹预测操作、车辆轨迹确定操作或防撞操作。

18.根据权利要求15所述的***，其中所述匹配基于以下中的至少一个：在所述至少一个图像中检测到的每个对象的标识符、掩码标识符、掩码的单元标识符、每个单元的置信度值、LiDAR点标识符、LiDAR点坐标、外部LiDAR传感器和摄像机校准参数、以及内部摄像机校准参数。

19.根据权利要求15所述的***，其中所述匹配包括在考虑由于摄像机校准不确定性导致的投射不确定性的情况下确定所述LiDAR数据集的点可以投射到的所述至少一个图像的像素的概率分布。

20.根据权利要求19所述的***，其中所述概率分布通过计算所述LiDAR数据集的点可能投射到的像素在图像空间坐标上的概率分布函数来确定。

21.根据权利要求20所述的***，其中所述概率分布函数根据以下数学方程计算：

其中，xⁱ和yⁱ表示像素的图像空间坐标，X、Y和Z表示所述LiDAR数据集的点的LiDAR空间坐标。

22.根据权利要求20所述的***，其中所述概率分布函数根据以下数学方程转换为图像检测掩码坐标：

其中和/>表示边界框的图像空间边界，R表示掩码分辨率。

23.根据权利要求15所述的***，其中所述匹配包括基于指示所述至少一个图像的至少一个相应像素属于给定检测对象的置信度水平的至少一个置信度值，确定所述LiDAR数据集的点可能处于的一组对象检测上的概率分布。

24.根据权利要求23所述的***，其中所述概率分布通过计算所述LiDAR数据集的点投射到一图像检测而与所有其他图像检测无关的概率来确定。

25.根据权利要求24所述的***，其中所述概率根据以下数学方程计算：

26.根据权利要求25所述的***，其中所述概率根据以下数学方程计算：

27.根据权利要求24所述的***，其中所述匹配包括确定所述LiDAR点不投射到任何图像检测的概率。

28.根据权利要求27所述的方法，其中所述匹配包括根据以下数学方程对针对所述LiDAR数据集的给定点确定的多个概率进行归一化：

29.一种存储有指令的非暂时性计算机可读介质，所述指令在由至少一个计算设备执行时，使所述至少一个计算设备执行以下操作：

获取由自主车辆的LiDAR***生成的LiDAR数据集；

使用所述LiDAR数据集和至少一个图像来检测所述自主车辆附近的对象，所述对象通过以下方式检测：

基于所述匹配在由所述LiDAR数据集定义的点云中检测所述对象；以及

使用所述对象检测来促进至少一个自主驾驶操作。

30.一种用于操作自主车辆的方法，包括：

通过计算设备使用所述LiDAR数据集和至少一个图像来检测所述自主车辆附近的对象，所述对象通过以下方式检测：

通过减少所述LiDAR数据集中包含的点的总数来生成修剪后的LiDAR数据集，以及

在由所述修剪后的LiDAR数据集定义的点云中检测所述对象；

31.根据权利要求30所述的方法，还包括通过所述计算设备获取在所述LiDAR***的传感器扫过摄像机视场(“FOV”)的中心时捕获的至少一个图像，其中除了所述LiDAR数据集之外，还使用所述至少一个图像来检测所述对象。

32.根据权利要求30所述的方法，其中所述至少一个自主驾驶操作包括对象跟踪操作、对象轨迹预测操作、车辆轨迹确定操作或防撞操作。

33.根据权利要求30所述的方法，其中所述修剪后的LiDAR数据集是通过基于所述自主车辆的规划轨迹对所述点进行下采样而生成的。

34.根据权利要求33所述的方法，其中与所述LiDAR数据集中对应于不沿着所述自主车辆的所述规划轨迹的第二区域的点相比，以更低的采样率对所述LiDAR数据集中对应于沿着所述自主车辆的所述规划轨迹的第一区域的点进行下采样。

35.根据权利要求34所述的方法，其中与所述LiDAR数据集中对应于沿着所述自主车辆的所述规划轨迹的第二区域的点相比，以更高的采样率对所述LiDAR数据集中对应于沿着所述自主车辆的所述规划轨迹的第一区域的点进行下采样。

36.根据权利要求35所述的方法，其中所述第一区域包括与在遵循所述规划轨迹时不太可能干扰所述自主车辆的至少一个对象相对应的点所在的区域，并且所述第二区域包括与在遵循所述规划轨迹时可能干扰所述自主车辆的至少一个对象相对应的点所在的区域。

37.根据权利要求30所述的方法，其中所述修剪后的LiDAR数据集是通过基于分配给所述点的点标签对所述LiDAR数据集进行下采样而生成的。

38.根据权利要求37所述的方法，其中每个所述点标签包括对象类别标识符、颜色和唯一标识符中的至少一个。

39.根据权利要求37所述的方法，其中通过将第一重要性标签分配给与移动对象类别相关的点并将第二重要性标签分配给与静态对象类别相关的点来对所述LiDAR数据集进行下采样。

40.根据权利要求39所述的方法，其中以第一分辨率对分配了所述第一重要性标签的所述点进行下采样，并且以低于所述第一分辨率的第二分辨率对分配了所述第二重要性标签的所述点进行下采样。

41.根据权利要求39所述的方法，其中仅对分配了所述第二重要性标签的所述点进行下采样。

42.根据权利要求30所述的方法，其中所述修剪后的LiDAR数据集是通过基于距边界框一点距离对所述LiDAR数据集进行下采样而生成的。

43.根据权利要求42所述的方法，其中当所述点距离中的相应一个点距离大于阈值距离时，从所述LiDAR数据集中移除点。

44.根据权利要求30所述的方法，其中通过使用包括与所述自主车辆的规划轨迹相关的信息的地图对所述LiDAR数据集进行下采样来生成所述修剪后的LiDAR数据集。

45.根据权利要求44所述的方法，其中当点的高度小于最小高度阈值或大于最大高度阈值时，从所述LiDAR数据集中移除所述点。

46.根据权利要求30所述的方法，其中所述修剪后的LiDAR数据集是通过以基于建模的过程延迟选择的分辨率对所述LiDAR数据集进行下采样而生成的。

47.一种***，包括：

处理器；

获取由所述自主车辆的LiDAR***生成的LiDAR数据集；

在由所述修剪后的LiDAR数据集定义的点云中检测所述对象；

使用所述对象检测来促进至少一个自主驾驶操作。

48.根据权利要求47所述的***，其中所述编程指令包括获取在所述LiDAR***的传感器扫过摄像机视场的中心时捕获的至少一个图像的指令，除了所述LiDAR数据集之外，还使用所述至少一个图像来检测所述对象。

49.根据权利要求47所述的***，其中所述至少一个自主驾驶操作包括对象跟踪操作、对象轨迹预测操作、车辆轨迹确定操作或防撞操作。

50.根据权利要求47所述的***，其中所述修剪后的LiDAR数据集是通过基于所述自主车辆的规划轨迹对所述点进行下采样而生成的。

51.根据权利要求50所述的***，其中与所述LiDAR数据集中对应于不沿着所述自主车辆的所述规划轨迹的第二区域的点相比，以更低的采样率对所述LiDAR数据集中对应于沿着所述自主车辆的所述规划轨迹的第一区域的点进行下采样。

52.根据权利要求51所述的***，其中与所述LiDAR数据集中对应于也沿着所述自主车辆的所述规划轨迹的第二区域的点相比，所述LiDAR数据集中对应于沿着所述自主车辆的所述规划轨迹的第一区域的点以更高的采样率进行下采样。

53.根据权利要求52所述的***，其中所述第一区域包括与在遵循所述规划轨迹时不太可能干扰所述自主车辆的至少一个对象相对应的点所在的区域，并且所述第二区域包括与在遵循所述规划轨迹时可能干扰所述自主车辆的至少一个对象相对应的点所在的区域。

54.根据权利要求47所述的***，其中所述修剪后的LiDAR数据集是通过基于分配给所述点的点标签对所述LiDAR数据集进行下采样而生成的。

55.根据权利要求54所述的***，其中每个所述点标签包括对象类别标识符、颜色和唯一标识符中的至少一个。

56.根据权利要求55所述的***，其中所述LiDAR数据集通过将第一重要性标签分配给与移动对象类别相关的点并将第二重要性标签分配给与静态对象类别相关的点来进行下采样。

57.根据权利要求56所述的***，其中分配了所述第一重要性标签的所述点以第一分辨率进行下采样，并且分配了所述第二重要性标签的所述点以低于所述第一分辨率的第二分辨率进行下采样。

58.根据权利要求56所述的***，其中仅分配了所述第二重要性标签的所述点进行下采样。

59.根据权利要求47所述的***，其中所述修剪后的LiDAR数据集是通过基于距边界框一点距离对所述LiDAR数据集进行下采样而生成的。

60.根据权利要求59所述的***，其中当所述点距离中的相应一个点距离大于阈值距离时，从所述LiDAR数据集中移除点。

61.根据权利要求47所述的***，其中所述修剪后的LiDAR数据集通过使用包括与所述自主车辆的规划轨迹相关的信息的地图对所述LiDAR数据集进行下采样而生成。

62.根据权利要求61所述的***，其中当点的高度小于最小高度阈值或大于最大高度阈值时，从所述LiDAR数据集中移除所述点。

63.根据权利要求47所述的***，其中所述修剪后的LiDAR数据集通过以基于建模的过程延迟选择的分辨率对所述LiDAR数据集进行下采样而生成。

64.一种存储有指令的非暂时性计算机可读介质，所述指令在由至少一个计算设备执行时使所述至少一个计算设备执行以下操作：

通过计算设备使用所述LiDAR数据集和至少一个图像来检测所述自主车辆附近的对象，所述对象通过以下方式进行检测：

在由所述修剪后的LiDAR数据集定义的点云中检测所述对象；

65.一种用于控制自主车辆的方法，包括：

通过所述计算设备使用所述LiDAR数据集和至少一个图像来检测所述自主车辆附近的对象，所述对象通过以下方式进行检测：

计算所述LiDAR数据集的每个点可能处于的对象检测的分布，

使用所述对象检测的分布来创建LiDAR数据点的多个片段，以及

基于所述LiDAR数据点的多个片段，在由所述LiDAR数据集定义的点云中检测所述对象；以及

66.根据权利要求65所述的方法，还包括通过所述计算设备获取在所述LiDAR***的传感器扫过摄像机视场的中心时捕获的至少一个图像，其中除了所述LiDAR数据集之外，还使用所述至少一个图像来检测所述对象。

67.根据权利要求65所述的方法，其中所述至少一个自主驾驶操作包括对象跟踪操作、对象轨迹预测操作、车辆轨迹确定操作或防撞操作。

68.根据权利要求65所述的方法，其中基于以下内容来计算所述对象检测的分布：(a)所述LiDAR数据集的点可以投射到的所述至少一个图像的像素的概率分布，以及(b)所述点没有投射到任何图像检测的概率。

69.根据权利要求65所述的方法，其中通过使用所述LiDAR数据集构建连接图来创建所述LiDAR数据点的多个片段，所述连接图包括在3D坐标系中绘制的所述LiDAR数据集的点和分别连接所述点的连接线。

70.根据权利要求69所述的方法，其中基于所述LiDAR数据集的两个点是否在彼此的阈值空间或时间距离内、两个点是否是最近邻居、或三角测量，将所述连接线添加到所述连接图。

71.根据权利要求69所述的方法，其中所述LiDAR数据点的多个片段是通过针对所述连接图中的每个点进一步确定描述符来创建的，所述描述符包括表征所述LiDAR数据集的给定点的元素的矢量。

72.根据权利要求71所述的方法，其中所述元素包括以下中的至少一个：表面法线、基于所述至少一个图像的颜色值、强度、纹理、空间坐标、离地高度、类别标签、实例标识符、基于图像的特征、快速点特征直方图、图像检测能力和修改的距离。

73.根据权利要求71所述的方法，其中通过基于所述描述符进一步向每个连接线分配权重来创建所述LiDAR数据点的多个片段，所述权重表示在所述连接图中经由所述连接线彼此连接的两个点之间的相异性度量。

74.根据权利要求71所述的方法，其中通过基于所述权重进一步合并所述LiDAR数据集的点来创建所述LiDAR数据点的多个片段。

75.根据权利要求74所述的方法，其中当与各个连接线相关的权重小于阈值时，将两个点合并在一起。

76.一种***，包括：

处理器；

获取由所述自主车辆的LiDAR***生成的LiDAR数据集；

使用所述LiDAR数据集和至少一个图像来检测所述自主车辆附近的对象，所述对象通过以下方式进行检测：

计算所述LiDAR数据集的每个点可能处于的对象检测的分布，

基于所述LiDAR数据点的多个片段，在由所述LiDAR数据集定义的点云中检测所述对象；和

使用所述对象检测来促进至少一个自主驾驶操作。

77.根据权利要求76所述的***，其中所述编程指令还包括获取在所述LiDAR***的传感器扫过摄像机视场(“FOV”)的中心时捕获的至少一个图像的指令，其中除了所述LiDAR数据集之外，还使用所述至少一个图像来检测所述对象。

78.根据权利要求76所述的***，其中所述至少一个自主驾驶操作包括对象跟踪操作、对象轨迹预测操作、车辆轨迹确定操作或防撞操作。

79.根据权利要求76所述的***，其中基于以下内容来计算所述对象检测的分布：(a)所述LiDAR数据集的点可以投射到的所述至少一个图像的像素的概率分布，以及(b)所述点没有投射到任何图像检测的概率。

80.根据权利要求76所述的***，其中通过使用所述LiDAR数据集构建连接图来创建所述LiDAR数据点的多个片段，所述连接图包括在3D坐标系中绘制的所述LiDAR数据集的点和分别连接所述点的连接线。

81.根据权利要求80所述的***，其中基于所述LiDAR数据集的两个点是否在彼此的阈值空间或时间距离内、两个点是否是最近邻居、或三角测量，将所述连接线添加到所述连接图。

82.根据权利要求80所述的***，其中所述LiDAR数据点的多个片段是通过针对所述连接图中的每个点进一步确定描述符来创建的，所述描述符包括表征所述LiDAR数据集的给定点的元素的矢量。

83.根据权利要求82所述的***，其中所述元素包括以下中的至少一个：表面法线、基于所述至少一个图像的颜色值、强度、纹理、空间坐标、离地高度、类别标签、实例标识符、基于图像的特征、快速点特征直方图、图像检测能力和修改的距离。

84.根据权利要求83所述的***，其中通过基于所述描述符进一步向每个连接线分配权重来创建所述LiDAR数据点的多个片段，所述权重表示在所述连接图中经由所述连接线彼此连接的两个点之间的相异性度量。

85.根据权利要求83所述的***，其中通过基于所述权重进一步合并所述LiDAR数据集的点来创建所述LiDAR数据点的多个片段。

86.根据权利要求85所述的***，其中当与各个连接线相关的权重小于阈值时，将两个点合并在一起。

87.一种存储有指令的非暂时性计算机可读介质，所述指令在由至少一个计算设备执行时使得所述至少一个计算设备执行以下操作：

通过计算设备获取由自主车辆的LiDAR***生成的LiDAR数据集；

计算所述LiDAR数据集的每个点可能处于的对象检测的分布，

88.一种用于控制自主车辆的方法，包括：

计算所述LiDAR数据集的每个点可能处于的对象检测的分布，

使用所述对象检测的分布来创建LiDAR数据点的多个片段，

合并所述LiDAR数据点的多个片段以生成合并片段，以及

基于所述合并片段在由所述LiDAR数据集定义的点云中检测所述对象；

89.根据权利要求88所述的方法，还包括通过所述计算设备获取在所述LiDAR***的传感器扫过摄像机视场的中心时捕获的至少一个图像，其中除了所述LiDAR数据集之外，还使用所述至少一个图像来检测所述对象。

90.根据权利要求88所述的方法，其中所述至少一个自主驾驶操作包括对象跟踪操作、对象轨迹预测操作、车辆轨迹确定操作或防撞操作。

91.根据权利要求88所述的方法，其中基于以下内容来计算所述对象检测的分布：(a)所述LiDAR数据集的点可以投射到的所述至少一个图像的像素的概率分布，以及(b)所述点没有投射到任何图像检测的概率。

92.根据权利要求88所述的方法，其中所述合并片段通过以下方式生成：

从所述LiDAR数据点的多个片段中选择片段对；

基于所述片段对中包含的片段的属性来计算每个片段对的特征；

针对每个片段对，基于所述特征生成所述片段对中包含的所述片段应当被合并的概率；以及

基于针对所述片段对生成的概率来合并所述LiDAR数据点的多个片段。

93.根据权利要求92所述的方法，还包括对所述片段对进行过滤以去除质心到质心距离大于阈值的片段对。

94.根据权利要求92所述的方法，其中所述属性包括针对所述LiDAR数据点的多个片段中的给定片段中包含的所述LiDAR数据点计算的多个概率分布的平均值，每个概率分布指定给定LiDAR数据点可能处于的检测对象。

95.根据权利要求94所述的方法，其中所述特征包括针对所述LiDAR数据点的多个片段中的第一片段中包含的所述LiDAR数据点计算的概率分布的平均值与针对所述LiDAR数据点的多个片段中的第二片段中包含的所述LiDAR数据点计算的概率分布的平均值之间的差。

96.根据权利要求92所述的方法，其中所述属性包括以下中的至少一个：给定片段中的所述LiDAR数据点覆盖的2D区域、所述给定片段中包含的LiDAR数据点在道路上的百分比、所述给定片段中包含的LiDAR数据点不在道路上的百分比、以及所述给定片段至少部分重叠的车道的总数。

97.根据权利要求92所述的方法，其中所述特征包括以下中的至少一个：在道路上比例的差，不在道路上比例的差，区域兼容性，车道兼容性，LiDAR数据点的第一片段至少部分重叠的车道总数与LiDAR数据点的第二片段至少部分重叠的车道总数之间的差、LiDAR数据点的片段之间的高度差或高度距离，掩码兼容性，对象类型分布差和对象类型兼容性。

98.一种***，包括：

处理器；

获取由所述自主车辆的LiDAR***生成的LiDAR数据集；

计算所述LiDAR数据集的每个点可能处于的对象检测的分布，

使用所述对象检测的分布来创建LiDAR数据点的多个片段，

合并所述LiDAR数据点的多个片段以生成合并片段，以及

使用所述对象检测来促进至少一个自主驾驶操作。

99.根据权利要求98所述的***，其中所述编程指令还包括获取在所述LiDAR***的传感器扫过摄像机视场的中心时捕获的至少一个图像的指令，其中除了所述LiDAR数据集之外，还使用所述至少一个图像来检测所述对象。

100.根据权利要求98所述的***，其中所述至少一个自主驾驶操作包括对象跟踪操作、对象轨迹预测操作、车辆轨迹确定操作或防撞操作。

101.根据权利要求98所述的***，其中基于以下内容来计算所述对象检测的分布：(a)所述LiDAR数据集的点可以投射到的所述至少一个图像的像素的概率分布，以及(b)所述点没有投射到任何图像检测的概率。

102.根据权利要求98所述的***，其中所述合并片段通过以下方式生成：

从所述LiDAR数据点的多个片段中选择片段对；

103.根据权利要求102所述的***，其中所述编程指令还包括对所述片段对进行过滤以去除质心到质心距离大于阈值的片段对的指令。

104.根据权利要求102所述的***，其中所述属性包括针对所述LiDAR数据点的多个片段中的给定片段中包含的所述LiDAR数据点计算的多个概率分布的平均值，每个概率分布指定给定LiDAR数据点可能处于的检测对象。

105.根据权利要求104所述的***，其中所述特征包括针对所述LiDAR数据点的多个片段中的第一片段中包含的所述LiDAR数据点计算的所述概率分布的平均值与针对所述LiDAR数据点的多个片段中的第二片段中包含的LiDAR数据点计算的概率分布的平均值之间的差。

106.根据权利要求102所述的***，其中所述属性包括以下中的至少一个：给定片段中的所述LiDAR数据点覆盖的2D区域、所述给定片段中包含的LiDAR数据点在道路上的百分比、所述给定片段中包含的LiDAR数据点不在道路上的百分比、以及所述给定片段至少部分重叠的车道的总数。

107.根据权利要求102所述的***，其中所述特征包括以下中的至少一个：在道路上比例的差，不在道路上比例的差，区域兼容性，车道兼容性，LiDAR数据点的第一片段至少部分重叠的车道总数与LiDAR数据点的第二片段至少部分重叠的车道总数之间的差，LiDAR数据点的片段之间的高度差或高度距离，掩码兼容性，对象类型分布差和对象类型兼容性。

108.一种存储有指令的非暂时性计算机可读介质，所述指令在由至少一个计算设备执行时，使所述至少一个计算设备执行以下操作：

获取由所述自主车辆的LiDAR***生成的LiDAR数据集；

计算所述LiDAR数据集中的每个点可能处于的对象检测的分布，

使用所述对象检测的分布来创建LiDAR数据点的多个片段，

合并所述LiDAR数据点的多个片段以生成合并片段，以及

基于所述合并片段在由LiDAR数据集定义的点云中检测所述对象；使用所述对象检测来促进至少一个自主驾驶操作。

109.一种用于控制自主车辆的方法，包括：

通过所述计算设备使用所述LiDAR数据集和至少一个图像来检测所述自主车辆附近的对象，所述对象是通过执行以下操作来检测的：

计算所述LiDAR数据集的每个点可能处于的对象检测的分布，

使用所述对象检测的分布来创建LiDAR数据点的多个片段，

合并所述LiDAR数据点的多个片段以生成合并片段；以及

基于所述合并片段中的剩余片段，在由所述LiDAR数据集定义的点云中检测所述对象，所述检测包括获取给定检测掩码和所述合并片段中的给定合并片段的信息；

110.根据权利要求109所述的方法，还包括通过所述计算设备获取在所述LiDAR***的传感器扫过摄像机视场的中心时捕获的至少一个图像，其中除了所述LiDAR数据集之外，还使用所述至少一个图像来检测所述对象。

111.根据权利要求109所述的方法，其中所述至少一个自主驾驶操作包括对象跟踪操作、对象轨迹预测操作、车辆轨迹确定操作或防撞操作。

112.根据权利要求109所述的方法，其中基于以下内容来计算所述对象检测的分布：(a)所述LiDAR数据集的点可以投射到的所述至少一个图像的像素的概率分布，以及(b)所述点没有投射到任何图像检测的概率。

113.根据权利要求109所述的方法，其中所述信息包括以下中的至少一个：表示LiDAR数据集中投射到所述给定检测掩码的点数的P_m，表示形成所述给定合并片段的点数的S_i，表示所述给定合并片段中投射到所述给定检测掩码的点数的P^S _m，所述给定合并片段的高度，所述给定合并片段的长度ls和所述给定合并片段的宽度w_s。

114.根据权利要求109所述的方法，其中所述检测还包括基于所述信息确定至少一个聚类特征。

115.根据权利要求114所述的方法，其中所述至少一个聚类特征包括基于LiDAR数据集中投射到所述给定检测掩码的点数和形成所述给定合并片段的点数而确定的聚类特征U。

116.根据权利要求114所述的方法，其中所述至少一个聚类特征包括基于所述给定合并片段中投射到所述给定检测掩码的点数和LiDAR数据集中投射到所述给定检测掩码的点数而确定的聚类特征V。

117.根据权利要求114所述的方法，其中所述至少一个聚类特征包括表示聚类高度的聚类特征H、表示聚类长度的聚类特征L、表示聚类的长宽比的聚类特征LTW、或表示聚类的LiDAR数据点的柱面卷积(或拟合)分数的聚类特征C。

118.根据权利要求109所述的方法，其中所述检测还包括基于所述至少一个聚类特征来计算投射分数PS。

119.根据权利要求118所述的方法，其中所述投射分数PS是两个或更多个聚类特征的乘积。

120.根据权利要求119所述的方法，其中所述检测还包括使用所述投射分数PS来验证所述给定合并片段是与所述给定检测掩码相关的特定检测对象的一部分。

121.根据权利要求120所述的方法，其中当所述投射分数PS超过阈值或所述投射分数PS的值大于针对点在所述给定检测掩码中的其他合并片段确定的其他投射分数时，证实所述给定合并片段是与所述给定检测掩码相关的特定检测对象的一部分。

122.一种***，包括：

处理器；

获取由所述自主车辆的LiDAR***生成的LiDAR数据集；

使用所述LiDAR数据集和至少一个图像来检测所述自主车辆附近的对象，所述对象通过执行以下操作来检测：

计算所述LiDAR数据集的每个点可能处于的对象检测的分布，

使用所述对象检测的分布来创建LiDAR数据点的多个片段，

合并所述LiDAR数据点的多个片段以生成合并片段，以及

基于所述合并片段在由所述LiDAR数据集定义的点云中检测所述对象，所述检测包括获取给定检测掩码和所述合并片段中的给定合并片段的信息；以及

使用所述对象检测来促进至少一个自主驾驶操作。

123.根据权利要求122所述的***，其中所述编程指令包括获取在所述LiDAR***的传感器扫过摄像机视场的中心时捕获的至少一个图像的指令，其中除了所述LiDAR数据集之外，还使用所述至少一个图像来检测所述对象。

124.根据权利要求122所述的***，其中所述至少一个自主驾驶操作包括对象跟踪操作、对象轨迹预测操作、车辆轨迹确定操作或防撞操作。

125.根据权利要求122所述的***，其中基于以下内容来计算所述对象检测的分布：(a)所述LiDAR数据集的点可以投射到的所述至少一个图像的像素的概率分布，以及(b)所述点没有投射到任何图像检测的概率。

126.根据权利要求122所述的***，其中所述信息包括以下中的至少一个：表示LiDAR数据集中投射到所述给定检测掩码的点数的P_m，表示形成所述给定合并片段的点数的S_i，表示所述给定合并片段中投射到所述给定检测掩码的点数的P^S _m，所述给定合并片段的高度，所述给定合并片段的长度ls和所述给定合并片段的宽度w_s。

127.根据权利要求126所述的***，其中所述检测还包括基于所述信息确定至少一个聚类特征。

128.根据权利要求127所述的***，其中所述至少一个聚类特征包括基于LiDAR数据集中投射到所述给定检测掩码的点数和形成所述给定合并片段的点数而确定的聚类特征U。

129.根据权利要求128所述的***，其中所述至少一个聚类特征包括基于所述给定合并片段中投射到所述给定检测掩码的点数和LiDAR数据集中投射到所述给定检测掩码的点数而确定的聚类特征V。

130.根据权利要求128所述的***，其中所述至少一个聚类特征包括表示聚类高度的聚类特征H、表示聚类长度的聚类特征L、表示聚类的长宽比的聚类特征LTW、或表示聚类的LiDAR数据点的柱面卷积(或拟合)分数的聚类特征C。

131.根据权利要求126所述的***，其中所述检测还包括基于所述至少一个聚类特征来计算投射分数PS。

132.根据权利要求132所述的***，其中所述投射分数PS是两个或更多个聚类特征的乘积。

133.根据权利要求132所述的***，其中所述检测还包括使用所述投射分数PS来验证所述给定合并片段是与所述给定检测掩码相关的特定检测对象的一部分。

134.根据权利要求133所述的***，其中当所述投射分数PS超过阈值或所述投射分数PS的值大于针对点在所述给定检测掩码中的其他合并片段而确定的其他投射分数时，证实所述给定合并片段是与所述给定检测掩码相关的特定检测对象的一部分。

135.一种存储有指令的非暂时性计算机可读介质，所述指令在由至少一个计算设备执行时，使所述至少一个计算设备执行以下操作：

获取由自主车辆的LiDAR***生成的LiDAR数据集；

计算所述LiDAR数据集的每个点可能处于的对象检测的分布，

使用所述对象检测的分布来创建LiDAR数据点的多个片段，

合并所述LiDAR数据点的多个片段以生成合并片段，以及

基于所述合并片段在由所述LiDAR数据集定义的点云中检测所述对象，所述检测包括获取给定检测掩码和所述合并片段中的给定合并片段的信息；和

使用所述对象检测来促进至少一个自主驾驶操作。