CN116348739A - 基于光线投射和语义类图像的地图生成***和方法 - Google Patents

基于光线投射和语义类图像的地图生成***和方法 Download PDF

Info

Publication number
CN116348739A
CN116348739A CN202180072237.9A CN202180072237A CN116348739A CN 116348739 A CN116348739 A CN 116348739A CN 202180072237 A CN202180072237 A CN 202180072237A CN 116348739 A CN116348739 A CN 116348739A
Authority
CN
China
Prior art keywords
data points
point cloud
semantic tag
coordinates
tag class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202180072237.9A
Other languages
English (en)
Other versions
CN116348739B (zh
Inventor
Y-D·简
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ergo Artificial Intelligence Co ltd
Original Assignee
Ergo Artificial Intelligence Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ergo Artificial Intelligence Co ltd filed Critical Ergo Artificial Intelligence Co ltd
Publication of CN116348739A publication Critical patent/CN116348739A/zh
Application granted granted Critical
Publication of CN116348739B publication Critical patent/CN116348739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

提供了用于生成地图的***和方法。该方法包括：由计算设备执行光线投射操作，以生成具有与移动对象相关联的减少数量的数据点的3D点云；由该计算设备为该3D点云的至少一个语义标签类生成2D二进制掩码；由该计算设备确定用于定义至少一个语义标签类的对象的2D体积的x坐标和y坐标；由该计算设备基于2D体积来标识3D点云中的数据点；由该计算设备将标识的数据点的z坐标与为至少一个语义标签类选择的至少一个阈值进行比较；并且由该计算设备通过基于该比较的结果从3D点云中移除数据点来生成地图。

Description

基于光线投射和语义类图像的地图生成***和方法
交叉引用和优先权要求
本专利文件要求2020年10月21日提交的美国专利申请号17/075,827的优先权，将其全部内容通过引用并入本文。
技术领域
本公开总体上涉及地图生成***。更具体地，本公开涉及基于光线投射和语义类图像的地图生成的实现***和方法。
背景技术
现代车辆至少有一台车载计算机，并具有因特网/卫星连接。在这些车载计算机上运行的软件监测和/或控制车辆的操作。该车辆还包括用于检测其附近的对象的激光雷达探测器。激光雷达探测器生成激光雷达数据集，该数据集测量在多个不同时间从车辆到对象的距离。这些距离测量值可用于标识对象、跟踪该对象的运动、对对象轨迹进行预测、并且基于预测的对象轨迹规划车辆的行驶路径。
发明内容
本公开涉及用于生成地图的实现***和方法。该方法包括：由计算设备执行光线投射操作，以生成具有与移动对象相关联的减少数量的数据点的3D点云；由该计算设备为该3D点云的至少一个语义标签类生成2D二进制掩码；由该计算设备确定用于定义至少一个语义标签类(例如，道路或人行道)的对象的2D体积的x坐标和y坐标；由该计算设备基于2D体积来标识3D点云中的数据点；由该计算设备将标识的数据点的z坐标与为至少一个语义标签类选择的至少一个阈值进行比较；并且由该计算设备通过基于该比较的结果从3D点云中移除数据点来生成地图。该地图可以用于控制车辆的操作。
在一些场景中，通过将3D点云的数据点投影到2D平面来生成2D二进制掩码。在2D二进制掩码内以第一格式提供与至少一个语义标签类相关联的数据点，并且在该2D二进制掩码内以第二格式提供与其他语义标签类相关联的数据点。第一格式可以包括第一颜色(例如，白色)，并且第二格式可以包括不同的第二颜色(例如，黑色)。
在那些或其他场景中，标识的数据点包括3D点云中的数据点，该数据点(i)与至少一个语义标签类相关联，并且(ii)具有包含在2D体积中的x坐标和y坐标。将所标识的数据点的z坐标可以与至少一个语义标签类的最小阈值进行比较，并且与该至少一个语义标签类的最大阈值进行比较。如此，从3D点云移除的数据点可以包括z坐标，该z坐标落在由最小阈值和最大阈值定义的范围内。至少两个语义标签类可以具有与其相关联的不同阈值。
附图说明
将参考以下附图来描述本解决方案，其中，在所有附图中相似的附图标记表示相似的项目。
图1是说明性***的图示。
图2是用于车辆的说明性架构的图示。
图3是图2中所示的车辆所采用的激光雷达***的说明性架构的图示。
图4是用于计算设备的说明性架构的图示。
图5A-5B(统称为“图5”)提供了用于地图生成的说明性方法的流程图。
图6提供了说明性组合3D点云的图示。
图7提供了有助于理解光线投射的一个或多个图形。
图8提供了点云的图像。
图9示出了用于道路语义标签类的说明性2D二进制掩码。
图10示出了用于人行道语义标签类的说明性2D二进制掩码。
图11提供了有助于理解根据本解决方案如何实现车辆控制的框图。
具体实施方式
除非上下文另行明确规定，否则在本文中使用的单数形式“一(a)”、“一个(an)”和“所述(the)”包括复数指代。除非另行限定，否则在本文中所用的所有技术和科学术语应理解为具有本领域普通技术人员所通常理解的含义。如本文中所用的术语“包括(comprising)”意指“包括但不限于(including,but not limited to)”。与本文相关的其它术语的定义包含在“具体实施方式”一节的结尾处。
“电子设备”或“计算设备”指包含处理器和存储器的设备。每个设备可具有其自身的处理器和/或存储器，或者处理器和/或存储器可与其他设备共享，如在虚拟机或容器布置中。存储器将包含或接收编程指令，该编程指令在由处理器执行时使得电子设备根据编程指令来执行一个或多个操作。
术语“存储器”、“存储设备”、“数据存储”、“数据存储设施”等分别指在其上存储计算机可读数据、编程指令或这两者的非暂时性设备。除非特别声明，否则术语“存储器”、“存储设备”、“数据存储”、“数据存储设施”等意在包括单个装置的实施例、多个存储设备一起或共同存储一组数据或指令的实施例、以及这种设备内的各个扇区。
术语“处理器”和“处理设备”指电子装置的被配置成执行编程指令的硬件组件。除非特别声明，否则单数术语“处理器”或“处理设备”意在包括单个处理设备的实施例和多个处理设备一起或共同执行过程的实施例。
术语“车辆”指能够运载一个或多个乘员和/或货物并且由任何形式的能量驱动的任何移动形式的运输工具。术语“车辆”包括但不限于汽车、卡车、货车、火车、自动驾驶车辆、飞机、无人驾驶飞机等。“自动驾驶车辆”是具有处理器、编程指令和传动***组件的车辆，这些传动***组件可以由处理器控制，而不需要人类操作员。自动驾驶车辆可以是完全自主的，因为它不需要人类操作员来处理大多数或所有的驾驶状况和功能，或者，自动驾驶车辆可以是半自主的，因为在某些条件下或某些操作可能需要人类操作员，或者人类操作员可以超越车辆的自主***并且可以接管车辆的控制。
在本文件中，当诸如“第一”和“第二”的术语用于修饰名词时，除非特别说明，这种使用仅仅旨在区分一个项目和另一个项目，而不旨在要求顺序次序。此外，相对定位的术语(诸如“垂直”和“水平”，或者“前”和“后”)当使用时，旨在是彼此相对的，而不必是绝对的，并且仅指代与那些术语相关联的设备的一个可能定位，这取决于设备的定向。
本文在自动驾驶车辆(AV)的背景下描述了本解决方案。本解决方案不限于AV应用。本解决方案可以用于需要高清晰度道路/地形地图来控制设备(例如，机器人)的操作的其他应用中。
构建用于自动驾驶的高清晰度道路/地形地图需要使用3D激光扫描仪(例如，激光雷达***)来扫描环境并将3D点云与公共坐标系(例如，xyz坐标系)对齐。对齐的3D点云包含来自静态背景对象的数据点和来自AV周围的移动对象的数据点。为了制作高质量的道路/地形地图，需要在一个或多个3D点云中标识移动对象上的数据点，并从该3D点云中移除这些数据点。在本文件中，提出了一种新颖的技术来解决上述问题。
本解决方案提供了用于地图生成的实现***和方法。***的输入是一个对齐的3D点云。对于3D点云中的每个数据点，原始传感器姿态和语义标签类是已知的。语义标签类可以包括但不限于道路、人行道、行人和/或车辆。可以使用诸如同时定位和映射(SLAM)之类的任何已知技术来实现数据点对齐。每点语义标签类可以通过使用本领域已知的机器学习技术来获得。
该方法通常涉及使用3D激光扫描数据生成高清地图，该高清地图具有使用光线投射和语义类图像从配准的点云中移除的动态点/对象。这些方法通常涉及：从多个有利点或位置获得由3D激光扫描仪(例如，激光雷达***)生成的3D范围数据；使用例如SLAM对齐3D点云；以及组合对齐的3D点云以形成组合的3D点云。接下来，执行光线跟踪操作以测试3D范围数据的任何对象是否在任何时间都是透视的。从与一个或多个透视对象相关联的组合的3D点云中移除数据点，以生成修剪的3D点云。
修剪的3D点云仍然包括由于SLAM结果的误差、车辆姿态的误差、传感器校准的误差、和/或时间同步的误差而与移动对象相关联的数据点。此外，光线投射的误差自然与3D激光扫描仪和正被检测的表面之间的距离成正比。此外，光线投射无法检测和移除与暂时静止的可移动对象(例如，停在街道外的汽车)相关联的数据点。因此，本解决方案涉及额外的基于语义标签的操作，以从修剪的3D点云中移除与移动对象相关联的任何剩余数据点。
执行基于语义标签的操作通常是为了(i)创建语义表面图像和(ii)移除道路和人行道表面上方的数据点。第一任务(i)可以通过将3D数据点投影到2D平面以创建每类二进制图像来实现。对于每个语义标签类，使用类相关启发式来移除道路和人行道上方的数据点，同时仍然保留与地图中的固定结构(例如，建筑物、标志、灯杆等)相关联的数据点。
因此，获得了修剪的3D点云中的数据点的语义标签。接下来，使用修剪的3D点云执行操作，以测试与给定语义标签类(例如，道路和/或人行道)相关联的任何剩余数据点是否具有不落在相应阈值范围内的高度坐标。基于语义标签的操作涉及：(a)获得预定义的图块尺寸(例如，30米乘30米)；(b)选择具有预定义图块尺寸的修剪的3D点云的一部分；(c)处理修剪的3D点云的所选择部分中的数据点，以通过将3D数据点投影到2D平面来为每个语义标签类(例如，道路、人行道等)生成2D二进制掩码(语义标签类的数据点以第一颜色(例如，白色)示出，并且所有其他语义标签类的数据点以不同的第二颜色(例如，黑色)示出))；(d)选择2D二进制掩码中的一个；处理选择的2D二进制掩码以确定用于定义给定语义标签类(例如，道路或人行道)的对象的2D体积的x坐标和y坐标；(e)标识修剪的3D点云中的数据点，这些数据点(i)与2D二进制掩码具有相同的语义标签类(例如，道路或人行道)并且(ii)具有包含在2D体积中的x坐标/y坐标；(f)将所标识的数据点的z坐标与最小阈值和最大阈值进行比较(该阈值是针对相应语义标签类(例如，道路或人行道)预定义的)；(g)标记用于移除的数据点，这些数据点具有小于该最小阈值且大于该最大阈值的z坐标；(h)对下一个2D二进制掩码重复操作(d)-(g)；并且对于具有预定义图块尺寸的修剪的3D点云的下一部分重复(c)-(h)。通过从修剪的3D点云中移除标记为移除的数据点来生成最终的3D点云。
最终的3D点云可以在各种应用中使用。这些应用包括但不限于AV应用、半自动驾驶汽车应用和/或机器人应用。下面将结合AV来描述本解决方案。本解决方案在这方面不受限制。
说明性实现***
现在参考图1，提供了说明性***100的图示。***100包括车辆1021，该车辆以半自主或自主的方式沿着道路行驶。车辆1021在本文中也被称为AV。AV 1021可以包括但不限于陆地车辆(如图1所示)、飞机或船只。
AV 1021通常被配置为检测其附近的对象1022、114、116。这些对象可以包括但不限于车辆1022、骑自行车的人114(如自行车、电动滑板车、摩托车等的骑车人)和/或行人116。对象检测是根据任何已知的或将要已知的对象检测过程来实现的。对象检测过程可以在AV1021处、在远程计算设备110处、或者部分地在AV 1021和远程计算设备110处执行。因此，与对象检测相关的信息可以经由网络108(例如，互联网、蜂窝网络和/或无线电网络)在AV和远程计算设备110之间进行传送。对象检测相关信息也可以被存储在数据库112中。
当进行这样的对象检测时，AV 1021执行以下操作以：为检测到的对象生成一个或多个可能的对象轨迹；并且分析所生成的可能的对象轨迹中的至少一个，以确定如果AV要遵循给定的轨迹，则在AV和对象之间是否会发生碰撞的概率是否是非期望的。给定的车辆轨迹由AV 1021使用根据本解决方案产生的高清地图生成。使用3D激光扫描数据生成该高清地图，该高清地图具有经由光线投射和语义类图像从配准的点云中移除的动态点/对象。随着讨论的进行，高清地图的产生方式将变得更加明显。
如果AV要遵循给定的轨迹，则在AV和对象之间发生碰撞的概率不是非期望的，则使AV 1021遵循给定的车辆轨迹。如果AV要遵循给定的轨迹，则在AV和对象之间会发生碰撞的概率是非期望的，则使AV 1021(i)遵循与对象碰撞的概率相对较低的另一车辆轨迹或(ii)执行操纵以降低与对象碰撞或避免与对象碰撞(例如，刹车和/或改变行驶方向)的概率。
现在参考图2，提供了针对车辆的说明性***架构200的图示。图1的车辆1021和/或1022可以具有与图2所示相同或相似的***架构。因此，***架构200的以下论述足以理解图1的车辆1021和1022。
如图2所示，车辆200包括发动机或马达202和用于测量车辆的各种参数的各种传感器204-218。在具有燃料驱动的发动机的燃气动力或混合动力车辆中，传感器例如可以包括发动机温度传感器204、电池电压传感器206、发动机每分钟转数(RPM)传感器208和节气门定位传感器210。如果车辆是电动车辆或混合动力车辆，那么车辆可以具有电动机，并且相应地会具有诸如电池监测***212(用于测量电池的电流、电压和/或温度)传感器、马达电流214和电压216传感器、以及马达定位传感器(例如，解算器和编码器218)等。
两种类型的车辆所共有的运行参数传感器例如包括：定位传感器236、如加速度计、陀螺仪和/或惯性测量单元、速度传感器238以及里程表传感器240。该车辆还可以具有时钟242，***在运行期间使用该时钟来确定车辆时间。时钟242可以被编码到车辆的车载计算设备中，该时钟可以是独立装置，或者也可以有多个时钟。
该车辆还会包括用于收集关于车辆的行驶环境的信息的各种传感器。这些传感器例如可以包括：位置传感器260(例如，全球定位***(GPS)设备)、对象检测传感器，(例如，一个或多个摄像头262)、激光雷达***264、和/或雷达/声纳***266。传感器还可以包括环境传感器268，如降雨传感器和/或环境温度传感器。对象检测传感器可以使车辆能够检测任何方向上在车辆200的给定距离范围内的对象，同时该环境传感器收集关于车辆的行驶区域内的环境条件的数据。
在操作期间，信息被从传感器传送至车载计算设备220。车载计算设备220分析由传感器采集的数据，并可选地基于分析结果控制车辆的操作。例如，车载计算设备220可以经由制动控制器232控制制动；经由转向控制器224控制方向；经由节气门控制器226(在燃气动力车辆中)或马达速度控制器228(如，电动车辆中的电流水平控制器)、差速齿轮控制器230(在具有变速器的车辆中)、和/或其它传感器控制速度和加速度。
可以将地理位置信息从位置传感器260传送至车载计算设备220，车载计算设备然后可以访问与位置信息对应的环境地图，以确定环境的已知固定特征，如街道、建筑物、停止标志和/或停止/通行信号灯。从摄像头262采集的图像和/或从传感器(例如，激光雷达***264)采集的对象检测信息被传送至车载计算设备220。车载计算设备220处理对象检测信息和/或采集的图像，以检测车辆200附近的对象。对象检测是根据任何已知的或将要已知的对象检测技术来实现的。
在车载计算设备220检测到移动对象时，该车载计算设备220会为检测到的对象生成一个或多个可能的对象轨迹，并且分析可能的对象轨迹以评估如果AV遵循给定的车辆轨迹，则该对象与AV之间碰撞的概率。如果不存在碰撞的概率，则使AV遵循给定的车辆轨迹。如果有碰撞的概率，则可以生成替代的车辆轨迹和/或使AV执行特定的操纵(例如，制动、加速和/或改变行驶方向)。使用根据本解决方案创建的高清地图来生成车辆轨迹。随着讨论的进行，高清地图的创建方式将变得很明显。
现在参考图3，提供了说明性激光雷达***300的图示。图2的激光雷达***264可以与激光雷达***300相同或基本相似。如此，对激光雷达***300的讨论足以理解图2的激光雷达***264。
如图3所示，激光雷达***300包括壳体306，壳体可以是可围绕中心轴(例如，轮毂或轴316)旋转360°的。壳体可以包括由透光材料制成的发射器/接收器孔径312。尽管在图2中示出了单个孔径，但是本解决方案在这方面不受限制。在其他场景中，可以提供用于发射和/或接收光的多个孔径。无论采用哪种方式，在壳体306围绕内部组件旋转时，该激光雷达***300可以通过一个或多个孔径312发射光，并且接收朝向一个或更多个孔径211返回的反射光。在替代场景中，壳体306的外壳可以是至少部分由透光材料制成的固定圆顶(dome)，其中在壳体306内部具有可旋转组件。
在旋转壳或固定圆顶内设有光发射器***304，该光发射器***被配置和定位成经由一个或多个激光发射器芯片或其它发光设备产生光脉冲，并穿过孔径312或穿过壳体306的透明圆顶发射该光脉冲。发射器***304可以包括任何数量的独立发射器，(例如，8个发射器、64个发射器或128个发射器)。发射器可以发射具有基本上相同或不同强度的光。由光发射器***304发射的各个光束会具有明确限定的偏振状态，该偏振状态对于整个阵列是不相同的。例如，一些光束可以具有垂直偏振，而其他光束可以具有水平偏振。激光雷达***还会包括光检测器308，该光检测器包含被定位和配置成接收反射回***的光的光电检测器或光电检测器阵列。发射器***304和光检测器308会随着旋转壳旋转，或者它们会在壳体306的固定圆顶内旋转。在发光单元304和/或光检测器308的前面可以定位一个或多个光学元件结构310，作为聚焦和引导穿过光学元件结构310的光的一个或多个透镜或波片。
在镜面312的前面可以定位一个或多个光学元件结构310，以聚焦和引导穿过光学元件结构310的光。如下文所示，***包括定位于镜面312的前面的光学元件结构310，该光学元件结构连接至***的旋转元件，从而光学元件结构310与镜面312一起旋转。可替代地或另外地，光学元件结构310可以包括多个这样的结构(例如，透镜和/或波片)。可选地，多个光学元件结构310可以在壳体306上排列成阵列或者与壳体306集成。
可选地，每个光学元件结构310可以包括分束器，该分束器将***接收的光与***产生的光分开。分束器例如可以包括四分之一波长或半波长波片，以进行分离并确保接收到的光被引导到接收器单元而不是被引导到发射器***(在没有这种波片的情况下会发生这种情况，因为发射光和接收光应表现出相同或相似的偏振)。
该激光雷达***将包括为发光单元304供电的供电单元318、马达316以及其他电子组件。该激光雷达***还会包括分析器314，该分析器具有诸如处理器322和包含编程指令的非暂时性计算机可读存储器320，该编程指令被配置成使得***能够接收由光检测器单元收集的数据，对该数据进行分析以测量接收到的光的特性，并且生成可以由连接的***用于做出关于在收集数据的环境中操作的决策的信息。可选地，分析器314可以如图所示地与激光雷达***300集成，或者可以部分地或全部位于激光雷达***外部，并且经由有线或无线通信网络或链路与激光雷达***通信连接。
现在参考图4，提供了计算设备400的说明性架构的图示。图1的计算设备110和/或图2的车载计算设备220与计算设备400相同或相似。如此，对计算设备400的讨论足以理解图1的计算设备110和图2的车载计算设备220。
计算设备400可以包括比图4所示的组件更多或更少的组件。然而，所示出的组件足以披露实施本解决方案的说明性解决方案。图4的硬件架构表示被配置为操作车辆的代表性计算设备的一种实现方式，如本文所述。如此，图4的计算设备400实现本文所描述的一个或多个方法的至少一部分。
计算设备400的一些或全部组件可以被实施为硬件、软件和/或硬件和软件的组合。硬件包括但不限于一个或多个电子电路。电子电路可以包括但不限于无源组件(例如，电阻器和电容器)和/或有源组件(例如，放大器和/或微处理器)。无源和/或有源组件可以被适配为、被布置为和/或被编程为执行本文所描述的方法、过程或功能中的一个或多个。
如图4所示，计算设备400包括用户接口402、中央处理单元(CPU)406、***总线410、通过***总线410连接至计算设备400的其他部分且可被计算设备的其他部分访问的存储器412、***接口460、以及连接至***总线410的硬件实体414。用户接口可以包括输入设备和输出设备，该输入设备和输出设备促进用于控制计算设备400的操作的用户-软件交互。输入设备包括但不限于物理键盘和/或触摸键盘450。输入设备可以经由有线或无线连接(例如，
Figure BDA0004191213840000091
连接)连接至计算设备400。输出设备包括但不限于扬声器452、显示器454和/或发光二极管456。***接口460被配置成促进去往或来自外部设备(例如，诸如接入节点等网络节点)的有线或无线通信。
至少一些硬件实体414执行涉及访问和使用存储器412的动作，该存储器412可以是随机存取存储器(RAM)、磁盘驱动器、闪存、光盘只读存储器(CD-ROM)和/或能够存储指令和数据的另一硬件设备。硬件实体414可以包括磁盘驱动单元416，该磁盘驱动单元包括计算机可读存储介质418，在计算机可读存储介质上存储有被配置成实施在本文所描述的方法、过程或功能中的一个或多个的一组或者多组指令420(例如，软件代码)。指令420还可以在被计算设备400执行期间完全或至少部分地驻留在存储器412内和/或CPU 406内。存储器412和CPU 406也可以构成机器可读介质。如本文所使用的，术语“机器可读介质”是指存储所述一组或多组指令420的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的高速缓存和服务器)。如本文所使用的，术语“机器可读介质”还指能够存储、编码或承载用于由计算设备400执行的一组指令420并且使计算设备400执行本公开内容的任何一种或多种方法的任何介质。
现在参考图5，提供了用于地图生成的说明性方法500的流程图。图5A所示，方法500从502开始并继续到504，其中3D范围数据由计算设备(例如，图1的计算设备100、图1的220和/或图4的400)获得。3D范围数据由3D激光扫描仪(例如，图2的激光雷达***264和/或图3的300)从多个有利点或位置生成。为每个有利点或位置提供3D点云。在506中，计算设备将3D点云彼此对齐。这种点云对齐可以使用任何已知或将要已知的技术来实现。例如，使用同步定位和映射(SLAM)来对齐3D点云，这是一种众所周知的数据点对齐技术。在508中，对齐的3D点云由计算设备组合以形成组合的3D点云中。提供了图6中的说明性组合3D点云600的图示。
在510中，计算设备获得指定已知姿态、3D激光扫描仪的已知有利点/位置、以及已知3D激光扫描仪校准参数的信息。该姿态包括被定义为3D地图坐标的位置、3D激光扫描仪所设置的车辆或其他结构的角度和指向方向。该信息可以从数据存储器(例如，图1的数据存储器112和/或图4的存储器412)获得。
接下来，计算设备执行光线跟踪操作以测试3D范围数据的任何对象是否在任何时间都是透视的。静止对象(例如，建筑物)在任何时候都不是透视的，但移动对象上的数据点在给定时间是透视的。光线追踪技术在本领域中是众所周知的。本文可以使用任何已知的或将要已知的光线跟踪技术。在一些场景中，执行512-516的光线跟踪操作。在512中，计算设备为每个3D点云创建3D单元格的体素网格(称为“体素”)。体素网格是众所周知的。3D点云的单个数据点包含在给定的3D单元格中。包括数据点的体素被称为被占用的体素，而不存在任何数据点的体素则被称为未占用的体素。
514涉及使用在510中获得的信息(即，已知姿态、3D激光扫描仪的已知有利点/位置、以及已知3D激光扫描仪校准参数)对每个3D点云的激光束进行建模。通过定义从3D激光扫描仪的已知位置到其中的每个数据点的视线，为每个3D点云建模激光束。在图7中提供了示出了说明性视线712、714、716、718、720、738、740、742的图示。在图7中仅示出了x轴和y轴。为了便于讨论，在图7中没有示出z轴。
在图7的部分(A)中，示出了多个数据点702、704、706、708、710。图7(A)的箭头700指向图上的位置，该位置表示当生成数据点702、704、706、708、710时3D激光扫描仪的第一有利点/位置。视线712从3D激光扫描仪的第一有利点/位置700延伸到数据点702。视线714从3D激光扫描仪的第一有利点/位置700延伸到数据点704。视线716从3D激光扫描仪的第一有利点/位置700延伸到数据点706。视线718从3D激光扫描仪的第一有利点/位置700延伸到数据点708。视线720从3D激光扫描仪的第一有利点/位置延伸到数据点710。
在图7的部分(B)中，示出了多个数据点732、734、736。图7(B)的箭头730指向图上的位置，该位置表示当生成数据点732、734、736时3D激光扫描仪的第二有利点/位置。视线738从3D激光扫描仪的第二有利点/位置延伸到数据点702。视线714从3D激光扫描仪的第一有利点/位置730延伸到数据点732。视线740从3D激光扫描仪的第一有利点/位置730延伸到数据点734。视线742从3D激光扫描仪的第一有利点/位置730延伸到数据点736。本解决方案不限于图7的细节。
在516中，计算设备使用在512中创建的体素网格和在514中创建的建模激光束来执行标识静态占用的体素、动态占用的体素和未占用的体素的操作。未占用的体素包括不存在任何数据点的体素。静态占用的体素包括数据点，单个3D点云的视线通过该数据点。例如，在图7中，静态占用的体素包括包含数据点702、704、706、710、732、734、736的体素。例如，这些数据点可以与一个或多个建筑物、一棵或多棵树和/或一个或多个标志相关联。动态占用的体素包括包含数据点的体素，至少两个3D点云的视线通过这些数据点。例如，在图7中，动态占用的体素包括包含数据点708的体素，因为部分(A)的视线718和部分(B)的视线740都与相同的对象相交。例如，数据点708可以与移动车辆(例如，图1的车辆1022)、行人(例如，图1的行人116)或骑自行车的人(例如，图1的骑自行车的人114)相关联。通过穿过体素网格遍历视线712-720、738-742来标识静态占用的体素和动态占用的体素。本解决方案不限于这些示例的细节。
再次参考图，5A，方法500继续到518，其中计算设备执行从组合的3D点云中移除与动态占用的体素相关联的数据点的操作以生成修剪的3D点云。在图8中示出了说明性的修剪的3D点云800。随后，方法500继续图5B的语义标签类操作，以进一步从修剪的3D点云中移除与移动对象相关联的数据点。
如图5B所示，520涉及由计算设备从数据存储器(例如，图1的数据存储器112和/或图4的存储器412)获得修剪的3D点云的语义标签。数据点的语义标签是众所周知的。语义标签可以包括但不限于无数据、未标记、道路、人行道、建筑物、围栏、植被、地形、车辆、人、动物和/或标志。修剪的3D点云的每个数据点都具有与其相关联的语义标签。然后在操作522-540中使用语义标签以及修剪的3D点云来测试给定语义标签类(例如，道路和/或人行道)的任何剩余数据点是否位于给定表面上方特定距离。
操作522-526涉及：从数据存储器获得预定义的图块尺寸(例如，30米乘30米)；选择具有预定义图块尺寸的修剪的3D点云的一部分(例如，图8的部分802)；并且处理修剪的3D点云的所选择部分中的数据点以生成用于相关的每个语义标签类(例如，道路和人行道)的2D二进制掩码。
在一些场景中，为道路语义标签类和人行道语义标签类创建2D二进制掩码。在图9中提供了用于道路语义标签类的说明性2D二进制掩码900。2D二进制掩码900是通过将修剪的3D点云的所选择部分的3D数据点投影到2D平面来创建的。与道路相关联的数据点以第一颜色(例如，白色)示出，而所有其他数据点以不同的第二颜色(例如，黑色)示出。在图10中提供了用于人行道语义标签类的说明性2D二进制掩码1000。2D二进制掩码1000是通过将修剪的3D点云的所选择部分的3D数据点投影到2D平面来创建的。与人行道相关联的数据点以第一颜色(例如，白色)示出，而所有其他数据点以不同的第二颜色(例如，黑色)示出。本解决方案不限于图9-10的细节。
再次参考图5B，方法500继续到528，其中计算设备选择2D二进制掩码中的一个用于后续处理。然后，计算设备在530中处理选择的2D二进制掩码，以确定用于定义给定语义标签类(例如，道路或人行道)的对象的2D体积的x坐标和y坐标。接下来在532中，计算设备标识修剪的3D点云中的数据点，这些数据点(i)与2D体积定义的对象具有相同的语义标签类(例如，道路或人行道)，并且(ii)具有2D体积中包含的x坐标/y坐标。
在534中将每个标识的数据点的z坐标与最小阈值和最大阈值进行比较。这些阈值是为多个语义标签类中的各个语义标签类(例如，道路或人行道)预定义的。语义标签类可以具有与其相关联的一个或多个相同或不同的阈值。在536中，基于比较操作的结果可选地标记数据点以供移除。例如，其z坐标大于最小阈值(0.3米)且小于最大阈值(道路表面为4.5米，并且人行道表面为2.5米)的数据点被标记为移除。
对一个或多个的下一个2D二进制掩码重复530-536的操作，如538所示。此外，对于修剪的3D点云的一个或多个下一部分重复操作526-538，如540所示。在542中，从修剪的3D点云中移除数据点以生成最终的3D点云。在图8中示出了最终的3D点云804的图示。3D点云804不存在或具有减少数量的与移动对象相关联的数据点。值得注意的是，驻留在道路和/或人行道上方的固定结构(例如，树木和固定装置)的数据点已被保留在最终的3D点云804中。最终的3D点云定义了一个高清地图。随后，在方法500结束或执行其他处理的地方执行544(例如，返回到图5A的502)。
如上所述，高清地图可以由AV用于对象轨迹预测、车辆轨迹生成和/或碰撞避免。图11中提供了框图，该框图有助于理解根据本解决方案如何实现车辆控制。图11中执行的所有或一些操作可以由车辆(例如，图1的AV 1021)的车载计算设备和/或远程计算设备(例如，图1的计算设备110)执行。
在框1102中，检测车辆的位置。该检测可以基于从车辆的位置传感器(例如，图2的位置传感器260)输出的传感器数据来进行。该传感器数据可以包括但不限于GPS数据。指定检测到的车辆位置的信息1120然后被传递到框1106。
在框1104中，在车辆附近检测到对象。该检测基于从车辆的摄像头(例如，图2的摄像头262)输出的传感器数据来进行。本文可以使用任何已知的或将要已知的对象检测技术。关于检测到的对象1122的信息被传递到框1106。该信息包括但不限于对象的定位、对象的方位、对象的空间范围、对象的初始预测轨迹、对象的速度、和/或对象的分类。初始预测的对象轨迹可以包括但不限于指向对象的航向方向的线性路径。可以使用根据上述方法500生成的高清地图1126(或最终3D点云)来生成对象的初始预测轨迹。
在框1106中，使用来自框1102和1104的信息以及高清地图1126来生成车辆轨迹。用于确定车辆轨迹的技术在本领域中是众所周知的。用于确定车辆轨迹的任何已知或将要已知的技术都可以在本文中使用。例如，在一些场景中，这种技术涉及确定AV的轨迹，当对象在AV前面时，该轨迹传递该对象，该对象具有与AV移动的方向对齐的航向方向，并且该对象具有大于阈值的长度。本解决方案不限于该场景的细节。可以基于位置信息1120、对象检测信息1122和/或存储在车辆的数据存储器中的高清地图1126来确定车辆轨迹1124。车辆轨迹1124可以表示平滑路径，该平滑路径不具有突然变化，否则会给乘客带来不适。例如，车辆轨迹由沿着道路的给定车道的行驶路径定义，在该道路中，对象在给定的时间量内没有按照预测的行驶路径行驶。车辆轨迹1124随后被提供给框1108。
在框1108中，基于车辆轨迹1124生成转向角和速度命令。转向角和速度命令被提供给用于车辆动力学控制的框1110。车辆动力学控制是众所周知的。车辆动力学控制使得车辆遵循车辆轨迹1124。
尽管本解决方案已经关于一种或多种实施方式被展示并且描述，但在阅读和理解本说明书和附图之后，本领域普通技术人员将想到等效改变和修改。另外，虽然本解决方案的特征相对于只是几种实施方式中的一种可能已被披露，当针对任何给定的或特定的应用是期望的并且有利时，这样的特征可以与其他实施方式的一个或多个其他特征结合。因此，本解决方案的广度和范围不应受以上描述的实施例中任何一个的限制。而是，本解决方案的范围应根据所附权利要求及其等效物来限定。

Claims (21)

1.一种用于生成地图的方法，包括：
由计算设备执行光线投射操作，以生成具有与移动对象相关联的减少数量的数据点的3D点云；
由所述计算设备为所述3D点云的至少一个语义标签类生成2D二进制掩码；
由所述计算设备确定用于定义所述至少一个语义标签类的对象的2D体积的x坐标和y坐标；
由所述计算设备基于所述2D体积来标识所述3D点云中的数据点；
由所述计算设备将所标识的数据点的z坐标与为所述至少一个语义标签类选择的至少一个阈值进行比较；并且
由所述计算设备通过基于所述比较的结果从所述3D点云中移除数据点来生成所述地图。
2.根据权利要求1所述的方法，其中，所述3D点云的至少一个语义标签类包括道路或人行道。
3.根据权利要求1所述的方法，其中，通过将所述3D点云的数据点投影到2D平面来生成所述2D二进制掩码。
4.根据权利要求3所述的方法，其中，在所述2D二进制掩码内以第一格式提供与所述至少一个语义标签类相关联的数据点，并且在所述2D二进制掩码内以第二格式提供与其他语义标签类相关联的数据点。
5.根据权利要求4所述的方法，其中，所述第一格式包括第一颜色，并且所述第二格式包括不同的第二颜色。
6.根据权利要求1所述的方法，其中，所标识的数据点包括所述3D点云中的数据点，所述数据点(i)与所述至少一个语义标签类相关联，并且(ii)具有包含在所述2D体积中的x坐标和y坐标。
7.根据权利要求1所述的方法，其中，将所标识的数据点的z坐标与所述至少一个语义标签类的最小阈值进行比较，并与所述至少一个语义标签类的最大阈值进行比较。
8.根据权利要求7所述的方法，其中，从所述3D点云移除的所述数据点包括具有z坐标，所述z坐标落在由所述最小阈值和所述最大阈值定义的范围内。
9.根据权利要求1所述的方法，其中，至少两个语义标签类具有与其相关联的不同阈值。
10.根据权利要求1所述的方法，还包括使用所述地图来控制车辆的操作。
11.一种***，包括：
处理器；
非暂时性计算机可读存储介质，包括编程指令，所述编程指令被配置为使所述处理器实现用于生成地图的方法，其中所述编程指令包括用于以下操作的指令：
执行光线投射操作，以生成具有与移动对象相关联的减少数量的数据点的3D点云；
为所述3D点云的至少一个语义标签类生成2D二进制掩码；
确定用于定义所述至少一个语义标签类的对象的2D体积的x坐标和y坐标；
基于所述2D体积来标识所述3D点云中的数据点；
将所标识的数据点的z坐标与为所述至少一个语义标签类选择的至少一个阈值进行比较；并且
通过基于所述比较的结果从所述3D点云中移除数据点来生成所述地图。
12.根据权利要求11所述的***，其中，所述3D点云的至少一个语义标签类包括道路或人行道。
13.根据权利要求11所述的***，其中，通过将所述3D点云的数据点投影到2D平面来生成所述2D二进制掩码。
14.根据权利要求13所述的***，其中，在所述2D二进制掩码内以第一格式提供与所述至少一个语义标签类相关联的数据点，并且在所述2D二进制掩码内以第二格式提供与其他语义标签类相关联的数据点。
15.根据权利要求14所述的***，其中，所述第一格式包括第一颜色，并且所述第二格式包括不同的第二颜色。
16.根据权利要求11所述的***，其中，所标识的数据点包括所述3D点云中的数据点，所述数据点(i)与所述至少一个语义标签类相关联，并且(ii)具有包含在所述2D体积中的x坐标和y坐标。
17.根据权利要求11所述的***，其中，将所标识的数据点的z坐标与所述至少一个语义标签类的最小阈值进行比较，并与所述至少一个语义标签类的最大阈值进行比较。
18.根据权利要求17所述的***，其中，从所述3D点云移除的所述数据点包括具有z坐标，所述z坐标落在由所述最小阈值和所述最大阈值定义的范围内。
19.根据权利要求11所述的***，其中，至少两个语义标签类具有与其相关联的不同阈值。
20.根据权利要求11所述的***，其中，所述编程指令还包括使得基于所述地图控制车辆的操作的指令。
21.一种计算机程序产品，包括存储器和编程指令，所述编程指令被配置为使处理器：
执行光线投射操作，以生成具有与移动对象相关联的减少数量的数据点的3D点云；
为所述3D点云的至少一个语义标签类生成2D二进制掩码；
确定用于定义所述至少一个语义标签类的对象的2D体积的x坐标和y坐标；
基于所述2D体积来标识所述3D点云中的数据点；
将所标识的数据点的z坐标与为所述至少一个语义标签类选择的至少一个阈值进行比较；并且
通过基于所述比较的结果从所述3D点云中移除数据点来生成所述地图。
CN202180072237.9A 2020-10-21 2021-10-07 基于光线投射和语义类图像的地图生成***和方法 Active CN116348739B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/075,827 US11657572B2 (en) 2020-10-21 2020-10-21 Systems and methods for map generation based on ray-casting and semantic class images
US17/075,827 2020-10-21
PCT/US2021/053901 WO2022086714A1 (en) 2020-10-21 2021-10-07 Systems and methods for map generation based on ray-casting and semantic class images

Publications (2)

Publication Number Publication Date
CN116348739A true CN116348739A (zh) 2023-06-27
CN116348739B CN116348739B (zh) 2024-07-16

Family

ID=81185221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180072237.9A Active CN116348739B (zh) 2020-10-21 2021-10-07 基于光线投射和语义类图像的地图生成***和方法

Country Status (4)

Country Link
US (1) US11657572B2 (zh)
EP (1) EP4232780A1 (zh)
CN (1) CN116348739B (zh)
WO (1) WO2022086714A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220155096A1 (en) * 2020-11-16 2022-05-19 Waymo Llc Processing sparse top-down input representations of an environment using neural networks
US11755688B2 (en) * 2021-03-30 2023-09-12 Singulos Research Inc. Apparatus and method for generating training data for a machine learning system
US11948381B2 (en) * 2021-08-20 2024-04-02 Motional Ad Llc Determining object mobility parameters using an object sequence
CN114972470B (zh) * 2022-07-22 2022-11-18 北京中科慧眼科技有限公司 基于双目视觉的路面环境获取方法和***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271893A (zh) * 2018-08-30 2019-01-25 百度在线网络技术（北京）有限公司 一种仿真点云数据的生成方法、装置、设备及存储介质
US20190287254A1 (en) * 2018-03-16 2019-09-19 Honda Motor Co., Ltd. Lidar noise removal using image pixel clusterings
US20190286915A1 (en) * 2018-03-13 2019-09-19 Honda Motor Co., Ltd. Robust simultaneous localization and mapping via removal of dynamic traffic participants
WO2020035661A1 (en) * 2018-08-13 2020-02-20 Imperial College Of Science, Technology And Medicine Mapping object instances using video data
US20200217964A1 (en) * 2019-01-03 2020-07-09 DeepMap Inc. Removal of ephemeral points from point cloud of a high-definition map for navigating autonomous vehicles
WO2020154967A1 (en) * 2019-01-30 2020-08-06 Baidu.Com Times Technology (Beijing) Co., Ltd. Map partition system for autonomous vehicles

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140037189A1 (en) * 2012-08-02 2014-02-06 Qualcomm Incorporated Fast 3-D point cloud generation on mobile devices
GB2532948B (en) * 2014-12-02 2021-04-14 Vivo Mobile Communication Co Ltd Object Recognition in a 3D scene
EP3333538B1 (en) * 2016-12-07 2020-09-09 Hexagon Technology Center GmbH Scanner vis
US10824862B2 (en) * 2017-11-14 2020-11-03 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals
CN110622213B (zh) * 2018-02-09 2022-11-15 百度时代网络技术（北京）有限公司 利用3d语义地图进行深度定位和分段的***和方法
US11157527B2 (en) 2018-02-20 2021-10-26 Zoox, Inc. Creating clean maps including semantic information
CN111095291B (zh) * 2018-02-27 2024-04-09 辉达公司 由自动驾驶车辆实时检测车道和边界
US11041730B2 (en) 2018-03-02 2021-06-22 DeepMap Inc. Reverse rendering of an image based on high definition map data
US11221413B2 (en) * 2018-03-14 2022-01-11 Uatc, Llc Three-dimensional object detection
US11127203B2 (en) * 2018-05-16 2021-09-21 Samsung Electronics Co., Ltd. Leveraging crowdsourced data for localization and mapping within an environment
US10839530B1 (en) * 2018-09-04 2020-11-17 Apple Inc. Moving point detection
EP3783385A1 (en) * 2019-08-23 2021-02-24 Leica Geosystems AG Combined point cloud generation using a stationary laser scanner and a mobile scanner
US11302065B2 (en) 2019-12-17 2022-04-12 Woven Planet North America, Inc. Systems and methods for filtering sensor data to remove data points associated with ephemeral objects
EP4115392A4 (en) * 2020-03-04 2023-08-23 Magic Leap, Inc. SYSTEMS AND PROCESSES FOR EFFICIENT GENERATION OF FLOOR PLANS FROM 3D SCANS OF INTERIOR SCENES

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190286915A1 (en) * 2018-03-13 2019-09-19 Honda Motor Co., Ltd. Robust simultaneous localization and mapping via removal of dynamic traffic participants
US20190287254A1 (en) * 2018-03-16 2019-09-19 Honda Motor Co., Ltd. Lidar noise removal using image pixel clusterings
WO2020035661A1 (en) * 2018-08-13 2020-02-20 Imperial College Of Science, Technology And Medicine Mapping object instances using video data
CN109271893A (zh) * 2018-08-30 2019-01-25 百度在线网络技术（北京）有限公司 一种仿真点云数据的生成方法、装置、设备及存储介质
US20200217964A1 (en) * 2019-01-03 2020-07-09 DeepMap Inc. Removal of ephemeral points from point cloud of a high-definition map for navigating autonomous vehicles
WO2020154967A1 (en) * 2019-01-30 2020-08-06 Baidu.Com Times Technology (Beijing) Co., Ltd. Map partition system for autonomous vehicles

Also Published As

Publication number Publication date
US20220122324A1 (en) 2022-04-21
CN116348739B (zh) 2024-07-16
EP4232780A1 (en) 2023-08-30
US11657572B2 (en) 2023-05-23
WO2022086714A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
CN116348739B (zh) 基于光线投射和语义类图像的地图生成***和方法
US11042758B2 (en) Vehicle image generation
CN115698637B (zh) 执行关于自动驾驶车辆的演进参考路径的轨迹间重新线性化的方法和***
WO2022165498A1 (en) Methods and system for generating a lane-level map for an area of interest for navigation of an autonomous vehicle
US11977440B2 (en) On-board feedback system for autonomous vehicles
US20230123184A1 (en) Systems and methods for producing amodal cuboids
EP4148599A1 (en) Systems and methods for providing and using confidence estimations for semantic labeling
US20220221585A1 (en) Systems and methods for monitoring lidar sensor health
US12044779B2 (en) Methods and system for analyzing dynamic lidar point cloud data
US20220212694A1 (en) Methods and systems for generating a longitudinal plan for an autonomous vehicle based on behavior of uncertain road users
US11919546B2 (en) Systems and methods for estimating cuboids from LiDAR, map and image data
US20230401680A1 (en) Systems and methods for lidar atmospheric filtering background
US20230237793A1 (en) False track mitigation in object detection systems
US20230150543A1 (en) Systems and methods for estimating cuboid headings based on heading estimations generated using different cuboid defining techniques
US20220067399A1 (en) Autonomous vehicle system for performing object detections using a logistic cylinder pedestrian model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant