CN113822332A - 路沿数据标注方法及相关***、存储介质 - Google Patents

路沿数据标注方法及相关***、存储介质 Download PDF

Info

Publication number
CN113822332A
CN113822332A CN202110932824.2A CN202110932824A CN113822332A CN 113822332 A CN113822332 A CN 113822332A CN 202110932824 A CN202110932824 A CN 202110932824A CN 113822332 A CN113822332 A CN 113822332A
Authority
CN
China
Prior art keywords
feature point
road edge
feature
laser
point set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110932824.2A
Other languages
English (en)
Inventor
白东峰
曹彤彤
刘冰冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110932824.2A priority Critical patent/CN113822332A/zh
Publication of CN113822332A publication Critical patent/CN113822332A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种路沿数据标注方法及相关***、存储介质，该方法包括：获取自车的车***姿数据序列以及包含所述自车周边环境信息的激光点云数据序列，并根据所述车***姿数据序列和所述激光点云数据序列得到激光高精度地图；根据所述激光高精度地图和所述激光点云数据序列得到路沿特征点集；对所述路沿特征点集中的每个特征点进行处理，得到包含多个路沿实例的路沿地图；根据所述路沿地图、所述激光点云数据序列和所述车***姿数据序列，得到所述激光点云数据序列中每帧激光点云数据对应的路沿特征标注数据。采用该手段，可以提高路沿数据生成效率。

Description

路沿数据标注方法及相关***、存储介质
技术领域
本申请涉及数据处理技术领域，尤其涉及一种路沿数据标注方法及相关***、存储介质。
背景技术
对于无人驾驶平台及高级辅助驾驶***(Advanced Driving AssistanceSystem,ADAS)而言，环境感知***是智能车辆平台与周围交通场景的交互端口，也是智能车辆平台运动决策、规划控制***的前端输入。环境感知***的性能直接决定了无人驾驶平台、ADAS执行驾驶任务的稳定性。近几年以来以深度卷积神经网络(ConvolutionalNeural Networks,CNN)为例，在环境感知***中数据驱动的感知算法在无人驾驶领域得到了广泛应用，而目前绝大部分数据驱动的感知算法需要事先标注好的真值数据对模型训练过程进行监督，真值数据的标注数量、标注质量以及标注场景的多样性也直接决定了模型的预测性能和泛化能力。
目前对于自动驾驶技术中的标注数据，如目标物的二维或三维真值边界框(Bounding Box)、图像数据像素级别和激光点云中的点级别的语义标注以及路沿和车道线等道路拓扑结构的标注，都需要通过数据标注人员耗费大量时间逐个目标或像素手动标注，标注效率低下、数据标注成本较高；此外对于已标注好的数据，仍需要大量的时间对标注质量复核和把控，间接再次增加了标注数据生成的工作量。以激光点云的语义分割人工标注为例，平均每帧数据的标注需要约3-4小时，而激光雷达的工作频率一般为10-20Hz，即每秒钟至少产生10帧数据，人工标注的效率远远低于数据产生的频率。
其中，基于人工确定样本图像中的路沿像素区域以及路沿像素区域中路沿可见的像素区域；并根据路沿像素区域中路沿可见的像素区域与路沿像素区域的比例信息，标注样本图像的路沿置信度；最终基于人工手动标注的路沿数据和样本图像数据训练得到路沿检测模型。
上述道路结构中的路沿数据生成方法基本还是依赖于人工手动标注，人工标注效率低，数据标注质量较难保障，往往需要投入大量的时间对数据标注质量进行复核。且，该方法在图像中生成路沿标注数据，实际应用中需要利用逆透视变换转化到车体坐标系下，转化过程会引入投影误差，导致距离较远处的路沿数据偏差较大。
发明内容
本申请公开了一种路沿数据标注方法及相关***、存储介质，可以提高路沿数据生成效率。
第一方面，本申请实施例提供一种路沿数据标注方法，包括：获取自车的车***姿数据序列以及包含所述自车周边环境信息的激光点云数据序列，并根据所述车***姿数据序列和所述激光点云数据序列得到激光高精度地图；根据所述激光高精度地图和所述激光点云数据序列得到路沿特征点集；对所述路沿特征点集中的每个特征点进行处理，得到包含多个路沿实例的路沿地图；根据所述路沿地图、所述激光点云数据序列和所述车***姿数据序列，得到所述激光点云数据序列中每帧激光点云数据对应的路沿特征标注数据。
本申请实施例，通过基于车***姿数据序列和激光点云数据序列得到激光高精度地图，根据所述激光高精度地图和所述激光点云数据序列得到路沿特征点集；然后对所述路沿特征点集中的每个特征点进行处理，得到包含多个路沿实例的路沿地图；并根据所述路沿地图、所述激光点云数据序列和所述车***姿数据序列，得到所述激光点云数据序列中每帧激光点云数据对应的路沿特征标注数据。采用该手段，由于路沿地图是单帧路沿数据自动化生成的必要条件，利用路沿地图中的路沿数据相对于单帧逐帧生成的路沿数据在世界坐标系中具有更好的一致性，并且利用多帧数据得到的路沿地图数据在障碍物遮挡区域具备更好的数据质量，提高了路沿标注数据的置信度和精确度；通过基于路沿地图和每帧激光点云数据，进而得到路沿标注数据。相较于现有的人工标注的方式，本方案在保证路沿数据精度的前提下，有效提高了数据标注效率，同时提高了模型的预测性能。
作为一种可选的实现方式，所述根据所述激光高精度地图和所述激光点云数据序列得到路沿特征点集，包括：对所述激光点云数据序列进行处理，得到激光点云语义信息；根据所述激光点云语义信息和所述激光高精度地图得到道路语义地图；对所述道路语义地图进行路沿特征点提取，得到所述道路语义地图中的路沿特征点集。
本实施例基于激光SLAM方法、激光语义分割网络得到路沿特征点集，通过利用多帧的激光点云数据建立地图，可有效避免单帧激光点云数据中的语义分割错误所产生的影响，提高了得到道路语义地图中的路沿特征点集的效率。
进一步地，所述道路语义地图中包括第一类点云和第二类点云，所述对所述道路语义地图进行路沿特征点提取，得到所述道路语义地图中的路沿特征点集，包括：将所述道路语义地图映射至二维栅格图中，得到映射后的道路语义地图；从所述映射后的道路语义地图中获取候选栅格，所述候选栅格为具有所述第一类点云和第二类点云的栅格，且所述第一类点云和第二类点云在所述道路语义地图中的高度差不大于第一阈值；根据所述候选栅格中的所述第一类点云和第二类点云得到路沿特征点集。
其中，可将道路语义地图中的点云分为两类，属于路面分类的点云作为第一类点云，属于路沿外的点云分类作为第二类点云。该路沿外的点云分类例如可以是人行道、绿植等分类。
采用该手段，通过获取包含两类点云的候选栅格，以便提高确定路沿特征点集的效率和准确度；另一方面，通过基于路沿在道路中的特性，将例如实际道路场景中延伸至道路路面上方的部分树木枝干、灯杆等对应的特征点进行排除，进而提高确定路沿特征点集的可靠性。
进一步地，所述对所述路沿特征点集中的每个特征点进行处理，得到包含多个路沿实例的路沿地图，包括：对K个子地图的路沿特征点集中的特征点进行迭代搜索处理，得到多个路沿实例的特征点集合，所述K个子地图为对所述道路语义地图进行分割处理得到的，K为不小于2的整数；其中，对于所述K个子地图中的第p个子地图，执行步骤S1-S6：
S1、从所述第p个子地图中获取特征点T(i,j)，其中，所述特征点T(i,j)对应的邻域特征点集中的点的数量不小于第二阈值；
S2、根据所述特征点T(i,j)对应的邻域特征点集和所述特征点T(i,j)，得到至少一个点集，其中，所述至少一个点集中的每个点集中的任意两个特征点与所述特征点T(i,j)连线构成的夹角不大于第三阈值；
S3、从所述至少一个点集中确定与所述特征点T(i,j)的距离不小于第四阈值的特征点T(i,j+1)；
S4、获取所述特征点T(i,j+1)对应的邻域特征点集，并从所述特征点T(i,j+1)对应的邻域特征点集中确定与所述特征点T(i,j+1)的距离不小于第五阈值的特征点T(i,j+2)，其中，所述特征点T(i,j+1)对应的邻域特征点集与所述特征点T(i,j)对应的邻域特征点集不重叠；
S5、令j＝j+1，重复执行步骤S4，直到所述特征点T(i,j+1)对应的邻域特征点集中的点的数量均为0时，得到所述第p个子地图中的第i个路沿实例的特征点集合，所述第p个子地图中的第i个路沿实例的特征点集合包括所述特征点T(i,j)、所述特征点T(i,j)对应的邻域特征点集、所述特征点T(i,j+1)、所述特征点T(i,j+1)对应的邻域特征点集；
S6、令i＝i+1，重复执行步骤S1-S5，直到遍历所述第p个子地图中的特征点时，得到所述第p个子地图中的每个路沿实例的特征点集合，其中，所述第p个子地图为所述K个子地图中的任一个，i、j均为正整数；
根据所述K个子地图中的多个路沿实例的特征点集合得到包含多个路沿实例的路沿地图。
本实施例基于道路语义地图中的路沿特征点集进行自动标注路沿实例，得到包含路沿实例的路沿地图。相对于目前人工单帧逐帧标注，采用本方案，极大提升了标注效率；且由于直接利用道路语义地图中的路沿特征点集生成路沿数据，不存在人工标注过程中的打点误差，进一步提高了标注的可靠性。
作为另一种可选的实现方式，所述根据所述激光高精度地图和所述激光点云数据序列得到路沿特征点集，包括：对所述激光点云数据序列中每帧激光点云数据进行语义特征提取，得到所述激光点云数据序列中每帧激光点云数据的路沿特征点集；将所述激光点云数据序列中每帧激光点云数据的路沿特征点集映射至所述激光高精度地图中，得到与所述激光高精度地图所在坐标系对应的路沿特征点集。
进一步地，所述对所述路沿特征点集中的每个特征点进行处理，得到包含多个路沿实例的路沿地图，包括：
S1、从与所述激光高精度地图所在坐标系对应的路沿特征点集中获取特征点T(i,j)，所述特征点T(i,j)对应的邻域特征点集中的点的数量不小于第一阈值；
S2、根据所述特征点T(i,j)对应的邻域特征点集和所述特征点T(i,j)得到至少一个点集，其中，所述至少一个点集中的每个点集中的任意两个特征点与所述特征点T(i,j)连线构成的夹角不大于第二阈值；
S3、从所述至少一个点集中确定与所述特征点T(i,j)的距离不小于第三阈值的特征点T(i,j+1)；
S4、获取所述特征点T(i,j+1)对应的邻域特征点集，并从所述特征点T(i,j+1)对应的邻域特征点集中确定与所述特征点T(i,j+1)的距离不小于第四阈值的特征点T(i,j+2)，其中，所述特征点T(i,j+1)对应的邻域特征点集与所述特征点T(i,j)对应的邻域特征点集不重叠；
S5、令j＝j+1，重复执行步骤S4，直到所述特征点T(i,j+1)对应的邻域特征点集中的点的数量均为0时，得到所述路沿特征点集中的第i个路沿实例的特征点集合，所述第i个路沿实例的特征点集合包括所述特征点T(i,j)、所述特征点T(i,j)对应的邻域特征点集、所述特征点T(i,j+1)、所述特征点T(i,j+1)对应的邻域特征点集；
S6、令i＝i+1，重复执行步骤S1-S5，直到遍历所述路沿特征点集中的特征点时，得到所述路沿特征点集中的每个路沿实例的特征点集合，i、j均为正整数；
根据所述路沿特征点集中的每个路沿实例的特征点集合得到包含多个路沿实例的路沿地图。
本实施例基于路沿特征点集进行自动标注路沿实例，得到包含路沿实例的路沿地图。相对于目前人工单帧逐帧标注，采用本方案，极大提升了标注效率；且由于直接利用路沿特征点集生成路沿数据，不存在人工标注过程中的打点误差，进一步提高了标注的可靠性。
作为一种可选的实现方式，所述根据所述路沿地图、所述激光点云数据序列和所述车***姿数据序列，得到所述激光点云数据序列中每帧激光点云数据对应的路沿特征标注数据，包括：根据所述激光点云数据序列中多帧激光点云数据以及所述车***姿数据序列得到多个参考路沿地图，所述多个参考路沿地图是将所述路沿地图映射在所述多帧激光点云数据分别所在的坐标系中得到的，所述多个参考路沿地图与所述多帧激光点云数据一一对应；从所述多个参考路沿地图中获取多个预设区域，所述预设区域的尺寸不小于所述每帧激光点云数据的尺寸，所述多个预设区域与所述多个参考路沿地图一一对应；根据所述激光点云数据序列和所述多个预设区域中的特征点确定所述多个预设区域中的每个特征点的得分；根据所述多个预设区域中的每个特征点的得分得到所述每帧激光点云数据对应的路沿特征标注数据，所述路沿特征标注数据为对所述得分不小于第六阈值的特征点进行处理得到的。
本实施例中结合路沿地图和单帧激光点云数据得到每个特征点的得分，进而筛选出和单帧原始激光点云数据相契合的特定数据形式的路沿标注数据。采用该手段，标注效率高，且相较人工逐帧标注，本方案具有更强的全局一致性。
第二方面，本申请实施例提供一种路沿数据标注装置，包括：
获取模块，用于获取自车的车***姿数据序列以及包含所述自车周边环境信息的激光点云数据序列；
处理模块，用于：
根据所述车***姿数据序列和所述激光点云数据序列得到激光高精度地图；
根据所述激光高精度地图和所述激光点云数据序列得到路沿特征点集；
对所述路沿特征点集中的每个特征点进行处理，得到包含多个路沿实例的路沿地图；
根据所述路沿地图、所述激光点云数据序列和所述车***姿数据序列，得到所述激光点云数据序列中每帧激光点云数据对应的路沿特征标注数据。
作为一种可选的实现方式，所述处理模块，用于：对所述激光点云数据序列进行处理，得到激光点云语义信息；根据所述激光点云语义信息和所述激光高精度地图得到道路语义地图；对所述道路语义地图进行路沿特征点提取，得到所述道路语义地图中的路沿特征点集。
作为一种可选的实现方式，所述道路语义地图中包括第一类点云和第二类点云，所述处理模块，还用于：将所述道路语义地图映射至二维栅格图中，得到映射后的道路语义地图；从所述映射后的道路语义地图中获取候选栅格，所述候选栅格为具有所述第一类点云和第二类点云的栅格，且所述第一类点云和第二类点云在所述道路语义地图中的高度差不大于第一阈值；根据所述候选栅格中的所述第一类点云和第二类点云得到路沿特征点集。
作为一种可选的实现方式，所述处理模块，还用于：对K个子地图的路沿特征点集中的特征点进行迭代搜索处理，得到多个路沿实例的特征点集合，所述K个子地图为对所述道路语义地图进行分割处理得到的，K为不小于2的整数；其中，对于所述K个子地图中的第p个子地图，执行步骤S1-S6：
S1、从所述第p个子地图中获取特征点T(i,j)，其中，所述特征点T(i,j)对应的邻域特征点集中的点的数量不小于第二阈值；
S2、根据所述特征点T(i,j)对应的邻域特征点集和所述特征点T(i,j)，得到至少一个点集，其中，所述至少一个点集中的每个点集中的任意两个特征点与所述特征点T(i,j)连线构成的夹角不大于第三阈值；
S3、从所述至少一个点集中确定与所述特征点T(i,j)的距离不小于第四阈值的特征点T(i,j+1)；
S4、获取所述特征点T(i,j+1)对应的邻域特征点集，并从所述特征点T(i,j+1)对应的邻域特征点集中确定与所述特征点T(i,j+1)的距离不小于第五阈值的特征点T(i,j+2)，其中，所述特征点T(i,j+1)对应的邻域特征点集与所述特征点T(i,j)对应的邻域特征点集不重叠；
S5、令j＝j+1，重复执行步骤S4，直到所述特征点T(i,j+1)对应的邻域特征点集中的点的数量均为0时，得到所述第p个子地图中的第i个路沿实例的特征点集合，所述第p个子地图中的第i个路沿实例的特征点集合包括所述特征点T(i,j)、所述特征点T(i,j)对应的邻域特征点集、所述特征点T(i,j+1)、所述特征点T(i,j+1)对应的邻域特征点集；
S6、令i＝i+1，重复执行步骤S1-S5，直到遍历所述第p个子地图中的特征点时，得到所述第p个子地图中的每个路沿实例的特征点集合，其中，所述第p个子地图为所述K个子地图中的任一个，i、j均为正整数；
根据所述K个子地图中的多个路沿实例的特征点集合得到包含多个路沿实例的路沿地图。
作为另一种可选的实现方式，所述处理模块，用于：对所述激光点云数据序列中每帧激光点云数据进行语义特征提取，得到所述激光点云数据序列中每帧激光点云数据的路沿特征点集；将所述激光点云数据序列中每帧激光点云数据的路沿特征点集映射至所述激光高精度地图中，得到与所述激光高精度地图所在坐标系对应的路沿特征点集。
作为一种可选的实现方式，所述处理模块，还用于：
S1、从与所述激光高精度地图所在坐标系对应的路沿特征点集中获取特征点T(i,j)，所述特征点T(i,j)对应的邻域特征点集中的点的数量不小于第一阈值；
S2、根据所述特征点T(i,j)对应的邻域特征点集和所述特征点T(i,j)得到至少一个点集，其中，所述至少一个点集中的每个点集中的任意两个特征点与所述特征点T(i,j)连线构成的夹角不大于第二阈值；
S3、从所述至少一个点集中确定与所述特征点T(i,j)的距离不小于第三阈值的特征点T(i,j+1)；
S4、获取所述特征点T(i,j+1)对应的邻域特征点集，并从所述特征点T(i,j+1)对应的邻域特征点集中确定与所述特征点T(i,j+1)的距离不小于第四阈值的特征点T(i,j+2)，其中，所述特征点T(i,j+1)对应的邻域特征点集与所述特征点T(i,j)对应的邻域特征点集不重叠；
S5、令j＝j+1，重复执行步骤S4，直到所述特征点T(i,j+1)对应的邻域特征点集中的点的数量均为0时，得到所述路沿特征点集中的第i个路沿实例的特征点集合，所述第i个路沿实例的特征点集合包括所述特征点T(i,j)、所述特征点T(i,j)对应的邻域特征点集、所述特征点T(i,j+1)、所述特征点T(i,j+1)对应的邻域特征点集；
S6、令i＝i+1，重复执行步骤S1-S5，直到遍历所述路沿特征点集中的特征点时，得到所述路沿特征点集中的每个路沿实例的特征点集合，i、j均为正整数；
根据所述路沿特征点集中的每个路沿实例的特征点集合得到包含多个路沿实例的路沿地图。
作为一种可选的实现方式，所述处理模块，还用于：根据所述激光点云数据序列中多帧激光点云数据以及所述车***姿数据序列得到多个参考路沿地图，所述多个参考路沿地图是将所述路沿地图映射在所述多帧激光点云数据分别所在的坐标系中得到的，所述多个参考路沿地图与所述多帧激光点云数据一一对应；从所述多个参考路沿地图中获取多个预设区域，所述预设区域的尺寸不小于所述每帧激光点云数据的尺寸，所述多个预设区域与所述多个参考路沿地图一一对应；根据所述激光点云数据序列和所述多个预设区域中的特征点确定所述多个预设区域中的每个特征点的得分；根据所述多个预设区域中的每个特征点的得分得到所述每帧激光点云数据对应的路沿特征标注数据，所述路沿特征标注数据为对所述得分不小于第六阈值的特征点进行处理得到的。
第三方面，本申请提供了一种路沿数据标注装置，包括处理器和存储器；其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如第一方面任一种可能的实施方式提供的方法。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面任一种可能的实施方式提供的方法。
第五方面，本申请提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得所述计算机执行如第一方面任一种可能的实施方式提供的方法。
第六方面，本申请提供了一种芯片***，所述芯片***应用于电子设备；所述芯片***包括一个或多个接口电路，以及一个或多个处理器；所述接口电路和所述处理器通过线路互联；所述接口电路用于从所述电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，所述电子设备执行如第一方面任一种可能的实施方式提供的方法。
第七方面，本申请提供了一种智能驾驶车辆，包括行进***、传感***、控制***和计算机***，其中，所述计算机***用于执行如第一方面任一种可能的实施方式提供的方法。
可以理解地，上述提供的第二方面所述的装置、第三方面所述的装置、第四方面所述的计算机可读存储介质或者第五方面所述的计算机程序产品、第六方面提供的芯片***、第七方面提供的智能驾驶车辆均用于执行第一方面中任一所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。
附图说明
下面对本申请实施例用到的附图进行介绍。
图1a是本申请实施例提供的一种路沿数据标注***的架构示意图；
图1b是本申请实施例提供的一种路沿数据标注应用示意图；
图2是本申请实施例提供的一种路沿数据标注方法的流程示意图；
图3a是本申请实施例提供的一种激光点云数据的俯视图；
图3b是本申请实施例提供的一种激光高精度地图的示意图；
图3c是本申请实施例提供的一种激光点云语义地图的示意图；
图3d是本申请实施例提供的一种道路语义地图的示意图；
图3e是本申请实施例提供的一种路沿特征点集的示意图；
图4是本申请实施例提供的一种得到路沿地图的方法的示意图；
图5a是本申请实施例提供的一种路沿特征点集的示意图；
图5b是本申请实施例提供的一种生长迭代方向的示意图；
图5c是本申请实施例提供的一种得到多个路沿实例的示意图；
图5d是本申请实施例提供的一种子地图合并的示意图；
图6a是本申请实施例提供的一种确定邻域特征点的示意图；
图6b是本申请实施例提供的一种确定不同迭代生长方向的示意图；
图7是本申请实施例提供的一种基于路沿地图进行路沿数据标注的示意图；
图8是本申请实施例提供的一种路沿数据标注装置的结构示意图；
图9是本申请实施例提供的另一种路沿数据标注装置的结构示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。本申请实施例的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。
参照图1a所示，为本申请实施例提供的一种路沿数据标注***的架构示意图。如图1a所示，该***包括激光雷达、组合导航***以及路沿数据标注装置。其中，激光雷达用于获取自车周围环境的激光点云数据；组合导航***可包括全球定位***(GlobalPositioning System,GPS)和惯性测量单元(Inertial Measurement Unit,IMU)，组合导航***用于获取车***姿数据序列；路沿数据标注装置用于进行路沿数据标注处理。具体地，激光雷达将获取的自车周围环境的点云数据发送给路沿数据标注装置，且全球定位***、惯性测量单元均将获取的位姿数据发送给路沿数据标注装置，以便路沿数据标注装置进行路沿数据标注。
作为一种可选的实现方式，上述路沿数据标注装置可包括激光雷达驱动模块、组合导航***驱动模块、路沿地图生成模块、路沿数据标注模块。其中，激光雷达驱动模块用于将激光雷达发送的数据包转换成三维激光点云数据；组合导航***驱动模块用于将全球定位***获取的数据和惯性测量单元获取的数据进行融合并输出连续平滑的车***姿数据；路沿地图生成模块用于生成包含多个路沿实例的路沿地图数据；路沿数据标注模块用于生成多种数据类型的每帧路沿标注数据。
上述实施例以激光雷达、组合导航***为例进行说明，其中，该***还可以是基于其他传感器获取自车周围环境的点云数据以及车***姿数据等，本方案对此不做具体限定。
可选的，上述路沿数据标注装置可以是服务器，该服务器可以是虚拟服务器、实体服务器等，其还可以是其他装置，本方案对此不做具体限定。
其中，本申请实施例的路沿数据标注***可应用于自动驾驶平台和高级辅助驾驶***中的环境感知模块。如图1b所示，其中，智能车辆需要对自车周围环境充分感知，例如自车周围的道路边界信息，而在目前业界基于数据驱动的深度神经网络算法中，模型的预测能力很大程度取决于标注数据的数量和质量。为此，本方案提供一种路沿数据标注方法，用于激光路沿的数据标注(数据生成)部分。采用该方案提供的自动化路沿数据标注方法，可提高路沿数据生成效率，间接提高模型的预测性能。
参照图2所示，为本申请实施例提供的一种路沿数据标注方法的流程示意图。该方法包括步骤201-204，具体如下：
201、获取自车的车***姿数据序列以及包含所述自车周边环境信息的激光点云数据序列，并根据所述车***姿数据序列和所述激光点云数据序列得到激光高精度地图；
上述车***姿数据序列是基于自车不断移动获取的多个位姿的车***姿数据。
其中，车***姿数据序列包含多帧车***姿数据。该车***姿数据可包括车辆的位置信息和姿态信息。
上述激光点云数据序列是基于自车不断移动获取的自车周边环境信息的激光点云数据。即，激光点云数据序列包含多帧激光点云数据。
上述激光高精度地图，可以是精度为厘米级别的地图。其中，该地图所对应的坐标系可以为世界坐标系。
作为一种可选的实现方式，利用激光点云数据序列和车***姿数据序列，通过激光即时定位与地图构建(simultaneous localization and mapping,SLAM)方法或激光里程计方法可得到激光高精度地图。
其中，激光SLAM方法适用于数据序列包含多个重复路段(多个回环)，该重复路段可以理解为重复经过某个路段，在此类场景中利用回环检测可以保证地图数据和路沿数据的一致性。激光里程计方法适用于如高速公路等无重复路段的场景(无回环)。
在地图生成过程中，记录作为地图点的激光点的帧编号frame_id以及在此帧中点的编号point_id，激光高精度地图可记为
Figure BDA0003211734960000082
其中N为地图中点的数目，(x,y,z)为点云在世界坐标系下的三维空间坐标，intensity为对应的激光点的反射强度。
202、根据所述激光高精度地图和所述激光点云数据序列得到路沿特征点集；
其中，路沿可以理解为，道路路面与其他非路面的道路元素之间的边界。该非路面的道路元素例如马路牙、墙面、绿化带等道路边界上的东西。
作为一种可选的实现方式(实施例一)，上述根据所述激光高精度地图和所述激光点云数据序列得到路沿特征点集，包括步骤2021-2023，具体如下：
2021、对所述激光点云数据序列进行处理，得到激光点云语义信息；
该激光点云语义信息，可以理解为，激光点云中每个点所属的类别信息。例如，行人、地面等。
具体地，将激光点云数据序列输入至激光语义分割网络中进行语义分割处理，进而可得到激光点云语义信息。
当然，还可以采用其他语义分割处理，例如只区分地面和非地面点云的语义分割，本方案对此不做具体限定。
2022、根据所述激光点云语义信息和所述激光高精度地图得到道路语义地图；
作为一种可选的实现方式，通过将所述激光点云语义信息通过frame_id和point_id映射至所述激光高精度地图中，得到点云语义地图，该点云语义地图可记为
Figure BDA0003211734960000081
其中，label为点云的分类信息；然后，从所述点云语义地图中抽取与道路结构信息相关的语义地图点，得到道路语义地图。
其中，该与道路结构信息相关的语义地图点，例如可以是路面、人行道、路边的植被等。
2023、对所述道路语义地图进行路沿特征点提取，得到所述道路语义地图中的路沿特征点集。
其中，可将道路语义地图中的点云分为两类，属于路面分类的点云作为第一类点云，属于路沿外的点云分类作为第二类点云。该路沿外的点云分类例如可以是人行道、绿植等分类。路沿点云则位于所述第一类点云和第二类点云的交界处。
作为一种可选的实现方式，所述对所述道路语义地图进行路沿特征点提取，得到所述道路语义地图中的路沿特征点集，包括：
将所述道路语义地图映射至二维栅格图中，得到映射后的道路语义地图；
从所述映射后的道路语义地图中获取候选栅格，所述候选栅格为具有所述第一类点云和第二类点云的栅格，且所述第一类点云和第二类点云在所述道路语义地图中的高度差不大于第一阈值；
根据所述候选栅格中的所述第一类点云和第二类点云得到路沿特征点集。
具体地，将道路语义地图映射到x-y平面二维栅格图中，具体基于以下方面来确定路沿特征点：
对于二维栅格图中的各个栅格，若同时有第一类点云和第二类点云位于该栅格中，则将此栅格标记为候选栅格。
作为一种可选的实现方式，考虑到实际道路场景中会有部分树木枝干等会延伸至道路路面上方，若候选栅格中的第一类点云和第二类点云在原道路语义地图中的高度差大于一定高度阈值，则去除该候选栅格，保留第一类点云和第二类点云的高度差均小于一定高度阈值的候选栅格。
其中，可将筛选后的候选栅格中的第一类点云标记为路沿特征点；或者，将筛选后的候选栅格中的第二类点云标记为路沿特征点；或者基于第一类点云和第二类点云的交界得到路沿特征点等。
通过遍历道路语义地图中的点云，进而得到路沿特征点集。
如图3a、图3b、图3c、图3d以及图3e所示，通过基于激光点云数据的俯视图(图3a)中的激光点云数据序列结合车***姿数据序列得到图3b的激光高精度地图，对所述激光点云数据序列进行语义分割处理，得到激光点云语义信息，通过将激光点云语义信息映射至激光高精度地图中进而得到图3c的激光点云语义地图，从所述激光点云语义地图中抽取道路结构信息相关的语义地图点，进一步得到图3d所示的道路语义地图，进而基于二维栅格图得到路沿特征点集，如图3e所示。其中，区域B对应为上述候选栅格，其两类点云均有，区域A对应为第一类点云，区域C对应为第二类点云，或者，区域A对应为第二类点云，区域C对应为第一类点云等。
上述实施例以基于整个高精度地图来提取路沿特征点集为例进行说明。其中，还可以基于单帧路沿的语义特征来获取路沿特征点集。
作为另一种可选的实现方式(实施例二)，上述根据所述激光高精度地图和所述激光点云数据序列得到路沿特征点集，包括202A-202B，具体如下：
202A、对所述激光点云数据序列中每帧激光点云数据进行语义特征提取，得到所述激光点云数据序列中每帧激光点云数据的路沿特征点集；
202B、将所述激光点云数据序列中每帧激光点云数据的路沿特征点集映射至所述激光高精度地图中，得到与所述激光高精度地图所在坐标系对应的路沿特征点集。
其中，单帧路沿特征点集可基于点云空间几何特征进行提取，具体可采用结合激光单扫描层特征和相邻扫描层间特征的形式。单扫描层是指多线激光雷达中的一个激光扫描线束，相邻扫描层是指多个相邻的激光扫描线束。
单扫描层特征主要包括斜率特征、数目特征和反射强度特征。
其中，斜率特征主要考虑到路沿的空间分布和车辆运动方向具有一致性，即在车体坐标系下，路沿特征点与其邻域点的连线斜率处于一定角度阈值范围内。
数目特征主要考虑到路沿空间分布的连续性，路沿特征点的邻域点的数目大于一定数量阈值。
反射强度特征旨在滤除雨水等低反射强度的噪声点。
上述路沿特征点的邻域点可以理解为，以该路沿特征点为圆心画一定半径长度的圆可得到的该圆形区域内的点，即为该路沿特征点的邻域点。当然，还可以采用其他方式来确定邻域点，本方案对此不做具体限定。
相邻扫描层间特征主要考虑到路沿一般为垂直于路面的截面，激光点云在路沿截面上的分布相对于路面点会更加密集，因此在俯视图中相邻层间邻域点的距离会处于一定距离阈值内；层间的数目特征，即路沿特征点与其扫描层层间邻域点的数目，其同样可评价道路沿分布的连续性。
通过基于上述激光单扫描层特征和相邻扫描层间特征，进而确定每帧激光点云数据的路沿特征点集。记录得到的单帧路沿特征点的数据帧号frame_id和在此帧中的点编号point_id，并通过车辆位姿信息序列将特征点映射到高精度地图中，得到与所述激光高精度地图所在坐标系对应的路沿特征点集，也即得到路沿点云特征地图。
203、对所述路沿特征点集中的每个特征点进行处理，得到包含多个路沿实例的路沿地图；
路沿实例，可以理解为，在空间上具备连续性的一条路沿。
作为一种可选的实现方式(与上述实施例一对应的)，所述对所述路沿特征点集中的每个特征点进行处理，得到包含多个路沿实例的路沿地图，包括：
对K个子地图的路沿特征点集中的特征点进行迭代搜索处理，得到多个路沿实例的特征点集合，所述K个子地图为对所述道路语义地图进行分割处理得到的，K为不小于2的整数；其中，对于所述K个子地图中的第p个子地图，执行步骤S1-S6：
S1、从所述第p个子地图中获取特征点T(i,j)，其中，所述特征点T(i,j)对应的邻域特征点集中的点的数量不小于第二阈值；
S2、根据所述特征点T(i,j)对应的邻域特征点集和所述特征点T(i,j)，得到至少一个点集，其中，所述至少一个点集中的每个点集中的任意两个特征点与所述特征点T(i,j)连线构成的夹角不大于第三阈值；
S3、从所述至少一个点集中确定与所述特征点T(i,j)的距离不小于第四阈值的特征点T(i,j+1)；
S4、获取所述特征点T(i,j+1)对应的邻域特征点集，并从所述特征点T(i,j+1)对应的邻域特征点集中确定与所述特征点T(i,j+1)的距离不小于第五阈值的特征点T(i,j+2)，其中，所述特征点T(i,j+1)对应的邻域特征点集与所述特征点T(i,j)对应的邻域特征点集不重叠；
S5、令j＝j+1，重复执行步骤S4，直到所述特征点T(i,j+1)对应的邻域特征点集中的点的数量均为0时，得到所述第p个子地图中的第i个路沿实例的特征点集合，所述第p个子地图中的第i个路沿实例的特征点集合包括所述特征点T(i,j)、所述特征点T(i,j)对应的邻域特征点集、所述特征点T(i,j+1)、所述特征点T(i,j+1)对应的邻域特征点集；
S6、令i＝i+1，重复执行步骤S1-S5，直到遍历所述第p个子地图中的特征点时，得到所述第p个子地图中的每个路沿实例的特征点集合，其中，所述第p个子地图为所述K个子地图中的任一个，i、j均为正整数；
根据所述K个子地图中的多个路沿实例的特征点集合得到包含多个路沿实例的路沿地图。
上述特征点T(i,j)表示第i个路沿实例中的第j个特征点。
具体地，以64线激光雷达为例，其每秒产生约120-130万个数据点。高精度地图的数据点一般也在千万级以上，考虑到***的计算性能极限，一般处理地图数据时将道路语义地图按区域分块、分批处理，因此将道路语义地图分割为多个子地图，如图4所示。
其中，该分割可以是均匀分割，也可以是任意分割等；当然，还可以不进行分割，本方案对此不作具体限定。
然后，对每个子地图的路沿特征点集中的特征点进行迭代搜索处理，得到多个路沿实例的特征点集合。
上述迭代搜索处理，可包括：
1)对每个子地图建立K维(k-dimensional，KD)树，如图5a所示；
2)随机抽取每个子地图中某条路沿的特征点，并使用最近邻搜索算法(k-nearestneighbor,KNN)搜索该特征点一定邻域范围内的特征点，若其邻域内的特征点数目大于一定阈值，则将此特征点作为初始特征点；
例如，如图6a所示，以特征点A为圆心画一定半径长度的圆可得到的该圆形区域内的点，即为该特征点A的邻域范围内的特征点(邻域特征点)。由于点D不在该区域内，则点D不是特征点A的邻域特征点。
其中，该初始特征点还可以是基于其他方式确定的，本方案对此不做具体限定。
3)根据2)中搜索出的每个邻域特征点与初始特征点连线的夹角，将邻域特征点进行分类，其中，将生长迭代方向相同的特征点分为一类；
其中，对于路沿此类线性分布的目标，每个初始特征点一般有两个生长迭代方向，如图5b所示。生长迭代方向，可以理解为，路沿在空间中的分布方向。
具体地，上述将邻域特征点进行分类，其中同类的点集中的任意两个特征点与所述特征点T(i,j)连线构成的夹角不大于一定阈值。该夹角可以基于向量夹角进行计算。如图6b所示，点A分别与点B、点E、点F、点G连线构成
Figure BDA0003211734960000111
其中，
Figure BDA0003211734960000112
与
Figure BDA0003211734960000113
之间的夹角、
Figure BDA0003211734960000114
与
Figure BDA0003211734960000115
之间的夹角、
Figure BDA0003211734960000116
与
Figure BDA0003211734960000117
之间的夹角、
Figure BDA0003211734960000118
与
Figure BDA0003211734960000119
之间的夹角、
Figure BDA00032117349600001110
与
Figure BDA00032117349600001111
之间的夹角等均小于一定阈值，而对于点A与点C连线构成
Figure BDA00032117349600001112
其中，
Figure BDA00032117349600001113
与
Figure BDA00032117349600001114
之间的夹角、
Figure BDA00032117349600001115
与
Figure BDA00032117349600001116
之间的夹角、
Figure BDA00032117349600001117
与
Figure BDA00032117349600001118
之间的夹角、
Figure BDA00032117349600001119
与
Figure BDA00032117349600001120
之间的夹角均大于一定阈值，因此，将点B、点E、点F、点G作为点A对应的邻域点的一类点集(如图6a中的点集1)，将点C所在的点集作为另一类点集(如图6a中的点集2)。
其中，若初始特征点选取在此子地图的边缘，则所有邻域特征点相对初始特征点都处于一个方位，此时只有一个生长迭代方向。
4)从邻域特征点内选取每个迭代方向距离初始特征点最远的特征点作为新的迭代搜索点，再次利用KNN搜索该迭代搜索点一定范围邻域内的特征点，并筛选出该迭代搜索点和其邻域特征点连线方向和当前迭代方向一致的特征点作为此轮迭代生长出的特征点。
也就是说，该新的迭代搜索点的邻域特征点集与上述初始特征点的邻域特征点集不重叠。
如图6a所示，将其中一个迭代方向中距离初始特征点最远的特征点B作为该迭代方向对应的新的迭代搜索点，将另一个迭代方向中距离初始特征点最远的特征点C作为该迭代方向对应的新的迭代搜索点。
5)重复执行4)中每个迭代方向的迭代生长过程，直至每个迭代方向生长出的特征点数目均为0，得到该路沿实例的特征点集合。
6)重复执行2)～5)，直至子地图中的路沿特征点完全遍历，最终输出包含多个路沿实例的路沿子地图，如图5c所示。
通过对所有子地图均执行上述步骤，可得到多个路沿子地图，由于多个路沿子地图中的路沿可能存在同一条路沿被子地图边界分割开的情况，因此在子地图合并的过程中可对路沿实例重新编号，并将被子地图边界分割的实例合并为同一个实例。
如图5d所示，子地图1的路沿1和子地图2的路沿1合并为一个路沿实例，子地图1的路沿3和子地图2的路沿2合并为一个路沿实例。
通过对所有路沿实例整体重新编号，合并所有路沿子地图进而得到包含多个路沿实例的路沿地图。
本实施例基于道路语义地图中的路沿特征点集进行自动标注路沿实例，得到包含路沿实例的路沿地图。相对于目前人工单帧逐帧标注，采用本方案，极大提升了标注效率；且由于直接利用道路语义地图中的路沿特征点集直接生成路沿数据，不存在人工标注过程中的打点误差，进一步提高了标注的可靠性。
上述实施例以基于道路语义地图进行分割来得到包含多个路沿实例的路沿地图为例进行说明。
作为另一种可选的实现方式(与上述实施例二对应的)，所述对所述路沿特征点集中的每个特征点进行处理，得到包含多个路沿实例的路沿地图，包括：
S1、从与所述激光高精度地图所在坐标系对应的路沿特征点集中获取特征点T(i,j)，所述特征点T(i,j)对应的邻域特征点集中的点的数量不小于第一阈值；
S2、根据所述特征点T(i,j)对应的邻域特征点集和所述特征点T(i,j)得到至少一个点集，其中，所述至少一个点集中的每个点集中的任意两个特征点与所述特征点T(i,j)连线构成的夹角不大于第二阈值；
S3、从所述至少一个点集中确定与所述特征点T(i,j)的距离不小于第三阈值的特征点T(i,j+1)；
S4、获取所述特征点T(i,j+1)对应的邻域特征点集，并从所述特征点T(i,j+1)对应的邻域特征点集中确定与所述特征点T(i,j+1)的距离不小于第四阈值的特征点T(i,j+2)，其中，所述特征点T(i,j+1)对应的邻域特征点集与所述特征点T(i,j)对应的邻域特征点集不重叠；
S5、令j＝j+1，重复执行步骤S4，直到所述特征点T(i,j+1)对应的邻域特征点集中的点的数量均为0时，得到所述路沿特征点集中的第i个路沿实例的特征点集合，所述第i个路沿实例的特征点集合包括所述特征点T(i,j)、所述特征点T(i,j)对应的邻域特征点集、所述特征点T(i,j+1)、所述特征点T(i,j+1)对应的邻域特征点集；
S6、令i＝i+1，重复执行步骤S1-S5，直到遍历所述路沿特征点集中的特征点时，得到所述路沿特征点集中的每个路沿实例的特征点集合，i、j均为正整数；
根据所述路沿特征点集中的每个路沿实例的特征点集合得到包含多个路沿实例的路沿地图。
与上述实施例不同的地方在于，该实施例对映射在激光高精度地图中的路沿特征点集进行处理得到路沿地图。
本实施例基于路沿特征点集进行自动标注路沿实例，得到包含路沿实例的路沿地图。相对于目前人工单帧逐帧标注，采用本方案，极大提升了标注效率；且由于直接利用路沿特征点集生成路沿数据，不存在人工标注过程中的打点误差，进一步提高了标注的可靠性。
其中，上述具体实现可参阅前述实施例中的介绍，在此不再赘述。
204、根据所述路沿地图、所述激光点云数据序列和所述车***姿数据序列，得到所述激光点云数据序列中每帧激光点云数据对应的路沿特征标注数据。
作为一种可选的实现方式，所述根据所述路沿地图、所述激光点云数据序列和所述车***姿数据序列，得到所述激光点云数据序列中每帧激光点云数据对应的路沿特征标注数据，包括：
根据所述激光点云数据序列中多帧激光点云数据以及所述车***姿数据序列得到多个参考路沿地图，所述多个参考路沿地图是将所述路沿地图映射在所述多帧激光点云数据分别所在的坐标系中得到的，所述多个参考路沿地图与所述多帧激光点云数据一一对应；
从所述多个参考路沿地图中获取多个预设区域，所述预设区域的尺寸不小于所述每帧激光点云数据的尺寸，所述多个预设区域与所述多个参考路沿地图一一对应；
根据所述激光点云数据序列和所述多个预设区域中的特征点确定所述多个预设区域中的每个特征点的得分；
根据所述多个预设区域中的每个特征点的得分得到所述每帧激光点云数据对应的路沿特征标注数据，所述路沿特征标注数据为对所述得分不小于第六阈值的特征点进行处理得到的。
具体地，由于路沿地图所在的坐标系为世界坐标系，而激光点云数据的坐标系为局部的激光坐标系，因此将路沿地图和激光点云数据序列借助车***姿数据序列进行空间对齐。其中，路沿地图可表示为Mcurb，激光点云数据对应的车***姿为[R|T]t，激光坐标系和车体坐标系之间的参数矩阵为
Figure BDA0003211734960000131
则全局路沿地图映射到当前激光坐标系下可表示为：
Figure BDA0003211734960000132
其中，Mcurb_trans为映射到激光坐标系下的路沿地图。
也就是说，将路沿地图分别映射至每帧激光点云数据所在的坐标系中，即得到多个上述参考路沿地图。
然后，基于粗粒度提取和细粒度提取，对上述每个参考路沿地图进行局部路沿地图提取。
具体地，粗粒度提取通过如下方式实现：选取当前坐标系下的矩形区域，如在x方向选取范围为(-40m，70m)，y方向范围为(-30m,30m)的区域，通过滤除矩形区域外的路沿地图，保留矩形区域内的路沿地图。
然后对该保留的矩形区域内的路沿地图进行细粒度提取。例如，可基于激光语义分割网络或激光路面分割算法等得到激光路面点云；对激光路面点云构建KD树，对矩形区域内的路沿地图中任意点P利用KNN搜索附近邻域的路面点云，将搜索得到的路面点云数目记为NeighP，基于激光路面点云和路沿地图的空间分布以及全局距离图确定得分函数，该得分函数可表示为：
Score(P)＝t*NeighP+DisMap(P)；
其中，DisMap(P)表示点P在全局距离图中的能量值，距离激光坐标系原点越近，能量值越高，反之，能量值越低；t可为预设正数等。
通过对矩形区域内的路沿地图中的特征点计算得分，保留得分大于一定阈值的特征点，基于该得分大于一定阈值的特征点即可得到每帧激光点云数据对应的路沿特征标注数据。
如图7所示，作为一种可选的实现方式，在得到得分大于一定阈值的特征点后，可以将该筛选出的路沿地图点均匀采样进而得到路沿特征点标注数据。
作为另一种可选的实现方式，将该得分大于一定阈值的路沿地图点映射到当前坐标系x-y平面的二维栅格图中得到路沿占据栅格标注数据。
作为又一种可选的实现方式，根据得分大于一定阈值的特征点，提取在路沿栅格标注数据中的激光点云数据进而得到路沿原始点云语义标注数据。
上述仅以三种路沿特征标注数据为例进行说明，其还可以是其他数据，本方案对此不做具体限定。
本实施例中结合路沿地图和单帧激光点云数据得到每个特征点的得分，进而筛选出和单帧原始激光点云数据相契合的特定数据形式的路沿标注数据。采用该手段，标注效率高，且相较人工逐帧标注，本方案具有更强的全局一致性。
需要说明的是，本申请实施例中的各阈值可以是任意设定的，本方案不做具体限定。
本申请实施例，通过基于车***姿数据序列和激光点云数据序列得到激光高精度地图，根据所述激光高精度地图和所述激光点云数据序列得到路沿特征点集；然后对所述路沿特征点集中的每个特征点进行处理，得到包含多个路沿实例的路沿地图；并根据所述路沿地图、所述激光点云数据序列和所述车***姿数据序列，得到所述激光点云数据序列中每帧激光点云数据对应的路沿特征标注数据。采用该手段，由于路沿地图是单帧路沿数据自动化生成的必要条件，利用路沿地图中的路沿数据相对于单帧逐帧生成的路沿数据在世界坐标系中具有更好的一致性，并且利用多帧数据得到的路沿地图数据在障碍物遮挡区域具备更好的数据质量，提高了路沿标注数据的置信度和精确度；通过基于路沿地图和每帧激光点云数据，进而得到路沿标注数据。相较于现有的人工标注的方式，本方案在保证路沿数据精度的前提下，有效提高了数据标注效率，同时提高了模型的预测性能。
参照图8所示，为本申请实施例提供的一种路沿数据标注装置，包括获取模块801、处理模块802，具体如下：
获取模块801，用于获取自车的车***姿数据序列以及包含所述自车周边环境信息的激光点云数据序列；
处理模块802，用于：
根据所述车***姿数据序列和所述激光点云数据序列得到激光高精度地图；
根据所述激光高精度地图和所述激光点云数据序列得到路沿特征点集；
对所述路沿特征点集中的每个特征点进行处理，得到包含多个路沿实例的路沿地图；
根据所述路沿地图、所述激光点云数据序列和所述车***姿数据序列，得到所述激光点云数据序列中每帧激光点云数据对应的路沿特征标注数据。
作为一种可选的实现方式，所述处理模块802，用于：对所述激光点云数据序列进行语义分割处理，得到激光点云语义信息；根据所述激光点云语义信息和所述激光高精度地图得到道路语义地图；对所述道路语义地图进行路沿特征点提取，得到所述道路语义地图中的路沿特征点集。
作为一种可选的实现方式，所述道路语义地图中包括第一类点云和第二类点云，所述处理模块802，还用于：将所述道路语义地图映射至二维栅格图中，得到映射后的道路语义地图；从所述映射后的道路语义地图中获取候选栅格，所述候选栅格为具有所述第一类点云和第二类点云的栅格，且所述第一类点云和第二类点云在所述道路语义地图中的高度差不大于第一阈值；根据所述候选栅格中的所述第一类点云和第二类点云得到路沿特征点集。
作为一种可选的实现方式，所述处理模块802，还用于：对K个子地图的路沿特征点集中的特征点进行迭代搜索处理，得到多个路沿实例的特征点集合，所述K个子地图为对所述道路语义地图进行分割处理得到的，K为不小于2的整数；其中，对于所述K个子地图中的第p个子地图，执行步骤S1-S6：
S1、从所述第p个子地图中获取特征点T(i,j)，其中，所述特征点T(i,j)对应的邻域特征点集中的点的数量不小于第二阈值；
S2、根据所述特征点T(i,j)对应的邻域特征点集和所述特征点T(i,j)，得到至少一个点集，其中，所述至少一个点集中的每个点集中的任意两个特征点与所述特征点T(i,j)连线构成的夹角不大于第三阈值；
S3、从所述至少一个点集中确定与所述特征点T(i,j)的距离不小于第四阈值的特征点T(i,j+1)；
S4、获取所述特征点T(i,j+1)对应的邻域特征点集，并从所述特征点T(i,j+1)对应的邻域特征点集中确定与所述特征点T(i,j+1)的距离不小于第五阈值的特征点T(i,j+2)，其中，所述特征点T(i,j+1)对应的邻域特征点集与所述特征点T(i,j)对应的邻域特征点集不重叠；
S5、令j＝j+1，重复执行步骤S4，直到所述特征点T(i,j+1)对应的邻域特征点集中的点的数量均为0时，得到所述第p个子地图中的第i个路沿实例的特征点集合，所述第p个子地图中的第i个路沿实例的特征点集合包括所述特征点T(i,j)、所述特征点T(i,j)对应的邻域特征点集、所述特征点T(i,j+1)、所述特征点T(i,j+1)对应的邻域特征点集；
S6、令i＝i+1，重复执行步骤S1-S5，直到遍历所述第p个子地图中的特征点时，得到所述第p个子地图中的每个路沿实例的特征点集合，其中，所述第p个子地图为所述K个子地图中的任一个，i、j均为正整数；
根据所述K个子地图中的多个路沿实例的特征点集合得到包含多个路沿实例的路沿地图。
作为另一种可选的实现方式，所述处理模块802，用于：对所述激光点云数据序列中每帧激光点云数据进行语义特征提取，得到所述激光点云数据序列中每帧激光点云数据的路沿特征点集；将所述激光点云数据序列中每帧激光点云数据的路沿特征点集映射至所述激光高精度地图中，得到与所述激光高精度地图所在坐标系对应的路沿特征点集。
作为一种可选的实现方式，所述处理模块802，还用于：
S1、从与所述激光高精度地图所在坐标系对应的路沿特征点集中获取特征点T(i,j)，所述特征点T(i,j)对应的邻域特征点集中的点的数量不小于第一阈值；
S2、根据所述特征点T(i,j)对应的邻域特征点集和所述特征点T(i,j)得到至少一个点集，其中，所述至少一个点集中的每个点集中的任意两个特征点与所述特征点T(i,j)连线构成的夹角不大于第二阈值；
S3、从所述至少一个点集中确定与所述特征点T(i,j)的距离不小于第三阈值的特征点T(i,j+1)；
S4、获取所述特征点T(i,j+1)对应的邻域特征点集，并从所述特征点T(i,j+1)对应的邻域特征点集中确定与所述特征点T(i,j+1)的距离不小于第四阈值的特征点T(i,j+2)，其中，所述特征点T(i,j+1)对应的邻域特征点集与所述特征点T(i,j)对应的邻域特征点集不重叠；
S5、令j＝j+1，重复执行步骤S4，直到所述特征点T(i,j+1)对应的邻域特征点集中的点的数量均为0时，得到所述路沿特征点集中的第i个路沿实例的特征点集合，所述第i个路沿实例的特征点集合包括所述特征点T(i,j)、所述特征点T(i,j)对应的邻域特征点集、所述特征点T(i,j+1)、所述特征点T(i,j+1)对应的邻域特征点集；
S6、令i＝i+1，重复执行步骤S1-S5，直到遍历所述路沿特征点集中的特征点时，得到所述路沿特征点集中的每个路沿实例的特征点集合，i、j均为正整数；
根据所述路沿特征点集中的每个路沿实例的特征点集合得到包含多个路沿实例的路沿地图。
作为一种可选的实现方式，所述处理模块802，还用于：根据所述激光点云数据序列中多帧激光点云数据以及所述车***姿数据序列得到多个参考路沿地图，所述多个参考路沿地图是将所述路沿地图映射在所述多帧激光点云数据分别所在的坐标系中得到的，所述多个参考路沿地图与所述多帧激光点云数据一一对应；从所述多个参考路沿地图中获取多个预设区域，所述预设区域的尺寸不小于所述每帧激光点云数据的尺寸，所述多个预设区域与所述多个参考路沿地图一一对应；根据所述激光点云数据序列和所述多个预设区域中的特征点确定所述多个预设区域中的每个特征点的得分；根据所述多个预设区域中的每个特征点的得分得到所述每帧激光点云数据对应的路沿特征标注数据，所述路沿特征标注数据为对所述得分不小于第六阈值的特征点进行处理得到的。
需要说明的是，上述图8所示的获取模块801、处理模块802用于执行上述路沿数据标注方法的相关步骤。
在本实施例中，该路沿数据标注装置是以模块的形式来呈现。这里的“模块”可以指特定应用集成电路(application-specific integrated circuit，ASIC)，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。
此外，以上获取模块801、处理模块802可通过图9所示的路沿数据标注装置的处理器902来实现。
图9是本申请实施例提供的路沿数据标注装置的硬件结构示意图。图9所示的路沿数据标注装置900(该装置900具体可以是一种计算机设备)包括存储器901、处理器902、通信接口903以及总线904。其中，存储器901、处理器902、通信接口903通过总线904实现彼此之间的通信连接。
存储器901可以是只读存储器(Read Only Memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(Random Access Memory，RAM)。
存储器901可以存储程序，当存储器901中存储的程序被处理器902执行时，处理器902和通信接口903用于执行本申请实施例的路沿数据标注方法的各个步骤。
处理器902可以采用通用的中央处理器(Central Processing Unit，CPU)，微处理器，应用专用集成电路(Application Specific Integrated Circuit，ASIC)，图形处理器(graphics processing unit，GPU)或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的路沿数据标注装置中的单元所需执行的功能，或者执行本申请方法实施例的路沿数据标注方法。
处理器902还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的路沿数据标注方法的各个步骤可以通过处理器902中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器902还可以是通用处理器、数字信号处理器(DigitalSignal Processing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(Field ProgrammableGate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器901，处理器902读取存储器901中的信息，结合其硬件完成本申请实施例的路沿数据标注装置中包括的单元所需执行的功能，或者执行本申请方法实施例的路沿数据标注方法。
通信接口903使用例如但不限于收发器一类的收发装置，来实现装置900与其他设备或通信网络之间的通信。例如，可以通过通信接口903获取数据。
总线904可包括在装置900各个部件(例如，存储器901、处理器902、通信接口903)之间传送信息的通路。
应注意，尽管图9所示的装置900仅仅示出了存储器、处理器、通信接口，但是在具体实现过程中，本领域的技术人员应当理解，装置900还包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，装置900还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，装置900也可仅仅包括实现本申请实施例所必须的器件，而不必包括图9中所示的全部器件。
本申请提供了一种芯片***，所述芯片***应用于电子设备；所述芯片***包括一个或多个接口电路，以及一个或多个处理器；所述接口电路和所述处理器通过线路互联；所述接口电路用于从所述电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，所述电子设备执行如第一方面任一种可能的实施方式提供的方法。
本申请实施例还提供了一种智能驾驶车辆，包括行进***、传感***、控制***和计算机***，其中，所述计算机***用于执行如第一方面任一种可能的实施方式提供的方法。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。
本申请实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机或处理器上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应步骤过程的具体描述，在此不再赘述。
应理解，在本申请的描述中，除非另有说明，“/”表示前后关联的对象是一种“或”的关系，例如，A/B可以表示A或B；其中A，B可以是单数或者复数。并且，在本申请的描述中，除非另有说明，“多个”是指两个或多于两个。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。另外，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。同时，在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念，便于理解。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read-onlymemory，ROM)，或随机存取存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。
以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (19)

1.一种路沿数据标注方法，其特征在于，包括：
获取自车的车***姿数据序列以及包含所述自车周边环境信息的激光点云数据序列，并根据所述车***姿数据序列和所述激光点云数据序列得到激光高精度地图；
根据所述激光高精度地图和所述激光点云数据序列得到路沿特征点集；
对所述路沿特征点集中的每个特征点进行处理，得到包含多个路沿实例的路沿地图；
根据所述路沿地图、所述激光点云数据序列和所述车***姿数据序列，得到所述激光点云数据序列中每帧激光点云数据对应的路沿特征标注数据。
2.根据权利要求1所述的方法，其特征在于，所述根据所述激光高精度地图和所述激光点云数据序列得到路沿特征点集，包括：
对所述激光点云数据序列进行处理，得到激光点云语义信息；
根据所述激光点云语义信息和所述激光高精度地图得到道路语义地图；
对所述道路语义地图进行路沿特征点提取，得到所述道路语义地图中的路沿特征点集。
3.根据权利要求2所述的方法，其特征在于，所述道路语义地图中包括第一类点云和第二类点云，所述对所述道路语义地图进行路沿特征点提取，得到所述道路语义地图中的路沿特征点集，包括：
将所述道路语义地图映射至二维栅格图中，得到映射后的道路语义地图；
从所述映射后的道路语义地图中获取候选栅格，所述候选栅格为具有所述第一类点云和第二类点云的栅格，且所述第一类点云和第二类点云在所述道路语义地图中的高度差不大于第一阈值；
根据所述候选栅格中的所述第一类点云和第二类点云得到路沿特征点集。
4.根据权利要求2或3所述的方法，其特征在于，所述对所述路沿特征点集中的每个特征点进行处理，得到包含多个路沿实例的路沿地图，包括：
对K个子地图的路沿特征点集中的特征点进行迭代搜索处理，得到多个路沿实例的特征点集合，所述K个子地图为对所述道路语义地图进行分割处理得到的，K为不小于2的整数；其中，对于所述K个子地图中的第p个子地图，执行步骤S1-S6：
S1、从所述第p个子地图中获取特征点T(i,j)，其中，所述特征点T(i,j)对应的邻域特征点集中的点的数量不小于第二阈值；
S2、根据所述特征点T(i,j)对应的邻域特征点集和所述特征点T(i,j)，得到至少一个点集，其中，所述至少一个点集中的每个点集中的任意两个特征点与所述特征点T(i,j)连线构成的夹角不大于第三阈值；
S3、从所述至少一个点集中确定与所述特征点T(i,j)的距离不小于第四阈值的特征点T(i,j+1)；
S4、获取所述特征点T(i,j+1)对应的邻域特征点集，并从所述特征点T(i,j+1)对应的邻域特征点集中确定与所述特征点T(i,j+1)的距离不小于第五阈值的特征点T(i,j+2)，其中，所述特征点T(i,j+1)对应的邻域特征点集与所述特征点T(i,j)对应的邻域特征点集不重叠；
S5、令j＝j+1，重复执行步骤S4，直到所述特征点T(i,j+1)对应的邻域特征点集中的点的数量均为0时，得到所述第p个子地图中的第i个路沿实例的特征点集合，所述第p个子地图中的第i个路沿实例的特征点集合包括所述特征点T(i,j)、所述特征点T(i,j)对应的邻域特征点集、所述特征点T(i,j+1)、所述特征点T(i,j+1)对应的邻域特征点集；
S6、令i＝i+1，重复执行步骤S1-S5，直到遍历所述第p个子地图中的特征点时，得到所述第p个子地图中的每个路沿实例的特征点集合，其中，所述第p个子地图为所述K个子地图中的任一个，i、j均为正整数；
根据所述K个子地图中的多个路沿实例的特征点集合得到包含多个路沿实例的路沿地图。
5.根据权利要求1所述的方法，其特征在于，所述根据所述激光高精度地图和所述激光点云数据序列得到路沿特征点集，包括：
对所述激光点云数据序列中每帧激光点云数据进行语义特征提取，得到所述激光点云数据序列中每帧激光点云数据的路沿特征点集；
将所述激光点云数据序列中每帧激光点云数据的路沿特征点集映射至所述激光高精度地图中，得到与所述激光高精度地图所在坐标系对应的路沿特征点集。
6.根据权利要求5所述的方法，其特征在于，所述对所述路沿特征点集中的每个特征点进行处理，得到包含多个路沿实例的路沿地图，包括：
S1、从与所述激光高精度地图所在坐标系对应的路沿特征点集中获取特征点T(i,j)，所述特征点T(i,j)对应的邻域特征点集中的点的数量不小于第一阈值；
S2、根据所述特征点T(i,j)对应的邻域特征点集和所述特征点T(i,j)得到至少一个点集，其中，所述至少一个点集中的每个点集中的任意两个特征点与所述特征点T(i,j)连线构成的夹角不大于第二阈值；
S3、从所述至少一个点集中确定与所述特征点T(i,j)的距离不小于第三阈值的特征点T(i,j+1)；
S4、获取所述特征点T(i,j+1)对应的邻域特征点集，并从所述特征点T(i,j+1)对应的邻域特征点集中确定与所述特征点T(i,j+1)的距离不小于第四阈值的特征点T(i,j+2)，其中，所述特征点T(i,j+1)对应的邻域特征点集与所述特征点T(i,j)对应的邻域特征点集不重叠；
S5、令j＝j+1，重复执行步骤S4，直到所述特征点T(i,j+1)对应的邻域特征点集中的点的数量均为0时，得到所述路沿特征点集中的第i个路沿实例的特征点集合，所述第i个路沿实例的特征点集合包括所述特征点T(i,j)、所述特征点T(i,j)对应的邻域特征点集、所述特征点T(i,j+1)、所述特征点T(i,j+1)对应的邻域特征点集；
S6、令i＝i+1，重复执行步骤S1-S5，直到遍历所述路沿特征点集中的特征点时，得到所述路沿特征点集中的每个路沿实例的特征点集合，i、j均为正整数；
根据所述路沿特征点集中的每个路沿实例的特征点集合得到包含多个路沿实例的路沿地图。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述根据所述路沿地图、所述激光点云数据序列和所述车***姿数据序列，得到所述激光点云数据序列中每帧激光点云数据对应的路沿特征标注数据，包括：
根据所述激光点云数据序列中多帧激光点云数据以及所述车***姿数据序列得到多个参考路沿地图，所述多个参考路沿地图是将所述路沿地图映射在所述多帧激光点云数据分别所在的坐标系中得到的，所述多个参考路沿地图与所述多帧激光点云数据一一对应；
从所述多个参考路沿地图中获取多个预设区域，所述预设区域的尺寸不小于所述每帧激光点云数据的尺寸，所述多个预设区域与所述多个参考路沿地图一一对应；
根据所述激光点云数据序列和所述多个预设区域中的特征点确定所述多个预设区域中的每个特征点的得分；
根据所述多个预设区域中的每个特征点的得分得到所述每帧激光点云数据对应的路沿特征标注数据，所述路沿特征标注数据为对所述得分不小于第六阈值的特征点进行处理得到的。
8.一种路沿数据标注装置，其特征在于，包括：
获取模块，用于获取自车的车***姿数据序列以及包含所述自车周边环境信息的激光点云数据序列；
处理模块，用于：
根据所述车***姿数据序列和所述激光点云数据序列得到激光高精度地图；
根据所述激光高精度地图和所述激光点云数据序列得到路沿特征点集；
对所述路沿特征点集中的每个特征点进行处理，得到包含多个路沿实例的路沿地图；
根据所述路沿地图、所述激光点云数据序列和所述车***姿数据序列，得到所述激光点云数据序列中每帧激光点云数据对应的路沿特征标注数据。
9.根据权利要求8所述的装置，其特征在于，所述处理模块，用于：
对所述激光点云数据序列进行处理，得到激光点云语义信息；
根据所述激光点云语义信息和所述激光高精度地图得到道路语义地图；
对所述道路语义地图进行路沿特征点提取，得到所述道路语义地图中的路沿特征点集。
10.根据权利要求9所述的装置，其特征在于，所述道路语义地图中包括第一类点云和第二类点云，所述处理模块，还用于：
将所述道路语义地图映射至二维栅格图中，得到映射后的道路语义地图；
从所述映射后的道路语义地图中获取候选栅格，所述候选栅格为具有所述第一类点云和第二类点云的栅格，且所述第一类点云和第二类点云在所述道路语义地图中的高度差不大于第一阈值；
根据所述候选栅格中的所述第一类点云和第二类点云得到路沿特征点集。
11.根据权利要求9或10所述的装置，其特征在于，所述处理模块，还用于：
对K个子地图的路沿特征点集中的特征点进行迭代搜索处理，得到多个路沿实例的特征点集合，所述K个子地图为对所述道路语义地图进行分割处理得到的，K为不小于2的整数；其中，对于所述K个子地图中的第p个子地图，执行步骤S1-S6：
S1、从所述第p个子地图中获取特征点T(i,j)，其中，所述特征点T(i,j)对应的邻域特征点集中的点的数量不小于第二阈值；
S2、根据所述特征点T(i,j)对应的邻域特征点集和所述特征点T(i,j)，得到至少一个点集，其中，所述至少一个点集中的每个点集中的任意两个特征点与所述特征点T(i,j)连线构成的夹角不大于第三阈值；
S3、从所述至少一个点集中确定与所述特征点T(i,j)的距离不小于第四阈值的特征点T(i,j+1)；
S4、获取所述特征点T(i,j+1)对应的邻域特征点集，并从所述特征点T(i,j+1)对应的邻域特征点集中确定与所述特征点T(i,j+1)的距离不小于第五阈值的特征点T(i,j+2)，其中，所述特征点T(i,j+1)对应的邻域特征点集与所述特征点T(i,j)对应的邻域特征点集不重叠；
S5、令j＝j+1，重复执行步骤S4，直到所述特征点T(i,j+1)对应的邻域特征点集中的点的数量均为0时，得到所述第p个子地图中的第i个路沿实例的特征点集合，所述第p个子地图中的第i个路沿实例的特征点集合包括所述特征点T(i,j)、所述特征点T(i,j)对应的邻域特征点集、所述特征点T(i,j+1)、所述特征点T(i,j+1)对应的邻域特征点集；
S6、令i＝i+1，重复执行步骤S1-S5，直到遍历所述第p个子地图中的特征点时，得到所述第p个子地图中的每个路沿实例的特征点集合，其中，所述第p个子地图为所述K个子地图中的任一个，i、j均为正整数；
根据所述K个子地图中的多个路沿实例的特征点集合得到包含多个路沿实例的路沿地图。
12.根据权利要求8所述的装置，其特征在于，所述处理模块，用于：
对所述激光点云数据序列中每帧激光点云数据进行语义特征提取，得到所述激光点云数据序列中每帧激光点云数据的路沿特征点集；
将所述激光点云数据序列中每帧激光点云数据的路沿特征点集映射至所述激光高精度地图中，得到与所述激光高精度地图所在坐标系对应的路沿特征点集。
13.根据权利要求12所述的装置，其特征在于，所述处理模块，还用于：
S1、从与所述激光高精度地图所在坐标系对应的路沿特征点集中获取特征点T(i,j)，所述特征点T(i,j)对应的邻域特征点集中的点的数量不小于第一阈值；
S2、根据所述特征点T(i,j)对应的邻域特征点集和所述特征点T(i,j)得到至少一个点集，其中，所述至少一个点集中的每个点集中的任意两个特征点与所述特征点T(i,j)连线构成的夹角不大于第二阈值；
S3、从所述至少一个点集中确定与所述特征点T(i,j)的距离不小于第三阈值的特征点T(i,j+1)；
S4、获取所述特征点T(i,j+1)对应的邻域特征点集，并从所述特征点T(i,j+1)对应的邻域特征点集中确定与所述特征点T(i,j+1)的距离不小于第四阈值的特征点T(i,j+2)，其中，所述特征点T(i,j+1)对应的邻域特征点集与所述特征点T(i,j)对应的邻域特征点集不重叠；
S5、令j＝j+1，重复执行步骤S4，直到所述特征点T(i,j+1)对应的邻域特征点集中的点的数量均为0时，得到所述路沿特征点集中的第i个路沿实例的特征点集合，所述第i个路沿实例的特征点集合包括所述特征点T(i,j)、所述特征点T(i,j)对应的邻域特征点集、所述特征点T(i,j+1)、所述特征点T(i,j+1)对应的邻域特征点集；
S6、令i＝i+1，重复执行步骤S1-S5，直到遍历所述路沿特征点集中的特征点时，得到所述路沿特征点集中的每个路沿实例的特征点集合，i、j均为正整数；
根据所述路沿特征点集中的每个路沿实例的特征点集合得到包含多个路沿实例的路沿地图。
14.根据权利要求8至13任一项所述的装置，其特征在于，所述处理模块，还用于：
根据所述激光点云数据序列中多帧激光点云数据以及所述车***姿数据序列得到多个参考路沿地图，所述多个参考路沿地图是将所述路沿地图映射在所述多帧激光点云数据分别所在的坐标系中得到的，所述多个参考路沿地图与所述多帧激光点云数据一一对应；
从所述多个参考路沿地图中获取多个预设区域，所述预设区域的尺寸不小于所述每帧激光点云数据的尺寸，所述多个预设区域与所述多个参考路沿地图一一对应；
根据所述激光点云数据序列和所述多个预设区域中的特征点确定所述多个预设区域中的每个特征点的得分；
根据所述多个预设区域中的每个特征点的得分得到所述每帧激光点云数据对应的路沿特征标注数据，所述路沿特征标注数据为对所述得分不小于第六阈值的特征点进行处理得到的。
15.一种路沿数据标注装置，其特征在于，包括处理器和存储器；其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如权利要求1至7任意一项所述的方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1至7任意一项所述的方法。
17.一种计算机程序产品，其特征在于，当计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1至7任意一项所述的方法。
18.一种芯片***，其特征在于，所述芯片***应用于电子设备；所述芯片***包括一个或多个接口电路，以及一个或多个处理器；所述接口电路和所述处理器通过线路互联；所述接口电路用于从所述电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，所述电子设备执行如权利要求1至7任意一项所述方法。
19.一种智能驾驶车辆，其特征在于，包括行进***、传感***、控制***和计算机***，其中，所述计算机***用于执行如权利要求1至7任意一项所述的方法。
CN202110932824.2A 2021-08-13 2021-08-13 路沿数据标注方法及相关***、存储介质 Pending CN113822332A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110932824.2A CN113822332A (zh) 2021-08-13 2021-08-13 路沿数据标注方法及相关***、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110932824.2A CN113822332A (zh) 2021-08-13 2021-08-13 路沿数据标注方法及相关***、存储介质

Publications (1)

Publication Number Publication Date
CN113822332A true CN113822332A (zh) 2021-12-21

Family

ID=78922902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110932824.2A Pending CN113822332A (zh) 2021-08-13 2021-08-13 路沿数据标注方法及相关***、存储介质

Country Status (1)

Country Link
CN (1) CN113822332A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419190A (zh) * 2022-01-11 2022-04-29 长沙慧联智能科技有限公司 一种栅格地图视觉指引线生成方法及装置
CN116449335A (zh) * 2023-06-14 2023-07-18 上海木蚁机器人科技有限公司 可行驶区域检测方法、装置、电子设备以及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419190A (zh) * 2022-01-11 2022-04-29 长沙慧联智能科技有限公司 一种栅格地图视觉指引线生成方法及装置
CN116449335A (zh) * 2023-06-14 2023-07-18 上海木蚁机器人科技有限公司 可行驶区域检测方法、装置、电子设备以及存储介质
CN116449335B (zh) * 2023-06-14 2023-09-01 上海木蚁机器人科技有限公司 可行驶区域检测方法、装置、电子设备以及存储介质

Similar Documents

Publication Publication Date Title
Yu et al. Automatic 3D building reconstruction from multi-view aerial images with deep learning
Che et al. Object recognition, segmentation, and classification of mobile laser scanning point clouds: A state of the art review
CN111462275B (zh) 一种基于激光点云的地图生产方法和装置
Yadav et al. Extraction of road surface from mobile LiDAR data of complex road environment
Chen et al. Road extraction in remote sensing data: A survey
US20220028163A1 (en) Computer Vision Systems and Methods for Detecting and Modeling Features of Structures in Images
Zai et al. 3-D road boundary extraction from mobile laser scanning data via supervoxels and graph cuts
US10670416B2 (en) Traffic sign feature creation for high definition maps used for navigating autonomous vehicles
Caltagirone et al. Fast LIDAR-based road detection using fully convolutional neural networks
Forlani et al. C omplete classification of raw LIDAR data and 3D reconstruction of buildings
Ma et al. Capsule-based networks for road marking extraction and classification from mobile LiDAR point clouds
CN111527467A (zh) 使用机器学习、图像分析和/或计算机视觉自动限定计算机辅助设计文件的方法和装置
CN109584294A (zh) 一种基于激光点云的路面点云提取方法和装置
CN113822332A (zh) 路沿数据标注方法及相关***、存储介质
US20220163346A1 (en) Method and apparatus for generating a map for autonomous driving and recognizing location
Bao et al. A review of high-definition map creation methods for autonomous driving
Bao et al. High-definition map generation technologies for autonomous driving
Chen et al. Urban vegetation segmentation using terrestrial LiDAR point clouds based on point non-local means network
CN115690138A (zh) 一种融合车载影像与点云的道路边界提取与矢量化方法
Xiao et al. 3D urban object change detection from aerial and terrestrial point clouds: A review
Ma et al. Virtual analysis of urban road visibility using mobile laser scanning data and deep learning
CN116071729A (zh) 可行驶区域和路沿的检测方法、装置及相关设备
Liu et al. Detection and reconstruction of static vehicle-related ground occlusions in point clouds from mobile laser scanning
WO2022099620A1 (zh) 三维点云分割方法和装置、可移动平台
Luo et al. Road object detection for HD map: Full-element survey, analysis and perspectives

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination