CN112329749B - 点云的标注方法及标注设备 - Google Patents

点云的标注方法及标注设备 Download PDF

Info

Publication number
CN112329749B
CN112329749B CN202110005211.4A CN202110005211A CN112329749B CN 112329749 B CN112329749 B CN 112329749B CN 202110005211 A CN202110005211 A CN 202110005211A CN 112329749 B CN112329749 B CN 112329749B
Authority
CN
China
Prior art keywords
point cloud
target object
frame
frames
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110005211.4A
Other languages
English (en)
Other versions
CN112329749A (zh
Inventor
王伟宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neolix Technologies Co Ltd
Original Assignee
Neolix Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neolix Technologies Co Ltd filed Critical Neolix Technologies Co Ltd
Priority to CN202110005211.4A priority Critical patent/CN112329749B/zh
Publication of CN112329749A publication Critical patent/CN112329749A/zh
Application granted granted Critical
Publication of CN112329749B publication Critical patent/CN112329749B/zh
Priority to PCT/CN2021/099073 priority patent/WO2022147960A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种点云的标注方法及标注设备，涉及无人驾驶、自动驾驶的技术领域，该标注方法包括：获取无人车行驶中连续采集的多个点云帧；对各个点云帧进行目标识别，得到识别结果；根据识别结果，从多个点云帧中提取目标物对应的关键帧，目标物对应的关键帧为识别出目标物的点云帧；针对目标物，通过从关键帧出发的目标追踪进行多个点云帧内的目标匹配，以在未识别出目标物的点云帧内标注匹配到的目标物。本发明能够降低标注难度，延长标注区域。

Description

点云的标注方法及标注设备
技术领域
本发明涉及无人驾驶、自动驾驶的技术领域，具体涉及一种点云的标注方法及标注设备。
背景技术
对于无人车来说，识别周围目标物是必不可少的功能，该功能在现阶段是基于深度学习模型实现的，而深度学习模型需要关联有目标物信息的点云数据参与训练方可生成，因而，对点云数据进行目标物信息的标注具有重要意义。
目前，无人车行驶中针对周围环境采集的一幅幅点云帧皆为黑白图像，其中背景为黑色而点云为白色，即点云帧是无颜色信息的图像，这对于本来需要耗费大量时间与人力成本的人工标注来说，无疑加大了标注难度。尤其是，一个点云帧内，不同位置处的目标物对应不同稀疏程度的点云，并且距离无人车较远的目标物对应较稀疏的点云，因而，距离无人车较远的目标物会因点云信息不足而难以被标注。
发明内容
有鉴于此，本发明实施例提供了一种点云的标注方法及标注设备，能够延长标注区域，降低标注难度。
根据本发明的第一方面，提供一种点云的标注方法，包括：
获取无人车行驶中连续采集的多个点云帧；
对各个所述点云帧进行目标识别，得到识别结果；
根据所述识别结果，从多个所述点云帧中提取目标物对应的关键帧，所述目标物对应的关键帧为识别出所述目标物的点云帧；
针对所述目标物，通过从所述关键帧出发的目标追踪进行多个所述点云帧内的目标匹配，以在未识别出所述目标物的点云帧内标注匹配到的所述目标物。
可选地，根据所述识别结果，从多个所述点云帧中提取目标物对应的关键帧，包括：
根据所述识别结果，将多个所述点云帧中识别出所述目标物的各点云帧确定为一个候选帧，得到多个候选帧；
获取各个所述候选帧中所述目标物与所述无人车的间隔距离，得到多个间隔距离；
将多个所述间隔距离中最小值对应的候选帧，确定为所述关键帧。
可选地，根据所述识别结果，从多个所述点云帧中提取目标物对应的关键帧，包括：
根据所述识别结果，将多个所述点云帧中识别出所述目标物的各点云帧确定为一个候选帧，得到多个候选帧；
获取各个所述候选帧与未识别出所述目标物的点云帧在采集时间上的间隔时长，得到多个间隔时长；
将多个所述间隔时长中最小值对应的候选帧，确定为所述关键帧。
可选地，通过从所述关键帧出发的目标追踪在连续的多个所述点云帧内进行目标匹配，包括：
根据所述目标物在多个候选帧中的位置，确定所述目标物的行驶参数，其中，所述候选帧为多个所述点云帧中识别出所述目标物的点云帧；
基于所述目标物的行驶参数和所述无人车的行驶参数，从所述关键帧出发推演未识别出所述目标物的点云帧内所述目标物的预测位置；
在所述预测位置识别所述目标物，以用于所述预测位置对应点云帧内匹配所述目标物。
可选地，在所述预测位置识别所述目标物，以用于所述预测位置对应点云帧内匹配所述目标物，包括：
获取所述预测位置的点云密度；
判断所述点云密度是否大于预定阈值；
在所述点云密度大于预定阈值的情况下，确定所述预测位置匹配到所述目标物。
可选地，所述标注方法还包括：
将所述关键帧输出以接受人工对所述关键帧核验后输入的第一核验结果；其中，
若人工核验后确定所述关键帧对所述目标物的识别结果不正确，则所述第一核验结果为人工输入的替换帧，所述标注方法还包括：将所述关键帧更新为所述替换帧。
可选地，所述标注方法还包括：
基于所述目标物的类型，获取所述目标物的动力学模型；
通过所述目标物的动力学模型和多个目标点云帧内标注为所述目标物的点云集合，对各个所述目标点云帧进行所述目标物方位的调优，以在各个所述目标点云帧内对所述目标物进行方位信息的标注；
其中，所述目标点云帧包括：多个所述点云帧中识别出所述目标物的点云帧，以及，未识别出所述目标物的点云帧中通过目标追踪匹配到所述目标物的点云帧。
可选地，所述标注方法还包括：通过所述目标物的动力学模型和多个所述目标点云帧内标注为所述目标物的点云集合，确定所述目标物的大小信息，以在各个所述目标点云帧内对所述目标物进行大小信息的标注。
可选地，所述标注方法还包括：
将标注了标注结果的所述目标点云帧输出以接受人工对所述标注结果进行核验后输入的第二核验结果；其中，
若人工核验后确定所述标注结果不正确则所述第二核验结果为人工输入的替换结果，所述标注方法还包括：将所述标注结果更新为所述替换结果。
根据本发明的第二方面，提供一种点云的标注设备，包括：
存储器，用于存储计算机指令；
处理器，耦合到所述存储器，所述处理器被配置为基于所述存储器存储的计算机指令执行实现如第一方面所述的任一种点云的标注方法。
本发明的实施例具有以下优点或有益效果：
本发明实施例在将识别出目标物的点云帧确定为关键帧后，基于多个点云帧的连续性，通过从关键帧出发的目标追踪进行多个点云帧内的目标匹配，以在未识别出目标物的点云帧内标注匹配到的目标物。其中，未识别出目标物的点云帧通过结合关键帧完成了目标物的标注，标注难度有效降低。对于目标物在未识别出目标物的点云帧内属于远距离目标物的情况，该标注方法能够通过结合关键帧的方式对远距离目标物进行标注，使得标注区域得以延长。
附图说明
通过参照以下附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：
图1示出本发明中点云帧的来源示意图；
图2示出无人车行驶中采集环境的一个点云帧；
图3示出本发明第一实施例所提供点云的标注方法流程图；
图4示出本发明第二实施例所提供的提取关键帧的方法流程图；
图5示出本发明第三实施例所提供的提取关键帧的方法流程图；
图6示出本发明第四实施例所提供的目标匹配的方法流程图；
图7示出本发明所提供点云的标注设备的结构框图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以通过不同的形式来实现，并不限于本文所描述的实施例。相反的，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
图1所示为自动行进的一辆无人车，该自动行进过程得以平稳完成的重要原因在于无人车上安装的多种传感器，例如激光雷达。无人车通过激光雷达的探测获得周围环境的点云数据，然后从点云数据中确定目标物的位置以保证行进的平稳完成。
激光雷达探测周围环境对应的点云数据，原理如下：激光雷达包括探测单元和处理单元，其中，探测单元包括发射模块和接收模块，发射模块对周围发射多个激光束，一个激光束对应一个方向；接收模块接收激光束遇到目标物后返回的回波；处理单元是根据回波接收时刻与激光束发射时刻之间的间隔时长以及激光束的发射方向确定激光束的反射点位置，一个反射点位置即图2所示点云帧中一个云点。一个点云帧是激光雷达对周围一圈的目标物进行探测后采集的数据。
无人车从上述点云数据中确定目标物的位置，是通过训练好的目标物识别模型从点云数据中识别出目标物，而目标物识别模型需要训练样本参与训练方可生成。这里的训练样本为关联有目标物信息的提前采集的点云数据（点云数据可以是点云帧分割后的一部分）；在点云数据被训练中的目标物识别模型识别出一个结果后，目标物信息用于确定识别出的结果是否正确以及是否需要继续训练目标物识别模型。因而，对点云数据进行目标物信息的标注具有重要意义。
然而，点云帧无颜色信息，对于本来需要耗费大量时间与人力成本的人工标注来说，无疑进一步加大了标注难度。尤其是，一个点云帧内，不同位置处的目标物对应不同稀疏程度的点云，并且距离无人车较远的目标物对应较稀疏的点云，因而，距离无人车较远的目标物会因点云信息不足而难以被标注。针对此，本发明提供了一种能够降低标准难度、延长标注区域的标注方法及标注设备。
以下先基于实施例对本发明提供的标注方法进行详细描述。
实施例一：
图3所示为点云的标注方法流程图。参照图3，标注方法包括：
步骤S110，获取无人车行驶中连续采集的多个点云帧。
需要说明的是，这里通过无人车上安装的激光雷达连续采集了多个点云帧，假设多个点云帧按采集时间的先后排序为P1，P2，…，Pn，则多个点云帧P1，P2，…，Pn中不存在目标物位置发生跳变的点云帧，也就是说，点云帧Pi是点云帧Pi-1与点云帧Pi+1之间的过渡点云帧，目标物从点云帧Pi-1所示的位置经过点云帧Pi所示的位置而到达点云帧Pi+1所示的位置。
具体地，激光雷达会根据预设规则进行点云帧的连续采集，例如通常在无人车行驶中间隔0.1s进行一次点云帧的采集，这样确保点云帧Pi是点云帧Pi-1与点云帧Pi+1之间的过渡点云帧。
步骤S120，对各个点云帧进行目标识别，得到识别结果。
具体地，可以是通过运行目标物识别模型（例如点云的三维检测模型Pointpillar）对多个点云帧顺次进行目标物的自动识别，从而快速得到多个关联有目标物信息的点云帧。这里所述点云帧和目标物信息的关联，可以是通过目标物信息和点云帧中目标物对应云点的位置信息建立关联列表而实现，一个关联列表对应一个点云帧；以及，一个关联列表包括一个关联数据或多个关联数据，一个关联数据对应一个目标物且为该目标物和一个云点位置信息或多个云点位置信息之间的关联。
应当理解的是，一个关联列表包括一个关联数据的情况下，该关联列表的对应点云帧内识别出一个目标物；一个关联列表包括多个关联数据的情况下，该关联列表的对应点云帧内识别出多个目标物。目标物Xj属于所有点云帧内识别出的目标物的一个，j的取值范围为0-m，m为所有点云帧内识别出的目标物数量，目标物Xj标识所有点云帧内的同一个目标物。
上述目标物识别模型通过以下方式预先训练：构造点云数据样本集合，所述集合中的点云数据样本包括无人车采集的点云数据且点云数据关联有预先识别出的目标物标签；将所述集合中的点云数据样本输入目标物识别模型，由目标物识别模型识别出点云数据样本中的目标物，并与关联的标签进行比较；如果所述集合中识别出的目标物与标签一致的样本比率超过预定比率阈值，则认为目标物识别模型训练成功；如果不超过，则调整目标物识别模型的系数，使得所述集合中的样本比率超过预定比率阈值。
需要强调的是，由于颜色信息以及远距离目标物点云信息的缺乏，现有的点云标注方法无法对点云数据中存在的远距离目标物进行标注。即，对于训练目标物识别模型的点云数据来说，会存在包含某一远距离目标物但缺乏该目标物在远距离状态下的目标物标签，这样上述通过运行目标物识别模型对多个点云帧顺次进行目标物自动识别的过程中，若点云帧Pi中的目标物Xj属于远距离目标物，则目标物识别模型无法识别出来该点云帧Pi内的目标物Xj。
步骤S130，根据识别结果，从多个点云帧中提取目标物对应的关键帧，其中，目标物对应的关键帧为识别出目标物的点云帧。
应当理解的是，多个点云帧P1，P2，…，Pn中不存在目标物位置发生跳变的点云帧，因而点云帧Pi中目标物Xj属于远距离目标物，点云帧Pi之前或之后必有一个点云帧使得目标物Xj属于近距离目标物且能够被识别，这里即选择目标物Xj被识别的点云帧为关键帧。通常情况下，最后选取出的关键帧为点云密度较大的点云帧或者易识别目标物Xj的点云帧，其中，关键帧的点云密度通常大于1000/m3，也就是说，无人车所在空间内若某一区域存在目标物则该区域在关键帧内对应的点云密度大于1000/m3。
需要强调的是，这里关键帧为一个与目标物对应的点云帧，同一个目标物只有一个关键帧，不同的目标物有可能对应不同的关键帧。具体地，若步骤S120中通过关联列表表示点云帧和目标物信息的关联，那么可以通过目标物的目标物信息所在的关联列表来确定关键帧。
步骤S140，针对目标物，通过从关键帧出发的目标追踪进行多个点云帧内的目标匹配，以在未识别出目标物的点云帧内标注匹配到的目标物。
具体地，上述未识别出目标物的点云帧包含在步骤S110采集的多个点云帧内，可以是一帧也可以是多帧。上述目标匹配可以采用目标追踪算法，例如有SORT算法。
本实施例中，在将目标物所在的点云帧确定为关键帧后，通过目标追踪进行多个点云帧内的目标匹配，这样若一个未识别出目标物的点云帧内存在目标物则能够匹配到目标物进而标注目标物。其中，未识别出目标物的点云帧通过是结合关键帧完成了目标物的标注，标注难度有效降低。对于目标物在未识别出目标物的点云帧内属于远距离目标物的情况，该标注方法能够通过结合关键帧的方式对远距离目标物进行标注，使得标注区域得以延长。
实施例二：
本实施例所提供的点云的标注方法基本采用与上述实施例一相同的流程，因此不再赘述。
区别之处在于：参照图4，步骤S130，根据识别结果，从多个点云帧中提取目标物对应的关键帧，包括：
步骤S131a，根据识别结果，将多个点云帧中识别出目标物的各点云帧确定为一个候选帧，得到多个候选帧；
步骤S132a，获取各个候选帧中目标物与无人车的间隔距离，得到多个间隔距离；
步骤S133a，将多个间隔距离中最小值对应的候选帧，确定为关键帧。
需要强调的是，上述间隔距离和候选帧之间是一一对应的关系，即各候选帧对应一个间隔距离，若某一候选帧对应的间隔距离是多个间隔距离中具有最小值的间隔距离，则该候选帧被确定为关键帧。
具体地，若步骤S120中通过关联列表表示点云帧和目标物信息的关联，那么有多个候选帧的情况下存在多个关联列表中包含目标物的目标物信息，该实施例提供了一种从多个关联列表对应的多个候选帧中选择一个作为关键帧的方法。
本实施例中，将多个间隔距离中最小值对应的候选帧确定为关键帧，因而关键帧内对目标物具有较为丰富的信息，这些信息利于在未识别出所述目标物的点云帧中准确框住属于所述目标物的所有云点。
实施例三：
本实施例所提供的点云的标注方法基本采用与上述实施例一相同的流程，因此不再赘述。
区别之处在于：参照图5，步骤S130，根据识别结果，从多个点云帧中提取目标物对应的关键帧，包括：
步骤S131a，根据识别结果，将多个点云帧中识别出目标物的各点云帧确定为一个候选帧，得到多个候选帧；
步骤S132b，获取各个候选帧与未识别出目标物的点云帧在采集时间上的间隔时长，得到多个间隔时长；
步骤S133b，将多个间隔时长中最小值对应的候选帧，确定为关键帧。
需要强调的是，上述间隔时长和候选帧之间是一一对应的关系，即各候选帧对应一个间隔时长，若某一候选帧对应的间隔时长是多个间隔时长中具有最小值的间隔时长，则该候选帧被确定为关键帧。
具体地，若步骤S120中通过关联列表表示点云帧和目标物信息的关联，那么有多个候选帧的情况下存在多个关联列表中包含目标物的目标物信息，该实施例提供了另一种从多个关联列表对应的多个候选帧中选择一个作为关键帧的方法。
本实施例中，将多个间隔时长中最小值对应的候选帧确定为关键帧，因而能够通过较短时长的路线演变即可得到未识别出所述目标物的点云帧中所述目标物的预测位置。
实施例四：
本实施例所提供的点云的标注方法基本采用与上述实施例一相同的流程，因此不再赘述。
区别之处在于：参照图6，步骤S140，通过从关键帧出发的目标追踪在连续的多个点云帧内进行目标匹配，包括：
步骤S141，根据目标物在多个候选帧中的位置，确定目标物的行驶参数，其中，候选帧为多个点云帧中识别出目标物的点云帧；
步骤S142，基于目标物的行驶参数和无人车的行驶参数，从关键帧出发推演未识别出目标物的点云帧内目标物的预测位置；
步骤S143，在预测位置识别目标物，以用于预测位置对应点云帧内匹配目标物。
具体地，目标物的行驶参数可以包括目标物的线速度、角速度，在得知目标物的线速度和角速度后则能够推知目标物的行驶路线；同样，无人车的行驶参数可以包括无人车的线速度、角速度，在得知无人车的线速度和角速度后则能够推知无人车的行驶路线。
需要说明的是，上述目标物的行驶参数为关键帧采集时刻与未识别出目标物点云帧的采集时刻之间的过渡时段内目标物的行驶参数，同样，无人车的行驶参数也为上述过渡时段内无人车的行驶参数，这样目标物的行驶路线以及无人车的行驶路线皆为上述过渡时段内行驶的路线，根据目标物和无人车各自的行驶路线以及各自在关键帧中的初始位置，则能够推演出未识别出目标物的点云帧内目标物的预测位置。
本实施例中，根据目标物在多个候选帧中的位置确定目标物的行驶参数，然后基于目标物的行驶参数和无人车的行驶参数来推演未识别出目标物的点云帧内目标物的预测位置，这样目标物的行驶参数无需依赖车联网等无人车外的辅助***获取，即，预测位置的确定无需依赖车联网，无人车各点云帧的标注只需及时获取无人车自身的行驶参数即可，对于无人车来说其点云标注的自主性更强，整个标注过程更加便捷。
实施例五：
本实施例所提供的点云的标注方法基本采用与上述实施例五相同的流程，因此不再赘述。
区别之处在于：步骤S143，在预测位置识别目标物，以用于预测位置对应点云帧内匹配目标物，包括：获取预测位置的点云密度；判断点云密度是否大于预定阈值；在点云密度大于预定阈值的情况下，确定预测位置匹配到目标物。
具体地，由于目标物具有空间体积，因而上述预测位置是一个空间范围，预测位置的点云密度可以选择预测位置内点云的平均密度。
上述预定阈值可以是根据引起噪声数据的干扰物来确定，以较大颗粒灰尘这种干扰物进行示例性说明。较大颗粒的灰尘会使得激光雷达采集的点云帧内出现噪声数据，但达到引起噪声数据的较大颗粒灰尘往往在空间里具有较小的密度，并且这些灰尘多出现在空旷的位置，因而较大颗粒灰尘引起的噪声数据具有较小的点云密度，这样在引起噪声数据的干扰物为较大颗粒灰尘的情况下，可以根据空间内较大颗粒灰尘的密度设置上述预定阈值。预定阈值设定后，若点云密度不大于预定阈值，则说明预测位置的点云为干扰物对应的点云，预测位置没有匹配到目标物。
需要说明的是，激光束的回波会在光强方面减弱或在传播路线上偏离，这样远距离目标物在点云帧内对应较小密度的点云，然而这个较小密度仍然远远大于引起噪声数据的干扰物在点云帧内对应的点云密度。
本实施例中，在点云密度大于预定阈值的情况下才确定预测位置匹配到目标物，这样有利于将噪声数据和远距离目标物的点云数据区分开，避免在噪声数据处标注远距离目标物的对应目标物信息，即使得标注免受干扰物的影响，标注更加准确。
实施例六：
本实施例所提供的点云的标注方法基本采用与上述实施例一相同的流程，因此不再赘述。
区别之处在于：所述标注方法还包括将关键帧输出以接受人工对关键帧核验后输入的第一核验结果；其中，若人工核验后确定关键帧对目标物的识别结果不正确，则第一核验结果为人工输入的替换帧，标注方法还包括：将关键帧更新为替换帧。
需要说明的是，人工输入的替换帧为多个点云帧中的一个点云帧，且该替换帧内目标物的点云信息较为充足，该替换帧用于替换步骤S130确定的关键帧，步骤S130确定的关键帧更新为替换帧后替换帧作为步骤S140中使用的关键帧。
本实施例中，人工通过第一核验结果干预了关键帧的选择，使得关键帧的选择更精确，继而使得步骤S140中在未识别出目标物的点云帧内对目标物的标注更精确。
实施例七：
本实施例所提供的点云的标注方法基本采用与上述实施例一相同的流程，因此不再赘述。
区别之处在于：所述标注方法还包括：基于目标物的类型，获取目标物的动力学模型；通过目标物的动力学模型和多个目标点云帧内标注为目标物的云点集合，对各个目标点云帧进行目标物方位的调优，以在各个目标点云帧内对目标物进行方位信息的标注；其中，目标点云帧包括：多个点云帧中识别出目标物的点云帧，以及，未识别出目标物的点云帧中通过目标追踪匹配到目标物的点云帧。
具体地，上述方位信息包括目标物的位置和/或目标物的方向。上述动力学模型为与目标物类型对应的动力学模型，两目标物若类型相同则能够使用同一动力学模型，而两目标物若类型不同则动力学模型也不同。
以目标物是自行车为例进行示例性说明。首先获取自行车的动力学模型Bicyclemodel，动力学模型Bicycle model给出了自行车的状态方程，即自行车质心在二维空间内两个相互垂直方向上的速度（标量）以及角速度（矢量）的表达方程，具体是通过车辆质心的线速度（矢量）、车身纵轴与设定正前方的夹角、车辆质心到前后轮的距离来表示，因而在得知自行车质心的线速度（矢量）和角速度（矢量）后，则能够推知车身纵轴与设定正前方的夹角以及车辆质心到前后轮的距离，其中，车身纵轴与设定正前方的夹角表示自行车的方向，车辆质心到前后轮的距离表示了自行车所占的空间位置。需要说明的是，Bicycle model是一个理想的模型，车辆质心角速度以及二维空间内两个相互垂直方向上的速度还会受到其它参量的稍许影响，例如表征车辆质心线速度与车辆纵轴夹角的滑移角，即Bicycle model并不能完全精确地确定目标物的方位信息。
目标点云帧会通过点云的分布范围给出目标物的方位信息。同样需要说明的是，由于点云帧内会缺失目标物的某些云点，因而点云帧提供的方位信息也具有不精确性。
本实施例中，通过目标物的动力学模型和多个目标点云帧内标注为目标物的云点集合，对各个目标点云帧进行目标物方位的调优，是使得最后确定的方位信息与目标物的动力学模型以及目标点云帧都有较高的契合度。其中，目标点云帧为多个，最后确定的方位信息需要与目标物的动力学模型以及所有目标点云帧都有较高的契合度，这样确定的方位信息是经过全局调优后得到的结果，能够准确地表征目标物的实际方位。
实施例八：
本实施例所提供的点云的标注方法基本采用与上述实施例七相同的流程，因此不再赘述。
区别之处在于：所述标注方法还包括：通过目标物的动力学模型和多个目标点云帧内标注为目标物的云点集合，确定目标物的大小信息，以在各个目标点云帧内对目标物进行大小信息的标注。
具体地，目标物的动力学模型会由目标物的行驶参数推知目标物的大小信息；目标点云帧内标注为目标物的云点集合同样会给出目标物的大小信息。但由于目标物的动力学模型是一个理想模型，因而推知的大小信息和目标物的实际大小会有偏差；而目标点云帧中目标物的部分云点会缺失，因而目标点云帧推知的大小信息也会与目标物的实际大小有偏差。而通过目标物的动力学模型和多个目标点云帧内标注为目标物的云点集合，确定目标物的大小信息，即使得确定的目标物的大小信息与目标物的动力学模型以及多个目标点云帧都有较高的契合度。
本实施例中，通过目标物的动力学模型和多个目标点云帧内标注为目标物的云点集合确定目标物的大小信息，使得确定的目标物大小信息受多个参考条件的综合约束，因而能准确地表征目标物的实际大小。
实施例九：
本实施例所提供的点云的标注方法基本采用与上述实施例八相同的流程，因此不再赘述。
区别之处在于：所述标注方法还包括：将标注了标注结果的目标点云帧输出以接受人工对标注结果进行核验后输入的第二核验结果；其中，若人工核验后确定标注结果不正确则第二核验结果为人工输入的替换结果，标注方法还包括：将标注结果更新为替换结果。
需要说明的是，人工输入的替换结果为对点云帧进行准确标注的标注信息，具体可以包括类型信息、方位信息和大小信息这些标注信息。
本实施例中，人工通过第二核验结果干预了点云帧的标注，使得点云帧各方面的标注更精确。
基于同一方面构思，本发明还公开了一种点云的标注设备，包括：存储器，用于存储计算机指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的计算机指令执行实现如以上任一实施例所述点云的标注方法。
具体地，标注设备为执行标注方法的设备，用于对无人车行驶中连续采集的多个点云帧进行目标物标注，标注的信息例如有目标物类型、目标物大小、目标物方位，其中，目标物类型例如有行人、自行车、路旁的变电箱等；目标物大小例如有自行车的长；目标物方位包括目标物的朝向和目标物相对于无人车的位置。
标注设备可以不仅包括上述存储器和处理器，还包括以下一个或多个组件：电源组件、输入/输出接口以及通信组件。其中，存储器还被配置为存储各种类型的数据以支持标注设备的操作，存储器可以由任何类型的易失性或非易失性存储设备或者他们的组合实现，如静态随机存储存储器（SRAM）、电可擦除可编程只读存储器（EEPROM），磁盘等。电源组件被配置为对标注设备的各种组件提供电力，电源组件可以包括电源管理***、一个或多个电源以及其它与电力生成、管理和分配相关联的组件。输入/输出接口被配置为对标注设备和***模块之间连接提供接口，上述***模块可以是键盘和移动硬盘等。通信组件被配置为便于标注设备和其它设备之间进行有线或无线通信，示例性地，通信组件包括近场通信（NFC）模块以促进短程通信。处理组件通常被配置为控制标注设备的整体操作，诸如与显示、数据通信以及运算和记录操作相关联的操作；处理组件可以包括一个或多个处理器来执行指令。
图7所示为标注设备的一种可选结构示意图。参照图7，标注设备包括获取单元110、识别单元120、提取单元130和标注单元140，其中，获取单元110用于获取无人车行驶中连续采集的多个点云帧；识别单元120用于对各个点云帧进行目标识别，得到识别结果；提取单元130用于根据识别结果，从多个点云帧中提取目标物对应的关键帧；标注单元140用于针对目标物，通过从关键帧出发的目标追踪进行多个点云帧内的目标匹配，以在未识别出目标物的点云帧内标注匹配到的目标物。
具体地，标注设备包括的获取单元110可以通过输入/输出接口搭建，这样获取单元110通过输入/输出接口连接的***模块（例如键盘）录入点云帧；获取单元110也可以通过通信组件搭建，这样获取单元110通过通信组件连接的激光雷达上传点云帧。
标注设备包括的标注单元140可以包括输入/输出接口，这样标注单元140通过输入/输出接口输出标注后的点云帧。
标注设备100包括的识别单元120、提取单元130和部分标注单元140可以通过处理器搭建，处理器通过执行指令实现识别单元120和提取单元130的全部功能以及标注单元140的部分功能。
需要说明的是，该标注设备包括的获取单元110、识别单元120、提取单元130和标注单元140相结合用于执行上述实施例中点云的标注方法，因而这里对获取单元110、识别单元120、提取单元130和标注单元140的功能不再进行详细描述。
应当理解的是，标注设备还可以包括一些其他单元来执行上述各实施例中没有被获取单元110、识别单元120、提取单元130和标注单元140执行的功能。
本实施例中，点云的标注设备在将目标物所在的点云帧确定为关键帧后，通过目标追踪进行多个点云帧内的目标匹配，这样若一个未识别出目标物的点云帧内存在目标物则能够匹配到目标物进而标注目标物。其中，未识别出目标物的点云帧通过是结合关键帧完成了目标物的标注，标注难度有效降低。对于目标物在未识别出目标物的点云帧内属于远距离目标物的情况，该标注方法能够通过结合关键帧的方式对远距离目标物进行标注，使得标注区域得以延长。
附图中的流程图、框图图示了本发明实施例的***、方法、装置的可能的体系框架、功能和操作，流程图和框图上的方框可以代表一个模块、程序段或仅仅是一段代码，所述模块、程序段和代码都是用来实现规定逻辑功能的可执行指令。也应当注意，所述实现规定逻辑功能的可执行指令可以重新组合，从而生成新的模块和程序段。因此附图的方框以及方框顺序只是用来更好的图示实施例的过程和步骤，而不应以此作为对发明本身的限制。
应当说明的是，在本文中，所含术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后应说明的是：显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (10)

1.一种点云的标注方法，包括：
获取无人车行驶中连续采集的多个点云帧；
对各个所述点云帧进行目标识别，得到识别结果；
根据所述识别结果，从多个所述点云帧中提取目标物对应的关键帧，所述目标物对应的关键帧为识别出所述目标物的点云帧，其中，所述识别出所述目标物的点云帧为点云密度大于1000/m3或其中的目标物属于近距离目标物的点云帧；
针对所述目标物，通过从所述关键帧出发的目标追踪进行多个所述点云帧内的目标匹配，以在未识别出所述目标物的点云帧内标注匹配到的所述目标物。
2.根据权利要求1所述的标注方法，其中，根据所述识别结果，从多个所述点云帧中提取目标物对应的关键帧，包括：
根据所述识别结果，将多个所述点云帧中识别出所述目标物的各点云帧确定为一个候选帧，得到多个候选帧；
获取各个所述候选帧中所述目标物与所述无人车的间隔距离，得到多个间隔距离；
将多个所述间隔距离中最小值对应的候选帧，确定为所述关键帧。
3.根据权利要求1所述的标注方法，其中，根据所述识别结果，从多个所述点云帧中提取目标物对应的关键帧，包括：
根据所述识别结果，将多个所述点云帧中识别出所述目标物的各点云帧确定为一个候选帧，得到多个候选帧；
获取各个所述候选帧与未识别出所述目标物的点云帧在采集时间上的间隔时长，得到多个间隔时长；
将多个所述间隔时长中最小值对应的候选帧，确定为所述关键帧。
4.根据权利要求1所述的标注方法，其中，通过从所述关键帧出发的目标追踪在连续的多个所述点云帧内进行目标匹配，包括：
根据所述目标物在多个候选帧中的位置，确定所述目标物的行驶参数，其中，所述候选帧为多个所述点云帧中识别出所述目标物的点云帧；
基于所述目标物的行驶参数和所述无人车的行驶参数，从所述关键帧出发推演未识别出所述目标物的点云帧内所述目标物的预测位置；
在所述预测位置识别所述目标物，以用于所述预测位置对应点云帧内匹配所述目标物。
5.根据权利要求4所述的标注方法，其中，在所述预测位置识别所述目标物，以用于所述预测位置对应点云帧内匹配所述目标物，包括：
获取所述预测位置的点云密度；
判断所述点云密度是否大于预定阈值；
在所述点云密度大于预定阈值的情况下，确定所述预测位置匹配到所述目标物。
6.根据权利要求1所述的标注方法，还包括：
将所述关键帧输出以接受人工对所述关键帧核验后输入的第一核验结果；其中，
若人工核验后确定所述关键帧对所述目标物的识别结果不正确，则所述第一核验结果为人工输入的替换帧，所述标注方法还包括：将所述关键帧更新为所述替换帧。
7.根据权利要求1所述的标注方法，还包括：
基于所述目标物的类型，获取所述目标物的动力学模型；
通过所述目标物的动力学模型和多个目标点云帧内标注为所述目标物的云点集合，对各个所述目标点云帧进行所述目标物方位的调优，以在各个所述目标点云帧内对所述目标物进行方位信息的标注；
其中，所述目标点云帧包括：多个所述点云帧中识别出所述目标物的点云帧，以及，未识别出所述目标物的点云帧中通过目标追踪匹配到所述目标物的点云帧。
8.根据权利要求7所述的标注方法，还包括：通过所述目标物的动力学模型和多个所述目标点云帧内标注为所述目标物的云点集合，确定所述目标物的大小信息，以在各个所述目标点云帧内对所述目标物进行大小信息的标注。
9.根据权利要求8所述的标注方法，还包括：
将标注了标注结果的所述目标点云帧输出以接受人工对所述标注结果进行核验后输入的第二核验结果；其中，
若人工核验后确定所述标注结果不正确则所述第二核验结果为人工输入的替换结果，所述标注方法还包括：将所述标注结果更新为所述替换结果。
10.一种点云的标注设备，包括：
存储器，用于存储计算机指令；
处理器，耦合到所述存储器，所述处理器被配置为基于所述存储器存储的计算机指令执行实现如权利要求1-9中任一项所述点云的标注方法。
CN202110005211.4A 2021-01-05 2021-01-05 点云的标注方法及标注设备 Active CN112329749B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110005211.4A CN112329749B (zh) 2021-01-05 2021-01-05 点云的标注方法及标注设备
PCT/CN2021/099073 WO2022147960A1 (zh) 2021-01-05 2021-06-09 点云的标注方法及标注设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110005211.4A CN112329749B (zh) 2021-01-05 2021-01-05 点云的标注方法及标注设备

Publications (2)

Publication Number Publication Date
CN112329749A CN112329749A (zh) 2021-02-05
CN112329749B true CN112329749B (zh) 2021-04-27

Family

ID=74302173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110005211.4A Active CN112329749B (zh) 2021-01-05 2021-01-05 点云的标注方法及标注设备

Country Status (2)

Country Link
CN (1) CN112329749B (zh)
WO (1) WO2022147960A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329749B (zh) * 2021-01-05 2021-04-27 新石器慧通（北京）科技有限公司 点云的标注方法及标注设备
CN116012624B (zh) * 2023-01-12 2024-03-26 阿波罗智联(北京)科技有限公司 定位方法、装置、电子设备、介质以及自动驾驶设备
CN116363557B (zh) * 2023-03-17 2023-09-19 杭州再启信息科技有限公司 一种用于连续帧的自学习标注方法、***及介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239794A (zh) * 2017-05-18 2017-10-10 深圳市速腾聚创科技有限公司 点云数据分割方法和终端
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
CN108446585A (zh) * 2018-01-31 2018-08-24 深圳市阿西莫夫科技有限公司 目标跟踪方法、装置、计算机设备和存储介质
CN108917761A (zh) * 2018-05-07 2018-11-30 西安交通大学 一种无人车在地下车库中的精确定位方法
US20190086923A1 (en) * 2017-09-18 2019-03-21 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for generating obstacle motion information for autonomous vehicle
CN110221603A (zh) * 2019-05-13 2019-09-10 浙江大学 一种基于激光雷达多帧点云融合的远距离障碍物检测方法
CN110927742A (zh) * 2019-11-19 2020-03-27 杭州飞步科技有限公司 障碍物跟踪方法、装置、设备及存储介质
CN111191600A (zh) * 2019-12-30 2020-05-22 深圳元戎启行科技有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN111311684A (zh) * 2020-04-01 2020-06-19 亮风台（上海）信息科技有限公司 一种进行slam初始化的方法与设备
CN111553302A (zh) * 2020-05-08 2020-08-18 深圳前海微众银行股份有限公司 关键帧选取方法、装置、设备及计算机可读存储介质
CN111583337A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于多传感器融合的全方位障碍物检测方法
CN111626217A (zh) * 2020-05-28 2020-09-04 宁波博登智能科技有限责任公司 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN111771229A (zh) * 2019-01-30 2020-10-13 百度时代网络技术（北京）有限公司 用于自动驾驶车辆的点云重影效果检测***

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107918753B (zh) * 2016-10-10 2019-02-22 腾讯科技（深圳）有限公司 点云数据处理方法及装置
CN110647658A (zh) * 2019-08-02 2020-01-03 惠州市德赛西威汽车电子股份有限公司 一种基于云计算的车载图像特征自动识别方法与***
CN111476822B (zh) * 2020-04-08 2023-04-18 浙江大学 一种基于场景流的激光雷达目标检测与运动跟踪方法
CN112329749B (zh) * 2021-01-05 2021-04-27 新石器慧通（北京）科技有限公司 点云的标注方法及标注设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
CN107239794A (zh) * 2017-05-18 2017-10-10 深圳市速腾聚创科技有限公司 点云数据分割方法和终端
US20190086923A1 (en) * 2017-09-18 2019-03-21 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for generating obstacle motion information for autonomous vehicle
CN108446585A (zh) * 2018-01-31 2018-08-24 深圳市阿西莫夫科技有限公司 目标跟踪方法、装置、计算机设备和存储介质
CN108917761A (zh) * 2018-05-07 2018-11-30 西安交通大学 一种无人车在地下车库中的精确定位方法
CN111771229A (zh) * 2019-01-30 2020-10-13 百度时代网络技术（北京）有限公司 用于自动驾驶车辆的点云重影效果检测***
CN110221603A (zh) * 2019-05-13 2019-09-10 浙江大学 一种基于激光雷达多帧点云融合的远距离障碍物检测方法
CN110927742A (zh) * 2019-11-19 2020-03-27 杭州飞步科技有限公司 障碍物跟踪方法、装置、设备及存储介质
CN111191600A (zh) * 2019-12-30 2020-05-22 深圳元戎启行科技有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN111311684A (zh) * 2020-04-01 2020-06-19 亮风台（上海）信息科技有限公司 一种进行slam初始化的方法与设备
CN111583337A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于多传感器融合的全方位障碍物检测方法
CN111553302A (zh) * 2020-05-08 2020-08-18 深圳前海微众银行股份有限公司 关键帧选取方法、装置、设备及计算机可读存储介质
CN111626217A (zh) * 2020-05-28 2020-09-04 宁波博登智能科技有限责任公司 一种基于二维图片和三维点云融合的目标检测和追踪方法

Also Published As

Publication number Publication date
WO2022147960A1 (zh) 2022-07-14
CN112329749A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN112329749B (zh) 点云的标注方法及标注设备
US11393216B2 (en) Method of computer vision based localisation and navigation and system for performing the same
US10650531B2 (en) Lidar noise removal using image pixel clusterings
CN110675307B (zh) 基于vslam的3d稀疏点云到2d栅格图的实现方法
US20180348374A1 (en) Range-View Lidar-Based Object Detection
US7929730B2 (en) Method and system for object detection and tracking
CN116255992A (zh) 一种同时定位与建图的方法和装置
KR20220019204A (ko) 자율주행 차량에서의 주행 경로 생성 및 제어 시스템 및 방법
CN113835102A (zh) 车道线生成方法和装置
CN111126327B (zh) 车道线检测方法、***、车载***及车辆
CN112622923B (zh) 用于控制车辆的方法和装置
EP4095812A1 (en) Method for predicting a trajectory of an agent in a vicinity of a self-driving vehicle based on ranking
CN115236997B (zh) 预测控制方法、装置、设备及计算机可读存储介质
CN112733971B (zh) 扫描设备的位姿确定方法、装置、设备及存储介质
US20230350418A1 (en) Position determination by means of neural networks
CN110749325B (zh) 航迹规划方法和装置
CN117311393A (zh) 一种无人机自主飞行路径规划方法及***
CN116972860A (zh) 偏航识别方法、装置、电子设备及存储介质
Simões et al. A hybrid indoor positioning system using a linear weighted policy learner and iterative PDR
Madhavan et al. Moving object prediction for off-road autonomous navigation
CN115586767A (zh) 一种多机器人路径规划方法和装置
EP4050510A1 (en) Object information calculation method and system
CN114140497A (zh) 目标车辆3d实时追踪方法及***
CN109901589B (zh) 移动机器人控制方法和装置
Chen et al. Towards bio-inspired place recognition over multiple spatial scales

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant