CN118119968A - 点云数据的标注方法和装置 - Google Patents

Abstract

本申请提供了一种点云数据的标注方法和装置，涉及人工智能领域，具体涉及三维视觉和数据标注技术。该方法包括在获取点云数据中目标物体对应的预标注框之后，根据基于标注规则的第一算法进一步对预标注框进行调整，使得调整后的标注框满足标注规则，该点云数据的标注方法可以提高标注准确度。

Description

点云数据的标注方法和装置 技术领域

本申请涉及人工智能领域，尤其涉及点云数据的标注方法和装置。

背景技术

三维(3-dimension，3D)点云标注是指在设备采集的点云数据中，通过3D框将目标物体标注出来，得到作为基础训练数据的标注框真值，可供计算机视觉、智能驾驶或其他与计算机视觉相关的(如无人机和机器人)等人工智能网络模型训练使用。

除了需要大量的标注人员从点云中标注的人工标注方法，目前一般将3D点云数据输入预训练的目标识别网络模型，以获取标注框。

若直接通过预训练的目标识别网络模型获取标注框真值，该目标识别网络模型的性能将直接影响标注框的质量，标注准确度较低。

发明内容

本申请提供了一种点云数据的标注方法和装置，可以提高标注框真值质量的可控性。

本申请第一方面提供一种点云数据的标注方法，包括：获取点云数据中目标物体对应的预标注框；根据基于标注规则的第一算法处理所述预标注框，获取经过调整的标注框，所述标注规则包括至少一个对预标注框进行调整的调整规则。

本申请提出的点云数据标注方法，在获取点云数据中目标物体对应的预标注框之后，进一步通过基于标注规则的第一算法对预标注框进行优化调整，获取调整后的标注框，即标注框真值，由此，相较仅基于目标识别算法获取标注框，可以降低目标识别算法性能对标注框真值质量的影响。此外，对预标注框进行优化调整的第一算法基于标注规则，具有可扩展性及可解释性，可以基于实际业务需求灵活地进行调整，满足多样化的人工智能网络模型训练需求。例如，在一种可能的实现方式中，标注规则为，对于目标车辆，标注框真值包括完整车辆区域；在另一种可能的实现方式中，对于目标车辆，标注框真值不包括车辆后视镜部分。

在第一方面的一种可能的实现方式中，所述点云数据包括：多帧三维点云数据。

本申请提出的点云数据标注方法，点云数据可以具体指三维点云数据，在一种可能的实现方式中，该点云数据为多帧三维点云数据，具体可以是连续采集的多帧三维点云数据，或者针对同一道路场景采集的三维点云数据，或者从连续采集的多帧三维点云数据中经筛选得到的多帧点云数据。本实现方式中对此不做限定。例如，通过配置于智能汽车的激光雷达连续采集行驶过程中的道路信息获取多帧点云数据。

在第一方面的一种可能的实现方式中，所述获取点云数据中目标物体对应的预标注框，包括：通过目标识别算法从点云数据中获取目标物体的预标注框。

本申请提出的点云数据标注方法，预标注框可以通过已有的各种目标识别算法获取，相较人工标注预标注框的方式，可以提高标注效率。

在第一方面的一种可能的实现方式中，所述通过目标识别算法从点云数据中获取目标物体的预标注框包括：通过三维目标识别网络模型获取所述多帧三维点云数据中每帧点云数据的预标注框。

本申请提出的点云数据标注方法，目标识别算法可以是三维目标识别网络模型，通过多 帧三维点云数据获取预标注框可以提高预标注准确度。

在第一方面的一种可能的实现方式中，所述第一算法包括以下至少一项：用于标注框轨迹优化的第一子算法，或用于对地调整标注框位置的第二子算法。

若点云数据为多帧三维点云数据，可以基于目标物体的大小不变，移动轨迹连续或者道路场景中目标物***于地面等特点确定用于优化调整预标注框的第一算法，第一算法基于预设的标注规则，可以根据实际应用需求设计标注规则包含的调整规则，并进一步确定对应的第一算法。

在第一方面的一种可能的实现方式中，所述第一算法包括第一子算法，所述第一子算法对应的标注规则包括以下至少一项：目标轨迹平滑，或者对应于同一目标物体的标注框大小相同；所述方法还包括：将所述预标注框输入第一跟踪算法，确定所述多帧点云数据中对应于第一目标物体的多个预标注框，所述第一目标物体根据所述第一跟踪算法，由所述多帧点云数据中相邻帧的预标注框之间的重合度确定；根据所述对应于第一目标物体的多个预标注框获取所述第一目标物体的轨迹；所述根据基于标注规则的第一算法处理所述预标注框，获取经过调整的标注框，包括：将所述第一目标物体的轨迹和所述多个预标注框输入所述第一子算法，获取轨迹优化后的多个标注框。

本申请提出的点云数据标注方法，若第一算法包括用于标注框轨迹优化的第一子算法，对应的标注规则包括以下至少一项：目标轨迹平滑，或者对应于同一目标物体的标注框大小相同。也就是说，目标物体的运动轨迹连续，对应呈现在在不同点云数据中的标注框轨迹平滑，或目标物体在不同点云数据中对应的标注框大小不变。基于上述调整规则，可以通过第一跟踪算法确定多帧点云数据中的第一目标物体，以及每帧点云数据中对应于第一目标物体的预标注框，可选地，若点云数据中包括多个目标物体，可以通过身份标识ID区分对应于不同目标物体的预标注框。例如对第一目标物体的轨迹进行拟合，移动预标注框的位置和朝向，获取对应于平滑的轨迹曲线的多个标注框。

在第一方面的一种可能的实现方式中，在所述根据所述对应于第一目标物体的多个预标注框获取所述第一目标物体的轨迹之前，所述方法还包括：将所述多帧三维点云数据中对应于第一目标物体的多个预标注框转换至同一坐标系后，确定所述第一目标物体是否为动态目标；若所述第一目标物体为动态目标，则触发获取所述第一目标物体的轨迹；若所述第一目标物体为非动态目标，则根据所述对应于第一目标物体的多个预标注框加权平均值调整所述多个预标注框。

本申请提出的点云数据标注方法，在基于第一子算法对预标注框进行调整之前，还可以判断第一目标物体是否为动态目标，可选地，若第一目标物体为动态目标，则通过多个预标注框加权平均对预标注框的大小进行调整，并通过第一子算法对预标注框的朝向和位置进行调整。若第一目标物体为非动态目标，则直接通过多个预标注框的加权平均对预标注框进行调整。

在第一方面的一种可能的实现方式中，所述第一跟踪算法包括：滤波算法，或用于目标跟踪的神经网络模型，所述滤波算法包括扩展卡尔曼滤波EKF算法或粒子滤波PF算法。

本申请提出的点云数据标注方法，第一跟踪算法可以为已有的各类跟踪算法，对于跟踪算法的具体类型不做限定。

在第一方面的一种可能的实现方式中，所述第一算法包括：所述第二子算法，所述第二子算法对应的标注规则包括标注框下表面落在地面；所述根据基于标注规则的第一算法处理所述预标注框，获取经过调整的标注框，包括：根据所述多帧点云数据获取累积后的稠密点云；根据所述稠密点云数据确定地面位置；根据第二子算法移动所述预标注框的位置至所述预标注框的下表面至所述地面位置，得到对地调整后的标注框。

本申请提出的点云数据标注方法，基于目标物***于地面，通过第二子算法用于调整预标注框，使得标注框下表面落在地面，可以提升标注准确度。

在第一方面的一种可能的实现方式中，所述预标注框为立方体，所述立方体由x，y，z，l，w，h或θ标识，其中所述x，y和z用于指示所述立方体的中心点位置，所述l，w和h用于指示所述立方体的大小，所述θ指示所述立方体的朝向。

本申请提出的点云数据标注方法，提供了预标注框的一种可能形式，可以理解的是，还可能通过其他标注方式指示标注框，本申请对此不做限定。

本申请第二方面提供一种点云数据的标注装置，包括：获取单元，用于获取点云数据中目标物体对应的预标注框；处理单元，用于根据基于标注规则的第一算法处理所述预标注框，获取经过调整的标注框，所述标注规则包括至少一个对预标注框进行调整的调整规则。

在第二方面的一种可能的实现方式中，所述点云数据包括：多帧三维点云数据。

在第二方面的一种可能的实现方式中，所述获取单元，具体用于：通过目标识别算法从点云数据中获取目标物体的预标注框。

在第二方面的一种可能的实现方式中，所述获取单元，具体用于：通过三维目标识别网络模型获取所述多帧三维点云数据中每帧点云数据的预标注框。

在第二方面的一种可能的实现方式中，所述第一算法包括以下至少一项：用于标注框轨迹优化的第一子算法，或用于对地调整标注框位置的第二子算法。

在第二方面的一种可能的实现方式中，所述第一算法包括第一子算法，所述第一子算法对应的标注规则包括以下至少一项：目标轨迹平滑，或者对应于同一目标物体的标注框大小相同；所述处理单元还用于：将所述预标注框输入第一跟踪算法，确定所述多帧点云数据中对应于第一目标物体的多个预标注框，所述第一目标物体根据所述第一跟踪算法，由所述多帧点云数据中相邻帧的预标注框之间的重合度确定；根据所述对应于第一目标物体的多个预标注框获取所述第一目标物体的轨迹；将所述第一目标物体的轨迹和所述多个预标注框输入所述第一子算法，获取轨迹优化后的多个标注框。

在第二方面的一种可能的实现方式中，所述装置还包括：确定单元，用于将所述多帧三维点云数据中对应于第一目标物体的多个预标注框转换至同一坐标系后，确定所述第一目标物体是否为动态目标；若所述第一目标物体为动态目标，则触发所述处理单元获取所述第一目标物体的轨迹；若所述第一目标物体为非动态目标，则所述处理单元根据所述对应于第一目标物体的多个预标注框加权平均值调整所述多个预标注框。

在第二方面的一种可能的实现方式中，所述第一跟踪算法包括：滤波算法，或用于目标跟踪的神经网络模型，所述滤波算法包括扩展卡尔曼滤波EKF算法或粒子滤波PF算法。

在第二方面的一种可能的实现方式中，所述第一算法包括：所述第二子算法，所述第二子算法对应的标注规则包括标注框下表面落在地面；所述处理单元，具体用于：根据所述多 帧点云数据获取累积后的稠密点云；根据所述稠密点云数据确定地面位置；根据第二子算法移动所述预标注框的位置至所述预标注框的下表面至所述地面位置，得到对地调整后的标注框。

在第二方面的一种可能的实现方式中，所述预标注框为立方体，所述立方体由x，y，z，l，w，h和θ标识，其中所述x，y和z用于指示所述立方体的中心点位置，所述l，w和h用于指示所述立方体的大小，所述θ指示所述立方体的朝向。

本申请第三方面提供了一种点云数据的标注装置，包括：存储器，所述存储器中存储有计算机可读指令；与所述存储器相连的处理器，所述计算机可读指令被所述处理器执行时，使得所述点云数据的标注装置实现如上述第一方面以及各种可能的实现方式中任一项所述的方法。

本申请第四方面提供了计算机程序产品，包括计算机可读指令，当所述计算机可读指令在计算机上运行时，使得所述计算机执行如上述第一方面以及各种可能的实现方式中任一项所述的方法。

本申请第五方面提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行如上述第一方面以及各种可能的实现方式中任一项所述的方法。

本申请第六方面提供了一种芯片，包括处理器。处理器用于读取并执行存储器中存储的计算机程序，以执行上述任一方面任意可能的实现方式中的方法。可选地，该芯片该包括存储器，该存储器与该处理器通过电路或电线与存储器连接。进一步可选地，该芯片还包括通信接口，处理器与该通信接口连接。通信接口用于接收需要处理的数据和/或信息，处理器从该通信接口获取该数据和/或信息，并对该数据和/或信息进行处理，并通过该通信接口输出处理结果。该通信接口可以是输入输出接口。

其中，第二方面、第三方面、第四方面、第五方面或第六方面以及其中任一种实现方式所带来的技术效果可参见第一方面中相应实现方式所带来的技术效果，此处不再赘述。

本申请提出的点云数据标注方法，在获取点云数据中目标物体对应的预标注框之后，进一步通过基于标注规则的第一算法对预标注框进行优化调整，获取调整后的标注框，即标注框真值，由此，相较仅基于目标识别算法获取标注框，可以降低目标识别算法性能对标注框真值质量的影响，提高标注准确度。

此外，对预标注框进行优化调整的第一算法基于标注规则，具有可扩展性及可解释性，可以基于实际业务需求灵活地进行调整，满足多样化的人工智能网络模型训练需求。

附图说明

图1为本申请实施例的应用场景示意图；

图2为本申请实施例提供的一种***架构示意图；

图3为本申请实施例中点云数据标注方法的一个实施例示意图；

图4为本申请实施例中标注框的一个示意图；

图5为本申请实施例中多帧点云数据中同一目标的移动轨迹示意图；

图6为本申请实施例中预标注框经第一子算法调整的示意图；

图7a为本申请实施例中第一子算法调整前后的标注框的一个示意图；

图7b为本申请实施例中第一子算法调整前后的标注框的另一个示意图；

图8为本申请实施例中预标注框经第二子算法调整的示意图。

图9为本申请实施例中对地调整标注框的示意图；

图10为本申请实施例中点云数据标注方法的另一个实施例示意图；

图11为本申请实施例中点云数据的标注装置的一个实施例示意图；

图12为本申请实施例中点云数据的标注装置的另一个实施例示意图。

具体实施方式

本申请实施例提供了一种点云数据的标注方法和装置，可以提高标注框真值质量的可控性。

下面结合附图，对本申请的实施例进行描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。

激光雷达是智能汽车的核心感知传感器，通过激光雷达采集的点云数据，可以捕捉动态或静态目标，为车辆提供交通环境信息，常见的目标包括汽车、地面、行人及其他类型的障碍物等。请参阅图1，在图1中画面A呈现的道路环境中通过激光雷达等设备进行数据采集，得到的点云数据如图1中B部分所示，本申请中，点云数据(point cloud data)是指在一个三维(3D，3-dimension)坐标***中的一组向量的集合，可用于表示三维世界。以点的形式记录，每一个点包含有三维坐标，有些可能含有颜色信息(RGB)或反射强度信息(intensity)。激光雷达采集的点云数据也称为激光点云。

标注框真值或称3D真值框，需要大量的人工标注人员来从点云中标注对应的标注框真值。基于点云的标注框真值的标注存在着两大难点：一是：点云稀疏，缺少纹理，标注人员很难直观地看出目标；二是：标注的信息量多，相较在二维点云中标注2D真值框，3D真值框包含参数较多。这两大难点导致3D真值生成的标注效率低和标注成本高。

为了解决这两大问题，不同的提高标注效率方法已经被提出了，主要分为两种，辅助标注***和预标注***。其中，辅助标注***任然需要标注人员人工确定大概的目标位置，效率不高且精度低；预标注***是通过直接通过预训练的目标识别网络模型获取标注框真值，这种完全依赖于模型处理的方法，使得标注框真值的质量受目标识别网络模型影响的敏感度高，最后真值的质量对其该目标识别网络模型的性能将直接影响标注框真值的质量，标注框真值质量的可控性较低。进一步地，标注框真值的质量将影响后续训练的人工智能网络模型 的性能。此外，由于网络模型为预训练得到，确定的单一标注框真值的标注方式无法满足多样化的标注框真值需求。

有鉴于此，本申请实施例提供了一种点云数据的标注方法和装置，可以提高标注框真值质量的可控性，降低标注框真值质量对于目标识别网络模型的敏感度。

下面介绍本申请实施例提供的***架构。

参见图2，本申请实施例提供了一种***架构200。如***架构200所示，数据采集设备260可以用于采集训练数据。在数据采集设备260采集到训练数据之后，将这些训练数据存入数据库230，训练设备220基于数据库230中维护的训练数据训练得到目标模型/规则201。

下面对训练设备220基于训练数据得到目标模型/规则201进行描述。示例性地，训练设备220对多帧样本图像进行处输出对应的预测标签，并计算预测标签和样本的原始标签之间的损失，基于该损失对分类网络进行更新，直到预测标签接近样本的原始标签或者预测标签和原始标签之间的差异小于阈值，从而完成目标模型/规则201的训练。标签可以为本申请实施例涉及的标注框。具体描述详见后文中的训练方法。

本申请实施例中的目标模型/规则201具体可以为神经网络。需要说明的是，在实际的应用中，数据库230中维护的训练数据不一定都来自于数据采集设备260的采集，也有可能是从其他设备接收得到的。例如，本申请实施例提供的点云数据的标注装置，可以对采集的数据进行标注，获取该训练数据。另外需要说明的是，训练设备220也不一定完全基于数据库230维护的训练数据进行目标模型/规则201的训练，也有可能从云端或其他地方获取训练数据进行模型训练，上述描述不应该作为对本申请实施例的限定。

根据训练设备220训练得到的目标模型/规则201可以应用于不同的***或设备中，如应用于图2所示的执行设备210，所述执行设备210可以是终端，如手机终端，平板电脑，笔记本电脑，增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)，车载终端，电视等，还可以是服务器或者云端等。在图2中，执行设备210配置有收发器212，该收发器可以包括输入/输出(input/output，I/O)接口或者其他无线或者有线的通信接口等，用于与外部设备进行数据交互，以I/O接口为例，用户可以通过客户设备240向I/O接口输入数据。

在执行设备210对输入数据进行预处理，或者在执行设备210的计算模块212执行计算等相关的处理过程中，执行设备210可以调用数据存储***250中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据、指令等存入数据存储***250中。

最后，I/O接口212将处理结果返回给客户设备240，从而提供给用户。

值得说明的是，训练设备220可以针对不同的目标或称不同的任务，基于不同的训练数据生成相应的目标模型/规则201，该相应的目标模型/规则201即可以用于实现上述目标或完成上述任务，从而为用户提供所需的结果。

在图2中所示情况下，用户可以手动给定输入数据，该手动给定可以通过收发器212提供的界面进行操作。另一种情况下，客户设备240可以自动地向收发器212发送输入数据，如果要求客户设备240自动发送输入数据需要获得用户的授权，则用户可以在客户设备240中设置相应权限。用户可以在客户设备240查看执行设备210输出的结果，具体的呈现形式可以是显示、声音、动作等具体方式。客户设备240也可以作为数据采集端，采集如图所示 输入收发器212的输入数据及输出收发器212的输出结果作为新的样本数据，并存入数据库230。当然，也可以不经过客户设备240进行采集，而是由收发器212直接将如图所示输入收发器212的输入数据及输出收发器212的输出结果，作为新的样本数据存入数据库230。

值得注意的是，图2仅是本申请实施例提供的一种***架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在图2中，数据存储***250相对执行设备210是外部存储器，在其它情况下，也可以将数据存储***250置于执行设备210中。

如图2所示，根据训练设备220训练得到目标模型/规则201，该目标模型/规则201在本申请实施例中可以是本申请中涉及的模型，例如用于获取预标注框的三维目标识别网络模型。

请参阅图3，本申请实施例提出了一种点云数据的标注方法。该方法可以应用于图1所示的场景中，包括步骤301至步骤302。

301、获取点云数据中目标物体对应的预标注框。

点云数据可以具体指三维点云数据，三维点云数据可以是单帧点云数据或多帧点云数据，在一种可能的实现方式中，该点云数据为多帧三维点云数据，具体可以是连续采集的多帧三维点云数据，例如针对同一道路场景采集的三维点云数据，或者从连续采集的多帧三维点云数据中经筛选得到的多帧点云数据。本实现方式中对此不做限定。示例性地，通过配置于智能汽车的激光雷达连续采集行驶过程中的道路信息获取多帧点云数据。

预标注框可以通过已有的标注方法获取，包括人工标注，或者通过目标识别算法获取。需要说明的是，目标识别算法可以是各种已有的目标识别算法，相较人工标注预标注框的方式，可以提高标注效率。可选地，目标识别算法包括神经网络模型或者非模型算法，在一种可能的实现方式中，目标识别算法具体为三维目标识别网络模型，三维目标识别网络模型为预训练的深度学习模型，通过三维目标识别网络模型可以获取点云数据的预标注框。

对于多帧三维点云数据，可以获取多帧点云数据中每帧点云数据的预标注框。常见的标注框形式为立方体，该立方体可由7个参数：x，y，z，l，w，h及θ标识，其中x，y和z用于指示立方体的中心点位置，l，w和h用于指示所述立方体的大小，θ指示立方体的朝向。在一种可能的实现方式中，标注框还可标注(identity，ID))，用以区分对应的目标物体。示例性的，请参阅图4(图中仅示出了部分点云)，为标注框的一个示例，点O为该标注框的中心点，“53”为该标注框的ID，箭头方向指示标注框朝向。

302、根据基于标注规则的第一算法处理所述预标注框，获取经过调整的标注框。

标注规则包括至少一个对预标注框进行调整的调整规则，调整规则可以基于实际应用场景对标注框的需求设定，示例性的，调整规则包括：多帧点云数据中对应于同一目标的标注框大小相同，多帧点云数据中对应于同一目标的标注框轨迹平滑，对应于车辆目标的标注框不包含后视镜部分，或道路场景中对应于车辆目标的标注框应接触地面区域等。

第一算法为基于标注规则的算法，用于对标注框进行调整(或称优化)。预标注框经第一算法调整，可以实现对应的标注规则中各项调整规则的要求。

可选地，第一算法包括以下至少一项：用于标注框轨迹优化的第一子算法，或用于对地调整标注框位置的第二子算法。

若第一算法包括第一子算法，该第一子算法对应的标注规则包括以下至少一项：目标轨 迹平滑，或者对应于同一目标的标注框大小相同。

具体地，将预标注框输入第一跟踪算法，第一跟踪算法可以是现有的任意一种跟踪算法，包括滤波算法，或用于目标跟踪的神经网络模型，其中，滤波算法包括：扩展卡尔曼滤波(extensive Kalman filter，EKF)，或粒子滤波(particle filter，PF)等。基于第一跟踪算法，根据多帧点云数据中相邻帧的预标注框之间的重合度确定第一目标物体，以及确定多帧点云数据中对应于第一目标物体的多个预标注框，根据对应于第一目标物体的多个预标注框获取第一目标物体的轨迹。可选地，确定多个预标注框的身份标识ID，该ID用于指示预标注框对应的第一目标物体，不同的ID用于区分不同的目标物体。

将第一目标物体的轨迹和多个预标注框输入第一子算法，获取轨迹优化后的多个预标注框，即通过第一子算法实现对多个预标注框的调整，请参阅图5，图5为多帧点云数据中同一目标物体的移动轨迹示意图，点A1、A2……An为多帧点云数据中对应于同一目标物体的多个标注框的中心点。点A1、A2……An经拟合可以得到中心点的移动轨迹。

在一种可能的实现方式中，通过第一子算法对多个预标注框的位置x，y和z，或朝向θ进行调整。

在一种可能的实现方式中，在获取对应于第一目标物体的多个预标注框之后，还可以通过多个预标注框加权平均可以确定预标注框的大小l，w和h，进一步地，通过第一子算法对多个预标注框的位置x，y和z以及朝向θ进行调整，使得对应于第一目标物体的多个预标注框的大小相同，且在多帧点云数据中轨迹平滑。

可选地，在所述根据所述对应于第一目标物体的多个预标注框获取所述第一目标物体的轨迹之前，还可以判断所述第一目标物体是否为动态目标，需要说明的是，每帧点云数据基于自车坐标系构建，将所述多帧点云数据中对应于第一目标物体的多个预标注框转换至同一坐标系后，即可判断该第一目标物体是否为动态目标。

若第一目标物体为动态目标，则触发获取第一目标物体的轨迹；若第一目标物体为非动态目标，则根据所述对应于第一目标物体的多个预标注框加权平均值调整所述多个预标注框。请参阅图6，为通过第一子算法调整预标注框的一个示意图，将对应于第一目标物体的多个预标注框转换至同一坐标系，例如世界坐标系中，对目标物体进行动静判断，对于静态目标，直接进行加权平均，即可获取调整后的标注框(转换回单帧点云数据对应的自车坐标系中)；对于动态目标，可以通过加权平均调整标注框的大小，然后通过轨迹优化，调整标注框的位置和朝向，从而获取调整后的标注框(转换回单帧点云数据对应的自车坐标系中)。

请参阅图7a和图7b，为通过第一子算法进行调整的标注框示意图。图7a中，标注框710为调整前的预标注框，标注框711为调整后的标注框。图7b中，标注框720为调整前的预标注框，标注框721为调整后的标注框。

若第一算法包括第二子算法，第二子算法对应的标注规则包括目标落在地面。请参阅图8，介绍预标注框经第二子算法调整的示意图。具体地，根据第二子算法获取标注框真值的方法包括：

801、积累多帧点云数据。

根据多帧点云数据获取累积后的稠密点云，可参考图9所示稠密点云的示意图。

802、确定地面位置。

根据稠密点云数据确定地面位置，如图9所示，910对应于地面位置。

803、移动预标注框至地面位置。

移动预标注框的位置至所述预标注框的下表面落入所述地面位置，得到对地调整后的预标注框，如图9所示，标注框920下表面落入地面位置。

下面结合图10，对本申请实施例提供的点云数据的标注方法涉及的算法处理流程进行介绍。多帧三维点云数据通过三维目标识别网络模型，输出目标物体对应的多个预标注框，通过第一跟踪算法，输出对应于同一目标物体的多个预标注框，输入第一子算法，得到基于同一目标物体的多个预标注框的中心点轨迹调整后的多个标注框，再输入第二子算法调整，使得多个标注框落入地面位置，进一步对标注框进行调整，得到的标注框准确度提高。

上面介绍了本申请提供的点云数据的标注方法，下面对实现该点云数据的标注方法的装置进行介绍，请参阅图11，为本申请实施例中点云数据的标注装置的一个实施例示意图。

该点云数据的标注装置，包括：获取单元1101，用于获取点云数据中目标物体对应的预标注框；处理单元1102，用于根据基于标注规则的第一算法处理所述预标注框，获取经过调整的标注框，所述标注规则包括至少一个对预标注框进行调整的调整规则。

在一种可能的实现方式中，所述点云数据包括：多帧三维点云数据。

在一种可能的实现方式中，所述获取单元1101，具体用于：通过目标识别算法从点云数据中获取目标物体的预标注框。

在一种可能的实现方式中，所述获取单元1101，具体用于：通过三维目标识别网络模型获取所述多帧三维点云数据中每帧点云数据的预标注框。

在一种可能的实现方式中，所述第一算法包括以下至少一项：用于标注框轨迹优化的第一子算法，或用于对地调整标注框位置的第二子算法。

在一种可能的实现方式中，所述第一算法包括第一子算法，所述第一子算法对应的标注规则包括以下至少一项：目标轨迹平滑，或者对应于同一目标物体的标注框大小相同；所述处理单元1102还用于：将所述预标注框输入第一跟踪算法，确定所述多帧点云数据中对应于第一目标物体的多个预标注框，所述第一目标物体根据所述第一跟踪算法，由所述多帧点云数据中相邻帧的预标注框之间的重合度确定；根据所述对应于第一目标物体的多个预标注框获取所述第一目标物体的轨迹；将所述第一目标物体的轨迹和所述多个预标注框输入所述第一子算法，获取轨迹优化后的多个标注框。

在一种可能的实现方式中，所述装置还包括：确定单元，用于将所述多帧三维点云数据中对应于第一目标物体的多个预标注框转换至同一坐标系后，确定所述第一目标物体是否为动态目标；若所述第一目标物体为动态目标，则触发所述处理单元1102获取所述第一目标物体的轨迹；若所述第一目标物体为非动态目标，则所述处理单元1102根据所述对应于第一目标物体的多个预标注框加权平均值调整所述多个预标注框。

在一种可能的实现方式中，所述第一跟踪算法包括：滤波算法，或用于目标跟踪的神经网络模型，所述滤波算法包括扩展卡尔曼滤波EKF算法或粒子滤波PF算法。

在一种可能的实现方式中，所述第一算法包括：所述第二子算法，所述第二子算法对应的标注规则包括标注框下表面落在地面；所述处理单元1102，具体用于：根据所述多帧点云数据获取累积后的稠密点云；根据所述稠密点云数据确定地面位置；根据第二子算法移动所 述预标注框的位置至所述预标注框的下表面至所述地面位置，得到对地调整后的标注框。

在一种可能的实现方式中，所述预标注框为立方体，所述立方体由x，y，z，l，w，h和θ标识，其中所述x，y和z用于指示所述立方体的中心点位置，所述l，w和h用于指示所述立方体的大小，所述θ指示所述立方体的朝向。

应理解以上第一网络设备或第二网络设备的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块以软件通过处理元件调用的形式实现，部分模块以硬件的形式实现。例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，ASIC)，或，一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)等。再如，当以上某个模块通过处理元件调度程序的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，CPU)或其它可以调用程序的处理器。再如，这些模块可以集成在一起，以片上***(system-on-a-chip，SOC)的形式实现。

请参阅图12，为本申请实施例中点云数据的标注装置的另一个实施例示意图；

本实施例提供的点云数据的标注装置1200，本申请实施例中对其具体设备形态不做限定。

该点云数据的标注装置1200，可以用于执行以上实施例中的方法。点云数据的标注装置1200可以应用于图1所示的应用场景中。可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器1201和存储器1202，该存储器1202中存储有程序或数据。

其中，存储器1202可以是易失性存储或非易失性存储。可选地，处理器1201是一个或多个中央处理器(central processing unit，CPU)，该CPU可以是单核CPU，也可以是多核CPU。处理器1201可以与存储器1202通信，在点云数据的标注装置1200上执行存储器1202中的一系列指令。

该点云数据的标注装置1200还包括一个或一个以上有线或无线网络接口1203，例如以太网接口。

可选地，尽管图12中未示出，点云数据的标注装置1200还可以包括一个或一个以上电源；一个或一个以上输入输出接口，输入输出接口可以用于连接显示器、鼠标、键盘、触摸屏设备或传感设备等，输入输出接口为可选部件，可以存在也可以不存在，此处不做限定。

本实施例中点云数据的标注装置1200中的处理器1201所执行的流程可以参考前述方法实施例中描述的方法流程，此处不加赘述。

针对图11至图12未详细描述的内容可以参考对方法实施例相关部分的描述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的 相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (23)

1. 一种点云数据的标注方法，其特征在于，包括：

   获取点云数据中目标物体对应的预标注框；

   根据基于标注规则的第一算法处理所述预标注框，获取经过调整的标注框，所述标注规则包括至少一个对预标注框进行调整的调整规则。
2. 根据权利要求1所述的方法，其特征在于，

   所述点云数据包括：多帧三维点云数据。
3. 根据权利要求1或2所述的方法，其特征在于，所述获取点云数据中目标物体对应的预标注框，包括：

   通过目标识别算法从点云数据中获取目标物体的预标注框。
4. 根据权利要求3所述的方法，其特征在于，所述通过目标识别算法从点云数据中获取目标物体的预标注框包括：

   通过三维目标识别网络模型获取所述多帧三维点云数据中每帧点云数据的预标注框。
5. 根据权利要求2至4中任一项所述的方法，其特征在于，所述第一算法包括以下至少一项：

   用于标注框轨迹优化的第一子算法，或用于对地调整标注框位置的第二子算法。
6. 根据权利要求5所述的方法，其特征在于，所述第一算法包括第一子算法，所述第一子算法对应的标注规则包括以下至少一项：目标轨迹平滑，或者对应于同一目标物体的标注框大小相同；

   所述方法还包括：

   将所述预标注框输入第一跟踪算法，确定所述多帧点云数据中对应于第一目标物体的多个预标注框，所述第一目标物体根据所述第一跟踪算法，由所述多帧点云数据中相邻帧的预标注框之间的重合度确定；

   根据所述对应于第一目标物体的多个预标注框获取所述第一目标物体的轨迹；

   所述根据基于标注规则的第一算法处理所述预标注框，获取经过调整的标注框，包括：

   将所述第一目标物体的轨迹和所述多个预标注框输入所述第一子算法，获取轨迹优化后的多个标注框。
7. 根据权利要求6所述的方法，其特征在于，在所述根据所述对应于第一目标物体的多个预标注框获取所述第一目标物体的轨迹之前，所述方法还包括：

   将所述多帧三维点云数据中对应于第一目标物体的多个预标注框转换至同一坐标系后，确定所述第一目标物体是否为动态目标；

   若所述第一目标物体为动态目标，则触发获取所述第一目标物体的轨迹；

   若所述第一目标物体为非动态目标，则根据所述对应于第一目标物体的多个预标注框加权平均值调整所述多个预标注框。
8. 根据权利要求5至7中任一项所述的方法，所述第一跟踪算法包括：

   滤波算法，或用于目标跟踪的神经网络模型，所述滤波算法包括扩展卡尔曼滤波EKF算法或粒子滤波PF算法。
9. 根据权利要求5至8中任一项所述的方法，其特征在于，所述第一算法包括：所述第 二子算法，所述第二子算法对应的标注规则包括标注框下表面落在地面；

   所述根据基于标注规则的第一算法处理所述预标注框，获取经过调整的标注框，包括：

   根据所述多帧点云数据获取累积后的稠密点云；

   根据所述稠密点云数据确定地面位置；

   根据第二子算法移动所述预标注框的位置至所述预标注框的下表面至所述地面位置，得到对地调整后的标注框。
10. 根据权利要求1至9中任一项所述的方法，其特征在于，

    所述预标注框为立方体，所述立方体由x，y，z，l，w，h或θ标识，其中所述x，y和z用于指示所述立方体的中心点位置，所述l，w和h用于指示所述立方体的大小，所述θ指示所述立方体的朝向。
11. 一种点云数据的标注装置，其特征在于，包括：

    获取单元，用于获取点云数据中目标物体对应的预标注框；

    处理单元，用于根据基于标注规则的第一算法处理所述预标注框，获取经过调整的标注框，所述标注规则包括至少一个对预标注框进行调整的调整规则。
12. 根据权利要求11所述的装置，其特征在于，

    所述点云数据包括：多帧三维点云数据。
13. 根据权利要求11或12所述的装置，其特征在于，所述获取单元，具体用于：

    通过目标识别算法从点云数据中获取目标物体的预标注框。
14. 根据权利要求13所述的装置，其特征在于，所述获取单元，具体用于：

    通过三维目标识别网络模型获取所述多帧三维点云数据中每帧点云数据的预标注框。
15. 根据权利要求12至14中任一项所述的装置，其特征在于，所述第一算法包括以下至少一项：

    用于标注框轨迹优化的第一子算法，或用于对地调整标注框位置的第二子算法。
16. 根据权利要求15所述的装置，其特征在于，所述第一算法包括第一子算法，所述第一子算法对应的标注规则包括以下至少一项：目标轨迹平滑，或者对应于同一目标物体的标注框大小相同；

    所述处理单元还用于：

    将所述预标注框输入第一跟踪算法，确定所述多帧点云数据中对应于第一目标物体的多个预标注框，所述第一目标物体根据所述第一跟踪算法，由所述多帧点云数据中相邻帧的预标注框之间的重合度确定；

    根据所述对应于第一目标物体的多个预标注框获取所述第一目标物体的轨迹；

    将所述第一目标物体的轨迹和所述多个预标注框输入所述第一子算法，获取轨迹优化后的多个标注框。
17. 根据权利要求16所述的装置，其特征在于，所述装置还包括：

    确定单元，用于将所述多帧三维点云数据中对应于第一目标物体的多个预标注框转换至同一坐标系后，确定所述第一目标物体是否为动态目标；

    若所述第一目标物体为动态目标，则触发所述处理单元获取所述第一目标物体的轨迹；

    若所述第一目标物体为非动态目标，则所述处理单元根据所述对应于第一目标物体的多 个预标注框加权平均值调整所述多个预标注框。
18. 根据权利要求15至17中任一项所述的装置，所述第一跟踪算法包括：

    滤波算法，或用于目标跟踪的神经网络模型，所述滤波算法包括扩展卡尔曼滤波EKF算法或粒子滤波PF算法。
19. 根据权利要求15至18中任一项所述的装置，其特征在于，所述第一算法包括：所述第二子算法，所述第二子算法对应的标注规则包括标注框下表面落在地面；

    所述处理单元，具体用于：

    根据所述多帧点云数据获取累积后的稠密点云；

    根据所述稠密点云数据确定地面位置；

    根据第二子算法移动所述预标注框的位置至所述预标注框的下表面至所述地面位置，得到对地调整后的标注框。
20. 根据权利要求11至19中任一项所述的装置，其特征在于，

    所述预标注框为立方体，所述立方体由x，y，z，l，w，h和θ标识，其中所述x，y和z用于指示所述立方体的中心点位置，所述l，w和h用于指示所述立方体的大小，所述θ指示所述立方体的朝向。
21. 一种点云数据的标注装置，其特征在于，包括：

    存储器，所述存储器中存储有计算机可读指令；

    与所述存储器相连的处理器，所述计算机可读指令被所述处理器执行时，使得所述终端实现如权利要求1至10中任一项所述的方法。
22. 一种计算机程序产品，其特征在于，包括计算机可读指令，当所述计算机可读指令在计算机上运行时，使得所述计算机执行如权利要求1至10任一项所述的方法。
23. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1至10中任一项所述的方法。