CN110136273B - 一种用于机器学习中的样本数据标注方法及装置 - Google Patents

Abstract

本发明实施例公开一种用于机器学习中的样本数据标注及装置。该方法包括：获取待标注的激光点云数据；根据二维俯视坐标系与三维坐标系之间的第一映射关系，将所述激光点云数据显示在二维俯视界面中；获取针对二维俯视界面显示的激光点云数据输入的第一标注操作；根据激光点云数据的三维坐标，确定第一标注操作对应的包围框；根据包围框，确定激光点云数据对应的标注信息；其中，三维坐标系为激光点云数据所在的坐标系，二维俯视界面与二维俯视坐标系对应。应用本发明实施例提供的方案，能够提高标注激光点云数据时的效率。

Description

一种用于机器学习中的样本数据标注方法及装置

技术领域

本发明涉及智能驾驶技术领域，具体而言，涉及一种用于机器学习中的样本数据标注方法及装置。

背景技术

激光点云数据是激光雷达返回的数据类型，激光点云包括大量激光点数据。激光雷达可以安装在智能车辆、机器人等设备中，用于根据采集设备周围的激光点云数据，根据激光点云数据可以确定设备周围的障碍物信息。

当前收集到的激光点云数据信息量过多过杂，难以直接使用，需要人工对其进行识别和标注，标注后的激光点云数据可作为机器学习算法研发时的样本数据。在实际操作时，通常需要在三维界面中标注出对象的立体包围框。在标注立体包围框时比较困难，需要标注人员多次调整。面对大量、庞杂的激光点云数据，这种对数据标注的方式效率较低。

发明内容

本发明提供了一种用于机器学习中的样本数据标注方法及装置，以提高标注激光点云数据时的效率。具体的技术方案如下。

第一方面，本发明实施例公开了一种用于机器学习中的样本数据标注，包括：

获取待标注的激光点云数据；

根据二维俯视坐标系与三维坐标系之间的第一映射关系，将所述激光点云数据显示在二维俯视界面中；其中，所述三维坐标系为所述激光点云数据所在的坐标系，所述二维俯视界面与所述二维俯视坐标系对应；

获取针对所述二维俯视界面显示的激光点云数据输入的第一标注操作；

根据所述激光点云数据的三维坐标，确定所述第一标注操作对应的包围框；

根据所述包围框，确定所述激光点云数据对应的标注信息。

可选的，在获取待标注的激光点云数据之后，所述方法还包括：

将所述激光点云数据显示在三维界面中；其中，所述三维界面与所述三维坐标系对应；

在确定所述第一操作对应的包围框之后，所述方法还包括：

在所述三维界面中显示所述包围框；

获取针对所述三维界面中显示的包围框输入的调整操作，根据所述调整操作，对所述包围框进行调整；

所述根据所述包围框，确定所述激光点云数据对应的标注信息的步骤，包括：

根据调整后的包围框，确定所述激光点云数据对应的标注信息。

可选的，所述根据所述激光点云数据的三维坐标，确定所述第一标注操作对应的包围框的步骤，包括：

根据所述第一标注操作确定二维标注框；

以所述二维标注框在所述三维坐标系中指示的范围为搜索范围，从处在所述搜索范围内的激光点云数据中确定第三坐标轴方向的边界数据点；其中，所述第三坐标轴为：所述三维坐标系中除了所述二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴；

根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定所述第一标注操作对应的包围框。

可选的，所述根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定所述第一标注操作对应的包围框的步骤，包括：

根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定待修正包围框；

确定所述待修正包围框的其他面所在的其他二维坐标系与所述三维坐标系之间的第二映射关系；其中，所述其他面包括背面和/或侧面，所述其他二维坐标系包括：二维背视坐标系和/或二维侧视坐标系；

根据所述第二映射关系，将所述激光点云数据和所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中；

获取针对所述其他二维界面显示的待修正包围框输入的修正操作；

根据所述修正操作对所述待修正包围框进行修正，得到所述第一标注操作对应的包围框。

可选的，所述根据所述第二映射关系，将所述激光点云数据和所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中的步骤，包括：

根据所述第二映射关系，将所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中；

确定处于所述待修正包围框内的激光点云数据对应的颜色，根据确定的颜色，将处于所述待修正包围框内的激光点云数据显示在所述其他二维界面中。

可选的，所述将所述激光点云数据显示在二维俯视界面中的步骤，包括：

按照预先设定的第三坐标轴坐标与颜色的对应关系，确定每个激光点云数据对应的颜色，根据确定的颜色，将所述激光点云数据显示在与所述二维俯视坐标系对应的二维俯视界面中；

其中，所述第三坐标轴为：所述三维坐标系中除了所述二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴。

可选的，所述二维俯视界面中还显示有预设的标注范围辅助线；

所述获取针对所述二维俯视界面显示的激光点云数据输入的第一标注操作的步骤，包括：

获取针对所述二维俯视界面显示的、处于所述标注范围辅助线所限定范围内的激光点云数据，输入的第一标注操作。

第二方面，本发明实施例提供了一种用于机器学习中的样本数据标注装置，包括：

第一获取模块，被配置为获取待标注的激光点云数据；

第一显示模块，被配置为根据二维俯视坐标系与三维坐标系之间的第一映射关系，将所述激光点云数据显示在二维俯视界面中；其中，所述三维坐标系为所述激光点云数据所在的坐标系，所述二维俯视界面与所述二维俯视坐标系对应；

第二获取模块，被配置为获取针对所述二维俯视界面显示的激光点云数据输入的第一标注操作；

第一确定模块，被配置为根据所述激光点云数据的三维坐标，确定所述第一标注操作对应的包围框；

第二确定模块，被配置为根据所述包围框，确定所述激光点云数据对应的标注信息。

可选的，所述装置还包括：第二显示模块和调整模块；

所述第二显示模块，被配置为在获取待标注的激光点云数据之后，将所述激光点云数据显示在三维界面中；其中，所述三维界面与所述三维坐标系对应；

所述第二显示模块，还被配置为在所述第一确定模块确定所述第一操作对应的包围框之后，在所述三维界面中显示所述包围框；

所述调整模块，被配置为获取针对所述三维界面中显示的包围框输入的调整操作，根据所述调整操作，对所述包围框进行调整；

所述第二确定模块，具体被配置为：

根据调整后的包围框，确定所述激光点云数据对应的标注信息。

可选的，所述第一确定模块，具体被配置为：

根据所述第一标注操作确定二维标注框；

以所述二维标注框在所述三维坐标系中指示的范围为搜索范围，从处在所述搜索范围内的激光点云数据中确定第三坐标轴方向的边界数据点；其中，所述第三坐标轴为：所述三维坐标系中除了所述二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴；

根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定所述第一标注操作对应的包围框。

可选的，所述第一确定模块，根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定所述第一标注操作对应的包围框时，包括：

根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定待修正包围框；

确定所述待修正包围框的其他面所在的其他二维坐标系与所述三维坐标系之间的第二映射关系；其中，所述其他面包括背面和/或侧面，所述其他二维坐标系包括：二维背视坐标系和/或二维侧视坐标系；

根据所述第二映射关系，将所述激光点云数据和所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中；

获取针对所述其他二维界面显示的待修正包围框输入的修正操作；

根据所述修正操作对所述待修正包围框进行修正，得到所述第一标注操作对应的包围框。

可选的，所述第一确定模块，根据所述第二映射关系，将所述激光点云数据和所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中时，包括：

根据所述第二映射关系，将所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中；

确定处于所述待修正包围框内的激光点云数据对应的颜色，根据确定的颜色，将处于所述待修正包围框内的激光点云数据显示在所述其他二维界面中。

可选的，所述第一显示模块，将所述激光点云数据显示在二维俯视界面中时，包括：

按照预先设定的第三坐标轴坐标与颜色的对应关系，确定每个激光点云数据对应的颜色，根据确定的颜色，将所述激光点云数据显示在与所述二维俯视坐标系对应的二维俯视界面中；

其中，所述第三坐标轴为：所述三维坐标系中除了所述二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴。

可选的，所述二维俯视界面中还显示有预设的标注范围辅助线；第二获取模块，具体被配置为：

获取针对所述二维俯视界面显示的、处于所述标注范围辅助线所限定范围内的激光点云数据，输入的第一标注操作。

由上述内容可知，本发明实施例提供的用于机器学习中的样本数据标注方法及装置，可以根据二维俯视坐标系与三维坐标系之间的第一映射关系，将激光点云数据显示在二维俯视界面中，在获取到输入的第一标注操作时，根据第一标注操作的包围框，确定激光点云数据对应的标注信息。由于本发明实施例可将激光点云数据显示在二维俯视界面中，供标注人员在二维俯视界面中对激光点云数据进行标注，相比于在三维界面中标注立方体，在二维界面中标注二维图形更易于实施，使得标注人员能更快速标注，因此能够提高标注激光点云数据时的效率。

本发明实施例的创新点包括：

1、在二维俯视界面中显示激光点云数据，供标注人员在二维俯视界面中对激光点云数据进行标注，能够降低标注人员的标注难度，提高标注效率。

2、当得到待修正包围框之后，还可以在背视界面和/或侧视界面中显示待修正包围框，并可以供标注人员在背视界面和/或侧视界面中对待修正包围框的其他面进行修正，提高包围框的精确性。。

3、在二维俯视界面显示激光点云数据时，可以在竖直的高度方向对不同高度处的激光点云数据显示不同的颜色，这样更便于标注人员看到不同高度处的激光点云数据，提高标注的便捷性和对物体的区分性。。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的用于机器学习中的样本数据标注方法的一种流程示意图；

图2(1)为本发明实施例提供的一种坐标结构体系示意图；

图2(2)为本发明提供的三维坐标系和二维俯视、背视、侧视坐标系的一种示意图；

图3为本发明实施例提供的一种显示界面的屏幕截图；

图4为本发明实施例提供的二维俯视界面中一种着色方案参考图；

图5(1)和图5(2)为本发明实施例提供的辅助线的一种参考图；

图6为本发明实施例提供的各个单元加载时的一种流程示意图；

图7为本发明实施例提供的用于机器学习中的样本数据标注装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明实施例公开了一种用于机器学习中的样本数据标注方法及装置，能够提高标注激光点云数据时的效率。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的用于机器学习中的样本数据标注方法的一种流程示意图。该方法应用于电子设备。该电子设备可以为普通计算机、服务器或智能移动设备等。该方法具体包括以下步骤。

S110：获取待标注的激光点云数据。

其中，激光点云数据包含多个数据点。激光点云数据可以为激光雷达采集得到的。激光雷达可以均安装在智能设备中，智能设备可以为智能车辆、机器人等设备。激光雷达可以采集以激光雷达为中心、周围一圈环境中的激光点云数据。获取的激光点云数据可以作为用于机器学习中的样本数据。

激光雷达在采集数据时，向周围环境发射多个激光束，各个激光束遇到物体反射会激光雷达。激光雷达根据发射的各个激光束和返回的各个激光束可以得到激光点云数据，激光点云数据能够表征以激光雷达为中心的周围物体的三维空间位置。激光点云数据包含了多个激光点数据。

激光雷达可以按照预设时间间隔采集多个激光点云数据帧。本步骤中获取的激光点云数据可以为某个时刻采集的一个激光点云数据帧。

S120：根据二维俯视坐标系与三维坐标系之间的第一映射关系，将激光点云数据显示在二维俯视界面中。

其中，三维坐标系为激光点云数据所在的坐标系。三维坐标系可以以激光雷达中的点为坐标原点，以智能设备的前进方向为X轴方向，以竖直向上为Z轴方向，智能设备的正左方向为Y轴方向。

二维俯视界面与二维俯视坐标系对应。由于上述三维坐标系中Z轴的方向为竖直向上的方向，因此二维俯视坐标系可以为包含三维直角坐标系中X轴和Y轴的二维坐标系。X轴和Y轴可以为第一坐标轴和第二坐标轴，Z轴为第三坐标轴。

参见图2(1)，该图2(1)为本发明实施例提供的一种坐标结构体系示意图。其中所示界面为二维俯视界面，X轴方向向上，Y轴方向向左。

在二维俯视界面中显示的激光点云数据可以供标注员查看，以便标注障碍物。标注员可以为人或高级智能机器人等，本申请对此不作具体限定。为便于说明，以下描述中以标注人员为例进行说明。

S130：获取针对二维俯视界面显示的激光点云数据输入的第一标注操作。

本步骤具体可以为，获取标注人员针对二维俯视界面显示的激光点云数据输入的第一标注操作。

其中，第一标注操作用来绘制包含障碍物所在的激光点云数据的二维标注框，可以包括鼠标点击操作、鼠标绘制操作、键盘绘制操作等中的至少一种。当二维标注框为长方形式，该第一标注操作可以包括能确定长方形的至少两个顶点。标注框也可以为除了长方形之外的其他形状。

例如，第一标注操作可以为标注人员在显示激光点云数据的界面中采用鼠标点击的方式输入的几个顶点位置。这几个顶点能够构成包围激光点云数据中障碍物的二维标注框。

当障碍物为车辆时，标注人员也可以在二维俯视图界面中标注出车头的方向。因此，第一标注操作中可以包含车头的位置信息。根据该车头的位置信息，可以在标注人员框定的二维标注框中突出显示该车头位置。

上述障碍物可以是车辆、行人、动物、树木、道路标志等类型。车辆还包括小汽车、卡车、二轮车、三轮车等类型。

参见图3，右上角为二维俯视界面显示的激光点云数据。针对二维俯视界面，标注人员的标注操作对应的是二维标注框。

S140：根据激光点云数据的三维坐标，确定第一标注操作对应的包围框。

由于根据第一标注操作直接得到的是二维标注框，根据激光点数据的三维坐标，可以在该二维标注框基础上补上长方体图形的高度信息，进而得到第一标注操作对应的包围框。该包围框为三维立体图形，能够包裹待标注的障碍物。包围框可以为长方体或者棱柱体。

在另一实施方式中，在确定第一标注操作对应的包围框之后，还可以接收标注人员针对二维俯视界面中的二维标注框进行的调整操作，根据该调整操作可以对二维标注框进行调整。调整二维标注框之后，包围框的形状也对应地进行调整。

S150：根据包围框，确定激光点云数据对应的标注信息。

本步骤中，可以直接将包围框的位置信息确定为激光点云数据对应的标注信息。也可以获取包围框内障碍物的属性信息，将包围框的位置信息和该属性信息确定为激光点云数据对应的标注信息。其中，属性信息可以包括障碍物类型、障碍物行进方向、型号等。例如，当障碍物为车辆时，属性信息可以包括车辆的颜色、车辆行进方向、车辆型号等信息。

由上述内容可知，本实施例可以根据二维俯视坐标系与三维坐标系之间的第一映射关系，将激光点云数据显示在二维俯视界面中，在获取到输入的第一标注操作时，根据第一标注操作的包围框，确定激光点云数据对应的标注信息。由于本实施例可将激光点云数据显示在二维俯视界面中，供标注人员在二维俯视界面中对激光点云数据进行标注，相比于在三维界面中标注立方体，在二维界面中标注二维图形更易于实施，使得标注人员能更快速标注，因此能够提高标注激光点云数据时的效率。同时，由于二维俯视界面能够直观地呈现出障碍物的形状，在该界面中对障碍物进行标注，也能保证标注信息的准确性。

上述实施例使用方法简单，技术性要求较低，能简化标注人员的操作，降低人工成本。

在本发明的另一实施例中，为了使得显示界面更直观，基于图1所示实施例，在步骤S110中获取待标注的激光点云数据之后，还可以将激光点云数据显示在三维界面中。即同时将激光点云数据显示在二维俯视界面和三维界面中。三维界面显示的数据点可以使得标注人员从整体上对激光点云数据进行观察。

其中，三维界面与三维坐标系对应，三维坐标系为该三维界面所在的坐标系。

参见图3，其中左侧显示的界面为三维界面。在显示时，三维坐标系可以以米为坐标单位长度，二维俯视坐标系可以以像素为坐标单位。三维与二维坐标进行相互转换时，X轴和Y轴坐标值可以根据二维俯视界面的分辨率(像素/米)进行缩放。例如，当二维俯视界面的分辨率为r像素/米时，可得到X＝x/r，其中，X为三维坐标系的坐标值，x为二维坐标系的坐标值。

在步骤S140中确定第一操作对应的包围框之后，还可以在三维界面中显示上述包围框，获取针对三维界面中显示的包围框输入的调整操作，根据该调整操作，对包围框进行调整，根据调整后的包围框，确定激光点云数据对应的标注信息。例如可以修改确定的包围框中的高度参量等，使得包围框的形状能更准确。

其中，获取针对三维界面中显示的包围框输入的调整操作，具体可以包括，获取标注人员针对三维界面中显示的包围框输入的调整操作。

当在二维俯视界面中调整二维标注框时，可以根据调整操作，实时地将调整操作显示到三维界面中。当在三维界面中调整包围框时，可以根据该调整操作，实时地将调整操作显示在二维俯视界面中。

在三维界面中显示包围框时，可以对包围框中的激光点云数据进行着色，以突出显示包围框中的数据点。不同的包围框可以随机着不同颜色。这样能够使得三维界面中的数据可视性更强，便于标注人员调整包围框。

综上，本实施例可以同时在二维俯视界面和三维界面中显示激光点云数据和包围框，三维和二维之间的映射参考，使得结果数据更为可信。同时，也能够使得标注人员从更多角度查看包围框，及时修改包围框。

在本发明的另一实施例中，基于图1所示实施例，步骤S140，根据激光点云数据的三维坐标，确定第一标注操作对应的包围框的步骤，具体可以包括步骤1a～3a。

步骤1a：根据第一标注操作确定二维标注框。其中，二维标注框为二维图形。

步骤2a：以二维标注框在三维坐标系中指示的范围为搜索范围，从处在搜索范围内的激光点云数据中确定第三坐标轴方向的边界数据点。

其中，第三坐标轴为：三维坐标系中除了二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴。第三坐标轴可以为三维坐标系中竖直高度方向的坐标轴。二维俯视坐标系可以包含三维直角坐标系中的X轴和Y轴。X轴和Y轴即为第一坐标轴和第二坐标轴，Z轴为第三坐标轴。

二维标注框在三维坐标系中指示的范围，可以理解为，以二维标注框为横截面所形成的无限长的棱柱体。以该无限长的棱柱体内包含有激光点云数据。

从处在该搜索范围内的激光点云数据中确定第三坐标轴方向的边界数据点时，具体可以遍历搜索范围内的每个激光点云数据，得到在第三坐标轴方向上的坐标数值分布，取该坐标数值分布的上界和下界对应的数据点为边界数据点。

从处在该搜索范围内的激光点云数据中确定第三坐标轴方向的边界数据点时，也可以针对每两个激光点云数据之间在第三坐标轴方向上的距离，当该距离小于预设距离阈值时，将该两个激光点云数据进行连接；根据相互连接的激光点云数据在第三坐标轴方向的边界确定边界数据点。确定的边界数据点包括上底面数据点和下底面数据点。

在根据相互连接的激光点云数据在第三坐标轴方向的边界确定边界数据点时，还可以筛选出预设第三坐标轴坐标范围内相互连接的激光点云数据，根据筛选出的激光点云数据在第三坐标轴方向的边界，确定边界数据点。例如，预设第三坐标轴坐标范围，可以为从地面开始到地面以上2m或3m等范围。这样可以滤除掉超高范围内的障碍物，例如道路上方的交通牌、交通杆、树枝等物体，提高标注的准确性。

步骤3a：根据边界数据点的第三坐标轴坐标以及二维标注框，确定第一标注操作对应的包围框。

本步骤中，以二维标注框作为横截面，根据边界数据点中的上底面数据点和下底面数据点确定长方体的上底面和下底面，即可以得到第一标注操作对应的包围框。

综上，本实施例提供了根据在二维俯视界面中标注的第一标注操作确定包围框的实施方式，能够减少用户操作，提高标注准确性。

在本发明的另一实施例中，步骤3a，根据边界数据点的第三坐标轴坐标以及二维标注框，确定第一标注操作对应的包围框的步骤，具体可以包括以下步骤3a-1～3a-5。

步骤3a-1：根据边界数据点的第三坐标轴坐标以及二维标注框，确定待修正包围框。

本步骤的具体实施方式可以参见步骤3a部分的说明。

步骤3a-2：确定待修正包围框的其他面所在的其他二维坐标系与三维坐标系之间的第二映射关系。

其中，其他面包括背面和/或侧面，其他二维坐标系包括：二维背视坐标系和/或二维侧视坐标系。其他面可以理解为待修正包围框中除了二维俯视界面中显示的面之外、且与二维俯视界面中显示的面不平行的面。背面，是指站在激光雷达的位置面向待修正包围框时面对的平面或与该面对的平面平行的面。侧面，是指站在激光雷达的位置面向待修正包围框时待修正包围框侧向的平面，可以为左侧面或者右侧面。

本步骤中，可以根据待修正包围框在三维坐标系中的坐标确定其他二维坐标系与三维坐标系之间的第二映射关系。通过坐标转换即可以确定第二映射关系。

图2(2)为本发明提供的三维坐标系和二维俯视、背视、侧视坐标系的一种示意图。其中，在三维坐标系中的立方体为包围框，X轴方向为智能设备的行进方向，Z轴竖直向上，O点为激光雷达的位置，立方体的三条边分别平行于三维坐标系中的三个坐标轴。二维俯视坐标系中包含X轴和Y轴，二维背视坐标系中包含Z轴和Y轴，二维侧视坐标系中包含Z轴和X轴。根据该图能确定二维俯视坐标系、二维背视坐标系、二维侧视坐标系分别与三维坐标系之间的对应关系。其中，二维俯视坐标系与二维俯视界面对应，二维背视坐标系与二维背视界面对应，二维侧视坐标系与二维侧视界面对应。

当立方体包围框的边不平行于坐标轴时，可以根据边与坐标轴之间的夹角进行投影，得到立方体的背面和侧面所在的坐标系。

步骤3a-3：根据第二映射关系，将激光点云数据和待修正包围框显示在与其他二维坐标系对应的其他二维界面中。

参见图3，右下角的两个界面分别为二维背视界面和二维侧视界面，其中显示了二维的待修正包围框以及激光点云数据。显示的各个二维界面可以供标注人员很好地查看所确定的待修正包围框，以便更准确地对待修正包围框的边进行修正。

图3的右下角文字部分还显示了可以供标注人员选择障碍物类型的按钮。这些按钮选项对应的障碍物类型包括小汽车、卡车、公共汽车、两轮车、行人、三轮车和未知。根据标注人员通过点选按钮输入的选择操作，可以确定车辆类型。

步骤3a-4：获取针对其他二维界面显示的待修正包围框输入的修正操作。

本步骤包括，获取标注人员针对其他二维界面显示的待修正包围框输入的修正操作。其中，该修正操作可以包括平移、旋转、缩短、加长中的至少一种。

步骤3a-5：根据修正操作对待修正包围框进行修正，得到第一标注操作对应的包围框。

在另一种实施方式中，还可以根据激光点云数据与待修正包围框之间的距离，对待修正包围框的边进行修正，使得待修正包围框的边与激光点云数据更贴合。

当对待修正包围框进行修正之后，修正后得到的包围框可以实时地显示在二维俯视界面和三维界面中。

综上，本实施例可以在得到待修正包围框时，将待修正包围框和激光点云数据显示在二维背视和/或侧视界面中，这使得标注人员可以从更多种视图中查看待修正包围框，且对待修正包围框进行修正，在二维界面中对待修正包围框进行修正对标注人员来说更易于实施，同时也能提高标注框的精确性。

在本发明的另一实施例中，步骤3a-3，根据第二映射关系，将激光点云数据和待修正包围框显示在与其他二维坐标系对应的其他二维界面中的步骤，包括：

根据第二映射关系，将待修正包围框显示在与其他二维坐标系对应的其他二维界面中；确定处于待修正包围框内的激光点云数据对应的颜色，根据确定的颜色，将处于待修正包围框内的激光点云数据显示在其他二维界面中。上述颜色可以为高亮颜色。

本实施例中，确定处于待修正包围框内的激光点云数据对应的颜色时，可以在预设颜色范围内随机确定处于待修正包围框内的激光点云数据对应的颜色，也可以将预设颜色确定为处于待修正包围框内的激光点云数据对应的颜色。

综上，本实施例中可以将待修正包围框内的激光点云数据显示为确定的颜色，能够实现对待修正包围框内的激光点云数据的突出显示，这样更利于标注人员有效区分显示数据点和参考数据点。

在本发明的另一实施例中，基于图1所示实施例，步骤S120，将激光点云数据显示在二维俯视界面中的步骤，可以包括：

按照预先设定的第三坐标轴坐标与颜色的对应关系，确定每个激光点云数据对应的颜色，根据确定的颜色，将激光点云数据显示在与二维俯视坐标系对应的二维俯视界面中。

其中，第三坐标轴为：三维坐标系中除了二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴。第三坐标轴为竖直高度方向上的坐标轴。

第三坐标轴坐标与颜色的对应关系具体可以包括：各个第三坐标轴坐标区间与颜色的对应关系。参见图4，该图4为二维俯视界面中一种着色方案参考图。其中，地面附近的坐标区域对应蓝色，地面以上2m区间内的坐标对应灰色，2m以上区间的坐标对应黄色。将彩色转换成灰度图之后，可能从图4所示的亮度上对这三种颜色进行区分，最亮的数据点为黄色，最暗的数据点为蓝色。从图4中也可以看到，标注人员针对亮度处于中间值的数据点(对应的障碍物是车辆)进行了标注，得到了多个矩形标注框，并且界面对矩形标注框中车头所在的线进行了高亮显示。图4中箭头所指的边为高亮显示的车头位置，弧形线对应地面区域。

在智能驾驶场景下，目标物体的行进方向也是主要的关心内容，因此在三维界面和二维俯视界面中，可以高亮显示目标物体的行进方向。例如可以采用车头方向标示车辆的行进方向。

综上，本实施例中可以在二维俯视界面中使得激光点云数据按照Z轴坐标进行着色，这样能够使得在二维俯视界面中通过颜色确定激光点云数据所处的高度，更利于标注人员有效区分显示数据点和参考数据点。

在本发明的另一实施例中，基于图1所示实施例，二维俯视界面中还可以显示有预设的标注范围辅助线。步骤S130，获取针对二维俯视界面显示的激光点云数据输入的第一标注操作的步骤，具体可以包括：

获取针对二维俯视界面显示的处于标注范围辅助线所限定范围内的激光点云数据输入的第一标注操作。

其中，标注范围辅助线可以包括圆形辅助线和扇形辅助线。

在智能驾驶场景中，激光雷达安装在车体顶部，以车体为中心的特定范围为主要关心区域，因此为了进一步减少操作，便于标注人员判断，可以在三维界面和二维俯视界面中显示以车体为中心，与中心不同距离的同心圆，作为圆形辅助线。以中心为端点向外延伸的至少两条射线作为扇形辅助线。

例如，图5(1)为本发明实施例提供的二维俯视界面中圆形辅助线和扇形辅助线的一种参考图。其中的弧线代表圆形辅助线的一部分，两条斜向下的、与弧线相交的线为扇形辅助线的一部分。

图5(2)为本发明实施例提供的二维界面中圆形辅助线和扇形辅助线的一种参考图。其中，黑色的弧线代表圆形辅助线的一部分，该圆形辅助线在距离中心70m的位置；左侧的竖向线代表扇形辅助线的一部分。

综上，本实施例可以在二维俯视界面中显示标注范围辅助线，能够限定标注人员的标注范围，更有效地提高标注信息的有效性，使得得到的标准信息更精确。

图6为本发明实施例提供的各个单元加载时的一种流程示意图。激光点云加载单元载入激光点云数据之后，激光点云显示单元显示载入的激光点云数据。激光点云显示单元可以为三维控件。计算单元可以将计算得到的激光点云数据的俯视数据发送到激光点云俯视图显示单元，通过激光点云俯视图显示单元进行显示。在标注人员输入标注操作时，交互单元和计算单元根据标注操作完成在俯视图中对长方形的框定。计算单元根据长方形得到长方体，并通过激光点云显示单元显示该长方体。计算模块根据该长方体得到背视图中的长方形和侧视图中的长方形，并通过激光点云背视图显示单元和激光点云侧视图显示单元对相应的长方形进行显示。标注人员的持续交互触发计算模块，从而调整各显示单元中长方形和长方体的修改。

图7为本发明实施例提供的用于机器学习中的样本数据标注装置的一种结构示意图。该装置实施例应用于电子设备。该装置实施例与图1所示方法实施例相对应。该装置包括：

第一获取模块710，被配置为获取待标注的激光点云数据；

第一显示模块720，被配置为根据二维俯视坐标系与三维坐标系之间的第一映射关系，将所述激光点云数据显示在二维俯视界面中；其中，所述三维坐标系为所述激光点云数据所在的坐标系，所述二维俯视界面与所述二维俯视坐标系对应；

第二获取模块730，被配置为获取针对所述二维俯视界面显示的激光点云数据输入的第一标注操作；

第一确定模块740，被配置为根据所述激光点云数据的三维坐标，确定所述第一标注操作对应的包围框；

第二确定模块750，被配置为根据所述包围框，确定所述激光点云数据对应的标注信息。

在本发明的另一实施例中，基于图7所示实施例，所述装置还包括：第二显示模块和调整模块(图中未示出)；

第二显示模块，被配置为在获取待标注的激光点云数据之后，将所述激光点云数据显示在三维界面中；其中，所述三维界面与所述三维坐标系对应；

第二显示模块，还被配置为在所述第一确定模块确定所述第一操作对应的包围框之后，在所述三维界面中显示所述包围框；

调整模块，被配置为获取针对所述三维界面中显示的包围框输入的调整操作，根据所述调整操作，对所述包围框进行调整；

第二确定模块750，具体被配置为：

根据调整后的包围框，确定所述激光点云数据对应的标注信息。

在本发明的另一实施例中，基于图7所示实施例，第一确定模块740，具体被配置为：

根据所述第一标注操作确定二维标注框；

以所述二维标注框在所述三维坐标系中指示的范围为搜索范围，从处在所述搜索范围内的激光点云数据中确定第三坐标轴方向的边界数据点；其中，所述第三坐标轴为：所述三维坐标系中除了所述二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴；

根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定所述第一标注操作对应的包围框。

在本发明的另一实施例中，基于图7所示实施例，第一确定模块740，根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定所述第一标注操作对应的包围框时，包括：

根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定待修正包围框；

确定所述待修正包围框的其他面所在的其他二维坐标系与所述三维坐标系之间的第二映射关系；其中，所述其他面包括背面和/或侧面，所述其他二维坐标系包括：二维背视坐标系和/或二维侧视坐标系；

根据所述第二映射关系，将所述激光点云数据和所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中；

获取针对所述其他二维界面显示的待修正包围框输入的修正操作；

根据所述修正操作对所述待修正包围框进行修正，得到所述第一标注操作对应的包围框。

在本发明的另一实施例中，基于图7所示实施例，第一确定模块740，根据所述第二映射关系，将所述激光点云数据和所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中时，包括：

根据所述第二映射关系，将所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中；

确定处于所述待修正包围框内的激光点云数据对应的颜色，根据确定的颜色，将处于所述待修正包围框内的激光点云数据显示在所述其他二维界面中。

在本发明的另一实施例中，基于图7所示实施例，第一显示模块720，将所述激光点云数据显示在二维俯视界面中时，包括：

按照预先设定的第三坐标轴坐标与颜色的对应关系，确定每个激光点云数据对应的颜色，根据确定的颜色，将所述激光点云数据显示在与所述二维俯视坐标系对应的二维俯视界面中；

其中，所述第三坐标轴为：所述三维坐标系中除了所述二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴。

在本发明的另一实施例中，基于图7所示实施例，二维俯视界面中还显示有预设的标注范围辅助线；

第二获取模块730，具体被配置为：

获取针对所述二维俯视界面显示的处于所述标注范围辅助线所限定范围内的激光点云数据输入的第一标注操作。

上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (8)

1.一种用于机器学习中的样本数据标注方法，其特征在于，包括：

获取待标注的激光点云数据；

根据二维俯视坐标系与三维坐标系之间的第一映射关系，将所述激光点云数据显示在二维俯视界面中；其中，所述三维坐标系为所述激光点云数据所在的坐标系，所述二维俯视界面与所述二维俯视坐标系对应；

获取针对所述二维俯视界面显示的激光点云数据输入的第一标注操作；

根据所述激光点云数据的三维坐标，确定所述第一标注操作对应的包围框；

根据所述包围框，确定所述激光点云数据对应的标注信息；

所述根据所述激光点云数据的三维坐标，确定所述第一标注操作对应的包围框的步骤，包括：

根据所述第一标注操作确定二维标注框；

以所述二维标注框在所述三维坐标系中指示的范围为搜索范围，从处在所述搜索范围内的激光点云数据中确定第三坐标轴方向的边界数据点；其中，所述第三坐标轴为：所述三维坐标系中除了所述二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴；

根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定所述第一标注操作对应的包围框；

所述根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定所述第一标注操作对应的包围框的步骤，包括：

根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定待修正包围框；

确定所述待修正包围框的其他面所在的其他二维坐标系与所述三维坐标系之间的第二映射关系；其中，所述其他面包括背面和/或侧面，所述其他二维坐标系包括：二维背视坐标系和/或二维侧视坐标系；

根据所述第二映射关系，将所述激光点云数据和所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中；

获取针对所述其他二维界面显示的待修正包围框输入的修正操作；

根据所述修正操作对所述待修正包围框进行修正，得到所述第一标注操作对应的包围框；

所述根据所述第二映射关系，将所述激光点云数据和所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中的步骤，包括：

根据所述第二映射关系，将所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中；

确定处于所述待修正包围框内的激光点云数据对应的颜色，根据确定的颜色，将处于所述待修正包围框内的激光点云数据显示在所述其他二维界面中。

2.如权利要求1所述的方法，其特征在于，在获取待标注的激光点云数据之后，所述方法还包括：

将所述激光点云数据显示在三维界面中；其中，所述三维界面与所述三维坐标系对应；

在确定所述第一操作对应的包围框之后，所述方法还包括：

在所述三维界面中显示所述包围框；

获取针对所述三维界面中显示的包围框输入的调整操作，根据所述调整操作，对所述包围框进行调整；

所述根据所述包围框，确定所述激光点云数据对应的标注信息的步骤，包括：

根据调整后的包围框，确定所述激光点云数据对应的标注信息。

3.如权利要求1所述的方法，其特征在于，所述将所述激光点云数据显示在二维俯视界面中的步骤，包括：

按照预先设定的第三坐标轴坐标与颜色的对应关系，确定每个激光点云数据对应的颜色，根据确定的颜色，将所述激光点云数据显示在与所述二维俯视坐标系对应的二维俯视界面中；

其中，所述第三坐标轴为：所述三维坐标系中除了所述二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴。

4.如权利要求1所述的方法，其特征在于，所述二维俯视界面中还显示有预设的标注范围辅助线；

所述获取针对所述二维俯视界面显示的激光点云数据输入的第一标注操作的步骤，包括：

获取针对所述二维俯视界面显示的、处于所述标注范围辅助线所限定范围内的激光点云数据，输入的第一标注操作。

5.一种用于机器学习中的样本数据标注装置，其特征在于，包括：

第一获取模块，被配置为获取待标注的激光点云数据；

第一显示模块，被配置为根据二维俯视坐标系与三维坐标系之间的第一映射关系，将所述激光点云数据显示在二维俯视界面中；其中，所述三维坐标系为所述激光点云数据所在的坐标系，所述二维俯视界面与所述二维俯视坐标系对应；

第二获取模块，被配置为获取针对所述二维俯视界面显示的激光点云数据输入的第一标注操作；

第一确定模块，被配置为根据所述激光点云数据的三维坐标，确定所述第一标注操作对应的包围框；

第二确定模块，被配置为根据所述包围框，确定所述激光点云数据对应的标注信息；

所述第一确定模块，具体被配置为：

根据所述第一标注操作确定二维标注框；

以所述二维标注框在所述三维坐标系中指示的范围为搜索范围，从处在所述搜索范围内的激光点云数据中确定第三坐标轴方向的边界数据点；其中，所述第三坐标轴为：所述三维坐标系中除了所述二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴；

根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定所述第一标注操作对应的包围框；

所述第一确定模块，根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定所述第一标注操作对应的包围框时，包括：

根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定待修正包围框；

确定所述待修正包围框的其他面所在的其他二维坐标系与所述三维坐标系之间的第二映射关系；其中，所述其他面包括背面和/或侧面，所述其他二维坐标系包括：二维背视坐标系和/或二维侧视坐标系；

根据所述第二映射关系，将所述激光点云数据和所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中；

获取针对所述其他二维界面显示的待修正包围框输入的修正操作；

根据所述修正操作对所述待修正包围框进行修正，得到所述第一标注操作对应的包围框；

所述第一确定模块，根据所述第二映射关系，将所述激光点云数据和所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中时，包括：

根据所述第二映射关系，将所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中；

确定处于所述待修正包围框内的激光点云数据对应的颜色，根据确定的颜色，将处于所述待修正包围框内的激光点云数据显示在所述其他二维界面中。

6.如权利要求5所述的装置，其特征在于，所述装置还包括：第二显示模块和调整模块；

所述第二显示模块，被配置为在获取待标注的激光点云数据之后，将所述激光点云数据显示在三维界面中；其中，所述三维界面与所述三维坐标系对应；

所述第二显示模块，还被配置为在所述第一确定模块确定所述第一操作对应的包围框之后，在所述三维界面中显示所述包围框；

所述调整模块，被配置为获取针对所述三维界面中显示的包围框输入的调整操作，根据所述调整操作，对所述包围框进行调整；

所述第二确定模块，具体被配置为：

根据调整后的包围框，确定所述激光点云数据对应的标注信息。

7.如权利要求5所述的装置，其特征在于，所述第一显示模块，将所述激光点云数据显示在二维俯视界面中时，包括：

按照预先设定的第三坐标轴坐标与颜色的对应关系，确定每个激光点云数据对应的颜色，根据确定的颜色，将所述激光点云数据显示在与所述二维俯视坐标系对应的二维俯视界面中；

其中，所述第三坐标轴为：所述三维坐标系中除了所述二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴。

8.如权利要求5所述的装置，其特征在于，所述二维俯视界面中还显示有预设的标注范围辅助线；

所述第二获取模块，具体被配置为：

获取针对所述二维俯视界面显示的、处于所述标注范围辅助线所限定范围内的激光点云数据，输入的第一标注操作。

Images