CN117765346A - 点云训练样本增强方法和模型训练方法及装置 - Google Patents

Abstract

本公开提供点云训练样本增强方法和模型训练方法及装置，涉及计算机视觉技术领域，具体涉及深度学习、点云检测、自动驾驶等技术领域，可应用于自动驾驶感知、自动驾驶定位等场景下，具体实现方案包括：获取点云样例库，点云样例库包括至少一个点云，每个点云包括至少一个物体簇，物体簇包括至少两个前景物体；从点云样例库中确定包含K个物体簇的第一目标点云集合，K为正整数；将第一目标点云集合与第一样本点云集合混合，得到第二样本点云集合，第一样本点云集合包括至少一个样本点云。本公开可以创建出多种具有密集拥堵特性的点云训练增强样本，在无需额外数据采集和人工标注的条件下丰富训练集。

Description

点云训练样本增强方法和模型训练方法及装置

技术领域

本公开涉及计算机视觉技术领域，具体涉及深度学习、点云检测、自动驾驶等技术领域，可应用于自动驾驶感知、自动驾驶定位等场景下，尤其涉及点云训练样本增强方法和模型训练方法及装置。

背景技术

自动驾驶技术的不断发展和应用场景的多样化，对自动驾驶汽车环境感知能力的要求越来越高。基于点云的三维(three dimensions，3D)目标检测神经网络模型是自动驾驶汽车实现环境感知的重要工具。3D目标检测神经网络模型能够以3D边界框的形式预测出当前车辆周围障碍物的信息，为自动驾驶汽车的决策和控制提供准确的环境感知信息。3D目标检测神经网络模型的训练需要大量不同场景的点云训练样本。

目前获取3D目标检测神经网络模型的训练样本的方法包括基于全局空间变换对采集到的点云数据进行增强、通过前景物体混合对采集到的点云数据进行增强、通过点云区域混合对采集到的点云数据进行增强。

但是，目前获取3D目标检测神经网络模型的训练样本的方法不能产生新的密集拥堵场景下的训练样本，导致训练得到的3D目标检测神经网络模型的可靠性不高。

发明内容

本公开提供了一种点云训练样本增强方法和模型训练方法及装置。

根据本公开的第一方面，提供了一种点云训练样本增强方法，所述方法包括：

获取点云样例库，点云样例库包括至少一个点云，每个点云包括至少一个物体簇，物体簇包括至少两个前景物体。

从点云样例库中确定包含K个物体簇的第一目标点云集合，K为正整数。

将第一目标点云集合与第一样本点云集合混合，得到第二样本点云集合，第一样本点云集合包括至少一个样本点云。

根据本公开的第二方面，提供了一种模型训练方法，所述方法包括：

获取第二样本点云集合、第二样本点云集合对应的3D边界框。

将第二样本点云集合作为输入、第二样本点云集合对应的3D边界框作为输出，对神经网络进行训练，得到3D目标检测神经网络模型，第二样本点云集合是将第一目标点云集合与第一样本点云集合混合得到的，第一目标点云集合是从点云样例库中确定的包含K个物体簇的点云，K为正整数，第一样本点云集合包括至少一个样本点云。

根据本公开的第三方面，提供了一种点云训练样本增强装置，所述装置包括：获取单元、确定单元、混合单元。

获取单元，用于获取点云样例库，点云样例库包括至少一个点云，每个点云包括至少一个物体簇，物体簇包括至少两个前景物体。

确定单元，用于从点云样例库中确定包含K个物体簇的第一目标点云集合，K为正整数。

混合单元，用于将第一目标点云集合与第一样本点云集合混合，得到第二样本点云集合，第一样本点云集合包括至少一个样本点云。

根据本公开的第四方面，提供了一种模型训练装置，所述装置包括：获取单元、训练单元。

获取单元，用于获取第二样本点云集合、第二样本点云集合对应的3D边界框。

训练单元，用于将第二样本点云集合作为输入、第二样本点云集合对应的3D边界框作为输出，对神经网络进行训练，得到3D目标检测神经网络模型，第二样本点云集合是将第一目标点云集合与第一样本点云集合混合得到的，第一目标点云集合是从点云样例库中确定的包含K个物体簇的点云，K为正整数，第一样本点云集合包括至少一个样本点云。

根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面或者第二方面的方法。

根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行根据第一方面或者第二方面的方法。

根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据第一方面或者第二方面的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开实施例提供的点云训练样本增强方法的流程示意图；

图2为本公开实施例提供的点云训练样本增强方法的另一流程示意图；

图3为本公开实施例提供的图2中S202的一种实现流程示意图；

图4为本公开实施例提供的图1中S103的一种实现流程示意图；

图5为本公开实施例提供的图1中S103的另一实现流程示意图；

图6为本公开实施例提供的模型训练方法的流程示意图；

图7为本公开实施例提供的点云训练样本增强装置的组成示意图；

图8为本公开实施例提供的模型训练装置的组成示意图；

图9为本公开实施例提供的可以用来实施本公开的实施例的示例电子设备900的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

应当理解，在本公开各实施例中，字符“/”一般表示前后关联对象是一种“或”的关系。术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。

自动驾驶技术的不断发展和应用场景的多样化，对自动驾驶汽车环境感知能力的要求越来越高。基于点云的三维(three dimensions，3D)目标检测神经网络模型是自动驾驶汽车实现环境感知的重要工具。3D目标检测神经网络模型能够以3D边界框的形式预测出当前车辆周围障碍物的信息，为自动驾驶汽车的决策和控制提供准确的环境感知信息。3D目标检测神经网络模型的训练需要大量不同场景的点云训练样本。

目前获取3D目标检测神经网络模型的训练样本的方法包括基于全局空间变换对采集到的点云数据进行增强、通过前景物体混合对采集到的点云数据进行增强、通过点云区域混合对采集到的点云数据进行增强。

但是，目前获取3D目标检测神经网络模型的训练样本的方法不能产生新的密集拥堵场景下的训练样本，导致训练得到的3D目标检测神经网络模型的可靠性不高。

示例性地，随着自动驾驶技术的不断发展和应用场景的多样化，对自动驾驶汽车感知能力的要求越来越高。借助激光雷达点云数据对三维环境的精确捕捉，基于点云的3D目标检测神经网络模型逐渐成为了自动驾驶汽车实现环境感知的重要工具。该类模型能够以3D边界框的形式预测出周围障碍物的中心位置、尺寸以及朝向等信息，从而为自动驾驶汽车的决策和控制提供准确的环境感知信息。训练出可靠的深度神经网络模型需要大量标注良好的训练数据，而收集点云并标注出每个前景物体的3D边界框十分费时费力。尤其是包含密集拥堵场景的点云样本，不仅单个物体的识别难度大，场景出现频次还相对较低，因此获得大量样本收集和标注的难度较大。在密集拥堵场景中，行人、非机动车以及机动车等前景物体往往成簇出现，存在着不同程度的相互遮挡，导致局部点云的观测完整性受到影响，与常规场景存在着较多的差异，极易出现目标漏检问题。相对于出现频次较高的常规场景来说，出现频次较低的密集拥堵场景还会对神经网络模型训练过程造成不平衡问题，直接导致检测模型偏向于对简单常规场景特性的学习，对检测难度更高的密集拥堵场景特性的学习程度十分有限。密集拥堵场景点云训练样本的欠缺，进一步加剧了物体漏检问题，制约着自动驾驶技术在实际应用中的安全性。

目前，针对自动驾驶场景3D目标检测任务的点云数据增强技术普遍采用以下三种方案来实现：(1)第一种方案是基于全局空间变换的点云数据增强。给定一帧点云数据和相应的3D边界框标注，该方案对其同时应用一些全局的空间变换来产生新的点云训练样本。这些全局空间变换通常包括旋转、缩放、平移以及沿X或Y轴翻折等。在实际应用中，常通过组合多种全局变换的方式来创建出更多样的增强样本。(2)第二种方案是基于前景物体混合的点云数据增强，代表性方法为稀疏嵌入卷积检测(SECOND)。该方法主要包含前景物体样例库构建、前景物体采样混合以及碰撞检查等三个步骤。首先，在前景物体样例库构建步骤中，利用训练集提供的3D边界框标注将每个点云训练样本中的单个前景物体剪裁下来，存放的单个前景物体样例包括该3D边界框及其内部的局部点云。接着，在前景物体混合步骤中，从前景物体样例库中按照物体类别随机选择一定数量的前景物体样例作为额外的点云内容和3D边界框标注，拼接到当前所用的点云训练样本中。最后，为了增加增强点云的合理性，利用3D边界框信息对采样出来的前景物体样例和当前已有前景物体样例进行碰撞检查，去掉空间位置重叠的前景物体样例。(3)第三种方案是基于点云区域混合的点云数据增强，代表性方法为PolarMix。给定两帧随机选择的点云训练样本，该方法结合激光雷达传感器的环状扫描特性，利用扇形形状对两帧点云样本进行区域划分，然后将属于同一扇形区域内的部分点云和3D边界框在两个点云训练样本之间进行交换，经过以上区域混合后即可形成新的点云训练样本。

但是，上述三种方案有所不同，所带来的问题和不足也有所不同，并且都无法针对性地产生出新的密集拥堵场景。方案(1)以单个完整点云样本为单位应用全局空间变换，实现比较简单，但不能改变点云的局部结构，并且变换范围始终局限在当前所用的单帧点云训练样本中。因此，该方案所产生的增强样本不仅多样性有限，也不能产生额外的密集场景。方案(2)混合了来自不同点云训练样本中的前景物体，尽管具有更强的多样性，但在过程中都以单个物体为单位进行操作。尤其是在前景物体样例库构建过程中，没有考虑密集拥堵场景中临近物体成簇出现的局部结构特性，在每个训练样本都将单个物体进行剪裁和保存，导致其后续步骤也只能创建出前景物***置分散的增强点云，不能产生新的密集拥堵场景。方案(3)以扇形区域为单位对两个点云样本进行交换，在区域选择时并未考虑场景中物体的位置和拥堵情况，因此不仅存在物体被截断的风险，更不能可控地产生更多的密集拥堵场景。

在此背景技术下，本公开提供了一种点云训练样本增强方法，可以通过将包含K个物体簇的目标点云与第一样本点云集合混合，实现对第一样本点云集合的增强，创建出多种具有密集拥堵特性的点云训练增强样本，在无需额外数据采集和人工标注的条件下丰富训练集。

示例性地，该点云训练样本增强方法的执行主体可以是计算机或服务器，或者还可以是其他具有数据处理能力的设备。在此对该方法的执行主体不作限制。

一些实施例中，服务器可以是单独的一个服务器，或者，也可以是由多个服务器构成的服务器集群。部分实施方式中，服务器集群还可以是分布式集群。本公开对服务器的具体实现方式也不作限制。

图1为本公开实施例提供的点云训练样本增强方法的流程示意图。如图1所示，该方法可以包括S101-S103。

S101、获取点云样例库。

示例性地，点云样例库也可以称为成簇物体样例库，点云样例库包括至少一个点云，每个点云包括至少一个物体簇，物体簇包括至少两个前景物体。

S102、从点云样例库中确定包含K个物体簇的第一目标点云集合。

示例性地，K为正整数。可以以簇为单位从点云样例库中进行簇采样，第一目标点云集合可以包括采样到的K个物体簇的点云。其中，簇的数量K值可根据实际需求进行灵活调整。采样到的K个物体簇可能来自不同的点云集合。

例如，点云样例库中可以包括点云1、点云2、点云3、点云4、点云5，可以分别从点云1、点云2、点云3、点云4、点云5中采集一个物体簇，得到5个物体簇，此时，K的值为5，第一目标点云集合包含采样得到的5个物体簇的点云。

S103、将第一目标点云集合与第一样本点云集合混合，得到第二样本点云集合。

示例性地，第一样本点云集合包括至少一个样本点云。可以将第一样本点云集合理解为当前点云训练样本，将第二样本点云集合理解为增强后的点云训练样本。通过将包含K个物体簇的第一目标点云集合与第一样本点云集合混合，实现对第一样本点云集合的增强。

本公开通过采用获取点云样例库，然后从点云样例库中确定包含K个物体簇的目标点云；最后将目标点云与第一样本点云集合混合，得到第二样本点云集合。可以通过将包含K个物体簇的第一目标点云集合与第一样本点云集合混合，组合出具有密集拥堵特性的额外增强样本，实现对第一样本点云集合的增强，创建出多种具有密集拥堵特性的点云训练增强样本，在无需额外数据采集和人工标注的条件下丰富训练集。同时，创建出的点云训练增强样本可以用于训练3D目标检测神经网络模型，增加3D目标检测神经网络模型对密集拥堵场景的学习程度，缓解3D目标检测神经网络模型在密集拥堵场景下易发的漏检问题，从而提高自动驾驶车辆的基础感知能力。

图2为本公开实施例提供的点云训练样本增强方法的另一流程示意图。如图2所示，该方法可以包括S201-S203。

S201、从点云样本集中获取第三样本点云集合。

示例性地，点云样本集可以包括第一样本点云集合、第三样本点云集合。第三样本点云集合包括点云样本集中所有包含物体簇的样本点云。可以将点云样本集理解为整个训练集，点云样本集中包括多个训练样本，每个训练样本中包括至少一个前景物体的点云。可以从点云样本集中获取所有包含物体簇的训练样本，作为第三样本点云集合。

S202、确定第三样本点云集合中的每个物体簇对应的点云。

S203、根据每个物体簇对应的点云构建点云样例库。

示例性地，可以确定出第三样本点云集合中的每个物体簇对应的点云，然后以簇为单位将每个物体簇对应的点云进行剪裁并保存，保存的第三样本点云集合中的所有物体簇对应的点云即为点云样例库。

本实施例通过从点云样本集中获取第三样本点云集合，然后确定第三样本点云集合中的每个物体簇对应的点云，最后根据每个物体簇对应的点云构建点云样例库。可以将多个物体簇对应的点云剪裁并保存，构成点云样例库，为后续创建具有密集拥堵特性的点云训练增强样本提供数据支持，提高创建具有密集拥堵特性的点云训练增强样本的便捷度。

图3为本公开实施例提供的图2中S202的一种实现流程示意图。如图3所示，图2中的S202可以包括S301-S304。

S301、获取第一物体的点云对应的第一边界框。

示例性地，第一物体的点云为第三样本点云集合中任意一个前景物体的点云。第一边界框为3D边界框。第一边界框中包含第一物体对应的点云数据。

例如，在获取到雷达针对某个车辆采集的点云数据后，通过3D目标检测神经网络模型，基于采集的该车辆的点云数据对该车辆标注了一个3D边界框，则第一物体的点云为该车辆对应的点云数据，第一边界框为对该车辆标注的3D边界框。

S302、确定第一边界框的中心点与每个第二边界框的中心点的距离。

示例性地，第二边界框为第二物体的点云对应的边界框，第二物体的点云为第三样本点云集合中，除第一物体的点云外剩余前景物体的点云。可以先确定第一边界框和第二边界框的中心点，分别计算第一边界框的中心点与每个第二边界框的中心点的距离。

示例地，第三样本点云集合中包括10个前景物体的点云，确定这10个前景物体的点云中任意一个为第一物体的点云后，剩余9个前景物体的点云。这9个前景物体的点云中的每一个前景物体的点云都可以称为第二物体的点云。可以确定出每个前景物体的点云对应的边界框以及每个边界框的中心点，然后从10个前景物体的点云中选取任意一个前景物体的点云对应的边界框作为第一边界框，其余9个前景物体的点云分别对应的边界框则为第二边界框，分别计算第一边界框的中心点与其余9个第二边界框的中心点的距离。

S303、确定与第一边界框的中心点的距离小于或等于预设阈值的中心点对应的第二边界框，作为目标边界框。

示例性地，计算出第一边界框的中心点与每个第二边界框的中心点的距离后，从第二边界框中选出与第一边界框的中心点的距离小于或等于预设阈值的中心点对应的第二边界框，将选出的与第一边界框的中心点的距离小于或等于预设阈值的中心点对应的第二边界框作为目标边界框。可以将与第一边界框的中心点的距离小于或等于预设阈值看做一个成簇条件，满足该条件的第二边界框，也即目标边界框对应的前景物体与第一边界框对应的前景物体为一个物体簇。

基于上述实施例，示例地，当计算出第一边界框的中心点与每个第二边界框的中心点的距离分别为25毫米(mm)、30mm、14mm、16mm、28mm、19mm、21mm、35mm、20mm，预设阈值为20mm时，14mm、16mm、19mm小于预设阈值，20mm等于预设阈值，将与第一边界框的中心点的距离为14mm、16mm、19mm、20mm的第二边界框作为目标边界框。

S304、根据第一边界框、目标边界框，确定第三样本点云集合中的每个物体簇对应的点云。

示例性地，在确定出目标边界框后，可以将第一边界框和所有目标边界框对应的物体定义为一个物体簇，该物体簇包含了多个邻近的物体。确定了第三样本点云集合中所有物体簇后，可以从第三样本点云集合中得到每个物体簇对应的点云。

本实施例通过获取第一物体的点云对应的第一边界框，确定第一边界框的中心点与每个第二边界框的中心点的距离，然后将与第一边界框的中心点的距离小于或等于预设阈值的中心点对应的第二边界框，作为目标边界框；再根据第一边界框、目标边界框，确定第三样本点云集合中的每个物体簇对应的点云。可以对第三样本点云集合进行上述成簇条件判定，以簇为单位对满足成簇条件点云进行剪裁和保存，能够将多个邻近物体作为一个整体，保留了局部场景的密集拥堵特性。提高创建具有密集拥堵特性的点云训练增强样本的可靠性。

一些实施例中，上述方法还可以包括：响应于第一目标点云集合中的任意一个前景物体的点云与第一样本点云集合中的任意一个物体的点云存在重叠，删除第一目标点云集合中目标物体簇对应的点云。

其中，目标物体簇为第一目标点云集合中存在重叠的点云对应的前景物体所在的物体簇。

示例性地，在将第一目标点云集合与第一样本点云集合混合之后，可以对第一目标点云集合与第一样本点云集合进行碰撞检查。也就是判断第一目标点云集合中每个物体的点云与第一样本点云集合中的每个物体的点云是否存在重叠。当第一目标点云集合中的任意一个物体的点云与第一样本点云集合中的任意一个物体的点云存在重叠时，可以删除第一目标点云集合中存在重叠的物体所在的物体簇对应的点云。为了保留物体簇内的密集拥堵特性，可以忽略簇内物体之间的碰撞检查。

例如，第一目标点云集合包括物体簇1、物体簇2、物体簇3，将第一目标点云集合与第一样本点云集合混合之后，对第一目标点云集合与第一样本点云集合进行碰撞检查。当物体簇2中的某个物体与第一样本点云集合中的任意一个物体的点云存在重叠时，就将物体簇2删除。

本实施例通过响应于第一目标点云集合中的任意一个前景物体的点云与第一样本点云集合中的任意一个物体的点云存在重叠，删除第一目标点云集合中目标物体簇对应的点云。可以避免物体重叠冲突，保证场景创建的合理性。

图4为本公开实施例提供的图1中S103的一种实现流程示意图。如图4所示，图1中的S103可以包括S401-S402。

S401、对第一样本点云集合进行全局空间变换，得到第四样本点云集合。

S402、将第一目标点云集合与第四样本点云集合混合，得到第二样本点云集合。

示例性地，全局空间变换包括旋转、缩放、平移以及沿X轴或Y轴翻折。可以对第一样本点云集合进行全局空间变换，得到第四样本点云集合，例如，可以定义旋转角和平移量以及缩放系数，生成旋转矩阵，平移矩阵，缩放矩阵，将第一样本点云集合和旋转矩阵，平移矩阵，缩放矩阵相乘进行坐标变换，得到第四样本点云集合，从而达到数据增强的效果。然后将第一目标点云集合与第四样本点云集合混合，得到第二样本点云集合，对点云数据进行进一步增强。

本实施例通过将对第一样本点云集合进行全局空间变换，得到第四样本点云集合；然后将第一目标点云集合与第四样本点云集合混合，得到第二样本点云集合。可以在将第一目标点云集合与第一样本点云集合进行混合之前，先对第一样本点云集合进行处理，达到对第一样本点云集合数据增强的效果，再将第一目标点云集合与增强后的第一样本点云集合混合，进一步提高了点云训练样本的多样性。

图5为本公开实施例提供的图1中S103的另一实现流程示意图。如图5所示，图1中的S103可以包括S501-S504。

S501、获取前景物体样例库。

S502、从前景物体样例库中确定包含N个物体的第二目标点云集合。

示例性地，前景物体样例库包括至少一个前景物体对应的点云。N为正整数。第二目标点云集合可以包括N个物体的点云。可以利用已有的训练集提供的3D边界框标注将训练集中每个点云训练样本中的单个前景物体剪裁下来并保存，形成前景物体样例库。存放的单个前景物体样例包括该3D边界框及其内部的局部点云。然后根据实际场景需求从前景物体样例库中确定包含N个物体的第二目标点云集合。

S503、将第二目标点云集合与第一样本点云集合混合，得到第五样本点云集合。

S504、将第一目标点云集合与第五样本点云集合混合，得到第二样本点云集合。

示例性地，第一样本点云集合包括至少一个样本点云。在从前景物体样例库中确定包含N个物体的第二目标点云集合后，将第二目标点云集合与第一样本点云集合混合，得到第五样本点云集合，达到数据增强的效果，其中，将第二目标点云集合与第一样本点云集合混合的方式可以是拼接的方式。将第二目标点云集合与第五样本点云集合混合，得到第二样本点云集合。再将第一目标点云集合与第五样本点云集合混合，得到第二样本点云集合，对点云数据进行了进一步增强。

本实施例通过获取前景物体样例库，从前景物体样例库中确定包含N个物体的第二目标点云集合，然后将第二目标点云集合与第一样本点云集合混合，得到第五样本点云集合；最后将第二目标点云集合与第五样本点云集合混合，得到第二样本点云集合。可以在将第一目标点云集合与第一样本点云集合进行混合之前，先对第一样本点云集合进行处理，达到对第一样本点云集合数据增强的效果，再将第一目标点云集合与增强后的第一样本点云集合混合，进一步提高了点云训练样本的多样性。

本公开实施例还提供一种模型训练方法，可以用于训练得到前述实施例中的3D目标检测神经网络模型。

图6为本公开实施例提供的模型训练方法的流程示意图。如图6所示，该方法可以包括S601-S602。

S601、获取第二样本点云集合、第二样本点云集合对应的3D边界框。

S602、将第二样本点云集合作为输入、第二样本点云集合对应的3D边界框作为输出，对神经网络进行训练，得到3D目标检测神经网络模型。

示例性地，可以获取第二样本点云集合、第二样本点云集合中所有物体的点云对应的3D边界框。然后将第二样本点云集合作为输入、第二样本点云集合对应的3D边界框作为输出，对神经网络进行训练，得到3D目标检测神经网络模型。训练的3D目标检测神经网络模型具有根据输入的训练样本，输出训练样本对应的3D边界框的功能，能够以3D边界框的形式预测出目标物体周围障碍物的中心位置、尺寸以及朝向等信息，从而为自动驾驶汽车的决策和控制提供准确的环境感知信息。其中，第二样本点云集合是将第一目标点云集合与第一样本点云集合混合得到的，第一目标点云集合是从点云样例库中确定的包含K个物体簇的点云，K为正整数，第一样本点云集合包括至少一个样本点云。

本实施例通过获取第二样本点云集合、第二样本点云集合对应的3D边界框；然后将第二样本点云集合作为输入、第二样本点云集合对应的3D边界框作为输出，对神经网络进行训练，得到3D目标检测神经网络模型。训练得到的3D目标检测神经网络模型具有根据输入的训练样本，输出训练样本对应的3D边界框的功能。该3D目标检测神经网络模型能够以3D边界框的形式预测出目标物体周围障碍物的中心位置、尺寸以及朝向等信息，从而为自动驾驶汽车的决策和控制提供准确的环境感知信息。

示例性实施例中，本公开实施例还提供一种点云训练样本增强装置，可以用于实现如前述实施例的点云训练样本增强方法。图7为本公开实施例提供的点云训练样本增强装置的组成示意图。如图7所示，该装置可以包括：获取单元701、确定单元702、混合单元703。

获取单元701，用于获取点云样例库，点云样例库包括至少一个点云，每个点云包括至少一个物体簇，物体簇包括至少两个前景物体。

确定单元702，用于从点云样例库中确定包含K个物体簇的第一目标点云集合，K为正整数。

混合单元703，用于将第一目标点云集合与第一样本点云集合混合，得到第二样本点云集合，第一样本点云集合包括至少一个样本点云。

如图7所示，所述装置还包括：构建单元704。

获取单元701，还用于从点云样本集中获取第三样本点云集合，第三样本点云集合包括点云样本集中所有包含物体簇的样本点云；确定单元702，还用于确定第三样本点云集合中的每个物体簇对应的点云；构建单元704，用于根据每个物体簇对应的点云构建点云样例库。

可选地，确定单元702，具体用于获取第一物体的点云对应的第一边界框，第一物体的点云为第三样本点云集合中任意一个前景物体的点云；确定第一边界框的中心点与每个第二边界框的中心点的距离，第二边界框为第二物体的点云对应的边界框，第二物体的点云为第三样本点云集合中，除第一物体的点云外剩余前景物体的点云；确定与第一边界框的中心点的距离小于或等于预设阈值的中心点对应的第二边界框，作为目标边界框；根据第一边界框、目标边界框，确定第三样本点云集合中的每个物体簇对应的点云。

如图7所示，所述装置还包括：删除单元705。

删除单元705，用于响应于第一目标点云集合中的任意一个前景物体的点云与第一样本点云集合中的任意一个物体的点云存在重叠，删除第一目标点云集合中目标物体簇对应的点云，目标物体簇为第一目标点云集合中存在重叠的点云对应的前景物体所在的物体簇。

可选地，混合单元703，具体用于对第一样本点云集合进行全局空间变换，得到第四样本点云集合，全局空间变换包括旋转、缩放、平移以及沿X轴或Y轴翻折；将第一目标点云集合与第四样本点云集合混合，得到第二样本点云集合。

可选地，混合单元703，具体用于获取前景物体样例库，前景物体样例库包括至少一个前景物体对应的点云；从前景物体样例库中确定包含N个物体的第二目标点云集合，N为正整数；将第二目标点云集合与第一样本点云集合混合，得到第五样本点云集合，第一样本点云集合包括至少一个样本点云；将第一目标点云集合与第五样本点云集合混合，得到第二样本点云集合。

示例性实施例中，本公开实施例还提供一种模型训练装置，可以用于实现如前述实施例的模型训练方法。图8为本公开实施例提供的模型训练装置的组成示意图。如图8所示，该装置可以包括：获取单元801、训练单元802。

获取单元801，用于获取第二样本点云集合、第二样本点云集合对应的3D边界框。

训练单元802，用于将第二样本点云集合作为输入、第二样本点云集合对应的3D边界框作为输出，对神经网络进行训练，得到3D目标检测神经网络模型，第二样本点云集合是将第一目标点云集合与第一样本点云集合混合得到的，第一目标点云集合是从点云样例库中确定的包含K个物体簇的点云，K为正整数，第一样本点云集合包括至少一个样本点云。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质、一种计算机程序产品。

示例性实施例中，电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上实施例所述的方法。

示例性实施例中，可读存储介质可以是存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行根据以上实施例所述的方法。

示例性实施例中，计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现根据以上实施例所述的方法。

图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，电子设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储电子设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

电子设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许电子设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如点云训练样本增强方法和模型训练方法。例如，在一些实施例中，点云训练样本增强方法和模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到电子设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的点云训练样本增强方法和模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行点云训练样本增强方法和模型训练方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式***的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种点云训练样本增强方法，所述方法包括：

获取点云样例库，所述点云样例库包括至少一个点云，每个所述点云包括至少一个物体簇，所述物体簇包括至少两个前景物体；

从所述点云样例库中确定包含K个物体簇的第一目标点云集合，所述K为正整数；

将所述第一目标点云集合与第一样本点云集合混合，得到第二样本点云集合，所述第一样本点云集合包括至少一个样本点云。

2.根据权利要求1所述的方法，所述获取点云样例库之前，所述方法还包括：

从点云样本集中获取第三样本点云集合，所述第三样本点云集合包括所述点云样本集中所有包含所述物体簇的样本点云；

确定所述第三样本点云集合中的每个所述物体簇对应的点云；

根据每个所述物体簇对应的点云构建所述点云样例库。

3.根据权利要求2所述的方法，所述确定所述第三样本点云集合中的每个所述物体簇对应的点云，包括：

获取第一物体的点云对应的第一边界框，所述第一物体的点云为所述第三样本点云集合中任意一个前景物体的点云；

确定所述第一边界框的中心点与每个第二边界框的中心点的距离，所述第二边界框为第二物体的点云对应的边界框，所述第二物体的点云为所述第三样本点云集合中，除第一物体的点云外剩余前景物体的点云；

确定与所述第一边界框的中心点的距离小于或等于预设阈值的中心点对应的第二边界框，作为目标边界框；

根据所述第一边界框、所述目标边界框，确定所述第三样本点云集合中的每个所述物体簇对应的点云。

4.根据权利要求1-3任一项所述的方法，所述方法还包括：

响应于所述第一目标点云集合中的任意一个前景物体的点云与所述第一样本点云集合中的任意一个物体的点云存在重叠，删除所述第一目标点云集合中目标物体簇对应的点云，所述目标物体簇为所述第一目标点云集合中存在重叠的点云对应的前景物体所在的物体簇。

5.根据权利要求1-4任一项所述的方法，所述将所述第一目标点云集合与第一样本点云集合混合，得到第二样本点云集合，包括：

对所述第一样本点云集合进行全局空间变换，得到第四样本点云集合，所述全局空间变换包括旋转、缩放、平移以及沿X轴或Y轴翻折；

将所述第一目标点云集合与所述第四样本点云集合混合，得到所述第二样本点云集合。

6.根据权利要求1-4任一项所述的方法，所述将所述第一目标点云集合与第一样本点云集合混合，得到第二样本点云集合，包括：

获取前景物体样例库，所述前景物体样例库包括至少一个前景物体对应的点云；

从所述前景物体样例库中确定包含N个物体的第二目标点云集合，所述N为正整数；

将所述第二目标点云集合与第一样本点云集合混合，得到第五样本点云集合；

将所述第一目标点云集合与所述第五样本点云集合混合，得到所述第二样本点云集合。

7.一种模型训练方法，所述方法包括：

获取第二样本点云集合、所述第二样本点云集合对应的3D边界框；

将所述第二样本点云集合作为输入、所述第二样本点云集合对应的3D边界框作为输出，对神经网络进行训练，得到3D目标检测神经网络模型，所述第二样本点云集合是将第一目标点云集合与第一样本点云集合混合得到的，所述第一目标点云集合是从点云样例库中确定的包含K个物体簇的点云，所述K为正整数，所述第一样本点云集合包括至少一个样本点云。

8.一种点云训练样本增强装置，所述装置包括：

获取单元，用于获取点云样例库，所述点云样例库包括至少一个点云，每个所述点云包括至少一个物体簇，所述物体簇包括至少两个前景物体；

确定单元，用于从所述点云样例库中确定包含K个物体簇的第一目标点云集合，所述K为正整数；

混合单元，用于将所述第一目标点云集合与第一样本点云集合混合，得到第二样本点云集合，所述第一样本点云集合包括至少一个样本点云。

9.根据权利要求8所述的装置，所述获取单元，还用于：

从点云样本集中获取第三样本点云集合，所述第三样本点云集合包括所述点云样本集中所有包含所述物体簇的样本点云；

所述确定单元，还用于：

确定所述第三样本点云集合中的每个所述物体簇对应的点云；

所述装置还包括：

构建单元，用于根据每个所述物体簇对应的点云构建所述点云样例库。

10.根据权利要求9所述的装置，所述确定单元，具体用于：

获取第一物体的点云对应的第一边界框，所述第一物体的点云为所述第三样本点云集合中任意一个前景物体的点云；

确定所述第一边界框的中心点与每个第二边界框的中心点的距离，所述第二边界框为第二物体的点云对应的边界框，所述第二物体的点云为所述第三样本点云集合中，除第一物体的点云外剩余前景物体的点云；

确定与所述第一边界框的中心点的距离小于或等于预设阈值的中心点对应的第二边界框，作为目标边界框；

根据所述第一边界框、所述目标边界框，确定所述第三样本点云集合中的每个所述物体簇对应的点云。

11.根据权利要求8-10任一项所述的装置，所述装置还包括：

删除单元，用于响应于所述第一目标点云集合中的任意一个前景物体的点云与所述第一样本点云集合中的任意一个物体的点云存在重叠，删除所述第一目标点云集合中目标物体簇对应的点云，所述目标物体簇为所述第一目标点云集合中存在重叠的点云对应的前景物体所在的物体簇。

12.根据权利要求8-11任一项所述的装置，所述混合单元，具体用于：

对所述第一样本点云集合进行全局空间变换，得到第四样本点云集合，所述全局空间变换包括旋转、缩放、平移以及沿X轴或Y轴翻折；

将所述第一目标点云集合与所述第四样本点云集合混合，得到所述第二样本点云集合。

13.根据权利要求8-11任一项所述的装置，所述混合单元，具体用于：

获取前景物体样例库，所述前景物体样例库包括至少一个前景物体对应的点云；

从所述前景物体样例库中确定包含N个物体的第二目标点云集合，所述N为正整数；

将所述第二目标点云集合与第一样本点云集合混合，得到第五样本点云集合，所述第一样本点云集合包括至少一个样本点云；

将所述第一目标点云集合与所述第五样本点云集合混合，得到所述第二样本点云集合。

14.一种模型训练装置，所述装置包括：

获取单元，用于获取第二样本点云集合、所述第二样本点云集合对应的3D边界框；

训练单元，用于将所述第二样本点云集合作为输入、所述第二样本点云集合对应的3D边界框作为输出，对神经网络进行训练，得到3D目标检测神经网络模型，所述第二样本点云集合是将第一目标点云集合与第一样本点云集合混合得到的，所述第一目标点云集合是从点云样例库中确定的包含K个物体簇的点云，所述K为正整数，所述第一样本点云集合包括至少一个样本点云。

15.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7任一项所述的方法或者权利要求8所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行根据权利要求1-7任一项所述的方法或者权利要求8所述的方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7任一项所述的方法或者权利要求8所述的方法。