CN115841585B - 一种对点云分割网络进行知识蒸馏的方法 - Google Patents

Abstract

本发明涉及点云分割网络技术领域，提出一种对点云分割网络进行知识蒸馏的方法，包括下列步骤：基于点云分割网络确定第一点云中逐体素的预测结果以及逐点的预测结果；以及对所述逐体素的预测结果以及所述逐点的预测结果进行知识蒸馏。

Description

一种对点云分割网络进行知识蒸馏的方法

技术领域

本发明总的来说涉及点云分割网络技术领域。具体而言，本发明涉及一种对点云分割网络进行知识蒸馏的方法。

背景技术

点云分割方法(LiDAR semantic segmentation)在无人驾驶领域具有非常重要的作用，其可以为自动驾驶车辆提供周围环境逐点的语义信息，因此无人驾驶领域里的许多任务例如高精地图构建、地面分割、安全驾驶区域检测等都需要依赖点云分割方法。而随着深度学习(deep learning)的出现，许多点云分割方法如雨后春笋般涌现了出来并且迅速在各个经典分割数据集上取得非常好的效果。然而，点云分割方法令人惊艳的性能背后是，点云分割模型巨大的计算和存储需求，这使得，点云分割模型很难被直接部署到资源受限的现实场景中。

为了使得点云分割模型可以部署到现实场景中，现有技术中提出使用知识蒸馏方法(Knowledge Distillation，KD)来对点云分割模型进行处理。知识蒸馏方法可以将大网络中的暗知识(dark knowledge)传递给小网络以提高小网络的特征学习(representationlearning)的能力进而实现模型压缩(model compression)的目的。此时，经过知识蒸馏之后的小网络会被部署到自动驾驶车辆上，这样既可以有很高的精度，又不需要巨大的计算和存储需求。

然而目前知识蒸馏方法主要应用在图片分类等2D领域，其采取不同的知识形式进行蒸馏，例如应用于网络中间层输出、注意力图(attention map)、跨层的相似度图以及样本间的相似度图等。也有部分应用是将知识蒸馏方法应用在2D语义分割任务(semanticsegmentation)中，例如可以同时蒸馏语义分割教师网络中的像素级的知识、成对相似度知识以及全局的知识，也可以去学习教师网络压缩以后的知识和适应性知识。然而上述在2D语义分割任务中效果显著的知识蒸馏方法如果应用到点云分割任务中则收效甚微，这是因为点云独有的稀疏无序性、密度不均等特点造成的。

发明内容

为至少部分解决现有技术中的上述问题，本发明提出一种对点云分割网络进行知识蒸馏的方法，包括下列步骤：

基于点云分割网络确定第一点云中逐体素的预测结果以及逐点的预测结果；以及

对所述逐体素的预测结果以及所述逐点的预测结果进行知识蒸馏。

在本发明一个实施例中规定，基于点云分割网络确定第一点云中逐体素的预测结果包括下列步骤：

将所述第一点云X表示为下式：

X∈R^N×3

其中，N表示所述第一点云包括的点的数量；

通过多层感知器提取所述点的特征F^p，表示为下式：

其中，C_f表示所述点的特征的维度；

基于圆柱体的划分方式将所述点的特征重新分配；

将属于第一体素的所述点的特征通过最大池化转化为体素特征F^v，表示为下式：

其中，M表示非空体素的数量；

将所述体素特征输入至3D卷积神经网络中以产生所述逐体素的预测结果O^v，表示为下式：

O^v∈R^D×A×H×C

其中D，A，H分别表示预测半径、预测角度以及预测高度。

在本发明一个实施例中规定，基于点云分割网络确定第一点云中逐点的预测结果包括下列步骤：

通过逐点的润色模块来确定所述逐点的预测结果Op，表示为下式：

O^p∈R^N×C

其中，C表示类别数，其中通过argmax操作处理所述逐点的预测结果以确定所述类别数。

在本发明一个实施例中规定，对所述逐体素的预测结果以及所述逐点的预测结果进行知识蒸馏可以表示为下式：

其中，KL(.)表示Kullback-Leibler散度损失。

在本发明一个实施例中规定，所述对点云分割网络进行知识蒸馏的方法，还包括下列步骤：

对所述第一点云中逐体素的相似度矩阵以及逐点的相似度矩阵进行知识蒸馏。

在本发明一个实施例中规定，对所述第一点云中逐体素的相似度矩阵以及逐点的相似度矩阵进行知识蒸馏包括下列步骤：

将所述第一点云划为多个超体素，其中所述超体素的大小为D_s×A_s×H_s，所述超体素的数量表示为下式：

其中，表示上取整操作；

基于学习难度对所述超体素进行采样，其中将第i个超体素被采样到的采样概率表示为下式：

其中，f_class表示所述超体素被采样的类别频次，d_i表示第一超体素的外弧和原点在X-Y平面的距离；

将所述采样概率归一化，表示为下式：

在第r个所述超体素中保留N_p个点特征以及N_v个体素特征

对所述超体素进行计算以确定所述逐点的相似度矩阵，表示为下式：

；

对所述逐点的相似度矩阵进行知识蒸馏，表示为下式：

；

以及对所述逐体素的相似度矩阵进行知识蒸馏，表示为下式：

在本发明一个实施例中规定，将所述超体素被采样的类别频次表示为下式：

f_class＝4 exp(-2N_minor)+1

其中，N_minor表示所述超体素包括的少数类的体素的数目。

在本发明一个实施例中规定，当所述点特征的数目大于N_p时，随机从多数类的特征丢掉部分特征以使得留下的特征数为N_p；以及

当点特征的数目小于N_p时，对当前特征补全零特征以使得最终特征数为N_p。

在本发明一个实施例中规定，所述对点云分割网络进行知识蒸馏的方法，还包括下列步骤：

计算所述点云分割网络的损失，表示为下式：

其中，α₁，α₂，β₁，β₂表示第一至第四平衡权重。

在本发明一个实施例中规定，在确定所述逐体素预测结果的标签时，考虑到每个体素可能包括来自不同类别的点，因此将所述体素的标签表示为所述体素内包括的最多点的那个类别。

本发明至少具有如下有益效果：本发明提出一种对点云分割网络进行知识蒸馏的方法，其中从点和体素两个层面去进行知识蒸馏，可以有效缓解点云的稀疏性问题，并且在采样过程中基于学习难度和距离远近来进行采样，并且进行逐点和逐体素的相似度知识蒸馏，可以有效缓解点云无序密度不均导致的问题，极大提高蒸馏效率。

附图说明

为进一步阐明本发明的各实施例中具有的及其它的优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。

图1示出了本发明一个实施例中知识蒸馏的框架示意图。

图2示出了本发明一个实施例中计算逐点的相似度矩阵的示意图。

图3示出了本发明一个实施例中对点云分割网络进行知识蒸馏的方法的流程示意图。

具体实施方式

应当指出，各附图中的各组件可能为了图解说明而被夸大地示出，而不一定是比例正确的。在各附图中，给相同或功能相同的组件配备了相同的附图标记。

在本发明中，除非特别指出，“布置在…上”、“布置在…上方”以及“布置在…之上”并未排除二者之间存在中间物的情况。此外，“布置在…上或上方”仅仅表示两个部件之间的相对位置关系，而在一定情况下、如在颠倒产品方向后，也可以转换为“布置在…下或下方”，反之亦然。

在本发明中，各实施例仅仅旨在说明本发明的方案，而不应被理解为限制性的。

在本发明中，除非特别指出，量词“一个”、“一”并未排除多个元素的场景。

在此还应当指出，在本发明的实施例中，为清楚、简单起见，可能示出了仅仅一部分部件或组件，但是本领域的普通技术人员能够理解，在本发明的教导下，可根据具体场景需要添加所需的部件或组件。另外，除非另行说明，本发明的不同实施例中的特征可以相互组合。例如，可以用第二实施例中的某特征替换第一实施例中相对应或功能相同或相似的特征，所得到的实施例同样落入本申请的公开范围或记载范围。

在此还应当指出，在本发明的范围内，“相同”、“相等”、“等于”等措辞并不意味着二者数值绝对相等，而是允许一定的合理误差，也就是说，所述措辞也涵盖了“基本上相同”、“基本上相等”、“基本上等于”。以此类推，在本发明中，表方向的术语“垂直于”、“平行于”等等同样涵盖了“基本上垂直于”、“基本上平行于”的含义。

另外，本发明的各方法的步骤的编号并未限定所述方法步骤的执行顺序。除非特别指出，各方法步骤可以以不同顺序执行。

下面结合具体实施方式参考附图进一步阐述本发明。

首先对点云分割方法做介绍。给定一帧点云X∈R^N×3，点云分割方法就是对每一个点预测一个类别l∈{0，1，…，C-1}，其中N表示一帧点云包含的点数，C表示类别数，点云里的每一个点包含该点在自车坐标系下的(x，y，z)坐标，现有技术中通常使用卷积神经网络(Convolution Neural Network，CNN)来做端到端(end-to-end)的预测。

传统的知识蒸馏方法应用在点云分割方法中时，会因为点云特有的稀疏无序性、密度不均等特点而效果不佳。为了解决上述问题，本发明提出一种基于点和体素(point-to-voxel)的知识蒸馏方法，从点和体素两个层面去蒸馏知识。

图3示出了本发明一个实施例中对点云分割网络进行知识蒸馏的方法的流程示意图如图3所示，该方法可以包括下列步骤：

步骤301、基于点云分割网络确定第一点云中逐体素的预测结果以及逐点的预测结果；以及

步骤302、对所述逐体素的预测结果以及所述逐点的预测结果进行知识蒸馏。

图1示出了本发明一个实施例中知识蒸馏的框架示意图。

点云分割网络(Cylinder3D)例如可以在图1所示的教师网络中执行下列动作：

给定一帧点云；

所述点云分割网络通过多层感知器(Multi-Layer Perception，MLP)去提取每个点的特征(feature)

通过基于圆柱体的划分方式将所述点特征重新分配，其中C_f表示点特征的维度；

将属于同一个体素的点特征通过最大池化(max-pooling)变成一个个体素特征(voxel feature)其中M是非空体素的数目；

将所述体素特征送到3D卷积神经网络中以产生基于体素的预测结果O^v∈R^D×A×H×C，其中D，A，H分别表示预测的半径，角度和高度；以及

通过逐点的润色模块来确定逐点的预测结果O^p∈R^N×C，其中通过argmax操作处理逐点的预测结果以确定逐点预测的类别。

由于点云具有稀疏性，因此直接使用稀疏的训练信号来训练学生网络是困难的。而传统的蒸馏方法通常只蒸馏网络的最终输出，对与点云分割网络也就是只蒸馏所述逐点的预测结果。

尽管所述逐点的预测结果包含细粒度的感知信息，然而所述逐点的预测结果由于通常包括十万以上的点，因此很难学习。为了提高蒸馏的效率，除了学习所述逐点的预测结果，同时也学习所述逐体素的预测结果，其中体素的数量相比于点数要少很多并且更加容易学习。也因此，在本发明中通过逐点和逐体素的输出蒸馏自然形成了从粗粒度到细粒度的学习过程。

逐点和逐体素的输出蒸馏函数可以表示为下式：

其中，KL(.)表示Kullback-Leibler散度损失。

在确定所述逐体素预测结果的标签时，考虑到每个体素可能包括来自不同类别的点，因此可以采用少数服从多数的原则，也就是将所述体素的标签表示为所述体素内包括的最多点的那个类别。

此外，直接去蒸馏所述逐点以及所述逐体素的预测结果会由于仅考虑每个元素的知识而不能利用好周围环境的结构性知识，由于输入的点云是无序的，因此所述结构性知识对于点云分割任务也十分重要。因此可以利用基于关系的知识蒸馏方法去学习所有点的成对的相似度知识。然而上述学习方式有两个缺点。首先，一帧点云里通常有数十万个点，计算得到的相似度矩阵会有几十亿的元素，这个矩阵几乎不可能学会。其次，不同类别、不同远近的物体点数差异巨大。上述学习方式忽视了这种差异并对所有的类别和物体以相同的策略学习，这使得蒸馏过程很难达到最优。

图2示出了本发明一个实施例中计算逐点的相似度矩阵的示意图。为了更好地学习所述相似度关系矩阵，可以将整帧点云划分成若干个超体素(super-voxel)，所述超体素的大小是D_s×A_s×H_s，所述超体素由一些固定数目的体素构成，所述超体素的数目表示为下式：

其中，表示上取整操作，可以总共采样K个超体素来计算所述相似度矩阵。

可以采用基于学习难度的采样策略去尽可能多地采样到包含少数类和远距离物体的点，其中第i个超体素被采样到的概率可以表示为下式：

其中，f_class表示类别出现的频次，d_i表示第1个超体素的外弧和原点在X-Y平面的距离，其中数据集中所有包含的点数多于1％的类别为多数类，剩余的都是少数类。

将所述超体素被采样的类别频次设置为下式：

f_class＝4 exp(-2N_minor)+1，其中N_minor表示所述超体素包括的少数类的体素的数目。如果没有少数类的体素，那么f_class就会设为5。随着少数类的体素数量增加，f_class就会迅速变成1。

然后可以将概率归一化，表示为下式：

考虑到对于每帧点云，点的数目是不一样的并且密度也是不均匀的，这会导致一个超体素内的点特征和体素特征的数目是变化的。对于损失函数的计算来说，我们不希望特征的数目是变化的。因此可以把保留下的点特征和非空体素特征设为N_p和N_v。如果点特征的数目大于N_p，那么我们就会随机从多数类的特征丢掉部分特征使得留下的特征数为N_p。如果点特征的数目小于N_p，那么我们就对当前特征补全零特征，使得最终特征数还是N_p。

对于第r个所述超体素，可以得到N_p个点特征和N_v个体素特征

对于每个所述超体素，可以计算得到逐点的相似度矩阵，表示为下式：

相似度的值就可以被当作高层结构性知识去学习，对逐点的相似度矩阵进行知识蒸馏，表示为下式：

对逐体素的相似度矩阵进行知识蒸馏，表示为下式：

将整个网络训练的损失函数表示为下式：

其中，α₁，α₂，β₁，β₂表示第一至第四平衡权重，用来平衡蒸馏损失对主任务损失影响的权重。

尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。对于相关领域的技术人员显而易见的是，可以对其做出各种组合、变型和改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。

Claims (5)

1.一种对点云分割网络进行知识蒸馏的方法，其特征在于，包括下列步骤：

基于点云分割网络确定第一点云中逐体素的预测结果以及逐点的预测结果；以及

对所述逐体素的预测结果以及所述逐点的预测结果进行知识蒸馏，其中对所述第一点云中逐体素的相似度矩阵以及逐点的相似度矩阵进行知识蒸馏；

其中基于点云分割网络确定第一点云中逐体素的预测结果包括下列步骤：

将所述第一点云X表示为下式：

X∈R^N×3

其中，N表示所述第一点云包括的点的数量；

通过多层感知器提取所述点的特征F^p，表示为下式：

其中，C_f表示所述点的特征的维度；

基于圆柱体的划分方式将所述点的特征重新分配；

将属于第一体素的所述点的特征通过最大池化转化为体素特征F^v，表示为下式：

其中，M表示非空体素的数量；

将所述体素特征输入至3D卷积神经网络中以产生所述逐体素的预测结果O^v，表示为下式：

O^v∈R^D×A×H×C

其中D，A，H分别表示预测半径、预测角度以及预测高度；

基于点云分割网络确定第一点云中逐点的预测结果包括下列步骤：

通过逐点的润色模块来确定所述逐点的预测结果O^p，表示为下式：

O^p∈R^N×C

其中，C表示类别数，其中通过argmax操作处理所述逐点的预测结果以确定所述类别数；

对所述逐体素的预测结果以及所述逐点的预测结果进行知识蒸馏表示为下式：

其中，KL(.)表示Kullback-Leibler散度损失；

对所述第一点云中逐体素的相似度矩阵以及逐点的相似度矩阵进行知识蒸馏包括下列步骤：

将所述第一点云划为多个超体素，其中所述超体素的大小为D_s×A_s×H_s，所述超体素的数量表示为下式：

其中，表示上取整操作；

基于学习难度对所述超体素进行采样，其中将第i个超体素被采样到的采样概率表示为下式：

其中，f_class表示所述超体素被采样的类别频次，d_i表示第一超体素的外弧和原点在X-Y平面的距离；

将所述采样概率归一化，表示为下式：

在第r个所述超体素中保留N_p个点特征以及N_v个体素特征

对所述超体素进行计算以确定所述逐点的相似度矩阵，表示为下式：

；

对所述逐点的相似度矩阵进行知识蒸馏，表示为下式：

；

以及对所述逐体素的相似度矩阵进行知识蒸馏，表示为下式：

2.根据权利要求1所述的对点云分割网络进行知识蒸馏的方法，其特征在于，将所述超体素被采样的类别频次表示为下式：

f_class＝4exp(-2N_minor)+1

其中，N_minor表示所述超体素包括的少数类的体素的数目。

3.根据权利要求2所述的对点云分割网络进行知识蒸馏的方法，其特征在于，当所述点特征的数目大于N_p时，随机从多数类的特征丢掉部分特征以使得留下的特征数为N_p；以及

当点特征的数目小于N_p时，对当前特征补全零特征以使得最终特征数为N_p。

4.根据权利要求3所述的对点云分割网络进行知识蒸馏的方法，其特征在于，还包括下列步骤：

计算所述点云分割网络的损失，表示为下式：

其中，α₁，α₂，β₁，β₂表示第一至第四平衡权重。

5.根据权利要求1所述的对点云分割网络进行知识蒸馏的方法，其特征在于，在确定所述逐体素预测结果的标签时，考虑到每个体素可能包括来自不同类别的点，因此将所述体素的标签表示为所述体素内包括的最多点的那个类别。