CN113486963B - 一种密度自适应的点云端到端采样方法 - Google Patents

Abstract

一种密度自适应的点云端到端采样方法，涉及计算机视觉技术。包括步骤：A.准备用于分类任务的点云数据集。B.预训练分类网络PointNet，得到PointNet预训练模型。C.将原始点云数据输入点云简化网络,实现点云的初步采样。D.针对每个初步采样点，实施密度自适应的K近邻算法DAKNN，利用K值划分不同大小的邻域。E.采用自注意力机制，利用邻域信息对初步采样点进行加权更新。F.将更新后的采样点输入预训练的PointNet模型，优化损失函数，得到最终采样点。以端到端学习的方式实现任务相关的点云采样，能够缓解点云密度变化及噪声对采样过程的干扰，从而提升点云采样结果的有效性。

Description

一种密度自适应的点云端到端采样方法

技术领域

本发明涉及计算机视觉技术，具体是涉及一种密度自适应的点云端到端采样方法。

背景技术

作为3D数据的重要代表，点云是一组能够描述对象几何形状的无序点。由于点云通常包含大量的输入点，为降低点云大小并提高计算效率，通常在下游任务执行之前进行下采样操作。

在点云任务中应用最广泛的下采样方法是最远点采样FPS。通过迭代选择最远的点，FPS能够尽可能地覆盖输入点云。然而，FPS的采样结果是任务不相关和噪声敏感的。针对FPS存在的问题，许多学者基于深度学习框架提出下采样的改进算法。Nezhadarya等人(Ehsan Nezhadarya,Ehsan Taghavi,Ryan Razani,Bingbing Liu,and Jun Luo.“Adaptive hierarchical down-sampling for point cloud classification.”InProceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition.2020.pp.12956-12964.)提出CP-Net，通过衡量采样点对全局池化特征的贡献，能够实现确定性的采样。Dovrat等人(Oren Dovrat,Itai Lang,and Shai Avidan.“Learning to sample.”InProceedings of the IEEE/CVF Conference on ComputerVision and Pattern Recognition.2019.pp.2760-2769.)提出S-Net，通过网络训练得到最优于任务的采样点。Lang等人(Itai Lang,Asaf Manor,and Shai Avidan.“SampleNet:differentiable point cloud sampling.”In Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition.2020.pp.7578-7588.)设计SampleNet，通过对投影权重的优化，实现采样点匹配步骤的可微性。Yang等人(JianchengYang,Qiang Zhang,Bingbing Ni,Linguo Li,Jinxian Liu,Mengdie Zhou,and Qi Tian.“Modeling Point Clouds With Self-Attention and Gumbel Subset Sampling.”InProceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition.2019.pp.3323-3332.)提出Gumbel子集采样，通Gumbel-Softmax实现端到端可训练的采样层。Yan等人(Xu Yan,Chaoda Zheng,Zhen Li,Sheng Wang,and ShuguangCui.“PointASNL:Robust point clouds processing using nonlocal neural networkswith adaptive sampling.”InProceedings of the IEEE/CVF Conference on ComputerVision and Pattern Recognition.2020.pp.5589-5598.)设计PointASNL网络，通过自适应采样及non-local模块的设计，能够缓解噪声对采样结果的影响。

尽管上述研究实现下采样的轻微改进，但采样中仍存在若干问题。首先，在这些研究中，采样点通常限于原始输入的子集。因此，采样结果可能被异常值影响。其次，这些方法未能联合考虑任务相关性和噪声影响。特别地，在先前的采样方法中，点云密度的不均匀性未受到很多关注。

发明内容

本发明的目的在于针对现有技术存在的上述问题，提供既有利于显著点的提取，也能缓解离群点对采样过程的影响；能够有效降低噪声的影响，提升采样结果有效性的一种密度自适应的点云端到端采样方法。

本发明包括以下步骤：

A.准备用于分类任务的点云数据集；

B.预训练分类网络PointNet，得到PointNet预训练模型；

C.将原始点云数据输入点云简化网络，实现点云的初步采样；

D.针对每个初步采样点，实施密度自适应的K近邻算法DAKNN，利用K值划分不同大小的邻域；

E.采用自注意力机制，利用邻域信息对初步采样点进行加权更新；

F.将更新后的采样点输入预训练的PointNet模型，优化损失函数，得到最终采样点。

在步骤A中，所述准备用于分类任务的点云数据集进一步包括以下子步骤：

A1.准备ModelNet40数据集(Zhirong Wu,Shuran Song,Aditya Khosla,FisherYu,Linguang Zhang,Xiaoou Tang,and Jianxiong Xiao.“3d shapenets:A deeprepresentation for volumetric shapes.”In Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition.2015.pp.1912-1920.)；该数据集包含12,311个模型，分别来自40个不同的类别；按照官方训练测试拆分，包含9843个训练模型和2468个测试模型。

在步骤B中，所述预训练分类网络PointNet，得到PointNet预训练模型进一步包括以下子步骤：

B1.在ModelNet40数据集上预训练PointNet分类任务网络，每个点云样本的输入点数为1024；

B2.获得预训练的PointNet模型，该模型的权重在采样网络的训练过程中保持不变。

在步骤C中，所述将原始点云数据输入点云简化网络，实现点云的初步采样进一步包括以下子步骤：

C1.将原始点云数据

输入点云简化网络；

C2.通过一系列多层感知机获取点云特征，利用全局最大池化进行全局特征提取，最终采用一系列全连接层得到M个初步简化点

在步骤D中，所述实施密度自适应的K近邻算法DAKNN，利用K值划分不同大小的邻域进一步包括以下子步骤：

D1.计算K的组成部分K₀；K₀反映点云的平均密度，稀疏区域的K₀值较大，而稠密区域的K₀值较小；K₀的值为U×(N₀/N)；预设情况下，U＝32，N₀＝1024，N是输入点数；

D2.计算K的组成部分D；D由核密度估计算法计算得出，其计算方式为D＝d/d_max，此处d为反密度值；

D3.针对每一个初步采样点s_i，K值由K₀×D计算得出；根据不同的K值，以点云初步采样点s_i为中心，选择K个邻居进行区域划分，得到M个区域Ns_i＝DAKNN(n_k|s_i,k＝1,2,...,K)。

在步骤E中，所述采用自注意力机制，利用邻域信息对初步采样点进行加权更新进一步包括以下子步骤：

E1.在每个初步采样点s_i的邻域Ns_i，计算每个成员的特征表示；计算公式如下：

φ(n_k)＝W_φn_k (1)

θ(n_j)＝W_θn_j (2)

其中，φ和θ表示不同的特征表示，可以采用一维卷积实现；n_k、n_j均表示Ns_i的成员；

E2.采用点乘计算邻域中Ns_i中每个成员相互之间的关系f；计算公式如下：

f(n_k,n_j)＝φ(n_k)^Tθ(n_j) (3)

E3.利用每个成员相互之间的关系，采用自注意力机制对组成员特征进行更新，更新公式如下：

其中，n_k表示当前需要更新信息的成员，n_j迭代枚举Ns_i中的所有成员；γ为线性变化，用于对成员的特征进行编码；C是归一化因子；

E4.利用逐点多层感知机σ计算K个邻居对每个初步采样点的贡献，并利用Softmax计算标准化的权重矩阵，权重矩阵的计算方式如下：

E5.对于每一个初步采样点s_i，基于邻居的加权平均特征进行计算，获得更新后的采样点

计算公式如下:

在步骤F中，所述将更新后的采样点输入预训练的PointNet模型，优化损失函数，得到最终采样点进一步包括以下子步骤：

F1.将采样点

投入预训练的任务网络PointNet，计算分类任务损失函数L_t；

F2.构建采样点

与所在邻域的紧密性损失函数L_c，L_c定义为：

F3.通过联合优化L_t和L_c两个损失函数，生成任务相关的最终采样点，采样网络的总损失定义为：

L_DA-Net＝L_t+L_c (8)。

与现有技术相比，本发明具有如下突出的优点和技术效果：

本发明提出一种密度自适应的点云端到端采样方法。首先，设计点云简化网络，从而以网络学习的方式生成初步采样点。其次，针对点云的密度变化问题，提出一种密度自适应的K近邻算法DAKNN，能够根据区域密度实现不同大小的邻域划分。同时，设计点云信息调整模块，通过自注意力机制实现初步采样点信息的调整，能够缓解噪声对采样结果的影响。最后，将采样点投入预训练任务网络，从而以端到端的方式实现任务相关的采样。

本发明是基于端到端学习的点云采样，采样结果不局限于原始点的子集。此种方式不仅有利于显著点的提取，也能缓解离群点对采样过程的影响。其次，针对点云密度变化的问题，本发明设计密度自适应的邻域构建模块，在点云分布不均的场景下仍然能够实现鲁棒的采样。同时，考虑到噪声因素，本发明设计采样点调整模块，利用邻域信息对采样点进行更新，能够有效降低噪声的影响，提升采样结果的有效性。

附图说明

图1为本发明的点云采样网络框架示意图。

图2为本发明的点云简化网络模块示意图。

图3为本发明的密度自适应采样模块示意图。

图4为本发明方法与其他采样方法在不同采样比下的表现对比。

具体实施方式

下面结合附图和实施例对本发明的方法作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出实施方式和具体操作过程，但本发明的保护范围不限于下述的实施例。

本发明首先准备用于分类任务的点云数据集。在该数据集上预训练分类网络PointNet，得到PointNet预训练模型。将原始点云数据输入点云简化网络,实现点云的初步采样。针对每个初步采样点，实施密度自适应的K近邻算法DAKNN，利用K值划分不同大小的邻域。采用自注意力机制，利用邻域信息对初步采样点进行加权更新。将更新后的采样点输入预训练的PointNet模型，优化损失函数，得到最终采样点。

参见图1～4，本发明实施例的实施方式包括以下步骤：

1.准备点云分类任务的相关数据集。准备ModelNet40数据集(Zhirong Wu,ShuranSong,Aditya Khosla,Fisher Yu,Linguang Zhang,Xiaoou Tang,and Jianxiong Xiao.“3d shapenets:Adeep representation for volumetric shapes.”In Proceedings ofthe IEEE Conference on Computer Vision and Pattern Recognition.2015.pp.1912-1920.)。该数据集包含12,311个模型，包括40个对象类别。按照官方训练测试拆分，训练集包括843个模型，测试集包括2468个模型。

2.在ModelNet40数据集上预训练PointNet分类任务网络。

A.在ModelNet40上进行PointNet网络的预训练。其中，每个点云样本的输入点数均为1024。

B.保存PointNet预训练模型，其权重在采样网络的训练过程中保持不变。

3.利用点云简化网络得到初步采样结果。

A.输入原始点云数据

将P输入点云简化网络。

B.通过一系列多层感知机获取点云特征，利用全局最大池化进行全局特征提取，最终采用一系列全连接层得到M个初步简化点

4.针对每个点云初步采样点，实施密度自适应的K近邻算法DAKNN，并由此构建不同大小的邻域。

A.计算K的组成部分K₀。K₀反映点云的平均密度，稀疏区域的K₀值较大，而稠密区域的K₀值较小。K₀的值为U×(N₀/N)。预设情况下，U＝32，N₀＝1024，N是输入点数。

B.计算K的组成部分D。D由核密度估计算法计算得出，其计算方式为d/d_max。此处，d为反密度值。

C.针对每一个初步采样点s_i，K值由K₀×D计算得出。根据不同的K值，以点云初步采样点s_i为中心，选择K个邻居进行区域划分，共得到M个区域Ns_i＝DAKNN(n_k|s_i,k＝1,2,...,K)。

5.利用邻域信息调整初步采样点。

A.在每个初步采样点s_i的邻域Ns_i，计算每个成员的特征表示。计算公式如下：

φ(n_k)＝W_φn_k (1)

θ(n_j)＝W_θn_j (2)

其中，φ和θ表示不同的特征表示，可以采用一维卷积实现。n_k、n_j均表示Ns_i的成员。

B.采用点乘计算邻域中Ns_i中每个成员相互之间的关系f。计算公式如下：

f(n_k,n_j)＝φ(n_k)^Tθ(n_j) (3)

C.利用每个成员相互之间的关系，采用自注意力机制对组成员特征进行更新，更新公式如下：

此处，n_k表示当前需要更新信息的成员，n_j迭代枚举Ns_i中的所有成员。γ为线性变化，用于对成员的特征进行编码。C是归一化因子。

D.利用逐点多层感知机σ计算K个邻居对每个初步采样点的贡献，并利用Softmax计算标准化的权重矩阵，权重矩阵的计算方式如下：

E.对于每一个初步采样点s_i，基于邻居的加权平均特征进行计算，得到更新后的采样点

计算公式如下:

6.将采样点输入预训练的任务网络，通过优化损失函数得到最终采样结果。

A.将更新后的采样点

输入预训练的任务网络，得到任务损失函数L_t。

B.构建采样点

与所在邻域的紧密性损失函数L_c，定义为：

C.联合优化L_t和L_c，最终生成任务相关且与邻域联系紧密的采样结果。定义采样网络的总损失为：

L_DA-Net＝L_t+L_c (8)

本发明与其他采样方法在不同采样比下的表现对比见表1和2。评价指标为分类准确率(％)。表1为在ModelNet40数据集上，本发明提出的方法与其他采样方法在噪声条件下的表现对比，其中：

RS为random sampling，即随机采样的缩写；

FPS为farthestpointsampling，即最远点采样的缩写；

S-NET对应为Dovrat等人提出的方法(Oren Dovrat,Itai Lang,and ShaiAvidan.“Learning to sample.”In Proceedings of the IEEE/CVF Conference onComputer Vision and Pattern Recognition.2019.pp.2760-2769.)；

SampleNet对应于Lang等人提出的方法(Itai Lang,Asaf Manor,and ShaiAvidan.“SampleNet:differentiable point cloud sampling.”In Proceedings of theIEEE/CVF Conference on Computer Vision and Pattern Recognition.2020.pp.7578-7588.)。

表1

表2

表2为在ModelNet40数据集上，本发明提出的方法与其他采样方法在点云密度变化条件下的表现对比，其中，各方法对应的方法同表1。图4为本发明方法与其他采样方法在不同采样比下的表现对比。评价指标为分类准确率(％)，从对比可以看出，本发明方法的分类准确率明显优于其他采样方法。

Claims (4)

1.一种密度自适应的点云端到端采样方法，其特征在于包括以下步骤：

A.准备用于分类任务的点云数据集；

B.预训练分类网络PointNet，得到PointNet预训练模型；

C.将原始点云数据输入点云简化网络，实现点云的初步采样；

D.针对每个初步采样点，实施密度自适应的K近邻算法DAKNN，利用K值划分不同大小的邻域；

所述实施密度自适应的K近邻算法DAKNN，利用K值划分不同大小的邻域进一步包括以下子步骤：

D1.计算K的组成部分K₀；K₀反映点云的平均密度，稀疏区域的K₀值大，而稠密区域的K₀值小；K₀的值为U×(N₀/N)；预设情况下，U＝32，N₀＝1024，N是输入点数；

D2.计算K的组成部分D；D由核密度估计算法计算得出，其计算方式为D＝d/d_max，此处d为反密度值；

D3.针对每一个初步采样点s_i，K值由K₀×D计算得出；根据不同的K值，以点云初步采样点s_i为中心，选择K个邻居进行区域划分，得到M个区域Ns_i＝DAKNN(n_k|s_i,k＝1,2,...,K)；

E.采用自注意力机制，利用邻域信息对初步采样点进行加权更新包括以下步骤：

E1.在每个初步采样点s_i的邻域Ns_i，计算每个成员的特征表示；计算公式如下：

φ(n_k)＝W_φn_k (1)

θ(n_j)＝W_θn_j (2)

其中，φ和θ表示不同的特征表示，采用一维卷积实现；n_k、n_j均表示Ns_i的成员；

E2.采用点乘计算邻域中Ns_i中每个成员相互之间的关系f；计算公式如下：

f(n_k,n_j)＝φ(n_k)^Tθ(n_j) (3)

E3.利用每个成员相互之间的关系，采用自注意力机制对组成员特征进行更新，更新公式如下：

其中，n_k表示当前需要更新信息的成员，n_j迭代枚举Ns_i中的所有成员；γ为线性变化，用于对成员的特征进行编码；C是归一化因子；

E4.利用逐点多层感知机σ计算K个邻居对每个初步采样点的贡献，并利用Softmax计算标准化的权重矩阵，权重矩阵的计算方式如下：

E5.对于每一个初步采样点s_i，基于邻居的加权平均特征进行计算，获得更新后的采样点

计算公式如下:

F.将更新后的采样点输入预训练的PointNet模型，优化损失函数，得到最终采样点，包括以下子步骤：

F1.将采样点

投入预训练的任务网络PointNet，计算分类任务损失函数L_t；

F2.构建采样点

与所在邻域的紧密性损失函数L_c，L_c定义为：

其中，M表示初步简化点的个数；

F3.通过联合优化L_t和L_c两个损失函数，生成任务相关的最终采样点，采样网络的总损失定义为：

L_DA-Net＝L_t+L_c(8)。

2.如权利要求1所述一种密度自适应的点云端到端采样方法，其特征在于在步骤A中，所述准备用于分类任务的点云数据集进一步包括以下子步骤：

A1.准备ModelNet40数据集；该数据集包含12,311个模型，分别来自40个不同的类别；按照官方训练测试拆分，包含9843个训练模型和2468个测试模型。

3.如权利要求1所述一种密度自适应的点云端到端采样方法，其特征在于在步骤B中，所述预训练分类网络PointNet，得到PointNet预训练模型进一步包括以下子步骤：

B1.在ModelNet40数据集上预训练PointNet分类任务网络，每个点云样本的输入点数为1024；

B2.获得预训练的PointNet模型，该模型的权重在采样网络的训练过程中保持不变。

4.如权利要求1所述一种密度自适应的点云端到端采样方法，其特征在于在步骤C中，所述将原始点云数据输入点云简化网络，实现点云的初步采样进一步包括以下子步骤：

C1.将原始点云数据

输入点云简化网络；

C2.通过一系列多层感知机获取点云特征，利用全局最大池化进行全局特征提取，最终采用一系列全连接层得到M个初步简化点

Images