CN112149725B - 基于傅立叶变换的谱域图卷积3d点云分类方法 - Google Patents

Abstract

本发明公开了一种基于傅立叶变换的谱域图卷积3D点云分类方法，包括：利用G‑PointNet网络模型对输入的原始点云进行几何采样处理：通过设置一个角度阈值V，将点的邻域夹角值大于的点划分至几何特征区域G且剩余的点划分至其它区域T，采样获得各区域点云；基于Dynamic KNN局部图构造方法引入一个扩张率E，选择性地每隔E个近邻点云建立一个局部几何图。利用基于傅立叶变换的谱域图卷积方法进行谱域图卷积，获得多个池化后的图局部特征并通过G‑PointNet得到全局特征进行分类，获取得到分类结果。本发明有效解决了点云密集程度分布不均匀问题，保留了空间几何信息，能高效的区分点云的边缘点同时分离噪声点，提高分类精度。

Description

基于傅立叶变换的谱域图卷积3D点云分类方法

技术领域

本发明涉及基于傅立叶变换的谱域图卷积3D点云分类方法，属于遥感图像处理的技术领域。

背景技术

随着图像处理技术百家争鸣，基于二维图像的分类方法层出不穷，取得不小的成就。但基于三维数据的深度学习处理方法，效果远不及二维图像分类效果。三维数据通常以深度图像、体素、网格和点云表示。相对于通过RGB-D相机或主流传感器获取三维数据而言，激光雷达获取的三维点云能提供更可靠的深度及三维物体的轮廓信息，近年来逐渐应用于三维物体分类。

在之前的工作中，计算机视觉研究者大多借鉴CNN在图像处理中的成功，用于点云分类，利用三维物体提取二维特征，或从物体不同“视角”得到多个二维视角图，将三维物体投影到多个视图中，提取相应的视图特征，然后融合这些特征进行精确的物体识别。然而，这类方法都是从2D图像推导3D物体形状，舍弃了3D点云固有的空间结构，丢失了大量的空间结构信息，并且过度的消耗内存使用。考虑到2D多视角的缺陷，研究者尝试对3D点云体素化。然而，体素构造不能建立完整的边缘信息，这使得这类方法很难捕获高细粒度。

因此，目前点云分类任务中普遍存在几个问题。首先，图像卷积能够确定卷积核的尺寸来定义图像中的局部区域，不同于图像中排列规则的网格结构，点云是三维空间里分散的点的集合，点云在空间中连续分布，它们的排列顺序并不会改变空间分布，因此，并不能利用传统深度神经网络对点云直接进行卷积。其次，空间中点云分布的密集程度不均匀也为分类问题带来了极大的挑战。

发明内容

为了克服现有技术的不足，有效解决传统3D点云分类方法受到点云空间关系和分布不均匀影响的问题，本发明提供一种基于傅立叶变换的谱域图卷积3D点云分类方法，在不改变点云空间信息的前提下，提出新的表现形式-图，图结构有效的解决了大多点云深度学习模型中点与点邻接关系问题，保留了空间几何信息，图非常适用于排列不规则的非欧式数据；深度学习在谱域缺乏许多研究工作，该模型首次在3D点云框架中结合谱域图卷积的方法，谱域卷积有着扎实的数学理论基础，图卷积更加注重点之间的邻接关系；本发明的G-PointNet在特征点获取及局部区域划分方面作出较大改进，提出几何采样预处理并设计一种动态性的K近邻图构造方法Dynamic KNN，有效解决了点云密集程度分布不均匀的问题。

本发明具体采用以下技术方案解决上述技术问题：

基于傅立叶变换的谱域图卷积3D点云分类方法，包括以下步骤：

利用G-PointNet网络模型对输入的原始点云进行几何采样处理：通过设置一个角度阈值V，将点的邻域夹角值大于角度阈值V的点划分至几何特征区域G且将剩余的点划分至其它区域T，对两个区域内的点云分别进行均匀采样获得各区域几何采样后的点云；

将各区域几何采样后的点云构建一个无向图，基于Dynamic KNN局部图构造方法引入一个扩张率E，选择性地每隔E个近邻点云建立一个局部几何图，以得到多个局部几何图；

利用基于傅立叶变换的谱域图卷积方法对各局部几何图进行谱域图卷积，获得多个池化后的图局部特征并通过G-PointNet网络模型得到全局特征进行分类，获取得到分类结果。

进一步地，作为本发明的一种优选技术方案，所述方法利用基于傅立叶变换的谱域图卷积方法对各局部几何图进行谱域图卷积，具体为：

输入一个局部几何图G＝(V，ε)，其中V，ε分别表示相应的节点集与边集，μ，ν∈V表示图中的节点，(μ,ν)∈ε表示图中的边；

定义局部几何图的拉普拉斯矩阵L＝D-A，其中，A表示图的邻接矩阵，其内元素A_i,j＝A_j,i，用于表示图中节点的连接情况的矩阵；D表示图的度矩阵，其内元素D_i,i＝∑_jA_i,j，节点的度表示与该节点相连的边的数量；

归一化得到拉普拉斯矩阵，表示为其中I_n是单位矩阵，并进行特征分解为一组拉普拉斯特征向量U＝(u₁,u₂,...u_n)；

将分解的拉普拉斯矩阵特征向量作为一组基，则将局部几何图作为输入x并进行傅里叶变换为T为矩阵的转置；获取卷积核h_θ(Λ)的傅里叶变换对角矩阵形式，以得到谱域中的傅里叶变换卷积，再将傅里叶变换卷积进行逆变换，最终得到谱域图卷积输出。

进一步地，作为本发明的一种优选技术方案，所述方法得到的谱域图卷积输出公式为：

y＝σ(Uh_θ(Λ)U^Tx)

其中，y为谱域图卷积的输出；x为输入的局部几何图，σ()为激活函数relu。

本发明采用上述技术方案，能产生如下技术效果：

本发明的基于傅立叶变换的谱域图卷积3D点云分类方法，由PointNet的深度网络模型和基于傅里叶变换的谱域图卷积运算结合获得本方法的G-PointNet网络模型。G-PointNet保留了PointNet中的空间变换网络T-Net，如果点云经过一些特定的集合变换，如刚性变换，这些点云的语义标签必须是不变的。因此学习到的点集的表示对这些变换而言也是不变的。解决方案是在进行特征提取之前将所有的输入集合调整到一个规范空间。通过采样和插值来对齐三维空间，并专门设计网络层在GPU上实现。

预处理阶段对原始点云进行几何采样处理。受空洞卷积的启发，本发明提出一种图构造方法Dynamic KNN(D-KNN)，构造多个局部几何图结构作为图卷积输入，通过傅里叶变换映射到谱域作卷积运算，并通过傅里叶逆变换返回到空域，最终将多个池化后的图局部特征通过PointNet得到全局特征进行分类。过程可以分为三个部分：几何采样，DynamicKNN局部图构造，基于傅立叶变换的谱域图卷积。分别具有如下优点：

1.几何采样：几何采样的优势非常显著。在点云几何特征越明显的区域，采样的点云个数分布越多，边缘特征非常明显，计算效率高，并且采样结果的抗噪声能力更强。

2.Dynamic KNN局部图构造：Dynamic KNN是一种动态的选择K近邻域的构图方法，启发来源于空洞卷积，在二维图像任务上，空洞卷积通过引入了一个称为“扩张率(dilation rate)”的超参数，在不改变图像输出尺寸的前提下，有效的增大感受野。Dynamic KNN对KNN算法引入一个扩张率E，可以根据点云密集程度选择扩张率大小。

3.基于傅立叶变换的谱域图卷积：将基于傅立叶变换的谱域图卷积网络作为点云特征提取网络，谱域图卷积在点云分类任务上的优势也十分明显。相对于空域卷积在端到端的深度学习任务中，无法用数学理论去解释，傅立叶变换有扎实的理论基础来解释其可行性。其次，点云中边缘变化较大的点与噪声点通常视为高频信号，傅里叶变换能区分高频与低频信号，针对分类任务，傅里叶变换能高效的区分点云的边缘点，同时分离噪声点，这对于分类任务至关重要。

附图说明

图1为本发明方法的原理示意图。

图2为本发明方法中几何采样处理示意图。

图3为本发明中Dynamic KNN局部图构造示意图。

具体实施方式

下面结合说明书附图对本发明的实施方式进行描述。

如图1所示，本发明设计了一种基于傅立叶变换的谱域图卷积3D点云分类方法，过程可以分为三个部分：几何采样、Dynamic KNN局部图构造、基于傅立叶变换的谱域图卷积，具体包括以下步骤：

步骤1、利用G-PointNet网络模型对输入的原始点云进行几何采样处理。具体如下：

首先，在PointNet深度网络模型和基于傅里叶变换的谱域图卷积运算启发下获取本发明的G-PointNet网络模型。G-PointNet网络模型保留了PointNet中的空间变换网络T-Net。G-PointNet网络模型直接使用点云作为输入，点云是三维空间中连续的点的集合，表示为三维空间坐标(x,y,z)坐标，有时还附加额外的特征例如颜色，激光反射强度等。除特别说明，G-PointNet只使用三维坐标(x,y,z)作为点特征。

点云的特性意味着不能使用图像处理中的深度模型直接卷积，点云具有3个特性：

1.点集无序。图像中的任意两个像素交换位置，图像都会因此改变，不同于二维图像，点云没有特定的排列顺序，即空间中任意点的排列顺序变换，都不会影响点云的形状改变。

2.点之间的相互关系。每个点都有三维坐标(x,y,z)，这表示每个点都具有代表其形状的空间信息，每个点都不是独立存在的，相邻的局部点集都可能代表着有意义的空间信息。因此，模型需要能够从附近的点捕获局部结构，以及局部结构之间的组合相互作用。

3.置换不变。点云是三维数据，这代表着任何旋转或平移操作，都不应该影响最终的点云分类效果。

本发明方法的G-PointNet网络模型在预处理阶段对原始点云进行几何采样处理，保留了PointNet中的空间变换网络T-Net，T-Net网络可以将点云调整到一个适合点云分类的位置。

如图2所示，为本发明方法的几何采样处理示意图。本方法选择几何采样对点云数据处理。传统点云分类模型，例如PointNet等采用Farthest Point Sampling算法，随机选一个初始点，选择离初始点距离最远的点加入起点，然后继续迭代，直到迭代出需要的个数为止。Farthest Point Sampling采样每次采样一个点，都要计算集合到集合之间的距离，算法时间复杂度较高，且得到的采样点边缘特征不明显。相对比，几何采样优势十分明显。本发明几何采样处理过程如下：

假设输入点云个数C，目标采样个数S,均匀采样率U，设置一个角度阈值V，点的邻域夹角值大于这个角度阈值V的点，被划分放入几何特征区域G，剩余的点划分至其它区域T；这样点云就分成了两部分，几何特征区域G和其它区域T，对两个区域G、T内的点云分别进行均匀采样，获得各区域几何采样后的点云。

几何采样能够在点云曲率较大的地方获取更多的点云个数，然而，计算点云曲率非常耗时，大大增加工作难度，因此使用一种简单的方法近似达到曲率的效果：在局部点云图结构里计算特征点到邻域点的法线夹角值，法线夹角值越大，则曲率值越大。图2中c1,c2,c3分别为3个点云点，α表示法线夹角值，c1的曲率效果用c2，c3边的法线夹角值代替，两者呈正相关关系。

步骤2、将各区域几何采样后的点云构建一个无向图，基于Dynamic KNN局部图构造方法引入一个扩张率E，选择性地每隔E个近邻点云建立一个局部几何图，以得到多个局部几何图，具体如下：

如图3所示，为局部图构造方法Dynamic KNN的示意图。点云的感受域是指包括中心节点及其邻居在内的一组点云节点，然而，点云分布的不均匀性导致某些节点可能只有一个邻居，而其他节点的邻居可能多达数千个。

本发明的局部图构造方法Dynamic KNN对KNN算法引入一个扩张率E，可以根据点云密集程度选择扩张率大小。Dynamic KNN设置两个阈值点M,N，其中M<N。M，N均为目标点云个数，设几何采样后的点云个数为X，扩张率为E。

给定一个无向图G＝(ν，ε)，来表示点云的图结构，其中ν＝{1,...,n}，边ε∈v×v，Dynamic KNN的思想是根据点云稀疏程度，选择性的每隔E个近邻点云建立一个局部几何图，多次选择后建立得到多个局部几何图。当点云比较稀疏时，采用E＝1，即传统的KNN近邻思想。当点云较稠密时，每近邻E个点实现点的连接，建立局部几何图结构作为图卷积输入，送入谱域作图卷积。Dynamic KNN有效的解决了稠密点云中节点重合度过高的问题，同时降低了计算复杂度。

步骤3、利用基于傅立叶变换的谱域图卷积方法对各局部几何图进行谱域图卷积，获得多个池化后的图局部特征并通过PointNet网络模型得到全局特征进行分类，获取得到分类结果。即通过局部图构造方法Dynamic KNN将构造的多个局部几何图分别作为图卷积输入x，通过傅里叶变换映射到谱域作卷积运算，并通过傅里叶逆变换返回到空域，最终将多个池化后的图局部特征通过PointNet网络模型得到全局特征进行分类，具体过程如下：

首先，输入一个局部几何图G＝(V，ε)，表示一个无向图，V，ε分别表示相应的节点集与边集，μ，ν∈V表示图中的节点，(μ,ν)∈ε表示图中的边；

其次，定义局部几何图G的拉普拉斯矩阵L＝D-A，其中，A表示图的邻接矩阵(adjacency matrix)，其内元素A_i,j＝A_j,i，i和j分别表示元素位于矩阵的行数和列数，用于表示图中节点的连接情况的矩阵；对于有N个节点的无向图来说，邻接矩阵是一个N×N的实对称矩阵。D表示图的度矩阵(degree matrix)，其内元素D_i,i＝∑_jA_i,j，节点的度表示与该节点相连的边的数量。L表示图的拉普拉斯矩阵，该矩阵可以是二值的，也可以是带权重的。

然后，归一化得到拉普拉斯矩阵，可表示为其中I_n是单位矩阵，由于拉普拉斯矩阵是对称矩阵，可以进行特征分解为一组拉普拉斯特征向量U＝(u₁,u₂,...u_n)；该拉普拉斯特征向量与较大特征值相关联的特征向量代表携带变化快的信号，视为高频信号；与较小的特征值相关联的特征向量携带较慢变化的信号，视为低频信号。点云分类任务中，寻找物体的边缘信息可以看做为区分高频与低频信号。

其次，将分解的拉普拉斯矩阵特征向量作为一组基，则将局部几何图作为输入x并进行的傅里叶变换为T为矩阵的转置；傅里叶逆变换为/>把传统的傅里叶变换以及卷积迁移到图卷积上，核心工作就是把拉普拉斯算子的特征函数,变为局部几何图G对应的拉普拉斯矩阵的特征向量。即获取卷积核h_θ(Λ)的傅里叶变换对角矩阵形式，以得到谱域中的傅里叶变换卷积，再将傅里叶变换卷积进行逆变换，最终得到谱域图卷积输出，其推导过程如下：

①将输入视为f，则f的傅里叶变换为

②卷积核h_θ(Λ)的傅里叶变换对角矩阵形式：其中，θ为核，λ为特征向量，/>u_l为特征向量。

③则得到谱域中的傅里叶卷积：

④傅里叶变换乘积的逆变换为

⑤则最终的谱域图卷积公式为：

y＝σ(Uh_θ(Λ)U^Tx)

其中，y为谱域图卷积的输出；x为输入的局部几何图，σ()为激活函数relu。

最后，根据谱域图卷积的输出y得到多个池化后的图局部特征，再通过PointNet网络模型得到全局特征进行分类，获取最终的分类结果。

因此，本发明方法能够在特征点获取及局部区域划分方面作出较大改进，提出几何采样预处理并设计一种动态性的局部图构造方法Dynamic KNN，有效解决了点云密集程度分布不均匀的问题。在不改变点云空间信息的前提下，提出新的表现形式-图，图结构有效的解决了大多点云深度学习模型中点与点邻接关系问题，保留了空间几何信息，通过引入了一个称为“扩张率”的超参数，在不改变图像输出尺寸的前提下，有效的增大感受野。基于傅立叶变换的谱域图卷积网络作为点云特征提取网络，针对分类任务，傅里叶变换能高效的区分点云的边缘点，同时分离噪声点，提高分类精度，使得谱域图卷积在点云分类任务上的优势十分明显。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (2)

1.基于傅立叶变换的谱域图卷积3D点云分类方法，其特征在于，包括以下步骤：

利用G-PointNet网络模型对输入的原始点云进行几何采样处理：通过设置一个角度阈值V，将点的邻域夹角值大于角度阈值V的点划分至几何特征区域G且将剩余的点划分至其它区域T，对两个区域内的点云分别进行均匀采样获得各区域几何采样后的点云；

将各区域几何采样后的点云构建一个无向图，基于Dynamic KNN局部图构造方法引入一个扩张率E，选择性地每隔E个近邻点云建立一个局部几何图，以得到多个局部几何图；

利用基于傅立叶变换的谱域图卷积方法对各局部几何图进行谱域图卷积，获得多个池化后的图局部特征并通过G-PointNet网络模型得到全局特征进行分类，获取得到分类结果；

其中，所述利用基于傅立叶变换的谱域图卷积方法对各局部几何图进行谱域图卷积，具体为：

输入一个局部几何图G＝(V，ε)，其中V，ε分别表示相应的节点集与边集，μ，ν∈V表示图中的节点，(μ,ν)∈ε表示图中的边；

定义局部几何图的拉普拉斯矩阵L＝D-A，其中，A表示图的邻接矩阵，其内元素A_i,j＝A_j,i，用于表示图中节点的连接情况的矩阵；D表示图的度矩阵，其内元素D_i,i＝∑_jA_i,j，节点的度表示与该节点相连的边的数量；

归一化得到拉普拉斯矩阵，表示为其中I_n是单位矩阵，并进行特征分解为一组拉普拉斯特征向量U＝(u₁,u₂,...u_n)；

将分解的拉普拉斯矩阵特征向量作为一组基，则将局部几何图作为输入x并进行傅里叶变换为T为矩阵的转置；获取卷积核h_θ(Λ)的傅里叶变换对角矩阵形式，以得到谱域中的傅里叶变换卷积，再将傅里叶变换卷积进行逆变换，最终得到谱域图卷积输出。

2.根据权利要求1所述基于傅立叶变换的谱域图卷积3D点云分类方法，其特征在于，所述方法得到的谱域图卷积输出公式为：

y＝σ(Uh_θ(Λ)U^Tx)

其中，y为谱域图卷积的输出；x为输入的局部几何图，σ()为激活函数relu。