CN117372617A - 一种基于GCN-Transformer模型的点云数据重建方法及电子设备 - Google Patents

一种基于GCN-Transformer模型的点云数据重建方法及电子设备 Download PDF

Info

Publication number
CN117372617A
CN117372617A CN202311351153.6A CN202311351153A CN117372617A CN 117372617 A CN117372617 A CN 117372617A CN 202311351153 A CN202311351153 A CN 202311351153A CN 117372617 A CN117372617 A CN 117372617A
Authority
CN
China
Prior art keywords
point cloud
cloud data
gcn
matrix
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311351153.6A
Other languages
English (en)
Inventor
谢榕昌
黄伟杰
陈科
卢冠良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Yangjiang Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Yangjiang Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Yangjiang Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202311351153.6A priority Critical patent/CN117372617A/zh
Publication of CN117372617A publication Critical patent/CN117372617A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于GCN‑Transformer模型的点云数据重建方法及电子设备，属于点云数据处理技术领域，包括：获取点云数据集；构建GCN‑Transformer模型，并采用所述点云数据集对所述GCN‑Transformer模型进行优化训练；将待处理的点云数据输入训练好的GCN‑Transformer模型中，完成所述待处理的点云数据的重建。利用GCN编码器和Transformer解码器结构相结合，利用了GCN网络对图形的节点特征提取和Transformer的自注意力机制对点云数据的编码，实现了点云数据的高效特征提取和重建。

Description

一种基于GCN-Transformer模型的点云数据重建方法及电子 设备
技术领域
本发明涉及点云数据处理技术领域，特别涉及一种基于GCN-Transformer模型的点云数据重建方法及电子设备。
背景技术
近年来，点云数据在计算机视觉、自动驾驶和机器人等领域得到了广泛应用。点云数据的分割和重建是点云处理中的重要任务，传统方法往往需要手动标注数据和设计特征提取算法，效率低下。近年来，基于深度学习的方法逐渐成为了点云数据处理领域的主流，其中，Transformer模型最初是用于自然语言处理领域的，特别是在进行文本生成、语言翻译、情感分析等任务中。GCN模型主要应用于图数据分析领域，如社交网络分析、药物发现等任务。GCN模型可以对图数据进行嵌入学习，从而实现节点的特征提取、分类、聚类等任务。与传统的图分析方法相比，GCN模型可以自动学习节点之间的关系，并对节点进行非线性嵌入，从而提高了图数据的表达能力和预测精度。
发明内容
本发明的目的在于克服现有技术中所存在的传统的点云数据分割和重建方法往往需要手动标注数据和设计特征提取算法，效率低下的不足，提供一种基于GCN-Transformer模型的点云数据重建方法及电子设备。
为了实现上述发明目的，本发明提供了以下技术方案：
一种基于GCN-Transformer模型的点云数据重建方法，包括以下步骤：
S1：获取点云数据集；
S2：构建GCN-Transformer模型，并采用所述点云数据集对所述GCN-Transformer模型进行优化训练；
所述GCN-Transformer模型包括GCN层、GCN编码器和Transformer解码器；
所述GCN层用于对所述点云数据集中的点云数据进行预处理，建立点云数据的邻接矩阵；
所述GCN编码器用于根据所述邻接矩阵提取节点特征，并输出节点特征矩阵；
所述Transformer解码器用于根据所述节点特征矩阵，使用自注意力机制对所述点云数据进行编码，对编码后的点云数据进行特征向量的提取，并根据所述特征向量进行点云数据的重建；
S3：将待处理的点云数据输入训练好的GCN-Transformer模型中，完成所述待处理的点云数据的重建。
采用上述技术方案，利用GCN编码器和Transformer解码器结构相结合，利用了GCN网络对图形的节点特征提取和Transformer的自注意力机制对点云数据的编码，实现了点云数据的高效特征提取和重建。
作为本发明的优选方案，所述GCN编码器由多个图卷积层组成；
所述Transformer解码器包括多个Transfomer模块组成，所述Transformer模块包括依次连接的：前馈网络层、多头注意力层、前馈网络层、残差模块。
作为本发明的优选方案，步骤S2中所述的所述GCN层用于对所述点云数据集中的点云数据进行预处理，建立点云数据的邻接矩阵包括：所述点云数据被视为一个无向图结构，其中每个点表示一个节点，两个节点之间的距离连接关系或邻近关系表示边，所述GCN层利用所述无向图结构和节点之间的边来处理所述点云数据，使用邻接矩阵来表示所述点云数据的结构，所述邻接矩阵的每个元素都表示两个点之间是否存在边。
作为本发明的优选方案，步骤S2中所述的所述GCN编码器用于根据所述邻接矩阵提取节点特征，并输出节点特征矩阵包括：
根据所述邻接矩阵构建图形的拉普拉斯矩阵，所述拉普拉斯矩阵的计算公式为：
L＝D-A
其中，D为度矩阵，A为邻接矩阵，表示节点之间的连接情况；
将所述点云数据的坐标作为节点特征，将所述拉普拉斯矩阵和所述节点特征作为所述GCN编码器的输入，每个所述图卷积层将所述节点特征和所述拉普拉斯矩阵的特征进行聚合，生成新的节点特征，节点特征矩阵的表达式为：
H＝GCN(X,A)
其中，H为节点特征矩阵，GCN函数利用邻接矩阵对节点特征进行编码。
作为本发明的优选方案，所述GCN函数包含多个图卷积层，所述图卷积层用于对接点特征进行卷积操作，从邻居节点中聚合信息，并更新节点的特征，所述图卷积层的函数表达式为：
其中，H(l)表示第l层的节点特征矩阵，H(l+1)表示第(l+1)层的几点特征矩阵，I为恒定矩阵，/>为度矩阵，σ为激活矩阵，W(l)为当前图卷积层的权重参数。
作为本发明的优选方案，步骤S2所述的使用自注意力机制对所述点云数据进行编码，自注意力公式为：
其中，H为节点特征矩阵，Wq、Wk、Wv均为可学习的参数矩阵，dk为特征维度。
作为本发明的优选方案，步骤S2所述的对编码后的点云数据进行特征向量的提取，所述特征向量的计算公式为：
Y(m+1)＝ReLU(Y(m)W(m))
其中，Y(m)为第m层的特征向量，Y(m+1)为提取的特征向量，W(m)为第m层的权重矩阵。
作为本发明的优选方案，步骤S2所述的根据所述特征向量进行点云数据的重建包括：使用线性激活函数或者tanh激活函数将所述特特征向量映射为点的坐标，从而完成点云数据的重建；
线性激活函数的表达式为：
Tanh激活函数的表达式为：
其中，为重建的点云数据。
作为本发明的优选方案，所述GCN-Transformer模型中的损失函数包括：
用于衡量两个点云之间的双向距离，即一个点到另一个点云中最近的点的距离的CD损失函数：
其中，N为点云数据中的点的数量，xi为原始点云数据中的第i个点的三维坐标，yi为重建点云数据中的第i个点的三维坐标，；
用于衡量将一个点云变换为另一个点云所需的最小代价，即每个点到其对应点的距离的EMD损失函数：
其中，φ为一个双射函数，将原始点云数据中的每个点映射到重建点云数据中的一个对应点；
用于点云数据分割任务的分割损失函数：
其中，ti为第i个点的真实标签，pi为第i个点的预测概率；
用于控制重建和分割任务之间的平衡的总损失函数：
L＝αLCD+βLSeg
其中，α和β表示超参数。
另一方面，公开了一种电子设备，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述的基于GCN-Transformer模型的点云数据重建方法。
与现有技术相比，本发明的有益效果在于：利用GCN编码器和Transformer解码器结构相结合，利用了GCN网络对图形的节点特征提取和Transformer的自注意力机制对点云数据的编码，实现了点云数据的高效特征提取和重建。
附图说明
图1和图2为本发明实施例1所述的一种基于GCN-Transformer模型的点云数据重建方法的流程图；
图3为本发明实施例1所述的一种基于GCN-Transformer模型的点云数据重建方法的GCN-Transformer模型的部件构成图；
图4为本发明实施例1所述的一种基于GCN-Transformer模型的点云数据重建方法的GCN编码器结构图；
图5为本发明实施例1所述的一种基于GCN-Transformer模型的点云数据重建方法的Transformer解码器结构图；
图6为本发明实施例2所述的一种电子设备的结构框图。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
一种基于GCN-Transformer模型的点云数据重建方法，如图1和2所示，包括以下步骤：
S1：获取点云数据集；
S2：构建GCN-Transformer模型，并采用所述点云数据集对所述GCN-Transformer模型进行优化训练；
如图3所示，所述GCN-Transformer模型包括GCN层、GCN编码器和Transformer解码器；
GCN编码器可以很好地利用图像的拓扑结构，对点云数据的节点特征进行编码，提取其局部和全局特征，而Transformer解码器则可以很好地利用自注意力机制，对点云数据的全局特征进行学习，从而实现点云数据的重建任务。因此，这种结合的方式能够更好地利用GCN和Transformer的优势，提高点云数据的处理效果。
GCN编码器和Transformer解码器组成的整体结构是一个端到端的模型，可以直接使用点云数据作为输入，不需要任何预处理。该模型的输入是一个点云数据的邻接矩阵和节点特征矩阵，输出是重建后的点云数据。在训练过程中，模型使用重建损失来优化模型参数，以最小化重建误差。在测试阶段，模型可以应用于点云数据的各种任务，例如分类、分割、重建和生成等。
所述GCN层用于对所述点云数据集中的点云数据进行预处理，建立点云数据的邻接矩阵；
具体的，所述点云数据被视为一个无向图结构，其中每个点表示一个节点，两个节点之间的距离连接关系或邻近关系表示边，所述GCN层利用所述无向图结构和节点之间的边来处理所述点云数据，使用邻接矩阵来表示所述点云数据的结构，所述邻接矩阵的每个元素都表示两个点之间是否存在边。
具体的，所述GCN层是GCN-Transformer模型的重要组成部分。GCN层在图上应用卷积操作，能够从图中节点和边中提取有意义的特征。GCN层的输入包括由邻接矩阵和特征矩阵表示的图，以及图中每个节点的输入信号(即特征向量)。邻接矩阵表示图中节点之间的连接，而特征矩阵表示与每个节点相关联的特征。GCN层首先对输入信号和邻接矩阵应用图卷积操作，以产生图中每个节点的新特征表示。这个操作涉及计算节点及其邻居的输入信号的加权和，其中权重由邻接矩阵中的相应条目确定。在图卷积操作之后，GCN层对新特征表示应用非线性激活函数(例如ReLU)。这一步引入了非线性因素，使模型能够捕捉更复杂的节点关系。
例如，距离关系表示边：通常根据实际需要设置一个阈值距离，如果两个点之间的实际距离小于所述阈值，则它们之间就被视为有一条边连接。
邻近关系表示边：邻近关系通常不仅仅基于距离，还可能考虑点周围的局部邻域，如果两个点在局部邻域内，它们之间也被认为有连接。这种方式更多地关注点的局部结构。
一般选择欧氏距离或曼哈顿距离。
点云数据通常是稀疏的，只包含少量有限的点。处理稀疏数据通过GCN层来处理点云数据，，以保留有用的信息并减小计算复杂性。
所述GCN编码器用于根据所述邻接矩阵提取节点特征，并输出节点特征矩阵；
如图4所示，所述GCN编码器由多个图卷积层组成，其中，每个图卷积层将节点特征进行卷积并通过池化层降维，这些卷积层将点云数据的节点特征不断地进行处理和提取，最终生成全局特征，对图形进行GCN编码，提取图形中节点之间的关系，具体包括：使用多层图卷积层网络对图形进行编辑；对GCN编码后的特征向量进行池化层降维处理，以减小特征向量的维度，提高训练效率。
将点云数据表示为N维矩阵，其中每行表示一个点的坐标。例如，对于一个具有M个点的点云数据，可以表示为NxM的矩阵，其中每个元素表示一个点的坐标。
根据点云数据构建邻接矩阵A，可以使用k最近邻算法或半径最近邻算法来构建邻接矩阵。具体而言，对于每个点，将其k个或距离在一定范围内的邻居视为其邻接点，将邻接点的权重设置为1，其余的权重设置为0，邻接矩阵的大小为MxM。
根据邻接矩阵构建图形的拉普拉斯矩阵L。拉普拉斯矩阵可以使用公式L＝D-A来计算，其中D是度矩阵，A是邻接矩阵。具体而言，度矩阵D是一个对角矩阵，其对角线元素为每个节点的度数，即每个节点的邻居数。邻接矩阵A表示节点之间的连接情况，其元素表示节点i和节点j之间是否有连接。拉普拉斯矩阵L表示了节点之间的关系，其中对角线元素表示每个节点的度数，非对角线元素表示节点之间的连接强度。
将点云数据的坐标作为节点特征，并将拉普拉斯矩阵L和节点特征输入GCN模型中进行编码。GCN编码器由多个图卷积层组成，每个图卷积层将节点特征和邻居节点的特征进行聚合，生成新的节点特征。
使用池化层进行降维：对GCN编码器的输出进行池化操作，以减小特征向量的维度，提高训练效率。
具体的，根据所述邻接矩阵构建图形的拉普拉斯矩阵，所述拉普拉斯矩阵的计算公式为：
L＝D-A
其中，D为度矩阵，A为邻接矩阵，表示节点之间的连接情况；
将所述点云数据的坐标作为节点特征，将所述拉普拉斯矩阵和所述节点特征作为所述GCN编码器的输入，每个所述图卷积层将所述节点特征和所述拉普拉斯矩阵的特征进行聚合，生成新的节点特征，节点特征矩阵的表达式为：
H＝GCN(X,A)
其中，H为节点特征矩阵，GCN函数利用邻接矩阵对节点特征进行编码。
所述GCN函数包含多个图卷积层，所述图卷积层用于对接点特征进行卷积操作，从邻居节点中聚合信息，并更新节点的特征，所述图卷积层的函数表达式为：
其中，H(l)表示第l层的节点特征矩阵，H(l+1)表示第(l+1)层的几点特征矩阵，I为恒定矩阵，/>为度矩阵，σ为激活矩阵，W(l)为当前图卷积层的权重参数。
所述Transformer解码器用于根据所述节点特征矩阵，使用自注意力机制对所述点云数据进行编码，对编码后的点云数据进行特征向量的提取，并根据所述特征向量进行点云数据的重建。
如图5所示，所述Transformer解码器包括多个Transfomer模块组成，所述Transformer模块包括依次连接的：前馈网络层、多头注意力层、前馈网络层、残差模块，这些模块的组合增强了特征的表达能力和提升了训练的效率。在Transfomer解码器中，每个节点特征向量都经过多头自注意力机制，用于学***滑、去噪和上采样等。这些后处理操作有助于优化重建结果，使其更符合实际场景的点云数据特点。
将GCN编码器提取的节点特征作为输入特征向量。节点特征向量的维度为K，其中K是GCN编码器的输出特征维度。
将节点特征向量通过多个全连接层进行映射。每个全连接层由一个线性变换和一个激活函数(通常是ReLU)组成，这些全连接层可以学习到从节点特征向量到输出点云数据之间的复杂映射。
对映射后的特征向量进行位置编码。位置编码是Transformer解码器中的一个重要步骤，用于将序列信息引入到特征向量中，以便解码器能够理解节点特征向量中的顺序信息。
使用Transformer的解码器结构进行解码。解码器由多个Transformer块组成，每个块由多头自注意力机制、前馈网络和残差连接组成。解码器的作用是通过多个Transformer块逐步将编码后的特征向量解码成为点云数据。
最后一层考虑使用线性激活函数或tanh激活函数作为输出层的激活函数输出层以便更好地保持点云数据的原始分布和准确性。
具体的，使用自注意力机制对所述点云数据进行编码，自注意力公式为：
其中，H为节点特征矩阵，Wq、Wk、Wv均为可学习的参数矩阵，dk为特征维度。
对编码后的点云数据进行特征向量的提取，所述特征向量的计算公式为：
Y(m+1)＝ReLU(Y(m)W(m))
其中，Y(m)为第m层的特征向量，Y(m+1)为提取的特征向量，W(m)为第m层的权重矩阵。
使用线性激活函数或者tanh激活函数将所述特特征向量映射为点的坐标，从而完成点云数据的重建；
线性激活函数的表达式为：
Tanh激活函数的表达式为：
其中，为重建的点云数据。
S3：将待处理的点云数据输入训练好的GCN-Transformer模型中，完成所述待处理的点云数据的重建。
利用GCN编码器和Transformer解码器结构相结合，利用了GCN网络对图形的节点特征提取和Transformer的自注意力机制对点云数据的编码，实现了点云数据的高效特征提取和重建。
Transformer模型能够自适应地调整点云数据的形状和大小，使其更具有鲁棒性。而且Transformer模型的解码器可以根据点云数据的特征自动重构点云数据，而不需要手动设置重构参数，使得点云数据处理更加自动化和高效化。综合而言，Transformer模型和GCN模型的结合可以提高点云数据的处理效率和准确性，适用于点云数据的各种任务，例如分类、分割、重建和生成等。
点云数据的独特性在于，它们被表示为N维矩阵，其中每行对应一个点的坐标。对于具有M个点的点云数据，这将形成一个NxM的矩阵，其中每个元素都承载了三维空间中的坐标信息。这种表示方式使得点云数据在数学上更加复杂，具有高度的多样性。
因此，为了处理这种数据，GCN-Transformer模型充分考虑到了点云的三维性质，实现了点云的高效特征提取和重建，进一步凸显了其创新性和实际价值。
点云数据的主要特征是它们在三维空间中的位置。这意味着点云数据的处理需要考虑到距离、空间关系和方向，而不仅仅是像素值。这在某种程度上使点云数据的处理与传统的二维图像处理不同。
因此，GCN-Transformer模型在处理点云数据时并不是完全相同于图像处理，而是根据点云数据的特殊性和应用需求进行了调整和优化。尤其是在点云数据的三维空间关系和稀疏性方面，GCN-Transformer模型提供了更高效的解决方案，这使其在点云数据处理领域具有价值。
所述GCN-Transformer模型中的损失函数包括：
用于衡量两个点云之间的双向距离，即一个点到另一个点云中最近的点的距离的CD损失函数：
其中，N为点云数据中的点的数量，xi为原始点云数据中的第i个点的三维坐标，yi为重建点云数据中的第i个点的三维坐标，；
用于衡量将一个点云变换为另一个点云所需的最小代价，即每个点到其对应点的距离的EMD损失函数：
其中，φ为一个双射函数，将原始点云数据中的每个点映射到重建点云数据中的一个对应点；
用于点云数据分割任务的分割损失函数：
其中，ti为第i个点的真实标签，pi为第i个点的预测概率；
用于控制重建和分割任务之间的平衡的总损失函数：
L＝αLCD+βLSeg
其中，α和β表示超参数。
设计了CD损失函数、EMD损失函数和用于点云数据分割任务的分割损失函数。这些损失函数的设计有助于在点云数据重建过程中考虑不同的影响因素，如点云之间的距离、点云之间的对应关系和点云的分割，从而实现点云数据高效，精准的重建。
将GCN编码器和Transformer解码器的结构同时纳入训练中，利用GCN网络提取图形的节点特征，再将节点特征输入Transformer解码器中，使用自注意力机制对点云数据进行编码，提取关键特征和信息，实现了对点云数据的高效特征提取和重建。同时，本发明利用邻接矩阵建立点云数据的图形结构，实现了点云数据的高效表示和处理。
本发明能够有效地解决点云数据处理中的一些问题，例如数据量大、复杂度高、准确度不足等，具有很高的实用价值；采用了基于transform模型的点云分割算法和物体重建算法，具有较高的准确度和可靠性；能够用于相关领域的技术研究和开发中，具有一定的经济和社会价值。
同时，通过将GCN编码和Transformer解码器结构相结合，该方法在点云数据处理中具有明显的创新性。它能够有效地解决点云数据处理中的一些问题，例如数据量大、复杂度高、准确度不足等，并为相关领域的技术研究和开发提供了新的思路和方法。因此本发明具有通用性，适用于多个应用场景。它可以广泛应用于电力工程设计、计算机视觉、自动驾驶、机器人等各个领域。在电力工程设计中，该方法可以用于从激光扫描数据中重建输电线路等设施，为电力工程规划和设计提供便利。在计算机视觉领域，该方法可以应用于点云数据的目标检测和物体识别等任务，提高计算机视觉***的准确性和效率。在自动驾驶和机器人领域，该方法可以用于感知环境并进行场景分析，实现智能驾驶和自主导航。
本发明的GCN-Transformer模型具有独特的数据稀疏性处理能力。点云数据常常具有高度的数据稀疏性，即大多数区域都是空的，只有少数点包含有用信息。GCN-Transformer模型通过在图卷积层中巧妙地处理稀疏数据，实现了对数据中有用信息的高效提取。模型会自动识别和关注重要的点，而忽略掉空白区域，从而提高了处理稀疏点云数据的效率和准确性。
此外，GCN-Transformer模型充分考虑点云数据中的空间关系。点云数据是三维数据，节点之间的空间关系至关重要。模型的图卷积层以及Transformer解码器利用自注意力机制，能够捕捉到点云数据中节点之间的复杂空间关系。这使得模型不仅能够提取节点特征，还能够了解节点在三维空间中的位置和相互作用。
实施例2
如图6所示，一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器，以及与所述至少一个处理器通讯连接的至少一个输入输出接口；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述实施例所述的一种方法。所述输入输出接口可以包括显示器、键盘、鼠标、以及USB接口，用于输入输出数据。
本领域技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
当本发明上述集成的单元以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于GCN-Transformer模型的点云数据重建方法，其特征在于，包括以下步骤：
S1：获取点云数据集；
S2：构建GCN-Transformer模型，并采用所述点云数据集对所述GCN-Transformer模型进行优化训练；
所述GCN-Transformer模型包括GCN层、GCN编码器和Transformer解码器；
所述GCN层用于对所述点云数据集中的点云数据进行预处理，建立点云数据的邻接矩阵；
所述GCN编码器用于根据所述邻接矩阵提取节点特征，并输出节点特征矩阵；
所述Transformer解码器用于根据所述节点特征矩阵，使用自注意力机制对所述点云数据进行编码，对编码后的点云数据进行特征向量的提取，并根据所述特征向量进行点云数据的重建；
S3：将待处理的点云数据输入训练好的GCN-Transformer模型中，完成所述待处理的点云数据的重建。
2.根据权利要求1所述的一种基于GCN-Transformer模型的点云数据重建方法，其特征在于，所述GCN编码器由多个图卷积层组成；
所述Transformer解码器包括多个Transfomer模块组成，所述Transformer模块包括依次连接的：前馈网络层、多头注意力层、前馈网络层、残差模块。
3.根据权利要求1所述的一种基于GCN-Transformer模型的点云数据重建方法，其特征在于，步骤S2中所述的所述GCN层用于对所述点云数据集中的点云数据进行预处理，建立点云数据的邻接矩阵包括：所述点云数据被视为一个无向图结构，其中每个点表示一个节点，两个节点之间的距离连接关系或邻近关系表示边，所述GCN层利用所述无向图结构和节点之间的边来处理所述点云数据，使用邻接矩阵来表示所述点云数据的结构，所述邻接矩阵的每个元素都表示两个点之间是否存在边。
4.根据权利要求3所述的一种基于GCN-Transformer模型的点云数据重建方法，其特征在于，步骤S2中所述的所述GCN编码器用于根据所述邻接矩阵提取节点特征，并输出节点特征矩阵包括：
根据所述邻接矩阵构建图形的拉普拉斯矩阵，所述拉普拉斯矩阵的计算公式为：
L＝D-A
其中，D为度矩阵，A为邻接矩阵，表示节点之间的连接情况；
将所述点云数据的坐标作为节点特征，将所述拉普拉斯矩阵和所述节点特征作为所述GCN编码器的输入，每个所述图卷积层将所述节点特征和所述拉普拉斯矩阵的特征进行聚合，生成新的节点特征，节点特征矩阵的表达式为：
H＝GCN(X,A)
其中，H为节点特征矩阵，GCN函数利用邻接矩阵对节点特征进行编码。
5.根据权利要求4所述的一种基于GCN-Transformer模型的点云数据重建方法，其特征在于，所述GCN函数包含多个图卷积层，所述图卷积层用于对接点特征进行卷积操作，从邻居节点中聚合信息，并更新节点的特征，所述图卷积层的函数表达式为：
其中，H(l)表示第l层的节点特征矩阵，H(l+1)表示第(l+1)层的几点特征矩阵，I为恒定矩阵，/>为度矩阵，σ为激活矩阵，W(l)为当前图卷积层的权重参数。
6.根据权利要求1所述的一种基于GCN-Transformer模型的点云数据重建方法，其特征在于，步骤S2所述的使用自注意力机制对所述点云数据进行编码，自注意力公式为：
其中，H为节点特征矩阵，Wq、Wk、Wv均为可学习的参数矩阵，dk为特征维度。
7.根据权利要求6所述的一种基于GCN-Transformer模型的点云数据重建方法，其特征在于，步骤S2所述的对编码后的点云数据进行特征向量的提取，所述特征向量的计算公式为：
y(m+1)＝ReLU(Y(m)W(m))
其中，Y(m)为第m层的特征向量，Y(m+1)为提取的特征向量，W(m)为第m层的权重矩阵。
8.根据权利要求7所述的一种基于GCN-Transformer模型的点云数据重建方法，其特征在于，步骤S2所述的根据所述特征向量进行点云数据的重建包括：使用线性激活函数或者tanh激活函数将所述特特征向量映射为点的坐标，从而完成点云数据的重建；
线性激活函数的表达式为：
Tanh激活函数的表达式为：
其中，为重建的点云数据。
9.根据权利要求1所述的一种基于GCN-Transformer模型的点云数据重建方法，其特征在于，所述GCN-Transformer模型中的损失函数包括：
用于衡量两个点云之间的双向距离，即一个点到另一个点云中最近的点的距离的CD损失函数：
其中，N为点云数据中的点的数量，xi为原始点云数据中的第i个点的三维坐标，yi为重建点云数据中的第i个点的三维坐标，；
用于衡量将一个点云变换为另一个点云所需的最小代价，即每个点到其对应点的距离的EMD损失函数：
其中，φ为一个双射函数，将原始点云数据中的每个点映射到重建点云数据中的一个对应点；
用于点云数据分割任务的分割损失函数：
其中，ti为第i个点的真实标签，pi为第i个点的预测概率；
用于控制重建和分割任务之间的平衡的总损失函数：
L＝αLCD+βLSeg
其中，α和β表示超参数。
10.一种电子设备，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至9中任一项所述的基于GCN-Transformer模型的点云数据重建方法。
CN202311351153.6A 2023-10-18 2023-10-18 一种基于GCN-Transformer模型的点云数据重建方法及电子设备 Pending CN117372617A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311351153.6A CN117372617A (zh) 2023-10-18 2023-10-18 一种基于GCN-Transformer模型的点云数据重建方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311351153.6A CN117372617A (zh) 2023-10-18 2023-10-18 一种基于GCN-Transformer模型的点云数据重建方法及电子设备

Publications (1)

Publication Number Publication Date
CN117372617A true CN117372617A (zh) 2024-01-09

Family

ID=89396048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311351153.6A Pending CN117372617A (zh) 2023-10-18 2023-10-18 一种基于GCN-Transformer模型的点云数据重建方法及电子设备

Country Status (1)

Country Link
CN (1) CN117372617A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118038561A (zh) * 2024-04-15 2024-05-14 南京邮电大学 一种基于时空循环架构的3d人体姿态估计方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118038561A (zh) * 2024-04-15 2024-05-14 南京邮电大学 一种基于时空循环架构的3d人体姿态估计方法

Similar Documents

Publication Publication Date Title
US11875268B2 (en) Object recognition with reduced neural network weight precision
CN111079532B (zh) 一种基于文本自编码器的视频内容描述方法
CN112529150B (zh) 一种模型结构、模型训练方法、图像增强方法及设备
CN113191387B (zh) 结合无监督学习与数据自增强的文物碎片点云分类方法
WO2021048607A1 (en) Motion deblurring using neural network architectures
CN112633330A (zh) 点云分割方法、***、介质、计算机设备、终端及应用
CN112257572B (zh) 一种基于自我注意力机制的行为识别方法
CN113012177A (zh) 基于几何特征提取和边缘感知编码的三维点云分割方法
CN116152611B (zh) 一种多级多尺度点云补全方法、***、设备及存储介质
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN113205449A (zh) 表情迁移模型的训练方法及装置、表情迁移方法及装置
CN117372617A (zh) 一种基于GCN-Transformer模型的点云数据重建方法及电子设备
CN114693942A (zh) 一种仪器仪表智能运维的多模态故障理解及辅助标注方法
CN114648535A (zh) 一种基于动态transformer的食品图像分割方法及***
CN116030537B (zh) 基于多分支注意力图卷积的三维人体姿态估计方法
CN115345866A (zh) 一种遥感影像中建筑物提取方法、电子设备及存储介质
CN114140831B (zh) 人体姿态估计方法、装置、电子设备及存储介质
Sun et al. Two-stage deep regression enhanced depth estimation from a single RGB image
CN117651144A (zh) 基于深度学习的建筑物点云压缩方法及***
CN116434343B (zh) 基于高低频双支路的视频动作识别方法
CN114708353B (zh) 图像重建方法、装置、电子设备与存储介质
CN116912296A (zh) 一种基于位置增强注意力机制的点云配准方法
CN115761268A (zh) 一种基于局部纹理增强网络的杆塔关键部件缺陷识别方法
CN114615505A (zh) 基于深度熵编码的点云属性压缩方法、装置和存储介质
CN110659962B (zh) 一种商品信息输出方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination