CN114693873A - 一种基于动态图卷积和注意力机制的点云补全方法 - Google Patents

一种基于动态图卷积和注意力机制的点云补全方法 Download PDF

Info

Publication number
CN114693873A
CN114693873A CN202210315804.5A CN202210315804A CN114693873A CN 114693873 A CN114693873 A CN 114693873A CN 202210315804 A CN202210315804 A CN 202210315804A CN 114693873 A CN114693873 A CN 114693873A
Authority
CN
China
Prior art keywords
point cloud
feature
point
features
graph convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210315804.5A
Other languages
English (en)
Inventor
张振鑫
冷思仪
钟若飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kongwu Technology Information Technology Co ltd
Capital Normal University
Original Assignee
Beijing Kongwu Technology Information Technology Co ltd
Capital Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kongwu Technology Information Technology Co ltd, Capital Normal University filed Critical Beijing Kongwu Technology Information Technology Co ltd
Priority to CN202210315804.5A priority Critical patent/CN114693873A/zh
Publication of CN114693873A publication Critical patent/CN114693873A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明介绍了一种基于动态图卷积和注意力机制的点云补全方法，其包括：步骤S1、使用动态图卷积技术进行特征提取；步骤S2、结合注意力池化方法和最大池化方法的进行特征聚合；步骤S3、局部缺失空间目标特征补全与重建。本申请通过定义点云邻域和更新动态邻域图，然后结合动态邻域图进行点云的更新和密集连接；并使用注意力池化和最大池化结合的多通道方式进行点云的特征聚合，高效完成了缺失点云的补全，最大程度地保留和恢复了输入点云的细节和几何结构；而且本申请提出了一个一阶段模式的网络模型，融合了点云的逐点特征和全局几何特征，在特征空间上对点云进行补全，对特征进行扩张与细化，以此重建完整点云，进而直接输出完整的点云。

Description

一种基于动态图卷积和注意力机制的点云补全方法
技术领域
本发明属于模型构建设计领域，具体涉及一种基于动态图卷积和注意力机制的点云补全方法。
背景技术
在现实场景中，利用激光雷达等3D扫描设备获得的点云，因为传感器分辨率、视角的限制，及物体结构间或物体间遮挡的影响，采集的空间目标点云存在稀疏和缺失等问题，为后续点云更加深层次的应用带来了一定的困难。因此，点云形状补全是解决如何从局部观测点云中恢复完整点云的问题，对于任意给定的具有结构缺失的点云，能够得到对应的形状完整的点云，该任务是许多下游任务的基础，如形状分类、分割等，也是后续应用中不可或缺的一个操作环节。
中国专利CN112614071A公布了一种基于自注意力的多样点云补全方法和装置，涉及计算机三维点云补全和深度学习技术领域，其中，方法包括：获取点云数据，对点云数据进行处理，获取输入点代理序列；对点代理序列进行编码，获取点编码向量，对点编码向量进行解码，获取预测点代理；将预测点代理输入多层感知器，获取预测点中心，并在预测点中心的基础上恢复完整点云数据。由此，将点云处理成为点代理序列，并采用编码器以及解码器来构建点云不同点之间的长程关系实现点云重建。但是其利用逐点的共享多层感知机提取点云的特征，没有充分利用点之间的局部结构信息，在补全任务中，输入点云所具有的缺失性和稀疏性使得获取有用的邻域信息变得困难。
中国专利CN114004871A公布了一种基于点云补全的点云配准方法及***，对源点云和目标点云执行采样，分别提取特征；利用注意机制融合两个点云的特征，使两个点云的语义信息相互补全；提取补全后的点云的高维特征，根据高维特征学习对方点云的位置信息，确定源点云中的每个点在目标点云中的对应点；根据对应点，利用奇异值分解获得当前刚性变换参数，利用当前刚性变化参数实现源点云向目标点云的配准。其不需要对原始点云大量删减，且能够补全缺失的点云信息，实现高效、准确的配准。但是其对于缺失部分的补全结果存在细节模糊、形状扭曲等问题。而且为了补全效果的提升，基于多阶段的网络结构越来越复杂。而点云补全作为一个上游任务，应该致力于设计更加高效的网络结构。
现有的补全网络大多数利用逐点的共享多层感知机制提取点云的特征，没有充分利用点之间的局部结构信息，后来虽然有一些研究利用球查询等方法提取多尺度和多分辨率的点邻域信息，但是这种基于欧式空间的邻域点选取方法对于点的分布与密度十分敏感，在补全任务中，输入点云所具有的缺失性和稀疏性使得获取有用的邻域信息变得困难。而且在特征提取编码器部分，由于仅仅使用最大池化操作也存在一定的信息丢失风险。
发明内容
为解决上述问题，实现充分利用可观测部分点云的先验信息，学习相关结构属性的同时，在保留输入点云细节特征时也能够生成空间物体完整且精细的形状结构，避免仅仅使用最大池化操作导致信息丢失。
为达到上述效果，本发明设计了一种基于动态图卷积和注意力机制的点云补全方法。
一种基于动态图卷积和注意力机制的点云补全方法，其包括：
步骤S1、使用动态图卷积技术进行特征提取；
步骤S2、结合注意力池化方法和最大池化方法的进行特征聚合；
步骤S3、局部缺失空间目标特征补全与重建。
优选地，所述步骤S1中使用动态图卷积技术进行特征提取的方法包括：
步骤S11、定义邻域并更新动态邻域图；
步骤S12、密集连接。
优选地，所述步骤S11中定义邻域并更新动态邻域图的具体方法为使用最近邻算法k-NN在特征空间中构建每个点的局部图，以聚合局部和结构感知的上下文特征；对于点云中的每个点xi，根据它们在特征空间中的接近度，选择k个邻居节点xj＝{x1,x2,…,xk}，结合特征嵌入xi和xj-xi，得到边缘特征eij，可以表示为：
Figure BDA0003569688030000021
其中Ni表示点i的邻域，
Figure BDA0003569688030000022
表示连接操作。
优选地，所述步骤S12中密集连接的具体方法为使用动态图卷积模块，将输入特征转换为具有较小特征维数的新特征嵌入，并通过转换后的特征动态构建邻域图；然后将构建的邻域图的边缘特征传递给共享多层感知机层；为了保留低维层的信息，将每一层的输出作为后续所有层的输入，表示为：
Figure BDA0003569688030000023
其中
Figure BDA0003569688030000031
是第l层点xi的输出特征，
Figure BDA0003569688030000032
是第l-1层点xi的输出特征，hθ(·)表示共享多层感知机层，
Figure BDA0003569688030000033
表示连接操作；最后，我们使用最大池化来获取在每个局部图中具有排列不变性的聚合局部特征；
在子单元之外，每个子单元的输出也通过跳跃连接操作传递给后续每个子单元作为其输入，可以记为：
Figure BDA0003569688030000034
其中Fi表示第i个子单元的输出特征，Ei(·)表示第i个子单元，Fin表示输入特征，
Figure BDA0003569688030000035
表示连接操作。
优选地，所述S2步骤中特征聚合方法为：注意力池化和最大池化结合提取全局特征，并与逐点局部特征Fp聚合生成Fa。
优选地，所述特征聚合为将逐点特征Fp和全局特征聚合作为下一阶段的输入，生成细粒度的形状的同时保留输入点云的原始特征。
优选地，所述注意力池化方法为计算输入特征的每个元素的注意力得分ai：
Figure BDA0003569688030000036
其中FC(·)表示全连接层，
Figure BDA0003569688030000037
表示第i个点的输入特征；
然后将每个元素乘以相应的分数并相加得到聚合特征fout表示为：
Figure BDA0003569688030000038
其中fout表示输出特征，hθ(·)表示共享多层感知机层。
优选地，所述S3步骤中特征补全与重建方法为：使用特征补全模块对特征进行扩展和细化，并以此重建完整点云的坐标。
优选地，所述特征补全模块为层次残差结构。
优选地，所述S3步骤中特征补全与重建方法：
S101、首先通过共享多层感知机得到大小为N×C的特征矩阵L0，C表示特征维度，N表示个数；
S102、然后对变换后的特征矩阵复制r倍以获得新的特征图；
S103、生成r个不同的二维网格，包含m个网格点，然后将其扩展为重复特征的大小，将网格点的坐标与重复特征进行拼接；
S104、通过自注意力机制单元和共享多层感知机得到大小为rN3×C的扩张特征矩阵H0；
S105、对特征H0进行重新塑形，恢复到与L0维度相同的特征矩阵L1，对L1和L0作差，得到残差△L；
S106、将△L再通过S102-S104的步骤获得扩张残差特征H1，最终将H1与H0相加得到扩张特征Hout；
S107、最后通过参数为[C，128，64，3]的共享多层感知机得到大小为rN3×3的完整点云。
本申请的优点和效果如下：
1、本申请在特征空间中定义每个点的邻域，即根据特征图的相似性来寻找邻近点，并且在每一层后动态更新邻域图，进而获取点云结构与内容感知的上下文信息。
2、本申请在使用最大池化的同时，结合了注意力池化，用于关注一些特定的显著结构信息，并提出联合最大池化和注意力池化操作的多通道方式，进而提取点云信息更加丰富的全局几何特征。
3、本申请提出了结合图卷积和注意力机制的轻量级点云补全网络，高效生成局部缺失点云的补全结果，最大程度地保留和恢复了输入点云的细节和几何结构。
4、本申请提出了一个一阶段模式的网络模型，并非使用多步骤的补全策略，能够直接输出完整的点云，与以往的方法相比，我们的方法并非通过直接解码经池化操作压缩后的特征嵌入来生成完整点云，而是融合逐点特征和全局几何特征，在特征空间对点云进行补全，并对特征进行扩张与细化，以此重建完整点云。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，从而可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下以本申请的较佳实施例并配合附图详细说明如后。
根据下文结合附图对本申请具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述及其他目的、优点和特征。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明提供的一种基于动态图卷积和注意力机制的点云补全方法的结合图卷积和注意力机制的深度学习模型架构；
图2为本发明提供的一种基于动态图卷积和注意力机制的点云补全方法的动态图卷积示意图；
图3为本发明提供的一种基于动态图卷积和注意力机制的点云补全方法的特征补全与坐标重建示意图；
图4为本发明提供的一种基于动态图卷积和注意力机制的点云补全方法的效果对比图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本申请的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本申请的范围和精神。另外，为了清楚和简洁，实施例中省略了对已知功能和构造的描述。
应该理解，说明书通篇中提到的“一个实施例”或“本实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“一个实施例”或“本实施例”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
此外，本申请可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身并不指示所讨论各种实施例和/或设置之间的关系。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况，本文中术语“/和”是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况，另外，本文中字符“/”，一般表示前后关联对象是一种“或”关系。
本文中术语“至少一种”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和B的至少一种，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含。
实施例1
本实施例主要介绍一种基于动态图卷积和注意力机制的点云补全方法。整体模型架构图请参考图1，图1为本发明提供的一种基于动态图卷积和注意力机制的点云补全方法的结合图卷积和注意力机制的深度学习模型架构。
一种基于动态图卷积和注意力机制的点云补全方法，其包括：
S1、特征提取；
S2、特征聚合；
S3、特征补全与重建。
进一步的，所述S1步骤中特征提取方法包括：
S21、定义邻域；
S22、更新动态邻域图；
S23、密集连接。
进一步的，所述定义邻域和更新动态邻域图方法具体为使用最近邻算法k-NN在特征空间中构建每个点的局部图，以聚合非局部和结构感知的上下文特征；对于点云中的每个点xi，根据它们在特征空间中的接近度选择k个邻居节点xj＝{x1,x2,…,xk}，结合特征嵌入xi和xj-xi得到边缘特征eij，可以表示为：
Figure BDA0003569688030000061
其中Ni表示点i的邻域，
Figure BDA0003569688030000062
表示连接操作。
进一步的，所述密集连接方法具体为使用动态图卷积模块，具体请参考图2，图2为本发明提供的一种基于动态图卷积和注意力机制的点云补全方法的动态图卷积示意图。
将输入特征转换为具有较小特征维数的新特征嵌入，并通过转换后的特征动态构建邻域图；然后将构建的邻域图的边缘特征传递给共享多层感知机层；为了保留低维层的信息，将每一层的输出作为后续所有层的输入，表示为：
Figure BDA0003569688030000063
其中
Figure BDA0003569688030000071
是第l层点xi的输出特征，
Figure BDA0003569688030000072
是第l-1层点xi的输出特征，hθ(·)表示共享多层感知机层，
Figure BDA0003569688030000073
表示连接操作；最后，我们使用最大池化来获取在每个局部图中具有排列不变性的聚合局部特征；
在子单元之外，每个子单元的输出也通过跳跃连接操作传递给后续每个子单元作为其输入，可以记为：
Figure BDA0003569688030000074
其中Fi表示第i个子单元的输出特征，Ei(·)表示第i个子单元，Fin表示输入特征，
Figure BDA0003569688030000075
表示连接操作。
进一步的，所述S2步骤中特征聚合方法为：注意力池化和最大池化结合提取全局特征，并与逐点局部特征Fp聚合生成Fa。
进一步的，所述特征聚合为将逐点特征Fp和全局特征聚合作为下一阶段的输入，生成细粒度的形状的同时保留输入点云的原始特征。
进一步的，所述注意力池化方法为计算输入特征的每个元素的注意力得分ai：
Figure BDA0003569688030000076
其中FC(·)表示全连接层，
Figure BDA0003569688030000077
表示第i个点的输入特征；
然后将每个元素乘以相应的分数并相加得到聚合特征fout表示为：
Figure BDA0003569688030000078
其中fout表示输出特征，hθ(·)表示共享多层感知机层。
进一步的，所述S3步骤中特征补全与重建方法为：使用特征补全模块对特征进行扩展和细化，并以此重建完整点云的坐标。具体请参考图3，图3为本发明提供的一种基于动态图卷积和注意力机制的点云补全方法的特征补全与坐标重建示意图。
进一步的，所述特征补全模块为层次残差结构。
进一步的，所述S3步骤中特征补全与重建方法：
S101、首先通过共享多层感知机得到大小为N×C的特征矩阵L0，C表示特征维度，N表示个数；
S102、然后对变换后的特征矩阵复制r倍以获得新的特征图；
S103、生成r个不同的二维网格，包含m个网格点，然后将其扩展为重复特征的大小，将网格点的坐标与重复特征进行拼接；
S104、通过自注意力机制单元和共享多层感知机得到大小为rN3×C的扩张特征矩阵H0；
S105、对特征H0进行重新塑形，恢复到与L0维度相同的特征矩阵L1，对L1和L0作差，得到残差△L；
S106、将△L再通过S102-S104的步骤获得扩张残差特征H1，最终将H1与H0相加得到扩张特征Hout；
S107、最后通过参数为[C，128，64，3]的共享多层感知机得到大小为rN3×3的完整点云。
本申请在特征空间中定义每个点的邻域，即根据特征图的相似性来寻找邻近点，并且在每一层后动态更新邻域图，来获取结构与内容感知的上下文信息。
本申请在使用最大池化的同时，结合了注意力池化，用于关注一些特定的显著结构信息，并提出联合最大池化和注意力池化操作的多通道方式，进而提取信息更加丰富的全局几何特征。
本申请提出了结合图卷积和注意力机制的轻量级点云补全网络，高效生成局部缺失点云的补全结果，最大程度地保留和恢复了输入点云的细节和几何结构。
本申请提出了一个一阶段模式的网络模型，并非使用多步骤的补全策略，能够直接输出完整的点云，与以往的方法相比，我们的方法并非通过直接解码经池化操作压缩后的特征嵌入来生成完整点云，而是融合逐点特征和全局几何特征，在特征空间对点云进行补全，并对特征进行扩张与细化，以此重建完整点云。
实施例2
基于上述实施例1，本实施例主要介绍一种基于动态图卷积和注意力机制的点云补全方法的验证过程中的网络训练模型。
首先建立网络模型超参数：模型使用Pytorch来实现。网络模型都使用Adam优化器进行训练，并设置β1＝0.9，β2＝0.999，生成器的初始学习率为5e-4，判别器的初始学习率为1e-5，每40个epoch衰减0.7。训练时的批次大小设为32，我们的网络大约在训练到150epochs处收敛。
其次建立损失函数：本文的总体损失函数由两部分组成，其中补全损失(Lc)用来保证输出点云向真值点云靠近，均匀化损失(Lu)约束网络输出分布均匀的点云。具体定义如下：本文选择ChamferDistance(公式8)作为补全损失函数，将网络输出的完整点云Q与对应的真值点云Qgt计算相应CD值。
Figure BDA0003569688030000091
为了输出分布均匀的点云，本文引入均匀化损失(公式9)。其中Uimbalance是对局部邻域内点的数量进行约束，Uclutter是对局部邻域内点的几何分布进行约束。其中Sj(j＝1,…,M)表示一个点子集，每个子集是利用半径为rd的球形查询采样得到的；
Figure BDA0003569688030000092
是Sj子集中点的期望数量；
Figure BDA0003569688030000093
表示点与邻域点之间期望的距离；该公式基于Sj是平面的并且相邻点是六边形的假设推导出来的。
Figure BDA0003569688030000094
总体损失函数是以上两个损失函数的加权总和。
其中β、γ是对应损失函数的权重值：
L＝βLc+γLuni. (8)
最好建立训练数据集：我们在MVP数据集(Multi-View Partial Point CloudDataset)上进行了实验。MVP数据集来源于Pan等人(2021)的研究，具有高质量的多视图局部缺失点云。它包含16个类别的物体，训练集中共有62,400组数据，测试集中共有41,600组数据。MVP数据集提供了2048点的输入点云和不同分辨率的完整点云，包括2048、4096、8192和16384个点的完整点云，用于在不同分辨率下评估补全的质量。
实施例3
基于上述实施例1-2，本实施例主要介绍一种基于动态图卷积和注意力机制的点云补全方法的验证过程中的网络训练模型测试。
建立模型评价参数：通过计算预测点云Q与真值点云Qgt之间的Chamfer Distance(CD)来评估模型补全的精度，CD值越小说明模型的补全效果越好。
Figure BDA0003569688030000095
模型测试结果：在MVP数据集的测试集上测试了我们的模型的补全效果，并在相同环境下与以下方法进行了对比：
1、PCN(Yuan et al.,2018)，以由粗到细的模式生成完整点云，利用两个堆叠的共享多层感知机层作为编码器提取全局特征，结合基于全连接的解码器和基于折叠操作的解码器生成稠密完整点云；
2、MSN(Liu et al.,2019)也以两阶段的模型完成补全任务，第一阶段生成物体表面分块的集合，第二阶段将输入点云与粗略预测点云融合，并提出最低密度采样对融合的点云进行采样得到分布均匀的点云，再通过一个残差网络对点云细化得到最终完整点云；
3、CRN(Wang et al.,2020)利用级联细化策略以由粗到细的方式在局部和全局细化点的位置，并设计了一个分块鉴别器，利用对抗性训练来进一步保证每个局部都是真实的；
4、ECG(Pan,2020)在细化阶段利用图卷积传播多尺度的边缘特征信息来达到保留局部几何细节的目的；
5、VRCNet(Pan et al.,2021)提出的变分关系网络在特征提取阶段采取双平行路径模式，分别输入残缺点云与对应完整点云，并通过一定约束条件使从残缺点云提取的特征信息与完整点云尽可能相似，以得到更加丰富的特征信息。
在MVP数据集上测试的定量与定性结果如表1和图4所示，图4为本发明提供的一种基于动态图卷积和注意力机制的点云补全方法的效果对比图。通过图4可以直接的看出Ours的点云补全结果是最好的，最接近原点云结构的。
表1在MVP测试数据集上的点云补全结果，表示为各模型在各类别物体上取得的CD值(×104)
Figure BDA0003569688030000101
从对比结果可以看出我们方法取得了最小的CD值，并且优势在于能够最大化恢复输入点云的原有结构，并且利用已知点云的几何特征学习相似的结构信息对缺失部分补全，能够得到较为真实的补全结果。
以上所述仅为本发明的优选实施例而已，其并非因此限制本发明的保护范围，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，通过常规的替代或者能够实现相同的功能在不脱离本发明的原理和精神的情况下对这些实施例进行变化、修改、替换、整合和参数变更均落入本发明的保护范围内。

Claims (10)

1.一种基于动态图卷积和注意力机制的点云补全方法，其特征在于，其包括：
步骤S1、使用动态图卷积技术进行特征提取；
步骤S2、结合注意力池化方法和最大池化方法的进行特征聚合；
步骤S3、局部缺失空间目标特征补全与重建。
2.根据权利要求1所述的一种基于动态图卷积和注意力机制的点云补全方法，其特征在于，所述步骤S1中使用动态图卷积技术进行特征提取的方法包括：
步骤S11、定义邻域并更新动态邻域图；
步骤S12、密集连接。
3.根据权利要求2所述的一种基于动态图卷积和注意力机制的点云补全方法，其特征在于，所述步骤S11中定义邻域并更新动态邻域图的具体方法为使用最近邻算法k-NN在特征空间中构建每个点的局部图，以聚合局部和结构感知的上下文特征；对于点云中的每个点xi，根据它们在特征空间中的接近度，选择k个邻居节点xj＝{x1,x2,…,xk}，结合特征嵌入xi和xj-xi，得到边缘特征eij，可以表示为：
Figure FDA0003569688020000011
其中Ni表示点i的邻域，
Figure FDA0003569688020000012
表示连接操作。
4.根据权利要求2所述的一种基于动态图卷积和注意力机制的点云补全方法，其特征在于，所述步骤S12中密集连接的具体方法为使用动态图卷积模块，将输入特征转换为具有较小特征维数的新特征嵌入，并通过转换后的特征动态构建邻域图；然后将构建的邻域图的边缘特征传递给共享多层感知机层；为了保留低维层的信息，将每一层的输出作为后续所有层的输入，表示为：
Figure FDA0003569688020000013
其中
Figure FDA0003569688020000014
是第l层点xi的输出特征，
Figure FDA0003569688020000015
是第l-1层点xi的输出特征，hθ(·)表示共享多层感知机层，
Figure FDA0003569688020000016
表示连接操作；最后，我们使用最大池化来获取在每个局部图中具有排列不变性的聚合局部特征；
在子单元之外，每个子单元的输出也通过跳跃连接操作传递给后续每个子单元作为其输入，可以记为：
Figure FDA0003569688020000017
其中Fi表示第i个子单元的输出特征，Ei(·)表示第i个子单元，Fin表示输入特征，
Figure FDA0003569688020000018
表示连接操作。
5.根据权利要求1所述的一种基于动态图卷积和注意力机制的点云补全方法，其特征在于，所述S2步骤中特征聚合方法为：注意力池化和最大池化结合提取全局特征，并与逐点局部特征Fp聚合生成Fa。
6.根据权利要求5所述的一种基于动态图卷积和注意力机制的点云补全方法，其特征在于，所述特征聚合为将逐点特征Fp和全局特征聚合作为下一阶段的输入，生成细粒度的形状的同时保留输入点云的原始特征。
7.根据权利要求5所述的一种基于动态图卷积和注意力机制的点云补全方法，其特征在于，所述注意力池化方法为计算输入特征的每个元素的注意力得分ai：
Figure FDA0003569688020000021
其中FC(·)表示全连接层，
Figure FDA0003569688020000022
表示第i个点的输入特征；
然后将每个元素乘以相应的分数并相加得到聚合特征fout表示为：
Figure FDA0003569688020000023
其中fout表示输出特征，hθ(·)表示共享多层感知机层。
8.根据权利要求1所述的一种基于动态图卷积和注意力机制的点云补全方法，其特征在于，所述S3步骤中特征补全与重建方法为：使用特征补全模块对特征进行扩展和细化，并以此重建完整点云的坐标。
9.根据权利要求8所述的一种基于动态图卷积和注意力机制的点云补全方法，其特征在于，所述特征补全模块为层次残差结构。
10.根据权利要求8所述的一种基于动态图卷积和注意力机制的点云补全方法，其特征在于，所述S3步骤中特征补全与重建方法：
S101、首先通过共享多层感知机得到大小为N×C的特征矩阵L0，C表示特征维度，N表示个数；
S102、然后对变换后的特征矩阵复制r倍以获得新的特征图；
S103、生成r个不同的二维网格，包含m个网格点，然后将其扩展为重复特征的大小，将网格点的坐标与重复特征进行拼接；
S104、通过自注意力机制单元和共享多层感知机得到大小为rN3×C的扩张特征矩阵H0；
S105、对特征H0进行重新塑形，恢复到与L0维度相同的特征矩阵L1，对L1和L0作差，得到残差△L；
S106、将△L再通过S102-S104的步骤获得扩张残差特征H1，最终将H1与H0相加得到扩张特征Hout；
S107、最后通过参数为[C，128，64，3]的共享多层感知机得到大小为rN3×3的完整点云。
CN202210315804.5A 2022-03-29 2022-03-29 一种基于动态图卷积和注意力机制的点云补全方法 Pending CN114693873A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210315804.5A CN114693873A (zh) 2022-03-29 2022-03-29 一种基于动态图卷积和注意力机制的点云补全方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210315804.5A CN114693873A (zh) 2022-03-29 2022-03-29 一种基于动态图卷积和注意力机制的点云补全方法

Publications (1)

Publication Number Publication Date
CN114693873A true CN114693873A (zh) 2022-07-01

Family

ID=82140102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210315804.5A Pending CN114693873A (zh) 2022-03-29 2022-03-29 一种基于动态图卷积和注意力机制的点云补全方法

Country Status (1)

Country Link
CN (1) CN114693873A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11488283B1 (en) * 2021-11-30 2022-11-01 Huazhong University Of Science And Technology Point cloud reconstruction method and apparatus based on pyramid transformer, device, and medium

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11488283B1 (en) * 2021-11-30 2022-11-01 Huazhong University Of Science And Technology Point cloud reconstruction method and apparatus based on pyramid transformer, device, and medium

Similar Documents

Publication Publication Date Title
CN109993825B (zh) 一种基于深度学习的三维重建方法
Yifan et al. Patch-based progressive 3d point set upsampling
CN111047548B (zh) 姿态变换数据处理方法、装置、计算机设备和存储介质
Xie et al. Point clouds learning with attention-based graph convolution networks
CN110544297A (zh) 一种单幅图像的三维模型重建方法
CN111738091A (zh) 一种基于多任务深度学习的姿态估计与人体解析***
Zhao et al. JSNet++: Dynamic filters and pointwise correlation for 3D point cloud instance and semantic segmentation
Zuo et al. Residual dense network for intensity-guided depth map enhancement
CN114091628B (zh) 基于双分支网络的三维点云上采样方法及***
WO2022205502A1 (zh) 一种图像分类模型的构建方法、图像分类方法及存储介质
CN112686830B (zh) 基于图像分解的单一深度图的超分辨率方法
Zhu et al. Csrgan: medical image super-resolution using a generative adversarial network
Tang et al. Point scene understanding via disentangled instance mesh reconstruction
Choi et al. Diffupose: Monocular 3d human pose estimation via denoising diffusion probabilistic model
Han et al. Learning generative models of tissue organization with supervised GANs
CN114723037A (zh) 一种聚合高阶邻居节点的异构图神经网络计算方法
Zhu et al. Semantic image segmentation with shared decomposition convolution and boundary reinforcement structure
CN115272599A (zh) 一种面向城市信息模型的三维语义地图构建方法
CN114693873A (zh) 一种基于动态图卷积和注意力机制的点云补全方法
Hu et al. Attentional weighting strategy-based dynamic GCN for skeleton-based action recognition
CN113158970B (zh) 一种基于快慢双流图卷积神经网络的动作识别方法与***
CN117876679A (zh) 一种基于卷积神经网络的遥感图像场景分割方法
Afzal et al. Discriminative feature abstraction by deep L2 hypersphere embedding for 3D mesh CNNs
Xu et al. Non-local recurrent regularization networks for multi-view stereo
CN116485975A (zh) 一种融合参数化人体模型的人体点云补全方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination