CN114331883A - 一种基于局部协方差优化的点云补全方法 - Google Patents
一种基于局部协方差优化的点云补全方法 Download PDFInfo
- Publication number
- CN114331883A CN114331883A CN202111579034.7A CN202111579034A CN114331883A CN 114331883 A CN114331883 A CN 114331883A CN 202111579034 A CN202111579034 A CN 202111579034A CN 114331883 A CN114331883 A CN 114331883A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- local
- neural network
- complete
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000005457 optimization Methods 0.000 title claims abstract description 22
- 238000003062 neural network model Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 29
- 230000007246 mechanism Effects 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000007670 refining Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000000295 complement effect Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 208000020442 loss of weight Diseases 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000003169 complementation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于局部协方差优化的点云补全方法，包括以下步骤：S1、数据集获取；S2、数据预处理；S3、神经网络模型的构建；S4、神经网络模型损失的构建；S5、神经网络模型的训练和优化；S6、保存模型及模型参数，采用上述技术方案，以不完整的点云为输入，能输出具有完整形状且更加精细的完整点云。在特征编码阶段，使用协方差分析局部点与点之间无序且复杂的拓扑关系，使用不同的卷积核提取局部几何结构信息；考虑形状的完整性和结构相似性，通过融合多尺度的层级特征来推断缺失结构的特征，获得点云在完整形状下的全局特征向量；在解码阶段，不仅能实现点云数量上的扩充，还能对点云的局部几何结构进行优化，从而生成更加精细的完整点云。
Description
技术领域
本发明涉及点云补全技术领域，具体指一种基于局部协方差优化的点云补全方法。
背景技术
随着扫描设备可用性的提高，人们可以在短时间内从3D对象的表面获得大量高精度的点云数据。作为三维空间中点的集合，点云保留了更多的细节和丰富的语义，已逐渐成为一种受欢迎的三维模型表示方式，并且被广泛应用于自动驾驶、机器人控制、三维设计和AR/VR等领域。然而，由于形状的复杂和拍摄环境的影响，如光照强度、遮挡等，扫描获取的点云通常是不完整的。不完整的点云模型不仅无法表示对象的实际形状影响识别，而且还会影响后续的点云处理任务，如点云分类、分割和点云匹配等。因此，对不完整点云进行补全是一项非常有意义的任务。
点云补全通常有两个目标。第一是从不完整的点云中恢复出完整的形状，第二是恢复点云的局部形状细节。传统补全方法通过曲面拟合和网格插值能对较小的缺失进行补全，但对大的缺失往往无能为力。近年来，随着深度学习技术的发展和大型3D模型数据库的出现，基于学习的补全方法逐渐被提出并取得了令人满意的结果。早期的策略是将离散化的点云转换为结构化网格和体素，然后借助规则化的3DCNN完成点云重建和补全。然而转换非常费时，并且转换后的数据容易出现信息冗余和丢失。后来，得益于PoinetNet提出了共享参数的多层感知器MLP和对称函数，使得深度神经网络可以直接作用于点云数据。随后，一些以FlodingNet和PCN为主的点云补全方法也被相继提出，它们直接对不完整的点云进行编码得到全局特征向量，然后使用解码器将该向量重建为一个具有完整形状的点云。但由于这些方法只考虑从全局特征向量重建点云，忽略了局部结构和形状特征，最终只能恢复出点云的基本形状，而无法完成点云补全的第二个任务，无法恢复精细的局部结构。
发明内容
为了解决现有技术无法恢复局部细节，本发明提出了一种基于局部协方差优化的点云补全方法。基于协方差分析和自注意力机制，设计了具有局部增强和几何优化的网络结构，可以有效地提取局部的结构信息、丰富局部细节。
为了解决上述技术问题，本发明的技术方案为：
一种基于局部协方差优化的点云补全方法，包括以下步骤：
S1、数据集获取，获取公共数据集ShapetNet，完成3D模型训练所述的点云数据集的构建；
S2、数据预处理，对数据集中各3D模型进行表面采样获取完整点云，然后模拟形状缺失过程对各完整点云生成相应的不完整点云，对所有点云数据进行标准化处理；
S3、神经网络模型的构建，基于协方差分析以及自注意力机制，设计局部特征嵌入模块和局部细化模块，并以此构建一个自动编码网络CovNet；
S4、神经网络模型损失的构建，定义神经网络的两阶段损失函数，计算网络输出的补全点云与真实完整点云在不同精细程度时的差异；
S5、神经网络模型的训练和优化，设置网络参数，使用优化器端到端地训练网络；
S6、保存模型及模型参数，当训练达到最大迭代次数或目标函数趋于平稳时，保存模型及模型参数。
作为优选，所述步骤S1中的数据集包含55个不同对象，所述步骤S2中，从数据集中的55个不同对象中挑选16个常见对象。
作为优逃，所述步骤S2中，将挑逃的16个常见对象使用泊松圆盘采样法在3D模型表面均匀采样指定数量的点作为真实的完整点云。
作为优选，所述步骤S2中，使用随机孔洞的方法在完整点云中随机选取一个点、删除半径r以内的点来模拟点云缺失，并采样得到指定数量的不完整点云。
作为优选，所述步骤S2中，对所有点云数据进行标准化处理，包括中心化处理和归一化处理。
作为优选，所述步骤S3中，所述的自动编码网络包括编码器和解码器，所述编码器包括多个级联的局部特征嵌入模块以及多级特征融合和推理操作模块，所述解码器由生成和细化两部分组成。
作为优选，所述编码器对输入大小为N×3的不完整点云进行特征编码，所述编码器首先使用特征扩充的方式生成粗点云，然后基于协方差分析和自注意力机制细化局部几何结构以生成大小为N×3的完整的精细点云。
作为优选，所述步骤S4中，所述第一阶段损失函数的定义，来自于编码器的粗重建阶段，通过倒角距离CD计算粗点云和真实点云的差异得到，具体可表示为：
其中S1，S2分别表示为粗点云和真实点云；
所述第二阶段损失函数的定义，来自于编码器的细化阶段，通过推土距离EMD计算网络输出的补全点云和真实点云的差异得到，具体可表示为：
其中S1，S2分别表示为补全点云和真实点云；φ表示映射函数；
结合第一阶段损失函数和第二阶段损失函数，获取总的损失设置为
其中，参数λ1，λ2分别表示可调节的两个损失所占的权重。
作为优选，所述步骤S5中，包括在神经网络模型上持续训练200个周期，BatchSize为32，每隔70个周期，学习率下降为原来的30％，损失权重λ1固定为1，而损失权重λ2初始化为0.01，并且在训练中每隔50个周期扩大10倍，直至为1。
作为优选，所述优化器采用了学习率为0.0005的Adam，整个用于补全的神经网络模型由Pytorch实现，所述神经网络模型的激活函数为Relu函数，所述神经网络模型中粗点云的点数为512，而输入和输出点云的点数均为2048。
本发明具有以下的特点和有益效果：
采用上述技术方案，它以不完整的点云为输入，能输出具有完整形状且更加精细的完整点云。在特征编码阶段，使用协方差分析局部点与点之间无序且复杂的拓扑关系，并使用不同的卷积核提取局部几何结构信息；考虑形状的完整性和结构相似性，本发明还通过融合多尺度的层级特征来推断缺失结构的特征，以便获得点云在完整形状下的全局特征向量；在解码阶段，本发明通过引入协方差和局部自注意力机制设计了一个细化模块，它不仅能实现点云数量上的扩充，还能对点云的局部几何结构进行优化，从而生成更加精细的完整点云。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的点云补全流程图。
图2为本发明实施例中神经网络模型的结构。
图3为本发明实施例中神经网络模型的局部特征嵌入模块。
图4为本发明实施例中神经网络模型的细化模块。
图5为本发明实施例中神经网络对不同输入点数量的补全效果。
图6为本发明实施例中神经网络对不同输入缺失比例的补全效果。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
实施例1
本发明提供了一种基于局部协方差优化的点云补全方法，如图1所示，包括以下步骤：
S1、数据集获取，获取公共数据集ShapetNet，完成3D模型训练所述的点云数据集的构建，其中所述点云数据集包含55个不同对象
S2、数据预处理，对数据集中各3D模型进行表面采样获取完整点云，然后模拟形状缺失过程对各完整点云生成相应的不完整点云，对所有点云数据进行标准化处理，其中用于预处理的数据集为数据集中的55个不同对象中挑选16个常见对象，从而大大减小了计算量；
可理解的，所有点云数据包括完整点云和不完整点云。
S3、神经网络模型的构建，基于协方差分析以及自注意力机制，设计局部特征嵌入模块和局部细化模块，并以此构建一个自动编码网络CovNet；
S4、神经网络模型损失的构建，定义神经网络的两阶段损失函数，计算网络输出的补全点云与真实完整点云在不同精细程度时的差异；
S5、神经网络模型的训练和优化，设置网络参数，使用优化器端到端地训练网络；
S6、保持模型及模型参数，当训练达到最大迭代次数或目标函数趋于平稳时，保存模型及模型参数。
上述技术方案中，它以不完整的点云为输入，能输出具有完整形状且更加精细的完整点云。在特征编码阶段，使用协方差分析局部点与点之间无序且复杂的拓扑关系，并使用不同的卷积核提取局部几何结构信息；考虑形状的完整性和结构相似性，本实施例中还通过融合多尺度的层级特征来推断缺失结构的特征，以便获得点云在完整形状下的全局特征向量；在解码阶段，本实施例中通过引入协方差和局部自注意力机制设计了一个细化模块，它不仅能实现点云数量上的扩充，还能对点云的局部几何结构进行优化，从而生成更加精细的完整点云。
具体的，所述步骤S2中，将挑选的16个常见对象使用泊松圆盘采样法在3D模型表面均匀采样指定数量的点作为真实的完整点云，使用随机孔洞的方法在完整点云中随机选取一个点、删除半径r以内的点来模拟点云缺失，并采样得到指定数量的不完整点云。此外，对所有点云数据进行标准化处理，包括中心化处理和归一化处理。
其中，中心化处理为将点云的中心平移到原点进行中心化处理，归一化处理为缩放到一个半径为1的球中进行归一化处理，以获得标准化的点云。
本发明的进一步设置，如图2所示，所述步骤S3中，所述的自动编码网络包括层级特征提取的编码器和生成细化的解码器，其中编码器由多个级联的局部特征嵌入模块以及多级特征融合和推理操作模块组成，主要负责对输入大小为N×3的不完整点云进行特征编码，以获得一个描述点云完整形状的全局特征向量，其大小为1024。解码器由生成和细化两部分组成，负责对全局特征进行解码，重建出具有完整形状的点云。
可以理解的，编码器首先使用特征扩充的方式生成粗点云，然后基于协方差分析和自注意力机制细化局部几何结构以生成大小为N×3的完整的精细点云。
具体的，层级特征提取的编码器以大小为N×3的点云为输入，通过多个堆叠的局部特征嵌入模块和多层级的特征融合操作输出大小为1024的全局特征向量。
其中，局部特征嵌入模块，如图3所示，它首先通过最远点采样(FPS)确定每个局部中心点，然后使用球查询或K邻近(KNN)确定局部区域，其次使用图卷积聚合局部点特征pf，使用协方差分析提取局部形状特征pcov。最后在每个局部融合点特征和形状特征得到增强的局部嵌入特征
其中φ是多层感知器(MLP)，
为特征维度的拼接操作。
详细地，局部点特征的提取公式可表示为
其中，pf表示点特征，
表示点p的第k个邻近点的特征。h表示共享参数的多层感知器(MLP)，用于提取点特征。g表示对称函数，如MaxPooling。局部形状特征pcov的计算公式为
其中，Plocal为k×3的局部点集，用于计算3×3的局部协方差，mlp为1×1的卷积，用于提取形状特征。
如上所述，每经过一个局部特征嵌入模块，点云的点数量都会减少，并且局部的特征也会被抽象到中心点。随着层级的增加，每次KNN查询将形成一个更大的局部，这也意味着编码器可以提取更大的局部结构，更容易发现丢失区域。为此，本发明通过融合多尺度的局部特征来预测缺失的特征信息，并将其与现存结构的特征相加以获取完整的全局特征向量，使其能够更好地描述点云的形状。整个计算过程可表述为：
其中
是第i次本地嵌入后的点云局部特征；Pg是全局潜在向量。θ是共享权重的多层感器(MLP)；g是对称函数MaxPooling。
进一步的，如图4所示，解码器负责将编码器中提取的全局特征向量重建为具有完整形状的点云，主要分为生成和细化两部分：
在生成阶段，编码器以大小为1024的全局特征向量Pg为输入，然后使用线性层将其映射为大小为3M的向量，最后再将其变形为M×3，它表示只含有XYZ坐标的粗点云
粗点云可以被看作是一个低分辨率的点云，它具有点云的完整形状。此外，本发明将粗点云Ycoarse和输入点云X合并，以保留不完整点云中现存的结构。考虑到两个点云的密度可能不同，使用了最远点采样(FPS)对合并后的点云进行下采样，以获得均匀分布的点云。
在细化阶段，主要是对合并后的均匀点云进行局部的几何优化，使得重建出的点云具有更加精细的结构。为此，本发明设计了一个具有局部几何优化的细化模块，具体结构如附图4所示。给定一个合并后的点云
和扩展率r，首先将
分割成r份生成子点云
并将其扩散到
的邻居点；然后通过组合点云的局部点特征
和形状特征
预测子点云
的坐标偏移
最后将原始点云
复制r次并更新子点云的坐标
其中，局部形状特征可通过与本地特征嵌入模块相似的操作提取，它为子点的分布提供局部结构信息。而局部点特征则通过局部自注意力机制提取，它通过融合相邻点的特征来平滑局部结构。自注意力机制以
作为query，以
作为Key计算每个邻居点与中心点的关注分数
具体可表示为：
其中，
表示计算点特征差异的操作，如余弦距离，元素相减等。δ表示多层感知器MLP。此时注意力机制优化后的每个点特征
其中
分别元素相加，⊙表示元素相乘。
本发明的进一步设置，所述步骤S4中，所述第一阶段损失函数的定义，来自于编码器的粗重建阶段，通过倒角距离CD计算粗点云和真实点云的差异得到，即CD距离计算一个集合中的所有点到另一个集合最近点的距离的平均值，具体可表示为：
可以理解的，上述技术方案中，提出的点云补全网络属于监督学习，网络训练的损失来自补全损失，其计算方式包括倒角距CD和推土距离EMD。其中S1，S2分别表示为粗点云和真实点云。
进一步的，所述第二阶段损失函数的定义，来自于编码器的细化阶段，通过推土距离EMD计算网络输出的补全点云和真实点云的差异得到，即推土距离EMD计算一个集合转换到另外一个集合所需要的最小代价，要求两个集合具有相同的大小。其本质是寻找一个双射，使得映射之间的平均距离差最小，具体可表示为：
其中S1，S2分别表示为补全点云和真实点云；φ表示映射函数。
由于解码器采用由粗到细的策略输出完整点云，并且粗点云的点数量和真实点云不同，本发明使用CD距离计算粗点云的补全损失，用EMD距离计算细化点云的补全损失。结合第一阶段损失函数和第二阶段损失函数，获取总的损失设置为
其中，参数λ1，λ2分别表示可调节的两个损失所占的权重；Pcoarse表示粗点云；Pfine表示网络预测的补全点云；Pgt表示输入的不完整点云对应的真实的完整点云。
本发明的进一步设置，所述步骤S5中，包括在神经网络模型上持续训练200个周期，批次大小(BatchSize)为32，每隔70个周期，学习率下降为原来的30％，损失权重λ1固定为1，而损失权重λ2初始化为0.01，并且在训练中每隔50个周期扩大10倍，直至为1。
具体的，使用了公开的数据集ShapeNet中的16个常见对象，包含14473个点云模型，其中训练集含有11705个、测试集含有2768个。整个点云补全网络由Pytorch实现，除了输出层和残差层外，所有的激活函数均为Relu。在解码器中，粗点云的点数为512，细化后的补全点云的点数为2048。使用学习率为0.0005的Adam进行优化。
为了表明基于局部协方差优化的点云补全方法的有效性和优越性，本实施例还通过实验与其他几个具有代表性的补全方法进行了对比分析，包括FCAE、PCN、MSN、TopNet。为了确保实验对比的公平性和一致性，本实验使用相同的数据集以及数据预处理方法，还使用了两个度量指标进行评估：CD，F1 Scores。其中CD通过计算预测点云和真实的距离偏差衡量点云相似性。而F1 Scores通过计算两个点云的重叠点数衡量点云相似性。实验对比结果如下表所示，表中显示的数值是[CD/F1 Scores]。CD的放大比例是104。
| FCAE | <u>TopNet</u> | PCN | MSN | <u>CovNet</u> | |
| Airplane | 14.20/0.85 | 12.68/0.86 | 11.26/0.89 | 6.73/0.93 | 6.07/0.95 |
| Bag | 60.73/0.33 | 46.55/0.42 | 45.44/0.43 | 25.33/0.67 | 22.17/0.70 |
| Cap | 77.43/0.40 | 56.64/0.43 | 55.87/0.45 | 21.56/0.75 | 19.63/0.75 |
| Car | 35.52/0.47 | 33.55/0.49 | 31.46/0.53 | 19.11/0.69 | 18.25/0.71 |
| Chair | 27.57/0.63 | 21.50/0.70 | 22.62/0.68 | 12.70/0.82 | 11.24/0.85 |
| Earphone | 68.99/0.43 | 59.16/0.44 | 47.03/0.49 | 25.58/0.74 | 25.36/0.75 |
| Guitar | 6.99/0.94 | 5.11/0.97 | 5.35/0.96 | 13.51/0.94 | 2.49/0.99 |
| Knife | 8.89/0.91 | 6.76/0.94 | 7.26/0.94 | 2.95/0.98 | 2.90/0.98 |
| Lamp | 59.75/0.52 | 45.40/0.59 | 47.83/0.57 | 24.24/0.80 | 23.06/0.82 |
| Laptop | 17.96/0.71 | 15.12/0.75 | 14.35/0.79 | 8.63/0.86 | 9.68/0.86 |
| Motorbike | 30.32/0.54 | 29.91/0.55 | 25.09/0.61 | 14.22/0.77 | 13.86/0.81 |
| Mug | 51.30/0.30 | 47.43/0.33 | 43.29/0.33 | 19.03/0.67 | 24.57/0.58 |
| Pistol | 19.75/0.74 | 17.36/0.77 | 16.41/0.79 | 9.44/0.88 | 9.92/0.90 |
| Rocket | 13.41/0.83 | 10.78/0.87 | 9.95/0.89 | 4.72/0.95 | 3.92/0.97 |
| Skateboard | 19.63/0.78 | 14.81/0.83 | 15.41/0.84 | 7.70/0.92 | 8.43/0.92 |
| Table | 32.38/0.62 | 26.35/0.69 | 26.73/0.68 | 13.61/0.83 | 14.04/0.84 |
| avg | 34.05/0.63 | 28.07/0.66 | 26.58/0.68 | 14.31/0.83 | 13.47/0.84 |
表1点云补全的结果对比
如表1所示，虽然对象的复杂程度不同，导致修补的结果存在明显差异。但在大多数类别的指标评估中，本实施例提出的补全方法CovNet仍取得了最好的结果。由于通过局部协方差提取了点云的局部几何结构，通过多级特征融合推理了缺失特征，并且还使用自注意力机制对局部进行了细化，使得网络能够生成具有真实和精细的完整点云。总的来说，本发明的方法在结果上要优于其他方法，能够更好地完成补全任务。
本发明使用实施例1-2直观地展示神经网络模型CovNet的补全结果以及该方法的鲁棒性。
实施例2：
本实施例与实施例1的却别在于，所述神经网络模型CovNet训练完成后，选择飞机点云在缺失比例为35％的情况下，将不完整点云的点数量从N＝2048减少到256。如图5所示，本发明提出的方法仍具有出色的补全结果。
实施例3：
本实施例与实施例1的却别在于，所述神经网络模型CovNet训练完成后，选择飞机点云在不完整点云的点数量固定时(N＝2048)，将缺失比例从0.25逐渐提高到0.75。如图6所示，本发明提出的方法仍具有较好的补全结果。
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式包括部件进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。
Claims (10)
1.一种基于局部协方差优化的点云补全方法，其特征在于，包括以下步骤：
S1、数据集获取，获取公共数据集ShapetNet，完成3D模型训练所述的点云数据集的构建；
S2、数据预处理，对数据集中各3D模型进行表面采样获取完整点云，然后模拟形状缺失过程对各完整点云生成相应的不完整点云，对所有点云数据进行标准化处理；
S3、神经网络模型的构建，基于协方差分析以及自注意力机制，设计局部特征嵌入模块和局部细化模块，并以此构建一个自动编码网络CovNet；
S4、神经网络模型损失的构建，定义神经网络的两阶段损失函数，计算网络输出的补全点云与真实完整点云在不同精细程度时的差异；
S5、神经网络模型的训练和优化，设置网络参数，使用优化器端到端地训练网络；
S6、保存模型及模型参数，当训练达到最大迭代次数或目标函数趋于平稳时，保存模型及模型参数。
2.根据权利要求1所述的基于局部协方差优化的点云补全方法，其特征在于，所述步骤S1中的数据集包含55个不同对象，所述步骤S2中，从数据集中的55个不同对象中挑选16个常见对象。
3.根据权利要求2所述的基于局部协方差优化的点云补全方法，其特征在于，所述步骤S2中，将挑选的16个常见对象使用泊松圆盘采样法在3D模型表面均匀采样指定数量的点作为真实的完整点云。
4.根据权利要求2所述的基于局部协方差优化的点云补全方法，其特征在于，所述步骤S2中，使用随机孔洞的方法在完整点云中随机选取一个点、删除半径r以内的点来模拟点云缺失，并采样得到指定数量的不完整点云。
5.根据权利要求1所述的基于局部协方差优化的点云补全方法，其特征在于，所述步骤S2中，对所有点云数据进行标准化处理，包括中心化处理和归一化处理。
6.根据权利要求1所述的基于局部协方差优化的点云补全方法，其特征在于，所述步骤S3中，所述的自动编码网络包括用于层级特征提取的编码器和生成细化的解码器，所述编码器包括多个级联的局部特征嵌入模块以及多级特征融合和推理操作模块，所述解码器由生成和细化两部分组成。
7.根据权利要求6所述的基于局部协方差优化的点云补全方法，其特征在于，所述编码器对输入大小为N×3的不完整点云进行特征编码，所述编码器首先使用特征扩充的方式生成粗点云，然后基于协方差分析和自注意力机制细化局部几何结构以生成大小为N×3的完整的精细点云。
8.根据权利要求1所述的基于局部协方差优化的点云补全方法，其特征在于，所述步骤S4中，所述第一阶段损失函数的定义，来自于编码器的粗重建阶段，通过倒角距离CD计算粗点云和真实点云的差异得到，具体可表示为：
其中S1，S2分别表示为粗点云和真实点云；
所述第二阶段损失函数的定义，来自于编码器的细化阶段，通过推土距离EMD计算网络输出的补全点云和真实点云的差异得到，具体可表示为：
其中S1，S2分别表示为补全点云和真实点云；φ表示映射函数；
结合第一阶段损失函数和第二阶段损失函数，获取总的损失设置为
其中，参数λ1，λ2分别表示可调节的两个损失所占的权重。
9.根据权利要求1所述的基于局部协方差优化的点云补全方法，其特征在于，所述步骤S5中，包括在神经网络模型上持续训练200个周期，BatchSize为32，每隔70个周期，学习率下降为原来的30％，损失权重λ1固定为1，而损失权重λ2初始化为0.01，并且在训练中每隔50个周期扩大10倍，直至为1。
10.根据权利要求9所述的基于局部协方差优化的点云补全方法，其特征在于，所述优化器采用了学习率为0.0005的Adam，整个用于补全的神经网络模型由Pytorch实现，所述神经网络模型的激活函数为Relu函数，所述神经网络模型中粗点云的点数为512，而输入和输出点云的点数均为2048。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111579034.7A CN114331883A (zh) | 2021-12-22 | 2021-12-22 | 一种基于局部协方差优化的点云补全方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111579034.7A CN114331883A (zh) | 2021-12-22 | 2021-12-22 | 一种基于局部协方差优化的点云补全方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114331883A true CN114331883A (zh) | 2022-04-12 |
Family
ID=81054322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111579034.7A Pending CN114331883A (zh) | 2021-12-22 | 2021-12-22 | 一种基于局部协方差优化的点云补全方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114331883A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114842180A (zh) * | 2022-07-06 | 2022-08-02 | 山东海量信息技术研究院 | 一种点云补全方法、装置、设备及介质 |
-
2021
- 2021-12-22 CN CN202111579034.7A patent/CN114331883A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114842180A (zh) * | 2022-07-06 | 2022-08-02 | 山东海量信息技术研究院 | 一种点云补全方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108875813B (zh) | 一种基于几何图像的三维网格模型检索方法 | |
| CN109389151B (zh) | 一种基于半监督嵌入表示模型的知识图谱处理方法和装置 | |
| CN112464004A (zh) | 一种多视角深度生成图像聚类方法 | |
| CN112819080B (zh) | 一种高精度通用的三维点云识别方法 | |
| CN116229079A (zh) | 一种基于视觉辅助和特征增强的三维点云语义分割方法及*** | |
| CN112686830B (zh) | 基于图像分解的单一深度图的超分辨率方法 | |
| CN113434736A (zh) | 一种面向遥感大数据的多维混合索引方法及*** | |
| CN110516724A (zh) | 可视化作战场景的高性能多层字典学习特征图像处理方法 | |
| CN114925767A (zh) | 一种基于变分自编码器的场景生成方法和装置 | |
| CN114863062B (zh) | 基于点、体素特征表示的工业场景3d点云模型构建方法 | |
| CN115546061A (zh) | 一种具有形状感知的三维点云模型修复方法 | |
| CN112035689A (zh) | 一种基于视觉转语义网络的零样本图像哈希检索方法 | |
| CN114331883A (zh) | 一种基于局部协方差优化的点云补全方法 | |
| CN111597367B (zh) | 基于视图和哈希算法的三维模型检索方法 | |
| CN117036373A (zh) | 基于圆函数双线性正则编解码网络的大规模点云分割方法 | |
| CN112488117A (zh) | 一种基于方向诱导卷积的点云分析方法 | |
| CN116958958A (zh) | 基于图卷积双流形状先验自适应类别级物体姿态估计方法 | |
| CN110019632B (zh) | 一种基于形状树的地理要素形状分析方法 | |
| CN116595479A (zh) | 基于图双重自编码器的社区发现方法、***、设备及介质 | |
| CN116597071A (zh) | 一种基于可学习的k临近点采样的缺陷点云数据重建方法 | |
| CN116844004A (zh) | 一种面向数字孪生场景的点云自动语义化建模方法 | |
| CN108256058B (zh) | 一种基于微型计算平台的实时响应大媒体近邻检索方法 | |
| CN110781972A (zh) | 一种增量无监督多模态相关特征学习模型 | |
| CN115497085A (zh) | 基于多分辨率双特征折叠的点云补全方法及*** | |
| CN113593007B (zh) | 一种基于变分自编码的单视图三维点云重建方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |