CN111914112B - 一种基于点云分类网络的零件cad模型重用方法 - Google Patents

Abstract

本发明公开了一种基于点云分类网络的零件CAD模型重用方法，将三维零件CAD模型的检索问题转换为三维点云模型的分类问题。以PointNet网络为框架的建立分类网络和检索网络，在检索网络中引入ResNet网络的残差块结构提升高相似度零件的识别精度。建立面向小批量‑定制化产品的三维零件CAD模型库并进行预处理得到训练数据集，依次将零件点云模型输入分类网络和零件类别相应的检索网络，检索得到最相似的零件模型。本发明可以更好的捕捉零件CAD模型的三维空间信息，实现零件CAD模型的快速、准确识别，进而加速企业小批量‑定制化零件的设计、工艺规划、制造和装配等过程。

Description

一种基于点云分类网络的零件CAD模型重用方法

技术领域

本发明属于先进制造技术智能化信息技术领域，具体涉及一种基于点云分类网络的零件CAD模型重用方法。

背景技术

目前计算机辅助三维建模已经成为了制造业产品设计的主要工具，由此产生了大量的三维CAD模型，随着MBD技术的发展，零件的三维CAD模型开始作为工艺信息、制造信息和检测信息的存储载体。因此，对三维计算机辅助设计模型进行有效的检索和重用，可以大大节省新产品设计、制造、检测和装配等流程的时间和和成本。伴随着海量CAD模型的出现，如何高效地从模型库中检索相似CAD模型成为一个关键问题。

传统的CAD模型检索技术通常通过以下两个步骤完成：首先通过描述符表示三维CAD模型，如信息描述符、几何描述符或形状分布描述符。然后通过查询新零件的描述符与数据库模型的每个零件描述符之间的相似性，重用模型信息。这类方法检索效率和准确性随着数据库中模型的增加而下降，并且不支持产品全生命周期的应用。

随着深度学习在图像识别领域的广泛应用，基于多视角图像分类技术的三维模型检索方法得到一定关注，这类方法往往对零件的局部信息更加敏感，难以捕捉整体的三维空间特征，在面对三维空间信息和尺寸变化小的小批量-定制化零件检索时效果较差。最近出现了以三维体素为输入，通过3D-CNN来进行加工特征识别的方法，但是由于三维体素模型相较点云模型所需存储空间更大，无法表征复杂的三维零件模型，因此该方法只能实现零件模型的简单分类，无法解决面向相似零件的检索问题。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于点云分类网络的零件CAD模型重用方法，将零件CAD模型的检索问题转换为点云的分类问题，实现针对小批量-定制化复杂零件的高效检索，实现面向零件产品全生命周期的数据复用。

本发明采用以下技术方案：

一种基于点云分类网络的零件CAD模型重用方法，包括以下步骤：

S1、建立产品三维CAD零件库；

S2、将步骤S1建立的三维CAD零件库中任意格式的零件CAD模型转换为三维点云模型；

S3、将步骤S2获得的三维点云模型经多次无放回-均匀采样为标准点云模型；

S4、对步骤S3的标准点云模型进行归一化、旋转和抖动操作；

S5、将步骤S4处理后的标准点云模型依次输入到基于PointNet的点云分类网络和点云检索网络中进行训练；

S6、将步骤S5中所有通过点云分类网络和点云检索网络训练的结果保存为.h5文件；

S7、对待识别零件的三维模型进行预处理预处理和标准化；

S8、将步骤S7预处理后的待识别零件三维模型输入步骤S6的.h5文件中，得到待识别零件的所属类别和对应的零件模型；

S9、根据步骤S8的结果确定重用零件的设计信息、工艺信息、制造信息和检测信息。

具体的，步骤S4中，通过遍历每个点的三维坐标值(X，Y，Z)，以X、Y和Z中的最大值Fmax和最小值Fmin作为基数进行坐标归一化处理，设置随机数x∈[0,1]，使得三维点云模型在X，Y和Z轴方向上随意旋转角度x*2Π，在X，Y和Z轴上的转动由01随机生成函数确定，通过给坐标点增加高斯噪声实现点云的抖动。

进一步的，任意坐标值a的归一化处理为：

其中，Fmin＝min{Xmin，Ymin，Zmin}，Fmax＝max{Xmax，Ymax，Zmax}。

进一步的，点云的抖动具体为：

其中，u，σ²分别为高斯分布的期望和方差。

具体的，步骤S5中，分类网络和检索网络都以PointNet网络为基础框架，通过MaxPooling解决点云的无序性问题；通过T-net网络解决点云的旋转性问题；T-net结构由k*k的输入得到k*k的输出，k为输入维度，利用1*1的卷积实现T-net网络结构全连接，再将mlp得到的256维度特征进行处理，通过定义权重输出k*k的旋转矩阵；在检索网络中引入ResNet网络中的残差块结构。

具体的，步骤S6、S8和S9中，点云分类网络通过log_softmax函数得到各点属于加工特征类别的概率，点云检索网络通过softmax得到待识别零件模型与模型库中所有模型的相似度。

具体的，步骤S7中，预处理的方法包括格式转换和均匀采样，格式转换将多种格式的CAD模型转换成点云模型，均匀采样在保留零件点云局部空间信息的基础上实现标准化，归一化将坐标值统一到[-1，1]区间，并保持零件点云模型的三维空间结构和比例不变。

具体的，步骤S8和S9中，零件的精确检索由两层网络分步实现，通过步骤S8中的分类网络得到零件的类别，然后将零件的模型输入到分类网络识别结果对应的检索网络中，得到零件模型；最后通过步骤S9调用零件模型的设计信息、工艺信息和检测信息，完成模型重用。

与现有技术相比，本发明至少具有以下有益效果：

本发明提出了一种基于点云分类网络的零件CAD模型重用方法，相较于传统的通过描述符表示三维CAD模型，然后依靠比较新模型描述符与数据库中模型描述符之间相似性的方案，无须针对大规模的零件建立复杂的描述符，具有良好的通用性；可以实现全生命周期的三维CAD模型重用，点云分类算法对整体空间信息有更高的敏感度，如输入初始设计的基本拉伸体，即可查询到在空间几何上最为相似的完整设计方案。因此，在基于整体零件智能检索基础上，可以实现设计信息、工艺信息、制造信息、检测信息和装配信息等全生命周期的数据重用；可以实现面向小批量-定制化高相似度零件的准确检索，通过无放回-均匀采样对每个零件的三维点云模型采样，得到多个由4096或2048个点组成的点云模型，目的是在减小输入数据规模的同时，通过多次采样单个CAD模型获得更加完整的加工特征信息。模型检索阶段，多次采样是扩充数据集的关键手段。

进一步的，将零件CAD模型的检索问题转换为点云的分类问题，传统上将零件CAD模型转换为三维体素作为输入，通过3D-CNN分类的方法，由于体素模型占据大量的存储空间，在深度学习训练过程中，64*64*64分辨率的三维体素模型就将导致高性能GPU内存不足，这使得此类方法面对相似度高的同类零件，无法实现检索功能。三维点云则仅表征零件的表面，相同的数据量可以更精细的构建零件空间信息，对相似零件的敏感性使得该方法可以实现检索功能；以多视角图片作为深度学习的输入实现模型检索的方法，则难以捕捉三维CAD模型的整体空间信息，同样对于高相似度的零件不敏感，在面向设计阶段的零件检索中，基于点云分类的零件检索方法效果更好。

进一步的，采用改进的PointNet网络作为分类和检索网络的基础，原因在于三维模型建模的基准面选择往往依据工程师的个人喜好，这导致了三维模型的旋转问题；同时不同种类三维模型格式向点云的转换过程中，三维坐标点并非按照统一标准排序，这造成了零件三维点云的坐标点是无序的。PointNet点云分类网络通过T-net解决了点云的旋转性问题，通过max pooling解决了三维点云语义分割的无序性问题。通过在检索网络中增加ResNet网络的残差块得到改进的PointNet点云分类网络，可以使得网络能够更好的捕捉局部信息，避免网络变深导致的梯度***问题，对于同类零件的高相似度点云模型的分类有更好的效果。

综上所述，本发明通过将改进的PointNet分类网络应用到零件CAD模型重用的领域，将零件CAD模型重用问题转换为点云的分类和检索问题，实现了更高精度的小批量-定制化零件分类和检索，使企业可以更高效的复用零件产品的全生命周期数据。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明流程图；

图2为本发明部分零件数据集和相应零件的三维点云模型；

图3为本发明面向零件检索的点云分类和检索网络结构图；

图4为本发明实例数据集的分类网络训练结果图；

图5为本发明离合器类零件的检索网络训练结果图；

图6为本发明零件CAD新模型样本智能识别与检索结果展示图。

具体实施方式

请参阅图1，本发明一种基于点云分类网络的零件CAD模型重用方法，包括以下步骤：

S1、建立产品的三维CAD零件库；

S2、将任意格式的零件CAD模型转换为三维点云模型；

将以PRT、STEP和STL等多种格式存储的零件CAD模型，以OBJ格式作为中间媒介，将所有零件的CAD模型转换为由10万个点组成的标准三维点云模型，保存为PLY或PCD点云格式存储。

S3、通过多次的无放回-均匀采样将点云模型统一到2048个点；

通过多次的无放回-均匀采样，将单个由10万点组成的零件点云模型采样为多个由4096或2048个点组成的标准点云模型，以此来防止复杂零件部分局部空间信息的缺失，同时实现数据增强。

S4、通过归一化、旋转和抖动实现标准化和数据增强；

通过遍历每个点的三维坐标值(X，Y，Z)，以X、Y和Z中的最大值Fmax和最小值Fmin作为基数进行坐标归一化处理：

其中，a为任意坐标值，Fmin＝min{Xmin，Ymin，Zmin}，Fmax＝max{Xmax，

Ymax，Zmax}；

三维点云模型的旋转通过设置随机数x∈[0,1]，使得模型在X，Y和Z轴方向上随意转角度x*2Π，在X，Y和Z轴上是否转动由01随机生成函数确定。

点云的抖动通过给坐标点增加高斯噪声实现：

其中，u，σ²分别为高斯分布的期望和方差。

S5、将步骤S4得到的数据集依次输入到基于PointNet的分类网络和检索网络训练；

PointNet分类网络和检索网络都Pointnet为基础框架，通过Max Pooling解决点云的无序性问题。点云的旋转性问题则通过T-net网络解决，T-net结构都是由k*k(k为输入维度)的输入得到k*k的输出，T-net网络结构的每一层单元为：64-128-1024-512-256，然后通过利用1*1的卷积来实现全连接，接下来需要将mlp得到的256维度特征进行处理，通过定义权重输出k*k的旋转矩阵。在检索网络中引入ResNet网络中的残差块结构，增加网络深度，同时减少网络变深带来的维度***问题，更好的识别相似度高的同类零件。

S6、将分类网络和检索网络的训练结果分别保存为.h5文件；

所有通过点云分类网络和分割网络训练的模型和权重保存为.h5文件，点云分类网络通过log_softmax函数得到各点属于加工特征类别的概率，点云检索网络通过softmax得到待识别零件模型与模型库中所有模型的相似度。

S7、输入待识别的三维模型并进行预处理操作；

预处理的步骤包括格式转换、均匀采样，格式器将多种格式的CAD模型转换成点云模型，均匀采样则在尽可能保留点云空间信息的基础上实现标准化，归一化将坐标值统一到[-1，1]区间，并保持零件点云模型的三维空间结构和比例不变。

S8、将新样本输入分类网络，得到零件的所属类别；将新样本输入零件类别对应的检索网络，得到最相似的零件模型；

S9、重用零件的设计信息、工艺信息、制造信息和检测信息等全面生命周期数据。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提出了一种基于点云分类网络零件CAD模型重用方法，首先建立面向小批量-定制化零件CAD模型库，同类零件的加工特征在类型、尺寸和空间位置上略有不同，整体设计也可能存在较大差异。用于测试的模型库共包含32类零件，每类零件包括10到25个尺寸、结构和加工特征不同的定制化零件，部分零件CAD模型如图2所示。

CAD模型库的预处理包括以下几步：首先将PRT、STEP和STL等多种格式的零件原始三维模型，通过转换为PCD格式的由10万个点组成的点云模型，如图2所示；然后通过15次左右的无放回-均匀采样，将单个由10万点组成的原始点云模型标准的由2048个点组成的点云模型，多次采样可以更完整的采集复杂零件模型的更多的局部空间信息；然后将所有点云模型的坐标归一化。由于这样获得样本较少，无法对改进的PointNet网络进行有效训练，因此通过抖动和旋转进一步数据增强，通过01随机函数确定模型是否同时抖动和旋转，归一化、抖动和旋转过程中保持点云模型的空间形状不变。

然后将数据集输入到分类和检索网络中训练，网络结构如图3所示，PointNet网络通过T-net网络解决点云的旋转性，PointNet网络中的两个T-net结构都是由k*k(k为输入维度)的输入得到k*k的输出，T-net网络结构的每一层单元为：64-128-1024-512-256，然后通过利用1*1的卷积来实现全连接，接下来需要将mlp得到的256维度特征进行处理，通过定义权重输出k*k的旋转矩阵；通过Max Pooling解决点云的无序性。检索网络要区分高相似度的同类零件，参考ResNet网络的思路在检索网络中增加残差块，加深网络的深度同时防止梯度***。

由32类零件组成的零件模型库经过预处理和数据增强共得到包括5598个样本，其中训练集包括4354个样本，测试集包括1224个样本，残差块深度为20层的，训练时迭代次数设置为60次，分类网络的准确率变化如图4所示，32类零件的平均分类准确率为99.3％。每类零件的检索网络准确率在95.4％到100％之间，其中有26类零件的检索准确率达到了100％，以离合器类零件为例，如图5所示，检测准确率达到了100％。

然后，为了测试训练模型的泛化能力，输入新的零件CAD模型进行测试。新的点云样本采用与获取训练数据集相同的方式获得，首先对零件CAD模型样本预处理，包括格式转换、均匀采样和坐标值归一化处理。均匀采样即把所有零件点云模型统一成2048个点，归一化则将点的坐标值统一到[-1,1]区间，且保持点云模型的空间形状和比例不变。经过预处理的新样本包含零件点云模型共150个。最后，依次调用分类网络和分割网络的.h5文件对新的点云零件样本进行检索，部分检索结果如图6所示。

综上所述，本发明建立了一种基于点云分类网络的零件CAD模型重用方法，将零件CAD模型的检索问题转换为三维点云的分类问题，建立了面向小批量-定制化产品的32类零件库，通过基于PointNet框架的分类和检索网络准确得到相似零件，此方法可被用于设计、制造和装配等全生命周期阶段的零件数据重用。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (6)

1.一种基于点云分类网络的零件CAD模型重用方法，其特征在于，包括以下步骤：

S1、建立产品三维CAD零件库；

S2、将步骤S1建立的三维CAD零件库中任意格式的零件CAD模型转换为三维点云模型；

S3、将步骤S2获得的三维点云模型经多次无放回-均匀采样为标准点云模型；

S4、对步骤S3的标准点云模型进行归一化、旋转和抖动操作；

S5、将步骤S4处理后的标准点云模型依次输入到点云分类网络和点云检索网络中进行训练，点云分类网络和点云检索网络以PointNet网络为基础框架，采用Max Pooling解决点云的无序性问题；通过T-net网络解决点云的旋转性问题；T-net结构由k*k的输入得到k*k的输出，k为输入维度，利用1*1的卷积实现T-net网络结构全连接，再将mlp得到的256维度特征进行处理，通过定义权重输出k*k的旋转矩阵；在点云检索网络中引入ResNet网络中的残差块结构；

S6、将步骤S5中所有通过点云分类网络和点云检索网络训练的结果保存为.h5文件；

S7、对待识别零件的三维模型进行预处理预处理和标准化；

S8、将步骤S7预处理后的待识别零件三维模型输入步骤S6的.h5文件中，得到待识别零件的所属类别和对应的零件模型；

S9、根据步骤S8的结果重用零件的设计信息、工艺信息、制造信息和检测信息，零件的精确检索由两层网络分步实现，通过步骤S8中的点云分类网络得到零件的类别，然后将零件的模型输入到点云分类网络识别结果对应的点云检索网络中，得到零件模型；最后通过步骤S9调用零件模型的设计信息、工艺信息和检测信息，完成模型重用。

2.根据权利要求1所述的基于点云分类网络的零件CAD模型重用方法，其特征在于，步骤S4中，通过遍历每个点的三维坐标值X，Y，Z，以X、Y和Z中的最大值Fmax和最小值Fmin作为基数进行坐标归一化处理，设置随机数x∈[0,1]，使得三维点云模型在X，Y和Z轴方向上随意旋转角度x*2Π，在X，Y和Z轴上的转动由01随机生成函数确定，通过给坐标点增加高斯噪声实现点云的抖动。

3.根据权利要求2所述的基于点云分类网络的零件CAD模型重用方法，其特征在于，任意坐标值a的归一化处理为：

其中，Fmin＝min{Xmin，Ymin，Zmin}，Fmax＝max{Xmax，Ymax，Zmax}。

4.根据权利要求2所述的基于点云分类网络的零件CAD模型重用方法，其特征在于，点云的抖动具体为：

其中，u，σ²分别为高斯分布的期望和方差。

5.根据权利要求1所述的基于点云分类网络的零件CAD模型重用方法，其特征在于，步骤S6、S8和S9中，点云分类网络通过log_softmax函数得到各点属于加工特征类别的概率，点云检索网络通过softmax得到待识别零件模型与模型库中所有模型的相似度。

6.根据权利要求1所述的基于点云分类网络的零件CAD模型重用方法，其特征在于，步骤S7中，预处理的方法包括格式转换和均匀采样，格式转换将多种格式的CAD模型转换成点云模型，均匀采样在保留零件点云局部空间信息的基础上实现标准化，归一化将坐标值统一到[-1，1]区间，并保持零件点云模型的三维空间结构和比例不变。

Images