CN116645370B - 基于三维点云数据的高温锻件表面缺陷实时检测方法 - Google Patents

Abstract

本申请涉及数据处理技术领域，特别是涉及一种基于三维点云数据的高温锻件表面缺陷实时检测方法。通过获取高温锻件在多个视角下的三维点云数据，将各视角对应的三维点云数据转化为二维图像，针对每一二维图像，分别衍生生成多个其他视角的图像，进而得到视角图像对，基于视角图像对进行比较以确定采样间隔，由于视角图像对中包含多个同一视角的图像，避免了由于视觉不同造成的误差，同时衍生得到的图像中包含的是对应位置图像的信息，进而可以对在某些视角下存在，但某些视角下不明确的裂缝缺陷进行精确检测，保证了最终得到的采样间隔的合理性和可靠性，提高了检测精度。

Description

基于三维点云数据的高温锻件表面缺陷实时检测方法

技术领域

本申请涉及数据处理技术领域，特别是涉及一种基于三维点云数据的高温锻件表面缺陷实时检测方法。

背景技术

高温锻件在制造过程中需要承受大量的变形和应力，因此其表面容易出现裂纹。这些裂纹可能是细小的微裂纹或明显的裂口，会对高温锻件的强度和耐久性产生较大影响。为了可以方便地利用计算机视觉和图像处理技术进行数据分析和处理，常常需要将三维点云数据转化为图像数据再进行分析。但实际上，点云数据往往是密度不均匀的，因此不合适的采样间隔会导致采样不够精细或采样过于稠密，影响后续的缺陷检测过程。

发明内容

基于此，本申请提供了一种基于三维点云数据的高温锻件表面缺陷实时检测方法，以解决上述技术问题。

提供一种基于三维点云数据的高温锻件表面缺陷实时检测方法，所述方法包括：

获取高温锻件在多个视角下的三维点云数据；

将各视角对应的所述三维点云数据转化为二维图像；

针对各所述二维图像分别衍生生成多个其他视角的图像，得到多个视觉图像对；每一所述视觉图像对中包含多个由不同的所述二维图像衍生生成的同一视角的图像；

对所述视觉图像对中的各所述图像分别进行聚类得到各所述图像的聚类区域；

针对每一所述聚类区域，确定其所属图像的位置相邻图像，从所述位置相邻图像中确定出与所述聚类区域存在交集的聚类区域，将其作为与所述聚类区域对应的连通聚类区域，计算所述聚类区域与所述连通聚类区域之间的交并比；所述图像的位置相邻图像为所述图像所属的视觉图像对中与该图像对应的拍摄视角相邻的拍摄视角所对应图像；

基于各所述聚类区域对应的所述交并比确定各所述聚类区域的异常程度值；

根据各所述聚类区域的所述异常程度值，确定所述高温锻件在各视角下对应的异常区域；

从所述三维点云数据中确定出与所述异常区域对应的异常三维点云数据，并基于所述异常三维点云数据确定采样间隔；

根据所述采样间隔对所述三维点云数据进行采样，并根据采样得到的数据确定出所述高温锻件表面的缺陷区域。

在其中一个实施例中，所述获取高温锻件在多个视角下的三维点云数据，包括：

通过旋转三维激光扫描仪的拍摄视角对高温锻件进行三维点云数据的采集，得到多个视角下的三维点云数据。

在其中一个实施例中，所述对所述视觉图像对中的各所述图像分别进行聚类得到各所述图像的聚类区域，包括：

通过密度聚类算法对所述视觉图像对中的各所述图像分别进行聚类得到各所述图像的聚类区域。

在其中一个实施例中，每一所述聚类区域所属的图像存在多个位置相邻图像，所述基于各所述聚类区域对应的所述交并比确定各所述聚类区域的异常程度值，包括：

针对每一所述聚类区域，根据所述聚类区域与所述位置相邻图像中各所述连通聚类区域之间的交并比，从各所述位置相邻图像中分别确定出与所述聚类区域对应的目标连通聚类区域；

将所述聚类区域与多个所述目标连通聚类区域之间的交并比组成的集合作为与所述聚类区域对应的交并比序列；所述交并比序列中的各所述交并比按照各自对应的拍摄视角依次排列；

根据与所述聚类区域对应的所述交并比序列中的最小值，计算所述聚类区域的异常程度值。

在其中一个实施例中，所述针对每一所述聚类区域，根据所述聚类区域与所述位置相邻图像中各所述连通聚类区域之间的交并比，从各所述位置相邻图像中分别确定出与所述聚类区域对应的目标连通聚类区域，包括：

将所述位置相邻图像中与所述聚类区域之间的交并比最大的连通聚类区域作为所述位置相邻图像中与所述聚类区域对应的目标连通聚类区域。

在其中一个实施例中，所述与所述聚类区域对应的所述交并比序列中的最小值，计算各所述聚类区域的异常程度值，包括：

根据公式 计算所述聚类区域的异常程度值；

其中，表示所述聚类区域的所述异常程度值，/>表示所述聚类区域的所述交并比序列，/>表示所述交并比序列中的最小值，/> 表示所述交并比序列的左侧形成序列的第一最大主成分方向，pl 表示所述第一最大主成分方向与90°的接近程度，r表示所述交并比序列的右侧形成序列的第二最大主成分方向，/>表示所述第二最大主成分方向与-90°的接近程度；

所述左侧形成序列为所述交并比序列中的最大交并比与该最大交并比左侧的元素形成的序列，所述右侧形成序列为所述交并比序列中的最大交并比与该最大交并比右侧的元素形成的序列；

所述第一最大主成分方向为将所述左侧形成序列的第一坐标数据作为输入，通过PCA算法计算各所述第一坐标数据对应的第一特征值，最大第一特征值对应的方向为所述第一最大主成分方向；所述第一坐标数据中的横坐标为所述左侧形成序列中对应元素的次序值，所述第一坐标数据中的纵坐标为所述左侧形成序列中对应元素的元素值；

所述第二最大主成分方向为将所述右侧形成序列的第二坐标数据作为输入，通过PCA算法计算各所述第二坐标数据对应的第二特征值，最大第二特征值对应的方向为所述第二最大主成分方向；所述第二坐标数据中的横坐标为所述右侧形成序列中对应元素的次序值，所述第二坐标数据中的纵坐标为所述右侧形成序列中对应元素的元素值。

在其中一个实施例中，所述根据各所述聚类区域的所述异常程度值，确定所述高温锻件在各视角下对应的异常区域，包括：

当某一所述图像中某一所述聚类区域的所述异常程度值大于预设程度阈值时，将所述聚类区域作为所述高温锻件在与所述图像对应的视角下的异常区域；

或，

针对各所述视觉图像对，将各所述视觉图像对对应的所述异常程度值中的最小值所对应的聚类区域作为与所述视觉图像对对应的视角下的异常区域。

在其中一个实施例中，所述从所述三维点云数据中确定出与所述异常区域对应的异常三维点云数据，并基于所述异常三维点云数据确定采样间隔，包括：

基于各所述异常区域的所述异常三维点云数据构建对应的TIN三角网结构；所述TIN三角网结构中的各节点为所述异常三维点云数据；

基于各所述TIN三角网结构计算对应的所述异常区域的距离参考值；

基于各所述异常区域对应的所述距离参考值计算采样间隔。

在其中一个实施例中，所述基于各所述TIN三角网结构计算对应的所述异常区域的距离参考值，包括：

针对各所述TIN三角网结构，分别计算其边长的平均值，将该平均值作为对应的所述异常区域的距离参考值。

在其中一个实施例中，所述基于各所述异常区域对应的所述距离参考值计算采样间隔，包括：

将各所述异常区域对应的所述距离参考值中的最小值作为采样间隔。

本申请提供的基于三维点云数据的高温锻件表面缺陷实时检测方法，通过获取高温锻件在多个视角下的三维点云数据，将各视角对应的三维点云数据转化为二维图像，针对每一二维图像，分别衍生生成多个其他视角的图像，得到多个视觉图像对，对视觉图像对中的各图像分别进行聚类得到各图像的聚类区域，针对每一聚类区域，确定其所属图像的位置相邻图像，从位置相邻图像中确定出与聚类区域存在交集的连通聚类区域，计算聚类区域与连通聚类区域之间的交并比，基于各聚类区域对应的交并比确定各聚类区域的异常程度值，根据各聚类区域的异常程度值，确定高温锻件在各视角下对应的异常区域，从三维点云数据中确定出与异常区域对应的异常三维点云数据，并基于异常三维点云数据确定采样间隔，根据采样间隔对三维点云数据进行采样，并根据采样得到的数据确定出高温锻件表面的缺陷区域，由不同位置的二维图像衍生得到多视角图像，基于视角图像对进行比较以确定采样间隔，由于视角图像对中包含多个同一视角的图像，避免了由于视觉不同造成的误差，同时衍生图像中包含的是对应位置图像的信息，进而可以对在某些视角下存在，但某些视角下不明确的裂缝缺陷进行精确检测，保证了最终得到的采样间隔的合理性和可靠性，提高了检测精度。

附图说明

图1为本申请实施例中提供的基于三维点云数据的高温锻件表面缺陷实时检测方法的流程示意图；

图2为本申请实施例中提供的旋转三维激光扫描仪的示意图；

图3为本申请实施例中提供的一种聚类结果示意图；

图4为本申请实施例中提供的另一种聚类结果示意图；

图5为本申请实施例中提供的对两种聚类结果进行叠加后的示意图；

图6为本申请实施例中提供的计算异常程度值的流程示意图；

图7为本申请实施例中提供的计算采样间隔的流程示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

为解决现有技术中在对高温锻件表面进行缺陷检测时，由于采样间隔不合适，导致采样不够精细或采样过于稠密，影响后续检测的问题，本申请实施例提供一种基于三维点云数据的高温锻件表面缺陷实时检测方法，请参见图1所示，可以包括如下步骤：

S101：获取高温锻件在多个视角下的三维点云数据。

S102：将各视角对应的三维点云数据转化为二维图像。

S103：针对各二维图像分别衍生生成多个其他视角的图像，得到多个视觉图像对；每一视觉图像对中包含多个由不同的二维图像衍生生成的同一视角的图像。

S104：对视觉图像对中的各图像分别进行聚类得到各图像的聚类区域。

S105：针对每一聚类区域，确定其所属图像的位置相邻图像，从位置相邻图像中确定出与该聚类区域存在交集的连通聚类区域，并计算聚类区域与连通聚类区域之间的交并比；图像的位置相邻图像为图像所属的视觉图像对中与该图像对应的拍摄视角相邻的拍摄视角所对应的图像。

S106：基于各聚类区域对应的交并比确定各聚类区域的异常程度值。

S107：根据各聚类区域的异常程度值，确定高温锻件在各视角下对应的异常区域。

S108：从三维点云数据中确定出与所述异常区域对应的异常三维点云数据，并基于异常三维点云数据确定采样间隔。

S109：根据采样间隔对三维点云数据进行采样，并根据采样得到的数据确定出高温锻件表面的缺陷区域。

下面，对上述各步骤涉及的过程进行详细阐述。

以裂缝缺陷为例，由于不同裂缝的朝向不同，单个拍摄方向的三维激光扫描仪不一定能获得全面的裂缝信息，所以在步骤S101中，可以通过设置在多个位置上的三维激光扫描仪分别对高温锻件进行三维点云数据的采集，得到多个视角下的三维点云数据。需要说明的是，在其他的实施例中，也可以通过其他的传感器进行三维点云数据的采集。可以理解的是，为了通过更少的三维激光扫描仪得到更多视角的三维点云数据，还可以旋转各位置上的三维激光扫描仪，将其旋转预设角度后再对高温锻件进行三维点云数据的采集。

优选的，为节约成本，可以设置一个三维激光扫描仪，通过旋转该三维激光扫描仪的拍摄视角对高温锻件进行三维点云数据的采集，得到多个视角下的三维点云数据。比如，可以按照图2所示的方向，对该三维激光扫描仪旋转90度再进行扫描，从而获得不同视角下的三维点云数据。

当设置有多个三维激光扫描仪时，对于每一三维激光扫描仪，在其对应的拍摄视角上都可以得到其对应的三维点云数据，再将该三维点云数据转化为二维图像，因此，对于每一拍摄视角对应的三维点云数据，都可以得到其对应的二维图像。当设置有一个三维激光扫描仪时，对于该三维激光扫描仪的每一拍摄视角，都可以得到其对应的三维点云数据，因此，同样可以得到其对应的二维图像。所以，在步骤S102中可以得到各视角对应的二维图像。步骤S102中在将三维点云数据转化为二维图像时，可以参照现有的方法，比如可以将各三维点云数据投影到一二维平面中，从而得到对应的二维图像，这里不再赘述。

对于高温锻件的同一表面，同一三维激光扫描仪在不同拍摄视角对该表面进行采集所获得的三维点云数据是不同的。神经辐射场可以通过单个拍摄方向的图像得到多个不同视角下的图像，而不同视角下的图像是通过该拍摄方向的图像上的信息得到的，即不同视角下的图像相当于是根据该拍摄方向的图像衍生得到的。

对于高温锻件表面上的某个区域，如果该区域不存在裂缝缺陷，则通过多个拍摄方向的三维激光扫描仪获得的同一视角下的衍生图像（每个拍摄方向对应一个该视角衍生图像）的相似程度较大，由于裂缝的宽度和深度的影响，可能某个拍摄方向没有得到裂缝信息，但另一个方向得到了该裂缝信息，因此可以通过转换到同一视角下的衍生图像的比较来进行后续的计算。

在步骤S103中，可以针对各二维图像分别衍生生成多个其他视角的图像，简称衍生图像，进而得到多个视觉图像对，每一视觉图像对中包含多个由不同的二维图像衍生生成的同一视角的图像。

在一种实施方式中，各视觉图像对可以由同一视角的二维图像与衍生图像组成。在另外的实施方式中，各视觉图像对可以仅由同一视角的衍生图像组成。

可以理解的是，每一衍生图像均是由其他视角下的二维图像衍生得到的。假设通过三维激光扫描仪得到该高温锻件在C1视角、C2视角、C3视角以及C4视角对应的二维图像，则针对每一视角对应的二维图像，可以对其衍生生成其他视角的衍生图像。比如，针对C2视角的二维图像，可以衍生生成C1视角的衍生图像，C3视角的衍生图像，以及C4视角的衍生图像，对每一二维图像均进行上述处理，便可得到C1视角对应的视角图像对，C2视角对应的视角图像对，C3视角对应的视角图像对以及C4视角对应的视角图像对。

由于每一二维图像均是由对应拍摄视角的三维激光扫描仪进行扫描后得到，因此每一衍生图像也对应一个拍摄视角，也即每一视觉图像对中的各图像均有其对应的拍摄视角，比如上述示例中C3视角的衍生图像对应的拍摄视角为C2视角，C4视角的衍生图像对应的拍摄视角为C2视角，因为这些衍生图像均是由C2视角的二维图像衍生得到的。为便于后续计算，本申请实施例中可以将各视觉图像对中的各图像按照各自对应的拍摄视角，也即三维激光扫描仪的拍摄视角进行排列。

比如，在获取得到高温锻件在多个视角下的三维点云数据之后，可以通过均匀采样的方法，对高温锻件每个面对应的三维点云数据进行采样，然后分别转化对应的二维图像，每个面都有对应的二维图像，每一二维图像均来自不同拍摄视角的三维激光扫描仪，在步骤S103中，可以对每一二维图像通过神经辐射场方法得到多个其他视角下的图像，称之为衍生图像，将视角相同，但由其他不同的二维图像衍生出来的衍生图像作为一个视角图像对，每个视角图像对中有多个相同视角下的衍生图像。

在步骤S104中，可以通过密度聚类算法对视觉图像对中的各图像分别进行聚类得到各图像的聚类区域。需要说明的是，其他的实施例中也可以通过其他聚类算法进行聚类。

对于高温锻件表面的某个区域而言，如果该区域不存在裂缝缺陷，则视角图像对中的不同图像应当较为相近。由于不同位置的三维激光扫描仪得到的是三维激光扫描仪到物体表面的距离信息，而三维激光扫描仪位置不同，因此虽然是同一个表面，但点云数据的高度值不同，不能直接进行比较。而本申请实施例中，并不是将三维点云数据直接进行比较，而是基于视觉图像对中各图像的聚类结果进行比较。由于视觉图像对中的各图像对应的是同一视觉，也即测量的是同一个表面，所以聚类结果受影响较小，即该视觉图像对中某一图像的聚类结果与另一图像的聚类结果相近，避免了值的不同造成的不能直接对图像的值进行比较。

可以理解的是，同一视角图像对中两个图像的相同位置区域的交并比越小，其对应的异常程度越大。因此，本申请实施例中可以通过相邻视角下的交并比的大小对裂缝进行分析。

为便于理解，这里以具体的示例对步骤S105进行说明。

假设在执行步骤S104之后，得到了如图3和图4所示的聚类结果图，图3和图4分别为图像A和图像B的聚类结果图，图像A和图像B为同一视觉图像对中的图像，且图像A对应的拍摄视角和图像B对应的拍摄视角相邻，也即图像B是图像A的位置相邻图像，区域a为图像A的一个聚类区域，区域b为图像B的一个聚类区域，将图像A和图像B叠加，也即如图5所示，对于叠加后的情况，针对各聚类区域，可以得到其对应的连通聚类区域，例如，图5中的中间部分为聚类区域a与聚类区域b之间的交集，对于聚类区域a而言，区域b可称为区域a的连通聚类区域。因此，在步骤S105中，可以计算聚类区域a与连通聚类区域b之间的交并比。

需要说明的是，通常来说，每一聚类区域所属的图像存在多个位置相邻图像，此时，请参见图6所示，步骤S106可以包括如下子步骤：

S1061：针对每一聚类区域，根据该聚类区域与位置相邻图像中各连通聚类区域之间的交并比，从各位置相邻图像中分别确定出与该聚类区域对应的目标连通聚类区域。

S1062：将该聚类区域与多个目标连通聚类区域之间的交并比组成的集合作为与该聚类区域对应的交并比序列；交并比序列中的各交并比按照各自对应的拍摄视角依次排列。

S1063：根据与该聚类区域对应的交并比序列中的最小值，计算该聚类区域的异常程度值。

对于步骤S1061，当某一位置相邻图像中存在至少2个与该聚类区域对应的连通聚类区域时，可以将位置相邻图像中与该聚类区域之间的交并比最大的连通聚类区域作为该位置相邻图像中与该聚类区域对应的目标连通聚类区域。也即，针对每一聚类区域，当其所属图像的某一位置相邻图像中存在至少2个与该聚类区域存在交集的连通聚类区域时，可以分别计算聚类区域与该位置相邻图像中各连通聚类区域之间的交并比，并最大交并比对应的连通聚类区域作为该位置相邻图像中与该聚类区域对应的目标连通区域。可以理解的是，当某一位置相邻图像中仅存在一个与该聚类区域对应的连通聚类区域时，可以直接将该连通聚类区域作为该位置相邻图像中与该聚类区域对应的目标连通区域。

继续以上述示例进行说明，假设图像B上还存在其他与聚类区域a对应的连通聚类区域，则可以计算图像B中各连通聚类区域与聚类区域a之间的交并比，将最大交并比对应的连通聚类区域作为与聚类区域a对应的目标连通聚类区域。

当该聚类区域所属的图像存在多个位置相邻图像时，对于每一位置相邻图像而言，都可得到一个与该聚类图像对应的目标连通聚类区域，在步骤S1062中，将该聚类区域与各目标连通聚类区域之间的交并比组成一个集合，得到与该聚类区域对应的交并比序列。

如果没有裂缝的存在，同一视角下的衍生图像对应的聚类结果应当相近，也即同一视角图像对中的各图像的聚类结果应当相近，由于裂缝的存在导致了较小的交并比的存在，因此可以通过交并比来对裂缝进行检测。因此，在一些实施例中，在得到各聚类区域的交并比序列之后，可以直接以该交并比序列中的最小值作为对应聚类区域的异常程度值，也即，当某一聚类区域对应的最小交并比小于预设交并比阈值时，可以将该区域作为对应视角下的异常区域。或者，也可以针对各视觉图像对，将各视觉图像对对应的交并比中的最小值所对应的聚类区域作为与该视觉图像对对应的视角下的异常区域。

可以理解的是，高温锻件的裂缝区域在相邻拍摄方向的逐渐移动中，异常区域会存在渐变，即某个拍摄方向对应的衍生图像的缺陷最为明显，其它拍摄方向没有该拍摄方向明显程度大，则可理解为缺陷最明显的方向上存在较大的缺陷倾向性，本申请实施例中还可以基于这一性质计算聚类区域的异常程度值。

具体的，在步骤S1063中，可以根据公式 计算聚类区域的异常程度值；该公式的逻辑为：

异常程度值=交并比序列中最小值的较小性*左右侧倾向较大值。

交并比最小值越小，说明其它角度下没有出现，该角度下出现了，是缺陷的概率大；由于交并比序列对应的视角是从某个视角方向开始逐渐移动的，其中某个方向该缺陷最为明显，因此存在倾向性，如果最大倾向性都较小，则为缺陷的概率小，因此用最大倾向性来计算。

其中，表示所述聚类区域的所述异常程度值，/>表示所述聚类区域的所述交并比序列，/>表示所述交并比序列中的最小值，交并比序列中的最小值越小，说明该衍生图像或二维图像对应拍摄方向的图像上探测到了缺陷，该处是裂缝缺陷的概率较大；/> 表示所述交并比序列的左侧形成序列的第一最大主成分方向，pl 表示所述第一最大主成分方向与90°的接近程度，该第一主成分方向越接近90°，对应区域为缺陷区域的概率越大；r表示所述交并比序列的右侧形成序列的第二最大主成分方向，/>表示所述第二最大主成分方向与-90°的接近程度，该第二最大主成分方向越接近-90°，对应区域为缺陷区域的概率越大。

所述左侧形成序列为所述交并比序列中的最大交并比与该最大交并比左侧的元素形成的序列，所述右侧形成序列为所述交并比序列中的最大交并比与该最大交并比右侧的元素形成的序列；所述第一最大主成分方向为将所述左侧形成序列的第一坐标数据作为输入，通过PCA算法计算各所述第一坐标数据对应的第一特征值，最大第一特征值对应的方向为所述第一最大主成分方向；所述第一坐标数据中的横坐标为所述左侧形成序列中对应元素的次序值，所述第一坐标数据中的纵坐标为所述左侧形成序列中对应元素的元素值；所述第二最大主成分方向为将所述右侧形成序列的第二坐标数据作为输入，通过PCA算法计算各所述第二坐标数据对应的第二特征值，最大第二特征值对应的方向为所述第二最大主成分方向；所述第二坐标数据中的横坐标为所述右侧形成序列中对应元素的次序值，所述第二坐标数据中的纵坐标为所述右侧形成序列中对应元素的元素值。由于视角图像对中的图像是通过对应三维激光扫描仪的位置按照位置相邻的顺序进行排列的，因此每个交并比序列也可以是按照该顺序进行排列的，从而可以得到左侧和右侧。

最大主成分方向表示数据在该方向的投影最大，即数据的主要分布方向，由于元素是有顺序的，因此表示数据变化趋势，左侧的最大主成分方向越接近90°，说明交并比从其它位置开始到该点数据呈现增大趋势；右侧交并比呈现减小趋势，说明交并比从该位置开始到其他数据呈现减小趋势。对于裂缝而言，该点即为裂缝位置的性质，该视角下明显程度最大，交并比最大，其它位置由于视角影响，或者交并比较小，甚至没有。

在本申请实施例的步骤S107中，可以通过以下方式中的任意一种确定高温锻件在各视角下对应的异常区域：

方式一：阈值确定法

当某一所述图像中某一所述聚类区域的所述异常程度值大于预设程度阈值时，将所述聚类区域作为所述高温锻件在与所述图像对应的视角下的异常区域。

预设程度阈值可以由开发人员根据实际情况灵活设置，比如可以设置为0.6，将异常程度值大于0.6的聚类区域认为大概率是由于裂缝导致的异常区域。异常程度值小于或等于0.6的聚类区域认为可能是由于拍摄装置的***误差或光照影响导致的。

方式二：最值确定法

将各视觉图像对对应的异常程度值中的最小值所对应的聚类区域作为与所述视觉图像对对应的视角下的异常区域。

每一视觉图像对均对应一个拍摄视角，且每一视觉图像对中的各图像均存在各自的聚类区域，各聚类区域均存在各自的异常程度值，本方式中将这些异常程度值中的最小值所对应的聚类区域作为该拍摄视角下的异常区域。

可以理解的是，在其他的实施例中，还可以通过其他方式确定异常区域。比如，当某一所述图像中某一所述聚类区域的所述异常程度值大于预设程度阈值时，将所述聚类区域作为所述高温锻件在与所述图像对应的视角下的可能异常区域，将同一视角图像对对应的各可能异常区域求交集，将最终得到的所述交集区域作为该视角下对应的异常区域。

请参见图7所示，本申请实施例中的步骤S108可以包括如下子步骤：

S1081：基于各所述异常区域的所述异常三维点云数据构建对应的TIN三角网结构；所述TIN三角网结构中的各节点为所述异常三维点云数据。

通过对高温锻件的每个面进行计算，也即对每个视角进行计算，可以得到所有面的异常区域。同时在降维过程中，可以得到每个异常区域对应的异常三维点云数据，对每个异常区域的异常三维点云数据通过Delaunay方法构建对应的TIN三角网结构。

S1082：基于各所述TIN三角网结构计算对应的所述异常区域的距离参考值。

S1083：基于各所述异常区域对应的所述距离参考值计算采样间隔。

TIN三角网结构中边为两个相连的异常三维点云数据的距离，在步骤S1082中，针对各所述TIN三角网结构，可以分别计算其边长的平均值，将该平均值作为对应的所述异常区域的距离参考值。在一些实施例中，还可以将TIN三角网结构的最短边长作为对应异常区域的距离参考值。

在步骤S1083中，可以将各所述异常区域对应的所述距离参考值中的最小值作为采样间隔。使得采样后数据可以对裂缝缺陷区域的特性进行最好的保留，提升检测结果的准确性和可靠性。

在步骤S109中，可以通过上述计算得到的采样间隔对步骤S101中的三维点云数据进行采样，进而将三维点云数据转化为二维深度图像，通过VGG-NET识别网络识别得到高温锻件表面的缺陷区域。

通过本申请实施例提供的基于三维点云数据的高温锻件表面缺陷实时检测方法，可以由不同位置的二维图像衍生得到多视角图像，基于视角图像对进行比较以确定采样间隔，由于视角图像对中包含多个同一视角的图像，避免了由于视觉不同造成的误差，同时衍生图像中包含的是对应位置图像的信息，进而可以对在某些视角下存在，但某些视角下不明确的裂缝缺陷进行精确检测，保证了最终得到的采样间隔的合理性和可靠性，提高了检测精度。

应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于三维点云数据的高温锻件表面缺陷实时检测方法，其特征在于，所述方法包括：

获取高温锻件在多个视角下的三维点云数据；

将各视角对应的所述三维点云数据转化为二维图像；

针对各所述二维图像分别衍生生成多个其他视角的图像，得到多个视觉图像对；每一所述视觉图像对中包含多个由不同的所述二维图像衍生生成的同一视角的图像；

对所述视觉图像对中的各所述图像分别进行聚类得到各所述图像的聚类区域；

针对每一所述聚类区域，确定其所属图像的位置相邻图像，从所述位置相邻图像中确定出与所述聚类区域存在交集的连通聚类区域，并计算所述聚类区域与所述连通聚类区域之间的交并比；所述图像的位置相邻图像为所述图像所属的视觉图像对中与该图像对应的拍摄视角相邻的拍摄视角所对应的图像；

基于各所述聚类区域对应的所述交并比确定各所述聚类区域的异常程度值；

根据各所述聚类区域的所述异常程度值，确定所述高温锻件在各视角下对应的异常区域；

从所述三维点云数据中确定出与所述异常区域对应的异常三维点云数据，并基于所述异常三维点云数据确定采样间隔；

根据所述采样间隔对所述三维点云数据进行采样，并根据采样得到的数据确定出所述高温锻件表面的缺陷区域；

每一所述聚类区域所属的图像存在多个位置相邻图像，所述基于各所述聚类区域对应的所述交并比确定各所述聚类区域的异常程度值，包括：

针对每一所述聚类区域，根据所述聚类区域与所述位置相邻图像中各所述连通聚类区域之间的交并比，从各所述位置相邻图像中分别确定出与所述聚类区域对应的目标连通聚类区域；

将所述聚类区域与多个所述目标连通聚类区域之间的交并比组成的集合作为与所述聚类区域对应的交并比序列；所述交并比序列中的各所述交并比按照各自对应的拍摄视角依次排列；

根据与所述聚类区域对应的所述交并比序列中的最小值，计算所述聚类区域的异常程度值；

所述针对每一所述聚类区域，根据所述聚类区域与所述位置相邻图像中各所述连通聚类区域之间的交并比，从各所述位置相邻图像中分别确定出与所述聚类区域对应的目标连通聚类区域，包括：

将所述位置相邻图像中与所述聚类区域之间的交并比最大的连通聚类区域作为所述位置相邻图像中与所述聚类区域对应的目标连通聚类区域；

所述根据与所述聚类区域对应的所述交并比序列中的最小值，计算所述聚类区域的异常程度值，包括：

根据公式 计算所述聚类区域的异常程度值；

其中，表示所述聚类区域的所述异常程度值，/>表示所述聚类区域的所述交并比序列，/>表示所述交并比序列中的最小值，/> 表示所述交并比序列的左侧形成序列的第一最大主成分方向，pl 表示所述第一最大主成分方向与90°的接近程度，r表示所述交并比序列的右侧形成序列的第二最大主成分方向，/>表示所述第二最大主成分方向与-90°的接近程度；

所述左侧形成序列为所述交并比序列中的最大交并比与该最大交并比左侧的元素形成的序列，所述右侧形成序列为所述交并比序列中的最大交并比与该最大交并比右侧的元素形成的序列；

所述第一最大主成分方向为将所述左侧形成序列的第一坐标数据作为输入，通过PCA算法计算各所述第一坐标数据对应的第一特征值，最大第一特征值对应的方向为所述第一最大主成分方向；所述第一坐标数据中的横坐标为所述左侧形成序列中对应元素的次序值，所述第一坐标数据中的纵坐标为所述左侧形成序列中对应元素的元素值；

所述第二最大主成分方向为将所述右侧形成序列的第二坐标数据作为输入，通过PCA算法计算各所述第二坐标数据对应的第二特征值，最大第二特征值对应的方向为所述第二最大主成分方向；所述第二坐标数据中的横坐标为所述右侧形成序列中对应元素的次序值，所述第二坐标数据中的纵坐标为所述右侧形成序列中对应元素的元素值。

2.如权利要求1所述的基于三维点云数据的高温锻件表面缺陷实时检测方法，其特征在于，所述获取高温锻件在多个视角下的三维点云数据，包括：

通过旋转三维激光扫描仪的拍摄视角对高温锻件进行三维点云数据的采集，得到多个视角下的三维点云数据。

3.如权利要求1所述的基于三维点云数据的高温锻件表面缺陷实时检测方法，其特征在于，所述对所述视觉图像对中的各所述图像分别进行聚类得到各所述图像的聚类区域，包括：

通过密度聚类算法对所述视觉图像对中的各所述图像分别进行聚类得到各所述图像的聚类区域。

4.如权利要求1-3任一项所述的基于三维点云数据的高温锻件表面缺陷实时检测方法，其特征在于，所述根据各所述聚类区域的所述异常程度值，确定所述高温锻件在各视角下对应的异常区域，包括：

当某一所述图像中某一所述聚类区域的所述异常程度值大于预设程度阈值时，将所述聚类区域作为所述高温锻件在与所述图像对应的视角下的异常区域；

或，

将与各所述视觉图像对对应的所述异常程度值中的最小值所对应的聚类区域作为与所述视觉图像对对应的视角下的异常区域。

5.如权利要求1-3任一项所述的基于三维点云数据的高温锻件表面缺陷实时检测方法，其特征在于，所述从所述三维点云数据中确定出与所述异常区域对应的异常三维点云数据，并基于所述异常三维点云数据确定采样间隔，包括：

基于各所述异常区域的所述异常三维点云数据构建对应的TIN三角网结构；所述TIN三角网结构中的各节点为所述异常三维点云数据；

基于各所述TIN三角网结构计算对应的所述异常区域的距离参考值；

基于各所述异常区域对应的所述距离参考值计算采样间隔。

6.如权利要求5所述的基于三维点云数据的高温锻件表面缺陷实时检测方法，其特征在于，所述基于各所述TIN三角网结构计算对应的所述异常区域的距离参考值，包括：

针对各所述TIN三角网结构，分别计算其边长的平均值，将该平均值作为对应的所述异常区域的距离参考值。

7.如权利要求5所述的基于三维点云数据的高温锻件表面缺陷实时检测方法，其特征在于，所述基于各所述异常区域对应的所述距离参考值计算采样间隔，包括：

将各所述异常区域对应的所述距离参考值中的最小值作为采样间隔。