CN117197010A - 一种在激光熔覆加工中进行工件点云融合的方法及装置 - Google Patents
一种在激光熔覆加工中进行工件点云融合的方法及装置 Download PDFInfo
- Publication number
- CN117197010A CN117197010A CN202311098145.5A CN202311098145A CN117197010A CN 117197010 A CN117197010 A CN 117197010A CN 202311098145 A CN202311098145 A CN 202311098145A CN 117197010 A CN117197010 A CN 117197010A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- image
- workpiece
- fusion
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000004927 fusion Effects 0.000 title claims abstract description 49
- 238000012545 processing Methods 0.000 title claims abstract description 45
- 238000004372 laser cladding Methods 0.000 title claims abstract description 42
- 238000003709 image segmentation Methods 0.000 claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 230000011218 segmentation Effects 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 4
- 238000005520 cutting process Methods 0.000 claims abstract description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 6
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 abstract description 7
- 230000005855 radiation Effects 0.000 abstract description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P10/00—Technologies related to metal processing
- Y02P10/25—Process efficiency
Landscapes
- Image Processing (AREA)
Abstract
本发明公开一种在激光熔覆加工中进行工件点云融合的方法及装置，方法包括：获取待测工件的红外图像和点云深度图像；将点云深度图像与红外图像进行融合处理；搭建和训练基于卷积神经网络的图像分割模型；通过图像分割模型识别融合图像中的高温区，在点云数据上裁剪并去除高温区；分析得到的点云数据，按照离群点剔除、RANSAC平面分割、数据去噪和体素下采样的顺序对其进行预处理；将经过预处理的点云数据按照法向量计算、FPFH特征描述子计算、SAC‑IA粗拼接以及ICP精拼接的顺序来完成点云数据的拼接，得到拼接后工件点云。本发明能够有效降低高温热辐射对主动式光学相机采集数据的影响，实现实时采集激光熔覆加工中工件形状数据，并提高采集速度和准确性。
Description
技术领域
本发明属于智能制造领域，具体涉及一种在激光熔覆加工中进行工件点云融合的方法及装置。
背景技术
激光熔覆作为一种关键的增材制造技术，能够直接成形金属材料、实现功能涂层熔覆，以及修复精密零部件等多种应用。在激光熔覆过程中，实时监测工件表面形状至关重要，因为这可以帮助实时感知工件表面形状并及时调整工艺路径参数，从而避免加工偏差，提高加工精度和效率。
实时检测工件三维形状在激光熔覆加工过程中是一项核心技术。然而，激光熔覆加工过程中存在局部的高温熔池，辐射能量集中在可见光和红外线波段，这对主动式光学相机捕捉反射图案造成影响。在熔池的高温区域，点云数据可能出现缺失或精度降低的问题。尽管现有的一些方法可以用来捕捉激光熔覆加工过程中的工件表面形状，但它们并不能消除局部高温热辐射对工件表面形状采集的干扰，进而影响采集精度和速度。因此，在智能制造技术快速发展的背景下，迫切需要一种能够在激光熔覆加工中实时捕捉工件表面形状的新方法。
发明内容
针对现有技术的不足，本发明提供一种在激光熔覆加工中进行工件点云融合的方法及装置，以实时有效地捕捉工件表面形状。
本发明的目的通过如下的技术方案来实现：
一种在激光熔覆加工中进行工件点云融合的方法，包括以下步骤：
S1：获取待测工件的红外图像和点云深度图像；
S2：将点云深度图像与红外图像进行融合处理；
S3：搭建和训练基于卷积神经网络的图像分割模型；
S4：通过所述图像分割模型识别S2得到的融合图像中的高温区，在点云数据上裁剪并去除高温区；
S5：分析S4得到的点云数据，按照离群点剔除、RANSAC平面分割、数据去噪和体素下采样的顺序对其进行预处理；
S6：将经过S5预处理的点云数据按照法向量计算、FPFH特征描述子计算、SAC-IA粗拼接以及ICP精拼接的顺序来完成点云数据的拼接，得到拼接后工件点云。
进一步地，所述步骤S2具体包括如下子步骤：
将所述红外图像与点云深度图像进行逐像素对应，然后将所述红外图像和点云深度图像的像素点进行叠加，叠加后的像素值Xc计算如下：
Xc＝pXa+qXb
其中，a代表点云深度图像的像素点，b代表红外图像的像素点，Xa代表点云深度图像的像素值，Xb代表红外图像的像素值，p和q代表像素点的权重。
进一步地，所述融合处理还包括：在进行融合操作前，先将红外图像和点云深度图像处理成相同的尺寸。
进一步地，所述步骤S3中：
所述图像分割模型包括编码器和解码器，所述编码器基于DeeplabV3+框架，采用GhostNet作为主干网络进行特征提取；输出步长为4时获得主干网络的浅层特征，输出步长为16时获取主干网络的深层特征；在深层特征上使用多比率空洞卷积ASPP模块，然后在解码器中将特征图经过1x1卷积和上采样处理后与所述浅层特征进行合并；最后，通过3x3卷积和上采样输出分割结果；
所述图像分割模型的训练过程包括：收集激光熔覆加工过程中的红外图像和点云深度图像；将点云深度图像与对应的红外图像进行融合处理；在包含熔池区域的融合图像上逐像素标注温度过高的区域，得到独热编码标签；通过标注后标签和融合图像对所述图像分割模型进行训练。
进一步地，所述S4具体包括如下子步骤：
获取按相机拍摄顺序的多个点云深度图像，同时将得到的融合图像使用训练好的图像分割模型识别高温区域，这些区域代表着激光熔覆加工中的熔池区域；如果识别出高温区域，则使用该区域对对应的点云数据进行裁剪。
进一步地，所述步骤S5包括如下子步骤：
S5.1：计算按相机拍摄顺序的多个裁剪的点云的每个点周围的邻域内点的统计特征，选出稀疏的离群点并剔除；
S5.2：针对原始点云中不需要的平面，使用随机采样一致性RANSAC算法进行平面分割，去除无关部分；
S5.3：对经过平面分割后的点云数据，使用半径滤波去除周围噪声；
S5.4：对S5.3获得的所有点云使用相同比率的体素下采样提高算法效率。
进一步地，所述步骤S6包括如下子步骤：
S6.1：将经过S5预处理后的多个待拼接点云，分别使用PCA主成分分析算法计算点云法线；
S6.2：将按相机拍摄顺序的第一个点云作为参考点云，计算后续第一个点云和参考点云的快速点特征直方图FPFH描述子，使用采样一致性初始对准SAC-IA算法迭代得到初始变换矩阵；
S6.3：使用初始变换矩阵，将后续第一个点云转换到参考点云坐标系下，得到初次变换后的点云；
S6.4：查找参考点云和初次变换后的点云的对应点对，利用随机采样一致性RANSAC算法去除错误点对，然后计算旋转矩阵和平移向量，最小化对应匹配点对之间的均方根误差，实现精拼接；并设置阈值和最多迭代次数，控制精拼接的精度和时间消耗；
S6.5：重复S6.2～S6.5，将后续点云依次拼接到已拼接的点云上，直到全部点云拼接完成。
一种在激光熔覆加工中进行工件点云融合的装置，包括：
图像获取单元：用于获取待测工件的红外图像数据和点云深度图像，分别获取获取工件表面热分布信息和工件表面三维形状信息；
图像融合单元：用于对所述红外图像和点云深度图像进行逐像素对应，并对对应像素点进行加权求和，得到融合图像；融合图像同时具有红外图像的热分布信息和点云深度图像的三维结构信息；
图像分割单元：用于通过图像分割模型分割所述融合图像中的高温区域；
点云处理单元：用于判断每个点云数据点是否落在高温区域内，并对去除高温区的点云数据依次进行离群点剔除、RANSAC平面分割、数据去噪和体素下采样的预处理，将经过S5预处理的点云数据按照法向量计算、FPFH特征描述子计算、SAC-IA粗拼接以及ICP精拼接的顺序来完成点云数据的拼接，得到融合后工件点云。
一种电子设备，该电子设备具有存储模块，该存储模块包括由处理器加载和执行的指令；所述指令使处理器在执行时处理在激光熔覆加工中进行工件点云融合的方法。
一种计算机可读存储介质，该存储介质存储一个或多个程序，所述程序当被处理器执行时，实现在激光熔覆加工中进行工件点云融合的方法。
本发明的有益效果如下：
本发明的在激光熔覆加工中进行工件点云融合的方法，通过将采集的红外图像和点云深度图像进行融合处理，并有效消除高温熔池辐射对主动式光学相机采集的干扰，可以实现对工件表面形状的实时感知，提高采集精度和速度。
附图说明
图1是本发明实施例提供的一种在激光熔覆加工中进行工件点云融合的方法流程图。
图2是本发明实施例提供的图像分割模型的框架图。
图3是本发明实施例提供的点云处理的流程图。
图4是本发明实施例提供的一种在激光熔覆加工中进行工件点云融合的装置示意图。
图5是本发明实施例提供的一种电子设备的示意图。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例的在激光熔覆加工中进行工件点云融合的方法，包括以下步骤：
S1：获取待测工件的红外图像和点云深度图像。
在本实施例中，步骤S1具体为：
获取待测工件的红外图像和点云深度图像。其中，红外图像可以通过热成像仪获得，对于点云深度图像可以利用主动式光学相机，如结构光相机、TOF相机等获得。
S2：将点云深度图像与红外图像进行融合处理。
在本实施例中，步骤S2具体为：
a.将红外图像和点云深度图像处理成相同的尺寸；
b.将红外图像与点云深度图像进行逐像素对应；
c.将红外图像和点云深度图像的像素点进行叠加，叠加后的像素值Xc计算如下：
Xc＝pXa+qXb
其中，a代表点云深度图像的像素点，b代表红外图像的像素点，Xa代表点云深度图像的像素值，Xb代表红外图像的像素值，p和q代表像素点的权重。在本实施例中，p设置为0.4，q设置为0.6。
S3：搭建和训练基于卷积神经网络的图像分割模型。
在本实施例中，所述步骤S3中：
如图2所示，图像分割模型包括编码器和解码器，所述编码器基于DeeplabV3+框架，采用GhostNet作为主干网络进行特征提取；输出步长为4时获得主干网络的浅层特征，输出步长为16时获取主干网络的深层特征；在深层特征上使用多比率空洞卷积ASPP模块，然后在解码器中将特征图经过1x1卷积和上采样处理后与所述浅层特征进行合并；最后，通过3x3卷积和上采样输出分割结果。
图像分割模型的训练过程包括：收集激光熔覆加工过程中的红外图像和点云深度图像；将点云深度图像与对应的红外图像进行融合处理；在包含熔池区域的融合图像上逐像素标注温度过高的区域，得到独热编码标签；通过标注后标签和融合图像对所述图像分割模型进行训练。
在本实施例中，对于网络的输出，使用焦点损失进行训练。
其中(1-pi,j)γ为动态调整因子。W和H分别表示图像的宽度和高度，pi,j表示网络估计(i，j)位置缺陷类的概率，焦点损失函数中动态调整因子设置为2。使用随机梯度下降法进行反向传播更新模型参数，优化器的动量为0.9，权重衰减参数为0.0001，批量大小为8，学习率设置为0.005。
S4：通过图像分割模型识别S2得到的融合图像中的高温区，在点云数据上裁剪并去除高温区。
在本实施例中，步骤S4具体为：
获取按相机拍摄顺序的多个点云深度图像，同时将得到的融合图像使用训练好的图像分割模型识别高温区域，这些区域代表着激光熔覆加工中的熔池区域；如果识别出高温区域，则使用该区域对对应的点云数据进行裁剪。具体地，对于每个点云数据点，如果它所在的位置落在高温区域内，则将该点从点云数据中去除，以保证后续的点云数据处理不受高温区域的影响。
S5：分析S4得到的点云数据，按照离群点剔除、RANSAC平面分割、数据去噪和体素下采样的顺序对其进行预处理。
在本实施例中，步骤S5具体为：
S5.1：计算按相机拍摄顺序的多个裁剪的点云的每个点周围的邻域内点的统计特征，选出稀疏的离群点并剔除；
S5.2：针对原始点云中不需要的平面，使用随机采样一致性RANSAC算法进行平面分割，去除无关部分；
S5.3：对经过平面分割后的点云数据，使用半径滤波去除周围噪声；
S5.4：对S5.3获得的所有点云使用相同比率的体素下采样提高算法效率。
S6：将经过S5预处理的点云数据按照法向量计算、FPFH特征描述子计算、SAC-IA粗拼接以及ICP精拼接的顺序来完成点云数据的拼接，得到拼接后工件点云。
在本实施例中，步骤S6具体为：
S6.1：将经过S5预处理后的多个待拼接点云，分别使用PCA主成分分析算法计算点云法线；
S6.2：将按相机拍摄顺序的第一个点云作为参考点云，计算后续第一个点云和参考点云的快速点特征直方图FPFH描述子，使用采样一致性初始对准SAC-IA算法迭代得到初始变换矩阵；
S6.3：使用初始变换矩阵，将后续第一个点云转换到参考点云坐标系下，得到初次变换后的点云；
S6.4：查找参考点云和初次变换后的点云的对应点对，利用随机采样一致性RANSAC算法去除错误点对，然后计算旋转矩阵和平移向量，最小化对应匹配点对之间的均方根误差，实现精拼接；并设置阈值和最多迭代次数，控制精拼接的精度和时间消耗；
S6.5：重复S6.2～S6.5，将后续点云依次拼接到已拼接的点云上，直到全部点云拼接完成。
另一方面，如图3所示，本发明实施例提供一种在激光熔覆加工中进行工件点云融合的装置，包括图像获取单元401、图像融合单元402、图像分割单元403以及点云处理单元404。
其中，图像获取单元401用于获取待测工件的红外图像数据和点云深度图像，分别获取获取工件表面热分布信息和工件表面三维形状信息。其中，红外图像可以通过热成像仪获得，对于点云深度图像可以利用主动式光学相机，如结构光相机、TOF相机等获得。
图像融合单元402用于对红外图像和点云深度图像进行逐像素对应，并对对应像素点进行加权求和，得到融合图像；融合图像同时具有红外图像的热分布信息和点云深度图像的三维结构信息。
进一步地，图像融合单元402包括：
第一计算子单元4021：用于将红外图像和点云深度图像处理成相同的尺寸；
第二计算子单元4022：用于将红外图像和点云深度图像进行逐像素对应并进行像素点叠加，叠加后的像素值Xc计算如下：
Xc＝pXa+qXb
其中，a代表点云深度图像的像素点，b代表红外图像的像素点，Xa代表点云深度图像的像素值，Xb代表红外图像的像素值，p和q代表像素点的权重。
图像分割单元403用于通过图像分割模型分割所述融合图像中的高温区域。
在本实施例中，图像分割模型采用轻量级的深度学习图像分割模型，关于该模型的描述参见前面方法中有关该模型的介绍。
点云处理单元404的流程图如图4所示，具体包括：
裁剪子单元4041，用于获取按相机拍摄顺序的多个点云数据，同时判断图像分割模型输出图像中是否存在待裁剪区域，如果存在则使用该区域对点云数据进行裁剪。
预处理子单元4042，用于按照离群点剔除、RANSAC平面分割、数据去噪和体素下采样的顺序对所述裁剪后按相机拍摄顺序的多个点云数据进行预处理。
粗配准子单元4043，用于按照法向量计算、FPFH特征描述子计算和SAC-IA算法实现点云变换的顺序对所述预处理后按相机拍摄顺序的多个点云数据进行粗配准。
精配准子单元4044，用于按照查找对应点、RANSAC算法去除错误点对、求解最小化目标函数和判断是否满足终止条件的顺序对所述粗配准后按相机拍摄顺序的多个点云数据进行精配准，同时判断所有点云是否拼接完成。
与上述构思相同，上述图4所示的在激光熔覆加工中进行工件点云融合装置可实现为一电子设备，包括一个或多个存储装置501和处理器502；图5展示了本发明实施例提供的电子设备的结构示意图，存储装置501用于存储一个或多个程序，处理器502可以是一个或多个。所述一个或多个程序将由处理器502执行，从而使得处理器502能够实现本发明中任一项所述的在激光熔覆加工中进行工件点云融合的方法。
该电子设备使用存储装置501存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序和模块，包括本发明实施例中所提供的在激光熔覆加工中进行工件点云融合方法的程序指令/模块，用于实现上述方法实施例中在激光熔覆加工中进行工件点云融合的方法。处理器502可以通过运行存储在存储装置501中的软件程序、指令和模块，实现各种功能应用和数据处理。存储装置501可以由一种或多种不同类型的存储器件组成，例如可采用闪存器件、磁盘存储器件或其他非易失性固态存储器件。此外，存储装置501还可以包括通过网络连接至设备的远程存储器，这些网络的实例包括但不限于局域网、互联网、移动通信网及其组合。
当上述电子设备所包括的一个或多个程序被所述一个或多个处理器502执行时，程序进行上述步骤S1～S6。
在本发明实施例中，还提供了一种计算机可读的存储介质，该存储介质用于存储一个或多个程序。所述程序在被处理器执行时，实现上述一种在激光熔覆加工中进行工件点云融合的方法部分中描述的根据本发明各种示例性实施方式的步骤。
在本发明中，所述在激光熔覆加工中进行工件点云融合设备集成的模块/单元如果以软件功能单元的形式实现时，可以存储在一个计算机可读取存储介质中。该模块/单元可以通过计算机程序指令相关硬件来实现。所述计算机程序包括计算机程序代码，可以以源代码形式、对象代码形式、可执行文件等形式存储于计算机可读存储介质中。计算机可读存储介质可以包括任何能够携带所述计算机程序代码的实体或装置，例如便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑盘只读存储器(CD-ROM)或其他光学、磁性存储介质。当所述处理器执行所述程序时，可以实现本发明各个实施例方法的步骤。
前述各实施例提供的电子设备和计算机可读存储介质，获取待测工件的红外图像和点云深度图像，并进行融合处理，实现深度特征和温度信息的融合。通过对融合后的图像进行分割，检测出受高温热辐射干扰的区域，并去除这些区域，完成点云片的拼接融合，有效地降低了高温热辐射对主动式光学相机采集数据的影响。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。
Claims (10)
1.一种在激光熔覆加工中进行工件点云融合的方法，其特征在于，包括以下步骤：
S1：获取待测工件的红外图像和点云深度图像；
S2：将点云深度图像与红外图像进行融合处理；
S3：搭建和训练基于卷积神经网络的图像分割模型；
S4：通过所述图像分割模型识别S2得到的融合图像中的高温区，在点云数据上裁剪并去除高温区；
S5：分析S4得到的点云数据，按照离群点剔除、RANSAC平面分割、数据去噪和体素下采样的顺序对其进行预处理；
S6：将经过S5预处理的点云数据按照法向量计算、FPFH特征描述子计算、SAC-IA粗拼接以及ICP精拼接的顺序来完成点云数据的拼接，得到拼接后工件点云。
2.根据权利要求1所述的在激光熔覆加工中进行工件点云融合的方法，其特征在于，所述步骤S2具体包括如下子步骤：
将所述红外图像与点云深度图像进行逐像素对应，然后将所述红外图像和点云深度图像的像素点进行叠加，叠加后的像素值Xc计算如下：
Xc＝pXa+qXb
其中，a代表点云深度图像的像素点，b代表红外图像的像素点，Xa代表点云深度图像的像素值，Xb代表红外图像的像素值，p和q代表像素点的权重。
3.根据权利要求2所述的在激光熔覆加工中进行工件点云融合的方法，其特征在于，所述融合处理还包括：在进行融合操作前，先将红外图像和点云深度图像处理成相同的尺寸。
4.根据权利要求2所述的在激光熔覆加工中进行工件点云融合的方法，其特征在于，所述步骤S3中：
所述图像分割模型包括编码器和解码器，所述编码器基于DeeplabV3+框架，采用GhostNet作为主干网络进行特征提取；输出步长为4时获得主干网络的浅层特征，输出步长为16时获取主干网络的深层特征；在深层特征上使用多比率空洞卷积ASPP模块，然后在解码器中将特征图经过1x1卷积和上采样处理后与所述浅层特征进行合并；最后，通过3x3卷积和上采样输出分割结果；
所述图像分割模型的训练过程包括：收集激光熔覆加工过程中的红外图像和点云深度图像；将点云深度图像与对应的红外图像进行融合处理；在包含熔池区域的融合图像上逐像素标注温度过高的区域，得到独热编码标签；通过标注后标签和融合图像对所述图像分割模型进行训练。
5.根据权利要求1所述的在激光熔覆加工中进行工件点云融合的方法，其特征在于，所述S4具体包括如下子步骤：
获取按相机拍摄顺序的多个点云深度图像，同时将得到的融合图像使用训练好的图像分割模型识别高温区域，这些区域代表着激光熔覆加工中的熔池区域；如果识别出高温区域，则使用该区域对对应的点云数据进行裁剪。
6.根据权利要求1所述的在激光熔覆加工中进行工件点云融合的方法，其特征在于，所述步骤S5包括如下子步骤：
S5.1：计算按相机拍摄顺序的多个裁剪的点云的每个点周围的邻域内点的统计特征，选出稀疏的离群点并剔除；
S5.2：针对原始点云中不需要的平面，使用随机采样一致性RANSAC算法进行平面分割，去除无关部分；
S5.3：对经过平面分割后的点云数据，使用半径滤波去除周围噪声；
S5.4：对S5.3获得的所有点云使用相同比率的体素下采样提高算法效率。
7.根据权利要求1所述的在激光熔覆加工中进行工件点云融合的方法，其特征在于，所述步骤S6包括如下子步骤：
S6.1：将经过S5预处理后的多个待拼接点云，分别使用PCA主成分分析算法计算点云法线；
S6.2：将按相机拍摄顺序的第一个点云作为参考点云，计算后续第一个点云和参考点云的快速点特征直方图FPFH描述子，使用采样一致性初始对准SAC-IA算法迭代得到初始变换矩阵；
S6.3：使用初始变换矩阵，将后续第一个点云转换到参考点云坐标系下，得到初次变换后的点云；
S6.4：查找参考点云和初次变换后的点云的对应点对，利用随机采样一致性RANSAC算法去除错误点对，然后计算旋转矩阵和平移向量，最小化对应匹配点对之间的均方根误差，实现精拼接；并设置阈值和最多迭代次数，控制精拼接的精度和时间消耗；
S6.5：重复S6.2～S6.5，将后续点云依次拼接到已拼接的点云上，直到全部点云拼接完成。
8.一种在激光熔覆加工中进行工件点云融合的装置，其特征在于，包括：
图像获取单元：用于获取待测工件的红外图像数据和点云深度图像，分别获取获取工件表面热分布信息和工件表面三维形状信息；
图像融合单元：用于对所述红外图像和点云深度图像进行逐像素对应，并对对应像素点进行加权求和，得到融合图像；融合图像同时具有红外图像的热分布信息和点云深度图像的三维结构信息；
图像分割单元：用于通过图像分割模型分割所述融合图像中的高温区域；
点云处理单元：用于判断每个点云数据点是否落在高温区域内，并对去除高温区的点云数据依次进行离群点剔除、RANSAC平面分割、数据去噪和体素下采样的预处理，将经过S5预处理的点云数据按照法向量计算、FPFH特征描述子计算、SAC-IA粗拼接以及ICP精拼接的顺序来完成点云数据的拼接，得到融合后工件点云。
9.一种电子设备，该电子设备具有存储模块，该存储模块包括由处理器加载和执行的指令；所述指令使处理器在执行时处理权利要求1～7中任意一项所述的在激光熔覆加工中进行工件点云融合的方法。
10.一种计算机可读存储介质，该存储介质存储一个或多个程序，其特征在于，所述程序当被处理器执行时，实现权利要求1-7任一项所述的在激光熔覆加工中进行工件点云融合的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311098145.5A CN117197010A (zh) | 2023-08-29 | 2023-08-29 | 一种在激光熔覆加工中进行工件点云融合的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311098145.5A CN117197010A (zh) | 2023-08-29 | 2023-08-29 | 一种在激光熔覆加工中进行工件点云融合的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117197010A true CN117197010A (zh) | 2023-12-08 |
Family
ID=88997188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311098145.5A Pending CN117197010A (zh) | 2023-08-29 | 2023-08-29 | 一种在激光熔覆加工中进行工件点云融合的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197010A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117911829A (zh) * | 2024-03-15 | 2024-04-19 | 山东商业职业技术学院 | 车辆导航的点云图像融合方法及*** |
-
2023
- 2023-08-29 CN CN202311098145.5A patent/CN117197010A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117911829A (zh) * | 2024-03-15 | 2024-04-19 | 山东商业职业技术学院 | 车辆导航的点云图像融合方法及*** |
| CN117911829B (zh) * | 2024-03-15 | 2024-05-31 | 山东商业职业技术学院 | 车辆导航的点云图像融合方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111080693A (zh) | 一种基于YOLOv3的机器人自主分类抓取方法 | |
| CN102708552B (zh) | 一种快速二维条码图像运动去模糊方法 | |
| Kang et al. | Deep learning-based weather image recognition | |
| CN102169581A (zh) | 一种基于特征向量的快速高精度鲁棒性匹配方法 | |
| CN117197010A (zh) | 一种在激光熔覆加工中进行工件点云融合的方法及装置 | |
| CN114049356B (zh) | 一种结构表观裂缝检测方法、装置及*** | |
| CN113989604A (zh) | 基于端到端深度学习的轮胎dot信息识别方法 | |
| CN113554587B (zh) | 一种基于深度学习的熔池图像几何特征提取方法及*** | |
| CN109085178A (zh) | 一种用于增材制造的缺陷指纹精确在线监测方法和反馈策略 | |
| CN115908988B (zh) | 一种缺陷检测模型生成方法、装置、设备以及存储介质 | |
| CN111753572A (zh) | 一种基于深度学习的复杂背景低质量二维条码检测方法 | |
| CN116246119A (zh) | 3d目标检测方法、电子设备及存储介质 | |
| CN115719445A (zh) | 一种基于深度学习和树莓派4b模块的海产品识别方法 | |
| CN113705564B (zh) | 一种指针式仪表识别读数方法 | |
| CN111178405A (zh) | 一种融合多种神经网络的相似物体识别方法 | |
| CN116152685B (zh) | 一种基于无人机视野下行人检测方法及*** | |
| Shit et al. | An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection | |
| Huang et al. | Crack detection of masonry structure based on thermal and visible image fusion and semantic segmentation | |
| Chen et al. | Plane segmentation for a building roof combining deep learning and the RANSAC method from a 3D point cloud | |
| Wang et al. | MeDERT: A metal surface defect detection model | |
| CN114758139B (zh) | 基坑积水检测方法 | |
| CN113449554B (zh) | 一种目标检测识别方法及*** | |
| CN112364783B (zh) | 一种零件检测方法、装置及计算机可读存储介质 | |
| Guo et al. | AWF-YOLO: enhanced underwater object detection with adaptive weighted feature pyramid network | |
| Zheng et al. | Research on Algorithm of Light Strip Center Extraction Based on Deep Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |