CN116542914A - 基于3d点云的焊缝提取与拟合方法 - Google Patents

基于3d点云的焊缝提取与拟合方法 Download PDF

Info

Publication number
CN116542914A
CN116542914A CN202310405726.2A CN202310405726A CN116542914A CN 116542914 A CN116542914 A CN 116542914A CN 202310405726 A CN202310405726 A CN 202310405726A CN 116542914 A CN116542914 A CN 116542914A
Authority
CN
China
Prior art keywords
point cloud
point
welding
weld
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310405726.2A
Other languages
English (en)
Inventor
叶锦华
林炜盛
黄斯凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202310405726.2A priority Critical patent/CN116542914A/zh
Publication of CN116542914A publication Critical patent/CN116542914A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明的目的在于提供一种基于3D点云的焊缝提取与拟合方法，基于线结构光相机获取点云；对点云数据进行包含点云拼接、统计滤波、直通截取、均匀采样在内的预处理操作，提取焊接工件的点云数据；对上述工件点云使用移动最小二乘法拟合三阶曲面计算每点的主曲率；通过设定阈值，识别出曲率值满足要求的潜在焊缝点云；通过与CAD模型导出的标准点云进行ICP配准，剔除其他轮廓线的点，提取出所需的焊缝点云；将焊缝点云坐标转换到机器人的基坐标系下，并进行B样条拟合，得到焊缝轨迹。应用本发明方法不需要手动示教即可获取复杂焊缝的空间轨迹，且具有提取速度快，轨迹准确等优点，适合于角接、搭接等焊缝类型。

Description

基于3D点云的焊缝提取与拟合方法
技术领域
本发明属于自动化焊接技术领域，具体涉及一种基于3D点云的焊缝提取与拟合方法。
背景技术
焊接是工业生产制造过程中极重要的步骤之一。由于焊接是一项工作强度大、工作环境恶劣、对工人技术要求较高的工作，焊接自动化技术对提高生产效率和保护工人身体健康都具有重大意义。
如今，生产线上使用的焊接机器人工作方式大部分都是示教编程焊接。示教编程，即操作人员通过示教器，手动控制机器人的关节运动，以使机器人运动到预定的位置，同时将该位置进行记录，并传递到机器人控制器中，之后的机器人可根据指令自动重复该任务。但示教在线编程过程繁琐、效率低。精度完全是靠示教者的目测决定。目前也有少部分焊接机器人采用离线编程。离线编程，通过在计算机上模拟仿真编程，但精度得不到保证，还是需要在示教编程上进行一定的修正。
实际生产中，工件上的焊缝多是复杂的。而对于示教编程焊接，若焊缝形状比较复杂，则需要进行多次示教操作，增大了工作量，严重降低了工厂的生产效率。为了提高焊接的自动化程度，提高生产效率，缩短生产时间，焊缝自动提取技术随之发展，通过自动提取空间焊缝，为自动化编程提供支撑，避免了繁琐耗时的示教过程。当三维空间曲线焊缝形状较为复杂、不规则，若使用人工示教编程则需要示教的路径点较多、示教精度较大程度上取决于操作员的经验和水平、效率低下，焊接质量无法得到保证。这时自动对焊缝进行提取与拟合的优势尤为突出。
目前传统的焊缝提取技术都得益于二维机器视觉技术的发展。但传统的基于二维视觉的技术受背景环境的影响比较大，且工件表面的氧化程度、光照强度及角度都会对焊缝提取效果造成一定的影响。而且二维视觉的定位精度受相机的标定精度影响比较大。采用结构光相机获取点云数据，能够获取高精度的三维空间坐标数据，能够很好的表征工件的表面与形状，是获取高精度焊缝的有力基础。研究结构光相机获取点云数据并与机器人结合应用到焊接领域，是焊接机器人技术的一个重要且有前景的研究方向。
发明内容
针对现有技术所存在的问题和待改进之处，本发明提供一种基于3D点云的焊缝提取与拟合方法，涉及针对角接焊缝和搭接焊缝的焊缝提取，能够实现高精度且快速的提取焊缝轨迹，并基于二维视觉方法所难以完成的对焊缝起始点和末尾点的准确定位，本发明提取角接焊缝和搭接焊缝时精度高且快速，只需提供焊接工件的三维模型就可以快速地获取焊缝轨迹，可以提高工业生产制造的效率，具有识别准确、自动化程度高、计算快速等优点。
其基本方案包括：基于线结构光相机获取点云；对点云数据进行包含点云拼接、统计滤波、直通截取、均匀采样在内的预处理操作，提取焊接工件的点云数据；对上述工件点云使用移动最小二乘法拟合三阶曲面计算每点的主曲率；通过设定阈值，识别出曲率值满足要求的潜在焊缝点云；通过与CAD模型导出的标准点云进行ICP配准，剔除其他轮廓线的点，提取出所需的焊缝点云；将焊缝点云坐标转换到机器人的基坐标系下，并进行B样条拟合，得到焊缝轨迹。应用本发明方法不需要手动示教即可获取复杂焊缝的空间轨迹，且具有提取速度快，轨迹准确等优点，适合于角接、搭接等焊缝类型。
本发明解决其技术问题具体采用的技术方案是：
一种基于3D点云的焊缝提取与拟合方法，包括以下步骤：
步骤S1：获取相机坐标系到机器人基座标系的转换矩阵Tctob；
步骤S2：通过多姿态拍摄获取点云数据；
步骤S3：对点云数据进行点云预处理：通过点云拼接、统计滤波、直通截取、均匀采样，提取焊接工件的点云数据；
步骤S4：潜在焊缝点识别：使用曲率特征筛选点云，利用移动最小二乘法拟合三阶曲面计算每个点的主曲率，通过调整和设定阈值，识别出潜在的焊缝点；
步骤S5：焊缝提取：通过将步骤S4所得的点云与工件焊缝三维模型采样获得的点云进行点云ICP配准，确定实际的焊缝点云；
步骤S6：焊缝轨迹拟合：通过转换矩阵，将焊缝点云转换至机器人的坐标系下，并对点云数据进行B样条拟合，得到焊缝轨迹。
进一步地，在步骤S1中，通过线结构光相机手眼标定，获取相机坐标系到机器人基座标系的转换矩阵。
具体地，利用眼在手上的安装方式，将相机固定在机械臂末端，将标定板固定在焊台上，相机在机械臂多个不同位姿下拍摄标定板的图片，通过输入机械臂末端位姿，计算相机坐标系到机械臂基坐标系的位姿转换矩阵Rctob，然后多姿态拍摄获取点云数据，并记录拍摄时的位姿矩阵，用于后续预处理的拼接操作。
进一步地，在步骤S2中，通过多姿态拍摄从线结构光相机获取点云数据。
进一步地，步骤S3具体包括以下步骤：
步骤S31：进行点云拼接：记录多姿态获取点云数据时机械臂的位姿矩阵，计算位姿变换矩阵，将点云数据乘以位姿变换矩阵，得到同一个坐标系下多个角度拍摄得到的焊接工件的完整点云:
其中Di是第i个点的k近邻的平均距离，Smax为距离阈值；
步骤S32：进行统计滤波：构建kd-tree用以近邻搜索，设近邻搜索的点数为k，计算整个点云全局的距离平均值和标准差，计算任意点的k近邻的平均距离，将k近邻的平均距离值不在由全局距离平均值和标准差构成的距离阈值内的点标记为离群点；再将离群点剔除，以达到去除***噪声的效果；
步骤S33：进行直通截取：设置机械手上的相机与焊台上焊接工件之间的距离范围，剔除坐标值在范围之外的点，得到焊接工件的点云：
其中Xl、Xh、Yl、Yh、Zl、Zh分别表示值域在X、Y、Z轴三个方向上的最小值和最大值，xi、yi、zi表示点云中第i个点的x、y、z坐标；
步骤S34：进行均匀采样：设置半径r，以半径为r的球体对点云空间进行划分，在当前球体所有点中选择距离球体中心最近的点替代球体内所有点。
该步骤通过点云拼接将多幅不完整的含有工件及背景的原始点云拼接成一个包含完整工件的点云；通过统计滤波去除***噪声离群点；通过直通截取去除背景及焊台，以获得工件点云；通过均匀采样在不改变点云数据的前提下降低点云密度。
进一步地，步骤S4使用曲率作为特征识别潜在焊缝点，且使用移动最小二乘法拟合出局部三阶曲面来计算点的曲率值，具体包括以下步骤：
步骤S41：构建kd-tree，对每个点进行k近邻搜索，利用搜索获得的结果计算出该点的法向量，以该向量为z轴构建局部坐标系；
步骤S42：在局部坐标系下对k近邻搜索获得的点进行三阶曲面的拟合，拟合出三阶曲面之后，将当前点投影至曲面上，并计算出投影点的曲率值；曲率计算方式如下式所示：
其中hu、hv、huu、hvv、huv分别代表曲面多項式在u、v两个方向上的偏微分；
步骤S43：对每个点执行步骤S41、步骤S42，得到每个点的曲率，通过设置曲率阈值，识别出潜在的焊缝点。
进一步地，步骤S5具体包括以下步骤：
步骤S51：对焊接工件的理想三维模型与标识焊缝的三维模型分别进行采样，得到理想工件点云MC1与焊缝模型点云MC2；
步骤S52：将实际焊接工件的点云C0与焊接工件的理想三维模型点云MC1进行ICP配准，得到坐标变换矩阵T，使用所述变换矩阵T将焊缝模型点云MC2变换到实际焊接工件点云的坐标系下，得到新的焊缝模型点云MC2’；
步骤S53：设置距离阈值，通过遍历步骤S4得到的潜在焊缝点C4，计算每个潜在焊缝点与新的焊缝模型点云MC2’中最近点的距离，保留距离小于阈值的潜在焊缝点，去除其余点，得到实际的焊缝点云C5。
进一步地，步骤S6对焊缝点云C5进行三次B样条拟合，具体包括以下步骤：
步骤S61：使用步骤S1获得的转换矩阵Tctob将焊缝点云C5转换至机器人的坐标系下，得到点云C6，对点云C6按X坐标进行重新排序，并确定三阶B样条的基函数：
步骤S62：对重新排序后的C6点云进行三次B样条曲线的分段拟合，最终完成对焊缝的提取与拟合工作。
相比于现有技术，本发明及其优选方案使用结构光相机获取点云数据来进行全自动的焊缝提取与拟合，具体通过点云拼接将多幅不完整的含有工件及背景的原始点云拼接成一个包含完整工件的点云，通过统计滤波去除***噪声离群点，通过直通截取去除背景及焊台以获得工件点云，通过均匀采样在不改变点云数据的前提下降低点云密度，通过移动最小二乘法拟合三阶曲面来求出每个点的曲率并设定曲率阈值来筛选潜在点，通过与三维模型标准点云进行ICP配准来自动地提取出焊缝点，通过转换矩阵将焊缝点转换到机器人基座标系下，而后进行三阶B样条拟合，完成了焊缝的识别提取与轨迹拟合。
其全程不需要人工示教，只需通过结构光相机对焊接工件进行拍照即可提取出焊缝轨迹，为焊接机器人后续的轨迹规划提供了良好基础，省略了手动示教这一极耗时间的过程，适合应用于工业生产线，具有高效、高精度、快速等优点。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
图1为本发明实施例的总体流程图；
图2为本发明实施例进行点云数据获取的示意图；
图3为本发明实施例实施例所用工件的三维模型图；
图4为本发明实施例进行焊缝提取与拟合方法的详细流程图。
具体实施方式
为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本说明书使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本实施例提供的一种基于3D点云的焊缝提取与拟合方法，其处理过程如图1、图4所示，包括以下步骤：
步骤S1：线结构光相机(如RVX系列相机)手眼标定，获取相机坐标系到机器人基座标系的转换矩阵Tctob；
步骤S2：如图2所示，进行多姿态拍摄，从线结构光相机获取点云数据；
步骤S3：对点云数据进行点云预处理，通过点云拼接、统计滤波、直通截取、均匀采样，获取焊接工件的点云数据；
步骤S4：潜在焊缝点识别，使用曲率特征筛选点云，利用移动最小二乘法拟合三阶曲面计算每个点的主曲率，通过设定合适阈值，识别出潜在的焊缝点；
步骤S5：焊缝提取，通过将上述步骤S4所得的点云与如图3所示的工件焊缝三维模型采样获得的点云，两者进行点云ICP配准，确定实际的焊缝点云；
步骤S6：焊缝轨迹拟合，通过转换矩阵，将焊缝点云转换至机器人的坐标系下，并对点云数据进行B样条拟合，得到焊缝轨迹。
在本实施例中，对于步骤S1，利用眼在手上的安装方式，将相机固定在机械臂末端，将标定板固定在焊台上，相机在机械臂多个不同位姿下拍摄标定板的图片，通过输入机械臂末端位姿，计算相机坐标系到机械臂基坐标系的位姿转换矩阵Rctob，然后多姿态拍摄获取点云数据，并记录拍摄时的位姿矩阵，后续用于预处理的拼接操作。
对于步骤S3，对点云数据进行预处理，通过点云拼接、统计滤波、直通截取、均匀采样，从原始的多个点云中获取焊接工件的点云数据，具体为：通过点云拼接将多幅不完整的含有工件及背景的原始点云拼接成一个包含完整工件的点云；通过统计滤波去除***噪声离群点；通过直通截取去除背景及焊台，以获得工件点云；通过均匀采样在不改变点云数据的前提下降低点云密度。
步骤S3的实现具体包括以下步骤：
步骤S31：进行点云拼接，记录多姿态获取点云数据时机械臂的位姿矩阵，计算位姿变换矩阵，将点云数据乘上位姿变换矩阵，得到同一个坐标系下多个角度拍摄得到的焊接工件的完整点云C0。
步骤S32：进行统计滤波，引入C0，得到去除***噪声离群点的点云C1：构建kd-tree用以近邻搜索，设置近邻搜索的点数为k，此实施例中设置k为50，计算整个点云全局的距离平均值和标准差，计算任意点的k近邻的平均距离，将k近邻的平均距离值不在由全局距离平均值和标准差构成的距离阈值内的点标记为离群点，将离群点剔除，达到去除***噪声的效果。
其中Di是第i个点的k近邻的平均距离，Smax为距离阈值。
步骤S33：进行直通截取，引入C1，得到焊接工件点云C2：设置机械手上的相机与焊台上焊接工件之间的大致距离范围，剔除坐标值在范围之外的点，得到焊接工件的点云。此一个应用实例中Xl、Xh、Yl、Yh、Zl、Zh分别设置为50mm、200mm、350mm、420mm、0mm、200mm。
其中Xl、Xh、Yl、Yh、Zl、Zh分别表示值域在X、Y、Z轴三个方向上的最小值和最大值，xi、yi、zi表示点云中第i个点的x、y、z坐标。
步骤S34：进行均匀采样，引入C2，得到降低点云密度之后的C3：设置半径r，此实施例中r设置为1.5mm，以半径为r的球体对点云空间进行划分，在当前球体所有点中选择距离球体中心最近的点替代球体内所有点，在保持点云本身结构且不改变点云坐标值的情况下，大大减少了点的数量。
优选地，步骤S4的实现具体包括以下步骤：
步骤S41：构建kd-tree，引入C3，对每个点进行k近邻搜索，此实施例中步骤S4的k设置为20，利用搜索出来的结果计算出该点的法向量，以该向量为z轴构建局部坐标系。
步骤S42：在局部坐标系下对k近邻搜索出来的点进行三阶曲面的拟合，拟合出三阶曲面之后，将当前点投影至曲面上，并计算出投影点的曲率值。曲率计算方式如下式所示：
其中hu、hv、huu、hvv、huv分别代表曲面多項式在u、v两个方向上的偏微分
步骤S43：对每个点进行步骤S41、步骤S42，得到每个点的曲率，通过设置曲率阈值，识别出潜在的焊缝点C4，此实施例中曲率阈值设置为0.8。
优选地，步骤S5的实现具体包括以下步骤：
步骤S51：对焊接工件的理想三维模型与标识焊缝的三维模型都进行采样，得到理想工件点云MC1与焊缝模型点云MC2。
步骤S52：引入C0，将实际焊接工件的点云C0与焊接工件的理想三维模型点云MC1两者进行ICP配准，得到一个坐标变换矩阵T，使用这个变换矩阵T将焊缝模型点云MC2变换到实际焊接工件点云的坐标系下，得到新的焊缝模型点云MC2’。
步骤S53：设置距离阈值，引入C4，遍历步骤S4得到的潜在焊缝点C4，计算每个潜在焊缝点与新的焊缝模型点云MC2’中最近点的距离，保留距离小于阈值的潜在焊缝点，去除其余点，得到实际的焊缝点云C5，此实施例中距离阈值设置为2mm。
优选地，步骤S6对焊缝点云C5进行三次B样条拟合，具体实现包括以下步骤：
步骤S61：引入C5，使用步骤S1获得的矩阵Tctob将焊缝点云C5转换至机器人的坐标系下，得到点云C6，对点云C6按X坐标进行重新排序，并确定三阶B样条的基函数。基函数如下：
步骤S62：对上述重新排序后的C6点云进行三次B样条曲线的分段拟合。最终完成对焊缝的提取与拟合工作。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于3D点云的焊缝提取与拟合方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (7)

1.一种基于3D点云的焊缝提取与拟合方法，其特征在于，包括以下步骤：
步骤S1：获取相机坐标系到机器人基座标系的转换矩阵Tctob；
步骤S2：通过多姿态拍摄获取点云数据；
步骤S3：对点云数据进行点云预处理：通过点云拼接、统计滤波、直通截取、均匀采样，提取焊接工件的点云数据；
步骤S4：潜在焊缝点识别：使用曲率特征筛选点云，利用移动最小二乘法拟合三阶曲面计算每个点的主曲率，通过调整和设定阈值，识别出潜在的焊缝点；
步骤S5：焊缝提取：通过将步骤S4所得的点云与工件焊缝三维模型采样获得的点云进行点云ICP配准，确定实际的焊缝点云；
步骤S6：焊缝轨迹拟合：通过转换矩阵，将焊缝点云转换至机器人的坐标系下，并对点云数据进行B样条拟合，得到焊缝轨迹。
2.根据权利要求1所述的基于3D点云的焊缝提取与拟合方法，其特征在于：在步骤S1中，通过线结构光相机手眼标定，获取相机坐标系到机器人基座标系的转换矩阵。
3.根据权利要求1所述的基于3D点云的焊缝提取与拟合方法，其特征在于，在步骤S2中，通过多姿态拍摄从线结构光相机获取点云数据。
4.根据权利要求1所述的基于3D点云的焊缝提取与拟合方法，其特征在于：
步骤S3具体包括以下步骤：
步骤S31：进行点云拼接：记录多姿态获取点云数据时机械臂的位姿矩阵，计算位姿变换矩阵，将点云数据乘以位姿变换矩阵，得到同一个坐标系下多个角度拍摄得到的焊接工件的完整点云:
其中Di是第i个点的k近邻的平均距离，Smax为距离阈值；
步骤S32：进行统计滤波：构建kd-tree用以近邻搜索，设近邻搜索的点数为k，计算整个点云全局的距离平均值和标准差，计算任意点的k近邻的平均距离，将k近邻的平均距离值不在由全局距离平均值和标准差构成的距离阈值内的点标记为离群点；再将离群点剔除，以达到去除***噪声的效果；
步骤S33：进行直通截取：设置机械手上的相机与焊台上焊接工件之间的距离范围，剔除坐标值在范围之外的点，得到焊接工件的点云：
其中Xl、Xh、Yl、Yh、Zl、Zh分别表示值域在X、Y、Z轴三个方向上的最小值和最大值，xi、yi、zi表示点云中第i个点的x、y、z坐标；
步骤S34：进行均匀采样：设置半径r，以半径为r的球体对点云空间进行划分，在当前球体所有点中选择距离球体中心最近的点替代球体内所有点。
5.根据权利要求1所述的基于3D点云的焊缝提取与拟合方法，其特征在于：
步骤S4使用曲率作为特征识别潜在焊缝点，且使用移动最小二乘法拟合出局部三阶曲面来计算点的曲率值，具体包括以下步骤：
步骤S41：构建kd-tree，对每个点进行k近邻搜索，利用搜索获得的结果计算出该点的法向量，以该向量为z轴构建局部坐标系；
步骤S42：在局部坐标系下对k近邻搜索获得的点进行三阶曲面的拟合，拟合出三阶曲面之后，将当前点投影至曲面上，并计算出投影点的曲率值；曲率计算方式如下式所示：
其中hu、hv、huu、hvv、huv分别代表曲面多項式在u、v两个方向上的偏微分；
步骤S43：对每个点执行步骤S41、步骤S42，得到每个点的曲率，通过设置曲率阈值，识别出潜在的焊缝点。
6.根据权利要求1所述的基于3D点云的焊缝提取与拟合方法，其特征在于：
步骤S5具体包括以下步骤：
步骤S51：对焊接工件的理想三维模型与标识焊缝的三维模型分别进行采样，得到理想工件点云MC1与焊缝模型点云MC2；
步骤S52：将实际焊接工件的点云C0与焊接工件的理想三维模型点云MC1进行ICP配准，得到坐标变换矩阵T，使用所述变换矩阵T将焊缝模型点云MC2变换到实际焊接工件点云的坐标系下，得到新的焊缝模型点云MC2，；
步骤S53：设置距离阈值，通过遍历步骤S4得到的潜在焊缝点C4，计算每个潜在焊缝点与新的焊缝模型点云MC2，中最近点的距离，保留距离小于阈值的潜在焊缝点，去除其余点，得到实际的焊缝点云C5。
7.根据权利要求1所述的基于3D点云的焊缝提取与拟合方法，其特征在于：
步骤S6对焊缝点云C5进行三次B样条拟合，具体包括以下步骤：
步骤S61：使用步骤S1获得的转换矩阵Tctob将焊缝点云C5转换至机器人的坐标系下，得到点云C6，对点云C6按X坐标进行重新排序，并确定三阶B样条的基函数：
步骤S62：对重新排序后的C6点云进行三次B样条曲线的分段拟合，最终完成对焊缝的提取与拟合工作。
CN202310405726.2A 2023-04-17 2023-04-17 基于3d点云的焊缝提取与拟合方法 Pending CN116542914A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310405726.2A CN116542914A (zh) 2023-04-17 2023-04-17 基于3d点云的焊缝提取与拟合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310405726.2A CN116542914A (zh) 2023-04-17 2023-04-17 基于3d点云的焊缝提取与拟合方法

Publications (1)

Publication Number Publication Date
CN116542914A true CN116542914A (zh) 2023-08-04

Family

ID=87442644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310405726.2A Pending CN116542914A (zh) 2023-04-17 2023-04-17 基于3d点云的焊缝提取与拟合方法

Country Status (1)

Country Link
CN (1) CN116542914A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117226855A (zh) * 2023-11-15 2023-12-15 泉州华中科技大学智能制造研究院 一种基于三维点云的焊缝打磨轨迹规划方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117226855A (zh) * 2023-11-15 2023-12-15 泉州华中科技大学智能制造研究院 一种基于三维点云的焊缝打磨轨迹规划方法
CN117226855B (zh) * 2023-11-15 2024-03-15 泉州华中科技大学智能制造研究院 一种基于三维点云的焊缝打磨轨迹规划方法

Similar Documents

Publication Publication Date Title
CN104841593B (zh) 一种机器人自动喷涂***的控制方法
JP2015212012A (ja) ロボットツールの制御方法
CN114289934B (zh) 一种基于三维视觉的大型结构件自动化焊接***及方法
CN114515924B (zh) 一种基于焊缝识别的塔脚工件自动焊接***及方法
CN110171000B (zh) 坡口切割方法、装置及控制设备
CN114571153A (zh) 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法
CN113146172A (zh) 一种基于多视觉的检测与装配***及方法
KR102096897B1 (ko) 3d 도면 파일을 이용하여 로봇 제어에 필요한 자동 티칭 시스템 및 티칭 방법
CN116542914A (zh) 基于3d点云的焊缝提取与拟合方法
Geng et al. A method of welding path planning of steel mesh based on point cloud for welding robot
Xiao et al. An automatic calibration algorithm for laser vision sensor in robotic autonomous welding system
CN110153582B (zh) 焊接方案生成方法、装置以及焊接***
CN115018813A (zh) 一种机器人自主识别与精确定位焊缝的方法
CN117047237B (zh) 一种异形件智能柔性焊接***与方法
CN117506931A (zh) 一种基于机器视觉的坡口切割路径规划及校正设备与方法
CN111435400A (zh) 一种零件的修复方法、修复装置及3d打印机
CN116765569A (zh) 一种基于点云的机器人柱钉辊堆焊路径规划方法
JP3450609B2 (ja) ロボットのオフライン教示装置
CN115770988A (zh) 一种基于点云环境理解的焊接机器人智能示教方法
González et al. Adaptive edge finishing process on distorted features through robot-assisted computer vision
CN114842144A (zh) 双目视觉三维重构方法及***
Wu et al. Research on Welding Guidance System of Intelligent Perception for Steel Weldment
CN110060330B (zh) 一种基于点云图像的三维建模方法、装置和机器人
Kuryło et al. Design of an automated system for measuring car bodies
CN114683283B (zh) 一种焊接机器人免示教焊接方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination