CN114043111A - 基于线激光扫描的相贯线结构自动装配方法及*** - Google Patents
基于线激光扫描的相贯线结构自动装配方法及*** Download PDFInfo
- Publication number
- CN114043111A CN114043111A CN202111182334.1A CN202111182334A CN114043111A CN 114043111 A CN114043111 A CN 114043111A CN 202111182334 A CN202111182334 A CN 202111182334A CN 114043111 A CN114043111 A CN 114043111A
- Authority
- CN
- China
- Prior art keywords
- intersecting line
- curve
- robot
- mounting hole
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000006073 displacement reaction Methods 0.000 claims abstract description 38
- 238000003466 welding Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 230000008859 change Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000014759 maintenance of location Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000009434 installation Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000010749 BS 2869 Class C1 Substances 0.000 description 1
- 239000010750 BS 2869 Class C2 Substances 0.000 description 1
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
- B23K31/02—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to soldering or welding
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Optics & Photonics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种基于线激光扫描的相贯线结构自动装配方法及***，包括以下步骤：步骤S1：构建自动装配***；步骤S2：通过激光位移传感器扫描相贯线安装孔边缘位置的变化，并存储点云数据；步骤S3：对所获取的点云数据进行预处理，将点云数据转化成二维图像；步骤S4：对二维图像图区边缘曲线特征，获取曲线顶点坐标位置，计算出相贯线安装孔在轴线方向以及竖直方向的位置偏差和偏差角；步骤S5：获取偏差数据后对相贯线安装孔进行回正和定位，对空间曲线焊接轨迹进行修正。本发明通过采用激光结构光扫描部分安装孔轮廓即可实现定位装配功能，保证精度的同时也提高了效率。
Description
技术领域
本发明涉及智能焊接装配定位领域，具体地，涉及一种基于线激光扫描的相贯 线结构自动装配方法及***，尤其是一种基于结构光机器视觉的三维定位方法，用 于相贯线结构的自动装配。
背景技术
在设定装配机器人在顶面安装相贯线结构的过程中，开孔的筒形零件安装到变位机上后，相贯线安装孔可能并不在顶面的中心位置，同时由于加工以及装配的原 因，可能相贯线安装孔在轴线方向距基准端面的距离，以及在高低方向与标准位置 也有偏差。这使得实现机器人自动安装相贯线结构零件十分困难，同时也会导致每 次焊接轨迹需要重复示教。因此我们需要通过机器视觉对相贯线安装孔进行定位识 别。
经对现有技术文献检索分析，目前待焊件安装及定位的方法中，所采用的机器 视觉技术大体分为两类，一类是采用双目视觉的方法，如专利公开号为 CN106624709A的中国专利文献所公开的“基于双目视觉的装配***及装配方法”， 通过对双目相机获取的图像数据进行整合和处理获得装配位置的空间信息，但受制 于相机参数标定与手眼标定过程中的误差，其精度对精密装配而言依然不足。
另一类则是采用结构光的方法，如专利公开号为CN211539974U的中国专利文 献所公开的“一种用于船舶小组立机器人在线自动焊接3D扫描设备”，专利公开 号为CN210549317U的中国专利文献所公开的“基于结构光的实训用自动装配装置” 等，通过结构光传感器对待焊件进行扫描，获取其完整的空间信息从而实现定位， 常用的结构光有光栅以及单线激光等。投影光栅的方式对环境要求高，不适用于复 杂的实际生产过程中，而单线激光扫描的方式往往需要扫描整个待焊件，耗费时间 长，不利于提高生产效率。
上述两种方法均存在一定的局限性，无法有效地用于筒体相贯线结构装配以及焊接的生产环节当中，因此需要一种高效高精度的自动装配方法。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于线激光扫描的相贯线结构自动装配方法及***。
根据本发明提供的一种基于线激光扫描的相贯线结构自动装配方法，包括以下步骤：
步骤S1：构建自动装配***；
步骤S2：通过激光位移传感器扫描相贯线安装孔边缘位置的变化，并存储点云数据；
步骤S3：对所获取的点云数据进行预处理，将点云数据转化成二维图像；
步骤S4：对二维图像图区边缘曲线特征，获取曲线顶点坐标位置，计算出相贯线安装孔在轴线方向以及竖直方向的位置偏差和偏差角；
步骤S5：获取偏差数据后对相贯线安装孔进行回正和定位，对空间曲线焊接轨迹进 行修正。
优选的，所述步骤S1中的自动装配***包括工控机、旋转变位机、机器人、机器 人控制柜、机械抓手以及激光位移传感器，所述工控机与机器人控制柜通过总线相连， 从而控制机器人、机械抓手以及作为机器人外部轴的旋转变位机的运动；所述激光位移 传感器与机械抓手固定连接，安装在机器人末端，所述激光位移传感器通过总线与工控 机相连。
优选的，所述步骤S3中的预处理包括中值滤波处理、灰度图化处理、二值化处 理以及图像开运算处理。
优选的，所述步骤S4包括以下子步骤：
步骤S4.1：通过Canny边缘检测提取相贯线安装孔边缘轮廓曲线；
步骤S4.2：对曲线图像施加闭运算连通Canny算子提取的边缘数据；
步骤S4.3：基于八连通的概念删除总面积小的连通像素保留边缘主体；
步骤S4.4：删除点云数据中重复的数据；
步骤S4.5：采用基于随机采样一致算法的最小二乘法对边缘轮廓曲线进行拟合，获 得拟合曲线公式，并计算曲线极点坐标；
步骤S4.6：根据曲线极点坐标，搜索极点前后两点在原图汇总的对应点以及坐标以 及深度信息；
步骤S4.7：与预先存储的基准值进行对比，求得轴线方向以及高度方向的位置偏差。
优选的，所述步骤S5中，工控机将相贯线安装孔旋转角度偏差传输给变位机，变位机旋转依据偏转角度使相贯线安装孔回正，将相贯线安装孔轴线方向以及高度方向偏差传输给机器人，机器人在原有的位置信息的基础上修正相贯线结构零件装配位置坐标。
优选的，所述灰度图化处理为：建立3D点云数据与二维灰度图像的转换关系，设定像素位置(i,j)上的灰度值由I(i,j)表示，对应位置点云数据的深度值为z(i,j)，取点云数据中的深度最大值maxdepth以及深度最小值mindepth，按比例将全部点云的Z坐标 缩放至0到255的范围，公式如下：
其中，符号[.]代表就近取整。
优选的，所述二值化处理包括：采用自适应阈值法对灰度图处理，突出相贯线安装孔以及边缘，对灰度图整体进行计算，获取阈值，将阈值以下的像素统一赋值为0，阈 值以上的赋值为255，实现图片二值化，突出孔洞边缘主体。
优选的，采用OTSU算法进行自适应二值化，设定存在阈值Th将灰度图像全像素值分为两类，小于Th的C1类和大于Th的C2类，这两类像素各自的均值为m1和m2，图 像整体像素值均值为mG；同时像素被分为C1和C2类的概率分别为p1、p2，故：
p1×m1+p2×m2＝mG
p1+p2＝1
类间方差表达式为：
σ2＝p1(m1-mG)2+p2(m2-mG)2
遍历0～255，找到能使得类间方差达到最大的灰度阈值Th即为所需要的OTSU阈值。
根据本发明提供的一种基于线激光扫描的相贯线结构自动装配***，包括以下模块：
模块M1：构建自动装配***；
模块M2：通过激光位移传感器扫描相贯线安装孔边缘位置的变化，并存储点云数据；
模块M3：对所获取的点云数据进行预处理，将点云数据转化成二维图像；
模块M4：对二维图像图区边缘曲线特征，获取曲线顶点坐标位置，计算出相贯线安装孔在轴线方向以及竖直方向的位置偏差和偏差角；
模块M5：获取偏差数据后对相贯线安装孔进行回正和定位，对空间曲线焊接轨迹进 行修正。
优选的，所述模块M1中的自动装配***包括工控机、旋转变位机、机器人、机器 人控制柜、机械抓手以及激光位移传感器，所述工控机与机器人控制柜通过总线相连， 从而控制机器人、机械抓手以及作为机器人外部轴的旋转变位机的运动；所述激光位移 传感器与机械抓手固定连接，安装在机器人末端，所述激光位移传感器通过总线与工控 机相连。
与现有技术相比，本发明具有如下的有益效果：
1、本发明只需要用结构光扫描部分安装孔轮廓即可实现定位装配功能，保证精度的同时也提高了效率。
2、本发明通过删除重复数据的方式解决了信号不同步产生的多余数据的问题。
3、本发明将获取的三维点云数据转换为以高度为灰度特征的二维灰度图像，降低了数据处理的难度，提高了运算效率。
4、本发明中图像预处理以及随机采样一致等算法的应用使得该方法不易受到噪音 数据干扰，鲁棒性强，结果准确。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例基于线激光扫描的相贯线结构自动装配方法的流程图；
图2为本发明实施例基于线激光结构光的自动装配***的组成示意图；
图3为本发明实施例线激光结构光扫描筒体的相贯线安装孔示意图；
图4为本发明实施例线激光结构光扫描所得点云示意图；
图5为本发明实施例点云数据图像处理示意图；
图6为本发明实施例中像素四连通、八连通示意图；
图7为本发明实施例中线激光结构光扫描界面示意图。
附图标记说明：
工控机1 机械抓手7
激光位移传感器2 相贯线结构零件8
激光位移传感器控制器3 相贯线安装孔9
机器人4 筒体10
机器人控制柜5 夹具内撑11
旋转变位机6 筒壁12
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人 员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于 本发明的保护范围。
本发明介绍了一种基于线激光扫描的相贯线结构自动装配方法，参照图1，包 括以下步骤：
步骤S1：构建自动装配***。如图2所示，采用工控机1、旋转变位机6、机 器人4、机器人控制柜5、机械抓手7以及激光位移传感器2组成自动转配***， 用于将相贯线结构零件8安装于带有相贯线安装孔9的筒体10之上并进行后续焊 接。本实施例采用KUKA KR60-3型机器人4，KEYENCE LJ-V7200激光位移传感 器2，抓手和激光位移传感器2共同安装在机器人4末端，旋转变位机6位于机器 人4正前方，作为机器人4的外部轴所使用。工控机1作为控制***的核心，处理 来自激光位移传感器2的扫描数据，并将结果反馈给机器人4和旋转变位机6进行 相贯线结构零件8的安装位置修正以及相贯线安装孔9和筒体10姿态的矫正。工 控机1与机器人控制柜5通过总线相连，从而控制机器人4、机械抓手7以及旋转 变位机6的运动，激光位移传感器控制器3通过总线与工控机1相连。
所述的激光位移传感器2测量范围为：X轴方向±36.5mm，Z轴方向±48mm。 筒体10的直径750mm，厚度6mm，筒体10上的相贯线圆孔直径320mm。相贯线 结构零件8大小与相贯线安装孔9大小相匹配，厚度也为6mm。
步骤S2：通过激光位移传感器2扫描相贯线安装孔9边缘位置的变化，并存储 点云数据。进行扫描前，首先将筒体10安装上旋转变位机6并用夹具加紧后偏转 约10-15°左右，使激光位移传感器2能获得较为对称且完整的扫描信息。同时对激 光位移传感器2的扫描位置做出要求，激光位移传感器2所射出的激光需要与旋转 变位机6中轴线平行且位于筒体10最高位置处，同时扫描范围需要将相贯线安装 孔9的边缘包含在内，确保扫描时能够经过相贯线安装孔9最高点C。接着令筒体 10以1°/s的角速度反向旋转25s，同时激光位移传感器2进行扫描并存储扫描数据， 完成从起始位置A到结束位置B的扫描。
所获点云数据如图4所示，Y轴则代表扫描时间轴，间隔根据激光位移传感器2扫描频率而定，在实施例中设定扫描频率为100Hz，故每行间隔0.01s，扫描完成 后会产生2500行数据。每行扫描数据有800列，每列代表0.1mm。
步骤S3：对所获取的点云数据进行预处理，将点云数据转化成二维图像。预处 理包括中值滤波处理、灰度图化处理、二值化处理以及图像开运算处理。
具体的步骤S3包括以下子步骤：
步骤S3.1：采用中值滤波去除数据中的脉冲噪声，以某像素的领域图像区域中 的像素值的排序为基础，将像素领域内灰度的中值代替该像素的值。中值滤波去除 椒盐噪声和斑块噪声时效果非常明显，通过中值滤波可以有效抑制点云数据采集过 程中的噪声信号，减少噪声干扰。在实施例中，中值滤波的窗口大小选为5×5。
步骤S3.2：通过将点云灰度图化降低数据处理难度。考虑到扫描获取的三维点 云数据的数据量较大，为了更直观更便利地提取点云特征数据并利用成熟地图像处 理算法，需要建立将3D点云数据与2D灰度图像地转换关系。
假设像素位置(i,j)上的灰度值由I(i,j)表示，对应位置点云数据的深度值为z(i,j)。 取点云数据中的深度最大值maxdepth以及深度最小值mindepth，按比例将全部点云的Z坐标缩放至0到255的范围，公式如下：
其中，符号[.]代表就近取整。
考虑到点云数据的深度值通常在-15mm以上，因此对无法正常获取的深度数据 统一赋值-25mm。最终所得灰度图如图5中(a)部分所示。
步骤S3.3：采用自适应阈值法对灰度图处理，突出相贯线安装孔9以及边缘， 对灰度图整体进行计算，获取阈值，将阈值以下的像素统一赋值为0，阈值以上的 赋值为255，实现图片二值化，突出孔洞边缘主体。
采用OTSU算法进行自适应二值化，设定存在阈值Th将灰度图像全像素值分为 两类，小于Th的C1类和大于Th的C2类，这两类像素各自的均值为m1和m2，图像 整体像素值均值为mG；同时像素被分为C1和C2类的概率分别为p1、p2，故：
p1×m1+p2×m2＝mG
p1+p2＝1
类间方差表达式为：
σ2＝p1(m1-mG)2+p2(m2-mG)2
遍历0～255，找到能使得类间方差达到最大的灰度阈值Th即为所需要的OTSU 阈值。
步骤S3.4：对图像施加开运算去除图像毛边并光滑相贯线安装孔9图像边缘， 即针对白色像素先腐蚀后膨胀，能够除去孤立的小点，毛刺和小桥，而总的位置和 形状不变，能够消除图像区域外的噪声，开运算卷积核大小为17×17。最终所得二 值图如图5中(b)部分所示。
步骤S4：对二维图像图区边缘曲线特征，获取曲线顶点坐标位置，计算出相贯 线安装孔9在轴线方向以及竖直方向的位置偏差和偏差角。具体包括以下步骤：
步骤S4.1：通过Canny边缘检测提取相贯线安装孔9边缘轮廓曲线。
Canny边缘检测算法包含以下几个步骤：第一步为使用高斯滤波器对图像进行 去噪。由于边缘检测的算法主要是基于图像强度的一阶和二阶导数，但导数通常对 噪声很敏感，因此必须采用滤波器来改善与噪声有关的边缘检测器的性能。常见的 滤波方法主要有高斯滤波，即采用离散化的高斯函数产生一组归一化的高斯核，然 后基于高斯核函数对图像灰度矩阵的每一点进行加权求和。第二步便是计算梯度幅 值和方向。第三步，在边缘上使用非最大抑制(NMS)，这一步排除非边缘像素，仅 仅保留了一些细线条(候选边缘)。最后，Canny算法使用了滞后阈值，包含两个阈 值分别为高阈值和低阈值。
(1)若某一像素位置的幅值超过高阈值，该像素阈值被保留为边缘像素；
(2)若某一像素位置的幅值小于低阈值，该像素被排除；
(3)若某一像素位置的幅值在两个阈值之间，该像素仅仅在连接到一个 高于高阈值的像素时被保留。
步骤S4.2：对曲线图像施加闭运算连通Canny算子提取的边缘数据。闭运 算即针对白色像素先膨胀后腐蚀，能够填平小孔，弥合小裂缝，而总的位置和 形状不变，能够连通更多的图像区域。开运算卷积核大小为5×5。
步骤S4.3：基于八连通的概念删除总面积小的连通像素保留边缘主体。如 图6所示，四连通域指的是像素周围上下左右四个区域，而八连通域指的是像 素周围的八个区域。所需要保留的相贯线安装孔9边缘像素曲线往往是以八连 通的方式形成连通区域的，只需要对八连通的连通区域的大小进行判断，将过 小的连通区域当作噪点排除，即可保留完整的边缘曲线。实施例中仅保留连通 域大小1000以上的像素区域。
步骤S4.4：删除点云数据中重复的数据。由于传感器采集与变位机旋转这 两个动作之间存在着些微的信号不同步，因此扫描获得的点云中会存在一定数量的 重复数据。重复数据的存在会使曲线拟合失真，导致定位产生误差，因此需要去除 重复数据。
根据先前步骤获得的边缘曲线，从图像最后一行逐行向前判断，当边缘曲线像 素所处列数与最后一行曲线像素所处列数差距在阈值范围内时，认为该行属于重复 数据需要删除。在实施例中，取阈值大小为2个像素值，最终所得边缘曲线图如图 5中(c)部分所示。
步骤S4.5：采用基于随机采样一致算法的最小二乘法对边缘轮廓曲线进行拟合，获得拟合曲线公式，并计算曲线极点坐标。为了便于曲线的拟合，还需要将所得边 缘曲线图旋转90°，同时为了保证定位程序的效率同时取得较优拟合效果，随机采 样次数选在500左右，选取4次多项式拟合。拟合曲线公式如下：
y＝a4x4+a3x3+a2x2+a1x+a0
其中，(x,y)为旋转后图像中像素的坐标。
每次对边缘曲线像素进行随机采样并拟合多项式曲线后，需要对拟合的精确度进行判断。计算各个边缘曲线像素与拟合曲线之间的距离，统计脱离拟合曲线的像 素数量作为本次拟合的精确度。最终只保留精确度最高，即脱离拟合曲线的像素数 量最少的多项式作为拟合的结果。在实施例中，当像素点距离拟合曲线超过2个像 素值时，认为该像素脱离曲线。
步骤S4.6：根据曲线极点坐标，搜索极点(x0,y0，z0)前后两点在原图中的对应点及其坐标以及深度信息，记作(x1,y1,z1)和(x2,y2，z2)。由于线性拟合获取的曲线极点 不一定正好落在扫描获取的点云数据上，因此需要采用线性插补方式求得极点全部 空间信息(tx,ty,tz)。
其中，(x0,y0,z0)、(x1,y1,z1)和(x2,y2，z2)对应旋转后图像中像素的坐标， (tx，ty，tz)对应世界坐标系中极点的坐标。
其中，Z轴特征点的坐标需要另外寻找。当线激光位移传感器2进行扫描时， 夹具内撑11与筒壁12所构成的截面以及所获得的扫描图形如图7所示，取夹具内 撑11的边缘角点p为特征点，保证Z轴高度不会受到筒体10壁厚的变化或是焊接 时的飞溅残留的影响。
其中，插补方法如下：
(1)Z方向坐标采用线性插补方法：
tz＝z1+(x0-x1)/1×(z2-z1)
(2)X方向坐标则先对偏差值进行计算，根据前后特征点与拟合曲线之间的偏差进行偏差值的修正，再用修正后的偏差值对X方向坐标进行修正。由于图像旋转了 90°，因此tx由y0、y1与y2求得
ans1＝a4x1 4+a3x1 3+a2x1 2+a1x1 1+a0
ans2＝a4x2 4+a3x2 3+a2x2 2+a1x2 1+a0
dx1＝ans1-y1
dx2＝ans2-y2
tx＝y0-(dx1+(x0-x1)×(dx2-dx1))；
(3)Y方向通过筒体10旋转进行修正，因此只需根据极点所处行号x0计算所需 偏转角度，假设扫描频率为f，旋转速度为vrow，则修正角度为
ty＝x0×(1/f)×(vrow)
步骤S4.7：与预先存储的基准值进行对比，求得轴线方向(X方向)以及高度方 向(Z方向)的位置偏差。X和Z方向的修正值dx、dz以及待偏转角θrow如下所示：
dx＝txbasic-tx
dz＝tzbasic-tz
θrow＝ty
步骤S5：获取偏差数据后对相贯线安装孔9进行回正和定位，对空间曲线焊接 轨迹进行修正。
工控机1将相贯线安装孔9旋转角度偏差传输给变位机，变位机旋转依据偏转 角度θrow使相贯线安装孔9回正。同时，将相贯线安装孔9轴线方向以及高低方向 偏差dx以及dz传输给机器人4，机器人4在原有位置信息(xr0，zr0，θr0)的基础上修正 相贯线结构零件8装配位置坐标。修正公式如下所示：
xr＝xr0+dx
zr＝zr0+dz
θr＝θr0+θrow
完成上述操作后，机器人4控制机械抓手7抓取货架上的相贯线结构零件8， 并移动到装配坐标，完成待焊零件安装，并对焊接轨迹进行修正。
本发明还介绍了一种基于线激光扫描的相贯线结构自动装配***，其特征在于，包括以下模块：
模块M1：构建自动装配***；
模块M2：通过激光位移传感器2扫描相贯线安装孔9边缘位置的变化，并存 储点云数据；
模块M3：对所获取的点云数据进行预处理，将点云数据转化成二维图像；
模块M4：对二维图像图区边缘曲线特征，获取曲线顶点坐标位置，计算出相 贯线安装孔9在轴线方向以及竖直方向的位置偏差和偏差角；
模块M1中的自动装配***包括工控机1、旋转变位机6、机器人4、机器人控 制柜5、机械抓手7以及激光位移传感器2，所述工控机1与机器人控制柜5通过 总线相连，从而控制机器人4、机械抓手7以及作为机器人4外部轴的旋转变位机 6的运动；所述激光位移传感器2与机械抓手7固定连接，安装在机器人4末端， 所述激光位移传感器2通过总线与工控机1相连。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***及 其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制 器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的***及其各项装 置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、 模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、 单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、 “竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示 的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装 置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的 限制。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上 述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改， 这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的 特征可以任意相互组合。
Claims (10)
1.一种基于线激光扫描的相贯线结构自动装配方法，其特征在于，包括以下步骤：
步骤S1：构建自动装配***；
步骤S2：通过激光位移传感器(2)扫描相贯线安装孔(9)边缘位置的变化，并存储点云数据；
步骤S3：对所获取的点云数据进行预处理，将点云数据转化成二维图像；
步骤S4：对二维图像图区边缘曲线特征，获取曲线顶点坐标位置，计算出相贯线安装孔(9)在轴线方向以及竖直方向的位置偏差和偏差角；
步骤S5：获取偏差数据后对相贯线安装孔(9)进行回正和定位，对空间曲线焊接轨迹进行修正。
2.根据权利要求1所述的基于线激光扫描的相贯线结构自动装配方法，其特征在于：所述步骤S1中的自动装配***包括工控机(1)、旋转变位机(6)、机器人(4)、机器人控制柜(5)、机械抓手(7)以及激光位移传感器(2)，所述工控机(1)与机器人控制柜(5)通过总线相连，从而控制机器人(4)、机械抓手(7)以及作为机器人(4)外部轴的旋转变位机(6)的运动；所述激光位移传感器(2)与机械抓手(7)固定连接，安装在机器人(4)末端，所述激光位移传感器(2)通过总线与工控机(1)相连。
3.根据权利要求1所述的基于线激光扫描的相贯线结构自动装配方法，其特征在于：所述步骤S3中的预处理包括中值滤波处理、灰度图化处理、二值化处理以及图像开运算处理。
4.根据权利要求3所述的基于线激光扫描的相贯线结构自动装配方法，其特征在于：所述步骤S4包括以下子步骤：
步骤S4.1：通过Canny边缘检测提取相贯线安装孔(9)边缘轮廓曲线；
步骤S4.2：对曲线图像施加闭运算连通Canny算子提取的边缘数据；
步骤S4.3：基于八连通的概念删除总面积小的连通像素保留边缘主体；
步骤S4.4：删除点云数据中重复的数据；
步骤S4.5：采用基于随机采样一致算法的最小二乘法对边缘轮廓曲线进行拟合，获得拟合曲线公式，并计算曲线极点坐标；
步骤S4.6：根据曲线极点坐标，搜索极点前后两点在原图汇总的对应点以及坐标以及深度信息；
步骤S4.7：与预先存储的基准值进行对比，求得轴线方向以及高度方向的位置偏差。
5.根据权利要求1所述的基于线激光扫描的相贯线结构自动装配方法，其特征在于：所述步骤S5中，工控机(1)将相贯线安装孔(9)旋转角度偏差传输给变位机，变位机旋转依据偏转角度使相贯线安装孔(9)回正，将相贯线安装孔(9)轴线方向以及高度方向偏差传输给机器人(4)，机器人(4)在原有的位置信息的基础上修正相贯线结构零件(8)装配位置坐标。
6.根据权利要求1所述的基于线激光扫描的相贯线结构自动装配方法，其特征在于：所述灰度图化处理为：建立3D点云数据与二维灰度图像的转换关系，设定像素位置(i,j)上的灰度值由I(i,j)表示，对应位置点云数据的深度值为z(i,j)，取点云数据中的深度最大值maxdepth以及深度最小值mindepth，按比例将全部点云的Z坐标缩放至0到255的范围，公式如下：
其中，符号[.]代表就近取整。
7.根据权利要求1所述的基于线激光扫描的相贯线结构自动装配方法，其特征在于：所述二值化处理包括：采用自适应阈值法对灰度图处理，突出相贯线安装孔(9)以及边缘，对灰度图整体进行计算，获取阈值，将阈值以下的像素统一赋值为0，阈值以上的赋值为255，实现图片二值化，突出孔洞边缘主体。
8.根据权利要求7所述的基于线激光扫描的相贯线结构自动装配方法，其特征在于：采用OTSU算法进行自适应二值化，设定存在阈值Th将灰度图像全像素值分为两类，小于Th的C1类和大于Th的C2类，这两类像素各自的均值为m1和m2，图像整体像素值均值为mG；同时像素被分为C1和C2类的概率分别为p1、p2，故：
p1×m1+p2×m2＝mG
p1+p2＝1
类间方差表达式为：
σ2＝p1(m1-mG)2+p2(m2-mG)2
遍历0～255，找到能使得类间方差达到最大的灰度阈值Th即为所需要的OTSU阈值。
9.一种基于线激光扫描的相贯线结构自动装配***，其特征在于，包括以下模块：
模块M1：构建自动装配***；
模块M2：通过激光位移传感器(2)扫描相贯线安装孔(9)边缘位置的变化，并存储点云数据；
模块M3：对所获取的点云数据进行预处理，将点云数据转化成二维图像；
模块M4：对二维图像图区边缘曲线特征，获取曲线顶点坐标位置，计算出相贯线安装孔(9)在轴线方向以及竖直方向的位置偏差和偏差角；
模块M5：获取偏差数据后对相贯线安装孔(9)进行回正和定位，对空间曲线焊接轨迹进行修正。
10.根据权利要求9所述的基于线激光扫描的相贯线结构自动装配***，其特征在于：所述模块M1中的自动装配***包括工控机(1)、旋转变位机(6)、机器人(4)、机器人控制柜(5)、机械抓手(7)以及激光位移传感器(2)，所述工控机(1)与机器人控制柜(5)通过总线相连，从而控制机器人(4)、机械抓手(7)以及作为机器人(4)外部轴的旋转变位机(6)的运动；所述激光位移传感器(2)与机械抓手(7)固定连接，安装在机器人(4)末端，所述激光位移传感器(2)通过总线与工控机(1)相连。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111182334.1A CN114043111B (zh) | 2021-10-11 | 2021-10-11 | 基于线激光扫描的相贯线结构自动装配方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111182334.1A CN114043111B (zh) | 2021-10-11 | 2021-10-11 | 基于线激光扫描的相贯线结构自动装配方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114043111A true CN114043111A (zh) | 2022-02-15 |
| CN114043111B CN114043111B (zh) | 2023-02-28 |
Family
ID=80205277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111182334.1A Active CN114043111B (zh) | 2021-10-11 | 2021-10-11 | 基于线激光扫描的相贯线结构自动装配方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114043111B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07104831A (ja) * | 1993-10-08 | 1995-04-21 | Fanuc Ltd | レーザセンサを用いたロボットの自動位置教示方法 |
| CN104722923A (zh) * | 2015-02-02 | 2015-06-24 | 江苏中科四象激光科技有限公司 | 一种圆形管件相贯线激光焊接装置 |
| CN106624262A (zh) * | 2016-12-31 | 2017-05-10 | 山东大学 | 一种智能焊接圆管相贯线的方法及设备 |
| CN112518072A (zh) * | 2020-11-23 | 2021-03-19 | 南京工程学院 | 一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法 |
| CN112775637A (zh) * | 2020-12-29 | 2021-05-11 | 芜湖英视迈智能科技有限公司 | 一种大型零部件装箱定位装配装置及其定位装配方法 |
-
2021
- 2021-10-11 CN CN202111182334.1A patent/CN114043111B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07104831A (ja) * | 1993-10-08 | 1995-04-21 | Fanuc Ltd | レーザセンサを用いたロボットの自動位置教示方法 |
| CN104722923A (zh) * | 2015-02-02 | 2015-06-24 | 江苏中科四象激光科技有限公司 | 一种圆形管件相贯线激光焊接装置 |
| CN106624262A (zh) * | 2016-12-31 | 2017-05-10 | 山东大学 | 一种智能焊接圆管相贯线的方法及设备 |
| CN112518072A (zh) * | 2020-11-23 | 2021-03-19 | 南京工程学院 | 一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法 |
| CN112775637A (zh) * | 2020-12-29 | 2021-05-11 | 芜湖英视迈智能科技有限公司 | 一种大型零部件装箱定位装配装置及其定位装配方法 |
Non-Patent Citations (2)
| Title |
|---|
| 严敏之: "基于焊缝三维建模的工艺参数自适应控制及自主编程焊接", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》 * |
| 熊崇武: "《机械制造工艺过程自动化引论》", 31 May 1991, 机械工业出版社 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114043111B (zh) | 2023-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109300162B (zh) | 一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法 | |
| CN110555889B (zh) | 一种基于CALTag和点云信息的深度相机手眼标定方法 | |
| US5471541A (en) | System for determining the pose of an object which utilizes range profiles and synethic profiles derived from a model | |
| CN111267095B (zh) | 一种基于双目视觉的机械臂抓取控制方法 | |
| CN110648367A (zh) | 一种基于多层深度与彩色视觉信息的几何体目标定位方法 | |
| CN111721259B (zh) | 基于双目视觉的水下机器人回收定位方法 | |
| CN109903279B (zh) | 焊缝运动轨迹的自动示教方法和装置 | |
| CN111251336B (zh) | 一种基于视觉定位的双臂协同智能装配*** | |
| CN114494045B (zh) | 一种基于机器视觉的大型直齿轮几何参数测量***及方法 | |
| CN112396664A (zh) | 一种单目摄像机与三维激光雷达联合标定及在线优化方法 | |
| CN113269762B (zh) | 屏幕不良检测方法、***及计算机存储介质 | |
| CN115131444B (zh) | 一种基于单目视觉点胶平台的标定方法 | |
| CN107356213B (zh) | 滤光片同心度测量方法及终端设备 | |
| CN112017248B (zh) | 一种基于点线特征的2d激光雷达相机多帧单步标定方法 | |
| CN113146073A (zh) | 基于视觉的激光切割方法及装置、电子设备、存储介质 | |
| CN111784655A (zh) | 一种水下机器人回收定位方法 | |
| CN113253246A (zh) | 一种激光雷达和相机的标定方法 | |
| CN112330667B (zh) | 一种基于形态学的激光条纹中心线提取方法 | |
| CN114043111B (zh) | 基于线激光扫描的相贯线结构自动装配方法及*** | |
| CN116594351A (zh) | 一种基于机器视觉的数控加工单元*** | |
| CN110969357A (zh) | 一种铝合金机加工零件孔洞视觉检测方法 | |
| CN114926531A (zh) | 基于双目视觉的大视场下工件焊缝自主定位方法及*** | |
| CN113192029B (zh) | 一种基于ToF的焊缝识别方法 | |
| CN115116048A (zh) | 一种基于点云质心识别及定位栈板的方法、*** | |
| Rashd et al. | Open-box target for extrinsic calibration of LiDAR, camera and industrial robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |