CN104708239A - 基于ccd的大型海洋管道起始点识别与定位方法及*** - Google Patents

Abstract

本发明公开了一种基于CCD的大型海洋管道起始点识别与定位方法及***。步骤1，初步定位焊缝位置：CCD工业数字摄像机采集焊缝图片，主控计算机计算焊枪中心与焊缝中心线像素偏差的实时变化，使焊接机器人初步定位到焊缝上方；步骤2，提取起始点像素坐标：识别定位焊中的一个焊点，变位机带动管道作回转运动，实时采集图像，对包含焊枪的矩形感兴趣区域进行图像处理，若检测到焊点，变位机停止转动，提取焊点质心的像素坐标；步骤3，定位起始点：焊接机器人沿基座标系Y方向水平移动一小段距离，采集焊缝图片，再次提取焊点质心的像素坐标，利用立体视觉，计算起始点的三维坐标，焊接机器人定位到起始点。

Description

基于CCD的大型海洋管道起始点识别与定位方法及***

技术领域：

本发明涉及一种基于CCD的大型海洋管道起始点识别与定位方法及***，其属于自动化焊接技术领域。

背景技术：

对于大型海洋管道的焊接，我国还停留在半自动焊的水平上。在实际的焊接过程中，由于管道长度较长，而且管道直径可达1000mm甚至更大，因此，车间作业时，都先进行定位焊，暂时固定管道，之后采用焊枪位置基本不动，变位机带动管道作圆弧回转运动的方式完成焊接。由于一般都采用定位焊中的一个焊点作为起始点，管道被装夹后，每次焊点的位置都不固定，因此，一般都进行人工定位焊接起始点，即先利用变位机带动管道作回转运动，当操作人员观察到有焊点出现在上方时，手动停止变位机，操作人员利用示教盒或其他方式手动使机器人运动到起始点，因此操作人员的水平要求高，劳动强度大，定位精度也得不到保证，更重要的是严重降低了焊接效率低，制约了海洋管道建设的发展。

由于海洋管道的需求量大，利用手动定位起始点将大大提高时间成本。因此，把信息传感技术与现有的焊接机器人相结合，开发出自动化的管道焊接***，实现起始点的自动定位，提高整个管道焊接***的效率，是目前自动化焊接技术的必然趋势，也是技术创新的必然需求。

目前，视觉传感技术作为焊接领域的研究热点，已取得了一些显著的成果，但是应用较多的是一些结构件，关于把视觉传感应用于大型管道焊接方面的研究和应用却不多见。目前，在可见的报道中，名称为“基于单目视觉传感的机器人初始焊位识别***及方法”(申请号201110224808.4)为了使机器人能够准确的移动到焊接路径的起始点，提供了一种基于单目视觉传感器的机器人初始焊位识别方法，但是该方法中待焊工件的焊缝时水平的，视觉传感器的高度固定不变，并不适用于大型的管道焊接起始点的精确定位。文献“陈海永,方灶军,徐德,等.基于视觉的薄钢板焊接机器人起始点识别与定位控制[(期刊)机器人],2013，第35卷第1期，90-97”提出了一种起始点识别和焊枪精确对中焊缝起始点的视觉控制方法，自动确定包含焊枪特征点的圆形感兴趣区域，但是该应用针对的是薄钢板焊接，也不适用于大型管道焊接。

因此，确有必要对现有技术进行改进以解决现有技术之不足。

发明内容：

针对上述现有技术中的不足和生产需要，提供一种基于CCD的大型海洋管道起始点识别与定位方法及***，能够自动提取管道焊缝在定位焊中的一个焊点，实现焊接起始点的精确定位以及控制机器人运动到起始点，从而解决在大型管道焊接中机器人自动定位到焊接起始点的技术问题。

本发明采用如下技术方案：一种基于CCD的大型海洋管道起始点识别与定位方法，其包括如下步骤：

步骤1：焊缝位置的初步定位

(a)保持待焊的管道不动，焊接机器人移动到预先设定的位置，由CCD工业数字摄像机采集待焊管道的焊缝图像，主控计算机通过USB线接收图片并进行图像处理，初步识别焊缝，提取焊缝中心线，对图片的中间行进行扫描，得到焊缝中心线上的一点，计算焊枪中心与该点的横坐标方向的像素偏差，并反馈给焊接机器人；

(b)焊接机器人向焊缝中心移动，移动过程中CCD实时采集图像，主控计算机实时接收并提取焊缝中心线，扫描图片的中间行，得到焊缝中心线上的一点，计算焊枪中心与该点的横坐标方向像素偏差的实时变化，当像素偏差为零时，主控计算机发送停止信号给焊接机器人，焊接机器人停止移动，从而使焊接机器人初步定位到焊缝上方；

步骤2：焊接起始点像素坐标的提取

(a)主控计算机发送开始信号给变位机，变位机带动管道作回转运动，CCD实时采集图像，主控计算机实时接收并对包含焊枪的矩形感兴趣区域进行图像处理，当检测到有管道定位焊中的焊点出现在感兴趣区域内时，发送停止信号给变位机，管道停止作回转运动；

(b)主控计算机对包含焊点的矩形感兴趣区域进行图像处理，提取焊点的外轮廓和质心，质心的像素坐标就作为管道起始点的像素坐标；

步骤3：焊接起始点的定位

(a)主控计算机发送运动信号给焊接机器人，焊接机器人沿基坐标系Y方向水平移动一小段距离，CCD工业数字摄像机采集焊缝图像，主控计算机接收图片并对包含焊点的矩形感兴趣区域进行图像处理，利用图像处理再次提取该焊点质心的像素坐标；

(b)利用通用双目视觉计算起始点在相机坐标系下的三维坐标，并根据工具坐标系和机器人基座标系之间的转换矩阵以及工具坐标系和相机坐标系之间的转换矩阵，把得到的起始点在相机坐标系下的三维坐标转化到机器人基座标系下的三维坐标。

进一步地，步骤1(a)中像素偏差的计算具体步骤为：

(1)根据工业数字摄像机内部参数矩阵、工具坐标系和机器人基座标系之间的转换矩阵以及工具坐标系和相机坐标系之间的转换矩阵，计算焊枪中心在图片中的像素坐标(u,v)；

(2)对采集的图片进行图像处理，提取焊缝边缘和焊缝中心线，对焊缝图片的中间行从左边开始扫描，得到焊缝中心线上的一点，记为(u_k,v_k)，计算焊枪中心到焊缝中心线的像素偏差Δu＝u-u_k。

进一步地，步骤1(b)中焊接机器人的移动方向，由像素距离Δu的正负决定，机器只沿基座标系的Y方向水平移动。

进一步地，所述步骤3(b)中的工具坐标系和机器人基座标系之间的变换矩阵由主控计算机从机器人控制柜中读取焊接机器人的位姿换算得到，所述工具坐标系和相机坐标系之间的变换矩阵由手眼标定实验得到。

本发明采用如下技术方案：一种基于CCD的大型海洋管道起始点识别与定位***，其包括变位机，视觉传感器，焊接机器人，机器人控制柜，焊接电源和主控计算机；所述视觉传感器包括刚性固定在焊接机器人末端焊枪上的CCD工业数字摄像机，工业数字摄像机与焊接机器人一起运动；所述变位机、焊接电源与机器人控制柜相连接，所述主控计算机通过以太网与机器人控制柜连接，主控计算机发送信号给机器人控制柜进而控制变位机的运动；所述主控计算机和视觉传感器通过USB连接；所述主控计算机包括图像采集模块、图像处理模块和信息反馈及控制模块，所述图像采集模块通过USB线控制CCD工业数字摄像机采集焊缝图片并发送给主控计算机，所述图像处理模块包括焊缝位置初步定位、焊接起始点像素坐标的提取和焊缝起始点三维坐标的定位三个图像处理子模块，所述信息反馈及控制模块反馈图像处理的结果给机器人控制柜，控制变位机的回转运动以及机器人的运动，最终控制焊接机器人运动到焊接起始点。

本发明具有如下有益效果：本发明提供了一种基于CCD的大型海洋管道起始点识别与定位方法及***，满足了目前机器人管道焊接自动化的要求。只需添加视觉传感***，不影响焊枪的灵活性和可达性，利用主控计算机作为控制中心，自动采集焊缝图片，实现了焊接起始点的自动识别，从而使焊接机器人自动定位到焊接起始点，避免了人工定位的过程，节省了时间成本，而且降低了人工定位误差，减轻了工人的劳动强度，提高了管道焊接的自动化水平和焊接效率，保证了起始点的定位精度，为后续的自动化焊接奠定了良好的基础。

附图说明：

图1是本发明的一个具体实施例的工作流程图。

图2是识别与定位过程中焊接机器人的运动过程图。

图3是焊接过程中***中各坐标系的位姿示意图。

图4是本发明的基于CCD的管道焊接机器人平台示意图。

图5是本发明中主控计算机的功能模块图。

其中：

1-变位机；2-管道；3-视觉传感器；4-焊接机器人；5-机器人控制柜；6-焊接电源；7-主控计算机。

具体实施方式：

为使本发明的目的、技术方案和有益效果更加清楚，下面结合具体实施例，并参照附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

请参照图1所示，本发明基于CCD的大型海洋管道焊接起始点识别与定位方法，其包括如下步骤：

步骤1：焊缝位置的初步定位

(a)保持待焊的管道不动，焊接机器人移动到预先设定好的位置，由CCD工业数字摄像机采集待焊管道的焊缝图像，主控计算机通过USB线接收图片并进行图像处理，初步识别焊缝，提取焊缝中心线，对图片的中间行进行扫描，得到焊缝中心线上的一点，计算焊枪中心与该点的横坐标方向的像素偏差Δu，并反馈给焊接机器人；

(b)焊接机器人向焊缝中心移动，移动过程中CCD实时采集图像，主控计算机实时接收并提取焊缝中心线，扫描图片的中间行，得到焊缝中心线上的一点，计算焊枪中心与该点的横坐标方向像素偏差Δu的实时变化，当像素偏差为零时，主控计算机发送停止信号给焊接机器人，焊接机器人停止移动，从而使焊接机器人初步定位到焊缝上方。如图2所示，当焊接机器人运动到位置1时，Δu＝0。焊接机器人的移动方向，由像素距离Δu的正负决定，焊接机器人只沿焊接机器人基座标系Y方向水平移动，焊接机器人的基座标系的位置如图3所示。

步骤2：焊接起始点像素坐标的提取

(a)主控计算机发送开始信号给变位机，变位机带动管道作回转运动，CCD实时采集图像，主控计算机实时接收并对包含焊枪的矩形感兴趣区域进行图像处理，当检测到有管道定位焊中的焊点出现在感兴趣区域内时，发送停止信号给变位机，管道停止作回转运动；

(b)主控计算机对包含焊点的矩形感兴趣区域进行图像处理，提取焊点的外轮廓和质心，质心的像素坐标就作为管道焊接起始点的像素坐标。

步骤3：焊接起始点的定位

(a)主控计算机发送运动信号给焊接机器人，焊接机器人沿基座标系Y方向水平移动一小段距离，移动到图2中的位置2，CCD摄像机采集焊缝图像，主控计算机接收图片并对包含焊点的矩形感兴趣区域进行图像处理，利用图像处理再次提取该焊点质心的像素坐标；

(b)利用通用双目视觉计算起始点在相机坐标系下的三维坐标，并根据工具坐标系和机器人基座标系之间的转换矩阵以及工具坐标系和相机坐标系之间的转换矩阵，把得到的起始点在相机坐标系下的三维坐标转化到机器人基座标系下的三维坐标。其中工具坐标系和机器人基座标系之间的变换矩阵可由主控计算机从机器人控制柜中读取机器人末端执行件的位姿计算得到，所述工具坐标系和相机坐标系之间的变换矩阵可由手眼标定实验得到。

步骤1(a)中像素偏差Δu的具体计算步骤为：

(1)根据CCD工业数字摄像机内部参数矩阵、工具坐标系和焊接机器人基座标系之间的转换矩阵以及工具坐标系和相机坐标系之间的转换矩阵，利用式(1)和式(2)计算焊枪中心在图片中的像素坐标(u,v)；

$\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}{R}^H& t^H\\ O^T& 1\end{array}\right]\left[\begin{array}{cc}{R}^B& t^B\\ O^T& 1\end{array}\right]\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]=\mathrm{HB}\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]---\left(1\right)$

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{k}_x& 0& u_0\\ 0& k_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_c/z_c\\ y_c/z_c\\ 1\end{array}\right]=M\left[\begin{array}{c}{x}_c/z_c\\ y_c/z_c\\ 1\end{array}\right]---\left(2\right)$

其中，(X_W,Y_W,Z_W)是焊枪中心在机器人基座标系下的三维坐标；(u,v)是焊枪中心在图像中的像素坐标；M是CCD内部参数矩阵，由相机标定实验得到；H是手眼转换矩阵(工具坐标系到相机坐标系的转换矩阵)，可由手眼标定实验得到，工具坐标系的原点就为焊枪中心；B是机器人基坐标系到工具坐标系的转换矩阵，可由主控计算机从机器人控制柜中读取的工具坐标计算得到；R^H是3×3的旋转矩阵，t^H是3×1的平移矩阵，O＝(0,0,0)^T。如图3为工具坐标系O_t-X_tY_tZ_t、相机坐标系O_c-X_cY_cZ_c和焊接机器人基座标系O-XYZ之间的相对位置关系图。

(2)对采集的图片进行图像处理，提取焊缝边缘和焊缝中心线，对焊缝图片的中间行从左边开始进行扫描，得到焊缝中心线上一点的像素坐标，记为(u_k,v_k)，计算焊枪中心到焊缝中心线的像素偏差Δu＝u-u_k。

步骤3(b)中起始点三维坐标的定位的具体计算步骤为：设在位置1和位置2提取的质心的像素坐标分别为(u₁,v₁)和(u₂,v₂)，在位置1时，质心在相机坐标系下的三维坐标为(x₁,y₁,z₁)，在位置2时，质心在相机坐标系下的三维坐标为(x₂,y₂,z₂)，设CCD工业数字摄像机在位置1和位置2时的相对位置关系为M₁₂＝[R|T]，R为3×3的旋转矩阵，T为3×1的平移矩阵。设CCD工业数字摄像机的焦距为f，根据针孔相机模型，有式(3)和式(4)，

$z_1\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\\ z_1\end{array}\right]---\left(3\right)$

$z_1\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\\ z_1\end{array}\right]---\left(3\right)$

式(5)为位置1和位置2中，质心在相机坐标系下的三维坐标的转换关系，

$\left[\begin{array}{c}{x}_2\\ y_2\\ z_2\end{array}\right]=M_{12}\left[\begin{array}{c}{x}_1\\ y_1\\ z_1\end{array}\right]=\begin{array}{c}\left[\begin{array}{cccc}{r}_1& r_2& r_3& t_1\\ r_4& r_5& r_6& t_2\\ r_7& r_8& r_9& t_3\end{array}\right]\end{array}\left[\begin{array}{c}{x}_1\\ y_1\\ z_1\\ 1\end{array}\right]---\left(5\right)$

因此可得到在位置1时，起始点在相机坐标系下的三维坐标：

$\left\{\begin{array}{c}{x}_1=\frac{z_1{u}_1}{f}\\ y_1=\frac{z_1{v}_1}{f}\\ z1=\frac{f(f{t}_1-u_2{t}_3)}{u_2(r_7{u}_1+r_8{v}_1+f{r}_9)-f(r_1{u}_2+r_2{v}_1+f{r}_3)}\end{array}\right.---\left(6\right)$

其中，CCD工业数字摄像机在位置1和位置2时的相对位置关系M₁₂计算的具体步骤为：设在位置1和位置2时机器人基坐标系到工具坐标系的转换关系分别为B₁和B₂，可以从机器人控制柜中读取的工具坐标计算得到，H是手眼转换矩阵，因此可得到下式：

$\begin{array}{c}\end{array}{B_1}^{-1}{H}^{-1}\left[\begin{array}{c}{x}_1\\ y_1\\ z_1\\ 1\end{array}\right]={B_2}^{-1}{H}^{-1}\left[\begin{array}{c}{x}_2\\ y_2\\ z_2\\ 1\end{array}\right]\⇒\left[\begin{array}{c}{x}_2\\ y_2\\ z_2\\ 1\end{array}\right]=H{B}_2{B_1}^{-1}{H}^{-1}\left[\begin{array}{c}{x}_1\\ y_1\\ z_1\\ 1\end{array}\right]=\left[\begin{array}{c}{M}_{12}\\ I\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\\ z_1\\ 1\end{array}\right]---\left(7\right)$

其中，I＝(0,0,0,1)^T。得到起始点在相机坐标系下的三维坐标(x₁,y₁,z₁)后，根据式(8)可转换到机器人基座标系下：

$\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]={B_1}^{-1}{H}^{-1}\left[\begin{array}{c}{x}_1\\ y_1\\ z_1\\ 1\end{array}\right]---\left(8\right)$

(X,Y,Z)就为起始点在机器人基座标系下的三维坐标。本具体实施例中所述的待焊工件的焊缝的是管管对接的V形海洋管道焊缝。

请参照图4所示，本发明基于CCD的大型海洋管道起始点识别与定位***包括变位机1，视觉传感器3，焊接机器人4，机器人控制柜5，焊接电源6和主控计算机7；其中视觉传感器3包括刚性固定在焊接机器人4末端焊枪上的CCD工业数字摄像机，摄像机与焊接机器人4一起运动；变位机1、焊接电源6与机器人控制柜5相连接，主控计算机7通过以太网与机器人控制柜5连接，主控计算机7发送信号给机器人控制柜5进而控制变位机1的运动；主控计算机7和视觉传感器3通过USB连接。如图5所示，主控计算机7包括图像采集模块、图像处理模块和信息反馈及控制模块。

图像采集模块：通过USB线控制CCD采集焊缝图片并发送给主控计算机；

图像处理模块：包括焊缝位置初步定位、焊接起始点像素坐标的提取和焊缝起始点三维坐标的定位三个图像处理子模块；

信息反馈及控制模块：反馈图像处理的结果给机器人控制柜，控制变位机的回转运动以及机器人的运动，最终控制焊接机器人运动到焊接起始点。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (5)

1.一种基于CCD的大型海洋管道起始点识别与定位方法，其特征在于：包括如下步骤

步骤1：焊缝位置的初步定位

(a)保持待焊的管道不动，焊接机器人移动到预先设定的位置，由CCD工业数字摄像机采集待焊管道的焊缝图像，主控计算机通过USB线接收图片并进行图像处理，初步识别焊缝，提取焊缝中心线，对图片的中间行进行扫描，得到焊缝中心线上的一点，计算焊枪中心与该点的横坐标方向的像素偏差，并反馈给焊接机器人；

(b)焊接机器人向焊缝中心移动，移动过程中CCD实时采集图像，主控计算机实时接收并提取焊缝中心线，扫描图片的中间行，得到焊缝中心线上的一点，计算焊枪中心与该点的横坐标方向像素偏差的实时变化，当像素偏差为零时，主控计算机发送停止信号给焊接机器人，焊接机器人停止移动，从而使焊接机器人初步定位到焊缝上方；

步骤2：焊接起始点像素坐标的提取

(a)主控计算机发送开始信号给变位机，变位机带动管道作回转运动，CCD实时采集图像，主控计算机实时接收并对包含焊枪的矩形感兴趣区域进行图像处理，当检测到有管道定位焊中的焊点出现在感兴趣区域内时，发送停止信号给变位机，管道停止作回转运动；

(b)主控计算机对包含焊点的矩形感兴趣区域进行图像处理，提取焊点的外轮廓和质心，质心的像素坐标就作为管道起始点的像素坐标；

步骤3：焊接起始点的定位

(a)主控计算机发送运动信号给焊接机器人，焊接机器人沿基坐标系Y方向水平移动一小段距离，CCD工业数字摄像机采集焊缝图像，主控计算机接收图片并对包含焊点的矩形感兴趣区域进行图像处理，利用图像处理再次提取该焊点质心的像素坐标；

(b)利用通用双目视觉计算起始点在相机坐标系下的三维坐标，并根据工具坐标系和机器人基座标系之间的转换矩阵以及工具坐标系和相机坐标系之间的转换矩阵，把得到的起始点在相机坐标系下的三维坐标转化到机器人基座标系下的三维坐标。

2.如权利要求1所述的基于CCD的大型海洋管道起始点识别与定位方法，其特征在于：步骤1(a)中像素偏差的计算具体步骤为：

(1)根据工业数字摄像机内部参数矩阵、工具坐标系和机器人基座标系之间的转换矩阵以及工具坐标系和相机坐标系之间的转换矩阵，计算焊枪中心在图片中的像素坐标(u,v)；

(2)对采集的图片进行图像处理，提取焊缝边缘和焊缝中心线，对焊缝图片的中间行从左边开始扫描，得到焊缝中心线上的一点，记为(u_k,v_k)，计算焊枪中心到焊缝中心线的像素偏差Δu＝u-u_k。

3.如权利要求2所述的基于CCD的大型海洋管道起始点识别与定位方法，其特征在于：步骤1(b)中焊接机器人的移动方向，由像素距离Δu的正负决定，机器只沿基座标系的Y方向水平移动。

4.如权利要求3所述的基于CCD的大型海洋管道起始点识别与定位方法，其特征在于：所述步骤3(b)中的工具坐标系和机器人基座标系之间的变换矩阵由主控计算机从机器人控制柜中读取焊接机器人的位姿换算得到，所述工具坐标系和相机坐标系之间的变换矩阵由手眼标定实验得到。

5.一种基于CCD的大型海洋管道起始点识别与定位***，其特征在于：包括变位机(1)，视觉传感器(3)，焊接机器人(4)，机器人控制柜(5)，焊接电源(6)和主控计算机(7)；所述视觉传感器(3)包括刚性固定在焊接机器人(4)末端焊枪上的CCD工业数字摄像机，工业数字摄像机与焊接机器人(4)一起运动；所述变位机(1)、焊接电源(6)与机器人控制柜(5)相连接，所述主控计算机(7)通过以太网与机器人控制柜(5)连接，主控计算机(7)发送信号给机器人控制柜(5)进而控制变位机(1)的运动；所述主控计算机(7)和视觉传感器(3)通过USB连接；所述主控计算机(7)包括图像采集模块、图像处理模块和信息反馈及控制模块，所述图像采集模块通过USB线控制CCD工业数字摄像机采集焊缝图片并发送给主控计算机，所述图像处理模块包括焊缝位置初步定位、焊接起始点像素坐标的提取和焊缝起始点三维坐标的定位三个图像处理子模块，所述信息反馈及控制模块反馈图像处理的结果给机器人控制柜，控制变位机的回转运动以及机器人的运动，最终控制焊接机器人运动到焊接起始点。