CN104057202B - 基于fpga的远程监控移动式机器人自主焊接***及方法 - Google Patents

Abstract

本发明公开了一种基于FPGA的远程监控移动式机器人自主焊接***，所述***包括：焊接机器人、焊缝位置检测传感器***、控制柜和基于FPGA的远程操作控制器；所述焊接机器人，用于夹持焊枪及搭载传感器***，并驱动焊枪在X、Y和Z三维方向的运动；焊缝位置检测传感器***，将所述Z方向的位置信号、折线激光图像和焊接场景视频发送给远程操作控制器；远程操作控制器，设置焊接参数值，显示远程焊接场景视频，计算出焊枪在Y方向和Z方向所需要运动的距离，并向控制柜发送脉冲和方向信号，对焊枪在Y方向和Z方向的位置进行自动调节；控制柜，用于控制步进电机的转动，进而调节焊枪在Y方向和Z方向的位置。

Description

基于FPGA的远程监控移动式机器人自主焊接***及方法

技术领域

本发明专利属于焊接装备领域，尤其涉及一种基于FPGA的远程监控移动式机器人自主焊接***及方法。

背景技术

随着焊接技术的不断发展以及焊接技工的缺乏，焊接机器人的应用越来越广泛，但是现有的固定式六自由度焊接机器人都普遍存在以下缺点和不足：

①焊接机器人的体积太大，不便于灵活移动，只能在固定的地点作业。焊接机器人作业时需要较大的作业空间，难以在狭小的空间作业；

②固定式焊接机器人行程有限，对于大构件长焊缝，如船舶合拢口焊缝，其无法一次焊完全部焊缝，只能分段焊接，影响焊接质量和效率；

③现有的焊接机器人是按照预先编程或示教好的固定轨迹焊接，然而每次工件加工和装配的位置会有差别，如果一次示教然后都按照预先给定的轨迹焊接会产生焊接位置的偏差，而如果每个工件都进行示教则工作量很大；

④有时候特殊的焊缝，焊接机器人无法实时调节，就需要人工手动操作机器人，但是现有的机器人在工作时不能远程显示焊接场景的图像，工人必须近距离肉眼观察焊缝，很不方便，而且强烈的弧光也会对人体产生伤害。

⑤机器人成本太高，一台机器人的价格至少十几万元，加大了生产制造的成本。

因此，开发爬行式自主焊接机器人，实现焊接场景的远程视频显示以及机器人远程控制操作，在焊接过程中自主实时调整焊枪位置以适应和补偿件加工和装配的误差，不需焊前示教，具有很大的应用价值工。

发明内容

基于FPGA的远程监控移动式机器人自主焊接***，其特征在于，所述***包括：焊接机器人、焊缝位置检测传感器***、控制柜和基于FPGA的远程操作控制器；所述

焊接机器人，用于夹持焊枪及搭载传感器***，并驱动焊枪在X、Y和Z三维方向的运动；

焊缝位置检测传感器***，将所述Z方向的位置信号、折线激光图像和焊接场景视频发送给远程操作控制器；

远程操作控制器，设置焊接参数值，显示远程焊接场景视频，计算出焊枪在Y方向和Z方向所需要运动的距离，并向控制柜发送脉冲和方向信号，对焊枪在Y方向和Z方向的位置进行自动调节；

控制柜，用于控制步进电机的转动，进而调节焊枪在Y方向和Z方向的位置。

基于FPGA的远程监控移动式机器人自主焊接方法，包括：

测量焊枪端部与焊缝在Z方向上的距离，激光测距传感器发出的激光遇到焊缝后反射，测距传感器记录发射和接收到反射激光的时间差；

远程操作控制器中的激光测距信号采集模块对激光测距传感器的信号进行采集，并经过测距信号数据处理模块转化为焊枪端部与焊缝在Z方向上的实际距离值，将该距离值和焊接前设定的Z方向基准距离作比较，通过定时采样插补算法，计算出焊枪在Z方向需要运动的距离和方向；

发送脉冲和方向信号，并根据所述信号调节焊枪在Z方向的位置。

或

拍摄激光和焊缝坡口图像，对所述图像进行预处理；通过预处理的图像提取激光线的拐点，得到焊缝中心点位置，并计算焊枪与焊缝在Y方向的距离；

将该距离值和焊接前设定的焊枪与焊缝在Y方向的基准距离作比较，通过定时采样插补算法，计算出焊枪在Y方向需要运动的距离和方向；

并向控制柜发送脉冲和方向信号，调节焊枪在Y方向的位置；进行焊缝跟踪，实现自主焊接。

与现有技术相比，本发明的一个或多个实施例可以具有如下优点：

远程操作控制器根据焊缝位置检测传感器***所检测的位置信息，计算焊枪偏离焊缝的差值，并通过定时采样插补算法，纠正机器人的焊接路线，使焊枪在Y方向上对准焊缝中心，在Z方向上焊枪端部与焊缝的距离始终保持恒定值，从而进行焊缝跟踪，实现自主焊接。同时焊接场景视频能够实时显示在远程操作控制器的图像显示屏上,便于焊接人员根据焊接场景视频远程手动调整机器人运动，实现焊接位置的实时调节。

附图说明

图1基于FPGA的远程监控移动式自主焊接机器人***结构图；

图2焊接机器人机械原理图；

图3焊缝位置检测传感器***装置图；

图4线阵激光束作为强光辅助光源增强焊缝中心点特征示意图；

图5线阵激光束作为强光辅助光源的实际效果图；

图6焊缝图像预处理流程图；

图7远程操作控制器***原理图；

图8定时采样插补算法流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述。

如图1所示，为基于FPGA的远程监控移动式自主焊接机器人***结构，该结构包括：

该***包括：焊接机器人、焊缝位置检测传感器***、控制柜1和基于FPGA的远程操作控制器2；所述

焊接机器人，用于夹持焊枪及搭载传感器***，并驱动焊枪在X、Y和Z三维方向的运动；

焊缝位置检测传感器***，将所述Z方向的位置信息、折线激光图像和焊接场景视频发送给远程操作控制器2；

远程操作控制器，将所述Z方向的位置信息转化成焊枪与焊缝在Z方向的距离值，对焊缝图像进行处理，并提取焊缝中心点，得到焊枪与焊缝在Y方向的距离值，将所述距离值与焊接前设定的基准距离值作比较，并通过插补算法，计算出焊枪在Y方向和Z方向所需要运动的距离，并向控制柜1发送脉冲和方向信号，对焊枪14在Y方向和Z方向的位置进行自动调节；

控制柜，用于驱动步进电机的转动，进而调节焊枪在Y方向和Z方向的位置。

如图3所示，所述焊缝位置检测传感器***包括CCD相机12、线阵激光器11和激光测距传感器13；

所述激光测距传感器13，用于检测焊接时焊枪在Z方向的位置，并将焊枪的Z方向的高度值通过串口发送到远程操作控制器；

线阵激光器，用于在焊缝坡口处呈现一拐角；

在CCD相机的镜头处安装有带通滤光器，用于过滤弧光、拍摄折线激光焊缝图像及焊接场景视频，并将图像和视频发送到远程操作控制器。

如图2所示，上述的机器人机械本体包括车体10、机器人X方向直流电机9、焊枪夹具3、固定板4、Z方向滑台6、Z方向步进电机7、Y方向滑台5和Y方向步进电机8。

上述的控制柜包括无刷直流电机驱动器、至少两台步进电机驱动器和24V直流供电电源。

上述的远程操作控制器包括激光测距信号采集模块、图像采集模块、图像预处理模块、焊缝中心点提取模块、采样插补模块、视频编码模块和显示屏接口模块；

所述激光测距信号采集模块采集激光测距传感器的输出的信号值，并将该信号值转换为焊枪与焊缝在Z方向的距离值；

图像采集模块，用于采集CCD相机所拍摄的图像和视频；

图像预处理模块，用于对拍摄的图像进行分段线性变换、中值滤波、二值化和Hough变化；

焊缝中心点提取模块，用于提取焊缝中心点的位置坐标，并得到焊枪与焊缝在Y方向的距离值；

采样插补模块，用于进行Y方向和Z方向的插补；

视频编码模块，用于将处理后的图像形成视频流；

显示屏接口模块，用于将所述视频流显示到远程操作控制器的显示屏上。

本实施例还提供了一种基于FPGA的远程监控移动式机器人自主焊接方法，该方法包括：

在远程操作控制器上设置机器人的焊接速度、焊接方向等焊接参数，启动焊接后，远程操作控制器则向机器人控制柜中的无刷直流电机驱动器发出PWM波，驱动X方向直流电机转动，从而使机器人沿着焊缝方向行走，提供焊接速度,同时焊机启动，开始焊接。

测量焊枪端部与焊缝在Z方向的位置信息，并将该距离数据发送到激光测距信号采集模块和数据处理模块得到焊枪端部与焊缝在Z方向的距离值；

将所述距离值与焊接前设定的基准距离作比较，并通过插补算法，计算出Z方向需要运动的距离和方向；

发送脉冲和方向信号，并根据所述信号调节焊枪在焊接方向的位置；

或

拍摄激光和焊缝坡口图像，对所述图像进行预处理；通过预处理的图像提取激光线的拐点，得到焊缝中心点及焊枪在Y方向的位置；

分析焊枪在Y与Z方向的位置坐标，通过定时采样插补算法，控制电机驱动器，进行焊缝跟踪，实现自主焊接。

Z方向的焊接位置检测原理及运动机构运动过程如下：

Z方向的焊接位置检测使用了激光测距传感器。激光测距传感器测量焊枪端部离焊件Z方向的位置信息，并通过RS232串口发送到远程操作控制器，远程操作控制器经过FPGA内部的激光测距信号采集模块(包含串口解码模块和数据编码模块)和数据处理模块得到焊枪与焊缝在Z方向的距离值，将其与焊接前设定的基准距离作比较，通过定时采样插补算法，计算出焊枪在Z方向需要运动的距离和运动方向，并向控制柜中的步进电机驱动器发送脉冲和方向信号，控制Z方向步进电机转动，Z方向步进电机通过联轴器与Z方向滑台的丝杆连接，焊枪通过焊枪夹具和固定板与Z方向滑台连接，通过Z方向滑台内部的丝杠导轨机构传动，实时调节焊枪在Z方向的位置，使焊枪与焊缝在Z方向的距离始终保持恒定，从而实现了***在Z方向的焊缝跟踪和自主焊接。

Y方向的焊接位置检测原理及运动机构运动过程如下：

Y方向的焊接位置检测使用了CCD相机。在焊接过程中弧光很强，拍摄的图像中只能看到白色的电弧，而焊缝被掩盖了，如何避免弧光对CCD相机成像的干扰是一个难题。所发明的焊接机器人***采用了一种强光辅助光源的方法将弧光的干扰消除，采用一种线阵的激光器作为辅助光源，将线状激光线投射到焊接电弧前方约10mm处的焊缝坡口上，并使激光线垂直于焊缝，由于存在焊接坡口的影响，激光线会出现一个拐角，这样CCD相机就能捕捉到一条带有拐角的折线激光图像，如图4、5。在CCD相机前装有滤光***，该滤光***为带通滤光器，只能让以激光波长为中心的一定波长范围内的光通过，而不在此波长范围内的弧光被滤除，激光光源在该波长范围内强于弧光，这样就能使该辅助光源的反射光线被CCD相机拍摄到，同时能使CCD相机拍摄到清晰的激光和焊缝坡口图像。

图像预处理：图像经过分段式线性变换和中值滤波使得激光图像更加清晰。然后使用二值化处理将图像进行灰度分割，便于后面能够提取特征图像。最后使用Hough变换提取激光线拐点的中心位置，如图6。

预处理的图像对其进行拐点提取，得到焊缝中心点位置，采用了斜率比较的方法。使用等比排列选取斜率计算再取均值，因此间隔2,4,8行计算直线的斜率，并对斜率进行比较。假设图像第n条像素线上的激光线中心位置坐标为g(n)，斜率计算公式为：

$k\left(n\right)=\left(\right|\frac{g(n-1)-g(n+1)}{2}|+|\frac{g(n-2)-g(n+2)}{4}|+|\frac{g(n-4)-g(n+4)}{8}\left|\right)/3---\left(1\right)$

其中n≥5，即从第5行开始计算斜率。

对每一行相邻的激光线所在点的斜率进行比较，如果发现斜率相差太大(超过自身斜率的50％)，则将该点确定为激光线的拐点。根据斜率判断拐点的准则如下：

根据激光线的形状，会出现三个拐点。如果拐点依次为(x₁,g(x₁)),(x₂,g(x₂)),(x₃,g(x₃))并且x₁<x₂<x₃,那么焊缝的中心点坐标为((x₁+x₃)/2,(g(x₁+x₃)/2)。因为只需计算焊缝在Y方向的位置，所以将焊缝(g(x₁+x₃)/2作为焊缝在Y方向的位置坐标，再减去焊枪与相机安装时在Y方向的距离，就得到焊枪与焊缝在Y方向的距离，将其发送给远程操作控制器。

通过定时采样插补算法，根据焊枪与焊缝在Y方向的距离偏差值的大小和正负，计算出焊枪在Y方向需要运动的距离和运动方向；并向控制柜中的步进电机驱动器发送脉冲，控制Y方向步进电机转动，Y方向步进电机与Y方向滑台连接，Y方向滑台与Z方向滑台通过十字架相连接，通过Y方向滑台内部的丝杠导轨机构传动，实时自主调节焊枪在Y方向的位置，使焊枪在Y方向始终对准焊缝的中心,从而实现了***在Y方向的焊缝跟踪和自主焊接。

远程操作控制器将CCD相机采集的折线激光图像和焊接现场视频显示到远程操作控制器中的显示屏上,提供给焊接工人远程观察焊接情况,机器人在焊接过程中还可以根据显示屏上图像显示的焊接坡口和焊枪的位置偏差情况,手动控制机器人的运动，从而调整焊枪的位置。

远程操作控制器***原理如下：

如图7所示，激光测距信号采集模块采集激光测距传感器的信号值，该数值需转换成真实的距离值，再经过数据处理模块得到焊枪与焊缝在Z方向的实际距离值，最后发送给采样插补模块进行Z方向的运动插补。

图像采集模块采集CCD所拍摄的图像，以帧的形式暂存SDRAM中，经过后续的图像预处理模块(分段线性变换、中值滤波、二值化、Hough变换)，焊缝中心点提取模块，计算焊缝中心点的坐标，得到焊缝在Y方向的位置坐标，最后发送给采样插补模块进行Y方向的运动插补。

经过预处理的图像，经过视频编码模块，形成视频流，再通过视频接口显示到远程操作控制器的显示屏上。

由于远程操作控制器是基于FPGA设计的，将数据运算、运动控制、图像处理和图像显示集成于一体，能够大大的降低了本***的成本。FPGA具有高速的并行处理能力，所以CCD相机的图像采集、图像处理、焊接点的识别、激光测距传感器采集信号、信号的数据处理、采样插补的计算以及Y方向步进电机的插补控制、Z方向步进电机的插补控制和焊接图像的显示都是并行执行的，不会相互影响彼此的执行效率，从而能够保证***的实时性。

定时采样插补的实现原理：

Y和Z轴的自主跟踪使用的是定时采样插补算法。以Z方向为例，采样插补周期为T，激光测距传感器采集的实时距离值为d_Z，设定的基准距离为d_zn,Z方向的插补速度为V_z，丝杠滑台的螺距为L_z，步进电机步距角为θ_z，则步进电机在一个采样周期内插补需要的脉冲数n_z为：

$n_z=\frac{360\&times;|d_z-d_{\mathrm{zn}}|}{{\mathrm{\&theta;}}_z{L}_z}---\left(3\right)$

即在一个插补周期T，向步进电机发送n_z个脉冲，就完成一次插补，其采样插补算法流程具体如图8所示。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (6)

1.基于FPGA的远程监控移动式机器人自主焊接***，其特征在于，所述***包括：焊接机器人、焊缝位置检测传感器***、控制柜和基于FPGA的远程操作控制器；所述

焊接机器人，用于夹持焊枪及搭载传感器***，并驱动焊枪在X、Y和Z三维方向的运动；

焊缝位置检测传感器***，将所述Z方向的位置信号、折线激光图像和焊接场景视频发送给远程操作控制器；

远程操作控制器，将所述Z方向的位置信息转化成焊枪与焊缝在Z方向的距离值，对焊缝图像进行处理，并提取焊缝中心点，得到焊枪与焊缝在Y方向的距离值，将所述距离值与焊接前设定的基准距离值作比较，并通过插补算法，计算出焊枪在Y方向和Z方向所需要运动的距离，并向控制柜发送脉冲和方向信号，对焊枪在Y方向和Z方向的位置进行自动调节；

控制柜，用于控制步进电机的转动，进而调节焊枪在Y方向和Z方向的位置；

对焊缝图像处理及焊缝拐点识别算法包括：

预处理的图像对其进行拐点提取，得到焊缝中心点位置，采用了斜率比较的方法，使用等比排列选取斜率计算再取均值，因此间隔2、4、8行计算直线的斜率，并对斜率进行比较；假设图像第n条像素线上的激光线中心位置坐标为g(n)，斜率计算公式为：

其中n≥5，即从第5行开始计算斜率；

对每一行相邻的激光线所在点的斜率进行比较，如果发现斜率相差太大即超过自身斜率的50％，则将该点确定为激光线的拐点；根据斜率判断拐点的准则如下：

根据激光线的形状，会出现三个拐点；如果拐点依次为(x₁,g(x₁)),(x₂,g(x₂)),(x₃,g(x₃))并且x₁<x₂<x₃,那么焊缝的中心点坐标为((x₁+x₃)/2,(g(x₁+x₃)/2)；因为只需计算焊缝在Y方向的位置，所以将焊缝(g(x₁+x₃)/2作为焊缝在Y方向的位置坐标，再减去焊枪与相机安装时在Y方向的距离，就得到焊枪与焊缝在Y方向的距离，将其发送给远程操作控制器。

2.根据权利要求1所述的所述的基于FPGA的远程监控移动式机器人自主焊接***，其特征在于：所述焊缝位置检测传感器***包括激光测距传感器、线阵激光器和CCD相机；

所述激光测距传感器，用于检测焊接时焊枪和焊缝在Z方向的位置信息，并将焊枪和焊缝的Z方向的位置信息通过串口发送到远程操作控制器；

线阵激光器，用于将线状激光束投射到焊缝坡口上，并使激光线垂直于焊缝，形成带有拐角的折线激光图形；

CCD相机，镜头处安装有带通滤光器，用于拍摄折线激光焊缝图像和焊接场景视频，并将图像和视频发送到远程操作控制器。

3.根据权利要求1所述的基于FPGA的远程监控移动式机器人自主焊接***，其特征在于：所述的焊接机器人包括车体、机器人X方向直流电机、焊枪夹具、固定板、Z方向滑台、Z方向步进电机、Y方向滑台和Y方向步进电机。

4.根据权利要求1所述的基于FPGA的远程监控移动式机器人自主焊接***，其特征在于：所述的控制柜包括无刷直流电机驱动器、至少两台步进电机驱动器和24V直流供电电源。

5.根据权利要求1所述的基于FPGA的远程监控移动式机器人自主焊接***，其特征在于：所述的远程操作控制器包括激光测距信号采集模块、图像采集模块、图像预处理模块、焊缝中心点提取模块、采样插补模块、视频编码模块和显示屏接口模块；

所述激光测距信号采集模块，采集激光测距传感器的输出的信号值，并将该信号值转换为焊枪与焊缝在Z方向的距离值；

图像采集模块，用于采集CCD相机所拍摄的图像和视频；

图像预处理模块，用于对拍摄的图像进行分段线性变换、中值滤波、二值化和Hough变化；

焊缝中心点提取模块，用于提取焊缝中心点的位置坐标，并得到焊枪与焊缝在Y方向的距离值；

采样插补模块，用于进行Y方向和Z方向的插补；

视频编码模块，用于将处理后的图像形成视频流；

显示屏接口模块，用于将所述视频流显示到远程操作控制器的显示屏上。

6.基于FPGA的远程监控移动式机器人自主焊接方法，其特征在于，所述方法包括：

测量焊枪端部与焊缝在Z方向上的距离，激光测距传感器发出的激光遇到焊缝后反射，测距传感器记录发射和接收到反射激光的时间差；

远程操作控制器中的激光测距信号采集模块对激光测距传感器的信号进行采集，并经过测距信号数据处理模块转化为焊枪端部与焊缝在Z方向上的实际距离值，将该距离值和焊接前设定的Z方向基准距离作比较，通过定时采样插补算法，计算出焊枪在Z方向需要运动的距离和方向；

发送脉冲和方向信号，并根据所述信号调节焊枪在Z方向的位置；

或

拍摄激光和焊缝坡口图像，对所述图像进行预处理；通过预处理的图像提取激光线的拐点，得到焊缝中心点位置，并计算焊枪与焊缝在Y方向的距离；

将该距离值和焊接前设定的焊枪与焊缝在Y方向的基准距离作比较，通过定时采样插补算法，计算出焊枪在Y方向需要运动的距离和方向；

并向控制柜发送脉冲和方向信号，调节焊枪在Y方向的位置；进行焊缝跟踪，实现自主焊接；

在实现自主焊接的同时，远程操作控制器将预处理后的图像，经过视频编码，显示到图像显示屏上。