CN101745765A - 人机协作共享控制遥控焊接的方法 - Google Patents

Abstract

一种人机协作共享控制遥控焊接的方法，它涉及一种遥控焊接的方法。本发明的目的是解决目前遥控焊接中有时间延迟情况下，直接控制操作不能够连续进行，甚至不能工作，以及在焊接环境复杂，焊缝坡口轮廓尺寸不规则时，自主跟踪焊缝焊接不能实现的问题。步骤一：宏观变焦摄像机采集二维视频图像，操作者在中央监控人机界面中调整视野；步骤二：机器人引导焊枪移动达到焊缝上方附近；步骤三：操作者跟踪焊缝；步骤四：工件固定在工作平台上构成远端的焊接环境；步骤五：机器人向焊缝的起始点运动；步骤六：焊枪保持与工件的弧长距离参数通过中央监控人机界面设定；步骤七：操作者通过中央监控人机界面设定共享控制算法。本发明用于遥控焊接。

Description

人机协作共享控制遥控焊接的方法

技术领域

本发明涉及一种遥控焊接的方法。

背景技术

在核电站设备维修、海洋工程的水下施工，以及未来的太空站建造中，焊接应用必不可少。这些极限环境的限制使操作者难以身临现场，直接操作焊枪或者设备，传统的焊接方式无法应用，必须进行遥控焊接。遥控焊接指人在远离现场的安全环境中根据从现场的各种传感信息对焊接设备和焊接过程远程监视和控制，从而完成焊接操作。由于机器人具有对环境的适应性，因此在研究和实际应用中，用来作为执行机构。进行遥控焊接时，操作者通常遥控操作机器人，引导焊枪来完成遥控焊接。

遥控焊接操作通常采用两种控制方式：直接控制和自主控制。直接控制是把操作者的手动命令序列传给远端的焊接机器人控制器，实时控制焊接机器人的运动。直接控制充分利用人的感知、决策和判断能力来增强***的适应能力，控制过程直观、简单、有效，具有较好的故障恢复能力。但在遥控焊接时，由于对远端不确定环境的有效传感信息不充分，底层执行能力不足，在有时延情况下操作不能够连续进行，只能采用“运动-等待”的方法，严重时***不能工作。自主控制是机器人***借助某种传感***如力觉传感***、视觉传感***等来控制焊枪运动的位置与姿态，全自主完成焊接。对于工业生产中的规则连续焊缝，通过自主控制能够实现稳定的焊缝跟踪过程，而遥控焊接经常用于焊缝修补任务，焊缝不连续，焊道截面尺寸不规则，同时焊缝周围存在障碍，自主跟踪焊缝不能够连续进行。因此现有的遥控焊接的控制技术都存在局限性，都不能很好的完成遥控焊接任务。

发明内容

本发明的目的是为了解决目前遥控焊接中有时间延迟情况下，直接控制操作不能够连续进行，甚至不能工作，以及在焊接环境复杂，焊缝坡口轮廓尺寸不规则时，自主跟踪焊缝焊接不能实现的问题，提出了一种人机协作共享控制遥控焊接的方法。

本发明为解决上述技术问题采取的技术方案是：所述方法由以下步骤实现的：步骤一：宏观变焦摄像机采集二维视频图像，并通过视频线将二维视频图像传给宏观视觉显示器，操作者在本地端的中央监控人机界面中通过焦距控制及第二可控云台调整视野；

步骤二：操作者操作空间鼠标发出控制指令，通过工业以太网传给远端的机器人控制器去控制远端机器人的运动，机器人引导焊枪移动达到焊缝上方30-40mm附近，同时机器人控制器实时将焊枪的位姿矩阵传给本地端的中央监控人机界面，调整界面中虚拟环境的机器人的位姿；

步骤三：双目摄像机将获取的焊接环境图像传输给本地端的立体视觉显示器，操作者佩戴液晶光闸眼镜观察获得远端环境的深度信息，并在中央监控人机界面中调节第一可控云台从多视角观察，操作者跟踪焊缝；

步骤四：工件固定在工作平台上构成远端的焊接环境，具有六个自由度的机器人的第六关节与焊枪固接，焊枪上安装有激光视觉传感器工作头，激光束中心距焊枪尖端横向距离20--30mm，焊枪处于焊接环境空间的任意位置；

步骤五：操作者操作中央监控人机界面启动激光视觉控制器和激光视觉传感器工作头并启动焊接电源，当激光视觉控制器处理焊缝的特征点实现焊枪的引导后，机器人向焊缝的起始点运动；

步骤六：机器人运动到焊缝的起始位置，开始焊缝自动跟踪，在此过程中焊枪保持与工件的弧长距离为2-3mm，距离参数通过中央监控人机界面设定；

步骤七：操作者根据焊缝的形式和焊接环境的特点，通过本地端的中央监控人机界面设定人机协作共享控制算法控制焊枪的位置和姿态，其中人机协作共享控制算法由自由度加权融合算法和自由度分割算法构成：

当焊缝为坡口轮廓规则的平面焊缝时，操作者通过本地端的中央监控人机界面采用自由度分割算法，由激光视觉控制器和激光视觉传感器工作头控制焊枪位置的高度Z和横向偏差Δx，操作者控制焊枪的其余姿态，速度Y在中央监控人机界面中设定，激光视觉传感器工作头引导焊枪向工件表面的焊缝起始位置移动，当激光视觉传感器工作头能够跟踪焊缝时，机器人控制器开始控制焊枪沿着焊缝走向前进，手动命令控制焊枪的姿态(Rx，Ry，Rz)，其中Rx为行进角、Ry为工作角、Rz为自旋角，直至作业完毕；

当焊缝为存在障碍的非连续焊缝或者使激光视觉跟踪无效时，操作者通过本地端的中央监控人机界面采用自由度加权融合算法，激光视觉控制器和激光视觉传感器工作头跟踪到焊缝间断处或激光视觉跟踪无效时，激光视觉传感器工作头跟踪的特征点消失，激光视觉传感控制器引导失效，操作者在液晶光闸眼镜、立体视觉显示器、第二可控云台和宏观变焦摄像机的辅助下，手动控制空间鼠标跟踪焊缝，并引导焊枪越过障碍，当激光视觉控制器重新计算得到焊缝特征点后，开始引导焊枪的运动，并将引导的信息反馈给本地端的中央监控人机界面，操作者停止直接控制。

本发明具有以下有益效果：1.本发明通过共享控制算法把自主***的控制命令与手动控制的控制命令在焊接遥控操作机器人控制器中融合，自主控制与手动控制共享焊枪的六个自由度，来调整焊枪的位置和姿态，实现焊缝跟踪，并最终完成遥控焊接任务。2.本发明提高了遥控焊接的自主能力、避免了时延存在情况下的“运动-等待”情况，同时增强了遥控焊接***的环境适应能力，具有较好的故障恢复能力；并解决了焊接遥控操作的避障问题。

附图说明

图1是本发明的***的示意图，其中宏观视觉显示器1、中央监控人机界面2、操作者3、空间鼠标4、液晶光闸眼镜5、立体视觉显示器6、工业以太网7、机器人控制器8、激光视觉控制器9、机器人10、工作平台11、第一可控云台12、双目摄像机13、工件14、第二可控云台15、宏观变焦摄像机16、焊枪17、激光视觉传感器工作头18、焊接电源19，图2是本发明采用自由度分割算法的算法控制框图，图3是本发明采用自由度加权融合算法控制框图，图4是焊接直线焊缝且对接坡口焊缝长200mm时得到的焊缝跟踪偏差曲线图，图5是焊接焊缝是V型坡口的平面曲线焊缝，中部位置约10mm焊缝间断，得到的焊缝跟踪偏差曲线图。

具体实施方式

具体实施方式一：结合图1-图3说明本实施方式，本实施方式的方法由以下步骤实现的：步骤一：宏观变焦摄像机16采集二维视频图像，并通过视频线将二维视频图像传给宏观视觉显示器1，操作者3在本地端的中央监控人机界面2中通过焦距控制及第二可控云台15调整视野；

步骤二：操作者3操作空间鼠标4发出控制指令，通过工业以太网7传给远端的机器人控制器8去控制远端机器人10的运动，机器人10引导焊枪17移动达到焊缝上方30-40mm附近，同时机器人控制器8实时将焊枪17的位姿矩阵传给本地端的中央监控人机界面2，调整界面中虚拟环境的机器人10的位姿；

步骤三：双目摄像机13将获取的焊接环境图像传输给本地端的立体视觉显示器6，操作者3佩戴液晶光闸眼镜5观察获得远端环境的深度信息，并在中央监控人机界面2中调节第一可控云台12从多视角观察，操作者3跟踪焊缝；

步骤四：工件14固定在工作平台11上构成远端的焊接环境，具有六个自由度的机器人10的第六关节与焊枪17固接，焊枪17上安装有激光视觉传感器工作头18，激光束中心距焊枪17尖端横向距离20--30mm，焊枪17处于焊接环境空间的任意位置；

步骤五：操作者3操作中央监控人机界面2启动激光视觉控制器9和激光视觉传感器工作头18并启动焊接电源19，当激光视觉控制器9处理焊缝的特征点实现焊枪17的引导后，机器人10向焊缝的起始点运动；

步骤六：机器人10运动到焊缝的起始位置，开始焊缝自动跟踪，在此过程中焊枪17保持与工件14的弧长距离为2-3mm，距离参数通过中央监控人机界面2设定；

步骤七：操作者3根据焊缝的形式和焊接环境的特点，通过本地端的中央监控人机界面2设定人机协作共享控制算法控制焊枪17的位置和姿态，其中人机协作共享控制算法由自由度加权融合算法和自由度分割算法构成：

当焊缝为坡口轮廓规则的平面焊缝时，操作者3通过本地端的中央监控人机界面2采用自由度分割算法，由激光视觉控制器9和激光视觉传感器工作头18控制焊枪17位置的高度Z和横向偏差Δx，操作者3控制焊枪17的其余姿态，速度Y在中央监控人机界面2中设定，激光视觉传感器工作头18引导焊枪17向工件14表面的焊缝起始位置移动，当激光视觉传感器工作头18能够跟踪焊缝时，机器人控制器8开始控制焊枪17沿着焊缝走向前进，手动命令控制焊枪12的姿态(Rx，Ry，Rz)，其中Rx为行进角、Ry为工作角、Rz为自旋角，直至作业完毕；

当焊缝为存在障碍的非连续焊缝或者使激光视觉跟踪无效时，操作者3通过本地端的中央监控人机界面2采用自由度加权融合算法，激光视觉控制器9和激光视觉传感器工作头18跟踪到焊缝间断处或激光视觉跟踪无效时，激光视觉传感器工作头18跟踪的特征点消失，激光视觉控制器9引导失效，操作者3在液晶光闸眼镜5、立体视觉显示器6、第二可控云台15和宏观变焦摄像机16的辅助下，手动控制空间鼠标4跟踪焊缝，并引导焊枪17越过障碍，当激光视觉控制器9重新计算得到焊缝特征点后，开始引导焊枪17的运动，并将引导的信息反馈给本地端的中央监控人机界面2，操作者3停止直接控制。

具体实施方式二：结合图3说明本实施方式，本实施方式的自由度加权融合算法是由操作者3直接控制命令和视觉传感控制命令在机器人控制器8中按照预先确定的权重值进行迭加，二者的控制命令对机器人10的所有自由度进行影响，共同改变焊枪17的位姿，设：操作者3的手动控制命令的驱动矩阵为ΔT₁ ⁶，权重值为K₁(0＜K₁＜1)，激光视觉控制器9的激光条纹打到工件14的表面，反射到激光视觉传感器工作头18上，通过图像处理提取焊缝的坡口信息，得到焊缝特征点的位置信息(X，Y，Z)，其中X为横向、Y为速度、Z为高度，结合此时的机器人10的姿态(Rx，Ry，Rz)，其中Rx为行进角、Ry为工作角、Rz为自旋角，得到激光视觉传感控制命令的驱动矩阵，设该驱动矩阵为ΔT₂ ⁶，权重值为K₂(0＜K₂＜1)，则：根据自由度加权融合算法得到焊枪17的驱动矩阵T： $T=K_1{\mathrm{\&Delta;T}}_1^6+K_2{\mathrm{\&Delta;T}}_2^6(0<K_1<\mathrm{1,0}<K_2<1),$ 通过逆运动学解出机器人10在下一个伺服周期运动要达到的各个关节角值，从而实现机器人10运动过程中手动控制命令与视觉传感命令共同对机器人10的控制；当焊缝区存在障碍时的非连续焊缝可以通过共享控制的手动控制机器人10越过障碍，提高了在非结构环境作业能力。其它组成及步骤与具体实施方式一相同。

具体实施方式三：结合图2说明本实施方式，本实施方式的自由度分割算法是把机器人的六个自由度进行分割，直接控制命令与视觉传感控制命令分别控制不同的自由度，激光视觉控制器9的激光条纹打到工件14的表面，反射到激光视觉传感器工作头18上，通过图像处理提取焊缝的坡口信息，得到焊缝特征点的位置信息(X，Y，Z)，其中X为横向、Y为速度、Z为高度，结合此时的机器人10的姿态(Rx，Ry，Rz)，其中Rx为行进角、Ry为工作角、Rz为自旋角，得到激光视觉传感控制命令的驱动矩阵，设该驱动矩阵为ΔT₂ ⁿ，权重值为K₂(0＜K₂＜1)，则：根据自由度分割算法得到焊枪的驱动矩阵T： $T=K_1{\mathrm{\&Delta;T}}_1^{(6-n)}+K_2{\mathrm{\&Delta;T}}_2^n(n<\mathrm{6,0}<K_1<\mathrm{1,0}<K_2<1),$ 通过逆运动学解出机器人10在下一个伺服周期运动要达到的各个关节角值，从而实现机器人10运动过程中手动控制命令与视觉传感命令共同对机器人10的控制；操作者3的操作负担减轻，跟踪的精度提高，满足遥控焊接的要求。其它组成及步骤与具体实施方式一相同。

具体实施方式四：结合图1说明本实施方式，本实施方式的共享控制是将自主***的控制命令与手动控制的控制命令在焊接遥操作机器人控制器8中融合，自主控制与直接控制共享机器人10的六个自由度控制、调整焊枪17的位置和姿态，完成遥控焊接任务。其它组成及步骤与具体实施方式一相同。

具体实施方式五：结合图1和图5说明本实施方式，本实施方式为跟踪焊缝为平面曲线焊缝是V型坡口的正弦曲线中部位置断开10mm焊缝，步骤一～步骤六与具体实施方式一相同，步骤七：操作者3通过本地端的中央监控人机界面2采用自由度加权融合算法，激光视觉控制器9和激光视觉传感器工作头18跟踪到10mm的焊缝间断处时，激光视觉传感器工作头18跟踪的特征点消失，激光视觉控制器9引导失效，操作者3在液晶光闸眼镜5、立体视觉显示器6、第二可控云台15和宏观变焦摄像机16的辅助下，手动控制空间鼠标4跟踪焊缝，并引导焊枪17越过障碍，当激光视觉控制器9重新计算得到焊缝特征点后，开始引导焊枪17的运动，并将引导的信息反馈给本地端的中央监控人机界面2，操作者3停止直接控制；

得到的跟踪曲线图如图5所示，可见当焊缝区存在障碍时的非连续焊缝可以通过共享控制的手动控制机器人10越过障碍，提高了在非结构环境作业能力。

具体实施方式六：结合图1和图4说明本实施方式，本实施方式为直线焊缝，对接坡口焊缝长200mm，步骤一～步骤六与具体实施方式一相同，步骤七：操作者3通过本地端的中央监控人机界面2采用自由度分割算法，由激光视觉控制器9和激光视觉传感器工作头18控制焊枪17位置的高度Z和横向偏差Δx，操作者3控制焊枪17的其余姿态，速度Y在中央监控人机界面2中设定，激光视觉传感器工作头18引导焊枪17向工件14表面的焊缝起始位置移动，当激光视觉传感器工作头18能够跟踪焊缝时，机器人控制器8开始控制焊枪17沿着焊缝走向前进，手动命令控制焊枪12的姿态(Rx，Ry，Rz)，其中Rx为行进角、Ry为工作角、Rz为自旋角，直至作业完毕；

得到的跟踪偏差曲线图如图4，由于操作者3仅控制焊枪17的一个自由度，操作负担减轻，跟踪的精度提高，其平均偏差为1.1mm。满足遥控焊接的要求。

工作原理：本发明中操作者3通过空间鼠标4发出的机器人控制命令与激光视觉控制器9发出的机器人控制命令根据人机协作共享控制算法在机器人控制器8中融合，即直接控制与自主控制的融合，控制焊枪的六个自由度(X，Y，Z，Rx，Ry，Rz)，其中X为横向、Y为速度、Z为高度、Rx为行进角、Ry为工作角、Rz为自旋角，调整焊枪17的位置和姿态，以达到补偿时间延迟、避障和实现连续操作焊接的目的。

Claims (4)

1.一种人机协作共享控制遥控焊接的方法，其特征在于所述方法由以下步骤实现：

步骤一：宏观变焦摄像机(16)采集二维视频图像，并通过视频线将二维视频图像传给宏观视觉显示器(1)，操作者(3)在本地端的中央监控人机界面(2)中通过焦距控制及第二可控云台(15)调整视野；

步骤二：操作者(3)操作空间鼠标(4)发出控制指令，通过工业以太网(7)传给远端的机器人控制器(8)去控制远端机器人(10)的运动，机器人(10)引导焊枪(17)移动达到焊缝上方30-40mm附近，同时机器人控制器(8)实时将焊枪(17)的位姿矩阵传给本地端的中央监控人机界面(2)，调整界面中虚拟环境的机器人(10)的位姿；

步骤三：双目摄像机(13)将获取的焊接环境图像传输给本地端的立体视觉显示器(6)，操作者(3)佩戴液晶光闸眼镜(5)观察获得远端环境的深度信息，并在中央监控人机界面(2)中调节第一可控云台(12)从多视角观察，操作者(3)跟踪焊缝；

步骤四：工件(14)固定在工作平台(11)上构成远端的焊接环境，具有六个自由度的机器人(10)的第六关节与焊枪(17)固接，焊枪(17)上安装有激光视觉传感器工作头(18)，激光束中心距焊枪(17)尖端横向距离20--30mm，焊枪(17)处于焊接环境空间的任意位置；

步骤五：操作者(3)操作中央监控人机界面(2)启动激光视觉控制器(9)和激光视觉传感器工作头(18)并启动焊接电源(19)，当激光视觉控制器(9)处理焊缝的特征点实现焊枪(17)的引导后，机器人(10)向焊缝的起始点运动；

步骤六：机器人(10)运动到焊缝的起始位置，开始焊缝自动跟踪，在此过程中焊枪(17)保持与工件(14)的弧长距离为2-3mm，距离参数通过中央监控人机界面(2)设定；

步骤七：操作者(3)根据焊缝的形式和焊接环境的特点，通过本地端的中央监控人机界面(2)设定人机协作共享控制算法控制焊枪(17)的位置和姿态，其中人机协作共享控制算法由自由度加权融合算法和自由度分割算法构成：

当焊缝为坡口轮廓规则的平面焊缝时，操作者(3)通过本地端的中央监控人机界面(2)采用自由度分割算法，由激光视觉控制器(9)和激光视觉传感器工作头(18)控制焊枪(17)位置的高度Z和横向偏差Δx，操作者(3)控制焊枪(17)的其余姿态，速度Y在中央监控人机界面(2)中设定，激光视觉传感器工作头(18)引导焊枪(17)向工件(14)表面的焊缝起始位置移动，当激光视觉传感器工作头(18)能够跟踪焊缝时，机器人控制器(8)开始控制焊枪(17)沿着焊缝走向前进，手动命令控制焊枪(12)的姿态(Rx，Ry，Rz)，其中Rx为行进角、Ry为工作角、Rz为自旋角，直至作业完毕；

当焊缝为存在障碍的非连续焊缝或者使激光视觉跟踪无效时，操作者(3)通过本地端的中央监控人机界面(2)采用自由度加权融合算法，激光视觉控制器(9)和激光视觉传感器工作头(18)跟踪到焊缝间断处或激光视觉跟踪无效时，激光视觉传感器工作头(18)跟踪的特征点消失，激光视觉控制器(9)引导失效，操作者(3)在液晶光闸眼镜(5)、立体视觉显示器(6)、第二可控云台(15)和宏观变焦摄像机(16)的辅助下，手动控制空间鼠标(4)跟踪焊缝，并引导焊枪(17)越过障碍，当激光视觉控制器(9)重新计算得到焊缝特征点后，开始引导焊枪(17)的运动，并将引导的信息反馈给本地端的中央监控人机界面(2)，操作者(3)停止直接控制。

2.根据权利要求1所述一种人机协作共享控制遥控焊接的方法，其特征在于所述步骤七中自由度加权融合算法是由操作者(3)直接控制命令和视觉传感控制命令在机器人控制器(8)中按照预先确定的权重值进行迭加，二者的控制命令对机器人(10)的所有自由度进行影响，共同改变焊枪(17)的位姿，设：操作者(3)的手动控制命令的驱动矩阵为ΔT₁ ⁶，权重值为K₁(0＜K₁＜1)，激光视觉控制器(9)的激光条纹打到工件(14)的表面，反射到激光视觉传感器工作头(18)上，通过图像处理提取焊缝的坡口信息，得到焊缝特征点的位置信息(X，Y，Z），其中X为横向、Y为速度、Z为高度，结合此时的机器人(10)的姿态(Rx，Ry，Rz)，其中Rx为行进角、Ry为工作角、Rz为自旋角，得到激光视觉传感控制命令的驱动矩阵，设该驱动矩阵为ΔT₂ ⁶，权重值为K₂(0＜K₂＜1)，则：根据自由度加权融合算法得到焊枪(17)的驱动矩阵T： $T=K_1\mathrm{\&Delta;}{T}_1^6+K_2\mathrm{\&Delta;}{T}_2^6(0<K_1<\mathrm{1,0}{<K}_2<1),$ 通过逆运动学解出机器人(10)在下一个伺服周期运动要达到的各个关节角值，从而实现机器人(10)运动过程中手动控制命令与视觉传感命令共同对机器人(10)的控制。

3.根据权利要求1所述一种人机协作共享控制遥控焊接的方法，其特征在于所述步骤七中自由度分割算法是把机器人的六个自由度进行分割，直接控制命令与视觉传感控制命令分别控制不同的自由度，激光视觉控制器(9)的激光条纹打到工件(14)的表面，反射到激光视觉传感器工作头(18)上，通过图像处理提取焊缝的坡口信息，得到焊缝特征点的位置信息(X，Y，Z)，其中X为横向、Y为速度、Z为高度，结合此时的机器人(10)的姿态(Rx，Ry，Rz)，其中Rx为行进角、Ry为工作角、Rz为自旋角，得到激光视觉传感控制命令的驱动矩阵，设该驱动矩阵为ΔT₂ ⁿ，权重值为K₂(0＜K₂＜1)，则：根据自由度分割算法得到焊枪的驱动矩阵T： $T=K_1{\mathrm{\&Delta;T}}_1^{(6-n)}+K_2\mathrm{\&Delta;}{T}_2^n(n<\mathrm{6,0}{<K}_1<\mathrm{1,0}{<K}_2<1),$ 通过逆运动学解出机器人(10)在下一个伺服周期运动要达到的各个关节角值，从而实现机器人(10)运动过程中手动控制命令与视觉传感命令共同对机器人(10)的控制。

4.根据权利要求1所述一种人机协作共享控制遥控焊接的方法，其特征在于所述步骤七中共享控制是将自主***的控制命令与手动控制的控制命令在焊接遥操作机器人控制器(8)中融合，自主控制与直接控制共享机器人(10)的六个自由度控制、调整焊枪(17)的位置和姿态，完成遥控焊接任务。

Images