CN112659123B - 一种基于线结构光视觉的双机器人曲线焊接协同规划方法 - Google Patents
一种基于线结构光视觉的双机器人曲线焊接协同规划方法 Download PDFInfo
- Publication number
- CN112659123B CN112659123B CN202011465559.3A CN202011465559A CN112659123B CN 112659123 B CN112659123 B CN 112659123B CN 202011465559 A CN202011465559 A CN 202011465559A CN 112659123 B CN112659123 B CN 112659123B
- Authority
- CN
- China
- Prior art keywords
- robot
- welding
- curve
- coordinate system
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003466 welding Methods 0.000 title claims abstract description 172
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000033001 locomotion Effects 0.000 claims abstract description 47
- 239000013598 vector Substances 0.000 claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 230000003287 optical effect Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 54
- 230000008859 change Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 10
- 230000009466 transformation Effects 0.000 abstract description 10
- 230000036544 posture Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000000407 epitaxy Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Manipulator (AREA)
Abstract
本发明是基于线结构光视觉的双机器人曲线焊接协同规划方法,该方法先标定双机器人协同焊接***各部件相对位姿关系矩阵,通过被测焊缝的线结构光条纹图像处理,提取曲线焊缝点组的图像特征,并建立焊缝曲线及其两侧曲面的三维结构特征模型。依据特征模型建立焊缝离散控制点微分旋转运动矢量在主机器人基坐标系和末端坐标系之间的变换关系,得出主机器人关节角最小范数解序列,通过主从机器人闭环运动链得出实现焊缝跟踪的从机器人关节角序列。该方法解决了主机器人船型焊工艺规划和从机器人焊枪姿态控制问题,能在不依赖于曲线焊缝具体尺寸形状条件下,通过线结构光视觉检测全面描述曲线焊缝结构特征,实现满足船型焊要求的双机器人协同焊接规划。
Description
技术领域
本发明涉及机器人焊接自动化技术领域,具体的说是一种基于线结构光视觉的双机器人曲线焊接协同规划方法。
背景技术
在焊接工程实践领域,存在许多不同形状管件相互交叉的结构,形成复杂的空间相贯曲线焊缝,这类空间曲线的焊接加工任务已广泛存在于汽车、船舶、石油、钢结构、各类压力容器等制造行业之中。由于空间曲线焊缝形态结构的多样性,单机器人的可操作性存在明显不足,而双机器人通过协同操作,具有很高的适应性和灵活性,因此可以完成复杂的空间曲线焊接规划任务。由于待焊工件形状、尺寸及相贯形式的不同,使得机器人焊接规划需要依赖工件自身精确的结构模型,但由于工件装配误差等不确定性因素的影响,待焊工件通常会偏离精确的理论结构模型,使得双机器人协同曲线焊接存在较大误差,因此,研究一种通用精确的空间曲线焊接双机器人协同规划方法有着重要的意义。
国内外学者针对空间曲线焊接规划问题做了一定研究。石磊等在焊接学报,2015,36(6):5-8发表的文章“主管旋转式相贯曲线自动焊接模型与仿真”对主管旋转式相贯曲线自动焊接规划进行了研究,该方法采用空间曲线解析表达式表示焊缝模型,模型计算效率高,但仅针对马鞍型等特定形式的相贯曲线,通用性不足,对于不规则工件偏心交方式形成的复杂焊缝曲线,难以形成精确的解析表达式,且无法修正由于工件装配问题所导致的实际偏差。
Chen C.L等在国际期刊Robotics and Computer-Integrated Manufacturing,2013,29(4):41-48 上发表文章“An approach to the path planning of tube-sphereintersection welds with the robot dedicated to J-groove joints”对J型相贯曲线焊接规划进行了研究,该方法采用特定接触式测量头获取多个曲线采样点,再应用多项式函数拟合曲线法建立数学模型,该方法修正了工件装配的偏差,使焊缝位置模型更为精确,但对焊接姿态角度缺乏描述,且接触式测量的操作效率较低。
中国发明专利“一种基于任务解耦的多机器人协作焊接路径的生成方法”(授权公告号 CN105302062 B),公布了一种任务解耦的多机器人协作焊接路径的生成方法,该方法建立了统一的多机器人协作焊接模型,可实现多机器人协作焊接的任务规划。但该方法用于构建主机器人运动轨迹的离线化焊点是按机器人示教方法获取的,存在人工示教耗时长,规划效率低的问题。同时方法中所提焊缝特征仅指焊缝位置特征,未包括构成焊缝的工件曲面轮廓特征,对焊接规划时的焊枪姿态控制缺少描述。
引入视觉检测全面快速地获取焊缝位置和工件曲面轮廓特征,对于提高空间曲线焊缝的模型精度,实现双机器人高效率精确协同规划是必要的。视觉检测方法在曲线焊接规划方面已有一定的研究成果,中国发明专利申请“一种基于焊缝工业机器人姿态的曲线焊缝跟踪方法”(申请公布号CN108907408A)公开了一种基于焊缝工业机器人姿态的曲线焊缝跟踪方法,提出选取焊缝部位的边界点建立空间坐标系,通过特征识别相机对焊缝特征进行坐标化,进行焊缝点位置坐标表示。但该方法仅提出检测焊缝位置点,未涉及检测局部焊缝点周边结构的特征,且没有提出具体的焊缝特征识别步骤。中国发明专利申请“一种多机器人焊接的多角度调整控制方法”(申请公布号CN111451671A)公开了一种多机器人焊接的多角度调整控制方法,使得焊接机器人根据焊缝位置进行实时角度调整,但该方法也仅涉及视觉摄像头辅助定位焊缝位置,对焊枪姿态控制同样缺乏描述,同时对多机器人如何实施角度调整的协同问题缺乏必要的步骤说明。
综上所述,目前机器人协同焊接方法存在的主要问题体现在:(1)工件的焊缝模型主要应用空间几何法构建,依赖于工件的具体形状和相贯形式,方法不具备普适性,且忽略了工件加工装配误差等不确定因素的影响,焊缝理论模型与实际存在误差。(2)轨迹规划限于焊缝点位置规划,且示教等接触式位置检测方法效率较低,而采用的视觉方法缺少对焊缝周边工件结构轮廓特征的检测,所构建的规划模型没有明确焊枪姿态控制,没有构建出满足船型焊等焊接工艺要求的规划方法。
发明内容
本发明要解决的技术问题是提供一种基于线结构光视觉的双机器人曲线焊接协同规划方法,能够实现在不依赖于曲线焊缝具体尺寸形状条件下,通过线结构光视觉检测全面描述曲线焊缝结构特征,进而完成满足船型焊工艺要求的双机器人协同焊接的规划。
为解决上述技术问题,本发明采用的技术方案为:
一种基于线结构光视觉的双机器人曲线焊接协同规划方法,其特征在于:通过线结构光视觉检测全面描述曲线焊缝结构特征,实现双机器人协同焊接,具体步骤如下:
步骤1,标定双机器人协同焊接***各部件相对位姿关系矩阵;
步骤2,基于线结构光视觉检测提取曲线焊缝图像特征;
步骤3,建立焊缝曲线及其两侧曲面变化三维特征模型;
步骤4,根据离散焊缝控制点微分运动生成主机器人运动轨迹规划;
步骤5,根据主从机器人闭环运动链生成从机器人运动轨迹规划。
所述的步骤1中,标定双机器人协同焊接***各部件相对位姿关系矩阵的具体步骤如下:
所述的步骤2中,提取曲线焊缝图像特征的具体步骤如下:
步骤2.1,对焊缝接口线结构光条纹图像处理,提取条纹单像素中心线;
步骤2.2,基于最大曲率变化分析提取相贯曲线局部焊缝点组图像特征;
所述的步骤3中,建立焊缝曲线及其两侧曲面变化三维特征模型的具体步骤如下:
步骤3.1,进行相机-线结构光传感器参数标定,获取相机内参数和线结构光平面参数;
步骤3.4,建立主机器人末端坐标系下的焊缝曲线及其两侧曲面变化特征方程;具体为:对步骤3.3中形成的三个特征点集合{Pi e1},和{Wi e1}(i=1~N)采用Bspline曲线拟合分别建立焊缝曲线方程和对应形成焊缝的两侧曲面变化特征曲线方程和焊缝曲线方程特征曲线方程和均相对于主机器人末端坐标系;
步骤3.5,构建离散化的焊缝控制点坐标系;具体为:离散化焊缝曲线方程,确定离散焊缝控制点位置坐标序列;离散化两曲面变化特征曲线方程,得到离散后的曲面特征点序列建立焊缝控制点指向对应的两曲面特征点方向矢量、控制点处切矢量与控制点坐标系各坐标轴方向矢量的运算关系,计算控制点坐标系各坐标轴的方向矢量,构建各离散焊缝控制点旋转矩阵由和形成位姿矩阵序列(k=1~Nt),Nt为离散控制点数。
所述的步骤4中,生成主机器人运动轨迹规划的具体步骤如下:
步骤4.1,根据步骤3.5得到的各离散焊缝控制点旋转矩阵生成焊缝控制点坐标系相对主机器人末端的微分旋转运动矢量其序列为:δ0为规划设置的绕主机器人基坐标系Z轴的微分旋转运动分量,绕X、Y轴分量设置为0;
所述的步骤5中,生成从机器人运动轨迹规划的具体步骤如下:
步骤5.1,构建主从机器人闭环运动链,生成从机器人末端位姿矩阵序列(k=1~Nt),其中,Nt为离散控制点数,由步骤1.1得到,由步骤1.3得到;根据步骤4.6得到的主机器人关节角序列通过主机器人运动学正解得到 由步骤3.5得到;
该种基于线结构光视觉的双机器人曲线焊接协同规划方法能够达到的有益效果为:第一,构建了一种基于线结构光视觉的曲线焊缝结构模型,建模方法不依赖于具体的相贯尺寸、形状和相贯方式,模型具有同时反映焊缝位置和焊缝周边工件结构轮廓特征的整体表征性,可根据该模型直接构建曲线焊缝控制点与主机器人末端的位姿关系,解决了几何建模法的局限,满足了建模的通用性。
第二,构建了一种基于曲线焊缝视觉结构建模的主、从机器人协同规划方法。该方法将船型焊工艺要求表达为焊缝控制点的微分旋转运动矢量,建立了离散焊缝控制点微分旋转运动矢量在主机器人基坐标系和末端坐标系之间的变换关系,得出了主机器人关节角最小范数解序列,并通过主从机器人闭环运动链得出实现焊缝跟踪的从机器人关节角序列。该方法解决了主机器人船型焊工艺规划和从机器人焊枪姿态控制问题,实现了主、从机器人曲线焊接的协同优化规划。
附图说明
图1为本发明一种基于线结构光视觉的双机器人曲线焊接协同规划方法的流程图。
图2为本发明一种基于线结构光视觉的双机器人曲线焊接协同规划方法中双机器人协同焊接***组成示意图。
图3为本发明一种基于线结构光视觉的双机器人曲线焊接协同规划方法中双机器人协同焊接***各坐标系及位姿变换关系示意图。
图4为本发明一种基于线结构光视觉的双机器人曲线焊接协同规划方法中线结构光曲线焊缝图像局部特征点组示意图。
图5为本发明一种基于线结构光视觉的双机器人曲线焊接协同规划方法中焊缝曲线及其两侧曲面变化特征方程示意图。
图6为本发明一种基于线结构光视觉的双机器人曲线焊接协同规划方法中焊缝控制点坐标系的构建示意图。
图7为本发明一种基于线结构光视觉的双机器人曲线焊接协同规划方法中实现船型焊姿态时的主从机器人闭环运动链示意图。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述。
双机器人协同焊接***组成如附图2所示,包括主机器人1、从机器人2、线结构光视觉检测装置3、被焊工件4等部分。主机器人1末端固定夹持被焊工件4,带动被焊工件4运动使其焊缝在焊接时保持呈船型焊姿态;从机器人2末端安装焊枪5用于焊接,同时其末端固定安装线结构光视觉检测装置3,检测装置3包括工业相机3-1和线结构光传感器3-2,线结构光传感器3-2发射出的线结构光投射到曲线焊缝接口上,在焊接工件表面形成线结构光条纹6,工业相机采集线结构光条纹6的图像用于检测曲线焊缝的结构特征。
在该种双焊接机器人的结构基础上,根据图1所示的总体流程图,实施步骤如下:
步骤1,标定双机器人协同焊接***各部件相对位姿关系矩阵。
双机器人协同焊接***各坐标系及位姿变换关系示意图如附图3所示,{B1}表示主机器人基坐标系,同时作为世界坐标系。{B2}表示从机器人基坐标系,{E1},{E2}分别表示主、从机器人末端坐标系,{T1}表示夹持工具坐标系,{T2}表示焊枪工具坐标系,{C}表示工业相机坐标系,{S}表示焊缝控制点坐标系。在各坐标系之间的位姿变换关系中,主、从机器人基坐标系之间,主机器人末端坐标系与被焊工件基坐标系之间、从机器人末端坐标系与相机坐标系之间,以及从机器人末端与焊枪工具坐标系之间均为固定位姿关系。通过下述标定方法获取各自对应的位姿变换关系矩阵,具体步骤如下:
步骤1.1:标定主、从机器人工具TCP位姿关系矩阵;
步骤1.2:标定从机器人-相机位姿关系矩阵;
步骤1.3:标定主、从机器人基坐标系之间位姿关系矩阵,具体为:
从立体标定板上取N个标定点Ik(k=1~N)并示教提取对应在{B1}和{B2}的坐标,建立如基于最小二乘的标定模型H:
进一步的,该方法通过线结构光视觉建模方法直接构建相贯曲线焊缝与主机器人末端的位姿关系,不需要建立工件基坐标系,无需标定主机器人-被焊工件基坐标系之间位姿关系矩阵。
步骤2,基于线结构光视觉检测提取曲线焊缝图像特征;具体步骤如下:
步骤2.1,对焊缝接口线结构光条纹图像处理,提取条纹单像素中心线;
调整从机器人运动使线结构光条纹垂直于焊缝接口后,采集被测焊缝接口的结构光条纹图像,采用基于二值形态学光条细化算法提取线结构光条纹中心线。
步骤2.2,基于最大曲率变化分析提取相贯曲线局部焊缝点组图像特征;
线结构光条纹在构成焊缝的两个相贯管焊件上形成两个曲边,结构光条纹中心线图像上两曲边对应焊缝两侧工件曲面轮廓,曲边的交点对应焊缝位置点。依据焊缝条纹中心线的曲率变化特征,采用最大曲率分析法提取特征。曲率分析法在经过步骤2.1得到的单像素宽度细化图像基础上实现。具体步骤为:
第一步,将条纹中心线上所有点按像素坐标大小顺序排列,记为Pi(i=1~n),形成具有n 个点的条纹结构光点集;
第二步,以Bspline曲线拟合条纹中心线进行曲率变化分析,搜索曲率最大值kmax及其对应的点序nmax。曲率最大值对应结构光条纹中心线曲边交点Pu;
第三步,提取单个局部焊缝特征点组(Pu,Mu,Wu)的图像坐标:
如图4所示,选择Pu及其邻近区域等距的两点Mu,Wu共同构成曲线焊缝单个局部位置的特征点组(Pu,Mu,Wu),其对应的相机坐标为取点序nmax邻近前后两侧的局部区域n0点集的端点Pnmax,Pnmax-n0和Pnmax+n0,其中,前区域:nmax-n0~nmax,后区域:nmax~nmax+n0。以前、后两个区域点集分别拟合直线L1和L2,对应焊缝特征点所在位置在两侧待焊件上形成的两角线,两角线的交点作为焊缝点图像坐标Pu。进一步得到Mu,Wu:
其中,s1和s2表示直线L1和L2的方向矢量,λ表示距离参数,由此得到特征点组(Pu,Mu,Wu)的图像坐标。以上是局部单个焊缝点的图像特征提取过程。
步骤3,建立焊缝曲线及其两侧曲面变化三维特征模型,具体步骤如下:
步骤3.1,进行相机-线结构光传感器参数标定,获取相机内参数和线结构光平面参数;
工业相机-结构光传感器参数包括相机内参数和线结构光平面参数两部分。通过采集不同姿态下的棋盘格靶标图像,形成无结构光照射的棋盘格图像组和有结构光照射的棋盘格图像组。由无结构光照射的棋盘格图像组通过张正友标定法进行相机内参数标定,得到内参数矩阵K。
对有结构光照射的棋盘格图像组,通过步骤2.1的线结构光条纹图像处理方法得到线结构光条纹中心线,并与棋盘格各行列线求交计算标定点坐标,再通过标定点平面拟合得到结构光平面π相对于相机坐标系的平面参数方程ax+by+cz+1=0,其中,(a,b,c)为平面参数。
其中,K为相机内参数矩阵,i=1~N。
其中,为从机器人手眼变换矩阵,为主、从机器人基坐标系位姿关系矩阵,和分别由步骤1.2和1.3得到。(i=1~N)为第i次图像采集时对应的从机器人位姿矩阵由从机器人运动学正解得到。为主机器人位姿矩阵,在图像采集时保持不变,由主机器人运动学正解得到。
步骤3.4,建立主机器人末端坐标系下的焊缝曲线及其两侧曲面变化特征方程;
如图5所示,通过特征点组形成三个特征点集合{Pi e1},和{Wi e1} (i=1~N)。对上述三个点集,采用Bspline曲线拟合分别建立三个曲线参数方程,记为 和其中,对应焊缝曲线方程,和分别对应形成焊缝的两侧曲面变化特征曲线方程,上述方程均相对于主机器人末端坐标系。
步骤3.5,构建离散化的焊缝控制点坐标系;
焊缝控制点坐标系由焊缝形态结构模型约束,焊缝控制点坐标系{S}(OS-XSYSZS)的构建示意图如图6所示,具体步骤为:
第一步,离散化焊缝曲线方程,确定离散焊缝控制点位置坐标;
第二步,离散化两曲面变化特征曲线方程,得到离散后的曲面特征点序列;
两曲面变化特征曲线方程和分别通过时间平均插值方法实现从整体离散化,得到离散后曲面特征点序列和(u=kt0,k=1~Nt),其中Nt为离散控制点数,t0为单位时间常数,所得序列与焊缝控制点序列点数相同,次序对应。
第三步,计算控制点坐标系各坐标轴的近似方向矢量;
控制点指向对应的两曲面特征点的方向矢量nM和nW分别为
其中,||·||表示向量取模运算,下同。
控制点坐标系在X、Y和Z轴上的方向矢量分别为nS,oS和aS。在步骤2.1图像采集时,通过机器人运动使结构光条纹近似垂直焊缝接口,nM和nW两矢量所张成的平面近似为OS处的主法平面7,因此nS近似垂直于由nM和nW张成平面8。另一方面,根据主法面二分法,aS近似处于nM和nW两矢量形成的角平分线方向上。nS和aS的近似方向矢量nS0和aS0为
第四步,计算控制点坐标系坐标轴的方向矢量;
步骤4,根据离散焊缝控制点微分运动生成主机器人运动轨迹规划;具体步骤如下:
根据双机器人焊接工艺,主机器人夹持待焊工件实现船型焊姿态,则要求焊缝俯仰角焊缝回转角θ=180°,焊缝偏转角φ不受焊接工艺要求。由此,相对于主机器人基坐标系{B1}的焊缝成型姿态矩阵其中cφ=cosφ,sφ=sinφ。令微分旋转运动矢量 由下式计算:
其中,cαk=cos αk,sαk=sin αk。
在主、从机器人末端共同可达的工作空间内设置一点为焊缝起始点在主机器人基坐标系下的位置,记为 其中,为焊缝起点在主机器人末端系下的位置,由步骤3-4得到。由步骤4.3得到。由此根据初始位姿矩阵由主机器人运动学反解得到对应的初始关节角
步骤5,根据主从机器人闭环运动链生成从机器人运动轨迹规划,具体步骤如下:
其中,为从机器人工具焊枪TCP位姿关系矩阵,为主、从机器人基坐标系之间位姿关系矩阵,和分别由步骤1.1和1.3得到。为主机器人末端位姿矩阵序列,根据步骤4-6得到的主机器人关节角序列通过主机器人运动学正解得到 表示焊缝控制点坐标系相对于主机器人末端坐标系变换矩阵序列,由步骤3.5得到。
至此,完成了双机器人曲线焊接的协同规划。由上述具体实施过程可见,本发明实现了在不依赖于曲线焊缝具体尺寸形状条件下,通过线结构光视觉检测全面描述曲线焊缝结构特征,进而实现满足船型焊工艺要求的双机器人协同焊接规划的方案,解决了主机器人船型焊工艺规划和从机器人焊枪姿态控制问题。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。
Claims (3)
1.一种基于线结构光视觉的双机器人曲线焊接协同规划方法,其特征在于:通过线结构光视觉检测装置全面描述曲线焊缝结构特征,实现双机器人协同焊接,具体步骤如下:
步骤1,标定双机器人协同焊接***各部件相对位姿关系矩阵;具体为:
步骤2,基于线结构光视觉检测装置提取曲线焊缝图像特征;具体为:
步骤2.1,对焊缝接口线结构光条纹图像处理,提取条纹单像素中心线;
步骤2.2,基于最大曲率变化分析法提取相贯曲线局部焊缝点组图像特征,其中相贯曲线指的是线结构光条纹在构成焊缝的两个相贯管焊件上形成的两个曲边;步骤2.3,控制从机器人运动,通过结构光视觉检测装置分段扫描待焊工件的不同区域,分别进行各焊缝点的图像处理和局部图像特征提取,得到各焊缝特征点组的图像坐标(Pi u,Mi u,Wi u)(i=1~N),N表示不同区域焊缝点图像采集数;
步骤3,建立焊缝曲线及其两侧曲面变化三维特征模型;具体为:
步骤3.1,进行相机-线结构光传感器参数标定,获取相机内参数和线结构光传感器平面参数;
步骤3.4,建立主机器人末端坐标系下的焊缝曲线及其两侧曲面变化特征方程;具体为:根据步骤3.3中的三维坐标形成的三个特征点集合{Pi e1},和{Wi e1}(i=1~N),采用Bspline曲线拟合分别建立焊缝曲线方程和对应形成焊缝的两侧曲面变化特征曲线方程和其中焊缝曲线方程特征曲线方程和均相对于主机器人末端坐标系;
步骤3.5,构建离散化的焊缝控制点坐标系;具体为:离散化焊缝曲线方程,确定离散焊缝控制点位置坐标序列其中Nt为离散控制点数,t0为单位时间常数,作为控制点坐标系位置矢量即离散化两曲面变化特征曲线方程,得到离散后的两侧曲面特征点序列和建立焊缝控制点指向对应的两侧曲面特征点方向矢量、焊缝控制点处切矢量与焊缝控制点坐标系各坐标轴方向矢量的运算关系,计算焊缝控制点坐标系各坐标轴的方向矢量,构建各离散焊缝控制点旋转矩阵由和形成位姿矩阵序列
步骤4,根据离散焊缝控制点微分运动生成主机器人运动规划轨迹;
步骤5,根据主从机器人闭环运动链生成从机器人运动规划轨迹。
2.如权利要求1所述的一种基于线结构光视觉的双机器人曲线焊接协同规划方法,其特征在于:所述的步骤4中,生成主机器人运动规划轨迹的具体步骤如下:
步骤4.1,根据步骤3.5得到的各离散焊缝控制点旋转矩阵生成焊缝控制点坐标系相对主机器人末端坐标系的微分旋转运动矢量其序列为:δ0为规划设置的绕主机器人基坐标系Z轴的微分旋转运动分量,绕X、Y轴分量设置为0;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011465559.3A CN112659123B (zh) | 2020-12-14 | 2020-12-14 | 一种基于线结构光视觉的双机器人曲线焊接协同规划方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011465559.3A CN112659123B (zh) | 2020-12-14 | 2020-12-14 | 一种基于线结构光视觉的双机器人曲线焊接协同规划方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112659123A CN112659123A (zh) | 2021-04-16 |
CN112659123B true CN112659123B (zh) | 2022-08-16 |
Family
ID=75405677
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011465559.3A Active CN112659123B (zh) | 2020-12-14 | 2020-12-14 | 一种基于线结构光视觉的双机器人曲线焊接协同规划方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112659123B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113211449B (zh) * | 2021-06-10 | 2022-06-17 | 哈工大机器人集团股份有限公司 | 一种基于路径分析的机器人校准方法及其*** |
CN113524183B (zh) * | 2021-07-14 | 2023-01-24 | 广东智源机器人科技有限公司 | 相对位置获得方法、机械臂控制方法以及机械臂*** |
CN113547196A (zh) * | 2021-07-27 | 2021-10-26 | 天津大学 | 一种双侧搅拌摩擦焊接装备的主从镜像同步运动控制方法 |
CN113798634B (zh) * | 2021-08-18 | 2022-09-06 | 中国科学院自动化研究所 | 空间环形焊缝示教与焊缝跟踪方法、***及设备 |
CN113664831B (zh) * | 2021-08-25 | 2023-11-10 | 山东大学 | 一种获取焊缝点云信息的焊接机器人***及方法 |
CN113977160B (zh) * | 2021-11-23 | 2022-10-18 | 山东大学 | 一种基于三维视觉的焊枪位姿规划方法及*** |
CN114043087B (zh) * | 2021-12-03 | 2022-10-04 | 厦门大学 | 一种三维轨迹激光焊接焊缝跟踪姿态规划方法 |
CN114309886A (zh) * | 2021-12-21 | 2022-04-12 | 上海申博信息***工程有限公司 | 一种基于协同自适应的曲面焊接设备控制方法及*** |
CN114193041A (zh) * | 2021-12-31 | 2022-03-18 | 南京工程学院 | 一种多传感器融合的双机械臂焊接装置及焊接方法 |
CN114347038A (zh) * | 2022-02-17 | 2022-04-15 | 西安建筑科技大学 | 一种交汇管道双臂协作焊接机器人及控制*** |
CN114833825B (zh) * | 2022-04-19 | 2024-06-14 | 深圳市大族机器人有限公司 | 协作机器人控制方法、装置、计算机设备和存储介质 |
CN115106617A (zh) * | 2022-06-30 | 2022-09-27 | 中国水利水电夹江水工机械有限公司 | 一种窄小空间内长焊缝扫描及跟踪方法 |
CN115270348B (zh) * | 2022-08-08 | 2023-11-07 | 佛山职业技术学院 | 一种获取制造工艺的方法及存储介质 |
CN115179302B (zh) * | 2022-09-13 | 2022-12-13 | 北京石油化工学院 | 一种涉核环境下寻位-规划-纠偏的焊接机器人控制方法 |
CN116213884B (zh) * | 2023-05-10 | 2023-08-22 | 南京理工大学 | 管-法兰微分阵列式划分及自适应焊接路径规划方法 |
CN116275780B (zh) * | 2023-05-19 | 2023-08-15 | 苏州益发特科技有限公司 | 一种基于视觉识别的圆形管件相贯线焊接路径规划方法 |
CN117884754B (zh) * | 2024-03-14 | 2024-06-04 | 陇东学院 | 特种加工机器人*** |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101966617B (zh) * | 2010-08-30 | 2012-11-28 | 东南大学 | 用于焊接机器人连续运动的激光视觉焊件特征检测方法 |
CN105783726B (zh) * | 2016-04-29 | 2018-06-19 | 无锡科技职业学院 | 一种基于线结构光视觉检测的曲线焊缝三维重建方法 |
KR20170142379A (ko) * | 2016-06-17 | 2017-12-28 | 대우조선해양 주식회사 | 영상처리를 이용한 용접로봇의 용접선 인식장치 |
CN106425181A (zh) * | 2016-10-24 | 2017-02-22 | 南京工业大学 | 一种基于线结构光的曲线焊缝焊接技术 |
CN111189393B (zh) * | 2020-01-21 | 2021-10-01 | 北京卫星制造厂有限公司 | 一种三维薄壁结构焊缝的高精度全局视觉测量方法 |
-
2020
- 2020-12-14 CN CN202011465559.3A patent/CN112659123B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112659123A (zh) | 2021-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112659123B (zh) | 一种基于线结构光视觉的双机器人曲线焊接协同规划方法 | |
CN112518072B (zh) | 一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法 | |
CN111745267A (zh) | 一种基于激光位移传感器的坡口焊缝实时跟踪***及方法 | |
CN108481323B (zh) | 基于增强现实的机器人运动轨迹自动编程***及方法 | |
CN113001535B (zh) | 机器人工件坐标系自动校正***与方法 | |
Gao et al. | Automatic motion planning for complex welding problems by considering angular redundancy | |
CN112847353B (zh) | 一种基于离线编程软件的多段焊缝轨迹修正方法 | |
CN111496344B (zh) | 一种基于激光传感器的v型坡口信息处理方法 | |
CN112453648B (zh) | 一种基于3d视觉的离线编程激光焊缝跟踪*** | |
CN113798634B (zh) | 空间环形焊缝示教与焊缝跟踪方法、***及设备 | |
Zhou et al. | Autonomous acquisition of seam coordinates for arc welding robot based on visual servoing | |
Chen et al. | Seam tracking of large pipe structures for an agile robotic welding system mounted on scaffold structures | |
CN110450150A (zh) | 轨迹跟踪控制方法及轨迹跟踪*** | |
CN106891111A (zh) | 一种用于膜式水冷壁销钉焊接的机器人闭环加工*** | |
CN112719702A (zh) | 一种复杂管路智能装配与焊接一体化装置及方法 | |
CN114347038A (zh) | 一种交汇管道双臂协作焊接机器人及控制*** | |
CN116872216B (zh) | 一种基于有限时间控制的机器人视觉伺服作业方法 | |
Dharmawan et al. | Robot base placement and kinematic evaluation of 6R serial manipulators to achieve collision-free welding of large intersecting cylindrical pipes | |
CN117300464A (zh) | 一种基于结构光相机的相贯线焊缝检测和轨迹优化***及方法 | |
CN115723133B (zh) | 一种基于虚实结合的机器人空间焊缝自动定位与纠偏*** | |
CN110456729B (zh) | 一种轨迹跟踪控制方法及轨迹跟踪*** | |
CN110455272A (zh) | 轨迹跟踪***中的传感*** | |
CN116175035B (zh) | 一种基于深度学习的钢结构高空焊接机器人智能焊接方法 | |
Tsoy et al. | Estimation of 4-DoF manipulator optimal configuration for autonomous camera calibration of a mobile robot using on-board templates | |
Tsai et al. | An automatic golf head robotic welding system using 3D machine vision system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |