CN105563481B - 一种用于轴孔装配的机器人视觉引导方法 - Google Patents
一种用于轴孔装配的机器人视觉引导方法 Download PDFInfo
- Publication number
- CN105563481B CN105563481B CN201410632342.5A CN201410632342A CN105563481B CN 105563481 B CN105563481 B CN 105563481B CN 201410632342 A CN201410632342 A CN 201410632342A CN 105563481 B CN105563481 B CN 105563481B
- Authority
- CN
- China
- Prior art keywords
- image
- circle
- robot
- shaft hole
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000004438 eyesight Effects 0.000 title claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims abstract description 5
- 238000009825 accumulation Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 239000011148 porous material Substances 0.000 abstract 1
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Landscapes
- Manipulator (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种用于轴孔装配的机器人视觉引导方法,利用工业相机对孔系工件进行拍照,获取孔系工件的图像数据,将图像数据传到上位机;上位机对图像数据进行图像处理和分析,得出孔系工件在图像上的各轴孔的中心位置及半径的图像数据;将各轴孔的图像坐标数据转换为机器人坐标系的坐标数据;将机器人坐标数据发送给机器人控制器,从而完成视觉引导工作。该方法提高了工业机器人智能装配的准确性、稳定性,提高了其自动化程度。
Description
技术领域
本发明涉及机器人控制领域,具体涉及一种用于轴孔装配的机器人视觉引导方法。
背景技术
在现代制造业中,工业机器人被广泛的应用于各种生产需求,如焊接、喷涂、码垛、装配等。它不仅能将工人从繁杂的劳动任务中解放出来,而且同时也提高了产品的质量和生产线的自动化水平,大大地提高了工作效率。特别地,在零件装配生产任务中,多轴孔装配任务是常见的任务类型之一。在此情况下,多对轴孔同时存在装配关系,工业机器人被要求自动准确定位,同时满足正确的装配对应关系。更重要地,需要避免两工件发生碰撞从而导致缺陷。因此可知,多轴孔装配任务的自动化水平要求很高。
鉴于以上需求,人们提出了利用机器视觉进行智能装配的视觉引导技术方法。机器视觉是利用电子相机产生的图像信息,为机器增加视觉功能的技术。它具有信息量丰富、非接触测量和处理手段多样等优点,被大量地用于在机器人自动化领域,人们针对利用机器视觉***指导装配过程已经开展了一定的工作。如,於明亮等提出的被动装配研究方案,陈兴洲等提出的定位检测算法等。目前,机器视觉在智能装配领域应用较少,且方法手段还较为初级,针对智能装配,特别是多轴孔装配的自动化,高精度要求还难以满足。
发明内容
本发明所要解决的技术问题是提供一种轴孔装配的机器人视觉引导方法,以满足现有技术中高精度,低成本的需求。
为达到上述目的,本发明提供如下的技术方案:
利用工业相机对孔系工件进行拍照,获取孔系工件的图像数据,将图像数据传到上位机;
上位机对所述图像数据进行图像处理和分析,得出孔系工件在图像上的各轴孔的的中心位置及半径的图像数据;
将上述各轴孔的图像坐标数据转换为机器人坐标系的坐标数据;
将机器人坐标数据发送给机器人控制器,从而完成视觉引导工作。
优选的,上位机对所述图像数据进行图像处理和分析,得出孔系工件在图像上的各轴孔的的中心位置及半径的图像数据,具体步骤为:
对图像数据进行平滑预处理,去除噪声;
在预处理的图像的基础上,对图像进行边缘提取;
在边缘提取的基础上,提取图像中各轴孔所对应圆的中心位置和半径;
对检测到得圆做出进一步筛选,得出最佳的圆检测结果。
优选的,在预处理的图像的基础上,对图像进行边缘提取的步骤具体为:
分别在图像的X方向和Y方向进行Sobel微分计算,得到两幅边缘提取图像;
对两幅边缘提取图像,逐点计算像素点平方和,得到一幅新的平方和图像;
计算所述平方和图像的均值;
将所述均值的倍数作为阈值,对平方和图像进行二值化,得到边缘提取的最终结果。
优选的,在边缘提取的基础上,提取图像中各轴孔所对应圆的中心位置和半径,具体为:
将边缘提取的二值化图像空间的非零像素点变换到参数累加空间,取得参数累加空间的最大值;
根据一定比率和累加空间的最大累加值得到在参数累加空间提取圆的阈值;
根据所述阈值在累加空间提取检测到的圆。
优选的,所述将上述各轴孔的图像坐标数据转换为机器人坐标系的坐标数据,具体步骤为:
利用视觉标定原理求取工业相机的内、外参数;
对机器人坐标系进行零位标定;
根据所述的工业相机内、外参数确定从图像坐标到机器人坐标的变换过程公式及参数,求取工件轴孔像素点对应的机器人坐标。
本发明所提供的一种用于轴孔装配的机器人视觉引导方法,利用工业相机为机器人增加视觉功能,即通过工业相机所采集的图像获得工作场景图像,通过以上所述图像处理分析功能获得图像中有用的视觉信息,在利用视觉信息驱动机器人朝目标运动。机器视觉功能要求相机的坐标系与机器人的坐标系相一致,只有这样才能在机器视觉和机器人运动之间建立一致性联系,从而达到“手眼协调”,提高工业机器人智能装配的准确性、稳定性,提高了其自动化程度。
附图说明
图1为本发明实施例提供的一种用于轴孔装配的机器人视觉引导方法流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例和附图,对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,一种用于轴孔装配的机器人视觉引导方法,包括如下步骤:
S10:利用工业相机对孔系工件进行拍照,获取孔系工件的图像数据,将图像数据传到上位机。
利用工业相机对孔系工件进行拍照,获取图像数据,相机将图像数据经千兆以太网传到上位机。
S20:上位机对所述图像数据进行处理和分析,得出孔系工件在图像上各轴孔的中心位置及半径的图像数据。
为了达成步骤S20的目标,需对图像数据进行如下处理,包括如下步骤:
S201:对图像数据进行平滑预处理,去除噪声;
S202:在预处理的图像的基础上,对图像进行边缘提取;
利用图像边缘算子,对图像进行边缘提取,具体方法为:
S2021:分别在图像的X方向和Y方向进行Sobel微分计算,得到两幅边缘提取图像。
其中,X方向和Y方向的Sobel算子分别为:
S2022:对两幅边缘提取图像,逐点计算像素点平方和,得到一幅新的平方和图像;
假设图像数据为Ixy,得到的X方向和Y方向的边缘提取图像为Ix和Iy,则所得到的平方和图像I为
S2023:计算所述平方和图像的均值。
得到的为I的均值Imean。
S2024:将所述均值的倍数作为阈值,对平方和图像进行二值化,得到边缘提取的最终结果。
此处,均值的倍数为可调参数,通常取3。
S203:在边缘提取的基础上,提取图像中各轴孔所对应圆的中心位置和半径。
此处,利用霍夫变换原理,在边缘提取的基础上,提取图像中各轴孔所对应圆的中心位置和半径。霍夫变换是利用图形在图像原空间和图形参数空间的对偶关系,在参数空间中检测图像中图形的一种理论方法。可以用来检测直线、圆、椭圆等各种图形。
S2031:将边缘提取的二值化图像空间的非零像素点变换到参数累加空间,取得参数累加空间的最大值。
S2032:根据一定比率和累加空间的最大累加值得到在参数累加空间提取圆的阈值;
S2033:根据所述阈值在累加空间提取检测到的圆。
在根据最终累加空间中的累加值最大点Amax作为基准,根据一定比率λ设定阈值为Amax*λ,在累加空间中选取大于阈值的点作为可能的候选圆。假设三位空间中某点(x*,y*,r*)的累加值大于阈值,则意味着在二值图像的(x*,y*)点处存在着一个半径为r*的圆。霍夫变换的最终结果为一组这样的圆构成的集合。
S204:对检测到得圆做出进一步筛选,得出最佳的圆检测结果。
具体为:设定一相似度距离v作为两个圆C1(x1,y1,r1)和C2(x2,y2,r2)相似的度量,如下定义:
v=(x2-x1)2+(y2-y1)2+(r2-r1)2,
首先,检测结果R设为空集合;然后对霍夫变换检测结果逐一扫描,若不在R中的某圆c与检测结果R中的某一圆cr相似(相似度距离小于某阈值v’),则认为两个圆相似,将两个圆中霍夫空间累加值较大的保留在检测结果集合R中,若c与R中的任一圆都不相似,则将c加入到R中。
S30:将上述各轴孔的图像坐标数据转换为机器人坐标系的坐标数据。
具体步骤为:
S301:利用视觉标定原理求取工业相机的内、外参数;
采用张正友的相机标定方法求取相机的内、外参数A和R、T。采用棋盘格作为3维标定物,以棋盘格为Z=0平面,设有M行N列棋盘格的角点,坐标值为(0,0),(0,1),…,(M,N),单位为棋盘格数,采集多幅图像后,根据棋盘格图像角点坐标与棋盘格坐标的对应关系,求取相机的内、外参数A,R,T。
S302:对机器人坐标系进行零位标定。
以棋盘格的(0,0)点示教为机器人的零点,以棋盘格的x增长方向设定为机器人的x方向,以棋盘格的y增长方向设定为机器人的y方向对机器人坐标系进行零位标定,使机器人坐标的零点位置与工业相机的图像坐标零位相一致,以及使机器人坐标的坐标轴方向与工业相机的坐标轴方向相一致。
S303:根据所述的工业相机内、外参数确定从图像坐标到机器人坐标的变换过程公式及参数,求取工件轴孔像素点对应的机器人坐标。
根据以下方程的求解来完成由(u,v)到(X,Y,Z=0)的变换:
A′X′=B
其中,
上述方程利用了由步骤S301求取的内、外参数矩阵A,R,T。在给定(u,v)的情况下,在求取了内、外参数后,根据上述方程求取X’=[XY]T,则所求图像点(u,v)即对应方程的解构成的世界坐标系点(X’,Z=0),
S40:将机器人坐标数据发送给机器人控制器,从而完成视觉引导工作。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (3)
1.一种用于轴孔装配的机器人视觉引导方法,其特征在于,包括如下步骤:
利用工业相机对孔系工件进行拍照,获取孔系工件的图像数据,将图像数据传到上位机;
上位机对所述图像数据进行图像处理和分析,得出孔系工件在图像上的各轴孔的的中心位置及半径的图像数据;
将上述各轴孔的图像坐标数据转换为机器人坐标系的坐标数据;
将机器人坐标数据发送给机器人控制器,从而完成视觉引导工作;
所述上位机对图像数据进行图像处理和分析,得出孔系工件在图像上的各轴孔的中心位置及半径的图像数据,具体步骤为:对图像数据进行平滑预处理,去除噪声;在预处理的图像的基础上,对图像进行边缘提取,得到二值化图像;在边缘提取的基础上,提取图像中各轴孔所对应圆的中心位置和半径;对检测到得圆做出进一步筛选,得出最佳的圆检测结果;
所述在边缘提取的基础上,提取图像中各轴孔所对应圆的中心位置和半径;具体为:
将边缘提取的二值化图像空间的非零像素点变换到参数累加空间,取得参数累加空间的最大值;
根据一定比率和累加空间的最大累加值得到在参数累加空间提取圆的阈值;
根据所述阈值在累加空间提取检测到的圆;
所述根据阈值在累加空间提取检测到的圆,具体为:以最终累加空间中的累加值最大点Amax作为基准,根据一定比率λ设定阈值为Amax*λ,通过系数λ的调整以及对检测到的圆做进一步筛选,得出最佳的圆检测结果;
所述得出最佳的圆检测结果,具体为:
设定一相似度距离v作为两个圆C1(x1,y1,r1)和C2(x2,y2,r2)相似的度量,如下定义:
v=(x2-x1)2+(y2-y1)2+(r2-r1)2;
检测结果R设为空集合,对霍夫变换检测结果逐一扫描,若不在R中的某圆c与检测结果R中的某一圆cr相似,相似度距离小于某阈值v’,则认为两个圆相似,将两个圆中霍夫空间累加值较大的保留在检测结果集合R中,若c与R中的任一圆都不相似,则将c加入到R中。
2.如权利要求1所述的用于轴孔装配的机器人视觉引导方法,其特征在于,所述在预处理的图像的基础上,对图像进行边缘提取的步骤具体为:
分别在图像的X方向和Y方向进行Sobel微分计算,得到两幅边缘提取图像;
对两幅边缘提取图像,逐点计算像素点平方和,得到一幅新的平方和图像;
计算所述平方和图像的均值;
将所述均值的倍数作为阈值,对平方和图像进行二值化,得到边缘提取的最终结果。
3.如权利要求1所述的用于轴孔装配的机器人视觉引导方法,其特征在于,所述将上述各轴孔的图像坐标数据转换为机器人坐标系的坐标数据,具体步骤为:
利用视觉标定原理求取工业相机的内、外参数;
对机器人坐标系进行零位标定;
根据所述的工业相机内、外参数确定从图像坐标到机器人坐标的变换过程公式及参数,求取工件轴孔像素点对应的机器人坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410632342.5A CN105563481B (zh) | 2014-11-11 | 2014-11-11 | 一种用于轴孔装配的机器人视觉引导方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410632342.5A CN105563481B (zh) | 2014-11-11 | 2014-11-11 | 一种用于轴孔装配的机器人视觉引导方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105563481A CN105563481A (zh) | 2016-05-11 |
CN105563481B true CN105563481B (zh) | 2018-06-29 |
Family
ID=55874389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410632342.5A Active CN105563481B (zh) | 2014-11-11 | 2014-11-11 | 一种用于轴孔装配的机器人视觉引导方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105563481B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106112505B (zh) * | 2016-07-04 | 2018-07-24 | 清华大学 | 双轴孔装配***及其控制方法 |
CN106182088B (zh) * | 2016-07-05 | 2018-11-27 | 昆山华恒机器人有限公司 | 工业机器人及格子间的定位方法、装置 |
CN107584488A (zh) * | 2016-07-08 | 2018-01-16 | 浙江星星冷链集成股份有限公司 | 一种机器人的视觉引导方法 |
CN106041937B (zh) * | 2016-08-16 | 2018-09-14 | 河南埃尔森智能科技有限公司 | 一种基于双目立体视觉的机械手抓取控制***的控制方法 |
CN106625594A (zh) * | 2016-12-16 | 2017-05-10 | 南京熊猫电子股份有限公司 | 一种基于电磁编码器的机器人零位标定方法 |
CN107221004A (zh) * | 2017-07-31 | 2017-09-29 | 中车株洲电机有限公司 | 一种电机机座的定位方法 |
CN109500591B (zh) * | 2018-11-06 | 2021-01-26 | 智车优行科技(上海)有限公司 | 基于视觉定位的装配***及装配方法和生产线 |
CN109202802B (zh) * | 2018-11-14 | 2020-10-16 | 山东大学 | 一种用于卡合装配的视觉引导***及方法 |
CN109940606B (zh) * | 2019-01-29 | 2021-12-03 | 中国工程物理研究院激光聚变研究中心 | 基于点云数据的机器人引导***及方法 |
CN109940604B (zh) * | 2019-01-29 | 2021-10-15 | 中国工程物理研究院激光聚变研究中心 | 基于点云数据的工件三维定位***及方法 |
CN112045677B (zh) * | 2020-08-10 | 2024-03-29 | 华东理工大学 | 一种航空发动机涡轮盘螺栓孔智能强化***及其控制方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6134675A (ja) * | 1984-07-27 | 1986-02-18 | Hitachi Ltd | 画像認識方法および装置 |
JPH04141384A (ja) * | 1990-09-30 | 1992-05-14 | Daikin Ind Ltd | 画像処理装置を用いて位置決めを行うシステムにおけるキャリブレーション方法およびその装置 |
CN102128589B (zh) * | 2010-01-20 | 2013-03-13 | 中国科学院自动化研究所 | 一种在轴孔装配中零件内孔方位误差的校正方法 |
CN102218652B (zh) * | 2011-05-09 | 2012-11-21 | 无锡引域智能机器人有限公司 | 一种利用机器人的柔顺性实现轴孔装配的装置和方法 |
-
2014
- 2014-11-11 CN CN201410632342.5A patent/CN105563481B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN105563481A (zh) | 2016-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105563481B (zh) | 一种用于轴孔装配的机器人视觉引导方法 | |
KR102056664B1 (ko) | 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템 | |
CN108182689B (zh) | 应用于机器人搬运打磨领域的板状工件三维识别定位方法 | |
CN105021124B (zh) | 一种基于深度图的平面零件三维位置和法向量计算方法 | |
JP7212236B2 (ja) | オーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内方法及び装置 | |
US11972589B2 (en) | Image processing device, work robot, substrate inspection device, and specimen inspection device | |
Nerakae et al. | Using machine vision for flexible automatic assembly system | |
CN106041937A (zh) | 一种基于双目立体视觉的机械手抓取控制***的控制方法 | |
CN105783711B (zh) | 三维扫描仪校正***及其校正方法 | |
CN105217324A (zh) | 一种新型的拆垛方法和*** | |
JP2011083882A (ja) | ロボットシステム | |
CN108907526A (zh) | 一种具有高鲁棒性的焊缝图像特征识别方法 | |
KR102634535B1 (ko) | 포인트 집단 분석을 이용한 작업대상물의 터치교시점 인식방법 | |
WO2020133888A1 (zh) | 一种三维图像的尺度不变深度图映射方法 | |
CN104460505A (zh) | 工业机器人相对位姿估计方法 | |
Hsu et al. | Development of a faster classification system for metal parts using machine vision under different lighting environments | |
CN112518748A (zh) | 面向运动物品的视觉机械臂自动抓取方法与*** | |
CN112836558A (zh) | 机械臂末端调整方法、装置、***、设备及介质 | |
CN112419429A (zh) | 一种基于多视角的大型工件表面缺陷检测标定方法 | |
CN105945953A (zh) | 一种机器人的视觉识别*** | |
CN108180825B (zh) | 一种基于线结构光的长方体形物体三维识别与定位方法 | |
Gao et al. | An automatic assembling system for sealing rings based on machine vision | |
Xu et al. | Industrial robot base assembly based on improved Hough transform of circle detection algorithm | |
CN106276285B (zh) | 组料垛位自动检测方法 | |
Loch et al. | Evaluation of SIFT in machine vision applied to industrial automation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |