CN107825125A - 一种基于视觉伺服的螺孔定位及锁卸螺丝装置 - Google Patents
一种基于视觉伺服的螺孔定位及锁卸螺丝装置 Download PDFInfo
- Publication number
- CN107825125A CN107825125A CN201711241098.XA CN201711241098A CN107825125A CN 107825125 A CN107825125 A CN 107825125A CN 201711241098 A CN201711241098 A CN 201711241098A CN 107825125 A CN107825125 A CN 107825125A
- Authority
- CN
- China
- Prior art keywords
- screw
- mechanical arm
- target
- positioning
- lock
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
- B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
- B23P19/04—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes for assembling or disassembling parts
- B23P19/06—Screw or nut setting or loosening machines
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
- B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25B—TOOLS OR BENCH DEVICES NOT OTHERWISE PROVIDED FOR, FOR FASTENING, CONNECTING, DISENGAGING OR HOLDING
- B25B11/00—Work holders not covered by any preceding group in the subclass, e.g. magnetic work holders, vacuum work holders
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明涉及一种基于视觉伺服的螺孔定位及锁卸螺丝装置,用于定位螺孔及锁卸螺丝,包括视觉测量模块和控制执行模块,所述视觉测量模块和所述控制执行模块之间通过网络进行数据传输与通讯;所述视觉测量模块包括双目摄像头、粗定位摄像头和激光打点器;所述控制执行模块包括机械臂单元和计算机,其中所述机械臂单元包括大扭矩拧紧枪、机械臂小臂、机械臂大臂、机械臂控制箱、基座和螺丝套筒;所述大扭矩拧紧枪、所述螺丝套筒、所述双目摄像头和所述激光打点器位于所述机械臂单元的末端。本发明可很大程度提高螺丝的定位精度;利用机械臂为移动载体,增大工作范围,也可在工人不便去的环境中进行螺丝的锁卸;提出一种由点到面的螺丝或螺孔定位方法。
Description
技术领域
本发明涉及机械组装技术领域,尤其涉及一种基于视觉伺服的螺孔定位及锁卸螺丝的装置。
背景技术
在机械设备制造过程中,需要对各零部件进行装配,装配的工艺流程直接影响到设备制造的效率,而安装螺丝是最基本的装配工艺。螺丝装配的效率直接影响了生产制造的效率。另外,现在电子产品正在以突飞猛进的速度发展,且需求也越来越多,因此要实现批量化生产。在电子产品的组装线上,同样有很多的螺丝要锁卸,有些工作环境空间狭小,或存在强磁、强电等不适宜工作人员的工作情况,进而影响锁卸效率。
公告号为CN102240902B的中国专利文件公开了一种自动拧螺丝机,螺丝定位装置包括相连通的工模和定位槽,工模包括模体和铰接在模体上的夹持元件,夹持元件在竖直方向上实现开合动作。但是,螺丝定位装置的零部件较多、结构复杂,而且由于夹持元件竖向开合,在竖直方向上占用空间较大,需要使螺丝刀预留出较大的***长度,以防干涉,另外,夹持元件没有对螺钉形成360度的夹持,螺丝可能出现偏斜异位,使得自动拧螺丝机的可靠性不高。申请号为201510352012.5中国专利文件公开了一种虚拟螺丝定位***及定位方法,该方法包括:拍摄全局照片,计算得出所有螺丝或螺孔的位置信息;微控制单元将待锁定的螺丝或螺孔的位置信息传输给控制器;控制器将相机移动到待锁定的螺丝或螺孔的拍照位置;微控制单元触发相机进行拍照;再次计算得出待锁定的螺丝或螺孔的校正位置信息,并传输给控制器;伺服马达根据第二控制信息控制螺丝机移动到待锁定的螺丝或螺孔所在的位置。该方法采用的是虚拟仪器定位技术,相比于坐标标定技术具有定位精度不高的缺点,且此方法整个流程只定位两次,分别为粗略定位和二次定位,定位次数太少,难以保证定位的精准度。
因此,为了解决以上问题,提高生产效率,确有必要提供一种装置来有效实现螺孔定位和锁卸螺丝。
发明内容
本发明提出了一种基于视觉伺服的螺丝或螺孔定位及锁卸螺丝装置,可以在复杂环境下基于摄像头采集的图片实现螺丝或螺孔定位并利用机械臂单元的末端装上大扭矩拧紧枪对目标工件上的螺丝进行锁卸操作。若一个工件上有很多需要锁卸的螺丝,则只需要定位两个特征比较明显的螺丝,进而可通过相关几何关系推算出其他螺丝的位置,可大大提高螺丝定位的精度和效率。
为实现上述目的,本发明采用了以下技术方案:一种基于视觉伺服的螺孔定位及锁卸螺丝装置,其特征在于,所述基于视觉伺服的螺孔定位及锁卸螺丝装置包括视觉测量模块和控制执行模块,所述视觉测量模块和所述控制执行模块之间通过网络进行数据传输与通讯;所述视觉测量模块包括双目摄像头、粗定位摄像头和激光打点器;所述控制执行模块包括机械臂单元和计算机,所述机械臂单元包括大扭矩拧紧枪、机械臂小臂、机械臂大臂、机械臂控制箱、基座和螺丝套筒;所述大扭矩拧紧枪、所述螺丝套筒、所述双目摄像头和所述激光打点器位于所述机械臂单元的末端。
进一步地,所述计算机用于接收并处理信息后生成运动控制指令,所述机械臂控制箱通过接收所述运动控制指令来控制所述机械臂单元的运动,所述基座中内置驱动伺服电机,所述机械臂大臂的一端与所述基座连接,所述机械臂大臂的另一端与所述机械臂小臂的一端连接,所述机械臂小臂的另一端与所述双目摄像头连接,所述大扭矩拧紧枪与所述螺丝套筒连接。
进一步地,所述机械臂控制箱根据所述运动控制指令,通过驱动伺服电机转动,进而带动所述机械臂单元末端的所述大扭矩拧紧枪或所述螺丝套筒或所述双目摄像头或所述激光打点器向靠近所述目标螺丝或螺孔的方向运动。
进一步地,所述粗定位摄像头用于确认目标螺丝或螺孔的位置信息,采用的是模板匹配法,基于设定好的螺孔模板,计算采集的所述目标螺丝或螺孔的图像与所述螺孔模板中的每个螺丝或螺孔的相似度,以寻找所述目标螺丝或螺孔的位置,拟合出基于所述粗定位摄像头坐标系下的所述目标螺丝或螺孔的中心坐标。
进一步地,所述粗定位摄像头坐标系下的所述目标螺丝或螺孔的中心坐标,可通过旋转、平移的方式,将所述目标螺丝或螺孔的中心坐标转换为所述基座坐标系下的。
进一步地,所述双目摄像头用于精确定位所述目标螺丝或螺孔,确认所述目标螺丝或螺孔的姿态信息,搜寻所述目标螺丝或螺孔采用的是基于区域相关的匹配方法,匹配所述双目摄像头的左右摄像头所拍摄的固定尺寸的图像窗口,基于相似度准则度量两个图像窗口间的相关性。
进一步地,基于区域相关的匹配方法中确认区域的方法是,将以所述目标螺丝或螺孔为圆心的局部区域放大,并利用所述激光打点器对所述局部区域打上激光记号点,在所述激光记号点中选取三个特征点,利用所述三个特征点确定一个平面。
进一步地,当所述大扭矩拧紧枪对准所述目标螺孔时,将放置在所述大扭矩拧紧枪中的螺丝拧进所述目标螺孔中。
进一步地,当所述螺丝套筒对准所述目标螺丝时,将需要拆卸的所述目标螺丝卸下。
进一步地,所述基于视觉伺服的螺孔定位及锁卸螺丝装置还可以与终端设备连接,实时添加人为的操作,实现远程的实时监测与调控。
本发明提供的技术方案带来的有益效果是:(1)利用两套摄像头对螺丝进行精确定位,可很大程度上提高螺丝的定位精度;(2)利用机械臂为移动载体,增大了工作范围,也可以在工人不方便去的环境中进行螺丝的锁卸工作;(3)提出一种由点到面的螺丝或螺孔定位方法,首先确定一个螺丝或螺孔的具***置,然后根据其余螺丝或螺孔与确定螺丝或螺孔之间的位置关系。
附图说明
图1是本发明装置的组成示意图;
图2是本发明装置的结构示意图;
图3是本发明装置的伺服控制原理图;
图4是本发明待检测工件的螺孔位置关系图;
图5是本发明装置的工作流程图。
附图中标号:1-大扭矩拧紧枪,2-机械臂小臂,3-机械臂大臂,4-机械臂控制箱,5-计算机,6-基座,7-双目CCD摄像头;8-待锁卸螺丝或螺孔,9-待检修工件,10-粗定位摄像头,11-螺丝套筒,12-激光打点器,20-视觉测量模块,30-控制执行模块,31-机械臂单元,40-网络,50-存储器,60-终端设备。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地描述。
本发明提供了一种基于视觉伺服的螺孔定位及锁卸螺丝装置,用于定位螺孔及锁卸螺丝,如图1所示,所述基于视觉伺服的螺孔定位及锁卸螺丝装置包括视觉测量模块20和控制执行模块30,所述控制执行模块30包括机械臂单元31和计算机5,所述视觉测量模块20和所述控制执行模块30之间通过网络40进行数据传输与通讯。
如图2所示的所述基于视觉伺服的螺孔定位及锁卸螺丝装置结构示意图,所述视觉测量模块20包括双目摄像头7、粗定位摄像头10和激光打点器12,所述粗定位摄像头10相对于待检修工件9的位置确定,所述双目摄像头7和所述激光打点器12连接,图2中只显示所述双目摄像头7的一个摄像头,另一个在背面未显示。优选的,所述双目摄像头7为双目CCD摄像头。所述机械臂单元31包括大扭矩拧紧枪1、机械臂小臂2、机械臂大臂3、机械臂控制箱4、基座6和螺丝套筒11,其中所述机械臂控制箱4中包括所述基于视觉伺服的螺孔定位及锁卸螺丝装置的电源,所述基座6中内置驱动伺服电机,所述机械臂大臂3的一端与所述基座6,所述机械臂大臂3的另一端与所述机械臂小臂2的一端连接,所述机械臂小臂2的另一端与所述双目摄像头7连接,所述大扭矩拧紧枪1与所述螺丝套筒11连接,所述大扭矩拧紧枪1、所述螺丝套筒11或所述激光打点器12位于所述机械臂单元31的末端。所述待检修工件9上有一个或一个以上的待锁卸螺丝或螺孔8,所述一个或一个以上的待锁卸螺丝或螺孔8在所述待检修工件9上的分布不确定,但可以计算出其相对位置,确定其物理偏差关系。
所述基于视觉伺服的螺孔定位及锁卸螺丝装置还可以与其他终端设备60连接,实时添加人为的操作,实现远程的实时监测与调控,例如设定装置的工作时间、工作时长等。所述基于视觉伺服的螺孔定位及锁卸螺丝装置与所述终端设备60之间可通过所述网络40进行数据传输,数据也可存放于第三方以方便随时随地调取,例如存储器50。所述终端设备60包括但不限于计算机、笔记本、平板电脑、智能手机、智能电视、智能游戏机、智能可穿戴设备;其中智能可穿戴设备包括但不限于智能手表、智能手环、智能眼镜、智能头戴、智能服装、智能鞋、智能配饰。
所述粗定位摄像头10用于采集在所述待检修工件9上的目标螺丝或螺孔的图像,通过模板方法匹配出所述目标螺丝或螺孔后,将会拟合出一个螺丝或螺孔的中心坐标,此中心坐标是基于所述粗定位摄像头10坐标系下的,然后再将基于所述粗定位摄像头10的坐标系下的所述目标螺丝或螺孔中心坐标,变换到基于所述基座6的坐标系下。将所述目标螺丝或螺孔坐标的所有数据信息传送给所述计算机5,所述计算机5经过综合处理所述数据信息后生成运动控制指令,并将所述运动控制指令传送给所述机械臂控制箱4,所述机械臂控制箱4依据所述运动控制指令控制所述大扭矩拧紧枪1、所述机械臂小臂2、所述机械臂大臂3和所述螺丝套筒11配合完成锁卸螺丝的作业任务。
应用本发明的基于视觉伺服的螺孔定位及锁卸螺丝装置进行螺孔定位及锁卸螺丝的方法流程,具体实施例如图5所示:
步骤1:所述基于视觉伺服的螺孔定位及锁卸螺丝装置的初始化,包括设定其各个部件的初始化位置,检测其各个部件的功能是否正常,确认电路、通讯等是否正常等;
步骤2:利用所述粗定位摄像头10采集所述待检修工件9上的所述目标螺丝或螺孔的图像,以确认所述目标螺丝或螺孔的位置信息,也即确认所述目标螺丝或螺孔基于所述粗定位摄像头10坐标系下的中心坐标,根据所述粗定位摄像头10与所述基座6的相对位置,再将基于所述粗定位摄像头10的坐标系下的所述目标螺丝或螺孔中心坐标,变换到基于所述基座6的坐标系下的所述目标螺丝或螺孔中心坐标,并将这些位置数据传输给所述计算机5;
步骤3:所述计算机5根据接收到的所述目标螺丝或螺孔坐标的所述位置数据,经过综合处理所述位置数据后生成所述运动控制指令,并将所述运动控制指令传送给所述机械臂控制箱4;
步骤4:所述机械臂控制箱4根据所述运动控制指令,通过驱动所述伺服电机转动,进而带动机械臂单元31末端的所述大扭矩拧紧枪1或所述螺丝套筒11或所述双目摄像头7或所述激光打点器12向靠近所述目标螺丝或螺孔的方向运动,计算其当前位置与目标位置之间的差距,判断所述差距是否在阈值范围内,若是,则进入步骤5,若不是,则返回步骤2;
步骤5:当所述机械臂单元31末端的所述大扭矩拧紧枪1或所述螺丝套筒11或所述双目摄像头7或所述激光打点器12运动到目标位置的阈值范围内时,所述目标螺丝或螺孔将进入所述机械臂单元31末端的所述双目摄像头7的工作范围,为保证定位精确,此时利用双目视觉对所述目标螺丝或螺孔进行再次精确定位,也即确定所述目标螺丝或螺孔的姿态信息;
步骤6:根据获取的所述目标螺丝或螺孔的位置信息和姿态信息,将所述大扭矩拧紧枪1或所述螺丝套筒11对准所述螺丝或螺孔,将放置在所述大扭矩拧紧枪1中的螺丝拧进所述目标螺孔或者利用所述螺丝套筒11将需要拆卸的所述目标螺丝卸下来。
在所述步骤2中,利用所述粗定位摄像头10采集所述待检修工件9上的所述目标螺丝或螺孔的图像,以确认所述目标螺丝或螺孔的位置信息,所述目标螺丝或螺孔的寻找方法采用模板匹配法,具体如下:
在采集的所述目标螺丝或螺孔的图像(待匹配图像)中按照一定的顺序寻找螺孔模板,所述螺孔模板预先已经设定好,并计算待匹配图像中每个螺丝或螺孔的相似度s,寻找所述目标螺丝或螺孔的位置,定义相似度s为公式(1):
s(r,c)=s{t(u,v),f(r+u,c+v);(u,v)∈T} (1)
其中,s表示一个函数,函数当中的参数t(u,v)表示所述螺孔模板中各点的灰度值,f(r+u,c+v)表示所述螺孔模板在待匹配图像当中所对应区域的灰度值。
通过计算所述螺孔模板与其所在待匹配图像当中对应区域之间的灰度差值的绝对值的总和(sad)来得到相似度,sad定义为公式(2):
其中,n表示所述螺孔模板区域中螺孔的数量。通过上式得出的匹配相似度,若相似度越高,表示二者越接近,若所述螺孔模板和待匹配图像一样,那么获得的相似度值为0;否则,将大于0。
通过上述方法匹配出所述目标螺丝或螺孔后,将会拟合出所述目标螺丝或螺孔的中心坐标,此中心坐标是基于所述粗定位摄像头10坐标系下的,并非基于所述机械单元31坐标系下的坐标,因此不能根据此坐标直接对所述机械单元31进行运动控制。所以,还需要一个坐标转换过程,目的是将获取的基于所述粗定位摄像头10坐标系下的所述目标螺丝或螺孔中心坐标转换至所述基座6坐标系下。坐标转换的实质是理清所述粗定位摄像头10坐标系与所述基座6坐标系之间的转换关系,可通过旋转、平移方式,即可求得转换关系。
本装置将所述双目摄像头7坐标安放在所述基座6坐标系下的(x,y,z)坐标下,即代表平移矩阵为:T=(x,y,z)T,旋转矩阵为R,只在X轴方向上旋转角度θ(具体角度根据所述粗定位摄像头10和所述基座6的相对位置关系而定)即可。因此,当所述双目摄像头7检测出所述目标螺丝或螺孔的坐标为点Pc=[xc,yc,zc]时,则相对于六自由度带电作业的所述机械单元31而言,所述目标螺丝或螺孔的位置为公式(3)所示:
转换为公式(4):
在所述步骤4中,所述大扭矩拧紧枪1或所述螺丝套筒11向靠近所述目标螺丝或螺孔的方向运动,选择比例控制律作为控制算法,伺服控制原理图如图4所示。定义运动学误差函数Epp为所述机械臂单元31的末端当前位置与目标位置之差,通过构造合适的运动学误差函数,从所述粗定位摄像头10中得到其有关位置信息,构造一个所述机械臂控制箱4通过某种控制律将所述运动学误差函数Epp的值最终收敛到0。
所述机械臂单元31的末端问题可表述为:通过某种控制律控制所述机械臂单元31的末端上的一个坐标为P的固定点运动到工作空间中一个静止点S,这种定位方式称为点对点定位,在所述基座6坐标系中,所述运动学误差函数Epp可以表示为公式(5):
Epp(Te,S,P)=P-Te(S) (5)
Te是被控变量,它代表机械臂当前时刻的位置,S、P是定位参数。在该定位任务中,是静止点相对于所述粗定位摄像头10坐标系的估计,结合摄像头标定与机械臂的运动学信息可得静止点S相对于机械臂基座标系的估计为其中是通过离线标定确定的摄像头相对于机械臂末端坐标系的位姿关系,选择比例控制律作为所述机械臂控制箱4的控制算法,则控制量u可以表示为公式(6):
计算所述大扭矩拧紧枪1或所述螺丝套筒11或所述双目摄像头7或所述激光打点器12运动到的当前位置与目标位置之间的差距,也即计算运动学误差函数Epp,判断所述运动学误差函数Epp是否在阈值范围内,若是,则进入步骤5,若不是,则返回步骤2。所述运动控制指令会随所述运动学误差函数值的变化而相应变化,进而所述机械臂控制箱4控制所述机械臂单元31的末端向所述目标位置运动。该控制律可以使装置达到平衡状态,达到平衡状态时,所述运动学误差函数Epp的值为零。所述运动学误差函数值可以被传送至所述计算机,并影响所述运动控制指令的产生。
当所述机械臂单元31的末端的所述大扭矩拧紧枪1或所述螺丝套筒11或所述双目摄像头7或所述激光打点器12运动到目标位置的阈值范围内后,所述目标螺丝或螺孔将进入所述机械臂单元31的所述双目摄像头7的工作范围,为保证定位精确,此时利用双目视觉对所述目标螺丝或螺孔进行再次精确定位,再次定位时,搜寻所述目标螺丝或螺孔采用基于区域相关的匹配方法,此方法中要匹配的是所述双目摄像头7的左右摄像头所拍摄的固定尺寸的图像窗口,相似度准则是两幅图像中窗口间的相关性度量。当所述相似度准则最大时,此时两个图像的搜索区域中对应的像素点是匹配的。具体描述如下:
对于两幅图像左图像Il、右图像Ir,Pl(i,j)是左图像的一个像素点,Pr(i,j)是右图像的一个像素点,其中i和j分别为横纵坐标,相关窗口V的宽度大小为(2w+1),R(Pl)是左图像中与像素点Pl(i,j)相关的搜索区域。对于每个区域d=[d1,d2]T∈R(Pl)计算:
公式(7)中,C(d)表示区域相关函数,函数ψ表示两个像素值的相关函数,k和l分别是像素点的横纵坐标的偏移量,Pl的视差就是在R(Pl)中使C(d)为最大值的矢量d如公式(8)所示:
输出的结果是对应左图像Il中每一个像素点的视差数组,即视差图。
函数ψ(u,v)表示两个像素值u,v的相关函数,可以如公式(9)所示:
ψ(u,v)=(u-v)2 (9)
在所述步骤2中已经确定了螺孔的位置信息,但是若想把螺丝拧下来或者锁进去,必须要确定所述目标螺丝或螺孔的姿态信息,即所述目标螺丝或螺孔的朝向,使所述螺丝套筒11与所述目标螺丝的螺杆保持同轴,才可能将所述目标螺丝锁卸下来。
采用视差图的方法确定螺孔的姿态信息,由于所述目标螺丝或螺孔的局部面积较小,确定起来比较困难,所以将以所述目标螺丝或螺孔为圆心的局部区域放大,并利用所述激光打点器12(如图2所示)对此局部区域打上激光记号点,然后在众多的激光记号点中选取三个特征比较明显的点,利用三点确定一个平面的方法,确定所述目标螺丝或螺孔所在局部区域的姿态信息,即所述目标螺丝或螺孔的姿态信息。或者直接计算整个局部区域的视差图,具体计算方法见上述相关内容。
在所述步骤6中,所述机械臂单元31的末端对准所述目标螺丝或螺孔以后,所述大扭矩拧紧枪1开始工作,将工作人员事先放置在所述大扭矩拧紧枪1中的螺丝拧进螺孔或者利用所述螺丝套筒11将需要拆卸的螺丝卸下来。在所述螺丝套筒11中放置强力磁铁,可将螺丝牢牢的固定住,防止在卸螺丝的过程中螺丝脱落。
本方法还可以包括一个步骤,根据所述待检修工件9上的其他螺丝或螺孔与已获取位置信息和姿态信息的所述目标螺丝或螺孔之间的物理偏差关系,计算出所述其他螺丝或螺孔的中心坐标,即获取所述其他螺丝或螺孔的位置信息。假设所述待检修工件9上的所有螺丝或螺孔的姿态信息一致,基于所述其他螺丝或螺孔的位置信息和姿态信息,可依据所述步骤6执行锁卸螺丝操作。
如图4所示为任一螺丝或螺孔M与已定位的螺丝或螺孔A、B之间的关系图:
所述螺丝或螺孔M在基于7坐标系下的坐标计算公式(10):
推算可知任一螺丝或螺孔的坐标计算公式(11)为:
其中,为摄像机坐标系的原点,为A点在图像物理坐标系下的坐标,(dx,dy)为任一螺丝或螺孔相对于M螺丝或螺孔的相对位置。
本发明提供的技术方案带来的有益效果是:(1)利用两套摄像头对螺丝进行精确定位,可很大程度上提高螺丝的定位精度;(2)利用机械臂为移动载体,增大了工作范围,也可以在工人不方便去的环境中进行螺丝的锁卸工作;(3)提出一种由点到面的螺丝或螺孔定位方法,首先确定一个螺丝或螺孔的具***置,然后根据其余螺丝或螺孔与确定的螺丝或螺孔之间的位置关系。
在本文中,所涉及的前、后、上、下等方位词是以附图中零部件位于图中以及零部件相互之间的位置来定义的,只是为了表达技术方案的清楚及方便。应当理解,所述方位词的使用不应限制本申请请求保护的范围。
在不冲突的情况下,本文中上述实施例及实施例中的特征可以相互结合。
综上所述,以上仅对本发明进行了详细说明,但并不应以此限制本发明的保护范围。但凡依照本发明的技术方案所做的简单改进、修饰或等效变换,都落在本发明的权利要求保护范围之内。
Claims (10)
1.一种基于视觉伺服的螺孔定位及锁卸螺丝装置,其特征在于,所述基于视觉伺服的螺孔定位及锁卸螺丝装置包括视觉测量模块和控制执行模块,所述视觉测量模块和所述控制执行模块之间通过网络进行数据传输与通讯;所述视觉测量模块包括双目摄像头、粗定位摄像头和激光打点器;所述控制执行模块包括机械臂单元和计算机,所述机械臂单元包括大扭矩拧紧枪、机械臂小臂、机械臂大臂、机械臂控制箱、基座和螺丝套筒;所述大扭矩拧紧枪、所述螺丝套筒、所述双目摄像头和所述激光打点器位于所述机械臂单元的末端。
2.根据权利要求1所述的基于视觉伺服的螺孔定位及锁卸螺丝装置,其特征在于:所述计算机用于接收并处理信息后生成运动控制指令,所述机械臂控制箱通过接收所述运动控制指令来控制所述机械臂单元的运动,所述基座中内置驱动伺服电机,所述机械臂大臂的一端与所述基座连接,所述机械臂大臂的另一端与所述机械臂小臂的一端连接,所述机械臂小臂的另一端与所述双目摄像头连接,所述大扭矩拧紧枪与所述螺丝套筒连接。
3.根据权利要求2所述的基于视觉伺服的螺孔定位及锁卸螺丝装置,其特征在于:所述机械臂控制箱根据所述运动控制指令,通过驱动伺服电机转动,进而带动所述机械臂单元末端的所述大扭矩拧紧枪或所述螺丝套筒或所述双目摄像头或所述激光打点器向靠近所述目标螺丝或螺孔的方向运动。
4.根据权利要求1所述的基于视觉伺服的螺孔定位及锁卸螺丝装置,其特征在于:所述粗定位摄像头用于确认目标螺丝或螺孔的位置信息,采用的是模板匹配法,基于设定好的螺孔模板,计算采集的所述目标螺丝或螺孔的图像与所述螺孔模板中的每个螺丝或螺孔的相似度,以寻找所述目标螺丝或螺孔的位置,拟合出基于所述粗定位摄像头坐标系下的所述目标螺丝或螺孔的中心坐标。
5.根据权利要求4所述的基于视觉伺服的螺孔定位及锁卸螺丝装置,其特征在于:所述粗定位摄像头坐标系下的所述目标螺丝或螺孔的中心坐标,可通过旋转、平移的方式,将所述目标螺丝或螺孔的中心坐标转换为所述基座坐标系下的。
6.根据权利要求1所述的基于视觉伺服的螺孔定位及锁卸螺丝装置,其特征在于:所述双目摄像头用于精确定位所述目标螺丝或螺孔,确认所述目标螺丝或螺孔的姿态信息,搜寻所述目标螺丝或螺孔采用的是基于区域相关的匹配方法,匹配所述双目摄像头的左右摄像头所拍摄的固定尺寸的图像窗口,基于相似度准则度量两个图像窗口间的相关性。
7.根据权利要求6所述的基于视觉伺服的螺孔定位及锁卸螺丝装置,其特征在于:基于区域相关的匹配方法中确认区域的方法是,将以所述目标螺丝或螺孔为圆心的局部区域放大,并利用所述激光打点器对所述局部区域打上激光记号点,在所述激光记号点中选取三个特征点,利用所述三个特征点确定一个平面。
8.根据权利要求1所述的基于视觉伺服的螺孔定位及锁卸螺丝装置,其特征在于:当所述大扭矩拧紧枪对准所述目标螺孔时,将放置在所述大扭矩拧紧枪中的螺丝拧进所述目标螺孔中。
9.根据权利要求1所述的基于视觉伺服的螺孔定位及锁卸螺丝装置,其特征在于:当所述螺丝套筒对准所述目标螺丝时,将需要拆卸的所述目标螺丝卸下。
10.根据权利要求1所述的基于视觉伺服的螺孔定位及锁卸螺丝装置,其特征在于:所述基于视觉伺服的螺孔定位及锁卸螺丝装置还可以与终端设备连接,实时添加人为的操作,实现远程的实时监测与调控。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711241098.XA CN107825125B (zh) | 2017-11-30 | 2017-11-30 | 一种基于视觉伺服的螺孔定位及锁卸螺丝装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711241098.XA CN107825125B (zh) | 2017-11-30 | 2017-11-30 | 一种基于视觉伺服的螺孔定位及锁卸螺丝装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107825125A true CN107825125A (zh) | 2018-03-23 |
CN107825125B CN107825125B (zh) | 2023-06-23 |
Family
ID=61647183
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711241098.XA Active CN107825125B (zh) | 2017-11-30 | 2017-11-30 | 一种基于视觉伺服的螺孔定位及锁卸螺丝装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107825125B (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108527387A (zh) * | 2018-04-18 | 2018-09-14 | 湖南镭目科技有限公司 | 一种罐装危化品处理机器人、处理方法和处理*** |
CN108772824A (zh) * | 2018-06-06 | 2018-11-09 | 深圳市恒晨电器有限公司 | 一种螺丝机械手示教对位方法 |
CN108994780A (zh) * | 2018-09-02 | 2018-12-14 | 马新然 | 一种设备内部长螺栓装拆工具 |
CN109448054A (zh) * | 2018-09-17 | 2019-03-08 | 深圳大学 | 基于视觉融合的目标分步定位方法、应用、装置及*** |
CN110561400A (zh) * | 2019-09-20 | 2019-12-13 | 扬州哈工科创机器人研究院有限公司 | 圆周均匀分布零件的高效精准定位***及定位方法 |
CN110961907A (zh) * | 2019-11-29 | 2020-04-07 | 龙铁纵横(北京)轨道交通科技股份有限公司 | 一种自动对准装置及方法 |
CN111319039A (zh) * | 2018-12-14 | 2020-06-23 | 丰田自动车株式会社 | 机器人 |
CN111590311A (zh) * | 2020-05-21 | 2020-08-28 | 深圳佰维存储科技股份有限公司 | 一种拆卸磨轮的方法、装置、计算机可读存储介质及*** |
CN112140045A (zh) * | 2020-08-28 | 2020-12-29 | 国网安徽省电力有限公司淮南供电公司 | 基于视觉引导的作业机器人电动扳手及其控制方法 |
CN113441938A (zh) * | 2020-03-24 | 2021-09-28 | 南宁富桂精密工业有限公司 | 螺丝锁付顺序控制方法及*** |
CN113751981A (zh) * | 2021-08-19 | 2021-12-07 | 哈尔滨工业大学(深圳) | 基于双目视觉伺服的空间高精度装配方法和*** |
CN113843797A (zh) * | 2021-10-08 | 2021-12-28 | 北京工业大学 | 一种基于单双目混合视觉的非结构环境下零件六角螺栓自动拆卸方法 |
CN114147475A (zh) * | 2021-12-10 | 2022-03-08 | 航天科技控股集团股份有限公司 | 基于人机交互式六轴机器人和螺丝供给机的螺丝拧紧*** |
CN114174007A (zh) * | 2019-09-11 | 2022-03-11 | 西门子(中国)有限公司 | 自主式机器人工装***、控制***、控制方法及存储介质 |
CN114473464A (zh) * | 2021-12-27 | 2022-05-13 | 武汉纺织大学 | 一种工业配电箱的螺丝智能安装设备及方法 |
CN114473463A (zh) * | 2021-12-27 | 2022-05-13 | 武汉纺织大学 | 一种工业配电箱的螺丝智能安装方法及设备 |
CN114872038A (zh) * | 2022-04-13 | 2022-08-09 | 欣旺达电子股份有限公司 | 微针扣合视觉自校准***及其校准方法 |
CN115446582A (zh) * | 2022-08-15 | 2022-12-09 | 深圳研控自动化科技股份有限公司 | 螺丝锁付方法、***、终端设备及介质 |
CN116765774A (zh) * | 2023-06-25 | 2023-09-19 | 北京新风航天装备有限公司 | 一种双机器人协同的钢丝螺套自动安装方法 |
CN117066870A (zh) * | 2023-08-30 | 2023-11-17 | 哈尔滨纳罗科技有限公司 | 一种可视觉识别的智能拧紧机 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0021972A1 (fr) * | 1979-06-15 | 1981-01-07 | SORMEL Société anonyme dite: | Automate de manipulation précise à cadence élevée |
JP2012066331A (ja) * | 2010-09-22 | 2012-04-05 | Toshiba Corp | アライメント装置及びアライメント方法 |
CN102922521A (zh) * | 2012-08-07 | 2013-02-13 | 中国科学技术大学 | 一种基于立体视觉伺服的机械臂***及其实时校准方法 |
CN105904196A (zh) * | 2016-04-26 | 2016-08-31 | 上海交通大学 | 基于视觉***拆卸变电站金具的装置及其使用方法 |
CN106525605A (zh) * | 2016-12-09 | 2017-03-22 | 北京农业智能装备技术研究中心 | 一种用于测量作物抗倒伏性的装置及方法 |
CN106737665A (zh) * | 2016-11-30 | 2017-05-31 | 天津大学 | 基于双目视觉和sift特征匹配的机械臂控制***及实现方法 |
CN208391427U (zh) * | 2017-11-30 | 2019-01-18 | 中国地质大学(武汉) | 一种基于视觉伺服的螺孔定位及锁卸螺丝装置 |
-
2017
- 2017-11-30 CN CN201711241098.XA patent/CN107825125B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0021972A1 (fr) * | 1979-06-15 | 1981-01-07 | SORMEL Société anonyme dite: | Automate de manipulation précise à cadence élevée |
JP2012066331A (ja) * | 2010-09-22 | 2012-04-05 | Toshiba Corp | アライメント装置及びアライメント方法 |
CN102922521A (zh) * | 2012-08-07 | 2013-02-13 | 中国科学技术大学 | 一种基于立体视觉伺服的机械臂***及其实时校准方法 |
CN105904196A (zh) * | 2016-04-26 | 2016-08-31 | 上海交通大学 | 基于视觉***拆卸变电站金具的装置及其使用方法 |
CN106737665A (zh) * | 2016-11-30 | 2017-05-31 | 天津大学 | 基于双目视觉和sift特征匹配的机械臂控制***及实现方法 |
CN106525605A (zh) * | 2016-12-09 | 2017-03-22 | 北京农业智能装备技术研究中心 | 一种用于测量作物抗倒伏性的装置及方法 |
CN208391427U (zh) * | 2017-11-30 | 2019-01-18 | 中国地质大学(武汉) | 一种基于视觉伺服的螺孔定位及锁卸螺丝装置 |
Non-Patent Citations (1)
Title |
---|
李亚敏, 《基于视觉传感器网络的微型飞行器室内定位与路径规划技术研究》, pages 1 - 135 * |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108527387A (zh) * | 2018-04-18 | 2018-09-14 | 湖南镭目科技有限公司 | 一种罐装危化品处理机器人、处理方法和处理*** |
CN108772824A (zh) * | 2018-06-06 | 2018-11-09 | 深圳市恒晨电器有限公司 | 一种螺丝机械手示教对位方法 |
CN108994780A (zh) * | 2018-09-02 | 2018-12-14 | 马新然 | 一种设备内部长螺栓装拆工具 |
CN109448054A (zh) * | 2018-09-17 | 2019-03-08 | 深圳大学 | 基于视觉融合的目标分步定位方法、应用、装置及*** |
CN111319039A (zh) * | 2018-12-14 | 2020-06-23 | 丰田自动车株式会社 | 机器人 |
CN111319039B (zh) * | 2018-12-14 | 2024-01-02 | 丰田自动车株式会社 | 机器人 |
CN114174007A (zh) * | 2019-09-11 | 2022-03-11 | 西门子(中国)有限公司 | 自主式机器人工装***、控制***、控制方法及存储介质 |
CN110561400A (zh) * | 2019-09-20 | 2019-12-13 | 扬州哈工科创机器人研究院有限公司 | 圆周均匀分布零件的高效精准定位***及定位方法 |
CN110961907A (zh) * | 2019-11-29 | 2020-04-07 | 龙铁纵横(北京)轨道交通科技股份有限公司 | 一种自动对准装置及方法 |
CN113441938A (zh) * | 2020-03-24 | 2021-09-28 | 南宁富桂精密工业有限公司 | 螺丝锁付顺序控制方法及*** |
CN111590311A (zh) * | 2020-05-21 | 2020-08-28 | 深圳佰维存储科技股份有限公司 | 一种拆卸磨轮的方法、装置、计算机可读存储介质及*** |
CN112140045A (zh) * | 2020-08-28 | 2020-12-29 | 国网安徽省电力有限公司淮南供电公司 | 基于视觉引导的作业机器人电动扳手及其控制方法 |
CN113751981A (zh) * | 2021-08-19 | 2021-12-07 | 哈尔滨工业大学(深圳) | 基于双目视觉伺服的空间高精度装配方法和*** |
CN113751981B (zh) * | 2021-08-19 | 2022-08-19 | 哈尔滨工业大学(深圳) | 基于双目视觉伺服的空间高精度装配方法和*** |
CN113843797A (zh) * | 2021-10-08 | 2021-12-28 | 北京工业大学 | 一种基于单双目混合视觉的非结构环境下零件六角螺栓自动拆卸方法 |
CN113843797B (zh) * | 2021-10-08 | 2023-08-01 | 北京工业大学 | 一种基于单双目混合视觉的非结构环境下零件六角螺栓自动拆卸方法 |
CN114147475A (zh) * | 2021-12-10 | 2022-03-08 | 航天科技控股集团股份有限公司 | 基于人机交互式六轴机器人和螺丝供给机的螺丝拧紧*** |
CN114473464A (zh) * | 2021-12-27 | 2022-05-13 | 武汉纺织大学 | 一种工业配电箱的螺丝智能安装设备及方法 |
CN114473463A (zh) * | 2021-12-27 | 2022-05-13 | 武汉纺织大学 | 一种工业配电箱的螺丝智能安装方法及设备 |
CN114473463B (zh) * | 2021-12-27 | 2024-04-05 | 武汉纺织大学 | 一种工业配电箱的螺丝智能安装方法及设备 |
CN114473464B (zh) * | 2021-12-27 | 2024-04-05 | 武汉纺织大学 | 一种工业配电箱的螺丝智能安装设备及方法 |
CN114872038A (zh) * | 2022-04-13 | 2022-08-09 | 欣旺达电子股份有限公司 | 微针扣合视觉自校准***及其校准方法 |
CN114872038B (zh) * | 2022-04-13 | 2023-12-01 | 欣旺达电子股份有限公司 | 微针扣合视觉自校准***及其校准方法 |
CN115446582A (zh) * | 2022-08-15 | 2022-12-09 | 深圳研控自动化科技股份有限公司 | 螺丝锁付方法、***、终端设备及介质 |
CN115446582B (zh) * | 2022-08-15 | 2024-05-07 | 深圳研控自动化科技股份有限公司 | 螺丝锁付方法、***、终端设备及介质 |
CN116765774A (zh) * | 2023-06-25 | 2023-09-19 | 北京新风航天装备有限公司 | 一种双机器人协同的钢丝螺套自动安装方法 |
CN116765774B (zh) * | 2023-06-25 | 2024-01-05 | 北京新风航天装备有限公司 | 一种双机器人协同的钢丝螺套自动安装方法 |
CN117066870A (zh) * | 2023-08-30 | 2023-11-17 | 哈尔滨纳罗科技有限公司 | 一种可视觉识别的智能拧紧机 |
Also Published As
Publication number | Publication date |
---|---|
CN107825125B (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107984201B (zh) | 一种基于视觉伺服的螺孔定位及锁卸螺丝方法 | |
CN107825125A (zh) | 一种基于视觉伺服的螺孔定位及锁卸螺丝装置 | |
CN105234943B (zh) | 一种基于视觉识别的工业机器人示教装置及方法 | |
Hutchinson et al. | A tutorial on visual servo control | |
CN111775146A (zh) | 一种工业机械臂多工位作业下的视觉对准方法 | |
US8244402B2 (en) | Visual perception system and method for a humanoid robot | |
CN109029433A (zh) | 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法 | |
WO2022012337A1 (zh) | 运动臂***以及控制方法 | |
CN109448054A (zh) | 基于视觉融合的目标分步定位方法、应用、装置及*** | |
Deguchi | A direct interpretation of dynamic images with camera and object motions for vision guided robot control | |
CN208391427U (zh) | 一种基于视觉伺服的螺孔定位及锁卸螺丝装置 | |
CN109465829A (zh) | 一种基于转换矩阵误差模型的工业机器人几何参数辨识方法 | |
CN111203880A (zh) | 基于数据驱动的图像视觉伺服控制***及方法 | |
CN111768449A (zh) | 一种双目视觉结合深度学习的物体抓取方法 | |
Hvilshøj et al. | Calibration techniques for industrial mobile manipulators: Theoretical configurations and best practices | |
Gans et al. | A switching approach to visual servo control | |
Ranjan et al. | Identification and control of NAO humanoid robot to grasp an object using monocular vision | |
Behera et al. | A hybrid neural control scheme for visual-motor coordination | |
CN109500817B (zh) | 多足机器人的360度视觉追踪控制***及控制方法 | |
Malm et al. | A new approach to hand-eye calibration | |
CN104296657A (zh) | 一种基于双目视觉的石壁***孔检测与定位装置及定位方法 | |
CN115246123A (zh) | 一种基于单目移动视觉的机器人运动学参数标定方法及*** | |
CN115409878A (zh) | 一种工件整理归位的ai算法 | |
CN109146957B (zh) | 一种基于三角形特征的机器人视觉控制方法 | |
Hsiao et al. | The real-time video stabilization for the rescue robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |