CN115682934A - 一种跨尺度微纳器件装配的显微视觉检测装置和标定方法 - Google Patents
一种跨尺度微纳器件装配的显微视觉检测装置和标定方法 Download PDFInfo
- Publication number
- CN115682934A CN115682934A CN202211355535.1A CN202211355535A CN115682934A CN 115682934 A CN115682934 A CN 115682934A CN 202211355535 A CN202211355535 A CN 202211355535A CN 115682934 A CN115682934 A CN 115682934A
- Authority
- CN
- China
- Prior art keywords
- vision system
- microscopic
- micro
- coordinate system
- microscopic vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种跨尺度微纳器件装配的显微视觉检测装置和标定方法,包括第一显微视觉***和第二显微视觉***,用以微纳器件的正面和侧面特征检测;第三显微视觉***,用以微纳零件的顶部特征检测;第四显微视觉***,用以微纳器件的底部特征检测,还包括一种利用跨尺度微纳器件装配的显微视觉检测装置的标定方法;通过标定显微视觉***图像偏移矩阵,以及零件位置运动控制的图像雅可比矩阵实现跨景深检测;推导关系矩阵,结合关系矩阵标定方法,实现零件绕Z轴角度偏差的检测;本发明适用于跨尺度微纳器件装配的显微视觉检测,能够从多角度进行检测,同时通过关系推导进行零件旋转角度偏差的检测。
Description
技术领域
本发明涉及微零件装配技术领域,具体而言,涉及一种跨尺度微纳器件装配的显微视觉检测装置和标定方法。
背景技术
目前微装配***的显微视觉***大多由多路显微视觉构成,多路显微视觉在空间上呈现特定布局,从不同方位实现装配过程零件相对状态的观测;显微视觉检测出零件图像空间的位姿偏差,通过多路显微视觉关系矩阵的标定,结合图像空间到笛卡尔空间关系矩阵的标定,实现基于多路显微视觉信息融合的零件空间位姿检测,从而实现零件装配控制。
中国科学院自动化研究所提出一种基于三路正交显微视觉的微零件空间位姿检测与对准方法(张娟,徐德,张正涛,等.一种基于多路显微视觉的微零件自动对准装置及方法,专利号CN103273310B),通过标定三路显微视觉伺服运动控制的图像雅可比矩阵,实现两个零件空间位姿的检测与位姿对准。哈尔滨理工大学(曲吉旺,许家忠,张大朋,等.基于显微视觉的微球管精密装配[J].高技术通讯,2019,9:914-924),针对微球和微管的精密装配任务,构建了4路显微视觉检测***,其中两路低倍率显微视觉在水平正交位置用于粗定位,两路高倍率显微视觉均与水平面呈特定角度,且二者正交布局,实现微球和微管的精定位。通过标定水平两路显微视觉图像空间到笛卡尔空间的关系矩阵,实现了微管姿态调整与位置粗定位;通过标定斜两路显微视觉图像空间到笛卡尔空间的关系矩阵,实现了微管位置精对准。
目前的显微视觉检测***由多路显微视觉构成,显微视觉采用空间特定角度的布局方式。显微视觉检测***的空间占比大,对于包含6DOF机械臂的微装配***不适用,并且目前的显微视觉检测***仅能够实现零件的上表面与侧面的检测,对于零件底部特征不能实现检测,制约了微装配***的应用范围;同时,基于现有显微视觉检测***建立的***标定技术,实现了不同方位检测到的零件图像空间位姿偏差到笛卡尔空间位姿偏差的转换,但是对于跨尺度微纳器件装配中存在的跨景深检测问题,尚未考虑显微视觉聚焦过程中图像偏移矩阵的标定,导致跨景深检测精度不高,并且现有标定方法不能实现跨尺度微纳器件装配***的顶部视觉与底部视觉关系矩阵的标定,不能实现零件Z向角度偏差的检测。
发明内容
本发明的目的在于提供一种跨尺度微纳器件装配的显微视觉检测装置和标定方法,其解决了跨尺度维纳器件装配时微零件多角度的检测以及跨尺度微纳器件装配***中零件Z向角度偏差的检测问题。
本发明的实施例通过以下技术方案实现:一种跨尺度微纳器件装配的显微视觉检测装置,包括连接在水平面上的用以装配微纳器件的操作台和用以移动微纳器件的机械臂,所述机械臂连接有机械臂末端转接板,所述机械臂末端转接板连接有零件A夹持器,所述零件A夹持器夹持有零件A,所述操作台连接有零件B夹持器,所述零件B夹持器夹持有零件B,包括第一显微视觉***和第二显微视觉***,所述第一显微视觉***、第二显微视觉***和所述机械臂均以所述操作台为中心设置,所述第一显微视觉***和所述第二显微视觉***的光轴均与所述水平面平行,且二者在空间布局上呈现近似90度夹角;用以微纳器件的正面和侧面特征检测;所述机械臂设置在所述第二显微视觉***的正对面;
第三显微视觉***,所述第三显微视觉***与所述机械臂末端转接板连接;用以微纳零件的顶部特征检测;
第四显微视觉***,所述第四显微视觉***的光轴与所述水平面垂直,用以微纳器件的底部特征检测。
一种利用跨尺度微纳器件装配的显微视觉检测装置的标定方法,其特征在于,所述标定方法包括:
步骤S1:建立跨尺度微纳器件装配***的坐标系,包括第一显微视觉***坐标系Pw1;第二显微视觉***坐标系Pw2;第三显微视觉***坐标系Pw3;第四显微视觉坐标系Pw4;操作台坐标系Pw5;机械臂末端坐标系Pw6;机械臂基坐标系Pw;笛卡尔空间坐标系Pwo,且所有坐标系的建立均符合右手定则;通过所述标定关系,将图像空间变化量转换为笛卡尔空间运动变化量,实现检测;
步骤S2:分别通过第一显微视觉***与第二显微视觉***的主动运动用以第一显微视觉***的图像偏移矩阵JB1与第二显微视觉***的图像偏移矩阵JB2的标定;
步骤S3:标定第一显微视觉***与第二显微视觉***的位置运动控制的图像雅可比矩阵用以零件A与零件B在机械臂基坐标系Pw下的X、Y、Z轴位置偏差dX、dY、dZ的计算;
步骤S4;标定第一显微视觉***与第二显微视觉***的角度运动控制的图像雅可比矩阵,用以零件A与零件B的绕X轴、绕Y轴的角度偏差、的计算;
步骤S5:标定第三显微视觉***与第四显微视觉***的关系矩阵,用以零件A与零件B的旋转角度偏差的ΔγZ计算。
进一步的,根据下式来计算JB1和JB2:
利用线性最小二乘法计算得到JB1,如公式(2)所示,第二显微视觉***的图像偏移矩阵JB2采用与JB1相同的标定方法可以得到
JB1=ULT(LLT)-1 (2)
其中n为第一显微视觉***沿聚焦轴运动次数;Δli(i=1,2,...n)为第一显微视觉***运动变化量;(Δui,Δvi)为标定物的图像坐标变化量。
进一步的,根据下式来计算dX、dY、dZ:
其中,X是机械臂沿基坐标系Pw的n次运动形成的的运动变化量矩阵,C是n次运动形成的标定物的图像位置变化量矩阵,利用最小二乘法,可以求得图像雅可比矩阵JV,如公式(4)所示
JV=CXT(XXT)-1 (4)
通过JV计算得到零件A与零件B的空间位置偏差(dX,dY,dZ),如公式(5)所示,
其中与分别代表步骤1标定出的第一显微视觉与第二显微视觉的图像偏移矩阵,其中为第一显微视觉***沿着聚焦轴分别聚焦零件A与零件B的运动变化量,为第二显微视觉***沿着聚焦轴分别聚焦零件A与零件B的运动变化量,(Δu1,Δv1)与(Δu2,Δv2)分别为零件A与零件B在第一显微视觉***,与在第二显微视觉***的图像位置偏差。
一种利用跨尺度微纳器件装配的显微视觉检测装置的标定方法,根据下式来计算ΔαX、ΔβY:
其中χ为标定物沿着机械臂基坐标系Pw1的角度变化量矩阵,θ为标定物在图像空间的n次角度变化量矩阵。利用最小二乘法,可以求得公式(6)中的图像雅可比矩阵JR,如公式(7)所示
JR=χθT(θθT)-1 (7)
通过JR计算得到零件A与零件B的空间角度偏差ΔαX、ΔβY,如公式(8)所示,
其中Δθx、Δθy分别为零件A与零件B在第一显微视觉***、第二显微视觉***的图像角度偏差。
进一步的,根据下式来计算ΔγZ:
其中Rp为第三显微视觉***坐标系Pw3与机器臂末端工具坐标系Pw6的旋转关系矩阵;(Δxw3,Δyw3,Δzw3)为零件A与零件B在第三显微视觉***坐标系Pw3的位置偏差,(Δxw6,Δyw6,Δzw6)为(Δxw3,Δyw3,Δzw3)转换到机器臂末端工具坐标系Pw6的位置偏差;
其中N为控制机械臂在机器臂末端工具坐标系Pw6的XY平面内运动次数(n≥3),(Δxw6i,Δyw6i,0)为机械臂运动变化量(i=1,2,...n)和(Δuw3i,Δvw3i)为标定物在第三显微视觉***的图像坐标变化量,kw3为第三显微视觉***的图像比例系数;
Rp=MNT(NNT)-1/kw3 (11)
其中Rp为利用线性最小二乘法计算所得到;
其中(Δxw6,Δyw6,Δzw6)为零件A与零件B在机器臂末端工具坐标系Pw6的位置偏差,(Δxw,Δyw,Δzw)为(Δxw6,Δyw6,Δzw6)转换为在基坐标系Pw的位置偏差,β,δ可以通过机械臂的示教器直接读出,无需再次标定;
其中(Δxw4,Δyw4,Δzw4)为零件A与零件B在第四显微视觉***坐标系Pw4的位置偏差;
其中n为机械臂在机械臂基坐标系Pw的XY平面内运动次数(n≥3),(Δxw4i,Δyw4i,0)(i=1,2,...n)为机械臂运动变化量;(Δuw4i,Δvw4i)为标定物在第四显微视觉***的图像坐标变化量;
Ro=KLT(LLT)-1/kw4 (15)
其中Ro利用线性最小二乘法计算所得到;
其中Rm为第三显微视觉***坐标系Pw3与第四显微视觉***坐标系Pw4的旋转矩阵;
γZB4=RmγZB3 (17)
其中γZB4为零件B在第三显微视觉***坐标系Pw3的绕Z轴的姿态γZB3,所转换的在第四显微视觉***坐标系Pw4的绕Z轴的姿态;
Δγz=ΔγZA4-ΔγZB4 (18)
其中ΔγZA4为零件A在第四显微视觉***坐标系Pw4的绕Z轴的姿态检测。
本发明的技术方案至少具有如下优点和有益效果:通过“三路固定显微视觉+一路随动显微视觉”的结构方式,实现了从四个不同角度检测装配过程中零件的相对位姿状态。其中一路随动显微视觉安装在6DOF串联机械臂的末端,实现了零件顶部特征的检测;三路固定显微视觉的两路在水平面上彼此正交布局,实现了零件侧面与正面的特征检测,另外一路显微视觉的光轴与水平面垂直,实现了从零件底部检测零件特征;同时,通过标定方法实现了零件图像位姿检测偏差转换为笛卡尔空间位姿偏差,首先通过标定显微视觉***图像偏移矩阵,以及零件位置运动控制的图像雅可比矩阵实现了跨景深检测条件下零件X、Y、Z轴位置偏差的检测;其次通过标定角度运动控制的图像雅可比矩阵,实现了零件绕X、Y轴角度偏差的检测;然后通过推导顶部视觉与底部视觉的关系矩阵,结合关系矩阵中关键参数的标定,实现了零件绕Z轴角度偏差的检测,最终实现了多种类跨尺度微纳器件装配过程中零件6DOF空间位姿的检测,提高了检测精度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的跨尺度微纳器件装配的显微视觉检测装置的跨尺度微纳器件装配***的结构示意图;
图2为本发明实施例提供的利用跨尺度微纳器件装配的显微视觉检测装置的标定方法的跨尺度微纳器件装配***坐标系的示意图;
图3为本发明实施例提供的跨尺度微纳器件装配的显微视觉检测装置的小球图像检测结果;其中(a)为第一显微视觉***的小球图像检测结果;(b)为第二显微视觉***的小球图像检测结果的示意图;
图4为本发明实施例提供的跨尺度微纳器件装配的显微视觉检测装置的金属杆图像检测结果;其中(a)为第一显微视觉***的金属杆图像检测结果;(b)为第二显微视觉***的金属杆图像检测结果的示意图;
图5为本发明实施例提供的跨尺度微纳器件装配的显微视觉检测装置的第三显微视觉***的小球运动后的小球图像检测结果;其中(a)为第三显微视觉***的小球第一次运动后的小球图像检测结果;(b)为第三显微视觉***的小球第二次运动后的小球图像检测结果;(c)为第三显微视觉***的小球第三次运动后的小球图像检测结果;(d)为第三显微视觉***的小球第四次运动后的小球图像检测结果的示意图;
图6为本发明实施例提供的跨尺度微纳器件装配的显微视觉检测装置的第四显微视觉***的小球第一次运动后的小球图像检测结果;其中(a)为第四显微视觉***的小球第一次运动后的小球图像检测结果;(b)为第四显微视觉***的小球第二次运动后的小球图像检测结果;(c)为第四显微视觉***的小球第三次运动后的小球图像检测结果;(d)为第四显微视觉***的小球第四次运动后的小球图像检测结果的示意图;
图标:1-第一显微视觉***,2-第二显微视觉***,3-第三显微视觉***,4-第四显微视觉***,5-操作台,6-机械臂,7-零件A,8-零件B,9-机械臂末端转接板,10-零件A夹持器,11-零件B夹持器,21-第一显微视觉***坐标系Pw1,22-第二显微视觉***坐标系Pw2,23-第三显微视觉***坐标系Pw3,24-第四显微视觉坐标系Pw4,25-操作台坐标系Pw5,26-机械臂末端坐标系Pw6,27-机械臂基坐标系Pw,28-笛卡尔空间坐标系Pwo。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例
本实施例提供了一种跨尺度微纳器件装配的显微视觉检测装置,如图1所示,包括连接在水平面上的用以装配微纳器件的操作台5和用以移动微纳器件的机械臂6,所述机械臂连接有机械臂末端转接板9,所述机械臂末端转接板9连接有零件A夹持器10,所述零件A夹持器夹持10有零件A7,所述操作台5连接有零件B夹持器11,所述零件B夹持器11夹持有零件B8,包括第一显微视觉***1和第二显微视觉***2,所述第一显微视觉***1、第二显微视觉***2和所述机械臂6均以所述操作台5为中心设置,所述第一显微视觉***1和所述第二显微视觉***2的光轴均与所述水平面平行,且二者在空间布局上呈现近似90度夹角;用以微纳器件的正面和侧面特征检测;所述机械臂6设置在所述第二显微视觉***2的正对面;第三显微视觉***3,所述第三显微视觉***3与所述机械臂末端转接板连接9;用以微纳零件的顶部特征检测;第四显微视觉***4,所述第四显微视觉***4的光轴与所述水平面垂直,用以微纳器件的底部特征检测;
值得一提的是,其中一路随动显微视觉安装在6DOF串联机械臂的末端,实现了零件顶部特征的检测;三路固定显微视觉的两路在水平面上彼此正交布局,实现了零件侧面与正面的特征检测,另外一路显微视觉的光轴与水平面垂直,实现了从零件底部检测零件特征;通过“三路固定显微视觉+一路随动显微视觉”的结构方式,实现了从四个不同角度检测装配过程中零件的相对位姿状态。
跨尺度微纳器件装配***的坐标系建立,如图2所示,包括第一显微视觉***坐标系Pw121;第二显微视觉***坐标系Pw222;第三显微视觉***坐标系Pw323;第四显微视觉坐标系Pw424;操作台坐标系Pw525;机械臂末端坐标系Pw626;机械臂基坐标系Pw27;笛卡尔空间坐标系Pwo28。所有坐标系的建立均符合右手定则。笛卡尔空间坐标系Pwo28的XY平面与水平面保持平行。机械臂基坐标系Pw27以机械臂底盘中心为坐标原点,其与笛卡尔空间坐标系Pwo28在XY方向上均保持平行。机械臂末端坐标系Pw626以机械臂末端中心为坐标原点,机械臂末端坐标系Pw626与机械臂基坐标系Pw27的关系由机械臂制造厂家出厂设定确定,可以通过机械臂示教器实时读出。随着机械臂位姿的改变,机械臂末端坐标系Pw626与机械臂基座坐标系Pw27呈现特定角度。操作台坐标系Pw525以操作台底部中心为坐标原点,其与笛卡尔空间坐标系Pwo28在XY方向上保持平行且同方向。第一显微视觉***1与第二显微视觉***2均布置在水平面上,且二者彼此正交排布。第一显微视觉***坐标系Pw121以显微视觉镜头的光轴与CCD靶面的交点作为坐标原点,其与笛卡尔空间坐标系Pwo28在XY方向上均保持平行且同方向。第二显微视觉***坐标系Pw222以显微视觉镜头的光轴与CCD靶面的交点为坐标原点,其与笛卡尔空间坐标系Pwo28在XY方向上均保持平行且同方向。第三显微视觉***3安装在机械臂6末端,第三显微视觉***坐标系Pw323以显微视觉镜头的光轴与CCD靶面的交点作为坐标原点,与机械臂末端坐标系Pw626在Z轴方向上保持平行。第四显微视觉***4安装在水平面上。第四显微视觉坐标系Pw424以显微视觉镜头的光轴与CCD靶面的交点作为坐标原点,与机械臂末端坐标系Pw626在Z轴方向上保持平行。通过标定关系,将图像空间变化量转换为笛卡尔空间运动变化量,实现检测。
通过标定第一显微视觉***1与第二显微视觉***2的位置运动控制的图像雅可比矩阵实现零件A7与零件B8在机械臂基坐标系Pw27下的X、Y、Z轴位置偏差dX、dY、dZ的计算;通过标定第一显微视觉***1与第二显微视觉***2的角度运动控制的图像雅可比矩阵实现零件A7与零件B8的绕X轴、绕Y轴的角度偏差ΔαX、ΔβY的计算;通过第三显微视觉***3与第四显微视觉***4实现零件A7与零件B8的旋转角度偏差ΔγZ的计算。该跨尺度微纳器件装配***标定方法方法包括以下步骤:
步骤S1:分别通过第一显微视觉***1与第二显微视觉***2的主动运动实现第一显微视觉***1的图像偏移矩阵JB1与第二显微视觉***的图像偏移矩阵JB2的标定。图像偏移矩阵描述显微视觉***沿聚焦轴线性运动造成的图像点偏移量。将标定物固定于第一显微视觉***1视野中,第一显微视觉1***沿聚焦轴运动n次(n≥3),获得n+1个已知位置。第一显微视觉***1运动变化量为(i=1,2,...n)时,标定物的图像坐标变化量通过图像处理技术获取,记为(Δui,Δvi),则存在公式(1)所示关系。
利用线性最小二乘法计算得到JB1,如公式(2)所示。第二显微视觉***2的图像偏移矩阵JB2采用与JB1相同的标定方法可以得到。
JB1=ULT(LLT)-1 (2)
步骤2:标定第一显微视觉***1与第二显微视觉***2的位置运动控制的图像雅可比矩阵实现零件A7与零件B8在机械臂基坐标系Pw27下的X、Y、Z轴位置偏差dX、dY、dZ的计算。首先标定机械臂6平移运动变化量到图像空间平移运动变化量的图像雅可比矩阵JV:将标定物安装在机械臂6末端,令机械臂6沿着机械臂基坐标系Pw27运动n次(n≥3),分别记录机械臂6运动量(Δxi,Δyi,Δzi)(i=1,2,...n),机械臂6每次运动后第一显微视觉***1与第二显微视觉***2为实现标定物聚焦,沿着聚焦轴的运动变化量与以及标定物在第一显微视觉***1的坐标变化量(Δu1i,Δv1i)与在第二显微视觉***2的坐标变化量(Δu2i,Δv2i)。则图像空间运动变化量与笛卡尔空间运动变化量的关系如公式(3)所示。
其中,X是机械臂6沿基坐标系Pw27的n次运动形成的的运动变化量矩阵,C是n次运动形成的标定物的图像位置变化量矩阵。与则分别代表步骤1标定出的第一显微视觉与第二显微视觉的图像偏移矩阵。利用最小二乘法,可以求得图像雅可比矩阵JV,如公式(4)所示。
JV=CXT(XXT)-1 (4)
然后,通过JV计算得到零件A7与零件B8的空间位置偏差(dX,dY,dZ),如公式(5)所示,其中为第一显微视觉***1沿着聚焦轴分别聚焦零件A7与零件B8的运动变化量,为第二显微视觉***2沿着聚焦轴分别聚焦零件A7与零件B8的运动变化量,(Δu1,Δv1)与(Δu2,Δv2)分别为零件A7与零件B8在第一显微视觉***1,与在第二显微视觉***2的图像位置偏差。
步骤S3:标定第一显微视觉***1与第二显微视觉***2的角度运动控制的图像雅可比矩阵,实现零件A与零件B的绕X轴、绕Y轴的角度偏差ΔαX、ΔβY的计算。首先标定机械臂6角度变化量到图像空间角度变化量的图像雅可比矩阵JR:令机械臂6带动标定物分别绕机械臂基坐标系Pw121的X轴与Y轴运动n次(n≥3),分别记录机械臂绕基坐标系X轴与Y轴的角度变化量为Δαi与Δβi,(i=1,2,...n),以及标定物在第一显微视觉***1的角度变化量Δθxi与在第二显微视觉***2的角度变化量Δθyi。则机械臂6沿着基坐标系Pw121的空间运动变化量与图像空间运动变化量的关系如公式(6)所示。
其中,χ为标定物沿着机械臂基坐标系Pw121的角度变化量矩阵,θ为标定物在图像空间的n次角度变化量矩阵。利用最小二乘法,可以求得公式(6)中的图像雅可比矩阵JR,如公式(7)所示。
JR=χθT(θθT)-1 (7)
然后通过JR计算得到零件A与零件B的空间角度偏差ΔαX、ΔβY,如公式(8)所示,其中Δθx、Δθy分别为零件A7与零件B8在第一显微视觉***1、第二显微视觉***2的图像角度偏差。
步骤S4:标定第三显微视觉***3与第四显微视觉***4的关系矩阵,实现零件A7与零件B8的旋转角度偏差ΔγZ的计算。
步骤S4-1:推导第三显微视觉***坐标系Pw323与机器臂末端工具坐标系Pw626的旋转关系矩阵Rp。若不考虑机械安装角度误差,第三显微视觉***坐标系Pw323绕Z轴顺时针旋转α即可与机器臂末端工具坐标系Pw626平行,则零件A7与零件B8在第三显微视觉***坐标系Pw323的位置偏差(Δxw3,Δyw3,Δzw3)转换到机器臂末端工具坐标系Pw626的位置偏差(Δxw6,Δyw6,Δzw6)如公式(9)所示。
令标定物清晰的呈现在第三显微视觉***3的焦平面内,然后控制机械臂在机器臂末端工具坐标系Pw626的XY平面内运动n次(n≥3),分别记录机械臂运动变化量(Δxw6i,Δyw6i,0)(i=1,2,...n)和标定物在第三显微视觉***3的图像坐标变化量(Δuw3i,Δvw3i)。则存在公式(10)所示关系,其中kw3为第三显微视觉***3的图像比例系数。
利用线性最小二乘法计算得到Rp,如公式(11)所示。
Rp=MNT(NNT)-1/kw3 (11)
步骤S4-2:推导机器臂末端工具坐标系Pw626与机器臂基坐标系Pw27的旋转关系矩阵。零件A7与零件B8在机器臂末端工具坐标系Pw626的位置偏差(Δxw6,Δyw6,Δzw6)转换为在基坐标系Pw27的位置偏差(Δxw,Δyw,Δzw)如公式(12)所示。当前状态下,机械臂末端工具坐标系Pw626首先绕Pw626的X轴顺时针旋转角度β,然后绕Pw626的Y轴顺时针旋转角度最后绕Pw626的Z轴的顺时针旋转角度δ后与机器臂基坐标系Pw27平行。
步骤S4-3:推导第四显微视觉***坐标系Pw424与机械臂基坐标系Pw27的旋转关系矩阵Ro。由于第四显微视觉***与机械臂都安装在底座平台上,若不考虑机械安装角度误差,第四显微视觉***坐标系Pw424绕Z轴顺时针旋转与机械臂基座标系Pw27平行。零件A7与零件B8在第四显微视觉***坐标系Pw424的位置偏差(Δxw4,Δyw4,Δzw4)转换到机械臂基坐标系Pw27的位置偏差如公式(13)所示。
令标定物清晰的呈现在第四显微视觉***4的焦平面内,然后控制机械臂在机械臂基坐标系Pw27的XY平面内运动n次(n≥3),分别记录机械臂运动变化量(Δxw4i,Δyw4i,0)(i=1,2,...n)和标定物在第四显微视觉***4的图像坐标变化量(Δuw4i,Δvw4i)。则存在公式(14)所示关系,其中kw4为第四显微视觉***4的图像比例系数。
利用线性最小二乘法计算得到Ro,如公式(15)所示。
Ro=KLT(LLT)-1/kw4 (15)
通过公式(9)、公式(12),以及公式(13)的推导,可获得第三显微视觉***坐标系Pw323与第四显微视觉***坐标系Pw424的旋转矩阵Rm。零件A7与零件B8在第三显微视觉***坐标系Pw323的位置偏差转换到在第四显微视觉***坐标系Pw424的位置偏差如公式(16)所示。
步骤S4-4:通过运动控制实现机器臂末端工具坐标系Pw626与机器臂基坐标系Pw27在Pw27的XY平面平行,不考虑机械安装误差,则机器臂末端的零件A7与Pw27的XY平面平行。由于操作台也安装在底座平台上,若不考虑机械安装角度误差,操作台上零件B8与Pw27的XY平面平行。则零件B在第三显微视觉***坐标系Pw323的绕Z轴的姿态,转换为在第四显微视觉***坐标系Pw424的绕Z轴的姿态,如公式(17)所示。
γZB4=RmγZB3 (17)
零件A7在第四显微视觉***坐标系Pw424的绕Z轴的姿态检测为,则零件A7与零件B8的旋转姿态计算公式如公式(14)所示。
Δγz=ΔγZA4-ΔγZB4 (18)
具体实施方式:
步骤S1:分别通过第一显微视觉***1与第二显微视觉***2的主动运动实现第一显微视觉***1的图像偏移矩阵JB1与第二显微视觉***2的图像偏移矩阵JB2的标定。
1)使用台阶标定块进行标定,台阶标定块呈现阶梯状,具有五个台阶。将台阶标定块放置于第一显微视觉***1图像视野中,使第一台阶清晰成像,记录第一台阶的当前图像位置坐标,通过台阶标定物的几何先验知识与图像比例系数计算得到台阶标定块中心点的图像位置坐标(u0,v0)。
2)第一显微视觉***1沿着相机聚焦轴运动,使第二台阶清晰的呈现在第一显微视觉***视野中,记录第一显微视觉***1运动量l1,并且记录运动后第二台阶的图像位置坐标。通过台阶标定物的几何先验知识与图像比例系数计算得到台阶标定块中心点的图像位置坐标(u1,v1),得到台阶标定物中心点的图像位置偏差(Δu1,Δv1)。
3)重复步骤2)的动作过程,依次聚焦第三台阶、第四台阶与第五台阶,获得四组第一显微视觉***1的运动量li(i=1,2,3,4)与台阶标定物运动前后中心点图像位置坐标差(Δui,Δvi)。
4)将数据带入公式(2)中得到图像偏移矩阵JB1。
采用上述过程标定得到第二显微视觉***2图像偏移矩阵JB2。
步骤S2:标定第一显微视觉***1与第二显微视觉***2的位置运动控制图像雅可比矩阵,实现套筒零件与金腔零件的X、Y、Z轴位置偏差dX、dY、dZ的计算。
1)将小球放置于第一显微视觉***1与第二显微视觉***2的图像视野中,通过调整第一显微视觉***1与第二显微视觉***2的空间位置,实现小球清晰成像。记录小球在第一显微视觉***1的圆心图像位置坐标(u1o,v1o)与在第二显微视觉***2的圆心图像位置坐标(u2o,v2o),如图3所示。
2)ABB机械臂带动小球在空间内运动,运动数值随机,记录机械臂移动数值(Δx1,Δy1,Δz1)。移动后第一显微视觉***1与第二显微视觉***2分别聚焦小球,首先记录第一显微视觉***1与第二显微视觉***2的运动变化量与然后记录小球在第一显微视觉***1与第二显微视觉***2的图像圆心位置坐标(u11,v11)与(u21,v21),得到图像位置偏差(Δu11,Δv11)与(Δu21,Δv21)。
3)重复运动步骤2)五次,分别得到五组机械臂运动数值(Δxi,Δyi,Δzi)(i=1,2,...,5),第一显微视觉***1与第二显微视觉***2的运动变化量与以及运动前后小球圆心的图像位置偏差(Δu1i,Δv1i)与(Δu2i,Δv2i)。
4)将数据代入上述公式(4)中得到图像雅可比矩阵JV。
5)通过图像特征提取算法分别计算出套筒与金腔在第一显微视觉***1、在第二显微视觉***2的图像位置偏差(Δu1,Δv1)与(Δu2,Δv2),将数据代入公式(5)计算出dX、dY、dZ。
步骤S3:标定第一显微视觉***1与第二显微视觉***2的角度运动控制图像雅可比矩阵,实现套筒与金腔的绕X轴、绕Y轴的角度偏差ΔαX、ΔβY的计算。
1)控制金属杆位姿调整,使其在第一显微视觉***1与第二显微视觉***2中均清晰成像,记录金属杆在第一显微视觉***1的图像特征角度为α1o,在第二显微视觉***2的图像特征角度为β1o,如图4所示。
2)ABB机械臂带动金属杆绕着机器臂基坐标系Pw27的X、Y轴分别转动,运动角度数值随机,记录旋转角度数值为(△α1,△β1),并且记录金属杆在第一显微视觉***1与第二显微视觉***2的图像特征角度偏差为(△θx1,△θy1)。
3)重复运动步骤2)五次,分别得到五组旋转运动平台运动数值(△αi,△βi)(i=1,2,...5)以及对应的金属杆运动前后图像特征角度偏差(△θxi,△θyi)。
4)将数据带入上述公式(7)中得到图像旋转标定矩阵JR。
步骤S4:标定第三显微视觉***3与第四显微视觉***4的关系矩阵Rm实现套筒零件与金腔零件的旋转角度偏差ΔγZ的计算。
1)令小球清晰的呈现在第三显微视觉***3的焦平面内,然后控制机械臂在机器臂末端工具坐标系Pw626的XY平面内运动5次,分别记录机械臂运动变化量(Δxw6i,Δyw6i,0)(i=1,2,...5)和标定物在第三显微视觉***3的图像坐标变化量(Δuw3i,Δvw3i),如图5所示。将数据代入公式(11)中计算得到Rp。
3)令标定物清晰的呈现在第四显微视觉***4的焦平面内,然后控制机械臂在机械臂基坐标系Pw27的XY平面内运动5次,分别记录机械臂运动变化量(Δxw4i,Δyw4i,0)(i=1,2,...5)和标定物在第四显微视觉***4的图像坐标变化量(Δuw4i,Δvw4i),如图6所示。则通过公式(15)计算得到Ro。
4)通过公式(16)计算得到Rm。
5)控制机械臂姿态调整,使机器臂末端工具坐标系Pw626与机器臂基坐标系Pw121在水平面保持平行,则机器臂末端的套筒的姿态也与水平面保持平行。操作台上金腔的姿态与水平面保持平行。则金腔在第三显微视觉***坐标系Pw323的绕Z轴的姿态γZB3,通过公式(17)转换为在第四显微视觉***坐标系Pw424的绕Z轴的姿态γZB4。套筒在第四显微视觉***坐标系Pw424的绕Z轴的姿态检测为ΔγZA4,则套筒与金腔的旋转姿态偏差代入公式(18)中计算得到。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种跨尺度微纳器件装配的显微视觉检测装置,包括连接在水平面上的用以装配微纳器件的操作台(5)和用以移动微纳器件的机械臂(6),所述机械臂(6)连接有机械臂末端转接板(9),所述机械臂末端转接板(9)连接有零件A夹持器(10),所述零件A夹持器(10)夹持有零件A(7),所述操作台(5)连接有零件B夹持器(11),所述零件B夹持器(11)夹持有零件B(8),其特征在于,包括:
第一显微视觉***(1)和第二显微视觉***(2),所述第一显微视觉***(1)、第二显微视觉***(2)和所述机械臂(6)均以所述操作台(5)为中心设置,所述第一显微视觉***(1)和所述第二显微视觉***(2)的光轴均与所述水平面平行,且二者在空间布局上呈现近似90度夹角;用以微纳器件的正面和侧面特征检测;所述机械臂(6)设置在所述第二显微视觉***(2)的正对面;
第三显微视觉***(3),所述第三显微视觉***(3)与所述机械臂末端转接板连接(9);用以微纳零件的顶部特征检测;
第四显微视觉***(4),所述第四显微视觉***(4)的光轴与所述水平面垂直,用以微纳器件的底部特征检测。
2.一种利用跨尺度微纳器件装配的显微视觉检测装置的标定方法,其特征在于,所述标定方法包括:
步骤S1:建立跨尺度微纳器件装配***的坐标系,包括第一显微视觉***坐标系Pw1(21);第二显微视觉***坐标系Pw2(22);第三显微视觉***坐标系Pw3(21);第四显微视觉坐标系Pw4(24);操作台坐标系Pw5(25);机械臂末端坐标系Pw6(26);机械臂基坐标系Pw(27);笛卡尔空间坐标系Pwo(28),且所有坐标系的建立均符合右手定则;通过所述标定关系,将图像空间变化量转换为笛卡尔空间运动变化量,实现检测;
步骤S2:分别通过第一显微视觉***(1)与第二显微视觉***(2)的主动运动用以第一显微视觉***(1)的图像偏移矩阵JB1与第二显微视觉***2的图像偏移矩阵JB2的标定;
步骤S3:标定第一显微视觉***(1)与第二显微视觉***(2)的位置运动控制的图像雅可比矩阵用以零件A(7)与零件B(8)在机械臂基(6)坐标系Pw(27)下的X、Y、Z轴位置偏差dX、dY、dZ的计算;
步骤S4;标定第一显微视觉***(1)与第二显微视觉***(2)的角度运动控制的图像雅可比矩阵,用以零件A(7)与零件B(8)的绕X轴、绕Y轴的角度偏差ΔαX、ΔβY的计算;
步骤S5:标定第三显微视觉***(3)与第四显微视觉***(4)的关系矩阵,用以零件A(7)与零件B(8)的旋转角度偏差的ΔγZ计算。
4.如权利要求3中所述的利用跨尺度微纳器件装配的显微视觉检测装置的标定方法,其特征在于,根据下式来计算dX、dY、dZ:
其中,X是机械臂沿基坐标系Pw(27)的n次运动形成的的运动变化量矩阵,C是n次运动形成的标定物的图像位置变化量矩阵,利用最小二乘法,可以求得图像雅可比矩阵JV,如公式(4)所示
JV=CXT(XXT)-1 (4)
通过JV计算得到零件A与零件B的空间位置偏差(dX,dY,dZ),如公式(5)所示,
6.如权利要求5中所述的利用跨尺度微纳器件装配的显微视觉检测装置的标定方法,其特征在于,根据下式来计算ΔγZ:
其中Rp为第三显微视觉***坐标系Pw3(23)与机器臂末端工具坐标系Pw6(26)的旋转关系矩阵;(Δxw3,Δyw3,Δzw3)为零件A(7)与零件B(8)在第三显微视觉***(3)坐标系Pw3(23)的位置偏差,(Δxw6,Δyw6,Δzw6)为(Δxw3,Δyw3,Δzw3)转换到机器臂末端工具坐标系Pw6(26)的位置偏差;
其中N为控制机械臂在机器臂末端工具坐标系Pw6(26)的XY平面内运动次数(n≥3),(Δxw6i,Δyw6i,0)为机械臂运动变化量(i=1,2,...n)和(Δuw3i,Δvw3i)为标定物在第三显微视觉***(3)的图像坐标变化量,kw3为第三显微视觉***(3)的图像比例系数;
Rp=MNT(NNT)-1/kw3 (11)
其中Rp为利用线性最小二乘法计算所得到;
其中(Δxw6,Δyw6,Δzw6)为零件A(7)与零件B(8)在机器臂末端工具坐标系Pw6(26)的位置偏差,(Δxw,Δyw,Δzw)为(Δxw6,Δyw6,Δzw6)转换为在基坐标系Pw(27)的位置偏差,β,δ可以通过机械臂的示教器直接读出,无需再次标定;
其中(Δxw4,Δyw4,Δzw4)为零件A与零件B在第四显微视觉***坐标系Pw4(24)的位置偏差;
其中n为机械臂在机械臂基坐标系Pw(27)的XY平面内运动次数(n≥3),(Δxw4i,Δyw4i,0)(i=1,2,...n)为机械臂运动变化量;(Δuw4i,Δvw4i)为标定物在第四显微视觉***(4)的图像坐标变化量;
Ro=KLT(LLT)-1/kw4 (15)
其中Ro利用线性最小二乘法计算所得到;
其中Rm为第三显微视觉***坐标系Pw3(23)与第四显微视觉***坐标系Pw4(24)的旋转矩阵;
γZB4=RmγZB3 (17)
其中γZB4为零件B(8)在第三显微视觉***坐标系Pw3(23)的绕Z轴的姿态γZB3,所转换的在第四显微视觉***坐标系Pw4(24)的绕Z轴的姿态;
Δγz=ΔγZA4-ΔγZB4 (18)
其中ΔγZA4为零件A(7)在第四显微视觉***坐标系Pw4(24)的绕Z轴的姿态检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211355535.1A CN115682934A (zh) | 2022-11-01 | 2022-11-01 | 一种跨尺度微纳器件装配的显微视觉检测装置和标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211355535.1A CN115682934A (zh) | 2022-11-01 | 2022-11-01 | 一种跨尺度微纳器件装配的显微视觉检测装置和标定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115682934A true CN115682934A (zh) | 2023-02-03 |
Family
ID=85049021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211355535.1A Pending CN115682934A (zh) | 2022-11-01 | 2022-11-01 | 一种跨尺度微纳器件装配的显微视觉检测装置和标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115682934A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116147635A (zh) * | 2023-04-17 | 2023-05-23 | 天津宜科自动化股份有限公司 | 一种应用于多轮廓传感器的处理方法 |
-
2022
- 2022-11-01 CN CN202211355535.1A patent/CN115682934A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116147635A (zh) * | 2023-04-17 | 2023-05-23 | 天津宜科自动化股份有限公司 | 一种应用于多轮廓传感器的处理方法 |
CN116147635B (zh) * | 2023-04-17 | 2023-07-28 | 天津宜科自动化股份有限公司 | 一种应用于多轮廓传感器的处理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108972557B (zh) | 微零件位姿自动对准装置及其方法 | |
CN106247932B (zh) | 一种基于摄影***的机器人在线误差补偿装置及方法 | |
CN107351084B (zh) | 一种面向维修任务的空间机械臂手***误差修正方法 | |
CN109877840B (zh) | 一种基于相机光轴约束的双机械臂标定方法 | |
CN109813218B (zh) | 一种用于激光跟踪仪的三自由度靶标的精度补偿方法 | |
CN110355788B (zh) | 移动操作机器人大尺度空间高精度在线标定*** | |
CN111801198A (zh) | 一种手眼标定方法、***及计算机存储介质 | |
CN111862221B (zh) | Uvw平台标定方法、设备、纠偏方法、装置及对位*** | |
CN112917513A (zh) | 一种基于机器视觉的三维点胶针头的tcp标定方法 | |
CN113001535A (zh) | 机器人工件坐标系自动校正***与方法 | |
CN109227551B (zh) | 一种视觉定位机器人手眼坐标转换方法 | |
CN114001653B (zh) | 一种机器人工具中心点标定方法 | |
CN113211431B (zh) | 基于二维码修正机器人***的位姿估计方法 | |
TWI762371B (zh) | 機械手臂與輪廓感測器座標系相對關係之自動校正方法與系統 | |
CN110672049A (zh) | 用于确定机器人坐标系与工件坐标系间关系的方法及*** | |
CN115682934A (zh) | 一种跨尺度微纳器件装配的显微视觉检测装置和标定方法 | |
CN113781558B (zh) | 一种姿态与位置解耦的机器人视觉寻位方法 | |
CN115179323A (zh) | 基于远心视觉约束的机器末位姿测量装置及精度提升方法 | |
CN107756391A (zh) | 机械手臂校正***的校正方法 | |
CN115446836B (zh) | 一种基于多种图像特征信息混合的视觉伺服方法 | |
CN115284079B (zh) | 磁流变抛光标定方法 | |
CN112060083B (zh) | 用于机械臂的双目立体视觉***及其测量方法 | |
CN114750160B (zh) | 机器人控制方法、装置、计算机设备和存储介质 | |
CN113686278B (zh) | 一种高精度工业机器人工具tcp标定方法 | |
TWI710441B (zh) | 機器手臂的座標校正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |