CN115682934A - 一种跨尺度微纳器件装配的显微视觉检测装置和标定方法 - Google Patents

Abstract

本发明提供了一种跨尺度微纳器件装配的显微视觉检测装置和标定方法，包括第一显微视觉***和第二显微视觉***，用以微纳器件的正面和侧面特征检测；第三显微视觉***，用以微纳零件的顶部特征检测；第四显微视觉***，用以微纳器件的底部特征检测，还包括一种利用跨尺度微纳器件装配的显微视觉检测装置的标定方法；通过标定显微视觉***图像偏移矩阵，以及零件位置运动控制的图像雅可比矩阵实现跨景深检测；推导关系矩阵，结合关系矩阵标定方法，实现零件绕Z轴角度偏差的检测；本发明适用于跨尺度微纳器件装配的显微视觉检测，能够从多角度进行检测，同时通过关系推导进行零件旋转角度偏差的检测。

Description

一种跨尺度微纳器件装配的显微视觉检测装置和标定方法

技术领域

本发明涉及微零件装配技术领域，具体而言，涉及一种跨尺度微纳器件装配的显微视觉检测装置和标定方法。

背景技术

目前微装配***的显微视觉***大多由多路显微视觉构成，多路显微视觉在空间上呈现特定布局，从不同方位实现装配过程零件相对状态的观测；显微视觉检测出零件图像空间的位姿偏差，通过多路显微视觉关系矩阵的标定，结合图像空间到笛卡尔空间关系矩阵的标定，实现基于多路显微视觉信息融合的零件空间位姿检测，从而实现零件装配控制。

中国科学院自动化研究所提出一种基于三路正交显微视觉的微零件空间位姿检测与对准方法(张娟，徐德，张正涛，等.一种基于多路显微视觉的微零件自动对准装置及方法，专利号CN103273310B)，通过标定三路显微视觉伺服运动控制的图像雅可比矩阵，实现两个零件空间位姿的检测与位姿对准。哈尔滨理工大学(曲吉旺，许家忠，张大朋，等.基于显微视觉的微球管精密装配[J].高技术通讯，2019,9:914-924)，针对微球和微管的精密装配任务，构建了4路显微视觉检测***，其中两路低倍率显微视觉在水平正交位置用于粗定位，两路高倍率显微视觉均与水平面呈特定角度，且二者正交布局，实现微球和微管的精定位。通过标定水平两路显微视觉图像空间到笛卡尔空间的关系矩阵，实现了微管姿态调整与位置粗定位；通过标定斜两路显微视觉图像空间到笛卡尔空间的关系矩阵，实现了微管位置精对准。

目前的显微视觉检测***由多路显微视觉构成，显微视觉采用空间特定角度的布局方式。显微视觉检测***的空间占比大，对于包含6DOF机械臂的微装配***不适用，并且目前的显微视觉检测***仅能够实现零件的上表面与侧面的检测，对于零件底部特征不能实现检测，制约了微装配***的应用范围；同时，基于现有显微视觉检测***建立的***标定技术，实现了不同方位检测到的零件图像空间位姿偏差到笛卡尔空间位姿偏差的转换，但是对于跨尺度微纳器件装配中存在的跨景深检测问题，尚未考虑显微视觉聚焦过程中图像偏移矩阵的标定，导致跨景深检测精度不高，并且现有标定方法不能实现跨尺度微纳器件装配***的顶部视觉与底部视觉关系矩阵的标定，不能实现零件Z向角度偏差的检测。

发明内容

本发明的目的在于提供一种跨尺度微纳器件装配的显微视觉检测装置和标定方法，其解决了跨尺度维纳器件装配时微零件多角度的检测以及跨尺度微纳器件装配***中零件Z向角度偏差的检测问题。

本发明的实施例通过以下技术方案实现：一种跨尺度微纳器件装配的显微视觉检测装置，包括连接在水平面上的用以装配微纳器件的操作台和用以移动微纳器件的机械臂，所述机械臂连接有机械臂末端转接板，所述机械臂末端转接板连接有零件A夹持器，所述零件A夹持器夹持有零件A，所述操作台连接有零件B夹持器，所述零件B夹持器夹持有零件B，包括第一显微视觉***和第二显微视觉***，所述第一显微视觉***、第二显微视觉***和所述机械臂均以所述操作台为中心设置，所述第一显微视觉***和所述第二显微视觉***的光轴均与所述水平面平行，且二者在空间布局上呈现近似90度夹角；用以微纳器件的正面和侧面特征检测；所述机械臂设置在所述第二显微视觉***的正对面；

第三显微视觉***，所述第三显微视觉***与所述机械臂末端转接板连接；用以微纳零件的顶部特征检测；

第四显微视觉***，所述第四显微视觉***的光轴与所述水平面垂直，用以微纳器件的底部特征检测。

一种利用跨尺度微纳器件装配的显微视觉检测装置的标定方法，其特征在于，所述标定方法包括：

步骤S1：建立跨尺度微纳器件装配***的坐标系，包括第一显微视觉***坐标系P_w1；第二显微视觉***坐标系_Pw2；第三显微视觉***坐标系P_w3；第四显微视觉坐标系P_w4；操作台坐标系P_w5；机械臂末端坐标系P_w6；机械臂基坐标系P_w；笛卡尔空间坐标系P_wo，且所有坐标系的建立均符合右手定则；通过所述标定关系，将图像空间变化量转换为笛卡尔空间运动变化量，实现检测；

步骤S2：分别通过第一显微视觉***与第二显微视觉***的主动运动用以第一显微视觉***的图像偏移矩阵J_B1与第二显微视觉***的图像偏移矩阵J_B2的标定；

步骤S3：标定第一显微视觉***与第二显微视觉***的位置运动控制的图像雅可比矩阵用以零件A与零件B在机械臂基坐标系P_w下的X、Y、Z轴位置偏差d_X、d_Y、d_Z的计算；

步骤S4；标定第一显微视觉***与第二显微视觉***的角度运动控制的图像雅可比矩阵，用以零件A与零件B的绕X轴、绕Y轴的角度偏差、的计算；

步骤S5：标定第三显微视觉***与第四显微视觉***的关系矩阵，用以零件A与零件B的旋转角度偏差的Δγ_Z计算。

进一步的，根据下式来计算J_B1和J_B2：

利用线性最小二乘法计算得到J_B1，如公式(2)所示，第二显微视觉***的图像偏移矩阵J_B2采用与J_B1相同的标定方法可以得到

J_B1＝UL^T(LL^T)^-1 (2)

其中n为第一显微视觉***沿聚焦轴运动次数；Δl_i(i＝1,2,...n)为第一显微视觉***运动变化量；(Δu_i，Δv_i)为标定物的图像坐标变化量。

进一步的，根据下式来计算d_X、d_Y、d_Z：

其中，X是机械臂沿基坐标系P_w的n次运动形成的的运动变化量矩阵，C是n次运动形成的标定物的图像位置变化量矩阵，利用最小二乘法，可以求得图像雅可比矩阵J_V，如公式(4)所示

J_V＝CX^T(XX^T)^-1 (4)

通过J_V计算得到零件A与零件B的空间位置偏差(d_X，d_Y，d_Z)，如公式(5)所示，

其中

与

分别代表步骤1标定出的第一显微视觉与第二显微视觉的图像偏移矩阵，其中

为第一显微视觉***沿着聚焦轴分别聚焦零件A与零件B的运动变化量，

为第二显微视觉***沿着聚焦轴分别聚焦零件A与零件B的运动变化量，(Δu₁，Δv₁)与(Δu₂，Δv₂)分别为零件A与零件B在第一显微视觉***，与在第二显微视觉***的图像位置偏差。

一种利用跨尺度微纳器件装配的显微视觉检测装置的标定方法，根据下式来计算Δα_X、Δβ_Y：

其中χ为标定物沿着机械臂基坐标系P_w1的角度变化量矩阵，θ为标定物在图像空间的n次角度变化量矩阵。利用最小二乘法，可以求得公式(6)中的图像雅可比矩阵J_R，如公式(7)所示

J_R＝χθ^T(θθ^T)^-1 (7)

通过J_R计算得到零件A与零件B的空间角度偏差Δα_X、Δβ_Y，如公式(8)所示，

其中Δθ_x、Δθ_y分别为零件A与零件B在第一显微视觉***、第二显微视觉***的图像角度偏差。

进一步的，根据下式来计算Δγ_Z：

其中R_p为第三显微视觉***坐标系P_w3与机器臂末端工具坐标系P_w6的旋转关系矩阵；(Δx_w3，Δy_w3，Δz_w3)为零件A与零件B在第三显微视觉***坐标系P_w3的位置偏差，(Δx_w6，Δy_w6，Δz_w6)为(Δx_w3，Δy_w3，Δz_w3)转换到机器臂末端工具坐标系_Pw6的位置偏差；

其中N为控制机械臂在机器臂末端工具坐标系P_w6的XY平面内运动次数(n≥3)，(Δx_w6i，Δy_w6i，0)为机械臂运动变化量(i＝1,2,...n)和(Δu_w3i，Δv_w3i)为标定物在第三显微视觉***的图像坐标变化量，k_w3为第三显微视觉***的图像比例系数；

R_p＝MN^T(NN^T)^-1/k_w3 (11)

其中R_p为利用线性最小二乘法计算所得到；

其中(Δx_w6，Δy_w6，Δz_w6)为零件A与零件B在机器臂末端工具坐标系P_w6的位置偏差，(Δx_w，Δy_w，Δz_w)为(Δx_w6，Δy_w6，Δz_w6)转换为在基坐标系P_w的位置偏差，β，

δ可以通过机械臂的示教器直接读出，无需再次标定；

其中(Δx_w4，Δy_w4，Δz_w4)为零件A与零件B在第四显微视觉***坐标系P_w4的位置偏差；

其中n为机械臂在机械臂基坐标系P_w的XY平面内运动次数(n≥3)，(Δx_w4i，Δy_w4i，0)(i＝1,2,...n)为机械臂运动变化量；(Δu_w4i，Δv_w4i)为标定物在第四显微视觉***的图像坐标变化量；

R_o＝KL^T(LL^T)^-1/k_w4 (15)

其中R_o利用线性最小二乘法计算所得到；

其中R_m为第三显微视觉***坐标系P_w3与第四显微视觉***坐标系P_w4的旋转矩阵；

γ_ZB4＝R_mγ_ZB3 (17)

其中γ_ZB4为零件B在第三显微视觉***坐标系P_w3的绕Z轴的姿态γ_ZB3，所转换的在第四显微视觉***坐标系P_w4的绕Z轴的姿态；

Δγ_z＝Δγ_ZA4-Δγ_ZB4 (18)

其中Δγ_ZA4为零件A在第四显微视觉***坐标系P_w4的绕Z轴的姿态检测。

本发明的技术方案至少具有如下优点和有益效果：通过“三路固定显微视觉+一路随动显微视觉”的结构方式，实现了从四个不同角度检测装配过程中零件的相对位姿状态。其中一路随动显微视觉安装在6DOF串联机械臂的末端，实现了零件顶部特征的检测；三路固定显微视觉的两路在水平面上彼此正交布局，实现了零件侧面与正面的特征检测，另外一路显微视觉的光轴与水平面垂直，实现了从零件底部检测零件特征；同时，通过标定方法实现了零件图像位姿检测偏差转换为笛卡尔空间位姿偏差，首先通过标定显微视觉***图像偏移矩阵，以及零件位置运动控制的图像雅可比矩阵实现了跨景深检测条件下零件X、Y、Z轴位置偏差的检测；其次通过标定角度运动控制的图像雅可比矩阵，实现了零件绕X、Y轴角度偏差的检测；然后通过推导顶部视觉与底部视觉的关系矩阵，结合关系矩阵中关键参数的标定，实现了零件绕Z轴角度偏差的检测，最终实现了多种类跨尺度微纳器件装配过程中零件6DOF空间位姿的检测，提高了检测精度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的跨尺度微纳器件装配的显微视觉检测装置的跨尺度微纳器件装配***的结构示意图；

图2为本发明实施例提供的利用跨尺度微纳器件装配的显微视觉检测装置的标定方法的跨尺度微纳器件装配***坐标系的示意图；

图3为本发明实施例提供的跨尺度微纳器件装配的显微视觉检测装置的小球图像检测结果；其中(a)为第一显微视觉***的小球图像检测结果；(b)为第二显微视觉***的小球图像检测结果的示意图；

图4为本发明实施例提供的跨尺度微纳器件装配的显微视觉检测装置的金属杆图像检测结果；其中(a)为第一显微视觉***的金属杆图像检测结果；(b)为第二显微视觉***的金属杆图像检测结果的示意图；

图5为本发明实施例提供的跨尺度微纳器件装配的显微视觉检测装置的第三显微视觉***的小球运动后的小球图像检测结果；其中(a)为第三显微视觉***的小球第一次运动后的小球图像检测结果；(b)为第三显微视觉***的小球第二次运动后的小球图像检测结果；(c)为第三显微视觉***的小球第三次运动后的小球图像检测结果；(d)为第三显微视觉***的小球第四次运动后的小球图像检测结果的示意图；

图6为本发明实施例提供的跨尺度微纳器件装配的显微视觉检测装置的第四显微视觉***的小球第一次运动后的小球图像检测结果；其中(a)为第四显微视觉***的小球第一次运动后的小球图像检测结果；(b)为第四显微视觉***的小球第二次运动后的小球图像检测结果；(c)为第四显微视觉***的小球第三次运动后的小球图像检测结果；(d)为第四显微视觉***的小球第四次运动后的小球图像检测结果的示意图；

图标：1-第一显微视觉***,2-第二显微视觉***,3-第三显微视觉***,4-第四显微视觉***,5-操作台,6-机械臂,7-零件A,8-零件B,9-机械臂末端转接板,10-零件A夹持器,11-零件B夹持器,21-第一显微视觉***坐标系P_w1,22-第二显微视觉***坐标系P_w2,23-第三显微视觉***坐标系P_w3,24-第四显微视觉坐标系P_w4,25-操作台坐标系P_w5,26-机械臂末端坐标系P_w6,27-机械臂基坐标系P_w,28-笛卡尔空间坐标系P_wo。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本实施例提供了一种跨尺度微纳器件装配的显微视觉检测装置，如图1所示，包括连接在水平面上的用以装配微纳器件的操作台5和用以移动微纳器件的机械臂6，所述机械臂连接有机械臂末端转接板9，所述机械臂末端转接板9连接有零件A夹持器10，所述零件A夹持器夹持10有零件A7，所述操作台5连接有零件B夹持器11，所述零件B夹持器11夹持有零件B8，包括第一显微视觉***1和第二显微视觉***2，所述第一显微视觉***1、第二显微视觉***2和所述机械臂6均以所述操作台5为中心设置，所述第一显微视觉***1和所述第二显微视觉***2的光轴均与所述水平面平行，且二者在空间布局上呈现近似90度夹角；用以微纳器件的正面和侧面特征检测；所述机械臂6设置在所述第二显微视觉***2的正对面；第三显微视觉***3，所述第三显微视觉***3与所述机械臂末端转接板连接9；用以微纳零件的顶部特征检测；第四显微视觉***4，所述第四显微视觉***4的光轴与所述水平面垂直，用以微纳器件的底部特征检测；

值得一提的是，其中一路随动显微视觉安装在6DOF串联机械臂的末端，实现了零件顶部特征的检测；三路固定显微视觉的两路在水平面上彼此正交布局，实现了零件侧面与正面的特征检测，另外一路显微视觉的光轴与水平面垂直，实现了从零件底部检测零件特征；通过“三路固定显微视觉+一路随动显微视觉”的结构方式，实现了从四个不同角度检测装配过程中零件的相对位姿状态。

跨尺度微纳器件装配***的坐标系建立，如图2所示，包括第一显微视觉***坐标系P_w121；第二显微视觉***坐标系P_w222；第三显微视觉***坐标系P_w323；第四显微视觉坐标系P_w424；操作台坐标系P_w525；机械臂末端坐标系P_w626；机械臂基坐标系P_w27；笛卡尔空间坐标系P_wo28。所有坐标系的建立均符合右手定则。笛卡尔空间坐标系P_wo28的XY平面与水平面保持平行。机械臂基坐标系P_w27以机械臂底盘中心为坐标原点，其与笛卡尔空间坐标系P_wo28在XY方向上均保持平行。机械臂末端坐标系P_w626以机械臂末端中心为坐标原点，机械臂末端坐标系P_w626与机械臂基坐标系P_w27的关系由机械臂制造厂家出厂设定确定，可以通过机械臂示教器实时读出。随着机械臂位姿的改变，机械臂末端坐标系P_w626与机械臂基座坐标系P_w27呈现特定角度。操作台坐标系P_w525以操作台底部中心为坐标原点，其与笛卡尔空间坐标系P_wo28在XY方向上保持平行且同方向。第一显微视觉***1与第二显微视觉***2均布置在水平面上，且二者彼此正交排布。第一显微视觉***坐标系P_w121以显微视觉镜头的光轴与CCD靶面的交点作为坐标原点，其与笛卡尔空间坐标系P_wo28在XY方向上均保持平行且同方向。第二显微视觉***坐标系P_w222以显微视觉镜头的光轴与CCD靶面的交点为坐标原点，其与笛卡尔空间坐标系P_wo28在XY方向上均保持平行且同方向。第三显微视觉***3安装在机械臂6末端，第三显微视觉***坐标系P_w323以显微视觉镜头的光轴与CCD靶面的交点作为坐标原点，与机械臂末端坐标系P_w626在Z轴方向上保持平行。第四显微视觉***4安装在水平面上。第四显微视觉坐标系P_w424以显微视觉镜头的光轴与CCD靶面的交点作为坐标原点，与机械臂末端坐标系P_w626在Z轴方向上保持平行。通过标定关系，将图像空间变化量转换为笛卡尔空间运动变化量，实现检测。

通过标定第一显微视觉***1与第二显微视觉***2的位置运动控制的图像雅可比矩阵实现零件A7与零件B8在机械臂基坐标系P_w27下的X、Y、Z轴位置偏差d_X、d_Y、d_Z的计算；通过标定第一显微视觉***1与第二显微视觉***2的角度运动控制的图像雅可比矩阵实现零件A7与零件B8的绕X轴、绕Y轴的角度偏差Δα_X、Δβ_Y的计算；通过第三显微视觉***3与第四显微视觉***4实现零件A7与零件B8的旋转角度偏差Δγ_Z的计算。该跨尺度微纳器件装配***标定方法方法包括以下步骤：

步骤S1：分别通过第一显微视觉***1与第二显微视觉***2的主动运动实现第一显微视觉***1的图像偏移矩阵J_B1与第二显微视觉***的图像偏移矩阵J_B2的标定。图像偏移矩阵描述显微视觉***沿聚焦轴线性运动造成的图像点偏移量。将标定物固定于第一显微视觉***1视野中，第一显微视觉1***沿聚焦轴运动n次(n≥3)，获得n+1个已知位置。第一显微视觉***1运动变化量为(i＝1,2,...n)时，标定物的图像坐标变化量通过图像处理技术获取，记为(Δu_i，Δv_i)，则存在公式(1)所示关系。

利用线性最小二乘法计算得到J_B1，如公式(2)所示。第二显微视觉***2的图像偏移矩阵J_B2采用与J_B1相同的标定方法可以得到。

J_B1＝UL^T(LL^T)^-1 (2)

步骤2：标定第一显微视觉***1与第二显微视觉***2的位置运动控制的图像雅可比矩阵实现零件A7与零件B8在机械臂基坐标系P_w27下的X、Y、Z轴位置偏差d_X、d_Y、d_Z的计算。首先标定机械臂6平移运动变化量到图像空间平移运动变化量的图像雅可比矩阵J_V：将标定物安装在机械臂6末端，令机械臂6沿着机械臂基坐标系P_w27运动n次(n≥3)，分别记录机械臂6运动量(Δx_i，Δy_i，Δz_i)(i＝1,2,...n)，机械臂6每次运动后第一显微视觉***1与第二显微视觉***2为实现标定物聚焦，沿着聚焦轴的运动变化量

与

以及标定物在第一显微视觉***1的坐标变化量(Δu_1i，Δv_1i)与在第二显微视觉***2的坐标变化量(Δu_2i，Δv_2i)。则图像空间运动变化量与笛卡尔空间运动变化量的关系如公式(3)所示。

其中，X是机械臂6沿基坐标系P_w27的n次运动形成的的运动变化量矩阵，C是n次运动形成的标定物的图像位置变化量矩阵。

与

则分别代表步骤1标定出的第一显微视觉与第二显微视觉的图像偏移矩阵。利用最小二乘法，可以求得图像雅可比矩阵J_V，如公式(4)所示。

J_V＝CX^T(XX^T)^-1 (4)

然后，通过J_V计算得到零件A7与零件B8的空间位置偏差(d_X，d_Y，d_Z)，如公式(5)所示，其中

为第一显微视觉***1沿着聚焦轴分别聚焦零件A7与零件B8的运动变化量，

为第二显微视觉***2沿着聚焦轴分别聚焦零件A7与零件B8的运动变化量，(Δu₁，Δv₁)与(Δu₂，Δv₂)分别为零件A7与零件B8在第一显微视觉***1，与在第二显微视觉***2的图像位置偏差。

步骤S3：标定第一显微视觉***1与第二显微视觉***2的角度运动控制的图像雅可比矩阵，实现零件A与零件B的绕X轴、绕Y轴的角度偏差Δα_X、Δβ_Y的计算。首先标定机械臂6角度变化量到图像空间角度变化量的图像雅可比矩阵J_R：令机械臂6带动标定物分别绕机械臂基坐标系P_w121的X轴与Y轴运动n次(n≥3)，分别记录机械臂绕基坐标系X轴与Y轴的角度变化量为Δα_i与Δβ_i，(i＝1,2,...n)，以及标定物在第一显微视觉***1的角度变化量Δθ_xi与在第二显微视觉***2的角度变化量Δθ_yi。则机械臂6沿着基坐标系P_w121的空间运动变化量与图像空间运动变化量的关系如公式(6)所示。

其中，χ为标定物沿着机械臂基坐标系P_w121的角度变化量矩阵，θ为标定物在图像空间的n次角度变化量矩阵。利用最小二乘法，可以求得公式(6)中的图像雅可比矩阵J_R，如公式(7)所示。

J_R＝χθ^T(θθ^T)^-1 (7)

然后通过J_R计算得到零件A与零件B的空间角度偏差Δα_X、Δβ_Y，如公式(8)所示，其中Δθ_x、Δθ_y分别为零件A7与零件B8在第一显微视觉***1、第二显微视觉***2的图像角度偏差。

步骤S4：标定第三显微视觉***3与第四显微视觉***4的关系矩阵，实现零件A7与零件B8的旋转角度偏差Δγ_Z的计算。

步骤S4-1：推导第三显微视觉***坐标系P_w323与机器臂末端工具坐标系P_w626的旋转关系矩阵R_p。若不考虑机械安装角度误差，第三显微视觉***坐标系P_w323绕Z轴顺时针旋转α即可与机器臂末端工具坐标系P_w626平行，则零件A7与零件B8在第三显微视觉***坐标系P_w323的位置偏差(Δx_w3，Δy_w3，Δz_w3)转换到机器臂末端工具坐标系P_w626的位置偏差(Δx_w6，Δy_w6，Δz_w6)如公式(9)所示。

令标定物清晰的呈现在第三显微视觉***3的焦平面内，然后控制机械臂在机器臂末端工具坐标系P_w626的XY平面内运动n次(n≥3)，分别记录机械臂运动变化量(Δx_w6i，Δy_w6i，0)(i＝1,2,...n)和标定物在第三显微视觉***3的图像坐标变化量(Δu_w3i，Δv_w3i)。则存在公式(10)所示关系，其中k_w3为第三显微视觉***3的图像比例系数。

利用线性最小二乘法计算得到R_p，如公式(11)所示。

R_p＝MN^T(NN^T)^-1/k_w3 (11)

步骤S4-2：推导机器臂末端工具坐标系P_w626与机器臂基坐标系P_w27的旋转关系矩阵。零件A7与零件B8在机器臂末端工具坐标系P_w626的位置偏差(Δx_w6，Δy_w6，Δz_w6)转换为在基坐标系P_w27的位置偏差(Δx_w，Δy_w，Δz_w)如公式(12)所示。当前状态下，机械臂末端工具坐标系P_w626首先绕P_w626的X轴顺时针旋转角度β，然后绕P_w626的Y轴顺时针旋转角度

最后绕P_w626的Z轴的顺时针旋转角度δ后与机器臂基坐标系P_w27平行。

由于机器臂末端工具坐标系P_w626与机器臂基坐标系P_w27的关系由机械臂出厂时设定。β，

δ可以通过机械臂的示教器直接读出，无需再次标定。

步骤S4-3：推导第四显微视觉***坐标系P_w424与机械臂基坐标系P_w27的旋转关系矩阵R_o。由于第四显微视觉***与机械臂都安装在底座平台上，若不考虑机械安装角度误差，第四显微视觉***坐标系P_w424绕Z轴顺时针旋转与机械臂基座标系P_w27平行。零件A7与零件B8在第四显微视觉***坐标系P_w424的位置偏差(Δx_w4，Δy_w4，Δz_w4)转换到机械臂基坐标系P_w27的位置偏差如公式(13)所示。

令标定物清晰的呈现在第四显微视觉***4的焦平面内，然后控制机械臂在机械臂基坐标系P_w27的XY平面内运动n次(n≥3)，分别记录机械臂运动变化量(Δx_w4i，Δy_w4i，0)(i＝1,2,...n)和标定物在第四显微视觉***4的图像坐标变化量(Δu_w4i，Δv_w4i)。则存在公式(14)所示关系，其中k_w4为第四显微视觉***4的图像比例系数。

利用线性最小二乘法计算得到R_o，如公式(15)所示。

R_o＝KL^T(LL^T)^-1/k_w4 (15)

通过公式(9)、公式(12)，以及公式(13)的推导，可获得第三显微视觉***坐标系P_w323与第四显微视觉***坐标系P_w424的旋转矩阵R_m。零件A7与零件B8在第三显微视觉***坐标系P_w323的位置偏差转换到在第四显微视觉***坐标系P_w424的位置偏差如公式(16)所示。

步骤S4-4：通过运动控制实现机器臂末端工具坐标系P_w626与机器臂基坐标系P_w27在P_w27的XY平面平行，不考虑机械安装误差，则机器臂末端的零件A7与P_w27的XY平面平行。由于操作台也安装在底座平台上，若不考虑机械安装角度误差，操作台上零件B8与P_w27的XY平面平行。则零件B在第三显微视觉***坐标系P_w323的绕Z轴的姿态，转换为在第四显微视觉***坐标系P_w424的绕Z轴的姿态，如公式(17)所示。

γ_ZB4＝R_mγ_ZB3 (17)

零件A7在第四显微视觉***坐标系P_w424的绕Z轴的姿态检测为，则零件A7与零件B8的旋转姿态计算公式如公式(14)所示。

Δγ_z＝Δγ_ZA4-Δγ_ZB4 (18)

具体实施方式：

步骤S1：分别通过第一显微视觉***1与第二显微视觉***2的主动运动实现第一显微视觉***1的图像偏移矩阵J_B1与第二显微视觉***2的图像偏移矩阵J_B2的标定。

1)使用台阶标定块进行标定，台阶标定块呈现阶梯状，具有五个台阶。将台阶标定块放置于第一显微视觉***1图像视野中，使第一台阶清晰成像，记录第一台阶的当前图像位置坐标，通过台阶标定物的几何先验知识与图像比例系数计算得到台阶标定块中心点的图像位置坐标(u₀,v₀)。

2)第一显微视觉***1沿着相机聚焦轴运动，使第二台阶清晰的呈现在第一显微视觉***视野中，记录第一显微视觉***1运动量l₁，并且记录运动后第二台阶的图像位置坐标。通过台阶标定物的几何先验知识与图像比例系数计算得到台阶标定块中心点的图像位置坐标(u₁,v₁)，得到台阶标定物中心点的图像位置偏差(Δu₁,Δv₁)。

3)重复步骤2)的动作过程，依次聚焦第三台阶、第四台阶与第五台阶，获得四组第一显微视觉***1的运动量l_i(i＝1,2,3,4)与台阶标定物运动前后中心点图像位置坐标差(Δu_i,Δv_i)。

4)将数据带入公式(2)中得到图像偏移矩阵J_B1。

采用上述过程标定得到第二显微视觉***2图像偏移矩阵J_B2。

步骤S2：标定第一显微视觉***1与第二显微视觉***2的位置运动控制图像雅可比矩阵，实现套筒零件与金腔零件的X、Y、Z轴位置偏差d_X、d_Y、d_Z的计算。

1)将小球放置于第一显微视觉***1与第二显微视觉***2的图像视野中，通过调整第一显微视觉***1与第二显微视觉***2的空间位置，实现小球清晰成像。记录小球在第一显微视觉***1的圆心图像位置坐标(u_1o,v_1o)与在第二显微视觉***2的圆心图像位置坐标(u_2o,v_2o)，如图3所示。

2)ABB机械臂带动小球在空间内运动，运动数值随机，记录机械臂移动数值(Δx₁,Δy₁,Δz₁)。移动后第一显微视觉***1与第二显微视觉***2分别聚焦小球，首先记录第一显微视觉***1与第二显微视觉***2的运动变化量

与

然后记录小球在第一显微视觉***1与第二显微视觉***2的图像圆心位置坐标(u₁₁,v₁₁)与(u₂₁,v₂₁)，得到图像位置偏差(Δu₁₁,Δv₁₁)与(Δu₂₁,Δv₂₁)。

3)重复运动步骤2)五次，分别得到五组机械臂运动数值(Δx_i,Δy_i,Δz_i)(i＝1,2,...,5)，第一显微视觉***1与第二显微视觉***2的运动变化量

与

以及运动前后小球圆心的图像位置偏差(Δu_1i,Δv_1i)与(Δu_2i,Δv_2i)。

4)将数据代入上述公式(4)中得到图像雅可比矩阵J_V。

5)通过图像特征提取算法分别计算出套筒与金腔在第一显微视觉***1、在第二显微视觉***2的图像位置偏差(Δu₁，Δv₁)与(Δu₂，Δv₂)，将数据代入公式(5)计算出d_X、d_Y、d_Z。

步骤S3：标定第一显微视觉***1与第二显微视觉***2的角度运动控制图像雅可比矩阵，实现套筒与金腔的绕X轴、绕Y轴的角度偏差Δα_X、Δβ_Y的计算。

1)控制金属杆位姿调整，使其在第一显微视觉***1与第二显微视觉***2中均清晰成像，记录金属杆在第一显微视觉***1的图像特征角度为α_1o,在第二显微视觉***2的图像特征角度为β_1o，如图4所示。

2)ABB机械臂带动金属杆绕着机器臂基坐标系P_w27的X、Y轴分别转动，运动角度数值随机，记录旋转角度数值为(△_α1,△_β1)，并且记录金属杆在第一显微视觉***1与第二显微视觉***2的图像特征角度偏差为(△θ_x1，△θ_y1)。

3)重复运动步骤2)五次，分别得到五组旋转运动平台运动数值(△_αi,△_βi)(i＝1,2,...5)以及对应的金属杆运动前后图像特征角度偏差(△θ_xi，△θ_yi)。

4)将数据带入上述公式(7)中得到图像旋转标定矩阵J_R。

步骤S4:标定第三显微视觉***3与第四显微视觉***4的关系矩阵R_m实现套筒零件与金腔零件的旋转角度偏差Δγ_Z的计算。

1)令小球清晰的呈现在第三显微视觉***3的焦平面内，然后控制机械臂在机器臂末端工具坐标系P_w626的XY平面内运动5次，分别记录机械臂运动变化量(Δx_w6i,Δy_w6i，0)(i＝1,2,...5)和标定物在第三显微视觉***3的图像坐标变化量(Δu_w3i，Δv_w3i)，如图5所示。将数据代入公式(11)中计算得到R_p。

2)通过机械臂示教器读出β，

δ，然后通过公式(12)计算得到R_v。

3)令标定物清晰的呈现在第四显微视觉***4的焦平面内，然后控制机械臂在机械臂基坐标系P_w27的XY平面内运动5次，分别记录机械臂运动变化量(Δx_w4i，Δy_w4i，0)(i＝1,2,...5)和标定物在第四显微视觉***4的图像坐标变化量(Δu_w4i，Δv_w4i)，如图6所示。则通过公式(15)计算得到Ro。

4)通过公式(16)计算得到R_m。

5)控制机械臂姿态调整，使机器臂末端工具坐标系P_w626与机器臂基坐标系P_w121在水平面保持平行，则机器臂末端的套筒的姿态也与水平面保持平行。操作台上金腔的姿态与水平面保持平行。则金腔在第三显微视觉***坐标系P_w323的绕Z轴的姿态γ_ZB3，通过公式(17)转换为在第四显微视觉***坐标系P_w424的绕Z轴的姿态γ_ZB4。套筒在第四显微视觉***坐标系P_w424的绕Z轴的姿态检测为Δγ_ZA4，则套筒与金腔的旋转姿态偏差代入公式(18)中计算得到。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种跨尺度微纳器件装配的显微视觉检测装置，包括连接在水平面上的用以装配微纳器件的操作台(5)和用以移动微纳器件的机械臂(6)，所述机械臂(6)连接有机械臂末端转接板(9)，所述机械臂末端转接板(9)连接有零件A夹持器(10)，所述零件A夹持器(10)夹持有零件A(7)，所述操作台(5)连接有零件B夹持器(11)，所述零件B夹持器(11)夹持有零件B(8)，其特征在于，包括：

第一显微视觉***(1)和第二显微视觉***(2)，所述第一显微视觉***(1)、第二显微视觉***(2)和所述机械臂(6)均以所述操作台(5)为中心设置，所述第一显微视觉***(1)和所述第二显微视觉***(2)的光轴均与所述水平面平行，且二者在空间布局上呈现近似90度夹角；用以微纳器件的正面和侧面特征检测；所述机械臂(6)设置在所述第二显微视觉***(2)的正对面；

第三显微视觉***(3)，所述第三显微视觉***(3)与所述机械臂末端转接板连接(9)；用以微纳零件的顶部特征检测；

第四显微视觉***(4)，所述第四显微视觉***(4)的光轴与所述水平面垂直，用以微纳器件的底部特征检测。

2.一种利用跨尺度微纳器件装配的显微视觉检测装置的标定方法，其特征在于，所述标定方法包括：

步骤S1：建立跨尺度微纳器件装配***的坐标系，包括第一显微视觉***坐标系P_w1(21)；第二显微视觉***坐标系_Pw2(22)；第三显微视觉***坐标系P_w3(21)；第四显微视觉坐标系P_w4(24)；操作台坐标系P_w5(25)；机械臂末端坐标系P_w6(26)；机械臂基坐标系P_w(27)；笛卡尔空间坐标系P_wo(28)，且所有坐标系的建立均符合右手定则；通过所述标定关系，将图像空间变化量转换为笛卡尔空间运动变化量，实现检测；

步骤S2：分别通过第一显微视觉***(1)与第二显微视觉***(2)的主动运动用以第一显微视觉***(1)的图像偏移矩阵J_B1与第二显微视觉***2的图像偏移矩阵J_B2的标定；

步骤S3：标定第一显微视觉***(1)与第二显微视觉***(2)的位置运动控制的图像雅可比矩阵用以零件A(7)与零件B(8)在机械臂基(6)坐标系P_w(27)下的X、Y、Z轴位置偏差d_X、d_Y、d_Z的计算；

步骤S4；标定第一显微视觉***(1)与第二显微视觉***(2)的角度运动控制的图像雅可比矩阵，用以零件A(7)与零件B(8)的绕X轴、绕Y轴的角度偏差Δα_X、Δβ_Y的计算；

步骤S5：标定第三显微视觉***(3)与第四显微视觉***(4)的关系矩阵，用以零件A(7)与零件B(8)的旋转角度偏差的Δγ_Z计算。

3.如权利要求2中所述的利用跨尺度微纳器件装配的显微视觉检测装置的标定方法，其特征在于，根据下式来计算J_B1和J_B2：

利用线性最小二乘法计算得到J_B1，如公式(2)所示，第二显微视觉***(2)的图像偏移矩阵J_B2采用与J_B1相同的标定方法可以得到

J_B1＝UL^T(LL^T)^-1 (2)

其中n为第一显微视觉***(1)沿聚焦轴运动次数；Δl_i(i＝1,2,...n)为第一显微视觉***运动变化量；(Δu_i，Δv_i)为标定物的图像坐标变化量。

4.如权利要求3中所述的利用跨尺度微纳器件装配的显微视觉检测装置的标定方法，其特征在于，根据下式来计算d_X、d_Y、d_Z：

其中，X是机械臂沿基坐标系P_w(27)的n次运动形成的的运动变化量矩阵，C是n次运动形成的标定物的图像位置变化量矩阵，利用最小二乘法，可以求得图像雅可比矩阵J_V，如公式(4)所示

J_V＝CX^T(XX^T)^-1 (4)

通过J_V计算得到零件A与零件B的空间位置偏差(d_X，d_Y，d_Z)，如公式(5)所示，

其中

与

分别代表步骤1标定出的第一显微视觉(1)与第二显微视觉(2)的图像偏移矩阵，其中

为第一显微视觉***(1)沿着聚焦轴分别聚焦零件A与零件B的运动变化量，

为第二显微视觉***(2)沿着聚焦轴分别聚焦零件A与零件B的运动变化量，(Δu₁，Δv₁)与(Δu₂，Δv₂)分别为零件A(7)与零件B(8)在第一显微视觉***(1)，与在第二显微视觉***(2)的图像位置偏差。

5.如权利要求4中所述的利用跨尺度微纳器件装配的显微视觉检测装置的标定方法，其特征在于，根据下式来计算Δα_X、Δβ_Y：

其中χ为标定物沿着机械臂基坐标系P_w1(21)的角度变化量矩阵，θ为标定物在图像空间的n次角度变化量矩阵。利用最小二乘法，可以求得公式(6)中的图像雅可比矩阵J_R，如公式(7)所示

J_R＝χθ^T(θθ^T)^-1 (7)

通过J_R计算得到零件A(7)与零件B(8)的空间角度偏差Δα_X、Δβ_Y，如公式(8)所示，

其中Δθ_x、Δθ_y分别为零件A(7)与零件B(8)在第一显微视觉***(1)、第二显微视觉***(2)的图像角度偏差。

6.如权利要求5中所述的利用跨尺度微纳器件装配的显微视觉检测装置的标定方法，其特征在于，根据下式来计算Δγ_Z：

其中R_p为第三显微视觉***坐标系P_w3(23)与机器臂末端工具坐标系P_w6(26)的旋转关系矩阵；(Δx_w3，Δy_w3，Δz_w3)为零件A(7)与零件B(8)在第三显微视觉***(3)坐标系P_w3(23)的位置偏差，(Δx_w6，Δy_w6，Δz_w6)为(Δx_w3，Δy_w3，Δz_w3)转换到机器臂末端工具坐标系_Pw6(26)的位置偏差；

其中N为控制机械臂在机器臂末端工具坐标系P_w6(26)的XY平面内运动次数(n≥3)，(Δx_w6i，Δy_w6i，0)为机械臂运动变化量(i＝1,2,...n)和(Δu_w3i，Δv_w3i)为标定物在第三显微视觉***(3)的图像坐标变化量，k_w3为第三显微视觉***(3)的图像比例系数；

R_p＝MN^T(NN^T)^-1/k_w3 (11)

其中R_p为利用线性最小二乘法计算所得到；

其中(Δx_w6，Δy_w6，Δz_w6)为零件A(7)与零件B(8)在机器臂末端工具坐标系P_w6(26)的位置偏差，(Δx_w，Δy_w，Δz_w)为(Δx_w6，Δy_w6，Δz_w6)转换为在基坐标系P_w(27)的位置偏差，β，

δ可以通过机械臂的示教器直接读出，无需再次标定；

其中(Δx_w4，Δy_w4，Δz_w4)为零件A与零件B在第四显微视觉***坐标系P_w4(24)的位置偏差；

其中n为机械臂在机械臂基坐标系P_w(27)的XY平面内运动次数(n≥3)，(Δx_w4i，Δy_w4i，0)(i＝1,2,...n)为机械臂运动变化量；(Δu_w4i，Δv_w4i)为标定物在第四显微视觉***(4)的图像坐标变化量；

R_o＝KL^T(LL^T)^-1/k_w4 (15)

其中R_o利用线性最小二乘法计算所得到；

其中R_m为第三显微视觉***坐标系P_w3(23)与第四显微视觉***坐标系P_w4(24)的旋转矩阵；

γ_ZB4＝R_mγ_ZB3 (17)

其中γ_ZB4为零件B(8)在第三显微视觉***坐标系P_w3(23)的绕Z轴的姿态γ_ZB3，所转换的在第四显微视觉***坐标系P_w4(24)的绕Z轴的姿态；

Δγ_z＝Δγ_ZA4-Δγ_ZB4 (18)

其中Δγ_ZA4为零件A(7)在第四显微视觉***坐标系P_w4(24)的绕Z轴的姿态检测。

Images