CN110125662A - 音膜球顶自动装配*** - Google Patents

Abstract

音膜球顶自动装配***，包括三轴运动***，机械手上的真空吸盘抓取球顶，移至音膜拍照位置获得音膜图像，计算音膜位置角度参数，然后移至球顶拍照位置获得球顶图像，计算球顶位置角度参数，判断音膜与球顶位置角度参数，如果不相等则旋转球顶，重新获取球顶图像，计算球顶位置角度参数，再次判断角度参数是否相等，如果相等计算球顶音膜相对位置，执行装配程序，最后移至安全位置。本发明基于双侧远心镜头的图像处理拟合音膜‑球顶矩形框，完善了***存在的误差，提高相机的图像处理能力，并且可以极大的降低***对于机械设备精度的要求，***的装配精度大幅度提高到0.03mm左右，从而实现了***的装配精度要求。

Description

音膜球顶自动装配***

技术领域

本发明涉及视觉检测领域，特别涉及一种使用双侧远心镜头进行音膜和球顶的自动装配的***。

背景技术

如今电子产品的应用越来越广泛，尤其是电子产品的配件如音膜，球顶等，由于配件精细，需要纯手工进行装配，但是纯手工装配不仅劳动强度大，效率低，而且装配过程中经常会出现犯错，产品成品率非常低。

依靠视觉的定位来装配精细配件，利用完善的***误差标定来提高相机的图像采集性能，并且可以极大的降低***对于机械设备精度的要求，从而提高***的装配精度。

相机的成像模型就是用数学公式刻画整个成像过程，即被拍摄物体空间点到照片成像点之间的几何变换关系。

总体上，相机成像可以分为四个步骤：刚体变换(从世界坐标系到相机坐标系)、透视投影(从相机坐标系到理想图像坐标系)、畸变校正(从理想图像坐标系到真实图像坐标系)和数字化图像(从真实图像坐标系到数字化图像坐标系)。

世界坐标系：客观三维世界的绝对坐标系，也称客观坐标系。因为数码相机安放在三维空间中，我们需要世界坐标系这个基准坐标系来描述数码相机的位置，并且用它来描述安放在此三维环境中的其它任何物体的位置，用(X,Y,Z)表示其坐标值。

相机坐标系(光心坐标系)：以相机的光心为坐标原点，X轴和Y轴分别平行于图像坐标系的X轴和Y轴，相机的光轴为Z轴，用(Xc,Yc,Zc)表示其坐标值。

图像坐标系：以CCD图像平面的中心为坐标原点，X轴和Y轴分别平行于图像平面的两条垂直边，用(x,y)表示其坐标值。图像坐标系是用物理单位(例如毫米)表示像素在图像中的位置。

像素坐标系：以CCD图像平面的左上角顶点为原点，X轴和Y轴分别平行于图像坐标系的X轴和Y轴，用(u,v)表示其坐标值。数码相机采集的图像首先是形成标准电信号的形式，然后再通过模数转换变换为数字图像。每幅图像的存储形式是M×N的数组，M行N列的图像中的每一个元素的数值代表的是图像点的灰度。这样的每个元素叫像素，像素坐标系就是以像素为单位的图像坐标系。

对于相机标定，现有的比较通用且成熟的技术为针对针孔相机模型的张正友标定算法，通过棋盘格标定板即可标定出相机的内外参，MATLAB工具箱和OpenCV的标定函数均可实现该标定过程。

而这些相机标定算法只能针对普通镜头。

普通针孔相机目标物体越靠近镜头(工作距离越短)，所成的像就越大。在使用普通镜头进行视觉识别时，会存在如下问题：1.由于被测量物体不在同一个测量平面，而造成放大倍率的不同。2.镜头畸变大。3.存在视差也就是当物距变大时，对物体的放大倍数也改变。4.镜头的解析度不高。5.由于视觉光源的几何特性，而造成的图像边缘位置的不确定性。

对于一个带有视觉的机器人***，相机得到的所有信息都是在相机坐标系下描述的。要让机器人根据视觉***得到的信息，第一步要做的就是确定相机坐标系与机器人之间的相互位置关系，这就是机器人手眼标定的研究内容。

对于机器人的手眼标定，直接让机械臂在空间中运动两个位置，保证这两个位置下都可以看到标定板。然后构建空间变换回路AX＝XB，求得手眼关系。

机器人***是一个三轴移动的机床，它只能在xyz三个方向上进行平移，并不能像机器人的机械臂那样可以实现在空间里任意运动，所以不能用张正友标定相机与机床的相互位置关系。

根据机床只能平移的运动特性，可以通过平移平台的方式来标定相机与平台的相对关系。一个比较经典的自标定方法是在平台上放置一个已知参考物体，通过控制平台沿三个非共面方向平移三次，从控制器获得平台运动数据，再通过相机拍摄参考物体来计算引起的相机运动。相机与平台坐标系在三维空间中的旋转矩阵就可由下式求得：

t_p＝Rt_c

式中，t_p为平台三次正交平移组成的向量，t_p＝(t_p1,t_p2,t_p3)；t_c为计算得到的相机三次平移组成的向量t_c＝(t_c1,t_c2,t_c3)。但是t_p和t_c是普通镜头才能获得的参数，若使用其他镜头，则无法确定镜头t_p和t_c，从而造成无法实现相机标定。而且目前很多针对视觉与机器的标定，都是考虑的二维坐标系转换，忽略了很多安装误差，造成标定精度不高。

发明内容

本发明的目的在于提供一种能够使用双侧远心镜头进行图像采集，并对具有双侧远心镜头的相机与机床、相机与相机进行精确标定，使装配精度达到微米级的音膜球顶自动装配***。

一种音膜球顶自动装配***，包括机床、球顶相机和音膜相机，机床上设置音膜放置工位和球顶放置工位，机床具有能够获取球顶的机械手，机械手的抓取部为吸盘，机床驱动机械手沿X轴、Y轴和、或Z轴平移，机械手绕Z轴自转，球顶相机从下向上拍摄球顶和、或机械手，音膜相机从上向下拍摄机床台面和、或音膜；机械手和音膜相机相对固定并同步运动；自动装配执行以下工序:

机床带动机械手移动到球顶工装位抓取球顶；将音膜相机移动到音膜工位上方、对音膜拍照获得音膜图像，获得音膜图像中的音膜边框和音膜边框特征点的像素坐标；使机床驱动带有球顶的机械手移动并保持在球顶相机上方，球顶相机拍照获得球顶图像，获得球顶图像中的球顶边框和球顶边框特征点的像素坐标，球顶边框特征点与音膜边框特征点具有装配对应关系；装配对应关系是指音膜和球顶在装配时，球顶边框特征点与音膜边框特征点具有一一对应的关系，比如，球顶边框的中点与音膜边框的中点重合，球顶边框的上边线中点与音膜边框的上边线中点重合，此处的上指的是球顶边框边线和音膜边框边线的位置对应性，并不表示绝对的方位。

将音膜图像的音膜边框和球顶图像的球顶边框对中，判断音膜边框与球顶边框是否符合安装要求，若符合，则进行下一步操作，若不符合，则获得球顶与音膜顺利安装所需的转动角度，该转动角度为机械手绕Z轴的转动角度。

将音膜边框特征点的像素坐标转换为音膜相机在机床坐标系下的音膜坐标，转换关系为：W_film＝R_film^(-1)*A_film^(-1)*uv_film(旋转矩阵内参矩阵)；将球顶边框特征点的像素坐标转换为球顶相机在机床坐标系下的球顶坐标，转换关系为：W_dome＝R_dome^(-1)*A_dome^(-1)*uv_dome(旋转矩阵内参矩阵)；计算球顶相机和音膜相机在机床坐标系下的向量差Δx,Δy，向量差表示音膜相机和球顶相机之间的相对位置。

机床控制机械手按向量差移动Δx,Δy，使机械手沿Z轴平移、球顶与音膜接触，机械手释放球顶。

进一步，获得音膜图像中的音膜边框的方法包括：

步骤1，对音膜相机获取的图片和球顶相机获取的图片进行灰度化的图像处理；

步骤2，在音膜相机获取的图片和球顶相机获取的图片中，对矩形感兴趣区域进行提取，从而获取矩形感兴趣区域(ROI)；

步骤3，通过对音膜相机获取的图片和球顶相机获取的图片进行灰度化的图像处理以后，将获取到的灰度化图像进行二值化处理，为提取矩形框做准备；

步骤4，音膜相机的二值化图像和球顶相机的二值化图像，存在很多噪点，通过使用OpenCV编写算法去掉黑色面积较小的连通域，并对图像进行开运算，定义开运算的核心随着二值化的阈值成负相关,从而去除毛刺；

步骤5，对开运算后的图像进行Canny边缘检测，并进行霍夫线变换，依次在图中绘出每条线段；

步骤6，通过OpenCV提供的minAreaRect函数求霍夫线段图的最小外包矩形，并在音膜相机的原图像和球顶相机的原图像中绘出需要装配的零件矩形框。

进一步，获得机械手绕Z轴的转动角度的方法包括，获得音膜边框的中心坐标，以及以中心坐标为原点、原点-音膜边框角点的连线与X轴或Y轴的音膜偏角θ1，记录拍摄音膜时的机床坐标(x₁,y₁)；获得球顶边框的中心坐标，以及以中心坐标为原点、原点-球顶边框角点的连线与X轴或Y轴的球顶偏角θ2，记录拍摄球顶时的机床坐标(x₂,y₂)；将球顶边框的特征点像素坐标转换到机床坐标系下，将音膜边框的特征点像素坐标转换到机床坐标系下，使音膜边框的中心与球顶边框的中心重合，计算音膜偏角和球顶偏角的差值，该差值为机械手绕Z轴的转动角度。

进一步，球顶音膜相对位置的计算方法为：

音膜的机床坐标(x′,y′)为：

x′＝x_c1+x₁

y′＝y_c1+y₁；

球顶的机床坐标(x″,y″)为：

x″＝x_c2+Δx+x₀

y″＝y_c2+Δy+y₀；

因此球顶音膜相对位置(dx,dy)为：

dx＝x′-x″＝x_c1+x₁-(x_c2+Δx+x₀)；

dy＝y′-y″＝y_c1+y₁-(y_c2+Δy+y₀)。

进一步，机床包括基座四轴精密移动装配平台、机械手、音膜图像采集组件和球顶图像采集组件、以及音膜工装模块和球顶工装模块；四轴精密移动装配平台，音膜图像采集组件和球顶图像采集组件，音膜工装模块和球顶工装模块设置于基座。

进一步，四轴精密移动装配平台包含X轴导轨，Y轴导轨和Z轴导轨；X轴导轨固定于基座，Y轴导轨可移动的安装于X导轨，Z轴导轨可移动的安装于Y轴导轨；Z轴导轨有滑块，滑块上安装有机械手和音膜相机。

进一步，音膜相机配套有音膜光源，和、或球顶相机配套有球顶光源。

进一步，机械手包括基架，真空吸盘和转轴，真空吸盘设置于转轴一端且与转轴同轴，基架与音膜相机相对固定，转轴设置于基架，转轴与旋转驱动件相连。

本发明的优点在于：

1.基于双侧远心镜头的图像处理拟合音膜-球顶矩形框，完善了***存在的误差，提高相机的图像处理能力，并且可以极大的降低***对于机械设备精度的要求，***的装配精度大幅度提高到0.03mm左右，从而实现了***的装配精度要求。

附图说明：

图1是本发明结构示意图。

图2是球顶音膜自动装配的过程图。

图3是双侧远心镜头光路。

图4是不同失真相机模型的远心镜头的测量精度表。

图5是虚拟棋盘格坐标图。

图6是虚拟棋盘格像素坐标图。

图7是音膜图片的灰度化+ROI提取图。

图8是音膜二值化图。

图9是音膜图片的开运算+霍夫线变换图。

图10是提取的音膜矩形框图。

图11是提取的球顶矩形框图。

图12是音膜球顶装配图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本实施例提供一种基于双侧远心镜头的音膜-球顶自动装配***的视觉检测技术。

如图1所示，包括三轴运动***，三轴运动***(1)包括X轴、Y轴和Z轴，Z轴设有机械手并且带有音膜拍照组件(3)，音膜拍照组件(3)包括音膜相机、远心镜头和光源，机械手(2)设有真空吸盘(4)，Z轴下方设有平台，平台具有音膜放置区(5)以及在其右侧的球顶放置区(6)和位于平台下方的球顶拍照组件(7)，球顶拍照组件包括球顶相机、远心镜头和光源，球顶拍照组件(7)位于平台(8)下方且向上方拍照。

本实施例中，音膜相机和球顶相机均采用500万像素工业相机，可保证足够的视场(30mm×30mm)及高分辨率(约0.009mm/像素)，音膜相机与球顶相机均使用远心镜头。

目前广泛使用的普通针孔相机，目标物体越靠近镜头(工作距离越短)，所成的像就越大。在使用普通镜头进行视觉识别时，会存在如下问题：由于被测量物体不在同一个测量平面，而造成放大倍率的不同，镜头畸变大，存在视差也就是当物距变大时，对物体的放大倍数也改变，镜头的解析度不高，由于视觉光源的几何特性，而造成的图像边缘位置的不确定性。

音膜相机与球顶相机所使用的远心镜头，可以显著降低成像***的畸变，为微米级检测精度提供硬件保障，同时该成像***还具有大景深的优势，保证图像具有稳定的清晰度和放大倍数，从而确保数据采集的稳定性。

作为一个实施方式，机械手和音膜相机同时安装于升降板，升降板固定于Z轴导轨，平台开有孔，球顶拍照组件位于孔的下方和平台的下方，并且球顶拍照组件向平台上方拍摄图像。

孔安装有玻璃板，且孔的形状可以为正方形、长方形等规则状或者不规则状，一般情况孔的形状为圆形。

球顶相机透过玻璃向上方拍照，安装玻璃是为了防止异物掉落进孔中，影响拍照，音膜拍照组件中的光源采用条形低角度平行蓝光，可准确识别出音膜折痕，并与其他光线干扰区别开来。

作为一个实施方式，球顶拍照组件中的光源采用同轴光方式，采用同轴光方式，可将球顶轮廓准确识别出来，球顶位置需要调整到合适位置以便和音膜进行配装，调整方式采用迭代式收敛计算方法，不断用变量的旧值递推新值通过重复操作来精确计算。

本实施例使用的是双侧远心镜头，在一定的物距范围内，得到的图像放大倍率不会变化，因此这种镜头拍出来的图像没有近大远小关系，如图3所示为双侧远心镜头的光路，图中，u为物距，v为像距，f1和f2为两个镜头的焦距，光阑放置于两个镜头的焦点处，它使进出镜头的光线均为平行光，其余光线被光阑遮挡。

双侧远心镜头的特点是物体离得远近或者相机离得远近都不影响放大倍数，所以广泛的应用在机器视觉测量检测领域。与针孔相机的透视投影不同，远心镜头执行正交投影，这产生了与针孔相机不同的投影的几何模型，因此，许多现有的校准方法不适用于远心镜头。

机床-相机角度偏差标定在传统工业生产中，一般忽略了相机的安装偏角，但为实现小零件如音膜、球顶的精密装配，精度要求是微米级别，仅靠手工安装无法保证相机精确地垂直于平台，因此，需要通过标定，求出机床与相机之间的安装偏角，保证后面定位检测精度。

作为一个实施方式，对于一个带有视觉的机器人***，相机得到的所有信息都是在相机坐标系下描述的，要让机器人根据视觉***得到信息，第一步要做的就是确定相机坐标系与机器人之间的相互位置关系，对于机器人的手眼标定，直接让机械臂在空间中运动两个位置，保证这两个位置下都可以看到标定板，然后构建空间变换回路AX＝XB，即可求得手眼关系。

在本实施例中，由于音膜-球顶的自动装配装置是一个三轴移动的机床，它只能在x、y、z三个方向上进行平移，并不能像机器人的机械臂那样可以实现在空间里任意运动，所以不能用此方法标定机床与相机的相互位置关系。

作为一个实施方式，通常情况下根据机床只能平移的运动特性，考虑通过平移平台的方式来标定相机与平台的相对关系，一个比较经典的自标定方法是在平台上放置一个已知参考物体，通过控制平台沿三个非共面方向平移三次，从控制器获得平台运动数据，再通过相机拍摄参考物体来计算引起的相机运动，通过平台三次正交平移组成的向量，和相机三次平移组成的向量求得相机与平台坐标系在三维空间中的旋转矩阵。

本实施例采用的是双侧远心镜头，它的成像不存在近大远小，因此远心镜头的外参是无法确定的，相机的平移向量就无法得到，因此不能使用该方法标定。

目前很多针对视觉与机器的标定，都是考虑的二维坐标系转换，忽略了很多安装误差，造成标定精度不高。

本实施例中的自动装配装置的精密装配高精度要求，因此提出了建立空间的三维坐标系转换关系的标定方法，本实施例采用的相机型号为BT-2324。

音膜相机和机械手安装于Z轴导轨，可以沿着Z轴导轨上下移动，因此在平台取固定标定点。

如图2所示，音膜球顶自动装配***执行以下步骤:

步骤1，三轴运动***带动机械手，并通过机械手上的真空吸盘，在工装平台上的球顶工装位抓取球顶，移至音膜拍照位置，由音膜相机从上往下拍照获得音膜图像；

步骤2，计算机控制***读取音膜相机获得的音膜图像，并计算音膜位置角度参数；

步骤3，三轴运动***带动机械手上的真空吸盘所抓取的球顶，移至球顶拍照位置，由球顶相机从下往上拍照获得球顶图像；

步骤4，计算机控制***读取球顶相机获得的球顶图像，并计算球顶位置角度参数；

步骤5，判断音膜位置角度参数与球顶位置角度参数是否相等，如果相等计算球顶音膜相对位置，如果不相等则旋转球顶，重新获取球顶图像，计算球顶位置角度参数，再次判断角度参数是否相等；

步骤6，移至装配位置，执行装配程序，最后移至安全位置。

作为一种实施方式，对基于双侧远心镜头的音膜相机和球顶相机建立相机模型，基于所建立的相机模型，从而得到世界坐标系和像素坐标系之间的转换关系；所建立的相机成像模型的目的是使相机可以进行拍照、图像识别和扫描等视觉检测领域的工作；相机模型的坐标系包括：世界坐标系(XwYwZw)、相机坐标系(XcYcZc)、图像坐标系(xy)和像素坐标系(uv)。

本发明所建立的相机模型包括：

1、建立无失真的相机模型；

2、将三维的世界坐标系(XwYwZw)转换到相机坐标系(XcYcZc)；

3、将相机坐标系(XcYcZc)转换到图像坐标系(xy)；

4、将图像坐标系(xy)转换到二维的像素坐标系(uv)；

5、用标记板对参数进行标定建立无失真相机模型；

6、根据考虑畸变的标准像素坐标计算公式建立有失真的相机模型。

优选的，世界坐标系转到相机坐标系是一个旋转+平移过程，转换矩阵表示如下：

优选的，相机坐标系转到图像坐标系是相机的成像过程，转换矩阵表示如下：

优选的，图像坐标系转到像素坐标系是一个单位的转换，转换矩阵表示如下：

优选的，将转换矩阵(4.1)、转换矩阵(4.2)、转换矩阵(4.3)乘在一起，得到世界坐标系和像素坐标系的转换关系：

相机的参数标定用到了标定板，本发明用的标定板为棋盘格标定板，每个格子尺寸为1mm，该标定方法只需拍一张棋盘格就能标定出相机的内外参数，根据公式(4.2)得到棋盘格标定板图像坐标系:

优选的，将公式(4.5)写成矩阵相乘的形式：

优选的，所述的公式(4.6)等式左边的内外参数组成的向量是要求解的，该向量由五个未知数组成，所以至少需要5个方程才能解得所有未知数；为了保证计算结果的精度，选取了棋盘格所有角点共88个，组成了下列方程：

优选的，上述方程左边的系数矩阵维度为88×5，方程组数量远大于5个，从而转变成超定方程的求解：

ML＝X (4.8)

超定方程的解满足普通方程：

M^TML＝M^TX (4.9)

将普通方程(4.9)转换如下,求得向量L：

L＝(M^TM)^-1M^TX (4.10)

通过计算得出的旋转、平移分量，结合公式(4.2)，计算出相机倍率m：

求解得到相机的内外参数。

作为优选的方案，建立有失真的相机模型，远心镜头主要有三种畸变类型，即径向，偏心和薄棱镜畸变。为了保证标定精度，建立考虑镜头畸变的有失真相机模型，其中k1是径向畸变系数，h1、h2是偏心畸变系数，s1、s2是薄棱镜畸变系数，x_u,y_u为前面的无失真相机模型计算的像素坐标，x_d,y_d为考虑畸变以后的标准像素坐标，下面是考虑畸变的标准像素坐标计算公式：

像素坐标转换成相机坐标时，像素坐标使用(x_d,y_d)。

有失真相机模型的非线性优化：

通过求解重投影误差的最小值，建立目标函数，迭代优化内外参和畸变系数，目标函数为：

式中p_i是由相机拍摄得到的图片的像素坐标，是由式(4.4)、(5.1)建立的无失真相机模型计算得到的像素坐标。上式通过Levenberg–Marquardt(LM)算法进行迭代优化。旋转、平移参数的初值为前面无失真相机模型求解得到的，镜头畸变参数的初值取0。

LM算法与高斯牛顿优化算法存在一些区别，高斯牛顿法的迭代公式为：

为目标函数对各变量的一阶导，H_f(x_n)^-1表示直接在梯度向量的导数。这两个量的乘积就是每次迭代的步长Δ，将其改写为矩阵相乘的形式：

Δ＝-(J_f ^T.J_f)^-1.J_f ^T.f (6.3)

式中g＝2J_f ^T.f为雅可比矩阵，H≈2J_fT ^.J_f为Hessian矩阵。

LM算法是在高斯牛顿法的基础上增加了一个可调的阻尼参数λ，迭代步长Δk为：

Δk＝-(J_f ^T.J_f+λ)^-1.J_f ^T.f (6.4)

LM方法中，取增量的规则如下：

λ的初值设为0.0001，若增量方程的解Δk使目标函数f减小，就接受这个λ，并在下一次迭代中使用λ/10替换λ。若λ值对应的增量方程的解Δk使f增大，就舍弃这个λ，并将其替换为10λ重解增量方程。循环往复直到f下降为止。

LM同时具有牛顿法和梯度法的优点。当λ很小时，步长等于牛顿法步长，当λ很大时，步长约等于梯度下降法的步长。

得到不同相机模型的标定结果：

得到不同失真相机模型的远心镜头的测量精度：

作为一种实施方式，机床-相机角度偏差的标定方法，包括以下步骤：安装自动装配***，自动装配***包括三轴运动***和平台，三轴运动***和平台构成机床，音膜相机安装于三轴运动***，选取平台上的固定标记点p，建立以固定标记点为原点的机床坐标系。

在该实施例步骤中，将固定标记点记为p1，控制三轴运动***移动，建立虚拟棋盘格，获得以固定标记点为原点的虚拟棋盘格的机床坐标；同时，音膜相机拍摄固定标记点，获得多张连续的图片。

在该实施例步骤2中，控制三轴运动***使相机在空间平面形成一个大小为4×3的虚拟棋盘格，方格大小为1mm，如图4所示，根据虚拟棋盘格的机床坐标，获得固定标记点的机床坐标；根据多张连续的图片，获得固定标记点的像素坐标。

在该实施例步骤中步骤3中，由于运动是相对的，标记点p1的机床坐标与虚拟棋盘格的机床坐标关于原点对称，从而得到标记点p1的机床坐标，三轴运动***每移动一步，相机跟踪拍摄一次标记点p1，需要保证标记点p1都在相机视野内，三轴运动***移动了12步，获得含有标记点p1的12张连续的图片。

在本实施例中，获得标记点p1的像素坐标的方法是：首先通过canny算子提取棋盘格图片的图像边缘，然后使用Hough算法提取图像边缘的直线，利用直线交点对全图角点检测结果进行过滤，最终达到自动可靠准确地提取出所有图像中棋盘格的角点坐标，从而得到标记点p1的像素坐标，如图5和图6所示。

通过音膜相机的内参矩阵将固定标记点的像素坐标转换到相机坐标系下，获得固定标记点的相机坐标。

在该实施例步骤中步骤4中，音膜相机内参矩阵的表达式为：

其中，m为音膜相机的倍率，u为音膜相机的物距，v为音膜相机的像距。

建立超定方程，将固定标记点的机床坐标和相机坐标带入超定方程，求解获得固定标记点所处的机床坐标系与相机坐标系的转换矩阵，具体的相机坐标与机床坐标之间存在旋转+平移的关系，转换矩阵如下：

将上式写成方程组形式：

X_c＝r₁₁X_t+r₁₂Y_t+t_x

Y_c＝r₂₁Y_t+r₂₂Y_t+t_y (7.2)

为了求旋转平移参数，需要将其单独表示成一个向量，因此式(7.2)又可以转化为如下表示方式：

式中，为固定标记点p1的相机坐标，为标记点的机床坐标，分别为旋转参数，X轴的平移参数，Y轴的平移参数。

上述实施例中，机床—相机角度偏差的标定是针对音膜相机移动、标记点固定的情形。作为另一个实施例，则针对的是球顶相机固定、标记点移动的情形。

作为一种实施方式，机床-相机角度偏差的标定方法，包括以下步骤：安装自动装配***，自动装配系包括三轴运动***和平台，三轴运动***和平台构成机床。

三轴运动***设有机械手，球顶相机设置于平台，选取位于机械手上的移动标记点；控制三轴***移动，建立虚拟棋盘格，获得虚拟棋盘格的机床坐标；根据虚拟棋盘格的机床坐标，获得移动标记点的机床坐标。

根据该实施例步骤1和步骤2，将移动标记点记为p2，移动标记点p2设置于机械手末端，三轴运动***移动在空间平面内移动构建虚拟棋盘格时，三轴运动***每移动一步，相机拍摄一次移动标记点p2，由于移动标记点p2跟随三轴运动***同时移动，因此虚拟棋盘格的机床坐标即为移动标记点p2的机床坐标。

球顶相机拍摄移动标记点，获得多张连续的图片，根据多张连续的图片，获得移动标记点的像素坐标。

根据该实施例步骤3，本实施例采用的获得移动标记点p2的像素坐标的方法是：通过canny算子提取棋盘格图片的图像边缘，然后使用Hough算法提取图像边缘的直线，利用直线交点对全图角点检测结果进行过滤，最终达到自动可靠准确地提取出所有图像中棋盘格的角点坐标，从而得到移动标记点p2的像素坐标，如图5和图6所示。

通过内参矩阵将移动标记点的像素坐标转换到相机坐标系下，获得移动标记点的相机坐标。

根据该实施例步骤4，内参矩阵的表达式为：

其中，m为相机的倍率，u为相机的物距，v为相机的像距。

建立超定方程，将移动标记点的机床坐标和相机坐标带入超定方程，求解获得移动标记点所处的机床坐标系与相机坐标系的转换矩阵。

根据该实施例步骤5，转换矩阵的表达式如下：

式中，(X_ci,Y_ci)为移动标记点的相机坐标，(X_ti,Y_ti)为移动标记点的机床坐标i＝1，2，3…n；t_x、t_y分别为平移参数和旋转参数。

获得的相机坐标与机床坐标之间存在旋转+平移的关系，转换矩阵如下：

将式(7.1)写成方程组形式：

X_c＝r₁₁X_t+r₁₂Y_t+t_x

Y_c＝r₂₁Y_t+r₂₂Y_t+t_y (7.2)

为了求旋转和平移参数，需要将方程式单独表示成一个向量，因此式(7.2)又可以转化为如下表示方式：

式中，(X_ci,Y_ci)为移动标记点的相机坐标，(X_ti,Y_ti)为移动标记点的机床坐标，i＝1，2，3…n；t_x、t_y分别为平移参数，r₁₁、r₁₂、r₂₁、r₂₂分别为旋转参数，等式(7.3)左边的系数矩阵维度为24×6。

相机-相机之间的装配存在误差，因此需要通过对相机-相机之间的相对位置标定，相机-相机之间的相对位置标定方法包括以下步骤：安装自动装配***，自动装配***包括三轴运动***和透明平台，三轴运动***和透明平台构成机床，标记两个相机分别为音膜相机和dome相机，film相机安装于三轴运动***，dome相机安装于透明平台，透明平台放置透明标记板；film相机向下拍摄标记板，dome相机向上拍摄标记板，获得film相机和dome相机拍摄的棋盘格图片，分别记为film棋盘格图片和dome棋盘格图片。

提取film棋盘格图片和dome棋盘格图片的棋盘格角点，获得film棋盘格角点和dome棋盘格角点的像素坐标，分别计算film相机、dome相机与机床的旋转矩阵，通过转换矩阵将各自棋盘格角点的像素坐标转换到机床坐标系下，获得film棋盘格和dome棋盘格角点的机床坐标。

选取film相机和dome相机机床坐标的多个对应角点，建立film相机坐标向量和dome相机坐标向量，获得film相机和dome相机之间的相对位置Δx,Δy。

在本实施例中，Δx,Δy的获得方法为：film相机坐标向量和dome相机坐标向量具有n个维度，两相机维度相同，求出film相机坐标向量和dome相机坐标向量的对应维度之差，对所有对应维度的差求和，最后求平均数，平均数即为Δx,Δy。

在本实施例中，film相机坐标向量和dome相机的维度为1*16，以求解Δx,Δy为例，通过sum函数对向量里的参数求和，然后除以角点数量，得到的Δx,Δy即为两个相机在x方向上的坐标差，Δx,Δy的求解方法同理。

作为另一种实施例，相机-相机之间的相对位置标定方法，包括以下步骤：安装自动装配***，自动装配***包括三轴运动***和透明平台，标记两个相机分别为film相机和dome相机，film相机安装于三轴运动***，dome相机安装于平台，透明平台放置透明带有标记物的图片；film相机向下拍摄标记板，dome相机向上拍摄标记板，获得film相机和dome相机拍摄的棋盘格图片，分别记为film棋盘格图片和dome棋盘格图片。

对film棋盘格图片和dome棋盘格图片进行图像预处理，获得预处理后的图片，提取预处理后的图片特征点像素坐标，对特征点像素坐标进行匹配，获得两幅图片之间的对应特征点像素坐标。

然后分别计算film相机、dome相机与机床的转换矩阵，通过转换矩阵将对应的特征点像素坐标转换到机床坐标系下，获得对应特征点的机床坐标，计算对应特征点在机床坐标系下的相对位置。

本实施例的图像处理，在对机床-相机、相机-相机之间的相对位置标定完成之后，对film相机和dome相机获取的音膜和球顶两张图像进行处理。

图像处理方法，包括以下步骤：步骤1获取图像，对图像灰度化处理，获得灰度化图像；步骤2对灰度化图像二值化处理，获得二值化处理后的图像；二值化的目的是为后面提取矩形框做准备；步骤3对二值化处理的图像进行开运算，获得开运算后的图像；与定义开运算的值随着二值化的阈值成负相关,目的是去除毛刺；步骤4对开运算后的图像进行Canny边缘检测，进行霍夫线变换，依次在图中绘出每条线段，获得霍夫线段图；步骤5通过minAreaRect函数求霍夫线段图的最小外包矩形，并在原图像中画出矩形框，获得图像矩形框。

使用OpenCV编写算法去掉二值化处理后的图像中黑色面积较小的连通域，这是因为二值化处理后的图像依然存在很多噪点在影响图像画质，如图7所示。

对彩色音膜图像进行灰度化处理，灰度化以后，将获取到的灰度图像进行二值化处理，二值化的目的是为后面提取矩形框做准备。如图8所示为二值化以后的图片，可以看到对于二值化的图像，还存在很多噪点，这里通过使OpenCV编写算法去掉黑色面积较小的连通域。

对图像进行开运算，定义开运算的值随着二值化的阈值成负相关，目的是去除毛刺，然后再对开运算后的图像进行Canny边缘检测，进行霍夫线变换，依次在图中绘出每条线段，如图9所示。

通过OpenCV提供的minAreaRect函数求霍夫线段图的最小外包矩形，并在原图像中画出矩形框，如图10和图11所示。

本实施例在验证音膜球顶装配精度的方法中，对机床-相机、相机-相机之间的位置进行标定之后，验证音膜-球顶的装配精度。

验证音膜-球顶装配精度方法，包括以下步骤：步骤1记录film相机和dome相机对拍时的机床坐标(x₀,y₀)；步骤2真空吸盘吸取球顶，控制三轴运动***移至音膜拍照位置，记录拍摄音膜时的机床坐标(x₁,y₁)；步骤3通过film相机获取音膜图像，对图像处理得到音膜矩形框的中心坐标(x_c1,y_c1)和偏角θ1；步骤4控制三轴运动***移至球顶拍照位置，记录拍摄球顶时的机床坐标(x₂,y₂)；步骤5通过dome相机获取球顶图像，对图像处理得到球顶矩形框的中心坐标(x_c2,y_c2)和偏角θ2；步骤6将音膜矩形框和球顶矩形框转换到机床坐标系下，计算两个矩形框的偏角θ，通过控制旋转角度直到与音膜球顶的矩形框角点相等，计算出球顶矩形框中心坐标(x_c2,y_c2)；步骤7计算球顶、音膜相对位置。

音膜的机床坐标(x′,y′)为：

x′＝x_c1+x₁

y′＝y_c1+y₁ (10.1)

球顶的机床坐标(x″,y″)为：

x″＝x_c2+Δx+x₀

y″＝y_c2+Δy+y₀ (10.2)

球顶音膜相对位置(dx,dy)为：

dx＝x′-x″＝x_c1+x₁-(x_c2+Δx+x₀)

dy＝y′-y″＝y_c1+y₁-(y_c2+Δy+y₀) (10.3)

步骤8将球顶，音膜移至装配位置进行装配，如图12所示，为音膜即球顶装配后的图片，可以看出，装配的效果十分准确。通过计算，音膜球顶装配偏差大概为3个像素，精度为0.03mm左右，实现了该***的装配精度要求。

本发明的优点是基于双侧远心镜头的图像处理拟合音膜-球顶矩形框，完善了***存在的误差，提高相机的图像处理能力，并且可以极大的降低***对于机械设备精度的要求，***的装配精度大幅度提高到0.03mm左右，从而实现了***的装配精度要求。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

本发明说明书中提到的所有专利和出版物都表示这些是本领域的公开技术，本发明可以使用。这里所引用的所有专利和出版物都被同样列在参考文献中，跟每一个出版物具体的单独被参考引用一样。这里所述的本发明可以在缺乏任何一种元素或多种元素，一种限制或多种限制的情况下实现，这里这种限制没有特别说明。例如这里每一个实例中术语“包含”，“实质由……组成”和“由……组成”可以用两者之一的其余2个术语代替。这里采用的术语和表达方式所为描述方式，而不受其限制，这里也没有任何意图来指明此书描述的这些术语和解释排除了任何等同的特征，但是可以知道，可以在本发明和权利要求的范围内做任何合适的改变或修改。可以理解，本发明所描述的实施例子都是一些优选的实施例子和特点，任何本领域的一般技术人员都可以根据本发明描述的精髓下做一些更改和变化，这些更改和变化也被认为属于本发明的范围和独立权利要求以及附属权利要求所限制的范围内。

Claims (8)

1.音膜球顶自动装配***，其特征在于，自动装配***包括机床、球顶相机和音膜相机，机床上设置音膜放置工位和球顶放置工位，机床具有能够获取球顶的机械手，机械手的抓取部为吸盘，机床驱动机械手沿X轴、Y轴和、或Z轴平移，机械手绕Z轴自转，球顶相机从下向上拍摄球顶和、或机械手，音膜相机从上向下拍摄机床台面和、或音膜；机械手和音膜相机相对固定并同步运动；自动装配执行以下工序:

机床带动机械手移动到球顶工装位抓取球顶；将音膜相机移动到音膜工位上方、对音膜拍照获得音膜图像，获得音膜图像中的音膜边框和音膜边框特征点的像素坐标；使机床驱动带有球顶的机械手移动并保持在球顶相机上方，球顶相机拍照获得球顶图像，获得球顶图像中的球顶边框和球顶边框特征点的像素坐标，球顶边框特征点与音膜边框特征点具有装配对应关系；

将音膜图像的音膜边框和球顶图像的球顶边框对中，判断音膜边框与球顶边框是否符合安装要求，若符合，则进行下一步操作，若不符合，则获得球顶与音膜顺利安装所需的转动角度，该转动角度为机械手绕Z轴的转动角度；

将音膜边框特征点的像素坐标转换为音膜相机在机床坐标系下的音膜坐标，转换关系为：W_film＝R_film^(-1)*A_film^(-1)*uv_film(旋转矩阵内参矩阵将球顶边框特征点的像素坐标转换为球顶相机在机床坐标系下的球顶坐标，转换关系为：W_dome＝R_dome^(-1)*A_dome^(-1)*uv_dome(旋转矩阵内参矩阵)；计算球顶相机和音膜相机在机床坐标系下的向量差Δx,Δy，向量差表示音膜相机和球顶相机之间的相对位置；

机床控制机械手按向量差移动Δx,Δy，使机械手沿Z轴平移、球顶与音膜接触，机械手释放球顶。

2.根据权利要求1所述的音膜球顶自动装配***，其特征在于：获得音膜图像中的音膜边框的方法包括：

步骤1，对音膜相机获取的图片和球顶相机获取的图片进行灰度化的图像处理；

步骤2，在音膜相机获取的图片和球顶相机获取的图片中，对矩形感兴趣区域进行提取，从而获取矩形感兴趣区域(ROI)；

步骤3，通过对音膜相机获取的图片和球顶相机获取的图片进行灰度化的图像处理以后，将获取到的灰度化图像进行二值化处理，为提取矩形框做准备；

步骤4，音膜相机的二值化图像和球顶相机的二值化图像，存在很多噪点，通过使用OpenCV编写算法去掉黑色面积较小的连通域，并对图像进行开运算，定义开运算的核心随着二值化的阈值成负相关，从而去除毛刺；

步骤5，对开运算后的图像进行Canny边缘检测，并进行霍夫线变换，依次在图中绘出每条线段；

步骤6，通过OpenCV提供的minAreaRect函数求霍夫线段图的最小外包矩形，并在音膜相机的原图像和球顶相机的原图像中绘出需要装配的零件矩形框。

3.根据权利要求1或2所述的音膜球顶自动装配***，其特征在于，获得机械手绕z轴的转动角度的方法包括，获得音膜边框的中心坐标，以及以中心坐标为原点、原点-音膜边框角点的连线与X轴或Y轴的音膜偏角θ1，记录拍摄音膜时的机床坐标(x₁，y₁)；获得球顶边框的中心坐标，以及以中心坐标为原点、原点-球顶边框角点的连线与X轴或Y轴的球顶偏角θ2，记录拍摄球顶时的机床坐标(x₂，y₂)；将球顶边框的特征点像素坐标转换到机床坐标系下，将音膜边框的特征点像素坐标转换到机床坐标系下，使音膜边框的中心与球顶边框的中心重合，计算音膜偏角和球顶偏角的差值，该差值为机械手绕Z轴的转动角度。

4.根据权利要求1所述的音膜球顶自动装配***，其特征在于，球顶音膜相对位置的计算方法为：

音膜的机床坐标(x′，y′)为：

x′＝x_c1+x₁

y′＝y_c1+y₁；

球顶的机床坐标(x″，y″)为：

x″＝x_c2+Δx+x₀

y″＝y_c2+Δy+y₀；

因此球顶音膜相对位置(dx，dy)为：

dx＝x′-x″＝x_c1+x₁-(x_c2+Δx+x₀)；

dy＝y′-y″＝y_c1+y₁-(y_c2+Δy+y₀)。

5.根据权利要求1所述的音膜球顶自动装配***，其特征在于，机床包括基座四轴精密移动装配平台、机械手、音膜图像采集组件和球顶图像采集组件、以及音膜工装模块和球顶工装模块；四轴精密移动装配平台，音膜图像采集组件和球顶图像采集组件，音膜工装模块和球顶工装模块设置于基座。

6.根据权利要求5所述的音膜球顶自动装配***，其特征在于，四轴精密移动装配平台包含X轴导轨，Y轴导轨和Z轴导轨；X轴导轨固定于基座，Y轴导轨可移动的安装于X导轨，Z轴导轨可移动的安装于Y轴导轨；Z轴导轨有滑块，滑块上安装有机械手和音膜相机。

7.根据权利要求6所述的音膜球顶自动装配***，其特征在于，音膜相机配套有音膜光源，和、或球顶相机配套有球顶光源。

8.根据权利要求6所述的音膜球顶自动装配***，其特征在于，机械手包括基架，真空吸盘和转轴，真空吸盘设置于转轴一端且与转轴同轴，基架与音膜相机相对固定，转轴设置于基架，转轴与旋转驱动件相连。