CN100547351C - 一种机器视觉定位方法 - Google Patents

Abstract

本发明公开了一种机器视觉定位方法，采用两个普通摄像头共同完成检测任务，包括用于摄取目标物体的全局图像的远距离摄像头和用于摄取感兴趣部位的近距离图像的近距离摄像头。先对远距离摄像头标定，并确定近距离摄像头成像平面上的像素距离与实际物理距离之间的比例关系；利用远距离摄像头拍摄目标物体图像，并确定感兴趣部位中心的图像坐标和实际坐标；利用机械手移动近距离摄像头到感兴趣部位中心位置，获取图像并确定其图像坐标和实际坐标，得到该部位的实际精确位置、形状、大小等信息。本发明利用两个普通摄像头高精度地获得目标物体局部感兴趣部位的细节信息，以很低的成本来实现机器视觉工业应用的高精度要求。

Description

一种机器视觉定位方法

技术领域

本发明属于机器视觉在工业上的应用领域，具体涉及一种机器视觉定位方法，该方法利用两个普通摄像头高精度地获得较大场景内的目标物体局部感兴趣部位的细节信息，如线段精确长度、焊点具***置等。

背景技术

在现代工业自动化生产中，越来越多地应用到机器视觉技术，涉及到各种各样的检查、测量和加工，例如激光雕刻、印刷电路板管脚焊接、激光打孔、商标裁剪等。这类应用的共同点是需要连续大批量生产，对产品的质量有很高的要求。这种工作带有高度的重复性，通常由人工检测来完成。

如果单纯地靠增加检测工人数目来完成这道工序，势必会给工厂增加巨大的人工成本和管理成本，并且，由于人眼长时间做同一件事情会出现疲劳，增加检错的概率，故而仍然不能保证100％的检测合格率。因此，把机器视觉技术引入到工业生产中存在巨大的价值。

目前，针对平面物体的测量或者检测的研究基本都采用一个摄像头，如中国专利文献基于单幅图像的平面测量方法(其公开号为CN1427245，公开日为2003.07.02)和基于平行线的单视平面测量方法(其公开号为CN1427246，公开日为2003.07.02)，但由于摄像头需要检测一个较大的区域，当同时需要对整个区域的某些局部感兴趣部位进行精确观察并实时对这些部分进行必要处理时，比如对电路板焊点进行较细致的检测并焊接时，那么就需要一个高质量的摄像头，否则就无法对局部感兴趣部位进行精确分析，这样必然会使设备成本偏高。

现有的工业界的机器视觉应用，要么检测精度不够高，要么为了达到高精度而增加设备的成本。目前，工业界主要采用一个高质量的摄像头来对流水线上的产品进行检测，这样整套设备就较昂贵。本发明可以在保证同等高精度的同时，降低摄像头部分的设备成本，尤其适用于需要使用机械手在被测目标平面上运动的应用***，如激光雕刻、激光切割、机械焊接等***。

发明内容

本发明的目的在于提供一种机器视觉定位方法，该方法可以以低廉的设备成本，来获取目标物体局部感兴趣位置的高精度信息。

本发明提供的机器视觉定位方法，采用两个普通摄像头共同完成检测任务，其中，一个为位置固定的摄像头，离被测目标平面距离较远，用于摄取目标物体的全局图像，称为远距离摄像头；另一个固定在机械手上，离被测目标平面距离较近，可以在被测目标平面上运动，用于摄取目标物体感兴趣部位的近距离图像，称为近距离摄像头。其步骤包括：

(1)对远距离摄像头进行标定，确定其成像平面与被测目标平面之间的对应坐标转换关系，并确定近距离摄像头成像平面上的像素距离与实际物理距离之间的比例关系；

(2)将待检测的目标物体放置在被测目标平面上，用远距离摄像头拍摄一张包含该目标物体的全局图像；

(3)在所拍摄的全局图像上确定目标物体上的感兴趣部位，并记下感兴趣部位中心的图像坐标(u_i1，v_i1)，i＝1，...，m，共m个感兴趣部位，其中，m≥1；

(4)根据步骤(1)得到的远距离摄像头成像平面与被测目标平面之间的对应坐标转换关系，将步骤(3)记下的感兴趣部位中心的图像坐标转换为实际坐标(x_i1，y_i1)，i＝1，...，m；

(5)利用机械手移动近距离摄像头到感兴趣部位中心的实际坐标处，感兴趣部位的中心位置与近距离摄像头成像平面中心相重合，拍摄该部位的近距离图像；

(6)在上述感兴趣部位的近距离图像中确定感兴趣部位的图像坐标，利用步骤(1)得到的近距离摄像头成像平面上的像素距离与实际物理距离之间的比例关系，将上述感兴趣部位的近距离图像的图像坐标转化为实际坐标，得到该感兴趣部位的实际信息。

本发明利用多项式标定方法对远距离摄像头进行标定，消除了摄像头的径向畸变、切向畸变等畸变影响，能够比较准确地确定成像平面与被测目标平面之间的对应坐标转换关系；然后利用机械手移动近距离摄像头到感兴趣部位中心进一步精确确定目标物体的感兴趣部位的细节信息，可以根据实际应用需要对获得的细节信息作进一步处理。由于普通摄像头价格低廉，使用两个摄像头，与使用一个摄像头相比，成本相似，检测的精度却大大提高；并且，与使用高精度昂贵的单摄像头机器视觉***相比，成本要低很多。

附图说明

图1为本发明机器视觉定位方法的流程图；

图2为本发明远距离摄像头所使用的平面标定板图像；

图3为本发明近距离摄像头所使用的模板图像；

图4为本发明实施例标定板图像特征提取结果图。

具体实施方式

本发明的基本原理为：利用两个摄像头，其中，远距离摄像头针对目标物体整体进行处理，拍摄目标物体的全局图像，在拍摄的全局图像上检测出感兴趣的部位(随应用场合需要而定)；然后控制机械手移动近距离摄像头到这些感兴趣部位，拍摄高精度的图像做进一步细致的检测分析。

下面结合附图和实例对本发明的技术方案作进一步的详细说明。

如图1所示，本发明机器视觉定位方法包括以下步骤：

(1)对远距离摄像头进行标定，确定其成像平面与被测目标平面之间的对应坐标转换关系；并确定近距离摄像头成像平面上的像素距离与实际物理距离之间的比例关系；

(A)对远距离摄像头进行标定的过程为：

(A1)获取标定板图像：将制作好的标定板图像放置在被测目标物体所在平面中，尽量让标定板充满整个远距离摄像头取景区域，利用远距离摄像头拍摄一张标定板图像；标定板可以采用类似于国际象棋棋盘的图像、圆阵列等特征明显并已知实际尺寸的图像；

(A2)提取标定板图像中的特征点(如角点或圆心)，并确定所有提取出来的特征点的图像坐标；

有些类型的标定板，其获取的标定板图像中可能存在一些杂点或者含有一些背景导致提取的角点有偏移或者非标定板的角点，所以并不是所有的特征点都是有用的，应该剔除无用的特征点。如国际象棋棋盘的图像就应先剔除无用的特征点，而圆阵列则不需要。

(A3)根据标定板的图像，确定步骤(A2)中提取的特征点的对应实际坐标；

(A4)利用多项式标定方法和上述特征点的图像坐标和实际坐标，确定成像平面与被测平面之间的对应坐标转换关系。记特征点的图像坐标为(u_i，v_i)，实际坐标为(x_i，y_i)，i＝1，2，...，m。多项式标定方法的公式为：

x_i＝a₁u_i ^k+a₂v_i ^k+a₃u_i ^k-1v_i+a₄u_iv_i ^k-1+a₅u_i ^k-1+...+a_(4*k-4)u_i+a_(4*k-3)v_i+a_(4*k-2)

y_i＝b₁u_i ^k+b₂v_i ^k+b₃u_i ^k-1v_i+b₄u_iv_i ^k-1+b₅u_i ^k-1+...+b_(4*k-4)u_i+b_(4*k-3)v_i+b_(4*k-2)

其中，a₁，a₂，...，a_(4*k-2)和b₁，b₂，...，b_(4*k-2)为待定参数，利用最小二乘法即可求出待定参数。

(B)按照下述步骤确定近距离摄像头成像平面上的像素距离与实际物理距离之间的比例关系：

(B1)在被测目标平面上放置含有一段或者几段已知长度的线段的模板；

(B2)拍摄一张或者摆放位置不同的几张含有上述模板的图像；

(B3)提取模板图像上已知长度的线段，记录该线段两端点之间的像素长度，即组成这条线段的像素的个数；

(B4)计算像素距离与实际物理距离之间的比例关系。

(2)将待检测的目标物体放置在被测目标平面上，用远距离摄像头拍摄一张包含该目标物体的全局图像；

(3)在所拍摄的全局图像上确定目标物体上的感兴趣部位，并记下感兴趣部位中心的图像坐标(u_i1，v_i1)，i＝1，...，m，共m个感兴趣部位，其中，m≥1；

(4)根据步骤(1)得到的远距离摄像头其成像平面与被测目标平面之间的对应坐标转换关系，将步骤(3)记下的感兴趣部位中心的图像坐标转换为实际坐标(x_i1，y_i1)，其中，i＝1，...，m；

(5)利用机械手移动近距离摄像头到感兴趣部位中心的实际坐标处，感兴趣部位的中心位置与近距离摄像头成像平面中心相重合，拍摄该部位的近距离图像；因为这个摄像头离被测目标平面很近，取景范围小，成像清晰，因此可以得到该感兴趣部位的精密的细节信息；

(6)在上述感兴趣部位的近距离图像中确定感兴趣部位的图像坐标，根据其图像坐标与近距离摄像头成像平面中心的相对位置关系，并利用步骤(1)得到的近距离摄像头成像平面上的像素距离与实际物理距离之间的比例关系，将上述感兴趣部位的近距离图像的图像坐标转化为实际坐标，得到该感兴趣部位的实际信息，包括位置、大小、形状等信息。再对照实际标准确定该部位是否存在破损、断裂等异常情况，如若存在，可根据需要对之做进一步处理。

电路板焊点检测实例：

(1)对远距离摄像头进行标定，确定其成像平面与被测目标平面之间的对应坐标转换关系，并确定近距离摄像头成像平面上的像素距离与实际物理距离之间的比例关系。具体步骤说明如下：

(A)对远距离摄像头进行标定的过程为：

(A1)获取标定板图像：以如图2所示的国际象棋棋盘图像作为标定板，将标定板图像放置在目标物体所在平面中，尽量让标定板充满整个远距离摄像头取景区域，用远距离摄像头拍摄一张标定板图像，标定板的每个格子的边长的物理长度已知；

(A2)提取标定板图像的特征，确定特征点的图像坐标：因为本发明中采用的是国际象棋棋盘图像，所以可以提取角点作为标定板的特征点。提取角点的方法有SUSAN、Harris等，在这里采用Harris角点提取算法，结果见图4，图中白色十字中心即为角点；

(A3)确定(A2)中所提取出来的特征点的实际坐标；

根据选定的标定板图像，其获取的图像可能存在一些杂点或者含有一些背景导致提取的角点有偏移或者非标定板的角点，因此并不是所有的特征点都是有用的，需要根据剔出无用的特征点并确定有效的特征点的实际坐标，步骤如下：

(a)在标定板图像上选取一个坐标系，确定坐标原点O和X、Y轴方向及标定板的有效区域；

(b)对有效区域进行分割、提取边缘，并提取出标定板上相互垂直的直线：可以采用最大熵法、OTSU算法等方法对有效区域进行二值分割，在本发明中，采用OTSU算法。分割之后，提取图像的轮廓，然后利用Hough变换算法提取各条直线；

(c)对直线进行排序，求出各条相互垂直的直线的交点：首先将所有直线分为两类，这两类直线之间相互垂直，同一类直线之间相互平行；然后，根据坐标原点到直线的距离对同一类的直线顺序进行判断；最后，求出各条相互垂直的直线的交点的实际坐标；

(d)用求出来的交点与(A2)求出的角点进行比较，进而确定各个有效角点的实际坐标信息：这里采用最近邻方法。比如，两条相交直线的交点的实际坐标是(20，30)(mm)，其图像坐标是(151，124)，如果有角点的坐标与此交点的图像坐标的欧式距离小于3，且图像坐标两分量之间的距离差的绝对值小于2，那么就认定这个角点是有效的特征点，其实际坐标就是(20，30)(mm)；

(A4)在本发明中，采用3次多项式标定方法确定成像平面与被测目标平面之间的坐标转换关系：记每个特征点的图像坐标为(u_i，v_i)，实际坐标为(x_i，y_i)，i＝1，2，...(因为3次多项式标定方法含有20个待定参数，因而需要至少20个方程才能求出，所以必须有：i＞＝10)，那么存在下列关系：

x_i＝a₁u_i ³+a₂v_i ³+a₃v_i ²v_i+a₄u_iv_i ²+a₅u_i ²+a₆v_i ²+a₇u_iv_i+a₈u_i+a₉v_i+a₁₀

y_i＝b₁u_i ³+b₂v_i ³+b₃u_i ²v_i+b₄u_iv_i ²+b₅u_i ²+b₆v_i ²+b₇u_iv_i+b₈u_i+b₉v_i+b₁₀

其中，a₁，a₂，...，a₁₀和b₁，b₂，...，b₁₀为待定参数。

利用最小二乘法求出参数a_j，b_j，j＝1，...，10。

(B)按照下述步骤确定近距离摄像头成像平面上的像素距离与实际距离之间的比例关系：

(B1)在被测目标平面上放置如图3所示的模板图像；其中，a，b两点之间的物理距离已知；

(B2)用近距离摄像头拍摄一张或者几张(摆放位置可以不同)上述模板图像；

(B3)提取模板上已知长度的线段，记录线段的像素长度：利用自动或者人机交互的方法得到a，b两点的图像坐标，得到像素长度D。线段跨度越大，计算的结果越准确；

(B4)计算像素距离与实际物理距离之间的比例关系：对提取出来的n条线段，分别求出像素距离与实际物理距离之间的比例关系，然后对求出的n个结果求取平均值作为最后的结果。

(2)将电路板放置在被测目标平面上，用远距离摄像头拍摄一张包含电路板的全局图像；

(3)运用人工交互或者某些图像处理方法，比如阈值分割、特征提取、模板匹配等一系列的方法，找出电路板上的所有焊点在全局图像上的大致的图像坐标(u_i1，v_i1)，i＝1，...，m，其中，m＞＝1，记录下来；

(4)根据步骤(1)得到的远距离摄像头其成像平面与被测目标平面之间的对应坐标转换关系，将步骤(3)标记的所有焊点的图像坐标利用下面的公式转换为各个焊点的实际坐标(x_i1，y_i1)；

x_i1＝a₁u_i1 ³+a₂v_i1 ³+a₃u_i1 ²v_i1+a₄u_i1v_i1 ²+a₅u_i1 ²+a₆v_i1 ²+a₇u_i1v_i1+a₈u_i1+a₉v_i1+a₁₀

y_i1＝b₁u_i1 ³+b₂v_i1 ³+b₃u_i1 ²v_i1+b₄u_i1v_i1 ²+b₅u_i1 ²+b₆v_i1 ²+b₇u_i1v_i1+b₈u_i1+b₉v_i1+b₁₀

其中，a₁，a₂，...，a₁₀和b₁，b₂，...，b₁₀在步骤(1)中已经求得。

(5)根据各焊点的实际坐标，利用机械手移动近距离摄像头到焊点的实际位置(x_i1，y_i1)，该位置处于近距离摄像头成像平面中心，即中心的图像坐标为(u₂，v₂)，实际坐标为(x_i1，y_i1)，拍摄该焊点的近距离图像；

(6)在上述焊点的近距离图像中确定焊点的图像坐标(u_i2，v_i2)，得到其图像坐标与近距离摄像头成像平面中心的相对位置关系(u_i2-u₂，v_i2-v₂)，并根据步骤(1)得到的近距离摄像头成像平面上的像素距离与实际物理距离之间的比例关系，将上述相对位置关系转化为实际坐标中的相对关系(x_i2′，y_i2′)，然后，再根据近距离摄像头成像平面中心的实际坐标(x_i1，y_i1)，得到该焊点的实际精确坐标(x_i2，y_i2)为(x_i1+x_i2′，y_i1+y_i2′)，即可控制激光焊接器移动到焊点的实际位置进行焊接。

Claims (3)

1、一种机器视觉定位方法，该方法采用两个普通摄像头共同完成检测任务，其中，一个为位置固定的摄像头，离被测目标平面距离较远，用于摄取目标物体的全局图像，称为远距离摄像头；另一个固定在机械手上，离被测目标平面距离较近，可以在被测目标平面上运动，用于摄取感兴趣部位的近距离图像，称为近距离摄像头；其步骤包括：

(1)对远距离摄像头进行标定，确定其成像平面与被测目标平面之间的对应坐标转换关系，并确定近距离摄像头成像平面上的像素距离与实际物理距离之间的比例关系；

(2)将待检测的目标物体放置在被测目标平面上，用远距离摄像头拍摄一张包含这个目标物体的全局图像；

(3)在所拍摄的全局图像上确定目标物体上的感兴趣部位，并记下感兴趣部位中心的图像坐标(u_i1，v_i1)，i＝1，...，m，共m个感兴趣部位，其中，m≥1；

(4)根据步骤(1)得到的远距离摄像头其成像平面与被测目标平面之间的对应坐标转换关系，将步骤(3)记下的感兴趣部位中心的图像坐标转换为实际坐标(x_i1，y_i1)，i＝1，...，m；

(5)利用机械手移动近距离摄像头到感兴趣部位中心的实际坐标处，其中，感兴趣部位的中心位置与近距离摄像头成像平面中心相吻合，拍摄该部位的近距离图像；

(6)在上述感兴趣部位的近距离图像中确定感兴趣部位的图像坐标，根据此图像坐标与近距离摄像头成像平面中心的位置关系，利用步骤(1)得到的近距离摄像头成像平面上的像素距离与实际物理距离之间的比例关系，将上述感兴趣部位的近距离图像的图像坐标转化为实际坐标，得到该感兴趣部位的实际信息。

2、根据权利要求1所述的机器视觉定位方法，其特征在于：步骤(1)中按照下述步骤对远距离摄像头进行标定；

(A1)将标定板图像放置在目标物体所在平面中，利用远距离摄像头拍摄一张标定板图像；

(A2)提取标定板图像的特征点，并确定所有提取出来的特征点的图像坐标；

(A3)根据标定板的图像，确定步骤(A2)中提取的特征点的实际坐标；

(A4)利用下述公式和上述特征点的图像坐标和实际坐标，确定成像平面与被测目标平面之间的对应坐标转换关系，记特征点的图像坐标为(u_i，v_i)，实际坐标为(x_i，y_i)，i＝1，2，...，m；

x_i＝a₁u_i ^k+a₂v_i ^k+a₃u_i ^k-1v_i+a₄u_iv_i ^k-1+a₅u_i ^k-1+...+a_(4*k-4)u_i+a_(4*k-3)v_i+a_(4*k-2)

y_i＝b₁u_i ^k+b₂v_i ^k+b₃u_i ^k-1v_i+b₄u_iv_i ^k-1+b₅u_i ^k-1+...+b_(4*k-4)u_i+b_(4*k-3)v_i+b_(4*k-2)

其中，a₁，a₂，...，a_(4*k-2)和b₁，b₂，...，b_(4*k-2)为待定参数，利用最小二乘法求出待定参数，k＝3。

3、根据权利要求1或2所述的机器视觉定位方法，其特征在于：上述步骤(1)按照下述过程确定近距离摄像头成像平面上的像素距离与实际物理距离之间的比例关系：

(B1)在被测目标平面上放置含有一段或者几段已知长度的线段的模板；

(B2)拍摄一张或者摆放的位置不同的几张含有上述模板的图像；

(B3)提取模板图像上已知长度的线段，记录该线段两端点之间的像素长度，即组成这条线段的像素的个数；

(B4)计算像素距离与实际物理距离之间的比例关系。

Images