CN110260818B

CN110260818B - 一种基于双目视觉的电子连接器鲁棒检测方法

Info

Publication number: CN110260818B
Application number: CN201910586895.4A
Authority: CN
Inventors: 洪伟; 汪明昕; 高晗
Original assignee: Jilin University
Current assignee: Jilin University
Priority date: 2019-07-02
Filing date: 2019-07-02
Publication date: 2021-01-22
Anticipated expiration: 2039-07-02
Also published as: CN110260818A

Abstract

本发明公开了一种基于双目视觉的电子连接器鲁棒检测方法，属于电子连接器生产线的质量检测技术领域。目前存在两种检测方法，接触式检测和基于线阵激光的非接触式检测。前者会对被测连接器造成不可恢复性的损伤，后者成本高，对夹具的依赖性较大。针对上述不足，本发明通过搭建双目视觉检测***，对连接器进行非接触式检测，在保证测量精度不低于激光检测的前提下，既能避免损伤连接器，又能降低***对夹具的依赖，和降低检测***成本。该***可以自动检测连接器的针尖排列位置和针尖高度，并通过与标准件的参数对比，给出测量误差。依据误差判定标准，进而判断连接器是否为合格产品。

Description

一种基于双目视觉的电子连接器鲁棒检测方法

技术领域

本发明属于一种电子连接器生产线的视觉检测***，通过搭建双目视觉检测***对生产线上的连接器针尖的排列和针尖的高度进行质量检测。

背景技术

随着我国经济水平与自动化水平的不断提高，汽车的生产数量也在不断增加。而在车辆生产的过程中，作为汽车必备配件的电子连接器的数量也在大幅增长。在生产电子连接器的过程中，连接器的质量直接影响着汽车的安全性与稳定性，故此提高连接器的检测质量在工业生产当中将起到举足轻重的作用。

目前在生产线当中应用的连接器针尖测量方法有以下两类，一类是传统的接触式方法，该方法采用机械接触的方法，使用有对应针孔的特定模具工件与连接器进行对接，通过对每根针尖是否导通来判断该连接器是否符合生产标准，其操作效率低下、稳定性不高，并且由于采用模具与针尖相接触，很可能导致连接器不可恢复的损坏。另一类是使用基于运动平台的线阵激光传感器来进行针尖的三维数据测量，测量的方法精度可达0.5mm。但在实际生产当中激光传感器测距的方法需要手动将连接器件放入夹具中，长期使用时，夹具与连接器的缝隙变大，会直接影响测量精度。另外，由于连接器边缘的遮挡，往往需要两个激光线阵传感器来分别完成上、下两侧的针尖的检测，***成本居高不下。

发明内容

本发明提供了一种基于双目视觉的电子连接器鲁棒检测方法，包含以下步骤：

步骤一：搭建双目视觉检测***，采用两个工业相机作为图像采集模块，搭配可控的漫反射光源对待测连接器进行补光；调整好摄像头焦距，使待测连接器在工业相机视野中可以清晰、完整地成像；将图像实时传送至工控机进行图像处理；

步骤二：通过标定板对两台固定好的工业相机进行标定，获得工业相机的内外参数，然后在工控机上对两台相机进行校正，消除镜头产生的畸变；

步骤三：使用工业相机采集待测连接器的左右两幅原始灰度图像；

步骤四：压缩灰度图像，然后将压缩后的图像二值化，求取其中所有白色区域的轮廓，最后利用启发式模式识别方法快速定位连接器的ROI区域；

步骤五：在原始灰度图像中对ROI区域进行二值化、滤波、求取轮廓等图像处理操作，利用启发式模式识别方法确定针尖轮廓；

步骤六：针对标准连接器和待测连接器，分别采用不同的方法对左右图像的针尖进行匹配；

对于标准连接器的检测，因为针尖都完整无损，因此可以在左右图像中对针尖分别排序，然后利用序号相等的原则进行左右图像针尖的匹配；

对于待测连接器的检测，由于针尖可能存在缺损，提出了一种模糊位置匹配算法，将待测连接器的左右图像与标准连接器的左右图像进行匹配，求得针尖序号，然后利用序号相等的原则进行左右图像针尖的匹配；

步骤七：利用双目视觉成像原理对匹配成功的针尖计算三维坐标并校正；

步骤八：待测连接器与对应的标准连接器的参数进行对比求误差，根据设定的误差精度判断待测连接器的质量是否合格。

所述步骤四中压缩灰度图像是分别在左右图像中利用基于双线性内插法的降采样方法压缩图像，并将压缩图像二值化，然后利用Sobel边缘检测算子在二值图像中求取白色区域的轮廓，最后利用启发式模式识别方法快速定位连接器的ROI区域；

所述启发式模式识别方法包括轮廓个体约束和轮廓个体关系约束，在连接器的整体区域ROI的识别问题中，只涉及到轮廓个体约束；根据产品的设计参数，利用基于轮廓的周长C_contours和面积S_contours的启发式模式识别方法定位ROI区域；

令

为轮廓contours{(x,y)}的个体约束可信度，用于描述基于个体约束条件下，轮廓是真实的连接器的可能性，P_C ^C(contours)、P_S ^C(contours)分别为则周长、面积约束下的可信度，则:

其中，

分别为周长、面积约束下的可信度的权重，满足：

周长和面积的约束直接采用区域约束条件，设

为检测阈值，

和

为允许的误差范围大小，则：

当

时，该轮廓即为连接器的轮廓，其外接最小矩形为ROI区域；

为连接器轮廓的可信度阈值。

所述步骤五中利用启发式模式识别方法确定针尖轮廓，根据产品的设计参数，提出了针尖轮廓个体约束和针尖轮廓个体关系约束信息作为针尖模式识别的启发式信息；

在针尖轮廓个体约束中，首先包括针尖轮廓的周长

和面积

其次，由于针尖为同一种材料制成，针尖轮廓内的像素点的灰度值的一致性也是一种个体约束；设轮廓的质心坐标为

轮廓contours{(x,y)}的平均灰度值为f(contours)，为了减少光照条件的影响，仅判断与轮廓质心一定范围内即小于T_din的像素点的灰度值一致性，公式如下：

令

当

时，该轮廓可能为针尖的轮廓，

为针尖轮廓的可信度阈值；

在针尖轮廓个体关系约束中，针尖往往是呈有规则的行列排列方式，根据产品设计参数，已知行数、行宽和列数、列宽，有效地利用这些针尖轮廓个体关系约束信息可以有效地提高识别准确率；

另外，采用了基于矩不变原理的轮廓质心求解方法，设轮廓contours{(x,y)}的最小外接矩形大小为M×N，则其二维(p+q)阶距为m_pq表示为：

轮廓的质心

用下式求解：

所述步骤六中所述的一种模糊位置匹配算法提出了一个隶属度函数的概念，用于描述图像中的ROI区域与针尖轮廓的相互位置关系，设ROI区域的左上角坐标为(x_min,y_min)，右下角坐标为(x_max,y_max)，contours_i{(x,y)}为它里面的一个针尖轮廓，其质心坐标为

设该针尖轮廓在x、y方向的隶属度分别为A_xi和A_yi，则有：

然后分别计算标准连接器和待测连接器中每个针尖轮廓的隶属度值，设标准连接器中的第i个针尖轮廓的隶属度值为A_sxi和A_syi，待测连接器中的第j个针尖轮廓的隶属度值为A_txi和A_tyi；

若满足下式，则认为待测连接器中的第j个针尖轮廓与标准连接器中的第i个针尖轮廓相匹配；

其中T_E是给定的允许误差阈值。

所述步骤七中在利用双目视觉成像原理对匹配成功的针尖计算三维坐标后，为了降低测量***对夹具的依赖性，采取了两方面的校正方法：

首先，采用第一个针尖作为基准，用每个针尖与它的三维相对位置作为结果测量值，然后利用霍夫变换求取连接器的倾斜角度

采用空间旋转方法对它进行倾斜矫正，设X′、Y′为检测到的针尖坐标，X、Y为倾斜校正后的针尖坐标，则：

有益效果：本发明通过搭建双目视觉检测***，对电子连接器进行非接触式检测，在保证测量精度不低于激光检测的前提下，既能避免损伤连接器，又能降低***对夹具的依赖性，同时大大降低了检测***的成本。

附图说明

图1为本发明方法的***结构图；

图2为本发明方法的技术路线图；

图3为检测***的机械设计图；

图4为采集到的标定板图片，其中(a)为左工业相机采集到的图像，(b)为右工业相机采集到的图像；

图5为双目视觉成像原理图；

图6为利用双线性内插值法进行降采样时，降采样区域与采样点的位置关系；

图7为基于启发式模式识别方法快速定位的左图连接器ROI区域；

图8为原始针尖轮廓信息；

图9为基于启发式模式识别方法获取的针尖轮廓；

图10为通过模糊位置匹配算法获取的待测连接器的针尖序号；

图11为检测的用于倾斜校正的连接器边缘直线。

具体实施方式

下面结合附图及具体实施方法对本发明做进一步的说明，并不是对本发明保护范围的限制。

本发明涉及一种基于双目视觉的电子连接器鲁棒检测***，检测***的结构如图1所示，检测***的技术路线如图2所示，检测***的机械设计图如图3所示，完整的检测方法可由以下步骤进行说明：

上述的双目视觉检测***包括：

1)检测平台，其有效检测范围为150mm*100mm的矩形区域；

2)可控漫反射光源，海康补光器MV-LRSS-166；

3)两台1500万CMOS工业相机，型号为Basler公司的Ac4600-7gc，其分辨率为4608*3288，用于拍摄连接器的左右二维图像；

4)两个6mm焦距的镜头，型号为Basler公司的basler C125-0618-5M；

5)一台工控机，型号为Kondoct KIS-620，CPU选用Intel(R)Core(TM)i7-3770。

步骤二：通过标定板对两台固定好的工业相机进行标定，获得工业相机的内外参数，然后在工控机上对两台相机进行校正，消除镜头产生的畸变。具体过程如下：

1)左右相机同时采集充足数量的图像，采集期间要求不断改变标定板的三维位姿，如图4(a)和4(b)所示；

2)针对每一对左右图像，检测并计算其中的棋盘角点；

3)根据相机成像模型，将这些角点坐标带入并计算出左右工业相机的内外参数；

4)根据双目视觉成像原理对左右相机进行双目标定，最终得到左右相机位置关系，主要内外参数如表1所示。

表1标定得到的相机内外参数

所述步骤二和步骤七中用到的双目视觉成像原理的数学公式，包括：

1)图像物理坐标系与图像像素坐标系之间的关系：

2)图像物理坐标系与摄像机坐标系之间的关系：

3)摄像机坐标系与世界坐标系之间的关系：

4)公式1)、2)和3)联立，根据左右工业相机的位置关系及双目成像原理，可得根据图像像素坐标求解世界坐标系中的三维坐标的关系式，其中双目视觉成像原理图如图5所示：

其中u、v为图像像素坐标系下的坐标，x、y为图像物理坐标系下的坐标，u₀、v₀为图像的主点坐标，d_x、d_y为感光芯片一个像素的实际长度，f为工业相机焦距，X_c、Y_c、W_c为摄像机坐标系下的坐标，R为标定得到的旋转矩阵，T为标定得到的平移矩阵，X_w、Y_w、Z_w为实际世界坐标系下的坐标，u_l、v_l为左图像中图像像素坐标系下的坐标，u_r为右图像中图像像素坐标系下的坐标，D为双目标定时得到的两工业相机之间的距离。

步骤三：使用工业相机采集待测连接器的左右两幅原始灰度图像。

步骤四：压缩灰度图像，然后将压缩后的图像二值化，求取其中所有白色区域的轮廓。最后利用启发式模式识别方法快速定位连接器的ROI区域。

一、分别在左右图像中利用基于双线性内插法的降采样方法压缩图像。具体过程如下：

1)确定压缩因子：

设原图分辨率为W_s×H_s，压缩后得到的图像为W_d×H_d，则x方向上的压缩因子K_x＝W_s/W_d，y方向上的压缩因子K_y＝H_s/H_d。

2)计算压缩降采样区域：

设压缩图像的像素点为(x′,y′)，令：

其中，[]为截断取整运算。同理，

由(x,y)、(x,y+1)、(x+1,y)和(x+1,y+1)四个像素点构成了降采样区域，如图6所示。

3)插值求解压缩图像：

先在x方向做线性内插，公式如下：

然后在y方向做线性内插，公式如下：

f(x+r_x,y+r_y)＝(1-r_y)f(x+r_x,y)+r_yf(x+r_x,y+1)

f(x+r_x,y+r_y)即为压缩图像的像素点(x′,y′)的灰度值，经推导，最终的求解公式为：

f(x′,y′)＝(1-r_x)(1-r_y)f(x,y)+r_x(1-r_y)f(x+1,y)

+(1-r_x)r_yf(x,y+1)+r_xr_yf(x+1,y+1)

二、将压缩后的图像二值化。

三、利用Sobel边缘检测算子在二值图像中求取白色区域的轮廓。所述步骤四和步骤五中用到的Sobel边缘检测方法如下：

设二值图像中的像素点(x,y)的灰度值为f(x,y)，x、y方向上的梯度值分别为G_x、G_y，梯度值为G(x,y)，则基于Sobel算子为

G_x＝{f(x+1,y-1)+2f(x+1,y)+f(x+1,y+1)}

-{f(x-1,y-1)+2f(x-1,y)+f(x-1,y+1)}

G_y＝{f(x-1,y+1)+2f(x,y+1)+f(x+1,y+1)}

-{f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1)}

若G(x,y)＞T_gradient，则判断点(x,y)为边缘点，所有相邻的边缘点构成一个轮廓,记为contours{(x,y)},将其包含的像素点集合记为incontours{(x,y)}

四、利用启发式模式识别方法快速定位连接器的整体区域ROI，如图7所示。具体过程如下：

对于产品类的模式识别问题，我们往往可以根据产品的设计参数获取一定的先验知识，一旦检测***的相机、镜头及检测平台固定不动后，这些先验知识就对应图像像素坐标下的某些常量约束，本发明提出了基于这些常量约束的启发式模式识别方法，可以更准确地确定被测对象，为后续的准确测量奠定基础。

根据产品的设计参数，本发明提取两方面的信息作为模式识别的启发式信息：轮廓个体约束和轮廓个体关系约束。

在连接器的整体区域ROI的识别问题中，只涉及到轮廓个体约束。约束包括轮廓的周长C_contours和面积S_contours，其中C_contours为集合contours{(x,y)}的元素个数，S_contours为集合incontours{(x,y)}的元素个数。

因此，针对上述两种约束引入两个检测阈值：

令

其中，

分别为周长、面积约束下的可信度的权重，满足：

周长和面积的约束直接采用区域约束条件，设

和

为允许的误差范围大小，则：

当

时，该轮廓即为连接器的轮廓，其外接最小矩形为ROI区域。

步骤五：在原始灰度图像中对ROI区域进行二值化、滤波、求取轮廓等图像处理操作，利用启发式模式识别方法确定针尖轮廓。

根据产品的设计参数，本发明提取两方面的信息作为针尖模式识别的启发式信息：针尖轮廓个体约束和针尖轮廓个体关系约束。

一、针尖轮廓个体约束

在针尖轮廓个体约束中，首先包括针尖轮廓的周长

和面积

其次，由于针尖为同一种材料制成，针尖轮廓内的像素点的灰度值应该在一定范围内。因此，针对上述三种约束引入三个检测阈值：

令

为轮廓contours{(x,y)}的个体约束可信度，用于描述基于个体约束条件下，轮廓是真实的针尖的可能性，P_C ^P(contours)、P_S ^P(contours)和P_gray ^P(contours)分别为则周长、面积和灰度约束下的可信度，则

其中，

和

分别为周长、面积和灰度约束下的可信度的权重，满足：

周长和面积的约束直接采用区域约束条件，设

和

为允许的误差范围大小，则：

设轮廓的质心坐标为

轮廓contours{(x,y)}的平均灰度值为f(contours)，为了减少光照条件的影响，仅判断与轮廓质心一定范围内(小于T_din)的像素点的灰度值一致性，公式如下：

当

时，该轮廓可能为针尖的轮廓。

二、针尖轮廓个体关系约束

在电子连接器中，针尖往往是呈有规则的行列排列方式，根据产品设计参数，已知行数、行宽和列数、列宽，有效地利用这些针尖轮廓个体关系约束信息可以有效地提高识别准确率。

首先，本发明在应用程序界面设计时引入鼠标滑动操作，将每一行的针尖都约束在一个矩形中，构成行矩形集合rowrect{(x1,y1,x2,y2)}，同时将每一列的针尖也都约束在一个矩形中，构成列矩形集合rowrect{(x1,y1,x2,y2)}。若轮廓不包含在这两个集合内，将被删除。

然后在行矩形集合内，针对每个轮廓依次求取离它最近的两个轮廓的距离，若这两个距离除以列宽的余数均大于允许误差，则说明该轮廓不是针尖，将被删除。同理，针对列矩形集合重复上述操作。

在上述过程中，本发明采用了基于矩不变原理的轮廓质心求解方法。轮廓的矩就是对轮廓内的像素点逐个积分，具有旋转不变性。设轮廓contours{(x,y)}的最小外接矩形大小为M×N，则其二维(p+q)阶距为m_pq表示为：

轮廓的质心

用下式求解：

步骤六：针对标准连接器和待测连接器，分别采用不同的方法对左右图像的针尖进行匹配。具体过程如下：

一、对于标准连接器的检测，因为针尖都完整无损，因此可以在左右图像中对针尖分别排序，然后利用序号相等的原则进行左右图像针尖的匹配。

二、对于待测连接器的检测，由于针尖可能存在缺损，因此在标准连接器检测中使用的匹配方法不再适用。本发明提出了一种模糊位置匹配算法，将待测连接器的左右图像与标准连接器的左右图像进行匹配，求得针尖序号，然后利用序号相等的原则进行左右图像针尖的匹配。

在模糊位置匹配算法中，本发明首先提出了一个隶属度函数的概念，用于描述图像中的ROI区域与针尖轮廓的相互位置关系。设ROI区域的左上角坐标为(x_min,y_min)，右下角坐标为(x_max,y_max)，contours_i{(x,y)}为它里面的一个针尖轮廓，其质心坐标为

设该针尖轮廓在x、y方向的隶属度分别为A_xi和A_yi，则有：

然后分别计算标准连接器和待测连接器中每个针尖轮廓的隶属度值，设标准连接器中的第i个针尖轮廓的隶属度值为A_sxi和A_syi，待测连接器中的第j个针尖轮廓的隶属度值为A_txi和A_tyi。

若满足下式，则认为待测连接器中的第j个针尖轮廓与标准连接器中的第i个针尖轮廓相匹配。

其中T_E是给定的允许误差阈值，检测结果图如图10所示。

步骤七：利用双目视觉成像原理对匹配成功的针尖计算三维坐标。然后针对针尖坐标进行空间旋转校正。

为了减少测量***对夹具的依赖性，先采用第一个针尖作为基准，用每个针尖与它的三维相对位置作为结果测量值，然后采用空间旋转方法对它进行倾斜矫正，测量结果实例如表2所示。由于对整幅图像进行校正耗时较长，所以本发明采用对求解出的针尖坐标进行空间旋转校正，以提高***的实时性。

表2检测得到的三维坐标

倾斜校正的具体过程如下:

一、利用霍夫变换求取连接器的倾斜角度

霍夫变换原理如下：

在直角坐标系下的直线方程y＝kx+b，可在极坐标系下表示为r＝xcosθ+ysinθ，因此共线的点具有相同的r和θ。利用图像中所有的已知点在一定分辨率的(r，θ)参数空间内投票，点个数满足约束条件的(r，θ)即为求取的直线，其直线斜率k为：

在本发明方法中，根据连接器边缘的长度设置点个数阈值数，可以找到上下边缘处的一组直线，如图11所示，设该组直线个数为N，则连接器的倾斜斜率k为：

倾斜角度

为：

二、空间旋转，倾斜校正

设X′、Y′为检测到的针尖坐标，X、Y为倾斜校正后的针尖坐标，则：

设X_i、Y_i、Z_i为待测连接器的针尖三维坐标，X_si、Y_si、Z_si为对应的标准连接器的针尖三维坐标，若满足下面的条件，则判断该针尖位置合格，

其中，T_xe、T_ye和T_ze为给定的允许误差阈值。若所有的针尖都合格，则判定连接器质量合格。测量结果实例如表3所示。

表3检测得到的三维坐标误差

序号	△x/mm	△y/mm	△z/mm
				1	0.046	0.028	0.404
2	0.000	0.000	0.000
				3	0.000	0.000	0.000
4	0.046	0.028	0.404
				5	0.000	0.000	0.000
6	0.000	0.000	0.000
				...	...	...	...

实验证明，采用上述方法的双目视觉检测***平均200ms完成一件产品的质量检测，检测精度在x和y方向上可达到±0.05mm，在z方向上可达到±0.5mm。综上所述，本发明所述的检测***在检测速度和精度两方面都可以与激光式检测***相媲美，并且大大降低了检测***的成本。同时使用非接触式的测量方法，也不会对待测连接器造成损坏。

以上所述实施例是用以具体说明本专利，文中虽通过特定的术语进行说明，但不能以此限定本专利的保护范围，熟悉此领域的人士可在了解本专利的精神与原则后对其进行变更或修改而达到等效目的，而此等效变更和修改，皆应涵盖于专利要求范围所界定范畴内。