CN107705293A

CN107705293A - 一种基于ccd面阵相机视觉检测的五金零件尺寸测量方法

Info

Publication number: CN107705293A
Application number: CN201710826301.3A
Authority: CN
Inventors: 李海艳; 何浩
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2017-09-14
Filing date: 2017-09-14
Publication date: 2018-02-16

Abstract

本发明的目的在于提出一种基于CCD面阵相机视觉检测的五金零件尺寸测量方法，通过相机标定原理、机器视觉处理程序、二值化图像处理、模板匹配、求工件最大包围盒程序、BP算法训练人工神经网络等算法原理，可以将测量方法应用于生产流水线中，与过往的技术相比，整个***更具有移植性，自动化程度更高，可以大幅度提高检测效率。对比人工检测，误差的随机性小，而且误差也相对更小，对于被检测品不会产生任何损伤，可以长时间稳定测量、分析而不会产生疲劳，可以节省大量劳动力。

Description

一种基于CCD面阵相机视觉检测的五金零件尺寸测量方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于CCD面阵相机视觉检测的五金零件尺寸测量方法。

背景技术

现今社会中，电子工业、航天工业、汽车工业的发展对其中的工件精度要求越来越高，传统工件检测工艺中普遍采用游标卡尺或者螺旋测微器进行人工测量，效率低、测量精度随机性大，已经不能满足现代工业对测量工艺的效率、精度等方面的要求。在传统工件检测上，工人需要知道合格工件的尺寸来判断新工件是否合格，随后发展处机器视觉的方法简单比较合格工件与新工件的图像来判断是否合格，但是这样判断的工件种类少，精度差。于是，许多新兴的行业对检测方面提出了更高的要求。例如，工业生产线上零配件的测量，产品包装印刷的检测，图像实时监控，机器人视觉导航，半导体芯片封装检测，印刷电路板定位等。在这些应用中，采用传统的人工检测的方法已经难以满足生产生活的需要，制约了生产力水平的发展和提高。这一方面是由于人类的本性，长时间工作容易产生疲劳，无法保证很高的检测正确率。另一方面，由于人眼的生理极限，很难在速度、精度等方面得到提高。因此，现代工业生产迫切需要一种新的机器技术出现，来替代人类视觉。

但是，现阶段机器视觉技术并不是特别完善，在一定程度上达不到要求的检测水平，于是科研人员逐渐将研究重点转移到如何应用机器交互的方法快速完成检测过程，而且检测精度高。

所以本设计采用了以标准工件为模板，测量工件尺寸，并通过人工神经网络筛出不合格工件。

发明内容

本发明的目的在于解决上述问题提出一种基于CCD面阵相机视觉检测的五金零件尺寸测量方法，有效解决检测中出现的认为的误检，利用相机标定的方法还原尺寸大小，再进行一系列的图像处理，并且利用人工神经网络识别工件尺寸是否标准，提高检测效率，节省人力资源成本，有利于合理的利用资源，提高生产自动化程度，实现五金零件尺寸测量检测全自动化。

为了达到此目的，本发明采用以下技术方案：

一种基于CCD面阵相机视觉检测的五金零件尺寸测量方法，包括以下步骤；

A.判断是否训练人工神经网络，若没有则进行人工神经网络的训练；

B.通过采集多幅标定板图像进行相机矫正，保存相关标定信息；

C.在相机出光点处设置激光传感器，测量镜头出光点至检测表面的垂直距离；

D.电脑通过软件触发控制工业照相机对一个尺寸标准的五金零件进行拍照作为原图样本，在清晰的图像内采集模板区域；

E.获取待检测的五金零件的二值图像，通过模板匹配获取待检测图像的目标区域；

F.对待检测图像的目标区域进行图像处理，获取待检测工件用于尺寸测量的边缘，并计算边缘间的像素距离；

G.将提取到的特征值进行归一化处理，经过人工神经网络计算可以判别出工件尺寸是否标准；

H.通过步骤B过程中求得的标定板水平放置时的外参矩阵，与步骤C过程求得的垂直距离，计算图像像素距离与实际距离的关系；

I.根据步骤G和步骤H计算出待检测工件的实际尺寸。

更优的，训练人工神经网络包括如下步骤：

a.用工业照相机对尺寸有缺陷的工件进行拍照，收集工件缺陷；

b.将收集回来的缺陷提取缺陷特征；

c.利用BP算法训练人工神经网络，将训练结构保存到电脑以备后面程序调用。

更优的，所述人工神经网络包括输入层、隐含层和输出层。

更优的，BP算法训练人工神经网络包括以下步骤：

(1)对输入缺陷样本特征值进行归一化，确定学习效率θ，精度α或者学习次数n；

(2)计算隐含层和输出层的输出值；

(3)计算人工神经网络输出层权值修改量和隐含层权值修改量；

(4)修改输出层权值矩阵和隐含层权值矩阵；

(5)判断是否达到精度α要求或者是否达到学习次数n，满足则结束并且将隐含层权值矩阵和输出层权值矩阵保存在电脑里，***开始检测工件表面尺寸时即可从电脑中读取隐含层权值矩阵和输出层权值矩阵使用，不满足则返回步骤(2)。

更优的，步骤B中相机标定使用张正友相机标定法进行相机标定。

本发明的目的在于提出一种基于CCD面阵相机视觉检测的五金零件尺寸测量方法，本发明可以应用于生产流水线中，与过往的技术相比，整个***更具有移植性，自动化程度更高，可以大幅度提高检测效率。对比人工检测，误差的随机性小，而且误差也相对更小，对于被检测品不会产生任何损伤，可以长时间稳定测量、分析而不会产生疲劳，可以节省大量劳动力。

附图说明

图1为本发明的一个实施例的流程图；

图2为本发明的一个实施例的张氏标定的摄像机模型；

图3为本发明的一个实施例的相机标定过程中坐标变换图；

图4为本发明的一个实施例的相机标定过程中坐标变换图；

图5为本发明的一个实施例的相机标定过程中坐标变换图；

图6为本发明的一个实施例的求工件最大包围盒程序的原理图；

图7为本发明的一个实施例的BP算法训练人工神经网络的模型图。

具体实施方式

下面结合附图并通过具体实施例方式来进一步说明本发明的技术方案。

I.根据步骤G和步骤H计算出待检测工件的实际尺寸。

本发明中，相关标定信息包括相机内参矩阵、畸形变系数矩阵还有标定板水平放置时的外参矩阵，并将内参矩阵与畸变形系数矩阵应用于所有拍摄的图像。激光传感器用于测量镜头出光点至检测表面的垂直距离h。步骤G中将提取到的特征值进行归一化处理，读取已经保存在电脑里的隐含层权值矩阵和输出层权值矩阵，将归一化的特征值输入到人工神经网络的输入层，经过三层人工神经网络计算可以判别出工件尺寸是否标准。

更进一步的说明，训练人工神经网络包括如下步骤：

b.将收集回来的缺陷提取缺陷特征；

为了提高识别缺陷类型的准确度，应该通过大量拍照收集工件的各种尺寸上缺陷，对各种类型的缺陷进行标号，并保存到电脑里以便后面程序调用。提取缺陷特征，其中缺陷特征包括工件包围盒长、宽、面积这三个特征值。提取缺陷特征信息以后就可以用于训练人工神经网络，利用BP算法训练人工神经网络。

更进一步的说明，所述人工神经网络包括输入层、隐含层和输出层。人工神经网络有三层：输入层、隐含层、输出层，将训练结果，即隐含层权值矩阵和输出层权值矩阵保存在电脑以备后面程序调用。

更进一步的说明，BP算法训练人工神经网络包括以下步骤：

(2)计算隐含层和输出层的输出值；

(4)修改输出层权值矩阵和隐含层权值矩阵；

BP算法训练人工神经网络程序是五金零件尺寸检测过程中关键的一部分，本发明将使用三层式人工神经网络，即输入层、隐含层、输出层。BP算法的基本思想是学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播：归一化特征值样本输入到输入层→隐含层→输出层；反向传播：输出误差→隐含层→输入层，其模型如图7所示。

更进一步的说明，步骤B中相机标定使用张正友相机标定法进行相机标定。如图2所示，我们假设模型平面在世界坐标系中的Z坐标为0。图1中M(X,Y,0)为标定板的某个点的坐标，m(u,v)是M在图像上对应点的坐标，则M与m的关系为：

其中，s为任意的比例因子，[R T]称为相机外参，R为旋转矩阵，T为平移矩阵。是相机的内参矩阵，(u₀,v₀)称为坐标主点，α和β是图像在u和v轴的比例因子，γ是描述两个坐标倾斜角的参数。设R的第i列旋转矩阵为R_i，R＝[r₁ r₂ r₃]，则式(1.1)可变为:

设m＝[u v 1]^T，M＝[X Y 1]^T，H＝K[r₁ r₂ t]，可得：

显然，H是个3×3的系数矩阵。

内参数约束条件：

令H＝λK[r₁ r₂ t]＝[h₁ h₂ h₃]，H为透视投影矩阵，它是标定板上的点和其像点之间的映射其中，λ是个缩放因子标量，又因为r₁和r₂正交的，则可得式(1.4)与式(1.5)：h₁ ^TK^- ^TK^-1h₂＝0 (1.4)

h₁ ^TK^-TK^-1h₁＝h₂ ^TK^-TK^-1h₂ (1.5)

相机标定的解决方法：

依照矩阵知识，当所取数目大于等于3幅图像时，可以求得含有5个未知的内参数矩阵K的唯一解。即令

可知B矩阵是个对称矩阵，所以可以写成一个六行一列的向量形式：

b＝[B₁₁,B₁₂,B₂₂,B₁₃,B₂₃,B₃₃]^T (1.7)

现在假设H的第i列向量为h_i＝[h_i1,h_i2,h_i3]^T，然后可以得到：

h_i ^T＝Bh_j＝v_ij ^Tb (1.8)

式中v_ij＝[h_i1h_j1，h_i1h_j2+h_i2h_j1，h_i2h_j2，h_i3h_j1+h_i1h_j3，h_i3h_j2+h_i2h_j3，h_i3h_j3]，于是根据两个内参数的限制条件式(1.4)与式(1.5)可以得到约束关系为：

即Vb＝0，式中V是一个2×6的矩阵，即每张照片可以建立两个方程组，包含六个未知数。根据线性代数知识可知，要求解六个未知数至少需要六个方程组，因此这样至少需要三张照片才能解出所有未知数。b一旦估计出来，我们可以计算内参矩阵K，求出K后，相应的外部参数也可以计算出来。从式(1.3)中，可以得到：

其中，

极大似然估计：

当解出初始参数解出后，为了求出最优解，进行极大似然估计。对同一个模板的n个图像，极大似然估计可以通过求以下函数的最小值得到：

其中m为图像上选择的点数，是M_j点在第i幅图像上的投影。求解式(1.11)的最小值是一个非线性优化问题，在已知空间点和其对应像点后，可根据最小二乘方程，采用Levenberg-Marquardt算法求解，得到最优化的参数矩阵K。

径向畸变处理：

一般摄像机都存在镜头畸变，且畸变会影响标定结果，特别是径向畸变。镜头的畸变以径向分量为主，张氏标定只考虑径向畸变。

畸变矫正，首先应该知道畸变系数，然后做与畸变相反的变换，消除畸变。因为在实际情况下，径向畸变较小，所以其可以用主点周围的泰勒级数展开的前两项进行描述。

设(u,v)是理想无畸变的像素坐标，是对应实际观测到的带畸变的像素坐标，(u₀,v₀)代表着主点坐标，(x,y)代表理想无畸变的归一化图像坐标，是对应实际的带畸变的归一化图像坐标。于是有：

其中，k₁和k₂为前两阶的径向畸变系数。对于中心点的畸变同样适用。然后由和可以得到:

对于图像上的任意一点，我们有两个等式。化成矩阵形式：

有n张图片，每张图片上有m个点，所以可以得到2mn个等式，通过最小二乘法求解这个线性方程组的解，k₁和k₂估计出来后，可以通过式(1.11)来重新估计其他参数，其中可以用式(1.13)来代替交替使用这两个步骤，直到收敛为止。

为了使标定得到的估算实际的、存在径向畸变的摄像机参数。我们需要把，刚刚求解得到的畸变参数，连同前面得到的理想无畸变条件下的内外参数一起，进行极大似然估计。通过最小化下列函数来估计参数的完整集：

最终即可就求得在考虑畸变情况下的摄像机的参数。

在相机标定过程中，还需要进行坐标变换如下图3-5所示，由图4可知，通过相机标定，求出内参矩阵K与标定板与相机位置相对水平时对应的外参矩阵R与t，以及Z_C通过激光测距传感器获得，激光测距原理是通过飞行时间计算得出，即为上问所述的h。通过像素坐标可以求出图像实际尺寸长宽L、D，再用实际尺寸除以图像在长、宽处的像素个数X,Y，可以求出单位像素x,y方向上的尺寸大小d_x,d_y。即L÷X＝d_x,D÷Y＝d_y。

二值化图像：

对模板区域进行迭代阈值分割获取图像的分割阈值，即将模板区域进行二值化获取模板区域的二值图像的过程。假设模板区域为g(x,y)，有g(x,y)＝f(x,y)+e(x,y)，其中f(x,y)为原始图像，e(x,y)为干扰。选取模板的灰度平均值作为阈值分割T_K的初始值T₀。通过阈值分割可以将图像分为两部分，通过迭代的方式获取最合适的分割阈值。

S₁为背景像素的集合，S₂表示前景像素的集合，可以计算S₁，S₂的灰度平均值E₁,E₂。

f(i,j)为图像灰度值，N(i,j)为改灰度值的像素数目。令若T_K＝T_K+1，则求解出合适的分割阈值T_K为，了显示，将灰度值低于T_K的像素置于255表示背景图像，将灰度值高于T_K的像素置于0表示工件图像。经过多次迭代求解阈值，平均灰度较真值误差越小，降低了图像噪声的影响。

模板匹配：

通过标准图像进行图像分割，在图像中分离出二值后的五金工件图像，并作为模板T(M×N)个像素，叠放在待检测图像的二值图像R(W×H)上平移，模板覆盖待检测二值图的那块区域叫子图R_ij，i、j为子图左上角在待检测图R上的坐标，所以搜索范围是通过比较模板T与R_ij的相似性，完成模板匹配过程。

衡量模板T与子图R_ij的匹配程度时，使用测度来衡量匹配误差。容易发现，匹配点附近的匹配误差迅速下降,明显区别于其它位置。针对这一特点,采用粗精匹配结合的算法迅速锁定匹配点大致区域,可大大降低整体匹配次数。通过每隔三个像素点进行一次粗匹配采集数据，并设定误差阈值E₀：(e₀为图像数据中各点平均最大误差)找到满足阈值的匹配区域在图像中的坐标，可以大致框选定匹配区域。然后在该区域边缘处扩大三个像素作为粗匹配的结果。再进行精匹配，即在粗匹配获得的区域内的像素进行逐一检索获得最佳匹配点，运算量可减少到三分之一以下，而且目标提取效果好。

求工件最大包围盒程序：

利用与标准工件匹配后的二值化图像像素坐标寻找工件范围，找到最像素值为0的最上、最下、最左、最右的四个点的坐标，可以次绘制初工件的最大包围盒，求出工件的最大包围盒位置信息。其原理图如图6：

求出最小包围盒后，根据特征信息提取程序：提取三种特征，分别是工件最大包围盒面积S、工件表面积S_表，原理4中已经求出工件最大包围盒位置信息得到左上角和右下角的坐标(x_l,y_l),(x_r,y_r)，通过程序可以求出二值化工件图像所包含的像素个数为t，即找出所有像素值为0的个数，即S(x,y)＝＝0所以：

工件最大包围盒面积即：S＝(x_r-x_l)*(y_r-y_l)；

工件表面积即：S_表＝t*d_x*d_y；(d_x、d_y分别表示单位像素分别在x轴与y轴上的实际距离)

工件的长：l＝N_l*d_x(N_l为二值图像中最右点与最左点的x坐标之差的绝对值，表示在x轴上的像素个数)

工件的宽：d＝N_d*d_y(N_d为二值图像中最下点与最上点的x坐标之差的绝对值，表示在y轴上的像素个数)。

求取实际工件尺寸：

相机标定求出的单位像素代表的实际距离只需要进行一次，并将结果保存，后续待检测图像通过获得待检测工件的像素距离乘上以保存的比例关系，就可以计算出待检测五金工件的实际尺寸。

以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims

1.一种基于CCD面阵相机视觉检测的五金零件尺寸测量方法，其特征在于：包括以下步骤；

I.根据步骤G和步骤H计算出待检测工件的实际尺寸。

2.根据权利要求1所述的一种基于CCD面阵相机视觉检测的五金零件尺寸测量方法，其特征在于：训练人工神经网络包括如下步骤：

b.将收集回来的缺陷提取缺陷特征；

3.根据权利要求2所述的一种基于CCD面阵相机视觉检测的五金零件尺寸测量方法，其特征在于：所述人工神经网络包括输入层、隐含层和输出层。

4.根据权利要求3所述的一种基于CCD面阵相机视觉检测的无尽零件尺寸测量方法，其特征在于：BP算法训练人工神经网络包括以下步骤：

(2)计算隐含层和输出层的输出值；

(4)修改输出层权值矩阵和隐含层权值矩阵；

5.根据权利要求1所述的一种基于CCD面阵相机视觉检测的五金零件尺寸测量方法，其特征在于：步骤B中相机标定使用张正友相机标定法进行相机标定。