CN106570511A - 基于计算机视觉的键盘字符缺陷在线检测***和方法 - Google Patents

Abstract

本发明涉及一种基于计算机视觉的键盘字符在线检测***和方法。该***包括工业摄像头、计算机、单片机***、变频器、电机和传送带。该方法的操作步骤为：（1）使用图像灰度化、中值滤波方法，提高图像质量，（2）使用surf特征点进行图像匹配，（3）确定字符位置，（4）对字符进行书序标号，（5）缺陷字符分离。本发明检测算法采用SVM分类方法，将正常字符标记为正样本，错误的字符标记为负样本，分别提取它们的大小，中心，矩特征进行训练。本发明安装简单，检测效率高，在键盘生产过程中将发挥巨大的作用。

Description

基于计算机视觉的键盘字符缺陷在线检测***和方法

技术领域

本发明涉及一种基于支持向量机的方法，具体设计一种基于计算机视觉的键盘字符缺陷在线检测***和方法，对键盘缺陷进行检测，通过自动定位键盘字符，提取它们的大小，重心，周长，矩等特征进行训练，实现对字符缺陷的检测，构建了一套完整的由计算机，工业照相机，光源，单片机的组成的键盘字符在线检测***和方法。

背景技术

在键盘生产过程中，需要对键盘上按键进行印刷和安装，但是在印刷和安装过程中，很容易出现印刷脏污，安装错误等现象。为了严格把关键盘生产的质量，需要实时监控键盘生产线上印刷品的质量，把不合格的产品及时除掉。

过去印刷企业都是靠工人来完成产品的质量检测与控制的，一个经验丰富的技术工人就是一个检测***，但是人工检测并不能保证质量稳定，常常会出现误检、漏检的现象，而且人工检测速度太慢、成本太高、检测标准不一。迫于传统检测的缺点和不足，寻求一种客观高效的键盘印刷缺陷在线检测技术是印刷行业发展的大势所趋。

目前，计算机视觉发展迅速，运用视觉处理技术做缺陷检测，已经在工业界凸显了巨大的优势，降低了生产成本，提高了生产效率。因此将计算机视觉技术应用在键盘缺陷检测中将会发挥巨大的优势。

发明内容

本发明的目的在于针对已有技术存在的缺陷，提供一种基于计算机视觉的键盘缺陷在线检测***和方法，将其与自动化控制***相结合，搭建了一套完整的键盘缺陷在线检测***和方法，提高生产过程中的效率，保证生产质量。

为达到上述目的，本发明的构思是：

1.建立以计算机***为核心的检测***，通过计算机将控制传送带运行速度的信号发送给单片机，单片机经过D/A转换成模拟信号送给变频机，进而控制传送带的运行速度，同时计算机控制CCD相机的曝光时间间隔。

2.图像采集***，通过网络连接方式获取工业摄像头采集到的图像。

3.图像预处理，对拍摄的图片我们需要进行灰度化，二值化和降噪，去掉无关信息，保证后续处理时间。

4.键盘提取，拍摄到的图片通过模板匹配法，找到键盘在图片中的位置，便于后期对键盘进行处理。

5.键帽提取，对键盘通过二值化处理，分割出键盘上的字符，方便后期字符对比。

6.倾斜校正，键盘在生产线上并不能保证其每次位置都处于水平状态，可能会处于倾斜状态，通过与模板图片进行特征点匹配，求出其变换矩阵，进而可以将键盘变换到与模板图片位置相同的状态，提高后期对比的准确度。

7.特征提取，通过提取键盘上字符周长，面积，重心，矩特征，作为键盘上字符的特征。

8.缺陷对比，将上述提取的特征输入到支持向量机分类器中进行训练，得到一个训练好的分类器，当检测时，将待检测到图片输入到分类器就可以将缺陷键盘检测出来。

根据上述发明构思，本发明采用下述技术方案，一种基于计算机视觉的键盘字符缺陷在线检测***，包括工业摄像头(1)、计算机(2)、单片机***(3)、变频器(4)、电机(5)和传送带(6)，其特征在于：所述工业摄像头(1)对准传送带(6)上的键盘(7)拍摄，而其输出连接到计算机(2)，计算机(2)连接单片机***(3)，单片机(3)的输出经变频器(4)连接电机(5)，电机(5)带动传送带(6)进行；利用工业摄像头(1)获取键盘字符图像，采用计算机视觉SVM分类方法将图像缺陷进行检测，判断在生产过程中键盘的生产质量。具体步骤如下：

①使用计算机(2)与单片机msp430串口通信，控制传送带(6)的速度；

②使用图像灰度化，中值滤波的方法，提高图像的质量；

③使用surf特征点进行图像匹配，将倾斜的图像旋转成与模板图片处于同

一水平；

④使用八邻接法对字符进行轮廓提取，通过获取其轮廓，计算这些字符轮廓

的最小外接矩形，确定字符的位置；

⑤计算外接矩形的坐标，对字符进行顺序标号；

⑥提取字符的大小，中心，矩特征，利用SVM分类器进行训练，将正常键

盘字符与缺陷字符分离。

根据上述发明构思，本发明采用下述技术方案：

一种基于计算机视觉的键盘字符缺陷在线检测***，包括工业摄像头、计算机、单片机***、变频器、电机和传送带，其特征在于：所述工业摄像头对准传送带上的键盘拍摄，而其输出连接到计算机，计算机连接单片机***，单片机的输出经变频器连接电机，电机带动传送带运行；利用工业摄像头获取键盘字符图像，采用计算机视觉SVM分类方法将图像缺陷进行检测，判断在生产过程中键盘的生产质量；使用计算机与单片机msp430串口通信，控制传送带的速度。

一种基于计算机视觉的键盘字符缺陷在线检测方法，采用上述***进行操作，其特征在于具体操作步骤如下：

①使用图像灰度化，中值滤波的方法，提高图像的质量；

②使用surf特征点进行图像匹配，将倾斜的图像旋转成与模板图片处于同一水平；

③使用八邻接法对字符进行轮廓提取，通过获取其轮廓，计算这些字符轮廓的最小外接矩形，确定字符的位置；

④计算外接矩形的坐标，对字符进行顺序标号；

⑤提取字符的大小，中心，矩特征，利用SVM分类器进行训练，将正常键盘字符与缺陷字符分离。

所述步骤(2)使用surf特征点进行图像匹配，其目的为了将传送带上的倾斜图片旋转成模板图片的角度，具体方法如下：

①分别对模板图像和传送带上拍摄到的键盘图片分别提取其surf特征，得到的特征点是一个64维的向量。

②分别遍历两幅图像上的surf特征点，计算它们的欧式距离，找到距离最小的点，就是两幅图像匹配好的点，利用匹配好的点，求出单映射矩阵H。

③利用单映射矩阵H，将传送带上的键盘图片进行仿射变化，得到校正好的图像。

所述步骤(5)使用SVM分类器进行训练，分别取2000张正常的图片标记为正样本，2000张有缺陷的图片标记为负样本，分别提取它们的大小，重心，周长，矩特征，作为SVM的输入，进行训练，利用得到的SVM分类器来进行缺陷检测。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：

1.在进行图像校正时，采用surf特征进行特征匹配，求出待测图片与模板图片的映射关系，使用surf特征在保证稳定的情况下，实时性也能的得到保证，能快速，准确的完成待测图像的校正。

2.为了获取待测图像和模板图像每个字符的位置，本文通过数学形态法和八邻域轮廓检测法，获得了初步分割的字符区域。并且使用设计好的排序算法，获得了感兴趣区域，满足一个按键上有一个确定的索引，保证每次检测都能将准确的对比相同位置的字符。

3.字符对比时，通过提取字符的大小，中心，矩特征，能有效表示出键盘字符的特征，并且通过利用SVM分类器进行训练，能有效应对样本不足，最终将正常键盘字符与缺陷字符分离。

附图说明

图1是本发明整体结构示意图。

图2是本发明整体程序框图。

图3是图像校正程序框图。

图4是字符轮廓跟踪程序框图。

图5是本发明实施例三中软件的程序框图。

图6是构建SVM分类器程序框图。

图7是本发明校正匹配示意图。

图8是校正后的示意图。

图9是形态学处理的示意图。

图10是字符定位示意图。

图11是字符排序示意图。

具体实施方式

本发明的优选实施例结合附图浅述如下：

实施例一：

参见图1，基于计算机视觉的键盘字符缺陷在线检测***，包括工业摄像头(1)、计算机(2)、单片机***(3)、变频器(4)、电机(5)和传送带(6)，其特征在于：所述工业摄像头(1)对准传送带(6)上的键盘(7)拍摄，而其输出连接到计算机(2)，计算机(2)连接单片机***(3)，单片机(3)的输出经变频器(4)连接电机(5)，电机(5)带动传送带(6)运行；利用工业摄像头(1)获取键盘字符图像，采用计算机视觉SVM分类方法将图像缺陷进行检测，判断在生产过程中键盘的生产质量；使用计算机(2)与单片机msp430串口通信，控制传送带(6)的速度。

实施例二：

参见图2，图11，基于计算机视觉的键盘字符缺陷在线检测检测方法，采用根据权利要求1所述的基于计算机视觉的键盘字符缺陷在线检测***进行操作，其特征在于具体操作步骤如下：

⑥使用图像灰度化，中值滤波的方法，提高图像的质量；

⑦使用surf特征点进行图像匹配，将倾斜的图像旋转成与模板图片处于同一水平；

⑧使用八邻接法对字符进行轮廓提取，通过获取其轮廓，计算这些字符轮廓的最小外接矩形，确定字符的位置；

⑨计算外接矩形的坐标，对字符进行顺序标号；

提取字符的大小，中心，矩特征，利用SVM分类器进行训练，将正常键盘字符与缺陷字符分离。

所述的基于计算机视觉的键盘字符缺陷在线检测方法，其特征在于所述步骤(2)使用surf特征点进行图像匹配，其目的为了将传送带上的倾斜图片旋转成模板图片的角度，具体方法如下：

④分别对模板图像和传送带上拍摄到的键盘图片分别提取其surf特征，得到的特征点是一个64维的向量。

⑤分别遍历两幅图像上的surf特征点，计算它们的欧式距离，找到距离最小的点，就是两幅图像匹配好的点，利用匹配好的点，求出单映射矩阵H。

⑥利用单映射矩阵H，将传送带上的键盘图片进行仿射变化，得到校正好的图像。

所述步骤(5)使用SVM分类器进行训练，分别取2000张正常的图片标记为正样本，2000张有缺陷的图片标记为负样本，分别提取它们的大小，重心，周长，矩特征，作为SVM的输入，进行训练，利用得到的SVM分类器来进行缺陷检测。

实施例三：

基于计算机视觉的键盘缺陷在线检测的方法不仅检测准确率高而且检测速度快。本实施例可分为硬件设计和软件设计两个阶段，详细步骤如下：

1.硬件设计(参见图1)

图1为本***的一个硬件框架，检测***主要由一台计算机，msp430单片机，一个500万像素的工业摄像头组成。由于CCD相机和传送带都是独立工作的，必须确定CCD相机的曝光时间，使得每次相机都能将键盘拍摄到，所以必须计算曝光时间。

设相邻两个键盘之间的距离为Δs，传送带运行速度为v，曝光时间为Δt，由Δs＝Δt×v可以得出，相机的曝光时间，所以只需电脑与msp430单片机串口通信，发送控制命令，就能保证相机每次都能将键盘拍摄完全。

为了控制传送带运行速度v，单片机通过D/A模块转换成模拟信号送个变频机，进而控制传送带的运行速度v。

2.软件设计(参见图5)

2.1图像预处理

(1)灰度处理

主要将彩色图变换成灰度图，彩图由各个RGB通道组成，灰度处理主要将彩图的每个像素点RGB值计算成灰度值。公式如下：

gray＝0.11R+0.59G+0.30B (2.1)

(2)滤波处理

图像滤波的目的是为了减少键盘图像的噪声，这些噪声来自多方面原因。在键盘生产的过程中，键盘按键凹陷处和角落由于反光更强烈，这些地方的图像易泛白，从而形成杂点，干扰图像的正常分割过程，有必要进行滤除。我们分别使用均值滤波和中值滤波进行了实验，滤波器大小采用3*3,5*5,7*7。经过实验对比使用7*7的中值滤波方式可以有效滤除图像中的杂点。

(3)二值化

二值化图像可以在背景中突出目标像素，使得图像的对比度增强，还能减小后续处理的复杂度和时间。由于在键盘检测过程中光照条件几乎是固定的，所以在变换过程中，我们只需设置好一个阈值，该点的像素大于这个阈值为1，小于这个阈值为0。二值化公式如下：

2.2图像倾斜校正

键盘生产线上生产时，并不能保证它们的位置永远处于水平方向，会导致倾斜，如果倾斜角度较大，则会严重影响对缺陷字符的识别，所以我们要根据生产的实际情况对图像进行校正。我们使用基于surf的匹配算法进行校正，匹配如图2所示，校正后的图如图3所示。

设p＝(x₁,y₁)待校正图像中某个点的坐标，q＝(x₂,y₂)是校正后图像中点的坐标，则存在仿射变换关系：

则需要求出仿射矩阵，令仿射矩阵为：

为了求出上述仿射矩阵，需要得到图像中的p，q的位置，分别提取待旋转的图像和模板图像的surf特征，用最近邻匹配的方法得到两幅图像的匹配对，再结合RANSAC和最小二乘法，求出图像间的仿射矩阵。

2.3键帽提取

为了对比键盘字符是否出现错误，我们需要将键盘字符从图像中提取出来。因为键盘图像中很大的一部分是无关的背景，对我们进行缺陷字符识别没有任何帮助。

(1)形态学处理

为了让一个按键上只存在一个感兴趣的区域，我们需要用形态学的方法进行处理。其基本思想是使用具有一定形态的结构元素去量度和提取图形中的对应形状，以达到图像分析和识别的目的。它的基本运算有4个：膨胀、腐蚀、开运算和闭运算，将他们进行组合可以达到一个按键上只存在一个感兴趣的区域。我们通过实验设计了这样一个处理流程：膨胀、闭合、开运算、膨胀。结果如图4所示，这样就获得了感兴趣区域，同时保证了同一按键上只有一个感兴趣区域。

(2)轮廓提取

通过形态学的方法，可以初步确定字符的大小，但是还不能确定字符区域的位置。通过提取区域的轮廓，求它们的最小外接矩形就可以确定字符的位置，最小外接矩形包围的区域就是感兴趣区域。

在这里我们采取八邻接法来进行轮廓的提取。算法如下：对于任意一个像素P，其周围的8个像素分别为P1，P2，P3，P4，P5，P6，P7，P8。在二值图像上，从P点出发，搜索其周围的8个像素是否为1，若全部为1，则P点不是轮廓，不全部为1，则P点为轮廓，此时从P点顺时针出发，找到为1的像素点，判断是否为轮廓，一直递归下去，直到整幅图像被搜索完，这样就可以将目标区域的轮廓提取出来。

(3)字符排序

通过轮廓提取的方法，获得了键盘每个字符的在图片中的位置，如图5所示。但是这些位置的顺序不是确定的，例如字符‘A’，并不能确定这个字符是第几个位置，所以我们必须对提取的字符位置进行排序，确定每个字符的位置。排序算法步骤描述如下：

a.遍历所有的字符轮廓集合，选取集合中第一个字符，计算出它在的最小外接矩形的纵坐标，继续遍历剩下字符轮廓，判断它们最小外接矩形的纵坐标是否有相交。如果坐标范围有相交，则这些字符在键盘上处于同一行，这样就能把字符的行标确定。

b.对每一字符行，计算字符的中心位置，根据其中心位置的横坐标进行排序，完成从左到右的排序。使每个字符都有一个标号进行确定，结果如图6所示。

2.4字符特征提取

图像特征提取在于将图像处理完成后的结果图提取字母的特征，首先特征的建立有一定的原则，特征在于能够很好的描述字母。对于键盘字符只使用一个特征并不能有效的看出字符的差别，所以得提取多个特征来达到目的。

(1)字符大小

在字符缺陷检测中，当字符出现缺陷时，如字符过长或者较短，则可以通过字符的长度和高度反映出来。由轮廓提取算法得到字符的轮廓，求出轮廓的最小外接矩形，则最小外接矩形的长和宽就是字符的大小。

(2)字符重心

字母重心是对二值化图中所有‘1’的一个统计值，把每个字符在对应位置的灰度值看作其在该位置的质量，就可以计算出它们的总体质量和重心位置，如果字符有缺陷的话，可以通过其重心位置的变化反应出来。假设一幅图像M*N的二值化图像，f(x,y)＝0或者f(x,y)＝1,设区域中像素点数为k，则统计集合P中所有点的位置且平均即为重心点，公式如下：

(3)字符矩特征

考虑到键盘在生产过程会导致待测图像和模板图像在感兴趣区域中像素错位或者尺度大小不一的问题，为了获得字符平移不变形、旋转不变性以及比例不变性，使用字符的中心矩可以有效解决这一问题。对于一幅数字图像I(x,y)，区域R的p+q的中心矩为：

虽然中心矩特征在图像发生平移和尺度变换后不会发生改变，但是旋转之后还是会发生变化，所以必须通过组合中心矩来完成。这些中心矩组合如下：

H₁＝μ₂₀+μ₀₂ (2.7)

H₂＝(μ₂₀-μ₀₂)²+4μ₁₁ ² (2.8)

H₃＝(μ₃₀-3μ₁₂)²+(3μ₂₁-μ₀₃)² (2.9)

H₄＝(μ₃₀+μ₁₂)²+(μ₂₁+μ₀₃)² (2.10)

H₆＝(μ₂₀-μ₀₂)·[(μ₃₀+μ₁₂)²-(μ₂₁+μ₀₃)²]+4μ₁₁·(μ₃₀+μ₁₂)·(μ₂₁+μ₀₃) (2.12)

当字符发生缺陷时，待测图像和模板图像在Hu不变矩的数值上将会产生差异，通过实验，发现缺陷字符H₁和H₂与正常字符差异较大，因此我们只使用H₁和H₂作为特征。

2.5支持向量机分类器设计

支持向量机是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，它是以寻找最优分类面为目标的一种高效的机器学习方法，在解决小样本、非线性及高维模式识别中凸显出许多优势。因此选择SVM来训练样本。

将正常的键盘字符标记为正样本，有缺陷的键盘字符标记为负样本，分别提取它们的大小，重心，周长，矩等特征，将其放入SVM分类器中进行训练。最后得到一个训练好的模型，再将其用于键盘缺陷检测。

Claims (6)

1.一种基于计算机视觉的键盘字符缺陷在线检测***，包括工业摄像头（1）、计算机（2）、单片机***（3）、变频器（4）、电机（5）和传送带（6），其特征在于：所述工业摄像头（1）对准传送带（6）上的键盘（7）拍摄，而其输出连接到计算机（2），计算机（2）连接单片机***（3），单片机（3）的输出经变频器（4）连接电机（5），电机（5）带动传送带（6）运行；利用工业摄像头（1）获取键盘字符图像，采用计算机视觉SVM分类方法将图像缺陷进行检测，判断在生产过程中键盘的生产质量；使用计算机（2）与单片机msp430串口通信，控制传送带（6）的速度。

2.一种基于计算机视觉的键盘字符缺陷在线检测检测方法，采用根据权利要求1所述的基于计算机视觉的键盘字符缺陷在线检测***进行操作，其特征在于具体操作步骤如下：

①使用图像灰度化，中值滤波的方法，提高图像的质量；

②使用surf特征点进行图像匹配，将倾斜的图像旋转成与模板图片处于同一水平；

③使用八邻接法对字符进行轮廓提取，通过获取其轮廓，计算这些字符轮廓的最小外接矩形，确定字符的位置；

④计算外接矩形的坐标，对字符进行顺序标号；

⑤提取字符的大小，中心，矩特征，利用SVM分类器进行训练，将正常键盘字符与缺陷字符分离。

3.根据权利要求2所述的基于计算机视觉的键盘字符缺陷在线检测方法，其特征在于所述步骤（2）使用surf特征点进行图像匹配，其目的为了将传送带上的倾斜图片旋转成模板图片的角度，具体方法如下：

①分别对模板图像和传送带上拍摄到的键盘图片分别提取其surf特征，得到的特征点是一个64维的向量；

②分别遍历两幅图像上的surf特征点，计算它们的欧式距离，找到距离最小的点，就是两幅图像匹配好的点，利用匹配好的点，求出单映射矩阵H；

③利用单映射矩阵H，将传送带上的键盘图片进行仿射变化，得到校正好的图像。

4.根据权利要求2所述的基于计算机视觉的键盘字符缺陷在线检测方法，其特征在于所述步骤（3）使用八邻接法对字符进行轮廓提取，方法如下：每次击中一个前景像素，扫描位置回到找到该像素的上一背景像素，然后顺势镇检查前景像素周围的8个像素，直到找到下一个前景像素，算法在起始点像素第二次被找到时终止，那么在跟踪时经过的前景像素就组成了轮廓。

5.根据权利要求2所述的基于计算机视觉的键盘字符缺陷在线检测方法，其特征在于所述步骤（4）计算外接矩形的坐标，对字符进行顺序标号，主要通过遍历所有的字符轮廓集合，选取集合中第一个字符，计算出它在的最小外接矩形的纵坐标，继续遍历剩下字符轮廓，判断它们最小外接矩形的纵坐标是否有相交，如果坐标范围有相交，则这些字符在键盘上处于同一行，这样就能把字符的行标确定。

6.根据权利要求2所述的基于计算机视觉的键盘字符缺陷在线检测方法，其特征在于所述步骤（5）使用SVM分类器进行训练，分别取2000张正常的图片标记为正样本，2000张有缺陷的图片标记为负样本，分别提取它们的大小，重心，周长，矩特征，作为SVM的输入，进行训练，利用得到的SVM分类器来进行缺陷检测。