CN110186929A - 一种实时的产品瑕疵定位方法 - Google Patents

Abstract

本发明提出了一种实时的产品瑕疵定位方法，包括以下步骤：步骤一、图像预处理，包括图像灰度化和图像二值化；步骤二、选定处理区域；步骤三、瑕疵粗定义；步骤四、瑕疵精定义。本发明实现了产品瑕疵的实时、快速准确检测，运算量小，检测精度高，还可以根据客户对产品质量的要求进行设定，以满足不同产品对产品瑕疵定位所需要的不同需求。

Description

一种实时的产品瑕疵定位方法

技术领域

本发明涉及一种实时的产品瑕疵定位方法，属于产品质量检测技术领域。

背景技术

随着生产和工艺技术的进步，产品质量的要求也进一步提高，产品表面质量对于成品质量的影响越来越受到人们的关注。诸如光缆、晶圆、芯片等瑕疵对成品质量影响比较大的产品，在生产时，对其产品瑕疵的检测就十分重要。

目前，国内对于产品瑕疵定位的方法大多还停留在原始的人工检测。人工检测在当前产品流水线生产的时代，其精度和速度都达不到工业所需的基本要求。

现阶段对产品瑕疵定位的研究，主要通过对瑕疵的特征提取，再对图像像素进行遍历，匹配出符合瑕疵特征的区域。此类方法适用范围不广、算法太过复杂无法实现实时检测。

因此许多企业迫切需要探索一种客观、有效、灵活、高速、可靠、适用范围广、实时的产品瑕疵定位方法来代替传统的人工检测。

发明内容

本发明的目的在于克服现有技术的不足，提供一种实时的产品瑕疵定位方法，以实现产品瑕疵的实时、快速准确检测，该方法运算量小，检测精度高，还可以根据客户对产品质量的要求进行设定，进而可以检验不同尺寸的瑕疵，以满足不同产品对产品瑕疵定位所需要的不同需求。

本发明提供一种实时的产品瑕疵定位方法，包括以下步骤：

步骤一、图像预处理，包括图像灰度化和图像二值化；

步骤二、选定处理区域；

步骤三、瑕疵粗定义，

将瑕疵粗定义系数矩阵与图像作平面卷积，得到每个像素点的灰度梯度值；

设定梯度阈值，将每个像素点的灰度梯度值和梯度阈值相比较，当灰度梯度值大于梯度阈值时，认定该像素点为瑕疵边缘点；

多个瑕疵边缘点围成的区域为异常区域；

步骤四、瑕疵精定义，设定瑕疵最小尺寸，判断比较异常区域的是否大于瑕疵最小尺寸，如是，则判定异常区域为瑕疵。

作为本发明的进一步技术方案，所述图像灰度化具体为将图像中每个像素点代入如下公式：

Gray＝R*0.3+G*0.59+B*0.11，

其中，图像的原始格式为RGB565，式中R、G、B分别为每个像素点的三个分量值，Gray为每个像素点的灰度值。

进一步的，所述图像二值化具体为：对已经灰度化后的图像再取一灰度阈值μ，将Gray值大于μ的像素点的灰度值直接赋值为255，其他像素点的灰度值全部赋值0。

进一步的，所述选定处理区域具体为根据产品和摄像头的相对位置，在图像中对产品所在区域进行选取。

进一步的，所述瑕疵粗定义系数矩阵包括横向瑕疵粗定义系数矩阵和纵向瑕疵粗定义系数矩阵。

进一步的，所述步骤三中灰度梯度值的具体计算过程为：

其中：A代表原始图像，G_x和G_y分别代表经横向及纵向瑕疵粗定义系数矩阵检测完毕的图像梯度值，G为灰度梯度值。

进一步的，所述瑕疵精定义具体为：

设定瑕疵尺寸阈值m，

按照拍摄图像和实际物体的比例关系，将m转换为图像上的像素点个数n，判断异常区域的像素点个数是否大于n；

如是，则判定该异常区域为瑕疵；

如否，则判定该异常区域为伪瑕疵。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明先将原始图像进行预处理，使其只含有二值化后的信息，去除了大部分无用的信息，大大减少了之后图像处理的运算量，提高了运算速率，同时也保持原有的瑕疵定位效果不变。

2、本发明提出的方法不需要遍历图像所有的像素，只要对产品表面在图像中所处的区域进行处理，然后统计出异常区域包含像素点的个数，再跟给出的阈值相互比较，就可以确定当前摄像头扫描区域内产品表面是否存在瑕疵。舍去了在图像处理中寻找产品表面的过程，进而缩短了图像处理的时间。

3、本发明全部的处理步骤，除了瑕疵粗定义处运用了卷积之外，其他步骤里的运算只有加法，极大的减少处理过程的计算量，同时也保证了检测质量不变，完全能够匹配工业上产品生产流水线的速度。

4、本发明设置了阈值窗口，可以根据客户对产品质量的要求进行设定，进而可以检验不同尺寸的瑕疵，以满足不同产品对产品瑕疵定位所需要的不同需求。

附图说明

图1为本发明一种实时的产品瑕疵定位方法的整体流程图。

图2本发明实施例中光缆图像信息采集的原始图像经过灰度化处理之后的图像。

图3为本发明实施例中对灰度图进行二值化处理后的示意图。

图4为本发明实施例中选定处理区域过程中的示意图。

图5为本发明实施例中舍弃选定区域外的图像信息的示意图。

图6为本发明实施例中对划定区域进行瑕疵粗定义后的示意图。

图7为本发明实施例中对划定区域进行瑕疵精定义后所找出瑕疵的示意图。

具体实施方式

如图1所示，本发明公开的一种实时的产品瑕疵定位方法，主要包括图像预处理，选定处理区域，瑕疵粗定义以及瑕疵精定义这四个步骤。

步骤1、图像预处理主要包括图像灰度化和图像二值化。

图像灰度化主要是将摄像头采集来的原始彩色图像转化为灰度图。

原始图像的格式为RGB565，图像中每个像素点都由R，G，B三个值来确定。将每个像素点的R，G，B代入公式(1)可以算出该像素点的灰度值Gray：

Gray＝R*0.3+G*0.59+B*0.11 (1)

将原始图像的每个像素点都填入其灰度值Gray，即可得到灰度化后的图像。

图像二值化主要是进一步压缩灰度化后的图像信息量，以减少之后图像处理的运算量。

二值化的具体实现过程为对已经灰度化后的图像再取一阈值μ，μ的值可以根据实际情况进行适当的调整，将Gray值大于μ的像素点的灰度值直接赋值为255，其他像素点的灰度值全部赋值0。

步骤2、选定处理区域的目的主要是利用工业生产中产品流水线的特殊性质，将采集到的图像，进行产品所在区域的选取，只对该区域进行处理，减少了对产品以外区域的运算，降低图像处理过程中的运算量，提高产品瑕疵定位的速度。

在一般的工业产品生产过程中，产品总是以流水线的模式生产，在摄像头采集产品信息时，产品和摄像头的相对位置不会发生较大的变化。因此，产品在摄像头采集到的原始图像中总是处于一个相对固定的位置。本发明通过这一特性，可以选定产品所在的区域作为处理区域，处理区域可以根据具体的工业需求进行相应调整。

因此在本发明进行瑕疵定位之前，可以直接忽略掉产品以外区域的图像信息，只对图像中产品所处的固定区域进行瑕疵定位。

步骤3、所述瑕疵粗定义部分主要是利用本发明提供的瑕疵粗定义系数矩阵：

瑕疵粗定义系数矩阵包含两组3*3的矩阵，分别为横向瑕疵粗定义系数矩阵及纵向瑕疵粗定义系数矩阵，将两矩阵与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。

如果以A代表原始图像，G_x和G_y分别代表经横向及纵向瑕疵粗定义系数矩阵检测完毕的图像梯度值，G为灰度梯度，其公式如(2)(3)：

图像的每一个像素的横向及纵向灰度值通过公式(4)结合，来计算该点梯度的大小；

梯度G大于设定阈值，则认为该点为瑕疵边缘点。多个瑕疵边缘点围成的区域为异常区域。

步骤4、瑕疵精定义主要包括瑕疵阈值设置和阈值比较判定两个部分：

假设我们需要寻找的瑕疵的最小尺寸为m，则m就是本发明中对瑕疵进行精定义的阈值。通过拍摄图像和实际物体大小的比例关系，将m转换成图像上的像素点个数n。本发明自动检索大于n个像素点的异常区域，如果存在这样的异常区域，本发明就判定产品表面存在瑕疵。对于图像上小于n个像素点的异常区域，本发明将其认定为伪瑕疵，不予考虑。

将图像中所含有的满足条件的瑕疵异常区域的个数记录下来，记为q。

综上所述，经过上述步骤处理完毕得到的数据q，就是产品瑕疵的数量。

下面以光缆瑕疵定位为例，结合附图对本发明的技术方案做进一步的详细说明。

本实施例提出了在工业光缆制造的流水线上，光缆的传输速度一般为3到5m/s。为了保证在这样的速度下光缆的瑕疵依然被检测到，图像的采集率需要达到500fps。

光缆的每一个部分都可能出现瑕疵，并且由于采取选取处理区域的方法会丢失一部分光缆在某一图像中边缘的信息。

因此采用4台高速摄像机同时架于光缆的上下左右4个方向，每处图像在本发明中只截取光缆中轴线处上下倍直径的区域。

这样每台摄像机所处理的图像即为光缆所含的信息量的1/4。而1秒钟所需要处理的图像数量为2000帧，每帧图像所要处理的时间为0.5ms。

因此为了保持较高的计算速率，必须采用精简有效的检测和识别算法。

图2为本发明中光缆图像信息采集的原始图像经过灰度化处理之后的图像，其中白色矩形区域为光缆区域，白色矩形区域外为非光缆，白色矩形区域内灰色区域为要识别的瑕疵。可以看出，虽然经过了灰度化的处理，但图像上还含有大量与瑕疵定位无关的信息。因此需要进行二值化的处理，减少图像处理的运算量。

图3为本发明对灰度图进行二值化处理后的示意图，由于瑕疵与产品表面对光线的反射率有很大的不同，因此瑕疵和产品表面的图像存在非常明显的色差，而在经过二值化后，瑕疵和产品表面被更加明显的分割开来，能够更简便的进行之后的瑕疵检测。在图2中，图像中部的长方形白色区域是光缆区域，其上的黑色不规则形状区域为瑕疵。

图4为本发明中选定处理区域的示意图，其中，两条黑色平行线包围的区域为最终确定选定的处理区域，其余区域都为无效区域。选定处理区域中只包含了产品和瑕疵的一些信息，将这之外的信息全部进行舍弃，使得要进行分析的信息量大幅减小。在图4中，也能直观的表现处计算量的减少。

图5为舍弃选定区域外的图像信息的示意图，将划定区域外所有区域标黑，对该处图像信息不进行采集，之后对于瑕疵的定位只在选定区域进行。

图6为对选定区域进行瑕疵粗定义后的示意图，通过瑕疵粗定位之一步骤，瑕疵部分以黑线包围区域的形式进行表示，对某区域是否存在瑕疵的判定就转化为了判断该区域中黑线包围区域的大小是否在规定的阈值里。

假定我们要识别的瑕疵尺寸要求为大于0.4mm*0.4mm，通过计算可以得出，认定瑕疵所包含的像素点要多于1600个，图6中黑框区域包围处的瑕疵的像素点多于1600个，因此可以被判定为瑕疵。

图7为对划定区域进行瑕疵精定义后所找出瑕疵的示意图，可以看到，小于阈值区域的部分已经被滤除，只留下满足检测条件的瑕疵。

现阶段主流的瑕疵定位算法都是基于主动的瑕疵匹配，这些算法大多都比较复杂，比如基于测不准原理的瑕疵定位算法，需要在时域和频域两方面进行计算判定。这就导致了这些算法耗时过长，无法实现实时检测产品瑕疵。而与之相反，本发明以瑕疵与产品表面对光线的反射率的不同为切入点，摄像头采集的瑕疵和产品表面的图像会存在非常明显的色差，因此只需要计算色差区域的面积和设定的阈值进行比较，即可判断出瑕疵是否存在，与传统的瑕疵定位算法相比，计算量大幅减小，因此可以实现瑕疵的实时检测。

在工业产品的生产过程中，如果产品瑕疵定位不能实时进行检测，就需要花费额外的时间对产品质量进行检测，导致整个产品生产流程变长，如果采用本发明方法实现产品瑕疵的实时检测，就可以在生产的过程中直接对产品的质量进行检测，可以大幅缩短产品的生产流程，提高生产效率。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (7)

1.一种实时的产品瑕疵定位方法，其特征在于包括以下步骤：

步骤一、图像预处理，包括图像灰度化和图像二值化；

步骤二、选定处理区域；

步骤三、瑕疵粗定义，

将瑕疵粗定义系数矩阵与图像作平面卷积，得到每个像素点的灰度梯度值；

设定梯度阈值，将每个像素点的灰度梯度值和梯度阈值相比较，当灰度梯度值大于梯度阈值时，认定该像素点为瑕疵边缘点；

多个瑕疵边缘点围成的区域为异常区域；

步骤四、瑕疵精定义，

设定瑕疵最小尺寸，判断比较异常区域的是否大于瑕疵最小尺寸，如是，则判定异常区域为瑕疵。

2.根据权利要求1所述的一种实时的产品瑕疵定位方法，其特征在于，所述步骤一中的图像灰度化具体为将图像中每个像素点代入如下公式：

Gray＝R*0.3+G*0.59+B*0.11，

其中，图像的原始格式为RGB565，式中R、G、B分别为每个像素点的三个分量值，Gray为每个像素点的灰度值。

3.根据权利要求2所述的一种实时的产品瑕疵定位方法，其特征在于，所述步骤一中的图像二值化具体为：

对已经灰度化后的图像再取一灰度阈值μ，将Gray值大于μ的像素点的灰度值直接赋值为255，其他像素点的灰度值全部赋值0。

4.根据权利要求1所述的一种实时的产品瑕疵定位方法，其特征在于，所述选定处理区域具体为根据产品和摄像头的相对位置，在图像中对产品所在区域进行选取。

5.根据权利要求1所述的一种实时的产品瑕疵定位方法，其特征在于，所述瑕疵粗定义系数矩阵包括横向瑕疵粗定义系数矩阵和纵向瑕疵粗定义系数矩阵。

6.根据权利要求5所述的一种实时的产品瑕疵定位方法，其特征在于，所述步骤三中灰度梯度值的具体计算过程为：

其中：A代表原始图像，G_x和G_y分别代表经横向及纵向瑕疵粗定义系数矩阵检测完毕的图像梯度值，G为灰度梯度值。

7.根据权利要求1所述的一种实时的产品瑕疵定位方法，其特征在于，所述瑕疵精定义具体为：

设定瑕疵尺寸阈值m，

按照拍摄图像和实际物体的比例关系，将m转换为图像上的像素点个数n，判断异常区域的像素点个数是否大于n；

如是，则判定该异常区域为瑕疵；

如否，则判定该异常区域为伪瑕疵。