CN108364291A - 基于计算机视觉技术的原坯布快速检测方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉技术的原坯布快速检测方法，依次对采集到的待检测图像进行Blob特征点检测，判断是否存在斑点；进行轮廓检测和提取，判断是否存在连通区域；最后旋转截图灰度积分投影，判断图像是否存在直线。本发明能够检测出勾丝、破洞、污迹、起球、折痕、跳纱、缺经、断纬等多种类型的瑕疵，克服了现有技术中大多采用针对具体某一特性进行特定的算法检测方法，造成程序运行缓慢、实时性不够等不足，极大地提高了织物瑕疵检测的效率和精度，提高了单位时间的工作效率，降低了生产成本。

Description

基于计算机视觉技术的原坯布快速检测方法

技术领域

本发明涉及计算机视觉技术在织布制造领域中的应用，特别是涉及一种能够高效、全面检测出原坯布瑕疵的基于计算机视觉技术的原坯布快速检测方法。

背景技术

随着机械制造技术的发展和进步，纺织圆机转速高、产量高、织物品质好的特点使其受到众多纺织企业的青睐。但是在原坯布生产过程中还是会产生诸如油斑、破洞、漏针、勾丝、断经、缺纬等问题，降低织物的等级，据统计，平均一个使用圆机生产的厂家十天会产生2吨左右的次品原坯布。目前国内的布匹瑕疵检测还没有一套正式的推向市场的瑕疵检测***，还是由人工在验布机上完成。受个人因素和验布机的影响，检测效率低，漏检几率大，使得工作效率很低。国外的四大全自动验布***：以色列EVS公司的坯布自动检测***、瑞士Uster公司的Fabriscan自动验布***、比利时Bareco公司的Cyclops***、德国Obdix光电子技术公司的疵点在线检测***，都是通过在验布机上检测的，但是一套检测***造价昂贵、运输不易、维护不便。若能在圆机内通过基于计算机视觉的方法去检测，将大大降低布匹的损失，提高原料利用率和工作效率。

国外对织物瑕疵利用计算机视觉进行检测的研究开始于上世纪80年代。为了提高检测的正确率，许多学者提出了多种有效的检测算法。如MC Hu提出的利用小波变换对图像进行多分辨率表示，然后用小波包最佳树中最小六熵的值和位置作为人工神经网络的特征参数去识别织物瑕疵。Jasper W J利用小波算法可产生多分辨率的特性，提出了一种自适应小波算法来提取织物的纹理特性。但是小波算法对油污、破洞等呈区域分布状疵点识别率较低。KL Mak等通过利用Gabor小波网络，从织物图像提取纹理特征，从而设计出最优的Gabor滤波器，提出一种新的半监督缺陷检测方案，该方案由一个实值的Gabor滤波器和一个平滑滤波器组成。该算法对含有平纹和斜纹两种纹理的布匹样本检测精度较高，但是对其他类型的布匹检测正确率较低。DL Yuan提出的基于无暇纺织品通过小生境遗传算法获得最优Gabor滤波器与分割阈值参数的方法。而国内近些年大量学者也对织物瑕疵检测提出了各种有效的检测算法。如吴宇提出的基于视觉显著图构建的织物疵点图像分割的方法，分析并优化ltti视觉显著性计算模型，将小波变换和傅里叶变换用于织物图像的亮度显著图构建，通过分析织物图像本身特点优化设计用于提取织物图像方向特征的Gabor滤波器组，最后通过对织物图像的显著图分别进行阈值分割并线性融合形成疵点信息。但是该方法在疵点信息的某一特征在图像中的显著性本身很高时，会有较大的误判。周志金提出的三级检测算法，第一级通过Hough变换检测最长直线病统计直线的的像素数目，以此设定合理的筛检阈值；第二级利用灰度投影波形在疵点处的异常特性，提取额疵点处投影波形的五种有效特征进行识别；第三级利用灰度投影和K近邻的织物疵点快速定位识别。但是此方法的识别率仅为76.8％，识别率较低，达不到工业上校测的精度要求。陈德裕提出的通过数字图像处理嵌入式***、模式识别、CCD和精密伺服***进行织物检测，不过此方法实时性还不够，精确度有待于进一步提高。然而，上述方法应用到验布机上，因为验布机的速度过快，褶皱过多，会有较多的误识和漏检。

因此，在针织圆机运行过程中对原坯布进行检测是很有必要的。如周霞提出了一种在针织圆机上的基于小波变换的检测方法和基于极限学习机的分类方法对针织物瑕疵进行检测和分类，此方法先对采集的织物图像进行预处理，分离疵点和图像背景，之后针对织物进行小波分解，然后利用灰度共生矩阵提取纹理特征值，最后利用极限学习机对疵点进行分类。但是此方法应用到圆机上，程序运行速度慢，实时性不够。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于计算机视觉技术的原坯布快速检测方法，依次通过采用Blob特征点检测、轮廓提取检测和旋转截取灰度积分投影检测三种方法去检测，克服了因布匹的瑕疵类型较多、现有技术中大多为针对具体某一特性进行特定的算法检测方法，造成程序运行缓慢、实时性不够等不足，极大地提高了织物瑕疵检测的效率和精度。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于计算机视觉技术的原坯布快速检测方法，其特征在于：所述方法包括Blob特征点检测、轮廓检测和提取和旋转截图灰度积分投影三个步骤，其中，

所述Blob特征点检测步骤用于判断图像是否存在斑点，筛选待检测的灰度图的相应区域内的各个二值图像斑点的中心点坐标，计算得出灰度图像斑点的位置和大小；

所述轮廓检测和提取步骤用于判断是否存图像在连通区域，先对待检测的灰度图采用Canny双阈值算法进行边缘检测，将低阈值中与高阈值的边缘有重叠的线条保留，其他的线条都删除，得到边缘点的轮廓信息，然后对边缘的轮廓信息进行提取，最后显示所有检测出的连通区域的轮廓；

所述旋转截图灰度积分投影步骤用于判断图像是否存在直线，对待检测的灰度图先旋转，然后截取原图和旋转后的灰度图公共区域内的最大长方形的图像，然后进行积分投影，提取直线瑕疵。

作为优选，所述灰度图像斑点位置(X，Y)由该斑点的所有二值图像斑点的中心点坐标的加权和得到，公式为：

其中，qi表示该斑点的各个二值图像斑点的惯性率的平方，(xi，yi)表示该二值图像斑点的位置。

作为优选，所述Canny算子求边缘点具体算法步骤如下：

步骤a、消除噪声，用高斯滤波器平滑图像降噪；

步骤b、用一阶偏导有限差分计算梯度幅值和方向：

①运用一对卷积阵列(分别作用于x和y方向)：

②使用下列公式计算梯度幅值和方向：

其中G表示梯度幅值，θ表示梯度方向；

步骤c、对梯度幅值进行非极大值抑制：

寻找像素点局部最大值，沿着梯度方向，比较它前面和后面的梯度值，排除非边缘像素；

步骤d、用双阈值算法检测和连接边缘：

①如果某一像素位置的幅值超过高阈值，该像素被保留为边缘像素；

②如果某一像素位置的幅值小于低阈值，该像素被排除；

③如果某一像素位置的幅值在两个阈值之间,该像素仅仅在连接到一个高于高阈

值的像素时被保留。

作为优选，所述旋转截图灰度积分投影方法中水平积分投影公式为：

A_h＝Sum_h/M (10)

本发明垂直积分投影公式为：

A_v＝Sum_v/N(12)

其中θ_n表示旋转的角度，(x_i，Y_j)表示对旋转后的图像在水平方向积分投影，(X_i，y_j)表示对旋转后的图像在垂直方向积分投影，A_h表示水平方向积分投影平均值，A_v表示垂直方向积分投影平均值。

作为优选，本发明的基于计算机视觉技术的原坯布快速检测方法，具体步骤如下：

步骤(1)、检测圆机内的摄像头是否被加载，如果没有，重新加载，如果是，进入步骤(2)；

步骤(2)、判断是否成功从摄像头读取待检测图像到内存，如果没有，重新加载，如果是，进入步骤(3)；

步骤(3)、对待检测图像预灰度化、降噪处理，进入步骤(4)；

步骤(4)、进行Blob特征点检测：判断是否存在斑点，如果有，计算灰度图像斑点的位置(X，Y)和大小，传输信号到服务器，供操作人员选择是否停止此台圆机的工作，如果没有进入步骤(5)；

步骤(5)、运用Canny算子进行轮廓检测和提取：判断是否存在连通区域，如果有，传输信号到服务器，供操作人员选择是否停止此台圆机的工作，如果没有，进入步骤(6)；

步骤(6)、采用旋转截图灰度积分投影方法：判断图像是否存在直线，如果有，传输信号到服务器，供操作人员选择是否停止此台圆机的工作，如果没有，进入步骤(7)；

步骤(7)、本次待检测图像检测结束，进入下一帧图像的检测。

有益效果：本发明采用Blob特征点检测方法、轮廓提取方法和旋转截取灰度积分投影三种方法，将瑕疵的特征大致分为斑点、轮廓、直线三大类，能够检测出勾丝、破洞、污迹、起球、折痕、跳纱、缺经、断纬等多种类型的瑕疵，使得织物检测的正确率更高，提高了单位时间的工作效率，降低了生产成本。

附图说明

图1为本发明的基于计算机视觉技术的原坯布快速检测方法的流程图；

图2为本发明中圆机的架设结构示意图；

图3为多个圆机与服务器的连机结构示意图，其中：

1为圆机，2为摄像头，3为光源，4为网线，5为中心轴，6为展布架，7为玻璃圆筒，8为支撑连接轴，9为交换机，10为服务器；

图4为旋转截图灰度积分投影检测时的瑕疵区域提取示意图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

图1为本发明的基于计算机视觉技术的原坯布快速检测方法的流程图，如图2和图3所示，为本发明中圆机的架设结构以及多个圆机与服务器的连机结构示意图。如图2所示，在圆机1内安装好免驱动高清快速拍摄摄像头2，通过网线4连接交换机9，交换机9连接服务器10，启动程序，点击开始检测。具体的安装和检测流程如下：

(1)、在每一台圆机1内，安装好免驱动高清快速拍摄摄像头2和光源3；

(2)、在中心轴5***网线4和电源线，网线4连接摄像头2，电源线连接光源3和摄像头2；

(3)、把网线4连接到交换机9，交换机9连接服务器10，每一个摄像头2对应的圆机1设有一个独立编号；

(4)、打开软件，点击开始检测，***自动检测摄像头2是否被加载，如果没有，重新加载，如果是，进入步骤(5)；

(5)、判断是否成功从摄像头2读取待检测图像到内存，如果测有，重新加载，如果是，进入步骤(6)；

(6)、依次进行Blob特征点检测，判断是否存在斑点；然后进行轮廓检测和提取，判断是否存在连通区域；最后采用旋转截图灰度积分投影方法，判断图像是否存在直线；所述三个检测步骤中，任一检测结果为“是”，即存在瑕疵的情况时，则传输信号到服务器，记录检测到瑕疵的圆机编号和类型，操作人员选择是否停止此台圆机的工作，进入步骤(7)；若三个检测结果均为“否”，即不存在瑕疵，则进入步骤(7)；

(7)、本次待检图像检测结束，进入下一帧图像的检测。

本发明中，操作人员根据服务器上显示的摄像头编号、圆机编号等信息，可以定位到是哪一台圆机出现瑕疵，然后判断是否需要停止此圆机的工作。

具体地，由于在圆机针织过程中，因织针异常导致纱线被勾出，在布匹上呈现纱线暴露于织物表面的现象，或使织物表面起球，产生勾丝、起球的问题。但是此类瑕疵细小，在高速移动的验布机上，通过人工或摄像头均不易发现。而本发明中上述步骤(6)中采用的可以应用于圆机上的Blob特征点检测方法，基于局部极值的分水岭检测，其基本思想为输入一张灰度图，通过设定的阈值范围[T1，T2]，步长t，把此图像转换为一个二值图像的集合，即进行多间隔区域二值化操作；然后对每一个二值化图像通过检测边界的方式提取相应的连通域，则由边界围成的不同的连通区域就是该二值图像的斑点。但是并不是所有的二值图像的连通区域都可以认为是二值图像的斑点，在Blob特征点检测方法中通常通过设定一些限定条件来获得所期望的斑点，限定条件包括颜色、面积、形状等，若形状的限定条件包括圆度、偏心率或者凹凸程度。在二值图像中，只有黑白两种颜色，所以确定斑点的灰度值就可以区分颜色；确定连通区域的面积大小，排除面积过大或者过小的区域；斑点的形状可能是不规则的形状，任意形状的斑点圆度C定义为：

其中S表示该形状的面积，p表示周长。C＝1时，表示该形状是一个圆形。

椭圆轨道与标准圆形的偏离程度被称为偏心率。圆的偏心率等于0，椭圆的偏心率在0到1之间，抛物线的偏心率等于1。因为偏心率E和惯性率I的关系为：

E²+I²＝1 (2)

因此利用图像矩的概念计算图形的惯性率，再由惯性率计算偏心率较为方便；

在平面图形中，整个图形都在该图形的切线所围成的区域内，叫做凸形图；凸度V的定义为：

其中H表示该斑点的凸壳面积。

在通过这些的条件筛选之后，计算得到相应区域的二值图像斑点的中心点坐标，对这些中心点进行拟合分类，形成灰度图像斑点。最后计算灰度图像斑点的位置和大小。灰度图像斑点位置(X，Y)是由该半点的所有二值图像斑点的中心点坐标的加权和得到，公式为：

其中qi表示该二值图像斑点的惯性率的平方，(xi，yi)表示该二值图像斑点的位置。尺寸则是取决于该灰度图像斑点的所有二值图像斑点中面积大小居中的半径长度。

具体地，本发明中轮廓检测和提取方法优选基于Canny算子的轮廓检测方法。对于破洞、油污之类区域连通的瑕疵，先对灰度图采用Canny算计进行边缘检测，然后对边缘的轮廓信息进行提取并显示。Canny边缘检测采用双阈值算法，高阈值用来检测图像中重要的、显著的线条、轮廓等，而低阈值用来保证不丢失细节部分。最后采用一种查找算法，将低阈值中与高阈值的边缘有重叠的线条保留，其他的线条都删除。即在提高对目标边缘敏感性的同时，最大的抑制噪声。Canny算子求边缘点具体算法步骤如下：

步骤a、消除噪声，用高斯滤波器平滑图像降噪；

步骤b、用一阶偏导有限差分计算梯度幅值和方向：

①运用一对卷积阵列(分别作用于x和y方向)：

②使用下列公式计算梯度幅值和方向：

其中G表示梯度幅值，θ表示梯度方向。梯度方向近似到四个可能角度之一(一般为0度、45度、90度、135度)；

步骤c、对梯度幅值进行非极大值抑制：

寻找像素点局部最大值。沿着梯度方向，比较它前面和后面的梯度值，排除非边缘像素；

步骤d、用双阈值算法检测和连接边缘：

①如果某一像素位置的幅值超过高阈值，该像素被保留为边缘像素；

②如果某一像素位置的幅值小于低阈值该像素被排除；

③如果某一像素位置的幅值在两个阈值之间,该像素仅仅在连接到一个高于高阈

值的像素时被保留；

用Canny算子检测出灰度图的边缘信息之后，进行轮廓的提取。它的输入图像是一幅二值图像，输出的是每一个连通区域的轮廓点的集合。最后显示所有***检测出的连通区域的轮廓。

具体地，本发明中的旋转截图灰度积分投影方法，主要用于解决在原坯布上经常会有缺经、断纬等呈线性的瑕疵出现的问题。其基本思想为，根据现场观察测量得到，这类呈线性的瑕疵在织物上在正负30度之间，在通过角度旋转之后，把线性瑕疵转换成一条竖的或者横的直线，但是直接旋转处理会造成图片在积分时，4个角呈黑色，影响灰度积分投影的准确性。如图4所示，本发明中的旋转截图灰度积分投影方法，对待检测图像先旋转，然后在其内部截取以abcd四个点组成的长方形图像，使该图像内所有像素均属于原图像中，经计算，该图像的最大像素尺寸为416*320像素，然后进行积分投影，提取直线瑕疵的特征。

本发明水平积分投影公式为：

A_h＝Sum_h/M (10)

本发明垂直积分投影公式为：

A_v＝Sum_v/N (12)

其中θ_n表示旋转的角度，(x_i，Y_j)表示对旋转后的图像在水平方向积分投影，(X_i，y_j)表示对旋转后的图像在垂直方向积分投影。A_h表示水平方向积分投影平均值，A_v表示垂直方向积分投影平均值。

经过试验数据检测对比，发现当A_h或A_v大于等于6时，在此图像上存在直线，因此，说明待检测布匹上存在断经，缺纬等瑕疵。

如下表1所示，显示了本发明的检测方法和识别率与背景技术中的几种检测方法的检测结果的对比情况：

表1

	MC Hu的算法	周志金的算法	周霞的算法	本发明的算法
					误检率	14.5％	20％	2％	1％
漏检率	5.5％	3.3％	5％	2％
					识别率	80％	76.7％	93％	97％

由上表可知，本发明的方法，正确率更高，极大地提高了检测效率。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于计算机视觉技术的原坯布快速检测方法，其特征在于：所述方法包括Blob特征点检测、轮廓检测和提取和旋转截图灰度积分投影三个步骤，其中，

所述Blob特征点检测步骤用于判断图像是否存在斑点，筛选待检测的灰度图的相应区域内的各个二值图像斑点的中心点坐标，计算得出灰度图像斑点的位置和大小；

所述轮廓检测和提取步骤用于判断是否存图像在连通区域，先对待检测的灰度图采用Canny双阈值算法进行边缘检测，将低阈值中与高阈值的边缘有重叠的线条保留，其他的线条都删除，得到边缘点的轮廓信息，然后对边缘的轮廓信息进行提取，最后显示所有检测出的连通区域的轮廓；

所述旋转截图灰度积分投影步骤用于判断图像是否存在直线，对待检测的灰度图先旋转，然后截取原图和旋转后的灰度图公共区域内的最大长方形的图像，然后进行积分投影，提取直线瑕疵。

2.根据权利要求1所述的一种基于计算机视觉技术的原坯布快速检测方法，其特征在于，所述灰度图像斑点位置(X，Y)由该斑点的所有二值图像斑点的中心点坐标的加权和得到，公式为：

其中，qi表示该斑点的各个二值图像斑点的惯性率的平方，(xi，yi)表示该二值图像斑点的位置。

3.根据权利要求1所述的一种基于计算机视觉技术的原坯布快速检测方法，其特征在于，所述Canny算子求边缘点具体算法步骤如下：

步骤a、消除噪声，用高斯滤波器平滑图像降噪；

步骤b、用一阶偏导有限差分计算梯度幅值和方向：

①运用一对卷积阵列(分别作用于x和y方向)：

②使用下列公式计算梯度幅值和方向：

其中G表示梯度幅值，θ表示梯度方向；

步骤c、对梯度幅值进行非极大值抑制：

寻找像素点局部最大值，沿着梯度方向，比较它前面和后面的梯度值，排除非边缘像素；

步骤d、用双阈值算法检测和连接边缘：

①如果某一像素位置的幅值超过高阈值，该像素被保留为边缘像素；

②如果某一像素位置的幅值小于低阈值，该像素被排除；

③如果某一像素位置的幅值在两个阈值之间,该像素仅仅在连接到一个高于高阈值的像素时被保留。

4.根据权利要求1所述的一种基于计算机视觉技术的原坯布快速检测方法，其特征在于，所述旋转截图灰度积分投影方法中水平积分投影公式为：

A_h＝Sum_h/M (10)

本发明垂直积分投影公式为：

A_v＝Sum_v/N (12)

其中θ_n表示旋转的角度，(x_i，Y_j)表示对旋转后的图像在水平方向积分投影，(X_i，y_j)表示对旋转后的图像在垂直方向积分投影，A_h表示水平方向积分投影平均值，A_v表示垂直方向积分投影平均值。

5.根据权利要求1所述的一种基于计算机视觉技术的原坯布快速检测方法，其特征在于，具体步骤如下：

步骤(1)、检测圆机内的摄像头是否被加载，如果没有，重新加载，如果是，进入步骤(2)；

步骤(2)、判断是否成功从摄像头读取待检测图像到内存，如果没有，重新加载，如果是，进入步骤(3)；

步骤(3)、对待检测图像预灰度化、降噪处理，进入步骤(4)；

步骤(4)、进行Blob特征点检测：判断是否存在斑点，如果有，计算灰度图像斑点的位置(X，Y)和大小，传输信号到服务器，供操作人员选择是否停止此台圆机的工作，如果没有进入步骤(5)；

步骤(5)、运用Canny算子进行轮廓检测和提取：判断是否存在连通区域，如果有，传输信号到服务器，供操作人员选择是否停止此台圆机的工作，如果没有，进入步骤(6)；

步骤(6)、采用旋转截图灰度积分投影方法：判断图像是否存在直线，如果有，传输信号到服务器，供操作人员选择是否停止此台圆机的工作，如果没有，进入步骤(7)；

步骤(7)、本次待检测图像检测结束，进入下一帧图像的检测。