CN102706881A - 基于机器视觉的布匹瑕疵检测方法 - Google Patents

Abstract

本发明属于图像处理与模式识别技术领域，涉及一种基于机器视觉的布匹瑕疵检测方法，包括：对正常布匹纹理图像进行功率谱密度分析，获取其纹理的中心频率F和方位角θ；构造S×L的自适应Gabor滤波器组，其中，S代表选取的中心频率数，L代表选取的方位角数；正常布匹纹理图像进行滤波，获得特征图像组，计算出它的每幅图的均值和方差；采集待检测布匹图像；对其滤波，获得特征图像组；对待检测布匹图像的特征图像组进行阈值后处理得到绝对特征图像组；归一化处理；图像融合并进行二值化处理得到检测二值图像；去除噪声干扰，获得最终检测结果。本发明具有通用性强、效率高的优点。

Description

基于机器视觉的布匹瑕疵检测方法

技术领域

本发明属于图像处理与模式识别技术领域，涉及一种基于机器视觉的布匹瑕疵检测方法。

背景技术

在纺织工业中，布匹瑕疵检测环节是影响产品质量的关键因素。在产品生产过程中，由于机器设备操作错误或者机器故障等因素的影响，布匹中通常含有各种各样的瑕疵。目前，国内的大多数织布厂主要依靠人工视觉检测布匹瑕疵，存在明显缺陷：(1)劳动强度大，检测速度慢，检测效率低；(2)检测人员需要长时间地集中精神工作，整个工作对工人身体健康不利；(3)检测人员主观因素影响大，误检率和漏检率高，一般只能检出40％～60％的瑕疵。

目前市场上主要有比利时Barco公司的Cyclops在线验布***，以色列爱微视(EVS)公司的I-TEX验布***和瑞士Uster公司的Fabriscan自动验布***和德国Opdix光电子技术公司开发的在线布匹检验***。在国内香港大学研制了基于Gabor滤波器组的布匹瑕疵检测***CAVIS，具有一定的检测率。以上介绍的检测***价格非常昂贵，检测***均已经用于实际的布匹生产检测过程中，并且它们的检测效果一般并且具有很强的局限性，它们都要求布匹必须是单一背景或者纹理是各向同性，而且对于较小能量的瑕瑕疵，很难正确的检测出来。

发明内容

为了克服布匹瑕疵人工检测的不足，针对基于Gabor滤波器组的布匹瑕疵检测算法计算量较大、检测速度慢的缺点，本发明提供一种通用性强、成本较低并能提高检测效率和效果的基于机器视觉的布匹瑕疵检测方法。本发明的技术方案如下：

一种基于机器视觉的布匹瑕疵检测方法，包括下列步骤：

(1)工业相机采集正常布匹纹理图像P(x，y)；

(2)对P(x，y)利用功率谱密度分析，获取布匹图像纹理的中心频率F和方位角θ；

(3)确定图象纹理的两组参数：中心频率组(F，F/2)；方位角组(θ，θ+π/2)，利用这两组参数设定并组成S×L的自适应Gabor滤波器组，其中，S代表选取的中心频率数，L代表选取的方位角数；

(4)在离线情况下，对正常布匹纹理图像P(x，y)进行自适应Gabor滤波器组的滤波，获得特征图像组H_m，n(x，y)，计算出它的每幅图的均值(Mea_m，n)和方差(Std_m，n)，用作检测图象瑕疵的阈值。

(5)采集待检测布匹图像I(x，y)；

(6)用构建的自适应Gabor滤波器组对布匹图像I(x，y)进行滤波，获得特征图像组H_m，n(x，y)；

(7)用从(4)获取的均值(Mea_m，n)和方差(Std_m，n)对H_m，n(x，y)进行阈值后处理得到绝对特征图像组

其中，τ是可调的参数，取值范围2-3；

(8)对图像组F_m，n(x，y)进行归一化处理得到相对特征图像组N_m，n(x，y)；

(9)对图像组N_m，n(x，y)进行方向角和频率的融合，并进行二值化处理得到检测二值图像I_bm(x，y)；

(10)利用最小瑕疵的面积信息去除二值图像I_bm(x，y)中的噪声干扰，获得最终检测结果I_out(x，y)；

(11)判断检测结果I_out(x，y)是否含有瑕疵。

作为优选实施方式，所述的基于机器视觉的布匹瑕疵检测方法，步骤(9)中，使用Bernoulli准则的融合方法对图像组N_m，n(x，y)进行方向角和频率的融合得到图象。

本发明所涉及的布匹瑕疵检测技术，首先利用正常布匹纹理图像的功率谱分析，获取布匹纹理的中心频率和方向角等特征，利用这些特征信息设定自适应的Gabor滤波器组的参数；然后，利用自适应Gabor滤波器组对正常的布匹纹理图像进行滤波，对滤波后的图像提取它的均值、方差等特征作为在线布匹瑕疵检测的阈值；同样，利用自适应Gabor滤波器组对布匹样本图像进行滤波，并且利用离线获取的阈值进行布匹瑕疵的检测；最后，对阈值后的特征图像进行归一化、图像融合、二值化、去噪等处理后对瑕疵进行判定，输出瑕疵信息，完成布匹瑕疵检测的整个过程。本发明提出的布匹瑕疵检测方法，该技术用布匹纹理图像的功率谱分析设定了自适应的Gabor滤波器组的参数，有效的减少了滤波器的个数，并且提高了检测效果、节约人力成本、提高了检测效率和产品的可信度、并且大幅度降低了漏检率和误检率。如图5所示的检测结果表明，设计出的Gabor滤波器组能够检测出各种类型的瑕疵。本发明能检测出80％的布匹瑕疵，检测率达到85％。

附图说明

图1：布匹瑕疵检测算法的流程框图。

图2：自适应Gabor滤波器组参数设定框图。

图3：常见的几种布匹瑕疵图像：(a)断织瑕疵图像，(b)面粒瑕疵图像，(c)稀密路瑕疵图像，(d)油污瑕疵图像，(e)粗结瑕疵图像，(f)色线瑕疵图像，(g)跳纱瑕疵图像，(h)破洞瑕疵图像，(i)跳花瑕疵图像，(j)竹节瑕疵图像，(k)双经瑕疵图像，(l)双纬瑕疵图像。

图4：断织瑕疵图像及其整个检测过程生成的图像。图像(A)为断织瑕疵图像；图像(A1)和(A2)是Gabor滤波后归一化的水平特征结果；图像(A3)是(A4)是Gabor滤波后归一化的竖直特征结果；图像(A5)是中心频率F₁上的融合结果；图像(A6)中心频率F₂上的融合结果；图像(A7)为总的融合结果；图像(A8)是二值化处理后的结果。

图5：一些常见的瑕疵图像及检测结果。在图5中，从(5-1)到(5-11)分别为面粒、稀密路、油污、粗结、色线、跳纱、破洞、跳花、竹节、双经、双纬瑕疵及它们检测结果。每对图像中，左图为瑕疵图像原图，右图为检测结果图。

具体实施方式

本发明的基于机器视觉的布匹瑕疵检测技术方法的总流程图如图1所示，首先从对正常的布匹纹理图像进行功率谱分析，利用获取的纹理特征信息对自适应Gabor滤波器组进行设定(可参见图2)，通过对布匹样本图像进行滤波，提取特征及瑕疵信息判定进行布匹瑕疵的检测。

参见图3，常见的布匹瑕疵为断织、面粒、稀密路、油污、粗结、色线、跳纱、破洞、跳花、竹节、双经、双纬瑕疵等。下面利用对图4断织图像的整个检测过程做进一步详述。

1.布匹纹理图像功率谱分析

图象功率谱表示为图象能量在频率上的分布，图象能量定义为：

P(u，v)＝|F(u，v)|²＝R²(u，v)+I²(u，v)

其中，P(u，v)为图象的能量大小，R(u，v)是图象傅立叶变换后的实部，I(u，v)是图象傅立叶变换后的虚部。(u，v)为图像像素点坐标。

变换后的相位角定义：

利用图像功率谱可以获取图像纹理的中心频率及方向角的大小。利用这两个参数可以设定与布匹纹理匹配的自适应Gabor滤波器。

Gabor滤波器组是完备但有冗余的，也就是说Gabor滤波器组的滤波结果能完全重构原信号，但滤波器之间并不是正交的。设定一个最高频率F_max，滤波器组的中心频率选为F_max，2^-1F_max，2^-2F_max......这样使得整个滤波器组能很好的覆盖尽量大的频域范围而又使得滤波器之间的相关性很小。绝大多数尺寸较小的瑕疵都出现在跟主纹理方向一致或者与其垂直的方向上，因此滤波器的方位角仅选择与主纹理方向一致和垂直两个方向角即可，增加滤波器的方位角意味着增加计算量。

2.自适应Gabor滤波器组设定

(1)二维Gabor滤波器

Gabor变换已经被广泛应用于图象纹理分析、人脸识别、目标检测与识别等领域。实际上，Gabor变换的核函数是高斯函数，因为高斯函数的傅立叶变换还是高斯函数，所以Gabor函数具有良好的时频域特性。复值二维Gabor函数空间表达的一般形式如下

$h(x,y)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_x{\mathrm{\σ}}_y}\exp (-\frac{1}{2}[{\left(\frac{x}{{\mathrm{\σ}}_x}\right)}^2+{\left(\frac{y}{{\mathrm{\σ}}_y}\right)}^2\left]\right)\exp \left(2\mathrm{\πjFx}\right)$

其中，F表示Gabor函数的中心频率，σ_x，σ_y是Gabor函数的尺度因子，决定了沿x和y轴的高斯包络。因此，h(x，y)是一个受尺度参数σ_x，σ_y决定的高斯函数调制的复值正弦函数。

用上面式子所示的Gabor函数作为母波，对它进行多频率扩展和方向旋转，可以产生一组自相似的Gabor函数：

$h^{\′}(x,y)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_x{\mathrm{\σ}}_y}\exp (-\frac{1}{2}[{\left(\frac{x^{\′}}{{\mathrm{\σ}}_x}\right)}^2+{\left(\frac{y^{\′}}{{\mathrm{\σ}}_y}\right)}^2\left]\right)\exp \left(2\mathrm{\π}{F}^{\′}{x}^{\′}\right)$

当选取圆对称Gabor滤波器时，即σ_x＝σ_y＝σ时，取

p＝1，2，3，...S，q＝1，2，3，...L

x′＝xcosθ_q+ysinθ_q，y′＝-xsinθ_q+ycosθ_q

F′＝F_p， ${\mathrm{\θ}}_q=\frac{\mathrm{\π}(q-1)}{L}$

其中，整数下标p，q分别代表了滤波器频率的取值和角度旋转，S是选取频率改变的总次数，L是方向旋转的总次数。

中心频率和尺度因子根据经验满足一下的关系：

$F=\frac{1}{2\mathrm{\σ}}$

这样就组成了以F和θ为主要参数的Gabor滤波器组。

(2)构建自适应Gabor滤波器组

在离线情况下，首先对布匹无瑕疵的标准图象R(x，y)进行功率谱分析，得到相应图象纹理的中心频率组(F，F/2)，其中F＝0.16；方位角组(θ，θ+π/2)，其中θ＝0。然后用这两组参数来设定并组成S×L的Gabor滤波器组，S代表选取的中心频率数，L代表选取的方位角数。在本实施例，由于选取了2个中心频率和2个方位角，所以S＝2，L＝2。

本发明实施例构造的自适应Gabor滤波器可表达为： $h_{m,n}(x,y)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}\exp (-\frac{1}{2}[{\left(\frac{x^{\′}}{\mathrm{\σ}}\right)}^2+{\left(\frac{y^{\′}}{\mathrm{\σ}}\right)}^2\left]\right)\exp \left(2\mathrm{\π}{F}^{\′}{x}^{\′}\right),$ 其中，坐标轴x的旋转角度x′＝xcosθ_n+ysinθ_n，坐标轴y的旋转角度y′＝-xsinθ_n+ycosθ_n，F′＝F_m，

m＝1，2，n＝1，2，σ是Gabor函数的尺度因子，决定了沿x和y轴的高斯包络个角度旋；

3.离线获取瑕疵检测参数

在离线情况下，对正常布匹纹理图象R(x，y)进行Gabor滤波器组的滤波，即

H_m，n(x，y)＝R(x，y)*h_m，n(x，y)，1≤m≤S，1≤n≤L

在这里，*代表是二维卷积，H_m，n(x，y)是滤波后正常布匹纹理图象的特征图象组。对于每一个这样的特征图象，计算出它的均值(Mea_m，n)和方差(Std_m，n)，可以用做在线检测分割图象瑕疵的阈值。

4.布匹瑕疵特征分割

(1)布匹瑕疵在线分割

对检测样本I(x，y)用设定的自适应Gabor滤波器组进行检测，得到输出的特征图象组H′_m，n(x，y)：

H′_m，n(x，y)＝I(x，y)*h_m，n(x，y)        (4-1)

用上一步中得到的均值和方差可以分割出图象的瑕疵。将Gabor滤波器组处理后的图象进行阈值化处理得：

其中τ是可调的参数，决定了滤波器对瑕疵检测的敏感度，很大程度上取决于检测环境。实验表明τ选取2-3。

(2)特征值归一化处理

由于用均值、方差设定的阈值获得的瑕疵绝对特征值波动范围很大，并且不容易统一的度量，同时也为使得不同滤波器得到的结果可以更好地融合，需要对结果进行归一化处理，采用每一点用它们与整幅图象平均值的相对差来表示，相对差定义为：

N_m，n(x，y)＝|F_m，n(x，y)-Mea_m，n|/Std_m，n    (4-3)

其中，Mea_m，n和Std_m，n分别是特征图象)的均值和方差。

将绝对特征值经过归一化处理转换为相对值后，原来的绝对特征值就被“映射”在-1-1之间，这样就可以很方便地通过这个相对值来分析和确定瑕疵及其位置，并且利于后续的特征值比较判断是否存在瑕疵。

(3)特征融合和二值化分割

阈值化处理的图象体现了不同频率和不同方向下瑕疵呈现出的形状特征，将这些图象进行叠加融合得到最终的二值化图象，完成瑕疵检测。

使用均值融合、加权平均融合等图像融合方法都可以实现图像间的融合，本发明中使用Bernoulli准则的融合方法。它具有强化大数，弱化小数的优点。本发明的图象融合分为两个步骤：首先利用Bernoulli准则融合不同方位角的滤波结果(可参见：H.Sari-Sarrafand J.S.Goddard，“Vision systems foron-loom fabric inspection，”IEEE Transactions on Industry Applications，35(6)：1252-1259，1999)，即得到每个中心频率下的融合结果。然后，相邻频率的融合结果取代数平均后得到融合结果，再通过二值化处理，就可以得到瑕疵的分割图象。

利用Bernoulli准则融合不同方位角的滤波结果的步骤如下：

1)用Bernoulli法则进行L个方向角的融合：

$I_i(x,y)=\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{N}_{i,j}(x,y)-\underset{l,k=1}{\overset{L}{\mathrm{\Σ}}}{N}_{i,l}(x,y)N_{i,k}(x,y)(l\≠k,1\≤i\≤S)$

2)用算术均值计算S个频率图像的融合

$I_{\mathrm{fusion}}(x,y)=\frac{1}{S}\underset{i=1}{\overset{S}{\mathrm{\Σ}}}{I}_i(x,y)$

融合得到的二值图象中经常含有噪声引起的斑点，影响检测效果，因此需要对二值图象进行去噪。具体方法为：统计出最小瑕疵的大小，用这个阈值去除噪声，实验中选择60-80。实验表明这种方法能够消除噪声斑点，准确反映瑕疵的大小。

(4)瑕疵存在性判断

经过图象二值化处理后，***的输出背景像素值为0(黑)，目标瑕疵像素为1(白)，此时计算瑕疵的坐标位置是很容易获得的。具体方法为：对二值图象沿着横向逐行累加统计像素值并形成曲线，即得到水平投影线；沿着纵向逐行累加统计像素值并形成曲线，即得到竖直投影线。处于峰值段即是瑕疵的位置。

可以用断织瑕疵图像验证整个算法过程，如图4所示，图像(A)为断织瑕疵图像；图像(A1)和(A2)是Gabor滤波后归一化的水平特征结果；图像(A3)是(A4)是Gabor滤波后归一化的竖直特征结果；图像(A5)是中心频率F1上的融合结果；图像(A6)中心频率F2上的融合结果；图像(A7)为总的融合结果；图像(A8)是二值化处理后的结果。

Claims (2)

1.一种基于机器视觉的布匹瑕疵检测方法，包括下列步骤：

(1)工业相机采集正常布匹纹理图像P(x，y)；

(2)对P(x，y)利用功率谱密度分析，获取布匹图像纹理的中心频率F和方位角θ；

(3)确定图象纹理的两组参数：中心频率组(F，F/2)；方位角组(θ，θ+π/2)，利用这两组参数设定并组成S×L的自适应Gabor滤波器组，其中，S代表选取的中心频率数，L代表选取的方位角数；

(4)在离线情况下，对正常布匹纹理图像P(x，y)进行自适应Gabor滤波器组的滤波，获得特征图像组H_m，n(x，y)，计算出它的每幅图的均值(Mea_m，n)和方差(Std_m，n)，用作检测图象瑕疵的阈值。

(5)采集待检测布匹图像I(x，y)；

(6)用构建的自适应Gabor滤波器组对布匹图像I(x，y)进行滤波，获得特征图像组H_m，n(x，y)；

(7)用从(4)获取的均值(Mea_m，n)和方差(Std_m，n)对H_m，n(x，y)进行阈值后处理得到绝对特征图像组

其中，τ是可调的参数，取值范围2-3；

(8)对图像组F_m，n(x，y)进行归一化处理得到相对特征图像组N_m，n(x，y)；

(9)对图像组N_m，n(x，y)进行方向角和频率的融合，并进行二值化处理得到检测二值图像I_bm(x，y)；

(10)利用最小瑕疵的面积信息去除二值图像I_bm(x，y)中的噪声干扰，获得最终检测结果I_out(x，y)；

(11)判断检测结果I_out(x，y)是否含有瑕疵。

2.根据权利要求1所述的基于机器视觉的布匹瑕疵检测方法，其特征在于，步骤(9)中，使用Bernoulli准则的融合方法对图像组N_m，n(x，y)进行方向角和频率的融合。

Images