CN101996405B - 一种快速的玻璃图像缺陷检测及分类方法及其装置 - Google Patents

Abstract

本发明有关于一种快速的玻璃图像缺陷检测及分类方法及其装置，其中该方法包括：步骤1，对于输入的玻璃图像进行窗口扫描，根据窗口内灰度分布的均衡性度量，得到候选缺陷窗口；步骤2，根据所述候选缺陷窗口的位置关系，合并相邻的所述候选缺陷窗口，得到候选缺陷区域；步骤3，获取所述候选缺陷区域的背景信息，并按照所述候选缺陷区域的灰度分布模式提取缺陷域；步骤4，将所述缺陷域按照尺度进行归一化，并提取特征向量，根据所述特征向量进行缺陷分类，得到缺陷分类结果。采用本发明方法能够对包含噪声的玻璃图像帧中的缺陷进行准确检测，并且能够有效地区分缺陷的类别，包括对未定义缺陷的判别。

Description

一种快速的玻璃图像缺陷检测及分类方法及其装置

技术领域

本发明涉及图像处理、计算机视觉和模式识别技术领域，特别是涉及一种快速的玻璃图像缺陷检测及分类方法及其装置。

背景技术

传统的玻璃图像缺陷检测和分类是由人工完成的，但这种方法受人为主观因素的影响，效率低，难以满足生产不断发展的需要。随着计算技术的不断发展，利用数字图像处理技术来对图像进行分析从而进行缺陷检测逐渐成为工业缺陷检测领域的主流。这种技术具有检测速度快、无需人工操作的优势，应用前景广泛。然而，光照条件的变化、缺陷形成的复杂性、玻璃上的各种悬浮物的影响(如：浮尘、水渍、或纤维等)都使得基于视觉的玻璃图像缺陷检测任务变得非常困难。

国外在玻璃生产过程中广泛的采用了自动检测设备，如英国的Pilkington公司，美国的Image Automation公司，德国的LASOR公司和Innomess公司，以及日本的旭硝子等企业都自主研制出浮法玻璃在线自动检测***。国内对玻璃图像缺陷检测的研究开展较晚，技术相对简单，目前与国外检测技术相比还有很大差距。现有的文献多数是利用简单的图像预处理操作来实现玻璃图像缺陷的检测，如对图像进行边缘提取、平滑处理、对比度增强或者更复杂的水线分割算法等。为获取更加准确的缺陷区域，还有研究者对用于进行缺陷域分割的阈值进行优化(参考：刘洲峰等，玻璃缺陷图像分割方法研究与实现，中原工学院学报)。除此之外，有研究人员利用行程长编码(Run-length-encoding，RLE)算法设计了线阵图像的污点查找算法，实现对缺陷的定位(参考：余文勇等，一种浮法玻璃全面缺陷在线检测***，华中科技大学学报)。在缺陷分类方面，目前国内广泛采用的是基于规则或模板匹配的方法。所谓基于规则的方法，即根据不同类型缺陷的成因，分析其在图像上反应出来的特征，包括亮度特征、几何特征等。如对于气泡类缺陷，气泡边缘灰度值低于周围背景，但内部某点灰度值会略高于背景灰度(参考：周欣等，玻璃缺陷快速检测分类研究，微计算机信息)。模板匹配的方法通常是用提取缺陷域的边缘轮廓或二值图像，与预先存储的缺陷样本进行匹配来实现。但由于同一种缺陷在图像上所表现出来的亮度外观也是有差别的，因此无论是基于规则的方法还是模板匹配的方法从统计意义上来讲，性能都不够稳定。近两年的研究人员开始探索提取其他图像特征，并采用神经网络或SVM(Support Vector Machine，支持向量机)分类器来进行缺陷分类。在选择特征时，可采用缺陷域的几何参数作为特征，也可以对缺陷域进行特征变换，如提取小波包特征或矩特征来进行分类(参考：郑斌，玻璃缺陷图像识别的关键技术研究，硕士论文，武汉理工大学)。相对来讲，基于统计的分类方法可以获得更好的分类性能，但几何特征数目较少，描述能力不够强；而小波特征变换较为复杂，耗时较长。因此，选取既具有强描述能力且变换简单的合适的特征对于提升最后的分类性能是非常关键的。

当前的玻璃图像缺陷检测及分类的研究多数是基于干净的缺陷图像进行的，即没有考虑图像上还存在有其他灰尘、污渍等的影响，因此，实际可以看做是对真实应用情况的简化。但实际上这些因素的影响会使得缺陷检测和分类任务变得非常困难，即要判断输入图像的某个区域是否存在缺陷，以及该缺陷是属于预先定义的缺陷类别，还是属于未定义的缺陷类别。

发明内容

本发明的目的在于提供一种快速的玻璃图像缺陷检测及分类方法及其装置，用于对包含噪声的玻璃图像帧中的缺陷进行准确检测，并且能够有效地区分缺陷的类别，包括对未定义缺陷的判别。

为了实现上述目的，本发明提供一种快速的玻璃图像缺陷检测及分类方法，其特征在于，包括：

步骤1，对于输入的玻璃图像进行窗口扫描，根据窗口内灰度分布的均衡性度量，得到候选缺陷窗口；

步骤2，根据所述候选缺陷窗口的位置关系，合并相邻的所述候选缺陷窗口，得到候选缺陷区域；

步骤3，获取所述候选缺陷区域的背景信息，并按照所述候选缺陷区域的灰度分布模式提取缺陷域；

步骤4，将所述缺陷域按照尺度进行归一化，并提取特征向量，根据所述特征向量进行缺陷分类，得到缺陷分类结果。

所述的玻璃图像缺陷检测及分类方法，其中，

所述步骤1中，进一步包括：

用窗口区域的灰度方差作为窗口内灰度分布的均衡性度量，以判断所述窗口是否可能包含缺陷，灰度方差公式如下：

$v=\underset{x\∈W}{\mathrm{\Σ}}(x-\stackrel{\‾}{x})(x-\stackrel{\‾}{x})$

其中，

v是灰度方差，x是窗口W中像素对应的亮度值，

是窗口内所有像素亮度的均值，T_W是灰度方差的经验阈值，若v＞T_w，则认为窗口区域可能包含有缺陷，否则认为此窗口区域为背景区域。

所述的玻璃图像缺陷检测及分类方法，其中，

所述步骤3中，进一步包括：

以如下公式获取所述候选缺陷区域的背景灰度值：

$I_B=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{I}_i,(H_{I_i}>H_{I_{i+1}},$ 且T_B-δ＜I_i＜T_B+δ)

其中，

I_B是候选缺陷区域的背景灰度值，i是符合条件的灰度值的索引，n是符合条件的灰度值的总数，δ是经验值，为一正数，

是对应第i个符合条件的灰度值I_i的直方图，T_B是经验背景灰度值。

所述的玻璃图像缺陷检测及分类方法，其中，

所述步骤3中，进一步包括：

根据缺陷/未定义缺陷的特征和所述背景灰度值，将所述灰度分布模式分成如下模式：

第一灰度分布模式，具有均衡的背景和明显的暗区；

第二灰度分布模式，具有均衡的背景和暗区以及明显的高亮区域。

所述的玻璃图像缺陷检测及分类方法，其中，

所述步骤3中，进一步包括：

当所述候选缺陷区域中存在的像素p_i的灰度值满足如下公式时，被判断为高亮像素：

$I_{p_i}>I_B+T_H$

其中，

是像素的背景灰度值，I_B是候选缺陷区域的背景灰度值，T_H为高亮像素的亮度高出背景灰度值的阈值。

所述的玻璃图像缺陷检测及分类方法，其中，

所述步骤3中，进一步包括：

获取所述候选缺陷区域内灰度的最小值min_x、最大值max_x，并根据确定的灰度分布模式进行缺陷域提取：

当确定的灰度分布模式为第一灰度分布模式时，令max_x＝I_B，根据对比度增强的方式以如下公式计算阈值：

thresh 1＝(max_x+min_x)/2

基于阈值thresh 1得到二值化的缺陷域，这里的二值设为0或255；或

当确定的灰度分布模式为第二灰度分布模式时，对所述候选缺陷区域采用如下灰度分段方式提供所述缺陷域：

a.对于灰度满足0≤I_i＜I_B的像素，采用与所述第一灰度分布模式相同的方式提取所述缺陷域；

b.对于灰度满足I_B≤I_i≤255的像素，令min_x＝I_B，根据对比度增强的方式以如下公式计算阈值：

thresh 2＝(max_x+min_x)/2

基于阈值thresh 2得到二值化的缺陷域，这里的二值设为0或128。

所述的玻璃图像缺陷检测及分类方法，其中，

所述步骤3中，进一步包括：

按照所述缺陷域的长度、宽度，对所述缺陷域进行按比例的边界进行扩充，公式如下：

w′＝w·α，h′＝h·α

其中，

α为边界扩充的尺度因子，w为扩充前的缺陷域的宽度，w′为缺陷域向左/向右扩充的宽度，h为扩充前的缺陷域的高度，h′为缺陷域向上/向下扩充的高度。

所述的玻璃图像缺陷检测及分类方法，其中，

所述步骤4中，进一步包括：

按照玻璃图像缺陷的分类需求设置相应的缺陷分类的策略。

所述的玻璃图像缺陷检测及分类方法，其中，

所述步骤4中，进一步包括：

采用如下缺陷判别的分类方式对玻璃图像缺陷进行分类：

通过第一级SVM分类器区分结石类缺陷与其他类别缺陷，当判断玻璃图像缺陷不是结石类缺陷时，进入第二级SVM分类器；

通过所述第二级SVM分类器区分气泡类缺陷与碎屑、未定义缺陷，当判断玻璃图像缺陷不是气泡类缺陷时，进入第三级SVM分类器；

通过所述第三级SVM分类器区分碎屑与未定义缺陷。

所述的玻璃图像缺陷检测及分类方法，其中，

所述步骤4中，进一步包括：

按照基于分块局部特征描述的特征提取方式提取所述缺陷域的特征向量。

所述的玻璃图像缺陷检测及分类方法，其中，

所述步骤4中，进一步包括：

利用主成分分析方式对所述特征向量进行降维。

所述的玻璃图像缺陷检测及分类方法，其中，

所述步骤4中，进一步包括：

在训练样本的收集阶段，对所述缺陷域进行位置扰动。

所述的玻璃图像缺陷检测及分类方法，其中，

所述步骤4中，进一步包括：

将所述缺陷判别的分类方式与基于规则的策略进行融合对所述缺陷分类结果进行修改。

所述的玻璃图像缺陷检测及分类方法，其中，

所述步骤4中，进一步包括：

在采用所述缺陷判别的分类方式获取所述缺陷分类结果后，对所述未定义缺陷按照紧致的缺陷特征规则进行限制，获取误分至所述未定义缺陷的真实缺陷。

为了实现上述目的，本发明提供一种快速的玻璃图像缺陷检测及分类装置，其特征在于，包括：

候选缺陷窗口确定模块，用于对于输入的玻璃图像进行窗口扫描，根据窗口内灰度分布的均衡性度量，得到候选缺陷窗口；

候选缺陷区域确定模块，连接所述候选缺陷窗口确定模块，用于根据所述候选缺陷窗口的位置关系，合并相邻的所述候选缺陷窗口，得到候选缺陷区域；

缺陷域确定模块，连接所述候选缺陷区域确定模块，用于获取所述候选缺陷区域的背景信息，并按照所述候选缺陷区域的灰度分布模式提取缺陷域；

缺陷分类模块，连接所述缺陷域确定模块，用于将所述缺陷域按照尺度进行归一化，并提取特征向量，根据所述特征向量进行缺陷分类，得到缺陷分类结果。

所述的玻璃图像缺陷检测及分类装置，其中，

所述候选缺陷窗口确定模块用窗口区域的灰度方差作为窗口内灰度分布的均衡性度量，以判断所述窗口是否可能包含缺陷，灰度方差公式如下：

$v=\underset{x\∈W}{\mathrm{\Σ}}(x-\stackrel{\‾}{x})(x-\stackrel{\‾}{x})$

其中，

v是灰度方差，x是窗口W中像素对应的亮度值，

是窗口内所有像素亮度的均值，T_W是灰度方差的经验阈值，若v＞T_w，则认为窗口区域可能包含有缺陷，否则认为此窗口区域为背景区域。

所述的玻璃图像缺陷检测及分类装置，其中，

所述缺陷域确定模块，进一步包括：

背景灰度值获取模块，用于获取所述候选缺陷区域的背景灰度值；

灰度分布模式确定模块，连接所述背景灰度值获取模块，用于根据缺陷/未定义缺陷的特征和所述背景灰度值，确定所述灰度分布模式；

缺陷域提取模块，连接所述灰度值获取模块、所述灰度分布模式确定模块，用于根据所述背景灰度值、所述灰度分布模式进行缺陷域提取。

所述的玻璃图像缺陷检测及分类装置，其中，

所述背景灰度值获取模块，以如下公式获取所述候选缺陷区域的背景灰度值：

$I_B=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{I}_i,(H_{I_i}>H_{I_{i+1}},$ 且T_B-δ＜I_i＜T_R+δ)

其中，

I_B是候选缺陷区域的背景灰度值，i是符合条件的灰度值的索引，n是符合条件的灰度值的总数，δ是经验值，为一正数，

是对应第i个符合条件灰度值I_i的直方图，T_B是经验背景灰度值。

所述的玻璃图像缺陷检测及分类装置，其中，

所述灰度分布模式确定模块将所述灰度分布模式分成如下模式：

第一灰度分布模式，具有均衡的背景和明显的暗区；

第二灰度分布模式，具有均衡的背景和暗区以及明显的高亮区域。

所述的玻璃图像缺陷检测及分类装置，其中，

所述灰度分布模式确定模块当所述候选缺陷区域中存在的像素p_i的灰度值满足如下公式时，判断该像素为高亮像素，对应的区域为高亮区域：

$I_{p_i}>I_B+T_H$

其中，

是像素的背景灰度值，I_B是候选缺陷区域的背景灰度值，T_H为高亮像素的亮度高出背景灰度值的阈值。

所述的玻璃图像缺陷检测及分类装置，其中，

所述缺陷域提取模块获取所述候选缺陷区域内灰度的最小值min_x、最大值max_x，并根据确定的灰度分布模式进行缺陷域提取：

当确定的灰度分布模式为第一灰度分布模式时，令max_x＝I_B，根据对比度增强的方式以如下公式计算阈值：

thresh 1＝(max_x+min_x)/2

基于阈值thresh 1得到二值化的缺陷域，这里的二值设为0或255；或

当确定的灰度分布模式为第二灰度分布模式时，对所述候选缺陷区域采用如下灰度分段方式提供所述缺陷域：

a.对于灰度满足0≤I_i＜I_B的像素，采用与所述第一灰度分布模式相同的方式提取所述缺陷域；

b.对于灰度满足I_B≤I_i≤255的像素，令min_x＝I_B，根据对比度增强的方式以如下公式计算阈值：

thresh 2＝(max_x+min_x)/2

基于阈值thresh 2得到二值化的缺陷域，这里的二值设为0或128。

所述的玻璃图像缺陷检测及分类装置，其中，

所述装置，进一步包括：

缺陷域扩充模块，连接所述缺陷域确定模块，用于按照所述缺陷域的长度、宽度，对所述缺陷域进行按比例的边界进行扩充，公式如下：

w′＝w·α，h′＝h·α

其中，

α为边界扩充的尺度因子，w为扩充前的缺陷域的宽度，w′为缺陷域向左/向右扩充的宽度，h为扩充前的缺陷域的高度，h′为缺陷域向上/向下扩充的高度。

所述的玻璃图像缺陷检测及分类装置，其中，

所述缺陷分类模块按照玻璃图像缺陷的分类需求设置相应的缺陷分类的策略。

所述的玻璃图像缺陷检测及分类装置，其中，

所述缺陷分类模块，进一步包括：

第一级SVM分类器，用于区分结石类缺陷与其他类别缺陷；

第二级SVM分类器，连接所述第一级SVM分类器，用于当所述第一级SVM分类器判断玻璃图像缺陷不是结石类缺陷时，区分气泡类缺陷与碎屑、未定义缺陷；

第三级SVM分类器，连接所述第二级SVM分类器，用于当所述第二级SVM分类器判断玻璃图像缺陷不是气泡类缺陷时，区分碎屑与未定义缺陷；

第一特征向量提取模块，用于从所述缺陷域中提取第一特征向量，以供所述第一级SVM分类器、所述第二级SVM分类器进行缺陷分类所用；

第二特征向量提取模块，用于从所述缺陷域中提取第二特征向量，以供第三级SVM分类器进行缺陷分类所用。

所述的玻璃图像缺陷检测及分类装置，其中，

所述第一特征向量提取模块按照基于分块局部特征描述的特征提取方式提取所述第一特征向量；

所述第二特征向量提取模块采用灰度直方图特征作为所述第二特征向量。

所述的玻璃图像缺陷检测及分类装置，其中，

所述缺陷分类模块，进一步包括：

特征向量降维模块，连接所述第一特征向量提取模块，用于利用主成分分析方式对所述第一特征向量进行降维。

所述的玻璃图像缺陷检测及分类装置，其中，

所述缺陷分类模块，进一步包括：

缺陷域位置扰动模块，用于在训练样本的收集阶段，对所述缺陷域进行位置扰动，以用于所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器的训练。

所述的玻璃图像缺陷检测及分类装置，其中，

所述缺陷分类模块，进一步包括：

缺陷分类修正模块，连接所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器，用于将所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器进行缺陷判别的分类方式与基于规则的策略进行融合对所述缺陷分类结果进行修正。

所述的玻璃图像缺陷检测及分类装置，其中，

所述缺陷分类修正模块在所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器获取所述缺陷分类结果后，对所述未定义缺陷按照紧致的缺陷特征规则进行限制，获取误分至所述未定义缺陷的真实缺陷。

与现有技术相比，本发明具有下列技术效果：

本发明能够更加快速的对包含噪声的玻璃图像帧中的缺陷进行准确检测，并且能够有效地区分缺陷的类别，包括对未定义缺陷的判别。

附图说明

图1是本发明快速的玻璃图像缺陷检测及分类方法流程图；

图2是基于本发明一个实施例的缺陷检测及分类方法流程示意图；

图3是基于本发明一个实施例的基于自适应背景亮度的缺陷域提取结果示例；

图4是基于本发明一个实施例的不同缺陷处理后的样本示例，(a)是结石，(b)是气泡，(c)是碎屑，(d)是未定义缺陷；

图5是基于本发明一个实施例的缺陷分类方法流程示意图；

图6是基于本发明一个实施例的分块局部特征描述方案；

图7是本发明快速的玻璃图像缺陷检测及分类装置结构图。

具体实施方式

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

如图1所述，是本发明快速的玻璃图像缺陷检测及分类方法流程图，该方法是一种适于对包含噪声的玻璃原片进行快速鲁棒的缺陷检测及分类方法，该方法可分为两个阶段：一是缺陷域检测阶段；二是缺陷分类阶段。具体包括下列步骤：

步骤101，对于输入的玻璃图像帧，采用窗口扫描的方法，根据窗口内灰度分布的均衡性度量，得到候选的可能包含缺陷的窗口(候选缺陷窗口)；

步骤102，根据候选缺陷窗口的位置关系，将相邻的候选缺陷窗口进行合并，得到可能包含缺陷的候选区域(候选缺陷区域)；

步骤103，对每一个候选缺陷区域进行处理，得到缺陷(或未定义缺陷)位置具体/准确的缺陷域；

步骤104，将缺陷域按照尺度进行归一化，并进行特征提取，将缺陷域送入缺陷分类算法，得到缺陷的分类结果。

进一步地，步骤101中，利用窗口内区域的灰度方差来度量灰度分布的均衡性，以此为依据，判断窗口是否可能包含缺陷。

根据窗口扫描的策略，在局部区域上对图像灰度进行分析，以判断是否包含潜在的缺陷。相对于在图像全局上的缺陷检测策略，本方法对噪声具有更好的鲁棒性。

进一步地，步骤103中，还包括：自适应的获取区域的背景灰度值，按照该区域对应的灰度分布模式，利用对比度增强的方法进行分段的缺陷域提取，得到准确的缺陷域。

进一步地，步骤103中，还包括：按照缺陷域的长度、宽度，来对缺陷域的边界按比例的向外部进行扩充。

进一步地，步骤104中，还包括：根据不同的分类任务设计的分类器，以及相应的特征提取以及特征降维技术，来进行缺陷分类。具体地：

按照玻璃图像缺陷的分类需求设计相应的缺陷分类的策略；

按照基于分块局部特征描述的特征提取方案进行玻璃缺陷域的特征提取；

利用主成分分析(Principle Component Analysis，PCA)或其他降维技术对分块LBP(Local Binary Pattern，局部二值模式)特征向量或其他高维特征向量进行降维；

在训练样本的收集阶段，对缺陷样本进行一定程度位置的扰动，一并用于分类器的训练；

将判别式的分类方法与基于规则的策略进行融合，如在利用基于判别式分类器获取结果后，对未定义缺陷，按照紧致的缺陷特征规则进行限制，可将误分至未定义缺陷的真实缺陷找到，对缺陷分类结果进行修正。

如图2所示，给出了基于本发明一个实施例的缺陷检测及分类方法流程示意图。下面将按照算法的实施过程逐步骤的进行介绍。

针对包含噪声的玻璃原片特点(即可能同时包含真实的缺陷以及未定义缺陷，如灰尘、水渍、污渍等等)，设定了算法两个阶段的目标。在玻璃图像缺陷域检测阶段，并不容易区分图像亮度的异常是由哪种因素引起的，因此需要尽可能的将引起图像灰度变化的所有缺陷全部检测出来。而在玻璃图像缺陷分类阶段，则需要将所有候选缺陷进行准确的分类，根据外观特征区分属于哪一类缺陷(如：结石、气泡、碎屑)或是未定义缺陷(灰尘、污渍等不关注的缺陷)。

基于上述理论基础，下面结合附图2详细描述该实施例的各个步骤。

步骤201，输入原始的玻璃图像。

步骤202，以固定的窗口，在玻璃图像上逐行进行扫描，统计每一个窗口区域灰度分布的均衡性，这里本发明用窗口区域的灰度方差作为度量：

$v=\underset{x\∈W}{\mathrm{\Σ}}(x-\stackrel{\‾}{x})(x-\stackrel{\‾}{x})---\left(1\right)$

其中，

v是灰度方差，x是窗口W中像素对应的亮度值，是窗口内所有像素亮度的均值。根据窗口扫描的方差结果，来判断可能含有缺陷的小窗口。即：若v＞T_w，则认为此区域可能包含有缺陷，反之，则认为此区域为背景区域，T_W是灰度方差的经验阈值。

步骤203，根据位置关系对可能包含缺陷的相邻小窗口进行合并，得到候选的缺陷区域R。

步骤204，对于每一个候选缺陷区域R，进行准确的缺陷域的提取。缺陷域提取算法如下：

A1，自适应的寻找候选缺陷区域的背景灰度值；

以候选缺陷区域R为例，对该区域内的像素进行灰度直方图统计，则该区域的背景灰度值可根据下式进行计算：

$I_B=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{I}_i,(H_{I_i}>H_{I_{i+1}},$ 且T_B-δ＜I_i＜T_B+δ)    (2)

其中，

I_B是候选缺陷区域的背景灰度值，i是符合条件的灰度值的索引，n是符合条件的灰度值的总数，δ是经验值，为一正数，

是对应第i个符合条件的灰度值I_i的直方图，T_B是经验背景灰度值。

这里，n＜＝T_n，T_n是本发明预设的用来进行加权平均的灰度值个数，根据经验值可为10。

A2，判断候选缺陷区域的灰度分布模式；

根据缺陷/未定义缺陷的特征，其灰度分布通常有两种模式，一种表现为除了比较均衡的背景像素，还有明显的暗区，另一种则表现为除了比较均衡的背景和暗区外，还有明显的高亮区域。由于所谓的高亮是相对于背景来体现的，因此，判断高亮的依据是候选缺陷区域R中存在像素p_i，其灰度值满足：

$I_{p_i}>I_B+T_H---\left(3\right)$

其中，

是像素的背景灰度值，I_B是候选缺陷区域的背景灰度值，T_H为高亮像素的亮度高出背景灰度值的阈值。这里的T_H即为高亮像素亮度高出背景灰度值的阈值，经验值可取为50。

A3，根据灰度分布模式，并利用对比度增强的方法进行缺陷域提取；

对候选缺陷区域R的灰度值进行统计，即获取此区域内灰度的最小值min_x和最大值max_x。根据步骤A2的结果，若灰度分布属于第一种模式，即只包含暗区，则令max_x＝I_B。根据对比度增强的原理，计算阈值：

thresh＝(max_x+min_x)/2    (4)

进而得到二值化的缺陷域提取结果，这里的二值设为0或255。

若灰度分布属于第二种模式，即同时包含暗区和亮区，则对灰度分段提取缺陷域结果，即分为0≤I_i＜I_B，以及I_B≤I_i≤255两段。

a.对于灰度满足0≤I_i＜I_B的像素，处理方式同第一种模式；

b.对于灰度满足I_B≤I_i≤255的像素，令min_x＝I_B，仍然根据等式(4)进行缺陷域提取，但二值设为0或128。

如图3所示，给出了一些自适应背景亮度的缺陷域提取结果示例。

步骤205，对缺陷域进行边界扩充。

为对缺陷进行有效的描述，在缺陷定位的基础上，需要对边界进行一定的扩充，以使缺陷域包含一定的背景信息。

这里可以按照缺陷域的长度、宽度进行按比例的边界扩充。即：左、右边界和上、下边界分别向外扩充为：

w′＝w·α，h′＝h·α    (5)

其中，

α为边界扩充的尺度因子，w为扩充前的缺陷域的宽度，w′为缺陷域向左/向右扩充的宽度，h为扩充前的缺陷域的高度，h′为缺陷域向上/向下扩充的高度，本实施例中α＝0.3。

步骤206，对提取得到的缺陷域按照预先定义的尺度进行归一化，即将不同大小的缺陷域归一到同样的尺度下，并进行特征提取。

步骤207，将缺陷域送入缺陷分类算法，得到具体的缺陷类别。

考虑到缺陷形成的具体原因不同，每种缺陷在图像中反映出来的图像外观也是不同的，图4是基于本发明一个实施例的几种不同缺陷处理后的样本示例，其中(a)是结石，(b)是气泡，(c)是碎屑，(d)是未定义缺陷。由图4中也可以看到，受到环境光照条件以及生产工艺中诸多因素的影响，并不能保证每一类缺陷的图像外观都严格的一致，因此传统的基于规则的缺陷分类方法面对大量的多种类别缺陷，尤其是针对包含噪声的玻璃图像时，分类性能往往不够理想。这里，本发明采取判别式的分类方法，即收集每一个类别的大量样本，提取合适的特征描述，通过训练学习强分类器，完成缺陷分类的任务。在本实例中，以区分三种缺陷(气泡、结石、碎屑)和未定义缺陷为例，对缺陷分类算法进行详细的介绍。

这里本发明采取SVM分类器来完成分类任务。由于SVM分类器常用来解决两类分类问题，因此，为完成本实例中的缺陷分类任务，本发明按照不同缺陷外观视觉上的易区分程度设计了如下所述的3级SVM分类器，图5给出了缺陷分类方法流程示意图。

(a1)第一级SVM分类器，用来区分结石类与其他类别缺陷，即结石类缺陷作为正例，气泡、碎屑和未定义缺陷作为反例。若输入缺陷被判断为结石类别，则分类任务结束，否则，进入第二SVM级分类器。

(a2)第二级SVM分类器，用来区分气泡类与碎屑、未定义缺陷，即气泡类缺陷作为正例，碎屑和未定义缺陷作为反例。若输入缺陷被判断为气泡类别，则分类任务结束，否则，进入第三级SVM分类器。

(a3)第三级SVM分类器，用来区分碎屑与未定义缺陷，即碎屑类缺陷作为正例，未定义缺陷作为反例。本级分类器是最后一级分类器。

在图5中，采用缺陷分类方法的具体步骤如下：

步骤501，输入样本I；

步骤502，从样本I中提取特征向量F₁、F₂；

步骤503，基于特征向量F₁采用第一级SVM分类器区分结石类缺陷与其他类别缺陷(气泡、碎屑和未定义缺陷)；

步骤504，基于特征向量F₁采用第二级SVM分类器区分气泡与碎屑和未定义缺陷；

步骤505，基于特征向量F₂采用第三级SVM分类器区分碎屑与未定义缺陷。

对于各级SVM分类器所采用的特征向量，可以根据需要提取不同的特征描述。在本实施例中，对于第一级和第二级SVM分类器，由于结石与气泡具有相对规则的结构特征和亮度分布特点，因此本发明采用的是基于分块的LBP特征描述方案，即对图像进行LBP滤波，进而在空间上进行分块，将每一小块LBP滤波图像对应的直方图串联起来形成最终的特征向量。该描述将全局的结构信息和局部的纹理变化结合在一起，形成了对于缺陷图像的有效表示。图6给出了基于本发明一个实施例的分块局部特征描述方案示意图。该描述方案具体内容包括：

步骤601，对缺陷域按照预先定义的尺度进行归一化；

步骤602，对归一化后的缺陷域进行LBP滤波变换；

步骤603，采用分块策略对LBP滤波变换后的缺陷域在空间上进行分块，得到小块LBP滤波图像；

步骤604，将每一小块LBP滤波图像对应的直方图串联起来形成最终的特征向量，并作为完整的特征向量。

考虑到对于一个待判别缺陷样本来讲，这种基于分块LBP的特征向量维数过高，因此PCA技术可被用来进行特征的降维。

在第三级SVM分类器中，由于碎屑不具有规则的结构特征，因此本发明采用简单的灰度直方图特征来进行分类。结合碎屑缺陷的高亮特征，关注亮度在140～255范围内的灰度分布，这里140为统计得到的图像背景亮度值。

在训练样本收集阶段，本发明还可以对缺陷域进行位置扰动，使得训练模型能够更加稳定，提高分类性能。

此外，本分类方法可以与基于规则的方法结合起来，比如在获取判别式的分类结果后，对于未定义缺陷，按照紧致的缺陷特征规则(如针对气泡类缺陷的主方向、对称性等)进行限制，这样可以进一步提高缺陷分类的精度。

以上是对玻璃图像缺陷检测及分类算法的描述。根据上述实施例，本发明对收集到的三种玻璃图像缺陷进行检测及分类。玻璃图像来源于包含噪声的玻璃原片，因此含有大量的污渍等未定义缺陷。表1给出了本实施例的检测及分类性能结果，可见无论是缺陷检测的精度还是分类的正确率都基本达到了工业应用的要求。

表1

另外，研究发现，上述实施例中，用于SVM分类器的特征向量，还可以采取其他的特征变换，如小波特征等，也可以得到不错的缺陷分类结果。

还需指出的是，虽然上述实施例采用的缺陷分类方法是基于SVM分类器进行的，但本领域技术人员也可以根据本发明的构思，采用其他的模式分类方法实现缺陷的分类，如贝叶斯分类器，线性判别分析方法等。并且可以将判别式的分类方法与一些紧致的缺陷特征规则进行限制(如主方向、对称性、形状特征等)结合起来，提高分类的精度。

如图7所示，是本发明快速的玻璃图像缺陷检测及分类装置结构图。该装置700包括：

候选缺陷窗口确定模块71，用于对于输入的玻璃图像帧，采用窗口扫描的方法，根据窗口内灰度分布的均衡性度量，得到候选的可能包含缺陷的窗口，即候选缺陷窗口；

候选缺陷区域确定模块72，连接候选缺陷窗口确定模块71，用于根据候选缺陷窗口的位置关系，将相邻的候选缺陷窗口进行合并，得到可能包含缺陷的候选区域，即候选缺陷区域；

缺陷域确定模块73，连接候选缺陷区域确定模块72，用于对每一个候选缺陷区域进行处理，得到缺陷(或未定义缺陷)位置具体的缺陷域，即准确的缺陷域。

缺陷分类模块74，连接缺陷域确定模块73，用于将缺陷域按照尺度进行归一化，并进行特征提取，将缺陷域送入缺陷分类算法，得到缺陷的分类结果。

进一步地，候选缺陷窗口确定模块71利用窗口内区域的灰度方差来度量灰度分布的均衡性，以此为依据，判断窗口是否可能含有缺陷：

$v=\underset{x\∈W}{\mathrm{\Σ}}(x-\stackrel{\‾}{x})(x-\stackrel{\‾}{x})---\left(1\right)$

其中，

v是灰度方差，x是窗口W中像素对应的亮度值，

是窗口内所有像素亮度的均值。根据窗口扫描的方差结果，来判断可能含有缺陷的小窗口。即：若v＞T_w，则认为此区域可能包含有缺陷，反之，则认为此区域为背景区域，T_W是灰度方差的经验阈值。

进一步地，缺陷域确定模块73自适应的获取候选缺陷区域的背景灰度值，并按照该区域对应的灰度分布模式，利用对比度增强的方法得到准确的缺陷域，包括：

背景灰度值获取模块731，用于自适应的获取候选缺陷区域的背景灰度值；

灰度分布模式确定模块732，连接背景灰度值获取模块731，用于根据缺陷/未定义缺陷的特征，确定灰度分布模式；

缺陷域提取模块733，连接背景灰度值获取模块731、灰度分布模式确定模块732，用于根据确定的灰度分布模式，并利用对比度增强的方法进行缺陷域提取。

进一步地，背景灰度值获取模块731以候选缺陷区域R为例，对该区域内的像素进行灰度直方图统计，则该区域的背景灰度值可根据下式进行计算：

$I_B=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{I}_i,(H_{I_i}>H_{I_{i+1}},$ 且T_B-δ＜I_i＜T_B+δ)    (2)

其中，(请给出参数的含义)

I_B是候选缺陷区域的背景灰度值，i是符合条件的灰度值的索引，n是符合条件的灰度值的总数，δ是经验值，为一正数，

是对应第i个符合条件的灰度值I_i的直方图，T_B是经验背景灰度值。

这里，n＜＝T_n，T_n是本发明预设的用来进行加权平均的灰度值个数，根据经验值可为10，T_B是经验背景灰度值。

进一步地，灰度分布模式确定模块732在确定灰度分布模式时，根据缺陷/未定义缺陷的特征，其灰度分布通常有两种模式，一种表现为除了比较均衡的背景像素，还有明显的暗区，另一种则表现为除了比较均衡的背景和暗区外，还有明显的高亮区域。由于所谓的高亮是相对于背景来体现的，因此，判断高亮的依据是候选缺陷区域R中存在像素p_i，其灰度值满足：

$I_{p_i}>I_B+T_H---\left(3\right)$

其中，

是像素的背景灰度值，I_B是候选缺陷区域的背景灰度值，T_H为高亮像素的亮度高出背景灰度值的阈值。这里的T_H即为高亮像素亮度高出背景灰度值的阈值，经验值可取为50。

进一步地，缺陷域提取模块733对候选缺陷区域R的灰度值进行统计，即获取此区域内灰度的最小值min_x和最大值max_x。根据灰度分布模式确定模块732的确定结果，若灰度分布属于第一种模式，即只包含暗区，则令max_x＝I_B。根据对比度增强的原理，计算阈值：

thresh＝(max_x+min_x)/2    (4)

进而得到二值化的缺陷域提取结果，这里的二值设为0或255。

若灰度分布属于第二种模式，即同时包含暗区和亮区，则对灰度分段提取缺陷域结果，即分为0≤I_i＜I_B，以及I_B≤I_i≤255两段。

a.对于灰度满足0≤I_i＜I_B的像素，处理方式同第一种模式；

b.对于灰度满足I_B≤I_i≤255的像素，令min_x＝I_B，仍然根据等式(4)进行缺陷域提取，但二值设为0或128。

进一步地，缺陷分类模块74又包括：

第一级SVM分类器741，用于将结石类缺陷作为正例，气泡、碎屑和未定义缺陷作为反例，来区分结石类与其他类别缺陷；若输入缺陷被判断为结石类别，则分类任务结束，否则，进入第二SVM级分类器742。

第二级SVM分类器742，连接第一级SVM分类器741，用于将气泡类缺陷作为正例，碎屑和未定义缺陷作为反例，来区分气泡类与碎屑、未定义缺陷；若输入缺陷被判断为气泡类别，则分类任务结束，否则，进入第三级SVM分类器743。

第三级SVM分类器743，连接第二级SVM分类器742，用于将碎屑类缺陷作为正例，未定义缺陷作为反例，来区分碎屑与未定义缺陷。本级分类器是最后一级分类器。

第一特征向量提取模块744，用于从缺陷域中提取第一特征向量，以供第一级SVM分类器741、第二级SVM分类器742进行缺陷分类所用；

第二特征向量提取模块745，用于从缺陷域中提取第二特征向量，以供第三级SVM分类器743进行缺陷分类所用。

进一步地，第一特征向量提取模块744对缺陷域进行LBP滤波，进而在空间上进行分块，将每一小块LBP滤波图像对应的直方图串联起来形成最终的特征向量，并将该特征向量作为第一特征向量。

进一步地，第二特征向量提取模块745采用简单的灰度直方图特征作为第二特征向量。

进一步地，缺陷分类模块74还包括：

特征向量降维模块746，连接第一特征向量提取模块744，用于利用PCA或其他降维技术对第一特征向量进行降维。

进一步地，缺陷分类模块74还包括：

缺陷域位置扰动模块747，用于对缺陷域进行位置扰动，以提高第一级SVM分类器741、第二级SVM分类器742、第三级SVM分类器743的分类性能。

进一步地，缺陷分类模块74还包括：

缺陷分类修正模块748，连接第一级SVM分类器741、第二级SVM分类器742、第三级SVM分类器743，用于对未定义缺陷按照紧致的缺陷特征规则进行限制，可将误分至未定义缺陷的真实缺陷找到，对缺陷分类结果进行修正。

进一步地，该装置700还包括：

缺陷域扩充模块75，连接缺陷域确定模块73，用于按照缺陷域的长度、宽度，来对缺陷域的边界按比例的向外部进行扩充。即：左、右边界和上、下边界分别扩充为：

w′＝w·α，h′＝h·α    (5)

其中，

α为边界扩充的尺度因子，w为扩充前的缺陷域的宽度，w′为缺陷域向左/向右扩充的宽度，h为扩充前的缺陷域的高度，h′为缺陷域向上/向下扩充的高度。本实施例中α＝0.3。

本发明提供了一种适合于包含噪声的玻璃原片的快速鲁棒的缺陷检测及分类方法及其装置，能够更加准确的对玻璃图像中潜在的缺陷域进行定位，并有效提取用于描述缺陷域的外观特征，利用学习的方法，对不同类别的缺陷进行区分，包括包含噪声的玻璃原片上的污渍等未定义缺陷，极大的提高了玻璃图像缺陷检测与分类的精度。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (35)

1.一种快速的玻璃图像缺陷检测及分类方法，其特征在于，包括：

步骤1，对于输入的玻璃图像进行窗口扫描，根据窗口内灰度分布的均衡性度量，得到候选缺陷窗口；

步骤2，根据所述候选缺陷窗口的位置关系，合并相邻的所述候选缺陷窗口，得到候选缺陷区域；

步骤3，获取所述候选缺陷区域的背景信息，并按照所述候选缺陷区域的灰度分布模式提取缺陷域；

所述步骤3中，进一步包括：

根据缺陷/未定义缺陷的特征和背景灰度值，将所述灰度分布模式分成如下模式：

第一灰度分布模式，具有均衡的背景和明显的暗区；

第二灰度分布模式，具有均衡的背景和暗区以及明显的高亮区域；

步骤4，将所述缺陷域按照尺度进行归一化，并提取特征向量，根据所述特征向量进行缺陷分类，得到缺陷分类结果。

2.根据权利要求1所述的玻璃图像缺陷检测及分类方法，其特征在于，

所述步骤1中，进一步包括：

用窗口区域的灰度方差作为窗口内灰度分布的均衡性度量，以判断所述窗口是否可能包含缺陷，灰度方差公式如下：

$v=\underset{x\∈W}{\mathrm{\Σ}}(x-\stackrel{\‾}{x})(x-\stackrel{\‾}{x})$

其中，

v是灰度方差，x是窗口W中像素对应的亮度值，

是窗口内所有像素亮度的均值，T_W是灰度方差的经验阈值，若v＞T_w，则认为窗口区域可能包含有缺陷，否则认为此窗口区域为背景区域。

3.根据权利要求1所述的玻璃图像缺陷检测及分类方法，其特征在于，

所述步骤3中，进一步包括：

以如下公式获取所述候选缺陷区域的背景灰度值：

其中，I_B是候选缺陷区域的背景灰度值，i是符合条件的灰度值的索引，n是符合条件的灰度值的总数，δ是经验值，为一正数，

是对应第i个符合条件的灰度值I_i的直方图，T_B是经验背景灰度值。

4.根据权利要求1所述的玻璃图像缺陷检测及分类方法，其特征在于，

所述步骤3中，进一步包括：

当所述候选缺陷区域中存在的像素p_i的灰度值满足如下公式时，被判断为高亮像素：

I_pi＞I_B+T_H

其中，

I_pi是像素的灰度值，I_B是候选缺陷区域的灰度值，T_H为高亮像素的亮度高出灰度值的阈值。

5.根据权利要求1或4所述的玻璃图像缺陷检测及分类方法，其特征在于，

所述步骤3中，进一步包括：

获取所述候选缺陷区域内灰度的最小值min_x、最大值max_x，并根据确定的灰度分布模式进行缺陷域提取：

当确定的灰度分布模式为第一灰度分布模式时，令max_x＝I_B，根据对比度增强的方式以如下公式计算阈值：

thresh 1＝(max_x+min_x)/2

基于阈值thresh 1得到二值化的缺陷域，这里的二值设为0或255；或

当确定的灰度分布模式为第二灰度分布模式时，对所述候选缺陷区域采用如下灰度分段方式提供所述缺陷域：

a.对于灰度满足0≤I_i＜I_B的像素，采用与所述第一灰度分布模式相同的方式提取所述缺陷域；

b.对于灰度满足I_B≤I_i≤255的像素，令min_x＝I_B，根据对比度增强的方式以如下公式计算阈值：

thresh 2＝(max_x+min_x)/2

基于阈值thresh 2得到二值化的缺陷域，这里的二值设为0或128。

6.根据权利要求1、2、3或4所述的玻璃图像缺陷检测及分类方法，其特征在于，

所述步骤3中，进一步包括：

按照所述缺陷域的长度、宽度，对所述缺陷域进行按比例的边界进行扩充，公式如下：

w′＝w·α，h′＝h·α

其中，

α为边界扩充的尺度因子，w为扩充前的缺陷域的宽度，w′为缺陷域向左/向右扩充的宽度，h为扩充前的缺陷域的高度，h′为缺陷域向上/向下扩充的高度。

7.根据权利要求1、2、3或4所述的玻璃图像缺陷检测及分类方法，其特征在于，

所述步骤4中，进一步包括：

按照玻璃图像缺陷的分类需求设置相应的缺陷分类的策略。

8.根据权利要求7所述的玻璃图像缺陷检测及分类方法，其特征在于，

所述步骤4中，进一步包括：

采用如下缺陷判别的分类方式对玻璃图像缺陷进行分类：

通过第一级SVM分类器区分结石类缺陷与其他类别缺陷，当判断玻璃图像缺陷不是结石类缺陷时，进入第二级SVM分类器；

通过所述第二级SVM分类器区分气泡类缺陷与碎屑、未定义缺陷，当判断玻璃图像缺陷不是气泡类缺陷时，进入第三级SVM分类器；

通过所述第三级SVM分类器区分碎屑与未定义缺陷。

9.根据权利要求8所述的玻璃图像缺陷检测及分类方法，其特征在于，

所述步骤4中，进一步包括：

按照基于分块局部特征描述的特征提取方式提取所述缺陷域的特征向量。

10.根据权利要求9所述的玻璃图像缺陷检测及分类方法，其特征在于，

所述步骤4中，进一步包括：

利用主成分分析方式对所述特征向量进行降维。

11.根据权利要求8所述的玻璃图像缺陷检测及分类方法，其特征在于，

所述步骤4中，进一步包括：

在训练样本的收集阶段，对所述缺陷域进行位置扰动。

12.根据权利要求9所述的玻璃图像缺陷检测及分类方法，其特征在于，

所述步骤4中，进一步包括：

在训练样本的收集阶段，对所述缺陷域进行位置扰动。

13.根据权利要求10所述的玻璃图像缺陷检测及分类方法，其特征在于，

所述步骤4中，进一步包括：

在训练样本的收集阶段，对所述缺陷域进行位置扰动。

14.根据权利要求8所述的玻璃图像缺陷检测及分类方法，其特征在于，

所述步骤4中，进一步包括：

将所述缺陷判别的分类方式与基于规则的策略进行融合对所述缺陷分类结果进行修改。

15.根据权利要求9所述的玻璃图像缺陷检测及分类方法，其特征在于，

所述步骤4中，进一步包括：

将所述缺陷判别的分类方式与基于规则的策略进行融合对所述缺陷分类结果进行修改。

16.根据权利要求10所述的玻璃图像缺陷检测及分类方法，其特征在于，

所述步骤4中，进一步包括：

将所述缺陷判别的分类方式与基于规则的策略进行融合对所述缺陷分类结果进行修改。

17.根据权利要求14所述的玻璃图像缺陷检测及分类方法，其特征在于，

所述步骤4中，进一步包括：

在采用所述缺陷判别的分类方式获取所述缺陷分类结果后，对所述未定义缺陷按照紧致的缺陷特征规则进行限制，获取误分至所述未定义缺陷的真实缺陷。

18.一种快速的玻璃图像缺陷检测及分类装置，其特征在于，包括：

候选缺陷窗口确定模块，用于对于输入的玻璃图像进行窗口扫描，根据窗口内灰度分布的均衡性度量，得到候选缺陷窗口；

候选缺陷区域确定模块，连接所述候选缺陷窗口确定模块，用于根据所述候选缺陷窗口的位置关系，合并相邻的所述候选缺陷窗口，得到候选缺陷区域；

缺陷域确定模块，连接所述候选缺陷区域确定模块，用于获取所述候选缺陷区域的背景信息，并按照所述候选缺陷区域的灰度分布模式提取缺陷域；

将所述灰度分布模式分成如下模式：

第一灰度分布模式，具有均衡的背景和明显的暗区；

第二灰度分布模式，具有均衡的背景和暗区以及明显的高亮区域；

缺陷分类模块，连接所述缺陷域确定模块，用于将所述缺陷域按照尺度进行归一化，并提取特征向量，根据所述特征向量进行缺陷分类，得到缺陷分类结果。

19.根据权利要求18所述的玻璃图像缺陷检测及分类装置，其特征在于，

所述候选缺陷窗口确定模块用窗口区域的灰度方差作为窗口内灰度分布的均衡性度量，以判断所述窗口是否可能包含缺陷，灰度方差公式如下：

$v=\underset{x\∈W}{\mathrm{\Σ}}(x-\stackrel{\‾}{x})(x-\stackrel{\‾}{x})$

其中，v是灰度方差，x是窗口W中像素对应的亮度值，

是窗口内所有像素亮度的均值，T_W是灰度方差的经验阈值，若v＞T_w，则认为窗口区域可能包含有缺陷，否则认为此窗口区域为背景区域。

20.根据权利要求18所述的玻璃图像缺陷检测及分类装置，其特征在于，

所述缺陷域确定模块，进一步包括：

背景灰度值获取模块，用于获取所述候选缺陷区域的背景灰度值；

灰度分布模式确定模块，连接所述背景灰度值获取模块，用于根据缺陷/未定义缺陷的特征和所述背景灰度值，确定所述灰度分布模式；

缺陷域提取模块，连接所述灰度值获取模块、所述灰度分布模式确定模块，用于根据所述背景灰度值、所述灰度分布模式进行缺陷域提取。

21.根据权利要求18所述的玻璃图像缺陷检测及分类装置，其特征在于，

背景灰度值获取模块，以如下公式获取所述候选缺陷区域的背景灰度值：

其中，I_B是候选缺陷区域的背景灰度值，i是符合条件的灰度值的索引，n是符合条件的灰度值的总数，δ是经验值，为一正数，

是对应第i个符合条件灰度值I_i的直方图，T_B是经验背景灰度值。

22.根据权利要求18所述的玻璃图像缺陷检测及分类装置，其特征在于，

所述灰度分布模式确定模块当所述候选缺陷区域中存在的像素p_i的灰度值满足如下公式时，判断该像素为高亮像素，对应的区域为高亮区域：

I_pi＞I_B+T_H

其中，

I_pi是像素的灰度值，I_B是候选缺陷区域的灰度值，T_H为高亮像素的亮度高出灰度值的阈值。

23.根据权利要求20、21或22所述的玻璃图像缺陷检测及分类装置，其特征在于，

所述缺陷域提取模块获取所述候选缺陷区域内灰度的最小值min_x、最大值max_x，并根据确定的灰度分布模式进行缺陷域提取：

当确定的灰度分布模式为第一灰度分布模式时，令max_x＝I_B，根据对比度增强的方式以如下公式计算阈值：

thresh 1＝(max_x+min_x)/2

基于阈值thresh 1得到二值化的缺陷域，这里的二值设为0或255；或

当确定的灰度分布模式为第二灰度分布模式时，对所述候选缺陷区域采用如下灰度分段方式提供所述缺陷域：

a.对于灰度满足0≤I_i＜I_B的像素，采用与所述第一灰度分布模式相同的方式提取所述缺陷域；

b.对于灰度满足I_B≤I_i≤255的像素，令min_x＝I_B，根据对比度增强的方式以如下公式计算阈值：

thresh 2＝(max_x+min_x)/2

基于阈值thresh 2得到二值化的缺陷域，这里的二值设为0或128。

24.根据权利要求18、19、20、21或22所述的玻璃图像缺陷检测及分类装置，其特征在于，

所述装置，进一步包括：

缺陷域扩充模块，连接所述缺陷域确定模块，用于按照所述缺陷域的长度、宽度，对所述缺陷域进行按比例的边界进行扩充，公式如下：

w′＝w·α，h′＝h·α

其中，

α为边界扩充的尺度因子，w为扩充前的缺陷域的宽度，w′为缺陷域向左/向右扩充的宽度，h为扩充前的缺陷域的高度，h′为缺陷域向上/向下扩充的高度。

25.根据权利要求18、19、20、21或22所述的玻璃图像缺陷检测及分类装置，其特征在于，

所述缺陷分类模块按照玻璃图像缺陷的分类需求设置相应的缺陷分类的策略。

26.根据权利要求25所述的玻璃图像缺陷检测及分类装置，其特征在于，

所述缺陷分类模块，进一步包括：

第一级SVM分类器，用于区分结石类缺陷与其他类别缺陷；

第二级SVM分类器，连接所述第一级SVM分类器，用于当所述第一级SVM分类器判断玻璃图像缺陷不是结石类缺陷时，区分气泡类缺陷与碎屑、未定义缺陷；

第三级SVM分类器，连接所述第二级SVM分类器，用于当所述第二级SVM分类器判断玻璃图像缺陷不是气泡类缺陷时，区分碎屑与未定义缺陷；

第一特征向量提取模块，用于从所述缺陷域中提取第一特征向量，以供所述第一级SVM分类器、所述第二级SVM分类器进行缺陷分类所用；

第二特征向量提取模块，用于从所述缺陷域中提取第二特征向量，以供第三级SVM分类器进行缺陷分类所用。

27.根据权利要求26所述的玻璃图像缺陷检测及分类装置，其特征在于，

所述第一特征向量提取模块按照基于分块局部特征描述的特征提取方式提取所述第一特征向量；

所述第二特征向量提取模块采用灰度直方图特征作为所述第二特征向量。

28.根据权利要求27所述的玻璃图像缺陷检测及分类装置，其特征在于，

所述缺陷分类模块，进一步包括：

特征向量降维模块，连接所述第一特征向量提取模块，用于利用主成分分析方式对所述第一特征向量进行降维。

29.根据权利要求26所述的玻璃图像缺陷检测及分类装置，其特征在于，

所述缺陷分类模块，进一步包括：

缺陷域位置扰动模块，用于在训练样本的收集阶段，对所述缺陷域进行位置扰动，以用于所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器的训练。

30.根据权利要求27所述的玻璃图像缺陷检测及分类装置，其特征在于，

所述缺陷分类模块，进一步包括：

缺陷域位置扰动模块，用于在训练样本的收集阶段，对所述缺陷域进行位置扰动，以用于所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器的训练。

31.根据权利要求28所述的玻璃图像缺陷检测及分类装置，其特征在于，

所述缺陷分类模块，进一步包括：

缺陷域位置扰动模块，用于在训练样本的收集阶段，对所述缺陷域进行位置扰动，以用于所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器的训练。

32.根据权利要求26所述的玻璃图像缺陷检测及分类装置，其特征在于，

所述缺陷分类模块，进一步包括：

缺陷分类修正模块，连接所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器，用于将所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器进行缺陷判别的分类方式与基于规则的策略进行融合对所述缺陷分类结果进行修正。

33.根据权利要求27所述的玻璃图像缺陷检测及分类装置，其特征在于，

所述缺陷分类模块，进一步包括：

缺陷分类修正模块，连接所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器，用于将所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器进行缺陷判别的分类方式与基于规则的策略进行融合对所述缺陷分类结果进行修正。

34.根据权利要求28所述的玻璃图像缺陷检测及分类装置，其特征在于，

所述缺陷分类模块，进一步包括：

缺陷分类修正模块，连接所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器，用于将所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器进行缺陷判别的分类方式与基于规则的策略进行融合对所述缺陷分类结果进行修正。

35.根据权利要求32所述的玻璃图像缺陷检测及分类装置，其特征在于，

所述缺陷分类修正模块在所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器获取所述缺陷分类结果后，对所述未定义缺陷按照紧致的缺陷特征规则进行限制，获取误分至所述未定义缺陷的真实缺陷。

Images