CN108846831B - 基于统计特征和图像特征相结合的带钢表面缺陷分类方法 - Google Patents
基于统计特征和图像特征相结合的带钢表面缺陷分类方法 Download PDFInfo
- Publication number
- CN108846831B CN108846831B CN201810524655.7A CN201810524655A CN108846831B CN 108846831 B CN108846831 B CN 108846831B CN 201810524655 A CN201810524655 A CN 201810524655A CN 108846831 B CN108846831 B CN 108846831B
- Authority
- CN
- China
- Prior art keywords
- defect
- dimensional
- feature vector
- image
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
基于统计特征和图像特征相结合的带钢表面缺陷分类方法,包括步骤:收集一组带标记的训练样本集合;S2、提取每个缺陷样本图像的角点以及每个角点描述;将全部缺陷样本图像的角点描述在K维空间内进行无监督学习聚类;将缺陷样本的M维图像特征向量和N维统计特征向量合并,组成缺陷样本的M+N维特征向量;使用自适应提升树训练方法对M+N维特征向量进行有监督学习训练,训练出自学习分类器B,输出缺陷的分类结果。本发明将不同的缺陷区分开,提高对带钢表面缺陷的分类正确率;实时在线检测到表面缺陷时使用自学习分类器对检测到的缺陷进行自动和准确的分类,分类规则无需人工依靠手动输入,而是使用机器学习技术通过有监督学习获得。
Description
技术领域
本发明属于冶金行业带钢表面缺陷检测***领域,尤其是表面缺陷的分类领域,具体涉及一种基于统计特征和图像特征相结合的带钢表面缺陷分类方法。
背景技术
带钢表面缺陷是影响冷轧带钢表面质量的一个重要因素,直接影响着最终产品的外观和使用性能。表面检测***使用相机传感器对带钢表面进行扫描,获取带钢表面的二维图像,并利用机器视觉技术对表面缺陷进行检测和分类,目前依靠各种先进的算法缺陷检测的准确率已经高达98%,基本满足了生产要求,但缺陷的分类正确率却始终差强人意,一般只有80%左右,不能满足钢铁企业对产品质量控制和生产工艺提升的要求。
发明内容
本发明要解决的技术问题是,针对现有带钢表面缺陷分类存在的上述不足,提供一种基于统计特征和图像特征相结合的带钢表面缺陷分类方法,提高带钢表面质量检测***对带钢表面缺陷的分类正确率;实时在线检测到表面缺陷时使用自学习分类器对检测到的缺陷进行自动和准确的分类,分类规则无需人工依靠手动输入。
本发明为解决上述技术问题所采用的技术方案是:
基于统计特征和图像特征相结合的带钢表面缺陷分类方法,具体包括如下步骤:
S1、收集缺陷样本,并根据缺陷样本的统计特征,包括面积,周长、长宽比、位置,以及缺陷样本图像的外观对每个缺陷样本进行分类,产生一组带标记的训练样本集合,对自学习分类器的训练就在上述训练样本集合上进行,假设包含W个缺陷样本,以及C类缺陷;
S2、提取每个缺陷样本图像的角点以及每个角点描述,角点描述反映了角点与邻域像素点的关系,假设角点描述是一个K维的向量;
S3、将全部缺陷样本图像的角点描述在K维空间内进行无监督学习聚类,聚类数为M,这些类为L(1)、L(2)、L(3)...L(M),类别中心为LC(1)、LC(2)、LC(3)...LC(M);
S4、计算每个缺陷样本的角点描述在上述M类中的概率分布(图像特征),即统计出每个缺陷样本的角点描述属于L(1)、L(2)、L(3)...L(M)这些类的个数,并排列成一个M维向量,由此构成一个缺陷样本的M维图像特征向量;
S5、提取每个缺陷样本的N个统计特征(如面积、周长,位置),这些统计特征构成了一个缺陷样本的N维统计特征向量;
S6、将缺陷样本的M维图像特征向量和N维统计特征向量合并,组成缺陷样本的M+N维特征向量;
S7、使用自适应提升树训练方法对W个带有分类标记的M+N维特征向量进行有监督学习训练,训练出自学习分类器B,自学习分类器B对检测到的缺陷进行自动分类(将不同的缺陷区分开),输出缺陷的分类结果。
按上述方案,实时在线检测时,当有新的缺陷被检测到时利用自学习分类器B采取以下步骤对新的缺陷进行缺陷分类,主要包括步骤:
i)提取该缺陷图像的角点以及每个角点的K维描述,并计算角点的K维描述在L(1)、L(2)、L(3)...L(M)这些类别中的概率分布,作为缺陷的M维图像特征向量;
ii)计算该缺陷的N维统计特征向量;
iii)将缺陷的M维图像特征向量和N维统计特征向量合并,组成缺陷的M+N维特征向量,将M+N维特征向量输入到自学习分类器B中进行预测得到该缺陷的分类结果。
与现有技术相比,本发明具有如下有益效果:
1、将缺陷统计特征和图像特征相结合形成缺陷的特征向量,在该特征向量空间训练自学习分类器,将不同的缺陷区分开,提高带钢表面质量检测***对带钢表面缺陷的分类正确率;
2、实时在线检测到表面缺陷时使用自学习分类器对检测到的缺陷进行自动和准确的分类,分类规则无需人工依靠手动输入,而是使用机器学习技术通过有监督学习获得。
附图说明
图1为本发明基于统计特征和图像特征相结合的带钢表面缺陷分类方法流程图;
图2为本发明实施例检测到新的缺陷的分类过程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。
传统的带钢表面缺陷分类主要依靠针对缺陷的统计特征人工设定规则来实现,比如针对冲孔缺陷,通常可以设定如似圆性<1.1且灰度值均值<40且宽度<50mm这样的规则。但对于比较难以描述具体特征的缺陷,如磷斑、翘皮等人工制定规则就变得相当困难。随着机器学习技术的进步,现阶段采用样本自学习的方式进行缺陷分类,即给出一组人工标记过分类结果的样本,然后使用机器学习技术让计算机自动寻找到这样分类的规则。一般的都以缺陷的统计特征来对缺陷进行描述,然后在统计特征的维度上训练分类器,统计特征是一些与缺陷的位置、形状、纹理、灰度、拓扑结构等相关的特征,主要包括:缺陷长、宽、面积、周长、长宽比、紧凑度、到带钢边界的距离、重心位置、似圆型、灰度均值、灰度方差、欧拉数等等。统计特征是对缺陷信息的概要与提炼,它很大程度上是缺陷特征的宏观体现。使用统计特征当缺陷类别间宏观特征差异较大时分类效果较好,比如区分白斑和黑点,区分焊缝和孔洞。当缺陷的宏观特征差异很小时,分类准确性将大幅降低,如区分结疤和挫伤这类缺陷。图像的角点特征较好的描述了图像的细节和纹理信息,实际应用中常利用图像的角点特征来进行人脸检测和行人识别,角点特征也与人类的视觉特征更贴近,即更关注图像上灰度突变的点。但如果仅仅图像角点特征分类缺陷也是不够的,因为很多缺陷的分类不仅与其外观相关,而且也与其统计特性有很大的关系,因此本发明考虑将缺陷的统计特征与缺陷图像的角点特征相结合,取它们的并集作为缺陷的特性向量,并使用机器学习算法自动训练分类器对缺陷进行分类。
参照图1所示,本发明基于统计特征和图像特征相结合的带钢表面缺陷分类方法,将缺陷统计信息和图像信息相结合来训练自学习分类器,并使用自学习分类器对检测到的缺陷进行自动分类,具体包括如下步骤:
S1、收集大量的典型缺陷样本,并由专业人员根据缺陷样本的统计特征,如面积,周长、长宽比、位置等以及缺陷样本图像的外观对每个缺陷样本进行分类,对自学习分类器的训练就在上述训练样本集合上进行,假设包含W个缺陷样本,以及C类缺陷,本步骤用来产生一组带标记的训练样本集合,在人工进行缺陷分类时不仅需要缺陷样本图像也需要一些统计特征才能正确的确定缺陷的类别;
S2、提取每个缺陷样本图像的角点以及每个角点的K维描述,这一步可选择使用FAST角点作为角点检测方法,角点是图像的一种重要局部特征,它决定了图像中目标的形状,所以在图像匹配、目标描述和识别上有着重要应用,角点是图像在二维空间内灰度变化剧烈的位置,是和周围的邻点有着明显差异的像素点;由于缺陷检测中相机是固定位置拍摄,背景光干扰也较小,并不需要角点具有旋转和缩放不变性,所以可以使用检测速度最快的FAST角点;
S3、将全部缺陷样本图像的角点描述在K维空间内进行无监督学习聚类,聚类数为M,这些类分别为L(1)、L(2)、L(3)...L(M),类别中心为LC(1)、LC(2)、LC(3)...LC(M);
S4、计算生成每个缺陷样本的角点描述在上述M类中的概率分布,即统计出每个缺陷样本的角点描述属于L(1)、L(2)、L(3)...L(M)这些类的个数,由此构成一个缺陷样本的M维图像特征向量;因为不同样本的角点数目不一致,所以必须将这些特征压缩为一个向量进行描述,步骤S3、S4将所有角点的描述向量在描述向量维度内进行聚类,并得到M个特征中心,由此将图像的多个向量的角点描述转换为其角点描述在M个聚类中心上的概率分布的单个向量描述,本步骤可视为特征降维过程;
S5、当每个缺陷样本被检测时就计算出缺陷的N个统计特征,这些统计特征构成了一个缺陷样本的N维统计特征向量;本步骤实际上是在缺陷检测时就实时完成的,因为如位置特征等只有缺陷检测时才能获取,仅从缺陷样本图像上是无法获取位置信息的;
S6、将缺陷样本的M维图像特征向量和N维统计特征向量合并,组成缺陷样本的M+N维特征向量;这一步综合缺陷样本的统计特征和图像特征,将缺陷用一个包含统计特征和图像特征信息的M+N维特征向量进行表征;
S7、使用自适应提升树训练方法对W个带有分类标记的M+N维特征向量进行有监督学习训练,训练出自学习分类器B,自学习分类器B对检测到的缺陷进行自动分类,将不同的缺陷区分开,输出缺陷的分类结果;常用的分类器训练方法包括:随机森林、自适应提升树和支持向量机等;这里分类用到的特征包括统计特征与图像特征,两者属于不同物理量且数值差异很大,属于混合数据,使用随机森林、自适应提升树时无需将数据进行归一化处理,而使用支持向量机则需要先将数据归一化后才能进行分类,数据预处理较复杂;实际采用交叉验证技术对分类器的泛化能力进行评估时,自适应提升树在测试集上的分类正确率最高,约为85%,所以这里使用自适应提升树训练方法进行分类器训练。
参照图2所示,实时在线检测时,当有新的缺陷被检测到后就需要按照上述的步骤将缺陷描述为M+N维特征向量并利用训练好的自学习分类器B对新的缺陷进行分类,其主要包括步骤:
i)提取该缺陷图像的角点以及每个角点的K维描述,并计算其在L(1)、L(2)、L(3)...L(M)这些类别中的概率分布,计算每一个角点的特征描述C到M个聚类中心LC(1)、LC(2)、LC(3)...LC(M)的距离,然后找到出距离最小的中心对应的类别,如果C距离类别LC(x)的中心点最近,那么该角点属于L(x)类,图像特征向量I(x)的值加1,遍历缺陷图像的每一个角点的特征描述后得到该缺陷的M维图像特征向量;
ii)计算该缺陷的N维统计特征向量;
iii)将缺陷的M维图像特征向量和N维统计特征向量合并,组成缺陷的M+N维特征向量,将它输入到自学习分类器B中进行预测得到该缺陷的分类结果。
以上所述为本发明的较佳实施例而已,但本发明不应该局限于该实施例和附图所公开的内容。所以凡是不脱离本发明所公开的精神下完成的等效或修改,都落入本发明保护的范围。
Claims (2)
1.基于统计特征和图像特征相结合的带钢表面缺陷分类方法,其特征在于,具体包括如下步骤:
S1、收集缺陷样本,并根据缺陷样本的统计特征,包括面积,周长、长宽比、位置,以及缺陷样本图像的外观对每个缺陷样本进行分类,产生一组带标记的训练样本集合,对自学习分类器的训练就在上述训练样本集合上进行,假设包含W个缺陷样本,以及C类缺陷;
S2、提取每个缺陷样本图像的角点以及每个角点描述,角点描述反映了角点与邻域像素点的关系,假设角点描述是一个K维的向量;
S3、将全部缺陷样本图像的角点描述在K维空间内进行无监督学习聚类,聚类数为M,这些类为L(1)、L(2)、L(3)...L(M),类别中心为LC(1)、LC(2)、LC(3)...LC(M);
S4、计算每个缺陷样本的角点描述在上述M类中的概率分布,即统计出每个缺陷样本的角点描述属于L(1)、L(2)、L(3)...L(M)这些类的个数,并排列成一个M维向量,由此构成一个缺陷样本的M维图像特征向量;
S5、提取每个缺陷样本的N个统计特征,这些统计特征构成了一个缺陷样本的N维统计特征向量;
S6、将缺陷样本的M维图像特征向量和N维统计特征向量合并,组成缺陷样本的M+N维特征向量;
S7、使用自适应提升树训练方法对W个带有分类标记的M+N维特征向量进行有监督学习训练,训练出自学习分类器B,自学习分类器B对检测到的缺陷进行自动分类,输出缺陷的分类结果。
2.如权利要求1所述的基于统计特征和图像特征相结合的带钢表面缺陷分类方法,其特征在于,实时在线检测时,当有新的缺陷被检测到时利用自学习分类器B采取以下步骤对新的缺陷进行缺陷分类,主要包括步骤:
i)提取该缺陷图像的角点以及每个角点的K维描述,并计算角点的K维描述在L(1)、L(2)、L(3)...L(M)这些类别中的概率分布,作为缺陷的M维图像特征向量;
ii)计算该缺陷的N维统计特征向量;
iii)将缺陷的M维图像特征向量和N维统计特征向量合并,组成缺陷的M+N维特征向量,将M+N维特征向量输入到自学习分类器B中进行预测得到该缺陷的分类结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810524655.7A CN108846831B (zh) | 2018-05-28 | 2018-05-28 | 基于统计特征和图像特征相结合的带钢表面缺陷分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810524655.7A CN108846831B (zh) | 2018-05-28 | 2018-05-28 | 基于统计特征和图像特征相结合的带钢表面缺陷分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108846831A CN108846831A (zh) | 2018-11-20 |
CN108846831B true CN108846831B (zh) | 2021-09-28 |
Family
ID=64207911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810524655.7A Active CN108846831B (zh) | 2018-05-28 | 2018-05-28 | 基于统计特征和图像特征相结合的带钢表面缺陷分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108846831B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109657718B (zh) * | 2018-12-19 | 2023-02-07 | 广东省智能机器人研究院 | 一种数据驱动的smt生产线上spi缺陷类别智能识别方法 |
CN110135477B (zh) * | 2019-04-28 | 2023-03-24 | 湖北工业大学 | 一种基于串/并行集成学习框架的带钢表面质量缺陷分类器及其分类方法 |
US11205260B2 (en) | 2019-11-21 | 2021-12-21 | International Business Machines Corporation | Generating synthetic defect images for new feature combinations |
CN111539938B (zh) * | 2020-04-26 | 2022-12-16 | 中冶赛迪信息技术(重庆)有限公司 | 一种轧带钢带头曲度检测方法、***、介质及电子终端 |
CN113838043A (zh) * | 2021-09-30 | 2021-12-24 | 杭州百子尖科技股份有限公司 | 金属箔材制造中基于机器视觉的质量分析方法 |
CN113808136B (zh) * | 2021-11-19 | 2022-02-22 | 中导光电设备股份有限公司 | 一种基于最近邻算法的液晶屏幕缺陷检测方法和*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8615125B2 (en) * | 2010-10-08 | 2013-12-24 | Omron Corporation | Apparatus and method for inspecting surface state |
CN103631932A (zh) * | 2013-12-06 | 2014-03-12 | 中国科学院自动化研究所 | 一种对重复视频进行检测的方法 |
CN103745234A (zh) * | 2014-01-23 | 2014-04-23 | 东北大学 | 一种带钢表面缺陷的特征提取与分类方法 |
CN107392211A (zh) * | 2017-07-19 | 2017-11-24 | 苏州闻捷传感技术有限公司 | 基于视觉稀疏认知的显著目标检测方法 |
-
2018
- 2018-05-28 CN CN201810524655.7A patent/CN108846831B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8615125B2 (en) * | 2010-10-08 | 2013-12-24 | Omron Corporation | Apparatus and method for inspecting surface state |
CN103631932A (zh) * | 2013-12-06 | 2014-03-12 | 中国科学院自动化研究所 | 一种对重复视频进行检测的方法 |
CN103745234A (zh) * | 2014-01-23 | 2014-04-23 | 东北大学 | 一种带钢表面缺陷的特征提取与分类方法 |
CN107392211A (zh) * | 2017-07-19 | 2017-11-24 | 苏州闻捷传感技术有限公司 | 基于视觉稀疏认知的显著目标检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108846831A (zh) | 2018-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108846831B (zh) | 基于统计特征和图像特征相结合的带钢表面缺陷分类方法 | |
CN110175982B (zh) | 一种基于目标检测的缺陷检测方法 | |
CN115082683B (zh) | 一种基于图像处理的注塑缺陷检测方法 | |
Guan et al. | A steel surface defect recognition algorithm based on improved deep learning network model using feature visualization and quality evaluation | |
CN116205919B (zh) | 基于人工智能的五金零件生产质量检测方法及*** | |
CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
CN116664559B (zh) | 基于机器视觉的内存条损伤快速检测方法 | |
CN114972356B (zh) | 塑料制品表面缺陷检测识别方法及*** | |
CN110021028B (zh) | 一种基于服装款式图的自动制衣方法 | |
CN110826408B (zh) | 一种分区域特征提取人脸识别方法 | |
CN110598698B (zh) | 基于自适应区域建议网络的自然场景文本检测方法和*** | |
CN113221881B (zh) | 一种多层级的智能手机屏幕缺陷检测方法 | |
CN115439458A (zh) | 基于深度图注意力的工业图像缺陷目标检测算法 | |
CN115272305B (zh) | 一种纽扣孔洞缺陷检测方法 | |
CN111814852A (zh) | 图像检测方法、装置、电子设备和计算机可读存储介质 | |
Nasaruddin et al. | A lightweight moving vehicle classification system through attention-based method and deep learning | |
CN115830359A (zh) | 复杂场景下基于目标检测和模板匹配的工件识别计数方法 | |
CN115294089A (zh) | 一种基于改进YOLOv5的钢材表面缺陷检测方法 | |
CN114092478B (zh) | 一种异常检测方法 | |
CN114863464A (zh) | 一种pid图纸图件信息的二阶识别方法 | |
CN115170545A (zh) | 一种动态熔池尺寸检测及成形方向判别方法 | |
CN117557784B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
CN117314901B (zh) | 一种尺度自适应的芯片检测神经网络*** | |
CN117085969B (zh) | 人工智能工业视觉检测方法、装置、设备及存储介质 | |
CN111652200A (zh) | 车险案件中从图片区分多车的处理方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |