CN115423741A - 一种基于深度学习的结构缺陷检测方法 - Google Patents

一种基于深度学习的结构缺陷检测方法 Download PDF

Info

Publication number
CN115423741A
CN115423741A CN202210819758.2A CN202210819758A CN115423741A CN 115423741 A CN115423741 A CN 115423741A CN 202210819758 A CN202210819758 A CN 202210819758A CN 115423741 A CN115423741 A CN 115423741A
Authority
CN
China
Prior art keywords
defect
model
picture
normal flow
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210819758.2A
Other languages
English (en)
Inventor
高峰利
王怀喜
李绍�
林锥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingyi Instrument & Meter General Research Institute Co ltd
Original Assignee
Beijing Jingyi Instrument & Meter General Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingyi Instrument & Meter General Research Institute Co ltd filed Critical Beijing Jingyi Instrument & Meter General Research Institute Co ltd
Priority to CN202210819758.2A priority Critical patent/CN115423741A/zh
Publication of CN115423741A publication Critical patent/CN115423741A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的结构缺陷检测方法，包括：1)建立模型并采用无缺陷图片样本数据集进行训练，得到正常流模型；2)建立模型并采用带缺陷图片样本数据集进行训练，得到目标检测模型；3)将同一张待检测图片输入到正常流模型检测结构边缘缺陷，同时输入到目标检测模型检测结构内部缺陷，最后将正常流模型和目标检测模型的检测结果进行汇总输出。本发明提出了无监督学习和小样本有监督学习相结合的方式，有效实现结构主要缺陷的准确检测，对于安全性要求很高的某些结构缺陷检测领域，本发明填补了技术空白，具有实际推广和应用价值。本发明基于前沿深度学习算法，在检测准确性和鲁棒性方面具有明显优势，且可以实现完全自动化。

Description

一种基于深度学习的结构缺陷检测方法
技术领域
本发明涉及一种基于深度学习的结构缺陷检测方法。
背景技术
提高生产制造流程的自动化程度是制造业的技术变革大趋势，研发先进设备或技术替代繁重人力工作具有重大的实际应用价值。以汽车制造业为例，对冲压件的缺陷检测、车体表面喷漆检测等工序仍需要大量人力资源投入，成为生产流水线的效率瓶颈。一些国内外制造企业已经对多种自动化技术进行了大量研究，特别对于结构件的缺陷检测方向，更是智能技术的核心突破口，例如奔驰在西班牙的公司采用了基于计算机视觉、专家规则的方式实现了汽车喷漆效果的自动化检测。但是通过考察现有已经尝试产业化应用的一系列案例，发现新技术主要集中在对缺陷检测效果要求不高的领域，而对安全性能要求非常高的领域，例如汽车冲压件的缺陷检测等，还没有一种同时满足高精度和高鲁棒性要求的新技术。
涉及的一大技术难点来自于难以收集足够量的带缺陷样本，这限制了当前基于有监督深度学习的一系列人工智能技术。为在数据样本有限的条件下实现缺陷检测的高性能要求，存在两个值得研究的技术方向，一是尝试采用半监督、无监督等不需要大量正样本的深度学习算法，二是结合实际工况，对位于结构非边缘区域内的开裂等具有简单几何形状的缺陷类型，应用基于少量数据样本的有监督学习检测技术。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种基于深度学习的结构缺陷检测方法，在只有少量标注正样本数据的条件下，实现结构件主要缺陷类型(例如开裂)的检测，以解决结构件开裂等主要缺陷类型的检测难题。
为达到以上目的，本发明采取的技术方案是：
一种基于深度学习的结构缺陷检测方法，包括以下步骤：
1)建立模型并采用无缺陷图片样本数据集进行训练，得到正常流模型；
2)建立模型并采用带缺陷图片样本数据集进行训练，得到目标检测模型；
3)将同一张待检测图片输入到正常流模型检测结构边缘缺陷，同时输入到目标检测模型检测结构内部缺陷，最后将正常流模型和目标检测模型的检测结果进行汇总输出。
正常流模型的训练过程如下：将大量无缺陷图片样本输入正常流网络，经过足够数量的迭代训练，得到正常流模型。
具体的，正常流模型提取每张无缺陷图片的特征，并投射到正常流空间，通过在无缺陷图片样本数据集上的迭代训练，使得对应的正常流空间趋于正态分布，当待检测图片存在缺陷时，该待检测图片在正常流空间上的位置与正态分布的正常流空间存在明显差异，只要该差异大于一个合理设置的阈值，就认为检测到缺陷。
无缺陷图片样本数据集建立方式为：在实际工况下，收集不带缺陷的负样本，采集足够数量的无缺陷图片作为正常流模型的无缺陷图片样本数据集。
无缺陷图片的数量大于1000张。
目标检测模型的训练过程如下：将带缺陷图片样本输入到目标检测网络，经过足够数量的迭代优化，得到目标检测模型；带缺陷图片样本需要标注缺陷位置和类别。
具体的，目标检测算法的网络结构划分为特征提取网络和回归网络，特征提取网络抽取图片的高阶特征，回归网络在特征空间上对标注位置和类别进行回归分析。
带缺陷图片样本数据集建立方式如下：在实际工况下，收集带缺陷图片样本并标注缺陷位置和类别，作为目标检测模型的带缺陷图片样本数据集；带缺陷图片样本数据集必须包含一定量的非边缘区域缺陷图片样本。
非边缘区域缺陷图片样本的数量不少于50。
本发明的有益效果：
针对带缺陷正样本难以收集的难题，本发明提出了无监督学习和小样本有监督学习相结合的方式，有效实现结构主要缺陷的准确检测，对于安全性要求很高的某些结构缺陷检测领域，本发明填补了技术空白，具有实际推广和应用价值。
正常流模型因其特点被用来检测结构边缘缺陷，目标检测模型被用来检测结构内部主要缺陷，两种模型的结合，能够实现结构所有区域的精准检测。
有别于当前人工目视或专家设计规则的检测方式，本发明基于前沿深度学习算法，在检测准确性和鲁棒性方面具有明显优势，且可以实现完全自动化。
附图说明
本发明有如下附图：
图1本发明的总体检测过程示意图。
图2正常流模型训练过程示意图。
图3无缺陷负样本示例，具体为4张无缺陷汽车冲压件图片示例。
图4目标检测模型训练过程示意图。
图5带缺陷正样本示例，具体为4张带有内部开裂缺陷的汽车冲压件图片示例。
图6待检测图片示例一。
图7正常流检测结果示意图。
图8待检测图片示例二。
图9目标检测算法检测结果示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
采取两种方法对结构件的缺陷进行联合检测。一是采用基于正常流(Normalizingflow)模型的无监督深度学习方法，训练此类算法模型不需要带缺陷正样本，只需要无缺陷的负样本，该方法对结构件边缘缺陷比较敏感。二是采用YOLO(You onlylook once)等深度学习目标检测算法，在一般情形下训练此类算法模型需要大量的正样本，但因为有少数类型的结构缺陷几何形状变化不大，只需要少量的正样本即可训练得到较优的缺陷检测模型，结构件非边缘区域的开裂即为此类缺陷之一，且正好属于影响结构件安全性能的主要缺陷类型。结合正常流和深度学习目标检测方法，两者优势互补，在不需要大量带缺陷标注数据的条件下，能够同时实现结构件边缘和内部缺陷的检测，适合在实际工况推广应用。
检测过程：
本发明的检测原理如图1所示，将同一张待检测图片分别输入到正常流模型和目标检测模型，得到两个模型对应的缺陷位置和类别等检测结果，最后将两个模型的检测结果进行汇总输出。
正常流模型训练过程：
正常流模型采用的是无监督学习，不需要带缺陷的正样本，仅需要不带缺陷的负样本，这是本算法的一大优点。如图2所示，将大量无缺陷图片样本输入正常流网络，经过足够数量的迭代训练，得到可以实际使用的正常流模型。
算法介绍：
正常流算法的核心思想是提取每张无缺陷图片的特征，并投射到正常流空间，通过在无缺陷图片样本数据集上的迭代训练，使得对应的正常流空间趋于正态分布，当待检测的图片存在缺陷时，该待检测图片在正常流空间上的位置与前述正态分布的正常流空间存在明显差异，只要该差异大于一个合理设置的阈值，就认为检测到缺陷。以 DifferNet为代表的正常流模型，只需要无缺陷的正常样本，即可训练得到用于结构缺陷检测的正常流模型，这类模型对几何变形较大的结构件边缘缺陷比较敏感，而对结构件非边缘区域的封闭型缺陷(裂纹等)检测效果欠佳。
无缺陷图片样本数据集建立方式：
在实际工况下，很容易收集不带缺陷的负样本，采集如图3示例的足够数量(一般需要大于1000张)的无缺陷图片作为正常流模型的无缺陷图片样本数据集。
目标检测模型训练过程：
YOLO等目标检测模型采用有监督学***直的缝隙，可以大幅减小训练样本的采集数量。如图4所示，将带缺陷图片样本输入到目标检测网络，经过足够数量的迭代优化，得到性能较优的目标检测模型。
算法介绍：
以YOLO系列为代表的目标检测模型，其网络结构大致可以划分为特征提取和回归两部分，特征提取网络抽取图片的高阶特征，回归网络在特征空间上对标注位置和类别进行回归分析。
带缺陷图片样本数据集建立方式：
在实际工况下，出现带缺陷正样本的概率很小，如图5示例，尽量收集带缺陷图片样本(非边缘区域缺陷图片样本数量一般不少于 50)并标注缺陷位置和类别，作为目标检测模型的带缺陷图片样本数据集。
检测结果示例：
在训练得到正常流模型和目标检测模型之后，将其应用于实际图片的缺陷检测。
输入如图6所示的待检测图片，分别经过两个模型的检测，正常流模型对结构件边缘缺陷敏感，检测结果如图7所示，在结构件边缘区域，出现多处高亮，即为缺陷位置。目标检测模型对内部缺陷敏感，因被检结构件中不存在此类缺陷，所以没有检测结果。综合两个模型的检测结果，最后输出由正常流模型检测到的边缘缺陷位置。
又输入如图8所示的带内部裂纹的待检测图片，分别输入到两个模型进行检测。因裂纹特征不够明显，正常流模型检测不到明显的异常区域。目标检测模型能够精确检测训练集中出现过的缺陷类型，所以能够检测到裂纹位置。将两个模型的检测结果汇总输出，最后得到如图9所示的缺陷位置检测结果。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的实质和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的保护范围。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (9)

1.一种基于深度学习的结构缺陷检测方法，其特征在于，包括如下步骤：
1)建立模型并采用无缺陷图片样本数据集进行训练，得到正常流模型；
2)建立模型并采用带缺陷图片样本数据集进行训练，得到目标检测模型；
3)将同一张待检测图片输入到正常流模型检测结构边缘缺陷，同时输入到目标检测模型检测结构内部缺陷，最后将正常流模型和目标检测模型的检测结果进行汇总输出。
2.如权利要求1所述的基于深度学习的结构缺陷检测方法，其特征在于，正常流模型的训练过程如下：将大量无缺陷图片样本输入正常流网络，经过足够数量的迭代训练，得到正常流模型。
3.如权利要求2所述的基于深度学习的结构缺陷检测方法，其特征在于：正常流模型提取每张无缺陷图片的特征，并投射到正常流空间，通过在无缺陷图片样本数据集上的迭代训练，使得对应的正常流空间趋于正态分布，当待检测图片存在缺陷时，该待检测图片在正常流空间上的位置与正态分布的正常流空间存在明显差异，只要该差异大于一个合理设置的阈值，就认为检测到缺陷。
4.如权利要求1所述的基于深度学习的结构缺陷检测方法，其特征在于，无缺陷图片样本数据集建立方式为：在实际工况下，收集不带缺陷的负样本，采集足够数量的无缺陷图片作为正常流模型的无缺陷图片样本数据集。
5.如权利要求4所述的基于深度学习的结构缺陷检测方法，其特征在于：无缺陷图片的数量大于1000张。
6.如权利要求1所述的基于深度学习的结构缺陷检测方法，其特征在于，目标检测模型的训练过程如下：将带缺陷图片样本输入到目标检测网络，经过足够数量的迭代优化，得到目标检测模型；带缺陷图片样本需要标注缺陷位置和类别。
7.如权利要求1所述的基于深度学习的结构缺陷检测方法，其特征在于：目标检测模型的网络结构划分为特征提取网络和回归网络，特征提取网络抽取图片的高阶特征，回归网络在特征空间上对标注位置和类别进行回归分析。
8.如权利要求1所述的基于深度学习的结构缺陷检测方法，其特征在于，带缺陷图片样本数据集建立方式如下：在实际工况下，收集带缺陷图片样本并标注缺陷位置和类别，作为目标检测模型的带缺陷图片样本数据集；带缺陷图片样本数据集必须包含一定量的非边缘区域缺陷图片样本。
9.如权利要求8所述的基于深度学习的结构缺陷检测方法，其特征在于：非边缘区域缺陷图片样本的数量不少于50。
CN202210819758.2A 2022-07-13 2022-07-13 一种基于深度学习的结构缺陷检测方法 Pending CN115423741A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210819758.2A CN115423741A (zh) 2022-07-13 2022-07-13 一种基于深度学习的结构缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210819758.2A CN115423741A (zh) 2022-07-13 2022-07-13 一种基于深度学习的结构缺陷检测方法

Publications (1)

Publication Number Publication Date
CN115423741A true CN115423741A (zh) 2022-12-02

Family

ID=84196680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210819758.2A Pending CN115423741A (zh) 2022-07-13 2022-07-13 一种基于深度学习的结构缺陷检测方法

Country Status (1)

Country Link
CN (1) CN115423741A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689646A (zh) * 2023-12-18 2024-03-12 华中科技大学 一种正负样本融合的高精度缺陷检测方法、***及介质
CN118096747A (zh) * 2024-04-24 2024-05-28 深圳市英唐智能实业有限公司 基于深度学习的pcba板自动检测方法及***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689646A (zh) * 2023-12-18 2024-03-12 华中科技大学 一种正负样本融合的高精度缺陷检测方法、***及介质
CN118096747A (zh) * 2024-04-24 2024-05-28 深圳市英唐智能实业有限公司 基于深度学习的pcba板自动检测方法及***
CN118096747B (zh) * 2024-04-24 2024-06-28 深圳市英唐智能实业有限公司 基于深度学习的pcba板自动检测方法及***

Similar Documents

Publication Publication Date Title
CN115423741A (zh) 一种基于深度学习的结构缺陷检测方法
CN107742286A (zh) 一种多晶硅太阳能电池片el测试裂纹缺陷检测方法
CN111798419A (zh) 一种金属喷漆表面缺陷检测方法
CN113205063A (zh) 一种输电导线缺陷的视觉识别及定位方法
CN111105389B (zh) 融合Gabor滤波器与卷积神经网络的路面裂缝的检测方法
CN110555831B (zh) 一种基于深度学习的排水管道缺陷分割方法
CN114219773B (zh) 一种桥梁裂缝检测数据集预筛选与标定方法
CN112017204A (zh) 一种基于边缘标记图神经网络的刀具状态图像分类方法
CN114627109A (zh) 基于图像增强和深度学习的煤矸分类识别方法与流程
CN109120230B (zh) 一种太阳能电池片el图像检测和缺陷识别方法
CN112907561A (zh) 一种基于深度学习的笔记本外观瑕疵检测方法
CN110020691A (zh) 基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法
CN115456955A (zh) 一种球笼防尘罩内部毛刺缺陷检测方法
Chen et al. The machined surface defect detection of improved superpixel segmentation and two-level region aggregation based on machine vision
CN102313740B (zh) 太阳能电池板裂痕检测方法
CN111539950A (zh) 一种基于机器视觉的太阳能板缺陷检测***
CN112653675A (zh) 一种基于深度学习的智能入侵检测方法及其装置
CN115100173B (zh) 基于深度卷积神经网络的公路路面图像裂缝几何属性检测与裂缝识别方法
US20240169510A1 (en) Surface defect detection model training method, and surface defect detection method and system
CN115995023A (zh) 瑕疵检测方法、装置、电子设备、计算机可读存储介质及产品检测方法
CN115205230A (zh) 一种基于新型注意力机制的混凝土桥梁表观裂缝识别方法
CN115619763A (zh) 基于多级推理检测的输电线路小部件图像目标检测方法
CN109255794A (zh) 一种标准件深度全卷积特征边缘检测方法
CN112686915A (zh) 一种基于全卷积神经网络的光伏组件图片切割方法
CN104504702A (zh) 基于方格搜索法的水泥刻槽路面裂缝识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination