CN110020691A - 基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法 - Google Patents

基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法 Download PDF

Info

Publication number
CN110020691A
CN110020691A CN201910290488.9A CN201910290488A CN110020691A CN 110020691 A CN110020691 A CN 110020691A CN 201910290488 A CN201910290488 A CN 201910290488A CN 110020691 A CN110020691 A CN 110020691A
Authority
CN
China
Prior art keywords
defect
sample
normal
training
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910290488.9A
Other languages
English (en)
Other versions
CN110020691B (zh
Inventor
潘科
孔令峰
胡宗亮
詹慧妹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Information And Communication Research Institute
Original Assignee
Chongqing Information And Communication Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Information And Communication Research Institute filed Critical Chongqing Information And Communication Research Institute
Priority to CN201910290488.9A priority Critical patent/CN110020691B/zh
Publication of CN110020691A publication Critical patent/CN110020691A/zh
Application granted granted Critical
Publication of CN110020691B publication Critical patent/CN110020691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)

Abstract

本发明涉及一种基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法，属于屏幕检测技术领域。该方法包括以下步骤：通过频域高斯滤波或者时域高斯模糊的方法将缺陷样本转换为正常样本，建议使用频域高斯滤波，因为这个模糊方式对正常背景特征破坏程度较小；在对抗性训练过程中，将缺陷样本与平滑后的正常样本成对输入到卷积神经网络中；通过设置相应的损失函数，网络学习到缺陷区域与不直接相关的正常背景的特征差异，以及缺陷区域与直接相关的正常背景之间的差异。本发明提出的算法采用对抗性训练的方法，即使在少量训练样本的条件下，也可以快速学习到缺陷与背景的差异。

Description

基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法
技术领域
本发明属于屏幕检测技术领域，涉及基于卷积神经网络对抗式训练的液晶屏幕缺陷检测 方法。
背景技术
1、本技术领域发展状况
液晶屏幕的生产环节，包括切割，组装与焊接等已基本实现自动化，但是在质量检测环 节仍然使用人工检测。人工检测最大的缺点在于成本较高，所以很多模组厂家正在积极寻找 相关的AOI设备。
制约这种AOI设备量产的原因在于算法检测的直通率低，且算法调试难度大，培训时间 长等。现在很多视觉企业正积极研发这种装备，但是如何在保证高准确率的前提下降低设备 成本，尤其是维护成本仍旧是一个难题。
2、已有技术方案
1)基于数字图像处理方案
该方案主要通过缺陷增强或者背景重建的方法，然后再通过设定阈值检测。其中，增强 方法多采用频域增强，背景重建方法多使用PCA,ICA等方法。
2)基于模式识别或者神经网络的二次判断方法
该方法首先通过数字图像处理寻找可能的缺陷区域，提取该区域建模，做精确判断。其 中，建模的算法多为EM,SVM或者BP网络。
3)基于深度学习的方法、
该方法大多是采集大量的训练样本，经过CNN或者DBN，或者结合RNN训练。
3、现有方案的不足
1)算法复杂度高，检测速度慢。
2)需要较多的训练样本。
3)对很不明显的Mura缺陷检测效果不佳。
4)边缘处Mura缺陷检测效果不佳。
5)检测超参数较多，阈值参数对于不同类型的模板难以统一。
发明内容
有鉴于此，本发明的目的在于提供一种基于卷积神经网络对抗式训练的液晶屏幕缺陷检 测方法，通过少量的训练样本，在短时间内训练一个同时检测多种类型缺陷(Mura缺陷，点 缺陷，线缺陷等)的卷积神经网络模型。
为达到上述目的，本发明提供如下技术方案：
基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法，该方法包括以下步骤：
在一块正常的模组上采集无缺陷的样本图A，然后在这个模组制作缺陷并采集得到含有 缺陷的样本B；有目的地学习B图中缺陷的区域PB与A图中与PB相同的位置的区域PA的差 异；
通过频域高斯滤波或者时域高斯模糊的方法将缺陷样本转换为正常样本，这个模糊方式 对正常背景特征破坏程度较小；
在对抗性训练过程中，将缺陷样本与平滑后的正常样本成对输入到卷积神经网络中；
通过设置相应的损失函数，网络学习到缺陷区域与不直接相关的正常背景的特征差异， 以及缺陷区域与直接相关的正常背景之间的差异；网络的损失函数如下：
其中，Sampleng与Sampleok分别表示缺陷样本与转换的正常样本；表示缺陷样 本对应的特征图的置信度损失，包括缺陷区域与正常区域；表示缺陷样本特征图 中的坐标回归损失；表示正常样本特征图中与缺陷样本特征图对应区域的置信度损 失，只需要计算正常区域；
进一步，所述方法的主干网络基于SSD分类网络架构，考虑到缺陷的形状与面积等因素， 主干网络的层数与卷积方式有一定变化，模型结构如下表：
该模型结构有36448个检测框，根据实际情况进行删减。
本发明的有益效果在于：
1、采用卷积神经网络，不需要改变图像特征，解决了前期需要建立背景模型以消除图像 亮度不均匀的问题。同时，也不会在预处理过程中破坏图像边缘特征，可以解决背景算法中 边缘处缺陷容易漏检的问题。
2、卷积神经网络可以一个模型同时检测多种类型缺陷，不需要最针对不同的缺陷类型设 计不同的算法，实现算法的通用，进而降低了超参数的数量。
3、针对企业柔性生产的方式，企业需要可以快速上线的新模型。这不仅要求新模型训练 时间短，而且训练样本数量要少。本发明提出的算法采用对抗性训练的方法，即使在少量训 练样本的条件下，也可以快速学习到缺陷与背景的差异。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某 种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发 明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详 细描述，其中：
图1为训练与检测流程图；
图2为对抗性训练过程；
图3为检测主干网络；
图4为主干网络中各模块与可替代模块；图4(a)为Conv模块，图(b)为Atrous模块，图 4(c)为ResAtrous模块；
图5为准确率与样本数量关系图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露 的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加 以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精 神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本 发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明 的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表 实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理 解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中， 需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位 或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不 是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图 中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通 技术人员而言，可以根据具体情况理解上述术语的具体含义。
如图1所示，类似生物学中的对比试验：在一个相同的环境下，仅改变其中某一个因素， 观察这个因素的变化对结果的影响程度，从而直观地展示这个因素的重要性。鉴于此，区分 缺陷与正常背景最简单，也是最有效的方法是：在一块正常的模组上采集无缺陷的样本图A， 然后在这个模组制作缺陷并采集得到含有缺陷的样本B。有目的地学习B图中缺陷的区域PB与A图中与PB相同的位置的区域PA的差异。
但是，现实种这种破坏性地采集样本的方式是不可行的。但是，如果反过来：由于类似 Mura,点缺陷，线缺陷等缺陷块，如果它的面积较小，可以将其模糊直至消除。即可以通过频 域高斯滤波或者时域高斯模糊的方法将缺陷样本转换为正常样本，这个模糊方式对正常背景 特征破坏程度较小。本算法推荐使用频域高斯滤波以消除缺陷(如果缺陷区域较大，可以以 异显或者亮度不均匀等缺陷处理)。
如图2所示，在对抗性训练过程中，将缺陷样本与平滑后的正常样本成对输入到卷积神 经网络中。通过设置相应的损失函数，网络不仅可以学习到缺陷区域与不直接相关的正常背 景的特征差异，也会直接学习到缺陷区域与直接相关的正常背景之间的差异。网络的损失函 数如下：
其中，Sampleng与Sampleok分别表示缺陷样本与转换的正常样本。表示缺陷 样本对应的特征图的置信度损失，包括缺陷区域与正常区域。表示缺陷样本特征 图中的坐标回归损失。表示正常样本特征图中与缺陷样本特征图对应区域的置信度 损失，只需要计算正常区域。
该算法的主干网络基于SSD分类网络架构，考虑到缺陷的形状与面积等因素，主干网络 的层数与卷积方式有一定变化，模型结构图如图3所示。
图4中，图(a)和图(b)模块对应于图3，如果需要加深网络，可使用残差模块图4(c)。该 模型有36448个检测框，可以根据实际情况进行删减。
该算法的训练样本共650余张，来源于3家液晶模组生产企业，分别是7寸TFT-LCD模组样本300余张，5.5寸OLED模组150张，4.5寸TFT-LCD模组200余张。其检测正确 率与样本数量的关系图如5所示。
由此可见，在样本量较少的前提下，采用对抗性训练的方法可以显著提升检测的准确率。
该模型有以下特征：
1.所需训练样本数量较少，在650张训练样本下，模型漏检率<0.3％,误检率<1.2％。满足 企业对准确率要求。
2.模型体积在4M左右，检测时间<1.8s/p(Intel E3-12263.31Ghz)
3.可以较好的检测到边缘缺陷和比较浅的Mura类缺陷。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施 例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进 行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求 范围当中。

Claims (2)

1.基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法，其特征在于：该方法包括以下步骤：
在一块正常的模组上采集无缺陷的样本图A，然后在这个模组制作缺陷并采集得到含有缺陷的样本B；有目的地学习B图中缺陷的区域PB与A图中与PB相同的位置的区域PA的差异；
通过频域高斯滤波或者时域高斯模糊的方法将缺陷样本转换为正常样本，这个模糊方式对正常背景特征破坏程度较小；
在对抗性训练过程中，将缺陷样本与平滑后的正常样本成对输入到卷积神经网络中；
通过设置相应的损失函数，网络学习到缺陷区域与不直接相关的正常背景的特征差异，以及缺陷区域与直接相关的正常背景之间的差异；网络的损失函数如下：
其中，Sampleng与Sampleok分别表示缺陷样本与转换的正常样本；表示缺陷样本对应的特征图的置信度损失，包括缺陷区域与正常区域；表示缺陷样本特征图中的坐标回归损失；表示正常样本特征图中与缺陷样本特征图对应区域的置信度损失，只需要计算正常区域。
2.根据权利要求1所述的基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法，其特征在于：所述方法的主干网络基于SSD分类网络架构，考虑到缺陷的形状与面积等因素，主干网络的层数与卷积方式有一定变化，模型结构如下表：
该模型结构有36448个检测框，根据实际情况进行删减。
CN201910290488.9A 2019-04-11 2019-04-11 基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法 Active CN110020691B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910290488.9A CN110020691B (zh) 2019-04-11 2019-04-11 基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910290488.9A CN110020691B (zh) 2019-04-11 2019-04-11 基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法

Publications (2)

Publication Number Publication Date
CN110020691A true CN110020691A (zh) 2019-07-16
CN110020691B CN110020691B (zh) 2022-10-11

Family

ID=67191185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910290488.9A Active CN110020691B (zh) 2019-04-11 2019-04-11 基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法

Country Status (1)

Country Link
CN (1) CN110020691B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717378A (zh) * 2019-08-26 2020-01-21 苏州感知线智能科技有限公司 基于神经网络算法的导电粒子的检测方法及装置
CN111476759A (zh) * 2020-03-13 2020-07-31 深圳市鑫信腾机器人科技有限公司 一种屏幕表面检测方法、装置、终端及存储介质
CN111524120A (zh) * 2020-04-22 2020-08-11 征图新视(江苏)科技股份有限公司 基于深度学习的印刷品细小划痕、套印偏差检测方法
CN113255590A (zh) * 2021-06-25 2021-08-13 众芯汉创（北京）科技有限公司 一种缺陷检测模型训练方法、缺陷检测方法、装置及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016201947A1 (zh) * 2015-06-16 2016-12-22 华南理工大学 一种轮形铸造产品缺陷自动检测方法
CN109559298A (zh) * 2018-11-14 2019-04-02 电子科技大学中山学院 一种基于深度学习的乳液泵缺陷检测的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016201947A1 (zh) * 2015-06-16 2016-12-22 华南理工大学 一种轮形铸造产品缺陷自动检测方法
CN109559298A (zh) * 2018-11-14 2019-04-02 电子科技大学中山学院 一种基于深度学习的乳液泵缺陷检测的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曾毅等: "基于BP神经网络和均值差分的TFT-LCD MURA缺陷检测方法", 《湖南理工学院学报(自然科学版)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717378A (zh) * 2019-08-26 2020-01-21 苏州感知线智能科技有限公司 基于神经网络算法的导电粒子的检测方法及装置
CN111476759A (zh) * 2020-03-13 2020-07-31 深圳市鑫信腾机器人科技有限公司 一种屏幕表面检测方法、装置、终端及存储介质
CN111476759B (zh) * 2020-03-13 2022-03-25 深圳市鑫信腾机器人科技有限公司 一种屏幕表面检测方法、装置、终端及存储介质
CN111524120A (zh) * 2020-04-22 2020-08-11 征图新视(江苏)科技股份有限公司 基于深度学习的印刷品细小划痕、套印偏差检测方法
CN113255590A (zh) * 2021-06-25 2021-08-13 众芯汉创（北京）科技有限公司 一种缺陷检测模型训练方法、缺陷检测方法、装置及***

Also Published As

Publication number Publication date
CN110020691B (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN110020691A (zh) 基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法
CN104992449A (zh) 基于机器视觉的信息识别及表面缺陷在线检测方法
CN109239102A (zh) 一种基于cnn的柔性电路板外观缺陷检测方法
CN111402226A (zh) 一种基于级联卷积神经网络的表面疵点检测方法
CN105388162B (zh) 基于机器视觉的原料硅片表面划痕检测方法
CN106875373A (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN111951249A (zh) 基于多任务学习网络的手机导光板缺陷可视化检测方法
CN101063660B (zh) 一种纺织品缺陷检测方法及其装置
CN108802041B (zh) 一种屏幕检测的小样本集快速换型的方法
CN107977686A (zh) 一种工业x光图像的分类方法
CN110647875A (zh) 一种血细胞分割、识别模型构造的方法及血细胞识别方法
CN108416774A (zh) 一种基于细粒度神经网络的织物种类识别方法
CN108764134A (zh) 一种适用于巡检机器人的多类型仪表自动定位与识别方法
CN110400306B (zh) 基于形态学滤波和卷积神经网络的无纺布疵点检测方法
CN110555831B (zh) 一种基于深度学习的排水管道缺陷分割方法
CN110186375A (zh) 智能化高铁白车身焊接装配特征检测装置及检测方法
CN114638797A (zh) 一种基于线阵相机的铜表面缺陷检测方法及装置
CN113222913B (zh) 一种电路板缺陷检测定位方法、装置和存储介质
CN111476307B (zh) 一种基于深度领域适应的锂电池表面缺陷检测方法
CN112819844B (zh) 一种图像边缘检测方法及装置
CN110349125A (zh) 一种基于机器视觉的led芯片外观缺陷检测方法及***
CN112964732A (zh) 一种基于深度学习的丝饼缺陷视觉检测***及方法
CN104252056A (zh) 一种基板的检测方法及装置
CN116228651A (zh) 一种布匹缺陷检测方法、***、设备及介质
CN116029979A (zh) 一种基于改进Yolov4的布料瑕疵视觉检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant