CN109035226A - 基于LSTM模型的Mura缺陷检测方法 - Google Patents

基于LSTM模型的Mura缺陷检测方法 Download PDF

Info

Publication number
CN109035226A
CN109035226A CN201810763443.4A CN201810763443A CN109035226A CN 109035226 A CN109035226 A CN 109035226A CN 201810763443 A CN201810763443 A CN 201810763443A CN 109035226 A CN109035226 A CN 109035226A
Authority
CN
China
Prior art keywords
lstm model
sample
region
mura defects
panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810763443.4A
Other languages
English (en)
Other versions
CN109035226B (zh
Inventor
陈武
张胜森
郑增强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jingce Electronic Group Co Ltd
Wuhan Jingce Electronic Technology Co Ltd
Original Assignee
Wuhan Jingce Electronic Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Jingce Electronic Group Co Ltd filed Critical Wuhan Jingce Electronic Group Co Ltd
Priority to CN201810763443.4A priority Critical patent/CN109035226B/zh
Publication of CN109035226A publication Critical patent/CN109035226A/zh
Application granted granted Critical
Publication of CN109035226B publication Critical patent/CN109035226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种基于LSTM模型的Mura缺陷检测方法，包括步骤：1)将面板等分为m个区域，采集m个区域的合格品样本和缺陷品样本；2)每一个区域的合格品样本和缺陷品样本组成一个样本序列，每个序列建立一个LSTM模型；3)将m个区域的样本序列分别进行LSTM模型训练；4)将待测面板的m个区域的图片输入至对应的LSTM模型，m个LSTM模型输出合格或者缺陷的分类结果；5)将m个LSTM模型的分类结果综合，判断是否有任一区域的分类结果为缺陷。本发明通过深度神经网络建立缺陷检测模型，有效规避了传统算法进行背景分割、参数提取的局限性，同时降低了人工成本，能快速输出Mura缺陷，对缺陷进行准确检测，提高了Mura缺陷检测的准确性和效率。

Description

基于LSTM模型的Mura缺陷检测方法
技术领域
本发明涉及面板的自动化缺陷检测领域，尤其是深度学习与图像处理，具体地指一种基于LSTM模型的Mura缺陷检测方法。
背景技术
在AOI(Automatic Optic Inspection自动光学检测)缺陷检测中，Mura缺陷检测至关重要，直接影响了最终LCD面板缺陷降等判定结果。Mura缺陷具有形状不规则、大小不均匀、位置不固定、局部或整体亮度不均匀、对比度低的特性，同时受到人眼感知力以及主观因素的限制，很难快速准确地对Mura进行快速准确地检测及评价，从图1中可以看出，Mura缺陷相对于背景的对比度很低，边缘模糊不清，肉眼不容易辨认。同时随着制程的更新换代，各种不可预知的Mura缺陷也会伴随产生。目前传统算法还没有形成稳定可靠的检测体系，需要寻求一种更稳定、精度更高的Mura缺陷检测方法。
如图2所示，现有Mura缺陷检测流程一般分为图像获取、亮度矫正、图像增强和缺陷检测4个流程。随着LCD大画面、轻薄化、高分辨率的发展趋势，Mura缺陷出现的几率大大增加，同时所处环境会越来越复杂，重复的纹理背景、整体亮度的不均匀以及缺陷模糊的边缘、较低的对比度使得图像处理中传统的亮度矫正和图片增强算法很难直接将Mura缺陷检出。因此，必须研究出一套新的方法去适应现有的行业要求。
发明内容
针对现有技术的不足，本发明的目的是提供一种基于LSTM模型的Mura缺陷检测方法，通过深度神经网络建立缺陷检测模型，有效规避了传统算法进行背景分割、参数提取的局限性，同时降低了人工成本，能快速输出Mura缺陷，对缺陷进行准确检测，提高了Mura缺陷检测的准确性和效率。
为实现上述目的，本发明所设计的一种基于LSTM模型的Mura缺陷检测方法，其特殊之处在于，包括如下步骤：
1)将面板等分为m个区域，采集m个区域的合格品样本和缺陷品样本；
2)每一个区域的合格品样本和缺陷品样本组成一个样本序列，每个序列建立一个LSTM模型；
3)将m个区域的样本序列分别进行LSTM模型训练，LSTM模型通过深度学习提取合格品样本特征和缺陷品样本特征；
4)将待测面板的m个区域的图片输入至对应的LSTM模型，m个LSTM模型输出合格或者缺陷的分类结果；
5)将m个LSTM模型的分类结果综合，判断是否有任一区域的分类结果为缺陷，是则判断待测面板为Mura缺陷并将缺陷位置定位，否则判断待测面板为合格品。
优选地，所述合格品样本和缺陷品样本的比例为(0.8～1.2)：(0.8～1.2)。
优选地，m＝a*a，a为自然数。最佳地，a＝10。
优选地，所述待测面板为同一批次的n个面板产品。
优选地，所述合格品样本和缺陷品样本的面板与待测面板为同一型号的面板产品。
本发明提出了一套完整的Mura缺陷检测方法，根据面板生产时间形成样本序列，通过LSTM网络模型进行记忆训练，网络模型对样本序列进行训练后，能快速筛选去缺陷区域和正常区域，从而进行缺陷检测。通过该方法，可以对面板的Mura缺陷进行准确详细的检测，能成功规避传统算法的局限，同时极大的降低了人力成本。
本发明的优点在于：
1)将面板区域划分为多个子区域，提高了每个子区域的序列信息，从而更有利于LSTM检测；
2)基于LSTM神经网络，对大量的样本进行学习，降低复杂背景的干扰，提高了Mura检测的准确性；
3)检测方法适合在线检测，取代人员检测过程，从而降低人工成本和时间成本。
附图说明
图1为LCD样图。
图2为现有Mura检测的流程图。
图3为LSTM模型原理图。
图4为本发明基于LSTM模型的Mura缺陷检测方法的流程图。
图5为样本序列结构示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细描述。
本发明使用LSTM模型对Mura缺陷进行检测，LSTM模型是一种特定形式的RNN(Recurrent neural network，循环神经网络)，而RNN是一系列能够处理序列数据的神经网络的总称。
目前面板产品是按照批次进行生产，所有同一个批次的产品可以看成是一个序列样本，正常样本之间的差异会较小，而一个序列中每相邻的样本之间差异会更小，一旦出现比较明显的差异，则大概率为产生了Mura缺陷。
LSTM模型通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是LSTM的默认行为。LSTM模型的关键就是单元状态，水平线在图上方贯穿运行。单元状态类似于传送带。直接在整个链上运行，只有一些少量的线***互。信息在上面流传保持不变会很容易。LSTM模型有通过精心设计的称作为“门”的结构来去除或者增加信息到单元状态的能力。门是一种让信息选择式通过的方法，包含一个Sigmoid神经网络层和一个pointwise乘法操作。Sigmoid层输出0到1之间的数值，描述每个部分有多少量可以通过。0代表不许任何量通过，1就指允许任意量通过。LSTM模型拥有三个门，来保护和控制单元状态，其结构原理如图3所示。
本发明建立的LSTM模型通过学习一个序列的面板样本，找到正常样本之间的相互关系，并通过遗忘门来控制需要保留或者删除的信息，通过输出门对应输出正常样本和Mura缺陷样本。
如图4所示，本发明提出的基于LSTM模型的Mura缺陷检测方法的具体步骤包括：
1)将面板等分为m＝a*a个区域，采集m个区域的合格品样本和缺陷品样本。本实施例中取m＝100，a＝10。将每一个面板样本等分成10×10共100个区域；并标记为1～100，如图5中5-a，同一批次的面板数量记为n。
2)每一个区域的合格品样本和缺陷品样本组成一个样本序列，如图5中5-b所示，每个序列建立一个LSTM模型。
3)将m个区域的样本序列分别进行LSTM模型训练，LSTM模型通过深度学习提取合格品样本特征和缺陷品样本特征。训练样本一般取通常情况下500～2000条，合格品样本和缺陷品样本的比例为1:1左右。
100个序列样本分别进行LSTM模型训练，每个样本通过门来控制输入、遗忘和输出。门实际上就是一层全连接层，输入是特征向量x，输出是一个0到1之间的实数向量。公式为：
g(x)＝σ(Wx+b)
式中，W：权重矩阵，通过设置0或1控制是否保留或遗忘；b：门的偏置项，σ表示sigmoid函数，被用作神经网络的阈值函数，将变量映射到0,1之间，
LSTM根据所学习的样本序列的信息，通过输入门的控制，每一个单元会根据上一次的输出和本次输入来计算当前输入的单元状态，输入门决定了当前时刻网络的输入有多少保存到单元状态；通过遗忘门的控制，决定了上一时刻的单元状态有多少保留到当前时刻；输出门控制单元状态有多少输出到LSTM的当前输出值。由于同一批次的样本具有很明显的序列信息，LSTM可以学会先前的有用信息，最终会通过输出门来控制有多少信息会成为当前LSTM的输出值；LSTM根据自己提取的特征，建立合格品和缺陷品的特征规则，然后通过三个门去控制每个样本提取的特征的保留量和输出量，以建立更优的模型，实现Mura缺陷检测。
4)将待测面板的m个区域的图片输入至对应的LSTM模型，m个LSTM模型输出合格或者缺陷的分类结果。在上述LSTM学习过程中，会产生100个LSTM网络，在进行测试时，同样将面板区域划分为10×10(100个区域)，每一个区域使用对应的模型进行检测。
5)将m个LSTM模型的分类结果综合，判断是否有任一区域的分类结果为缺陷，是则判断待测面板为Mura缺陷并将缺陷位置定位，否则判断待测面板为合格品。在输出的100个结果中，只要有一个结果为Mura缺陷，则该片面板被判定为Mura缺陷，同时缺陷位置可以准确定位。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以设计出若干改进，这些改进也应视为本发明的保护范围。
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (6)

1.一种基于LSTM模型的Mura缺陷检测方法，其特征在于：包括如下步骤：
1)将面板等分为m个区域，采集m个区域的合格品样本和缺陷品样本；
2)每一个区域的合格品样本和缺陷品样本组成一个样本序列，每个序列建立一个LSTM模型；
3)将m个区域的样本序列分别进行LSTM模型训练，LSTM模型通过深度学习提取合格品样本特征和缺陷品样本特征；
4)将待测面板的m个区域的图片输入至对应的LSTM模型，m个LSTM模型输出合格或者缺陷的分类结果；
5)将m个LSTM模型的分类结果综合，判断是否有任一区域的分类结果为缺陷，是则判断待测面板为Mura缺陷并将缺陷位置定位，否则判断待测面板为合格品。
2.根据权利要求1所述的基于LSTM模型的Mura缺陷检测方法，其特征在于：所述合格品样本和缺陷品样本的比例为(0.8～1.2)：(0.8～1.2)。
3.根据权利要求1所述的基于LSTM模型的Mura缺陷检测方法，其特征在于：m＝a*a，a为自然数。
4.根据权利要求1所述的基于LSTM模型的Mura缺陷检测方法，其特征在于：所述待测面板为同一批次n个的面板产品。
5.根据权利要求1所述的基于LSTM模型的Mura缺陷检测方法，其特征在于：所述合格品样本和缺陷品样本的面板与待测面板为同一型号的面板产品。
6.根据权利要求1所述的基于LSTM模型的Mura缺陷检测方法，其特征在于：a＝10。
CN201810763443.4A 2018-07-12 2018-07-12 基于LSTM模型的Mura缺陷检测方法 Active CN109035226B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810763443.4A CN109035226B (zh) 2018-07-12 2018-07-12 基于LSTM模型的Mura缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810763443.4A CN109035226B (zh) 2018-07-12 2018-07-12 基于LSTM模型的Mura缺陷检测方法

Publications (2)

Publication Number Publication Date
CN109035226A true CN109035226A (zh) 2018-12-18
CN109035226B CN109035226B (zh) 2021-11-23

Family

ID=64641301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810763443.4A Active CN109035226B (zh) 2018-07-12 2018-07-12 基于LSTM模型的Mura缺陷检测方法

Country Status (1)

Country Link
CN (1) CN109035226B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829914A (zh) * 2019-02-26 2019-05-31 视睿（杭州）信息科技有限公司 检测产品缺陷的方法和装置
CN109856157A (zh) * 2019-01-24 2019-06-07 武汉精立电子技术有限公司 一种基于自适应对焦的lcd面板缺陷检测方法
CN110174409A (zh) * 2019-06-14 2019-08-27 北京科技大学 一种基于实时检测结果的中厚板周期性缺陷控制方法
CN110232406A (zh) * 2019-05-28 2019-09-13 厦门大学 一种基于统计学习的液晶面板cf图片识别方法
CN110322429A (zh) * 2019-05-09 2019-10-11 中南大学 一种基于深度学习的蜂窝复合材料缺陷分类方法
CN111191739A (zh) * 2020-01-09 2020-05-22 电子科技大学 一种基于注意力机制的墙面缺陷检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318256A (zh) * 2014-11-17 2015-01-28 上海埃蒙特自动化***有限公司 基于计算机软件实现玻璃缺陷自动检测分类的方法
CN107423756A (zh) * 2017-07-05 2017-12-01 武汉科恩斯医疗科技有限公司 基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法
US20170372475A1 (en) * 2016-06-23 2017-12-28 Siemens Healthcare Gmbh Method and System for Vascular Disease Detection Using Recurrent Neural Networks
CN108197648A (zh) * 2017-12-28 2018-06-22 华中科技大学 一种基于lstm深度学习模型的水电机组故障诊断方法与***
CN108255656A (zh) * 2018-02-28 2018-07-06 湖州师范学院 一种应用于间歇过程的故障检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318256A (zh) * 2014-11-17 2015-01-28 上海埃蒙特自动化***有限公司 基于计算机软件实现玻璃缺陷自动检测分类的方法
US20170372475A1 (en) * 2016-06-23 2017-12-28 Siemens Healthcare Gmbh Method and System for Vascular Disease Detection Using Recurrent Neural Networks
CN107423756A (zh) * 2017-07-05 2017-12-01 武汉科恩斯医疗科技有限公司 基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法
CN108197648A (zh) * 2017-12-28 2018-06-22 华中科技大学 一种基于lstm深度学习模型的水电机组故障诊断方法与***
CN108255656A (zh) * 2018-02-28 2018-07-06 湖州师范学院 一种应用于间歇过程的故障检测方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109856157A (zh) * 2019-01-24 2019-06-07 武汉精立电子技术有限公司 一种基于自适应对焦的lcd面板缺陷检测方法
CN109829914A (zh) * 2019-02-26 2019-05-31 视睿（杭州）信息科技有限公司 检测产品缺陷的方法和装置
CN110322429A (zh) * 2019-05-09 2019-10-11 中南大学 一种基于深度学习的蜂窝复合材料缺陷分类方法
CN110232406A (zh) * 2019-05-28 2019-09-13 厦门大学 一种基于统计学习的液晶面板cf图片识别方法
CN110232406B (zh) * 2019-05-28 2021-07-06 厦门大学 一种基于统计学习的液晶面板cf图片识别方法
CN110174409A (zh) * 2019-06-14 2019-08-27 北京科技大学 一种基于实时检测结果的中厚板周期性缺陷控制方法
CN111191739A (zh) * 2020-01-09 2020-05-22 电子科技大学 一种基于注意力机制的墙面缺陷检测方法
CN111191739B (zh) * 2020-01-09 2022-09-27 电子科技大学 一种基于注意力机制的墙面缺陷检测方法

Also Published As

Publication number Publication date
CN109035226B (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN109035226A (zh) 基于LSTM模型的Mura缺陷检测方法
CN110658202B (zh) 一种基于深度学习的工业元器件外观缺陷检测方法
CN107563999A (zh) 一种基于卷积神经网络的芯片缺陷识别方法
CN110717481B (zh) 一种利用级联卷积神经网络实现人脸检测的方法
CN107133943B (zh) 一种防震锤缺陷检测的视觉检测方法
US10803573B2 (en) Method for automated detection of defects in cast wheel products
CN104458755B (zh) 一种基于机器视觉的多类型材质表面缺陷检测方法
CN112183667B (zh) 一种协同深度学习的绝缘子故障检测方法
CN109308447A (zh) 在电力远程监控中自动提取设备运行参数和运行状态的方法
CN110274908A (zh) 缺陷检查装置、缺陷检查方法以及计算机可读记录介质
CN106568783A (zh) 一种五金零件缺陷检测***及方法
CN104008399B (zh) 一种仪表检测中基于支持向量机的仪表指针抖动的识别方法
CN107730000A (zh) 用于空调的冷媒泄漏检测方法和装置
CN104766097B (zh) 基于bp神经网络和支持向量机的铝板表面缺陷分类方法
CN106845556A (zh) 一种基于卷积神经网络的织物疵点检测方法
CN109087277B (zh) 一种空气细颗粒物pm2.5测量方法
CN106250911B (zh) 一种基于卷积神经网络的图片分类方法
CN106650823A (zh) 一种基于概率极限学习机集成的泡沫镍表面缺陷分类方法
CN109215015A (zh) 一种基于卷积神经网络的蚕茧在线视觉检测方法
CN112258490A (zh) 基于光学和红外图像融合的低发射率涂层智能探损方法
CN108960413A (zh) 一种应用于螺钉表面缺陷检测的深度卷积神经网络方法
CN110321944A (zh) 一种基于接触网画质评估的深度神经网络模型的构建方法
CN110020691A (zh) 基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法
CN115797694A (zh) 基于多尺度孪生神经网络的显示面板微缺陷分类方法
CN110567967B (zh) 显示面板检测方法、***、终端设备及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant