CN113592859B - 一种基于深度学习的用于显示面板缺陷的分类方法 - Google Patents

一种基于深度学习的用于显示面板缺陷的分类方法 Download PDF

Info

Publication number
CN113592859B
CN113592859B CN202111125529.2A CN202111125529A CN113592859B CN 113592859 B CN113592859 B CN 113592859B CN 202111125529 A CN202111125529 A CN 202111125529A CN 113592859 B CN113592859 B CN 113592859B
Authority
CN
China
Prior art keywords
defect
classification
classification model
picture
suspected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111125529.2A
Other languages
English (en)
Other versions
CN113592859A (zh
Inventor
左右祥
杨义禄
李波
关玉萍
查世华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongdao Optoelectronic Equipment Co ltd
Original Assignee
Zhongdao Optoelectronic Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongdao Optoelectronic Equipment Co ltd filed Critical Zhongdao Optoelectronic Equipment Co ltd
Priority to CN202111125529.2A priority Critical patent/CN113592859B/zh
Publication of CN113592859A publication Critical patent/CN113592859A/zh
Application granted granted Critical
Publication of CN113592859B publication Critical patent/CN113592859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30141Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种基于深度学习的用于显示面板缺陷的分类方法,包括以下步骤:通过自动光学检测获取至少一张疑似缺陷图片;将所述疑似缺陷图片输入第一分类模型,所述第一分类模型用于判断所述疑似缺陷图片是真正缺陷或假性缺陷;如果所述疑似缺陷图片是真正缺陷,则将所述疑似缺陷图片输入第二分类模型,所述第二分类模型用于判断所述疑似缺陷图片是黑色缺陷或白色缺陷。本发明基于深度学习的卷积神经网络训练分类模型,通过分类器级联的方式实现对AOI在显示面板上检出的缺陷图片进行自动分类,精度高,速度快,鲁棒性好。

Description

一种基于深度学习的用于显示面板缺陷的分类方法
技术领域
本发明属于机器视觉自动分类技术领域,涉及一种基于深度学习的用于显示面板缺陷的分类方法,更具体地,涉及一种利用缺陷图片和深度学习技术训练得到的分类模型进行对目标缺陷图像进行分类的方法。
背景技术
AOI(Automated Optical Inspection缩写)的中文全称是自动光学检测,是基于光学原理来对焊接生产中遇到的常见缺陷进行检测的设备。AOI是新兴起的一种新型测试技术,但发展迅速,很多厂家都推出了AOI测试设备。当自动检测时,机器通过摄像头自动扫描PCB,采集图像,测试的焊点与数据库中的合格的参数进行比较,经过图像处理,检查出PCB上缺陷,并通过显示器或自动标志把缺陷显示/标示出来,供维修人员修整。
目前很多工厂机器视觉工厂对于设备检出的缺陷产品,仍然依靠人工目视分类,通过缺陷类型来改善生产线。但是人工目视分类效率低下,且分类主观因素较大,严重制约工业制造的自动化进程。基于机器视觉的自动分类技术对于智能工程是必不可少的,由于可以实时得出产品缺陷类型,然后根据缺陷类型给出生产***反馈来消除缺陷,进而改善生产。因此可以在连续的过程中显著减少大量的缺陷。
现已有与本发明最相近似的解决方案是通过将人工选取特征,然后利用机器学习方法,对每一种缺陷都训练一个模型,进而对缺陷进行自动分类例如,中国发明专利申请号CN201910537298.2公开了基于机器学习的自动缺陷分类方法:将样本图像经过预处理,对每种缺陷图片进行增强,然后对每种缺陷类型进行机器学习生成该缺陷的分类模型,最终对目标图像提取的特征利用一系列的分类模型逐个判断,最终确定该目标图像的具体类别。该方法的对于缺陷图片进行提取的特征是基于人工经验,主动选择的一些特征,而且对于每一种缺陷都对应一种分类模型,判断一个目标图像,需要经过每种缺陷模型的判断,实时性低。
发明内容
本发明的目的是通过以下技术方案实现的。
为解决以上问题,针对人为提取特征这个缺点,本发明利用深度学习技术中卷积神经网络技术,进行自动特征提取,然后先对缺陷图片进行初步分类判断,再细分的级联方式,实现了机器视觉中对缺陷图片的自动分类。
具体的,根据本发明的第一个方面,本发明提供了一种基于深度学习的用于显示面板缺陷的分类方法,包括以下步骤:
通过自动光学检测获取至少一张疑似缺陷图片;
将所述疑似缺陷图片输入第一分类模型,所述第一分类模型用于判断所述疑似缺陷图片是真正缺陷或假性缺陷;
如果所述疑似缺陷图片是真正缺陷,则将所述疑似缺陷图片输入第二分类模型,所述第二分类模型用于判断所述疑似缺陷图片是黑色缺陷或白色缺陷。
进一步地,所述方法进一步包括:
如果所述疑似缺陷图片是黑色缺陷,则将所述疑似缺陷图片输入第三分类模型,所述第三分类模型用于区分黑色缺陷图片中缺陷归属的具体类别;
如果所述疑似缺陷图片是白色缺陷,则将所述疑似缺陷图片输入第四分类模型,所述第四分类模型用于区分白色缺陷图片中缺陷归属的具体类别。
进一步地,所述第一、二、三、四分类模型为预先训练好的深度神经网络,每个分类模型的训练过程如下:
(1)创建分类模型;
(2)将分好组的数据输入到分类模型中进行模型训练;
(3)将分类模型得出的分类结果与真实的分类标签进行对比计算得出分类模型的损失值,从而调节分类模型中的链接权重,不断降低网络的损失值,进而完成模型训练。
进一步地,所述分类模型由8个特征提取单元级联而成的特征提取网络和一个分类网络组合而成,其中特征提取单元是由一个卷积层,一个激活层和一个最大化池化层组成。
进一步地,所述的卷积层是利用卷积核在图像上滑动,对图像进行卷积计算,其中卷积计算方式为将卷积核中每个元素与其所覆盖的图像区域中的对应元素相乘再求和;
所述特征提取单元中的激活层为级联在卷积层后面的激活操作,其中激活函数为ReLu;
所述的特征提取单元中的最大化池化层为采用n*n像素的邻域在激活层的输出结果上进行滑动,并对每个邻域内的所有像素取得最大值。
进一步地,所述分类模型中的分类网络是由一个输入层,两个隐藏层和一个输出层组成的全连接神经网络;其中输入层和两个隐藏层后面均级联一个ReLu激活层,输出层后面级联一个sigmoid层,来输出样本属于某一类的概率值,其中sigmoid层是由sigmoid激活函数构成。
进一步地,所述将分类模型得出的分类结果与真实的分类标签进行对比计算得出分类模型的损失值,采用交叉熵的计算方式,公式如下:
Figure 329048DEST_PATH_IMAGE001
其中H(p,q)为损失值,p(x)是期望输出,q(x)是实际输出。
根据本发明的第二个方面,本发明提供了一种基于深度学习的用于显示面板缺陷的分类装置,包括:
图片获取模块,用于通过自动光学检测获取至少一张疑似缺陷图片;
真假缺陷判断模块,用于将所述疑似缺陷图片输入第一分类模型,所述第一分类模型用于判断所述疑似缺陷图片是真正缺陷或假性缺陷;
黑白缺陷判断模块,用于如果所述疑似缺陷图片是真正缺陷,则将所述疑似缺陷图片输入第二分类模型,所述第二分类模型用于判断所述疑似缺陷图片是黑色缺陷或白色缺陷。
根据本发明的第三个方面,本发明提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序以实现如第一方面任一项所述的方法。
根据本发明的第四个方面,本发明提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行实现如第一方面任一项所述的方法。
本发明的优点在于:通过卷积神经网络中的自动提取特征的技术,实现了特征的自动提取,然后先对缺陷图片进行初步分类判断,再细分的级联方式,实现了机器视觉中对缺陷图片的自动分类。本发明基于深度学习的卷积神经网络训练分类模型,通过分类器级联的方式实现对AOI在显示面板上检出的缺陷图片进行自动分类,精度高,速度快,鲁棒性好。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本发明的分类方法流程图。
图2为本发明的分类模型网络框架图。
图3为本发明的特征提取单元中的激活层的激活函数示意图。
图4为本发明的sigmoid激活函数示意图。
图5示出了本申请一实施例所提供的一种电子设备的结构示意图;
图6示出了本申请一实施例所提供的一种存储介质的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明公开了一种基于深度学习的用于显示面板缺陷的分类方法,包括以下步骤:对于AOI自动光学检测设备在显示面板上检出的缺陷,由于设备精度原因,往往会检出一些假性缺陷,所以,首先对采集到的图像按照有无缺陷进行分为两组(有缺陷和无缺陷),然后用该数据进行卷积神经网络分类模型训练,得到分类模型A;接着按照视觉特征将有缺陷图片分为两组(黑色缺陷和白色缺陷),利用这黑白缺陷数据再次进行卷积神经网络分类模型训练,得到分类模型B,用来区分缺陷图片是黑色缺陷还是白色缺陷。然后再分别对黑色缺陷和白色缺陷进行细分类,分别得到模型C1和模型C2。接下来在对AOI检出的缺陷图片进行分类的时候,先让图片经过模型A判断是否为真正缺陷,如果是真正缺陷就把图片输入到模型B,根据模型B的分类结果来决定接下来是用模型C1还是模型C2进行缺陷细分。最后对模型C1或者模型C2得到的分类结果进行一个阈值过滤,来确定缺陷图片的最终缺陷类别。本发明基于深度学习的卷积神经网络训练分类模型,通过分类器级联的方式实现对AOI在显示面板上检出的缺陷图片进行自动分类,精度高,速度快,鲁棒性好。
具体的,如图1所示,本发明的目标是对于显示面板缺陷进行分类。计算过程如下:
1. 将AOI检出的缺陷图片按照有无真缺陷分为两组数据D1,将有真缺陷的图片按照视觉特征分为黑色缺陷和白色缺陷两组数据D2,根据具体要分类的缺陷类型将黑色缺陷和白色缺陷分别细分为D3和D4。
2. 用分好的数据D1,D2,D3,D4分别利用深度学习中的卷积神经网络进行分类模型训练,分别得到分类模型A,B,C1,C2。
2.1 按照图2创建分类模型。
该分类模型由8个特征提取单元级联而成的特征提取网络和一个分类网络组合而成,其中特征提取单元是有一个卷积层,一个激活层和一个最大化池化层组成。
其中卷积层是利用卷积核在图像上滑动,对图像进行卷积计算,其中卷积计算方式为将卷积核中每个元素与其所覆盖的图像区域中的对应元素相乘再求和。
其中特征提取单元中的激活层为级联在卷积层后面的激活操作,其中激活函数为 Rectified Linear Unit(ReLu),如图3所示,公式为
Figure 905523DEST_PATH_IMAGE002
其中特征提取单元中的最大化池化层为采用n*n像素的邻域在激活层的输出结果上进行滑动,并对每个邻域内的所有像素取得最大值。
其中分类模型中的分类网络是由一个输入层,两个隐藏层和一个输出层组成的全连接神经网络。其中输入层和两个隐藏层后面均级联一个上述的ReLu激活层,输出层后面级联一个sigmoid层,来输出样本属于某一类的概率值,其中sigmoid层是有sigmoid激活函数构成,如图4所示,函数公式如下:
Figure 346737DEST_PATH_IMAGE003
其中8个特征提取单元的卷积核大小依次是5*5,5*5,3*3,3*3,3*3,3*3,3*3,3*3.每个特征提取单元池化层的大小依次为:5*5,5*5,3*3,3*3,3*3,3*3,3*3,3*3,每个特征提取单元输出的特征图的个数依次为:32,32,64,64,64,64,128,256。
其中分类网络中输入层神经元个数为4096个,两个隐藏层的神经元个数分别为2048和1024个,输出层的神经元个数为所需分类的类别数目。
2.2 将分好组的数据输入到分类网络中进行模型训练。
2.3 将网络得出的分类结果与真实的分类标签进行对比计算得出网络的损失值,从而调节网络模型中的链接权重,不断降低网络的损失值,进而完成模型训练。
网络预测结果跟真实标签对比计算的损失值,采用交叉熵的计算方式,公式如下:
Figure 505317DEST_PATH_IMAGE004
其中p(x)是期望输出,q(x)是实际输出。通过不断降低softmax交叉熵损失值,来不断调整网络权重。
3. 检测时,对于一张AOI检出的缺陷图片,根据上面的四个模型A,B,C1,C2级联分类,得出最终具体缺陷类型。
其中根据D1数据集训练得到的分类模型A用来区分AOI检测的缺陷图片是真缺陷还是假性缺陷,其中假性缺陷为AOI误检的图片。
其中根据D2数据集训练得到的分类模型B用来区分缺陷图片中缺陷的视觉特征是黑色还是白色。
其中根据D3数据集训练得到的分类模型C1用来区分黑色缺陷图片中缺陷归属的具体类别。
其中根据D4数据集训练得到的分类模型C2用来区分白色缺陷图片中缺陷归属的具体类别。
将AOI检出的缺陷图片输入到A模型,如果A模型判断为假性缺陷,则输出该缺陷为假性缺陷,否则进入模型B,来判断该缺陷是黑色缺陷还是白色缺陷,若为黑色缺陷,则继续用模型C1细分具体类别,若为白色缺陷,则用模型C2细分具体类别,将C1或者C2细分的结果,再进行一个阈值过滤,用来过滤小概率结果,将小于该阈值的认为是假性缺陷,而大于该阈值的最终输出判级类别。
本发明的有益效果是通过卷积神经网络中的自动提取特征的技术,实现了特征的自动提取,然后先对缺陷图片进行初步分类判断,再细分的级联方式,实现了机器视觉中对缺陷图片的自动分类。
本申请实施方式还提供一种与前述实施方式所提供的基于深度学习的用于显示面板缺陷的分类方法对应的电子设备,以执行上基于深度学习的用于显示面板缺陷的分类方法。本申请实施例不做限定。
请参考图5,其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图5所示,所述电子设备2包括:处理器200,存储器201,总线202和通信接口203,所述处理器200、通信接口203和存储器201通过总线202连接;所述存储器201中存储有可在所述处理器200上运行的计算机程序,所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的基于深度学习的用于显示面板缺陷的分类方法。
其中,存储器201可能包含高速随机存取存储器(RAM:Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接,可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中,存储器201用于存储程序,所述处理器200在接收到执行指令后,执行所述程序,前述本申请实施例任一实施方式揭示的所述基于深度学习的用于显示面板缺陷的分类方法可以应用于处理器200中,或者由处理器200实现。
处理器200可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201,处理器200读取存储器201中的信息,结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的基于深度学习的用于显示面板缺陷的分类方法出于相同的发明构思,具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的基于深度学习的用于显示面板缺陷的分类方法对应的计算机可读存储介质,请参考图6,其示出的计算机可读存储介质为光盘30,其上存储有计算机程序(即程序产品),所述计算机程序在被处理器运行时,会执行前述任意实施方式所提供的基于深度学习的用于显示面板缺陷的分类方法。
需要说明的是,所述计算机可读存储介质的例子还可以包括,但不限于相变内存(PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他光学、磁性存储介质,在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的基于深度学习的用于显示面板缺陷的分类方法出于相同的发明构思,具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是:
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述,构造这类装置所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器( DSP )来实现根据本发明实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种基于深度学习的用于显示面板缺陷的分类方法,其特征在于,包括以下步骤:
通过自动光学检测获取至少一张疑似缺陷图片;
将所述疑似缺陷图片输入第一分类模型,所述第一分类模型用于判断所述疑似缺陷图片是真正缺陷或假性缺陷;
如果所述疑似缺陷图片是真正缺陷,则将所述疑似缺陷图片输入第二分类模型,所述第二分类模型用于判断所述疑似缺陷图片是黑色缺陷或白色缺陷;
如果所述疑似缺陷图片是黑色缺陷,则将所述疑似缺陷图片输入第三分类模型,所述第三分类模型用于区分黑色缺陷图片中缺陷归属的具体类别;
如果所述疑似缺陷图片是白色缺陷,则将所述疑似缺陷图片输入第四分类模型,所述第四分类模型用于区分白色缺陷图片中缺陷归属的具体类别;
所述第一、二、三、四分类模型为预先训练好的深度神经网络,每个分类模型的训练过程如下:
(1)创建分类模型;
(2)将分好组的数据输入到分类模型中进行模型训练;
(3)将分类模型得出的分类结果与真实的分类标签进行对比计算得出分类模型的损失值,从而调节分类模型中的链接权重,不断降低网络的损失值,进而完成模型训练。
2.根据权利要求1所述的一种基于深度学习的用于显示面板缺陷的分类方法,其特征在于,
所述分类模型由8个特征提取单元级联而成的特征提取网络和一个分类网络组合而成,其中特征提取单元是由一个卷积层,一个激活层和一个最大化池化层组成。
3.根据权利要求2所述的一种基于深度学习的用于显示面板缺陷的分类方法,其特征在于,
所述的卷积层是利用卷积核在图像上滑动,对图像进行卷积计算,其中卷积计算方式为将卷积核中每个元素与其所覆盖的图像区域中的对应元素相乘再求和;
所述特征提取单元中的激活层为级联在卷积层后面的激活操作,其中激活函数为ReLu;
所述的特征提取单元中的最大化池化层为采用n*n像素的邻域在激活层的输出结果上进行滑动,并对每个邻域内的所有像素取得最大值。
4.根据权利要求2所述的一种基于深度学习的用于显示面板缺陷的分类方法,其特征在于,
所述分类模型中的分类网络是由一个输入层,两个隐藏层和一个输出层组成的全连接神经网络;其中输入层和两个隐藏层后面均级联一个ReLu激活层,输出层后面级联一个sigmoid层,来输出样本属于某一类的概率值,其中sigmoid层是由sigmoid激活函数构成。
5.根据权利要求1所述的一种基于深度学习的用于显示面板缺陷的分类方法,其特征在于,
所述将分类模型得出的分类结果与真实的分类标签进行对比计算得出分类模型的损失值,采用交叉熵的计算方式,公式如下:
Figure 371578DEST_PATH_IMAGE001
其中H(p,q)为损失值,p(x)是期望输出,q(x)是实际输出。
6.一种基于深度学习的用于显示面板缺陷的分类装置,其特征在于,包括:
图片获取模块,用于通过自动光学检测获取至少一张疑似缺陷图片;
真假缺陷判断模块,用于将所述疑似缺陷图片输入第一分类模型,所述第一分类模型用于判断所述疑似缺陷图片是真正缺陷或假性缺陷;
黑白缺陷判断模块,用于如果所述疑似缺陷图片是真正缺陷,则将所述疑似缺陷图片输入第二分类模型,所述第二分类模型用于判断所述疑似缺陷图片是黑色缺陷或白色缺陷;
如果所述疑似缺陷图片是黑色缺陷,则将所述疑似缺陷图片输入第三分类模型,所述第三分类模型用于区分黑色缺陷图片中缺陷归属的具体类别;
如果所述疑似缺陷图片是白色缺陷,则将所述疑似缺陷图片输入第四分类模型,所述第四分类模型用于区分白色缺陷图片中缺陷归属的具体类别;
所述第一、二、三、四分类模型为预先训练好的深度神经网络,每个分类模型的训练过程如下:
(1)创建分类模型;
(2)将分好组的数据输入到分类模型中进行模型训练;
(3)将分类模型得出的分类结果与真实的分类标签进行对比计算得出分类模型的损失值,从而调节分类模型中的链接权重,不断降低网络的损失值,进而完成模型训练。
7.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序以实现如权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行实现如权利要求1-5中任一项所述的方法。
CN202111125529.2A 2021-09-26 2021-09-26 一种基于深度学习的用于显示面板缺陷的分类方法 Active CN113592859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111125529.2A CN113592859B (zh) 2021-09-26 2021-09-26 一种基于深度学习的用于显示面板缺陷的分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111125529.2A CN113592859B (zh) 2021-09-26 2021-09-26 一种基于深度学习的用于显示面板缺陷的分类方法

Publications (2)

Publication Number Publication Date
CN113592859A CN113592859A (zh) 2021-11-02
CN113592859B true CN113592859B (zh) 2022-01-14

Family

ID=78242282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111125529.2A Active CN113592859B (zh) 2021-09-26 2021-09-26 一种基于深度学习的用于显示面板缺陷的分类方法

Country Status (1)

Country Link
CN (1) CN113592859B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902742B (zh) * 2021-12-08 2022-05-20 中导光电设备股份有限公司 一种基于tft-lcd检测缺陷真假判定方法和***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734696A (zh) * 2017-04-18 2018-11-02 三星显示有限公司 用于白点Mura检测的***及方法
CN111275660A (zh) * 2018-12-05 2020-06-12 合肥欣奕华智能机器有限公司 一种平板显示器缺陷检测方法及装置
KR20200092143A (ko) * 2019-01-24 2020-08-03 가천대학교 산학협력단 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템 및 방법
CN112053318A (zh) * 2020-07-20 2020-12-08 清华大学 基于深度学习的二维pcb缺陷实时自动检测与分类装置
CN112884712A (zh) * 2021-01-22 2021-06-01 深圳精智达技术股份有限公司 一种显示面板缺陷分类的方法及相关装置
CN113379686A (zh) * 2021-05-26 2021-09-10 广东炬森智能装备有限公司 一种pcb板缺陷检测方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005265503A (ja) * 2004-03-17 2005-09-29 Seiko Epson Corp ディスプレイの検査方法及びディスプレイの検査装置
JP4480150B2 (ja) * 2004-11-12 2010-06-16 大日本印刷株式会社 カラーフィルター基板の欠陥修正方法およびカラーフィルター基板
JP4252045B2 (ja) * 2005-05-13 2009-04-08 三洋電機株式会社 画素欠陥補正方法
CN109856156A (zh) * 2019-01-22 2019-06-07 武汉精立电子技术有限公司 一种基于aoi的显示面板微小缺陷判定方法与装置
CN110376217B (zh) * 2019-07-24 2021-12-21 千享科技(北京)有限公司 一种电子设备显示屏损伤的主动检测方法及***
CN213689432U (zh) * 2020-10-27 2021-07-13 中核建中核燃料元件有限公司 快堆辐照罐堵孔焊点补偿块

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734696A (zh) * 2017-04-18 2018-11-02 三星显示有限公司 用于白点Mura检测的***及方法
CN111275660A (zh) * 2018-12-05 2020-06-12 合肥欣奕华智能机器有限公司 一种平板显示器缺陷检测方法及装置
KR20200092143A (ko) * 2019-01-24 2020-08-03 가천대학교 산학협력단 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템 및 방법
CN112053318A (zh) * 2020-07-20 2020-12-08 清华大学 基于深度学习的二维pcb缺陷实时自动检测与分类装置
CN112884712A (zh) * 2021-01-22 2021-06-01 深圳精智达技术股份有限公司 一种显示面板缺陷分类的方法及相关装置
CN113379686A (zh) * 2021-05-26 2021-09-10 广东炬森智能装备有限公司 一种pcb板缺陷检测方法及装置

Also Published As

Publication number Publication date
CN113592859A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN111179253B (zh) 一种产品缺陷检测方法、装置与***
US10878283B2 (en) Data generation apparatus, data generation method, and data generation program
US11176650B2 (en) Data generation apparatus, data generation method, and data generation program
CN109683360B (zh) 液晶面板缺陷检测方法及装置
CN110688925B (zh) 基于深度学习的级联目标识别方法及***
CN111325713A (zh) 基于神经网络的木材缺陷检测方法、***及存储介质
JP2019109563A (ja) データ生成装置、データ生成方法及びデータ生成プログラム
CN114549997B (zh) 一种基于区域特征提取的x光图像缺陷检测方法和装置
JP2017049974A (ja) 識別器生成装置、良否判定方法、およびプログラム
CN112766110A (zh) 物体缺陷识别模型的训练方法、物体缺陷识别方法及装置
TWI743837B (zh) 訓練資料增量方法、電子裝置與電腦可讀取記錄媒體
CN111178446A (zh) 一种基于神经网络的目标分类模型的优化方法、装置
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
CN116843650A (zh) 融合aoi检测与深度学习的smt焊接缺陷检测方法及***
CN111814852A (zh) 图像检测方法、装置、电子设备和计算机可读存储介质
CN113592859B (zh) 一种基于深度学习的用于显示面板缺陷的分类方法
CN114429445A (zh) 一种基于MAIRNet的PCB缺陷检测与识别方法
Choi et al. Deep learning based defect inspection using the intersection over minimum between search and abnormal regions
Park et al. Advanced cover glass defect detection and classification based on multi-DNN model
CN111105399A (zh) 开关表面缺陷检测方法及***
CN113962980A (zh) 基于改进yolov5x的玻璃容器瑕疵检测方法及***
CN117689646A (zh) 一种正负样本融合的高精度缺陷检测方法、***及介质
CN112836724A (zh) 物体缺陷识别模型训练方法、装置、电子设备和存储介质
CN112927222B (zh) 一种基于混合改进Faster R-CNN实现多种类光伏阵列热斑检测方法
CN113034432A (zh) 一种产品缺陷检测方法、***、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant