CN116030038B - 基于缺陷生成的无监督oled缺陷检测方法 - Google Patents

基于缺陷生成的无监督oled缺陷检测方法 Download PDF

Info

Publication number
CN116030038B
CN116030038B CN202310155779.3A CN202310155779A CN116030038B CN 116030038 B CN116030038 B CN 116030038B CN 202310155779 A CN202310155779 A CN 202310155779A CN 116030038 B CN116030038 B CN 116030038B
Authority
CN
China
Prior art keywords
defect
mask
sample
image
positive sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310155779.3A
Other languages
English (en)
Other versions
CN116030038A (zh
Inventor
朱云龙
陈殷齐
鲁瑶
郑杨婷
李佩文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ji Hua Laboratory
Original Assignee
Ji Hua Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ji Hua Laboratory filed Critical Ji Hua Laboratory
Priority to CN202310155779.3A priority Critical patent/CN116030038B/zh
Publication of CN116030038A publication Critical patent/CN116030038A/zh
Application granted granted Critical
Publication of CN116030038B publication Critical patent/CN116030038B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Electroluminescent Light Sources (AREA)

Abstract

本申请涉及一种OLED缺陷样本生成方法、基于缺陷生成的无监督OLED缺陷检测方法及相关设备。该OLED缺陷样本生成方法包括:获得OLED的正样本,并随机生成mask;根据所述mask生成破坏性缺陷和/或结构性缺陷;根据所述破坏性缺陷和/或结构性缺陷融入所述正样本,获得对应的缺陷样本。采用本方法能够随机生成多个缺陷样本,进而提高OLED中缺陷识别率。

Description

基于缺陷生成的无监督OLED缺陷检测方法
技术领域
本申请涉及OLED技术领域,特别是涉及一种基于缺陷生成的无监督OLED缺陷检测方法。
背景技术
缺陷检测是OLED生产的关键一环,由于人工检测存在劳动强度大、判断主观性、因疲劳造成的误检漏检等问题,深度学习方法(Deep Learning,简称DL)被广泛应用于工业质检领域。
但是在目前实际的生产过程中,由于生产线上良率过高,使得缺陷样本难以收集,最终导致基于深度学习的缺陷检测模型无法获得足够的缺陷样本作为训练数据,进而导致缺陷检测模型的产品缺陷识别率降低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够自动扩充缺陷样本的基于缺陷生成的无监督OLED缺陷检测方法。
第一方面,本申请提供了一种OLED缺陷样本生成方法。所述方法包括:
获得OLED的正样本,并随机生成mask;
根据所述mask生成破坏性缺陷和/或结构性缺陷;
根据所述破坏性缺陷和/或结构性缺陷融入所述正样本,获得对应的缺陷样本。
在一个实施例中,所述随机生成mask,包括:
随机生成一个缺陷轮廓,并对所述缺陷轮廓进行填充;
在预设缺陷尺寸范围内,对填充后的缺陷轮廓进行随机形变,获得所述mask。
在一个实施例中,所述根据所述mask生成破坏性缺陷,包括:
确定所述mask的形态;
若是所述mask是长条形态,则确定所述mask的宽度;
若所述mask的宽度小于预设宽度,则对所述mask进行腐蚀处理,将腐蚀处理后mask的轮廓作为骨架;若所述mask的宽度大于或者等于预设宽度,则提取所述mask的轮廓,获得所述骨架;
若所述mask是多边形态,则对所述mask进行腐蚀处理,将腐蚀处理后mask的轮廓作为所述骨架;
对所述骨架作两条等值线,并对两条等值线赋不同的灰度值,获得所述破坏性缺陷。
在一个实施例中,所述对两条等值线赋不同的灰度值,包括:
获取所述mask的均值方差;
根据所述均值方差和第一目标位置的灰度值确定两条等值线灰度值的取值范围,其中,第一目标位置为所述破坏性缺陷融入所述正样本的位置。
在一个实施例中,所述根据所述破坏性缺陷融入所述正样本,获得对应的缺陷样本,包括:
根据所述破坏性缺陷的纹理梯度和所述正样本的纹理梯度构建泊松方程组;
对所述泊松方程组进行求解,获得所述缺陷样本。
在一个实施例中,所述根据所述mask生成结构性缺陷,包括:
确定所述结构性缺陷融入所述正样本的第二目标位置,并提取所述第二目标位置的像素值;
对所述第二目标位置的像素值进行聚类,并根据聚类结果确定所述第二目标位置中不同材质的连通域;
对任一所述连通域中的像素值进行抽样,并赋值给所述mask,获得所述结构性缺陷。
在一个实施例中,所述根据所述结构性缺陷融入所述正样本,获得对应的缺陷样本,包括:
根据所述缺陷样本进行风格迁移,获得新的缺陷样本。
在一个实施例中,所述根据所述缺陷样本进行风格迁移,获得新的缺陷样本,包括:
以预设规格的滑动窗口遍历所述结构性缺陷对应的区域,获得多个图像块,其中,相邻图像块之间重叠;
获取每个图像块的均方误差,选择均方误差最小的图像作为目标块;
在目标块与相邻图像块的重叠区域寻最小成本路径,作为边界;
将所述边界两侧用所述目标块和与所述目标块相邻的图像块填充所述重叠区域,获得新的缺陷样本。
第二方面,本申请还提供了一种基于缺陷生成的无监督OLED缺陷检测方法,所述方法包括:
获取正样本和待测图像;
将所述正样本和待测图像输入至预设缺陷识别模型,确定所述待测图像中缺陷,其中,所述预设缺陷识别模型根据如第一方面所述的OLED缺陷样本生成方法生成的缺陷样本和正样本训练获得。
在一个实施例中,所述将所述正样本和待测图像输入至预设缺陷识别模型,确定所述待测图像中缺陷,包括:
获取所述正样本的深层次特征和浅层次特征,以及所述待测图像的深层次特征和浅层次特征;
结合所述正样本的深层次特征和浅层次特征,以及所述待测图像的深层次特征和浅层次特征进行预测分割,获得所述待测图像中缺陷。
在一个实施例中,所述将所述正样本和待测图像输入至预设缺陷识别模型,确定所述待测图像中缺陷之前,包括:
对所述正样本和所述待测图像进行对齐。
第三方面,本申请还提供了一种OLED缺陷样本生成装置。所述装置包括:
Mask生成模块,用于获得OLED的正样本,在所述正样本上随机生成mask;
缺陷生成模块,用于根据所述mask生成破坏性缺陷和/或结构性缺陷;
样本生成模块,用于根据所述破坏性缺陷和/或结构性缺陷融入所述正样本,获得对应的缺陷样本。
第四方面,本申请还提供了一种基于缺陷生成的无监督OLED缺陷检测装置,所述装置包括:
获取模块,用于获取正样本和待测图像;
识别模块,用于将所述正样本和待测图像输入至预设缺陷识别模型,确定所述待测图像中缺陷,其中,所述预设缺陷识别模型根据如第一方面所述的OLED缺陷样本生成方法生成的缺陷样本和正样本训练获得。
第五方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的OLED缺陷样本生成方法的步骤或者如第二方面所述的基于缺陷生成的无监督OLED缺陷检测方法的步骤。
第六方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的OLED缺陷样本生成方法的步骤或者如第二方面所述的基于缺陷生成的无监督OLED缺陷检测方法的步骤。
第七方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如第一方面所述的OLED缺陷样本生成方法的步骤或者如第二方面所述的基于缺陷生成的无监督OLED缺陷检测方法的步骤。
上述OLED缺陷样本生成方法、基于缺陷生成的无监督OLED缺陷检测方法及相关设备,通过获得OLED的正样本,并随机生成mask;根据所述mask生成破坏性缺陷和/或结构性缺陷;根据所述破坏性缺陷和/或结构性缺陷融入所述正样本,获得对应的缺陷样本。通过上述方式,本申请随机生成mask,然后根据mask生成破坏性缺陷和/或结构性缺陷,最后融入正样本,获得缺陷样本。本申请中缺陷并不依赖实际生产,能够快速获得足够的缺陷样本,作为训练缺陷识别模型的训练数据,进而提高了模型的识别率。
附图说明
图1为一个实施例中OLED缺陷样本生成方法的流程示意图;
图2为一个实施例中破坏性缺陷图像的正面示意图;
图3为另一个实施例破坏性缺陷图像的正面示意图;
图4为一个实施例中破坏性缺陷图像的截面示意图;
图5为一个实施例中结构性缺陷图像的正面对比示意图;
图6为一个实施例中根据所述mask生成破坏性缺陷的步骤细化流程示意图;
图7为一个实施例中根据所述mask生成结构性缺陷的步骤细化流程示意图;
图8为一个实施例中基于缺陷生成的无监督OLED缺陷检测方法的流程示意图;
图9为一个实施例中OLED缺陷样本生成装置的结构框图;
图10为一个实施例中基于缺陷生成的无监督OLED缺陷检测装置的结构框图;
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种OLED缺陷样本生成方法,包括以下步骤:
步骤110,获得OLED的正样本,并随机生成mask。
本申请应用于计算机设备等用于生成或者识别OLED膜缺陷的设备中,该设备可以接收外界传输的OLED正样本,或者通过摄像模块获取OLED正样本。
作为一种示例,随机生成mask,包括:
随机生成一个缺陷轮廓,并对所述缺陷轮廓进行填充;
在预设缺陷尺寸范围内,对填充后的缺陷轮廓进行随机形变,获得所述mask。
具体的,随机生成一个原始缺陷轮廓,然后对该原始缺陷轮廓进行填充,在预设的缺陷尺寸范围内,然后对原始缺陷轮廓实施随机的弯折、缩放、旋转和位置变换,得到一个随机生成的mask。其中,预设的缺陷尺寸范围根据实际情况设置,原始缺陷轮廓可以通过控制贝塞尔曲线控制点的数量和曲率生成,当然也可以通过其他方式随机生成。
具体实施中mask的生成还可以参考现有技术,此处不做限定。
步骤120,根据所述mask生成破坏性缺陷和/或结构性缺陷。
具体的,本申请中将OLED的缺陷划分为两种类型:破坏性缺陷和结构性缺陷。
其中,破坏性缺陷指由于外力、震动噪声等问题造成的缺陷,例如OLED干膜表面受破坏,导致缺陷部分反射光异常;或是在OLED干膜表面存在凹陷或者凸起,导致图像上形成高斯谷面或者峰尖等形态。也就是说,破坏性缺陷包括裂痕、划伤、压伤等等,如图2和图3所示,破坏性缺陷的三维横截面图如图4所示。此类缺陷在图像局部中人眼可观测。实际上,破坏性缺陷得以让人眼识别的原因是:无论裂痕、划伤或者压伤类型的缺陷,只要能检测出来,灰度都会与周围原始像素不同,即原始工件与缺陷之间的过渡部分产生梯度渐变,从而产生视觉的显著性效应,让人得以识别。
结构性缺陷是指指喷墨时震动或其他因素影响导致喷墨短缺、多余,如图5所示,图5中展示了正常像素形态和喷墨多余导致的结构性缺陷,结构性缺陷没有对比很难做出缺陷判断。
本实施中根据步骤110随机生成的mask生成上述破坏性缺陷和/或结构性缺陷。
作为一种示例,若mask为条形,该条形的边框采用正样本上的像素值进行填充,边框内则采用不同于正样本上的像素值进行填充,填充后的mask放置在OLED像素点内则为破坏性缺陷,放置在OLED像素点的边缘,则为结构性缺陷。
步骤130,根据所述破坏性缺陷和/或结构性缺陷融入所述正样本,获得对应的缺陷样本。
将获得的破坏性缺陷和/或结构性缺陷融入所述正样本,获得对应的缺陷样本。需要说明的是,为使得缺陷样本中破坏性缺陷和/或结构性缺陷与其他部分之间平滑过渡,破坏性缺陷和/或结构性缺陷与其他部分之间可以通过边缘羽化处理。
上述OLED缺陷样本生成方法,通过获得OLED的正样本,并随机生成mask;根据所述mask生成破坏性缺陷和/或结构性缺陷;根据所述破坏性缺陷和/或结构性缺陷融入所述正样本,获得对应的缺陷样本。通过上述方式,本申请随机生成mask,然后根据mask生成破坏性缺陷和/或结构性缺陷,最后融入正样本,获得缺陷样本。本申请中缺陷并不依赖实际生产,能够快速获得足够的缺陷样本,作为训练缺陷识别模型的训练数据,进而提高了模型的识别率。
在一个实施例中,如图6所示,根据所述mask生成破坏性缺陷,包括:
步骤121,确定所述mask的形态;
步骤122,若是所述mask是长条形态,则确定所述mask的宽度;
步骤123,若所述mask的宽度小于预设宽度,则对所述mask进行腐蚀处理,将腐蚀处理后mask的轮廓作为骨架;若所述mask的宽度大于或者等于预设宽度,则提取所述mask的轮廓,获得所述骨架;
步骤124,若所述mask是多边形态,则对所述mask进行腐蚀处理,将腐蚀处理后mask的轮廓作为所述骨架;
步骤125,对所述骨架作两条等值线,并对两条等值线赋不同的灰度值,获得所述破坏性缺陷。
具体的,本实施中根据mask生成破坏性缺陷可以包括:先确定随机生成的mask的形态,若mask是长条形态,则确定该mask的宽度,若该mask的宽度小于预设宽度(示例性的,预设5个像素的宽度),此时宽度过小,不适合使用其他算法提取轮廓,采用对mask进行腐蚀处理,将腐蚀处理后的mask的轮廓作为骨架,若mask的宽度大于或者等于预设宽度,则提取mask的轮廓,获得骨架。
若mask是多边形态,则对mask进行腐蚀处理,将腐蚀处理后mask的轮廓作为骨架。
在获得骨架后,根据该骨架作两条等值线,并对两条等值线赋不同的灰度值,如此,两条等值线,加上骨架,即获得3条形状相同,但是灰度值不同的线。根据上述介绍,破坏性缺陷在平面上表现形式即为无论裂痕、划伤或者压伤类型,灰度都会与周围原始像素不同。因此,通过该方式,形成破坏性缺陷。
进一步的,对两条等值线赋不同的灰度值,包括:
获取所述mask的均值方差;
根据所述均值方差和第一目标位置的灰度值确定两条等值线灰度值的取值范围,其中,第一目标位置为所述破坏性缺陷融入所述正样本的位置。
具体的,为了使得破坏性缺陷在融入正样本时,破坏性缺陷周边像素点能够与正样本之间平滑过渡。本实施中先计算mask的均值方差,均值方差的计算方式可以参考现有技术。然后确定该破坏性缺陷融入正样本的位置,利用均值方差和第一目标位置的灰度值确定两条等值线灰度值的取值范围,具体的,该取值范围的最小值为第一目标位置的灰度值与均值方差的差值,最大值则为第一目标位置的灰度值与均值方差的和值。
对应的,根据所述破坏性缺陷融入所述正样本,获得对应的缺陷样本,包括:
根据所述破坏性缺陷的纹理梯度和所述正样本的纹理梯度构建泊松方程组;
对所述泊松方程组进行求解,获得所述缺陷样本。
具体的,在融入破坏性缺陷的过程可以包括根据所述破坏性缺陷的纹理梯度和所述正样本的纹理梯度构建泊松方程组,然后对所述泊松方程组进行求解,求解后的图像即满足梯度融合的图像,即生成了缺陷样本。
在一个实施例中,如图7所示,根据所述mask生成结构性缺陷,包括:
步骤126,确定所述结构性缺陷融入所述正样本的第二目标位置,并提取所述第二目标位置的像素值;
步骤127,对所述第二目标位置的像素值进行聚类,并根据聚类结果确定所述第二目标位置中不同材质的连通域;
步骤128,对任一所述连通域中的像素值进行抽样,并赋值给所述mask,获得所述结构性缺陷。
具体的,作为一种示例,本实施例中生成结构性缺陷的过程可以包括:先确定融入正样本的位置,为方便描述定义为第二目标位置,提取该第二目标位置的像素,通过对第二目标位置的像素值进行聚类,区别不同材质的连通域,选择一个连通域的像素值进行随机抽样,然后赋值给mask。该过程相当于将一种材质填充到了另一种材质,即实现在OLED上类似于:未填满或者超过了正常像素的形态,导致的结构缺陷。
进一步的,作为一种示例,根据所述结构性缺陷融入所述正样本,获得对应的缺陷样本,包括:
根据所述缺陷样本进行风格迁移,获得新的缺陷样本。
具体的,为了生成更多的结构缺陷样本,本实施中根据已经生成的缺陷样本进行风格迁移,从而获得新的缺陷样本。
需要说明的是,本申请生成结构性缺陷样本的方式包括:随机生成mask,通过mask生成结构缺陷样本,或者根据已生成的缺陷样本进行风格迁移生成结构缺陷样本。其中,风格迁移的具体过程可以参考现有技术。
作为另一种实施例,根据所述缺陷样本进行风格迁移,获得新的缺陷样本,包括:
以预设规格的滑动窗口遍历所述结构性缺陷对应的区域,获得多个图像块,其中,相邻图像块之间重叠;
获取每个图像块的均方误差,选择均方误差最小的图像作为目标块;
在目标块与相邻图像块的重叠区域寻最小成本路径,作为边界;
将所述边界两侧用所述目标块和与所述目标块相邻的图像块填充所述重叠区域,获得新的缺陷样本。
具体的,本实施例提供了一种风格迁移的方式,包括通过滑动窗口遍历已生成的结构性缺陷图像中对应的区域,该区域为缺陷样本中缺陷所在的区域,获得多个图像块(即窗口中缺陷图像块),在滑动过程中,相邻的窗口具有重叠,示例性的,重叠的部分为每个图像块的1/3,例如,滑动窗口为9*9,则重叠的部分为9*3。对应获得的每个图像块,计算各图像块的均方误差,选择均方误差最小的图像块,定义均方误差最小的图像块为目标块,然后在目标块和与目标块相邻的图像块的重叠区域寻找最小成本路径,将寻找结果作为边界,作为一种示例,寻找最小成本路径的方式包括:在9*3的重叠区域中每个像素点中每行选择一个像素点,一共存在27种选择,构成27个路径,将各个路径对应的灰度值求和,比较各个路径的灰度值之和,选择灰度值最小的路径作为边界。
最后将边界两侧用目标块和与目标块相邻的图像块填充该重叠区域,获得新的缺陷样本。
基于同样的发明构思,参阅图8,本申请实施例还提供了一种基于上述OLED缺陷样本生成方法的基于缺陷生成的无监督OLED缺陷检测方法,所述基于缺陷生成的无监督OLED缺陷检测方法包括:
步骤810,获取正样本和待测图像;
步骤820,将所述正样本和待测图像输入至预设缺陷识别模型,确定所述待测图像中缺陷。
具体的,首先需要使用缺陷样本对缺陷识别模型进行训练,获得训练好的缺陷识别模型,作为一种示例,缺陷识别模型可以为U-net模型,该U-net模型的训练过程可以与现有技术相同。作为另一种实施例,本申请将U-net模型增加了一个输入通道,即本申请中U-net模型具有两个输入通道,两个输入通道中一者用于输入正样本,另一者用于输入训练样本(即如上任一实施例所述的缺陷样本),然后U-net模型根据输入的正样本和训练样本进行训练,获得训练好的样本,如此本实施中缺陷识别模型包括了正样本的正常特征,同时包括了缺陷样本的缺陷特征,在识别过程中能够通过对比方式进行识别。
在使用过程中,获取正样本和待测图像,将正样本和待测图像输入至预设缺陷识别模型的两个通道,通过预设缺陷识别模型提取两者的特征,并对比两者的特征进行缺陷识别。使用两个通道的缺陷识别模型相对只有一个通道的缺陷识别模型而言,能够适应OLED膜中缺陷的多样性。
在一个实施例中,将所述正样本和待测图像输入至预设缺陷识别模型,确定所述待测图像中缺陷,包括:
获取所述正样本的深层次特征和浅层次特征,以及所述待测图像的深层次特征和浅层次特征;
结合所述正样本的深层次特征和浅层次特征,以及所述待测图像的深层次特征和浅层次特征进行预测分割,获得所述待测图像中缺陷。
具体的,在识别过程中,通过预设缺陷识别模型获取正样本的深层次特征和浅层次特征,以及待测图像的深层次特征和浅层次特征。示例性的,缺陷识别模型为U-net模型时,可以通过四个下采样获取正样本的浅层次特征,以及待测图像的浅层次特征,通过四个上采样获取正样本的深层次特征,以及待测图像的深层次特征,结合获得的深层次特征和浅层次特征,进行预测分割,得到待测图像中缺陷。具体实施中下采样和上采样的个数可以根据实际情况选择。当然也可以选择其他的缺陷识别模型,只需要能够提取各图像的深层次特征和浅层次特征即可。
在一个实施例中,将所述正样本和待测图像输入至预设缺陷识别模型,确定所述待测图像中缺陷之前,包括:
对所述正样本和所述待测图像进行对齐。
具体的,为了降低模型训练和识别的难度,在训练过程中,将正样本和待测图像输入至预设缺陷识别模型之前,先对正样本和所述待测图像进行对齐。在缺陷识别过程中,也可以先对正样本和所述待测图像进行对齐。
作为一种示例,对正样本和待测图像进行对齐的过程可以包括:
从正样本和待测图像中提取与尺度缩放、旋转、亮度变化无关的特征向量,即提取SIFT特征,然后利用欧式距离计算正样本和待测图像中距离最近的特征点,当正样本上的特征点和待测图像上的特征点寻找鲁棒的特征点对,然后通过相似性变化,建立每对特征点对一条线性方程鲁棒的匹配特征点集可以建立出线性方程组,经过最小二乘法解算出相似性变换矩阵的具体系数。最后通过图像空间变换将正样本和待测图像的图像坐标变化到预设坐标系上,即获得对齐的正样本和所述待测图像。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的OLED缺陷样本生成方法的OLED缺陷样本生成装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个OLED缺陷样本生成装置实施例中的具体限定可以参见上文中对于OLED缺陷样本生成方法的限定,在此不再赘述。
在一个实施例中,如图9所示,提供了一种OLED缺陷样本生成装置,包括:
Mask生成模块910,用于获得OLED的正样本,在所述正样本上随机生成mask;
缺陷生成模块920,用于根据所述mask生成破坏性缺陷和/或结构性缺陷;
样本生成模块930,用于根据所述破坏性缺陷和/或结构性缺陷融入所述正样本,获得对应的缺陷样本。
在一个实施例中,Mask生成模块910还用于:
随机生成一个缺陷轮廓,并对所述缺陷轮廓进行填充;
在预设缺陷尺寸范围内,对填充后的缺陷轮廓进行随机形变,获得所述mask。
在一个实施例中,缺陷生成模块920,还用于:
确定所述mask的形态;
若是所述mask是长条形态,则确定所述mask的宽度;
若所述mask的宽度小于预设宽度,则对所述mask进行腐蚀处理,将腐蚀处理后mask的轮廓作为骨架;若所述mask的宽度大于或者等于预设宽度,则提取所述mask的轮廓,获得所述骨架;
若所述mask是多边形态,则对所述mask进行腐蚀处理,将腐蚀处理后mask的轮廓作为所述骨架;
对所述骨架作两条等值线,并对两条等值线赋不同的灰度值,获得所述破坏性缺陷。
在一个实施例中,缺陷生成模块920,还用于:
获取所述mask的均值方差;
根据所述均值方差和第一目标位置的灰度值确定两条等值线灰度值的取值范围,其中,第一目标位置为所述破坏性缺陷融入所述正样本的位置。
在一个实施例中,样本生成模块930,用于:
根据所述破坏性缺陷的纹理梯度和所述正样本的纹理梯度构建泊松方程组;
对所述泊松方程组进行求解,获得所述缺陷样本。
在一个实施例中,缺陷生成模块920,还用于:
确定所述结构性缺陷融入所述正样本的第二目标位置,并提取所述第二目标位置的像素值;
对所述第二目标位置的像素值进行聚类,并根据聚类结果确定所述第二目标位置中不同材质的连通域;
对任一所述连通域中的像素值进行抽样,并赋值给所述mask,获得所述结构性缺陷。
在一个实施例中,样本生成模块930,用于:
根据所述缺陷样本进行风格迁移,获得新的缺陷样本。
在一个实施例中,样本生成模块930,用于:
以预设规格的滑动窗口遍历所述结构性缺陷对应的区域,获得多个图像块,其中,相邻图像块之间重叠;
获取每个图像块的均方误差,选择均方误差最小的图像作为目标块;
在目标块与相邻图像块的重叠区域寻最小成本路径,作为边界;
将所述边界两侧用所述目标块和与所述目标块相邻的图像块填充所述重叠区域,获得新的缺陷样本。
上述OLED缺陷样本生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的基于缺陷生成的无监督OLED缺陷检测方法的基于缺陷生成的无监督OLED缺陷检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个基于缺陷生成的无监督OLED缺陷检测装置实施例中的具体限定可以参见上文中对于基于缺陷生成的无监督OLED缺陷检测方法的限定,在此不再赘述。
在一个实施例中,如图10所示,提供了一种基于缺陷生成的无监督OLED缺陷检测装置,包括:
获取模块1010,用于获取正样本和待测图像;
识别模块1020,用于将所述正样本和待测图像输入至预设缺陷识别模型,确定所述待测图像中缺陷,其中,所述预设缺陷识别模型根据如上任一实施例所述的OLED缺陷样本生成方法生成的缺陷样本和正样本训练获得。
在一个实施例中,识别模块1020,用于:
获取所述正样本的深层次特征和浅层次特征,以及所述待测图像的深层次特征和浅层次特征;
结合所述正样本的深层次特征和浅层次特征,以及所述待测图像的深层次特征和浅层次特征进行预测分割,获得所述待测图像中缺陷。
在一个实施例中,所述装置还包括:
图像对齐模块(图未示),用于对所述正样本和所述待测图像进行对齐。
上述基于缺陷生成的无监督OLED缺陷检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图11所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储正样本、缺陷样本等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种OLED缺陷样本生成方法或者基于缺陷生成的无监督OLED缺陷检测方法。
本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获得OLED的正样本,并随机生成mask;
根据所述mask生成破坏性缺陷和/或结构性缺陷;
根据所述破坏性缺陷和/或结构性缺陷融入所述正样本,获得对应的缺陷样本。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
随机生成一个缺陷轮廓,并对所述缺陷轮廓进行填充;
在预设缺陷尺寸范围内,对填充后的缺陷轮廓进行随机形变,获得所述mask。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
确定所述mask的形态;
若是所述mask是长条形态,则确定所述mask的宽度;
若所述mask的宽度小于预设宽度,则对所述mask进行腐蚀处理,将腐蚀处理后mask的轮廓作为骨架;若所述mask的宽度大于或者等于预设宽度,则提取所述mask的轮廓,获得所述骨架;
若所述mask是多边形态,则对所述mask进行腐蚀处理,将腐蚀处理后mask的轮廓作为所述骨架;
对所述骨架作两条等值线,并对两条等值线赋不同的灰度值,获得所述破坏性缺陷。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取所述mask的均值方差;
根据所述均值方差和第一目标位置的灰度值确定两条等值线灰度值的取值范围,其中,第一目标位置为所述破坏性缺陷融入所述正样本的位置。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据所述破坏性缺陷的纹理梯度和所述正样本的纹理梯度构建泊松方程组;
对所述泊松方程组进行求解,获得所述缺陷样本。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
确定所述结构性缺陷融入所述正样本的第二目标位置,并提取所述第二目标位置的像素值;
对所述第二目标位置的像素值进行聚类,并根据聚类结果确定所述第二目标位置中不同材质的连通域;
对任一所述连通域中的像素值进行抽样,并赋值给所述mask,获得所述结构性缺陷。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据所述缺陷样本进行风格迁移,获得新的缺陷样本。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
以预设规格的滑动窗口遍历所述结构性缺陷对应的区域,获得多个图像块,其中,相邻图像块之间重叠;
获取每个图像块的均方误差,选择均方误差最小的图像作为目标块;
在目标块与相邻图像块的重叠区域寻最小成本路径,作为边界;
将所述边界两侧用所述目标块和与所述目标块相邻的图像块填充所述重叠区域,获得新的缺陷样本。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取正样本和待测图像;
将所述正样本和待测图像输入至预设缺陷识别模型,确定所述待测图像中缺陷,其中,所述预设缺陷识别模型根据如上述任一实施例所述的OLED缺陷样本生成方法生成的缺陷样本和正样本训练获得。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取所述正样本的深层次特征和浅层次特征,以及所述待测图像的深层次特征和浅层次特征;
结合所述正样本的深层次特征和浅层次特征,以及所述待测图像的深层次特征和浅层次特征进行预测分割,获得所述待测图像中缺陷。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对所述正样本和所述待测图像进行对齐。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一实施例所述的OLED缺陷样本生成方法的步骤,或者基于缺陷生成的无监督OLED缺陷检测方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random AccessMemory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (13)

1.一种OLED缺陷样本生成方法,其特征在于,所述方法包括:
获得OLED的正样本,并随机生成mask;
根据所述mask生成破坏性缺陷和/或结构性缺陷;
根据所述破坏性缺陷和/或结构性缺陷融入所述正样本,获得对应的缺陷样本;
其中,所述根据所述mask生成破坏性缺陷,包括:
确定所述mask的形态;
若是所述mask是长条形态,则确定所述mask的宽度;
若所述mask的宽度小于预设宽度,则对所述mask进行腐蚀处理,将腐蚀处理后mask的轮廓作为骨架;若所述mask的宽度大于或者等于预设宽度,则提取所述mask的轮廓,获得所述骨架;
若所述mask是多边形态,则对所述mask进行腐蚀处理,将腐蚀处理后mask的轮廓作为所述骨架;
对所述骨架作两条等值线,并对两条等值线赋不同的灰度值,获得所述破坏性缺陷;
所述根据所述mask生成结构性缺陷,包括:
确定所述结构性缺陷融入所述正样本的第二目标位置,并提取所述第二目标位置的像素值;
对所述第二目标位置的像素值进行聚类,并根据聚类结果确定所述第二目标位置中不同材质的连通域;
对任一所述连通域中的像素值进行抽样,并赋值给所述mask,获得所述结构性缺陷。
2.根据权利要求1所述的方法,其特征在于,所述随机生成mask,包括:
随机生成一个缺陷轮廓,并对所述缺陷轮廓进行填充;
在预设缺陷尺寸范围内,对填充后的缺陷轮廓进行随机形变,获得所述mask。
3.根据权利要求1所述的方法,其特征在于,所述对两条等值线赋不同的灰度值,包括:
获取所述mask的均值方差;
根据所述均值方差和第一目标位置的灰度值确定两条等值线灰度值的取值范围,其中,第一目标位置为所述破坏性缺陷融入所述正样本的位置。
4.根据权利要求1所述的方法,其特征在于,所述根据所述破坏性缺陷融入所述正样本,获得对应的缺陷样本,包括:
根据所述破坏性缺陷的纹理梯度和所述正样本的纹理梯度构建泊松方程组;
对所述泊松方程组进行求解,获得所述缺陷样本。
5.根据权利要求1所述的方法,其特征在于,所述根据所述结构性缺陷融入所述正样本,获得对应的缺陷样本,包括:
根据所述缺陷样本进行风格迁移,获得新的缺陷样本。
6.根据权利要求1所述的方法,其特征在于,所述根据所述缺陷样本进行风格迁移,获得新的缺陷样本,包括:
以预设规格的滑动窗口遍历所述结构性缺陷对应的区域,获得多个图像块,其中,相邻图像块之间重叠;
获取每个图像块的均方误差,选择均方误差最小的图像作为目标块;
在目标块与相邻图像块的重叠区域寻最小成本路径,作为边界;
将所述边界两侧用所述目标块和与所述目标块相邻的图像块填充所述重叠区域,获得新的缺陷样本。
7.一种基于缺陷生成的无监督OLED缺陷检测方法,其特征在于,所述方法包括:
获取正样本和待测图像;
将所述正样本和待测图像输入至预设缺陷识别模型,确定所述待测图像中缺陷,其中,所述预设缺陷识别模型根据所述正样本和如权利要求1-6中任一项所述的OLED缺陷样本生成方法生成的缺陷样本训练获得。
8.根据权利要求7所述的方法,其特征在于,所述将所述正样本和待测图像输入至预设缺陷识别模型,确定所述待测图像中缺陷,包括:
获取所述正样本的深层次特征和浅层次特征,以及所述待测图像的深层次特征和浅层次特征;
结合所述正样本的深层次特征和浅层次特征,以及所述待测图像的深层次特征和浅层次特征进行预测分割,获得所述待测图像中缺陷。
9.根据权利要求7所述的方法,其特征在于,所述将所述正样本和待测图像输入至预设缺陷识别模型,确定所述待测图像中缺陷之前,包括:
对所述正样本和所述待测图像进行对齐。
10.一种OLED缺陷样本生成装置,其特征在于,所述装置包括:
Mask生成模块,用于获得OLED的正样本,在所述正样本上随机生成mask;
缺陷生成模块,用于根据所述mask生成破坏性缺陷和/或结构性缺陷;
样本生成模块,用于根据所述破坏性缺陷和/或结构性缺陷融入所述正样本,获得对应的缺陷样本;
其中,所述缺陷生成模块,还用于:
确定所述mask的形态;
若是所述mask是长条形态,则确定所述mask的宽度;
若所述mask的宽度小于预设宽度,则对所述mask进行腐蚀处理,将腐蚀处理后mask的轮廓作为骨架;若所述mask的宽度大于或者等于预设宽度,则提取所述mask的轮廓,获得所述骨架;
若所述mask是多边形态,则对所述mask进行腐蚀处理,将腐蚀处理后mask的轮廓作为所述骨架;
对所述骨架作两条等值线,并对两条等值线赋不同的灰度值,获得所述破坏性缺陷;
所述缺陷生成模块,还用于:
确定所述结构性缺陷融入所述正样本的第二目标位置,并提取所述第二目标位置的像素值;
对所述第二目标位置的像素值进行聚类,并根据聚类结果确定所述第二目标位置中不同材质的连通域;
对任一所述连通域中的像素值进行抽样,并赋值给所述mask,获得所述结构性缺陷。
11.一种基于缺陷生成的无监督OLED缺陷检测装置,其特征在于,所述装置包括:
获取模块,用于获取正样本和待测图像;
识别模块,用于将所述正样本和待测图像输入至预设缺陷识别模型,确定所述待测图像中缺陷,其中,所述预设缺陷识别模型根据所述正样本和如权利要求1-6中任一项所述的OLED缺陷样本生成方法生成的缺陷样本训练获得。
12.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
CN202310155779.3A 2023-02-23 2023-02-23 基于缺陷生成的无监督oled缺陷检测方法 Active CN116030038B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310155779.3A CN116030038B (zh) 2023-02-23 2023-02-23 基于缺陷生成的无监督oled缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310155779.3A CN116030038B (zh) 2023-02-23 2023-02-23 基于缺陷生成的无监督oled缺陷检测方法

Publications (2)

Publication Number Publication Date
CN116030038A CN116030038A (zh) 2023-04-28
CN116030038B true CN116030038B (zh) 2023-06-20

Family

ID=86074098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310155779.3A Active CN116030038B (zh) 2023-02-23 2023-02-23 基于缺陷生成的无监督oled缺陷检测方法

Country Status (1)

Country Link
CN (1) CN116030038B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508939A (zh) * 2020-12-22 2021-03-16 郑州金惠计算机***工程有限公司 法兰表面缺陷检测方法及***和设备
CN114943708A (zh) * 2022-05-26 2022-08-26 北京沃东天骏信息技术有限公司 图像缺陷检测方法、装置、设备、存储介质和程序产品

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8312401B2 (en) * 2011-01-13 2012-11-13 Elitetech Technology Co., Ltd. Method for smart defect screen and sample
JP6291546B2 (ja) * 2016-09-07 2018-03-14 富士フイルム株式会社 画像評価装置、画像評価方法、及びプログラム
KR102576277B1 (ko) * 2018-05-02 2023-09-08 삼성디스플레이 주식회사 불량 검출 장치 및 방법
CN111681162B (zh) * 2020-06-09 2023-09-01 创新奇智(成都)科技有限公司 一种缺陷样本生成方法、装置、电子设备及存储介质
CN112634209A (zh) * 2020-12-09 2021-04-09 歌尔股份有限公司 一种产品缺陷检测方法和装置
US20230051895A1 (en) * 2021-08-12 2023-02-16 The Boeing Comppany Method of in-process detection and mapping of defects in a composite layup
CN114782391A (zh) * 2022-04-29 2022-07-22 广州大学 少样本工业图像缺陷检测模型构建方法、***及装置
CN114897865A (zh) * 2022-05-30 2022-08-12 征图新视(江苏)科技股份有限公司 基于少量缺陷样本的工业缺陷检测方法
CN115240023A (zh) * 2022-06-13 2022-10-25 浙江大华技术股份有限公司 一种缺陷检测网络的训练方法、缺陷检测方法及相关设备
CN115619743A (zh) * 2022-10-20 2023-01-17 华中科技大学 Oled新型显示器件表面缺陷检测模型的构建方法及其应用
CN115661578A (zh) * 2022-11-01 2023-01-31 征图新视(江苏)科技股份有限公司 一种工业缺陷图像生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508939A (zh) * 2020-12-22 2021-03-16 郑州金惠计算机***工程有限公司 法兰表面缺陷检测方法及***和设备
CN114943708A (zh) * 2022-05-26 2022-08-26 北京沃东天骏信息技术有限公司 图像缺陷检测方法、装置、设备、存储介质和程序产品

Also Published As

Publication number Publication date
CN116030038A (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
JP7138753B2 (ja) 画像欠陥検出方法、装置、電子機器、記憶媒体および製品
Hoang et al. Metaheuristic optimized edge detection for recognition of concrete wall cracks: a comparative study on the performances of roberts, prewitt, canny, and sobel algorithms
CN108918536B (zh) 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
Makantasis et al. Deep convolutional neural networks for efficient vision based tunnel inspection
CN107543828B (zh) 一种工件表面缺陷检测方法及***
JP6710135B2 (ja) 細胞画像の自動分析方法及びシステム
US20220092856A1 (en) Crack detection, assessment and visualization using deep learning with 3d mesh model
CN111353983A (zh) 缺陷检测识别方法、装置、计算机可读介质及电子设备
Wang et al. Surface defects detection using non-convex total variation regularized RPCA with kernelization
CN113240623B (zh) 一种路面病害检测方法及装置
CN113643268A (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN113378976B (zh) 一种基于特征顶点组合的目标检测方法、可读存储介质
Kumar et al. A deep learning based automated structural defect detection system for sewer pipelines
US20220076404A1 (en) Defect management apparatus, method and non-transitory computer readable medium
Yao et al. A feature memory rearrangement network for visual inspection of textured surface defects toward edge intelligent manufacturing
CN113538331A (zh) 金属表面损伤目标检测识别方法、装置、设备及存储介质
CN113516651A (zh) 基于残差网络的焊接接头缺陷检测方法及装置
TW201606854A (zh) 用於晶粒對資料庫光罩檢查之自動校準樣本選擇
CN111582004A (zh) 一种地面图像中的目标区域分割方法及装置
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN115546113A (zh) 掌子面裂隙图像与前方三维结构参数预测方法及***
CN115984186A (zh) 基于多分辨率知识提取的精细产品图像异常检测方法
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
Ahmad et al. A geometric-based method for recognizing overlapping polygonal-shaped and semi-transparent particles in gray tone images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant