CN113888533A - 显示面板的缺陷识别装置、方法、电子设备及介质 - Google Patents

显示面板的缺陷识别装置、方法、电子设备及介质 Download PDF

Info

Publication number
CN113888533A
CN113888533A CN202111362477.0A CN202111362477A CN113888533A CN 113888533 A CN113888533 A CN 113888533A CN 202111362477 A CN202111362477 A CN 202111362477A CN 113888533 A CN113888533 A CN 113888533A
Authority
CN
China
Prior art keywords
defect
display panel
image
unit
acquisition unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111362477.0A
Other languages
English (en)
Inventor
周全国
朱学辉
李凡
刘一泽
徐丽蓉
张青
唐浩
王志东
周丽佳
程久阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202111362477.0A priority Critical patent/CN113888533A/zh
Publication of CN113888533A publication Critical patent/CN113888533A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请公开了一种显示面板的缺陷识别装置、方法、电子设备和可读存储介质。缺陷识别装置包括第一图像采集单元、缺陷检测单元、第二图像采集单元和缺陷识别单元。第一图像采集单元用于采集显示面板的特征图像，缺陷检测单元用于根据特征图像测定显示面板的缺陷坐标，第二图像采集单元用于根据缺陷坐标拍摄缺陷坐标所在位置对应区域的局部彩色图像，缺陷识别单元包括处理器和存储有缺陷识别模型的计算机指令的存储器，处理器执行计算机指令实现利用缺陷识别模型对局部彩色图像识别得到缺陷类型以对缺陷进行分类。本申请通过对显示面板进行检测，从而将由刺伤、异物产生的不良进行精确分类，降低漏检风险，节省人力成本，降低不良造成的损失。

Description

显示面板的缺陷识别装置、方法、电子设备及介质
技术领域
本申请涉及显示技术，特别涉及一种显示面板的缺陷识别装置、缺陷识别方法、控制装置和计算机存储介质。
背景技术
通常，柔性AMOLED完成TFE工序后，被切割好的面板下表面贴附的背膜(bottomfilm)被移除，并贴附U型膜(U-Lami)来取代背膜。U-型膜的作用是保证柔性AMOLED的面板在弯折的时候U-型膜和面板不出现分离，保护面板在后面的工序免受损伤。然而，U型膜工艺过程中容易出现异物、划伤等不良现象，目前的检测设备难以对柔性AMOLED面板上出现的不良进行检测并分类。
发明内容
本申请实施方式提供了一种显示面板的缺陷识别装置，包括：
第一图像采集单元，用于采集所述显示面板的特征图像；
缺陷检测单元，用于根据所述特征图像测定所述显示面板的缺陷坐标；
第二图像采集单元，用于根据所述缺陷坐标采集所述缺陷坐标所在位置对应区域的局部彩色图像；
缺陷识别单元，包括处理器和存储有缺陷识别模型的计算机指令的存储器，所述处理器执行所述计算机指令实现利用所述缺陷识别模型对所述局部彩色图像识别得到缺陷类型以对所述缺陷进行分类。
在某些实施方式中，所述缺陷识别装置包括光源，所述光源用于向所述显示面板发射检测光线；
所述采集所述显示面板的特征图像包括：接收经过所述显示面板后的检测光线以获得所述特征图像；
所述根据所述缺陷坐标采集所述缺陷坐标所在位置对应区域的局部彩色图像包括：
接收经过所述显示面板中的缺陷坐标所在位置对应区域后的检测光线以得到所述局部彩色图像。
在某些实施方式中，所述缺陷识别装置包括第一载台和导轨，所述第一载台用于承载并固定所述显示面板；
所述导轨用于将所述第一图像采集单元从第一位置移动到预设位置，以扫描所述显示面板得到所述特征图像，以及将所述第一图像采集单元从所述预设位置移动到所述第一位置；
所述导轨还用于将所述第二图像采集单元从第二位置移动到所述预设位置，以采集所述显示面板得到所述局部彩色图像，以及将所述第二图像采集单元从所述预设位置移动到所述第二位置。
在某些实施方式中，所述缺陷识别装置包括第一载台、第二载台和连接所述第一载台和所述第二载台的传送单元，所述光源包括第一光源和第二光源；
所述第一载台用于承载并固定所述显示面板，所述第一图像采集单元用于接收经过所述第一载台上的所述显示面板的检测光线，以获得所述显示面板的所述特征图像；
所述传送单元用于将所述第一载台上的所述显示面板传送至所述第二载台；
所述第二载台承载并固定所述第一载台传送的所述显示面板，所述第二光源用于向所述第二载台上的所述显示面板发送所述检测光线，所述第二图像采集单元用于接收经过所述第二载台上的所述显示面板的检测光线，以获得所述显示面板的所述局部彩色图像。
在某些实施方式中，所述第一图像采集单元包括线扫描相机或面扫描相机。
在某些实施方式中，所述第二图像采集单元包括高倍镜头，所述第二图像采集单元通过所述高倍镜头拍摄预设放大倍数的所述局部彩色图像。
在某些实施方式中，所述缺陷识别单元的所述处理器执行所述计算机指令以实现获取分类好的局部彩色图像对所述缺陷识别模型进行训练。
在某些实施方式中，所述显示面板设置有标志，所述缺陷检测单元根据所述特征图像中所述标志的位置确定所述显示面板的缺陷坐标。
本申请实施方式还提供了一种显示面板的缺陷识别方法，包括：
扫描显示面板得到所述显示面板的特征图像；
根据所述特征图像测定所述显示面板的缺陷坐标；
根据所述缺陷坐标拍摄所述缺陷坐标所在位置对应区域的局部彩色图像；
利用缺陷识别模型对所述局部彩色图像识别得到缺陷类型以对所述缺陷进行分类。
在某些实施方式中，所述显示面板设置有标志，所述根据所述特征图像检测所述显示面板的缺陷坐标，包括：
根据所述特征图像中所述标志的位置确定所述显示面板的缺陷坐标。
在某些实施方式中，所述缺陷识别方法包括：
针对待检测的缺陷类型建立算法模型；
利用训练图像对所述算法模型进行训练，所述训练图像包括分类好的局部彩色图像；
利用经过训练的所述算法模型对验证图像进行检测得到验证检测结果以对所述算法模型进行优化；
重复上述训练步骤，在所述验证检测结果的准确率达到预设值的情况下，确定所述算法模型训练完成以作为所述缺陷识别模型。
本申请实施方式还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，实现上述的缺陷识别方法。
本申请提供了一种包含计算机程序的非易失性计算机可读存储介质，当所述计算机程序被处理器执行时，使得所述处理器执行上述的缺陷识别方法。
本申请实施方式的显示面板的缺陷识别装置、缺陷识别方法和计算机可读存储介质中，通过第一图像采集单元扫描显示面板，得到关于显示面板的特征图像，并由缺陷检测单元可根据显示面板的特征图像检测出显示面板的缺陷坐标位置，再通过第二图像采集单元根据检测得到缺陷坐标拍摄缺陷坐标所在位置对应区域的局部彩色图像，最后再通过缺陷识别单元利用预先设置的缺陷识别模型对局部彩色图像进行识别，得到缺陷类型以对缺陷进行分类。如此，能够对显示面板中由刺伤、异物产生的不良进行精确分类，从而，降低漏检风险，节省人力成本，降低不良造成的损失。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的缺陷识别装置的模块示意图。
图2是缺陷的特征图。
图3是本申请某些实施方式的缺陷识别装置的结构示意图。
图4是本申请某些实施方式的缺陷识别装置的又一结构示意图。
图5是本申请某些实施方式的显示面板的平面示意图。
图6是申请某些实施方式的缺陷识别方法的流程示意图。
图7是本申请某些实施方式的缺陷识别方法的流程示意图。
图8是本申请某些实施方式的缺陷识别模型的建模及优化的流程示意图。
附图主要元件标号：
缺陷识别装置10、第一图像采集单元11、缺陷检测单元12、第二图像采集单元13、缺陷识别单元14、光源15、第一光源151、第二光源152、第一载台16、导轨17、第一位置A、第二位置B、预设位置D、第二载台18、传送单元19。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
主动矩阵有机发光二极管(Active-matrix organic light-emitting diode，AMOLED)面板作为一种新型显示技术，具有自主发光、宽视角、高对比度、高色域、节能、超高相应速率及轻薄可卷曲等优点。AMOLED面板具有广泛的应用场景。
由于AMOLED器件的发光材料为有机材料，易与水汽、氧气等发生反应，容易造成AMOLED器件的快速老化，从而影响AMOLED器件的寿命，因此，需要对AMOLED器件进行封装。
目前，大部分AMOLED器件的封装采用薄膜封装(thin film encapsulation,TFE)技术。TFE技术可以有效阻隔水汽、氧气对AMOLED器件中有机发光材料的伤害，延长AMOLED器件的寿命。通常，在TFE工艺完成后，需要对切割完成的面板贴敷U型膜(U-laminaiton,U-lami)，从而保证面板在弯折的时候膜和面板不分离，保护面板在后面的工序免受损伤。然而，U-Lami工艺过程容易出现异物、划伤等不良。现有产线内的检测设备难以对柔性AMOLED面板上的这些不良进行检测并准确分类。
有鉴于此，请结合图1和图3，本申请提供了一种显示面板的缺陷识别装置10，缺陷识别装置10包括第一图像采集单元11、缺陷检测单元12、第二图像采集单元13和缺陷识别单元14。缺陷识别单元14包括处理器和存储有缺陷识别模型的计算机指令的存储器。
其中，第一图像采集单元11用于扫描显示面板得到显示面板的特征图像，缺陷检测单元12用于根据特征图像检测显示面板的缺陷坐标，第二图像采集单元13用于根据缺陷坐标拍摄缺陷坐标所在位置对应区域的局部彩色图像，处理器执行计算机指令实现利用缺陷识别模型对局部彩色图像识别得到缺陷类型以对缺陷进行分类。
本申请的缺陷识别装置10中，通过第一图像采集单元11扫描显示面板，得到关于显示面板的特征图像，并由缺陷检测单元12根据显示面板的特征图像检测出显示面板的缺陷坐标位置，再通过第二图像采集单元13根据检测得到缺陷坐标拍摄缺陷坐标所在位置对应区域的局部彩色图像，最后再通过缺陷识别单元14利用预先设置的缺陷识别模型对局部彩色图像进行识别，得到缺陷类型以对缺陷进行分类。如此，能够对显示面板中由刺伤、异物产生的不良进行精确分类，从而，降低漏检风险，节省人力成本，降低不良造成的损失。
具体地，缺陷识别装置10可以为自动光学检测设备(Automated OpticalInspection，AOI)。AOI设备是指是基于光学原理来对生产中遇到的常见缺陷进行检测的设备。当AOI设备自动检测时，可通过摄像头等图像采集单元自动扫描，获取到显示面板的特征图像。
第一图像采集单元11可以包括但不限于线扫描相机或者面扫描相机。本领域技术人员可以理解地，线扫描相机的传感器仅仅是通过一行感光元素组成，能够进行高频率扫描，同时也能把各种高速、旋转的物体作为检测的对象。具有很低的成本，灵活度很高，动态范围也很广，加上高性价比等特点。面扫描相机实现的是像素矩阵拍摄，表现图像细节不是由像素多少决定的，是由分辨率决定的，分辨率是由选择的镜头焦距决定的，同一种相机，选用不同焦距的镜头，分辨率就不同。
例如，第一图像采集单元11可以为线扫描相机，即可通过线扫相机对显示面板进行全方面的扫描，得到关于显示面板的线扫描图像。如此，即使在显示面板处于动态时，第一图像采集单元11也可以检测到显示面板的特征图像。
缺陷识别装置10还可包括有图像数据库，第一图像采集单元11可将检测到的特征图像存入图像数据库。
缺陷检测单元12可以与第一图像采集单元11电连接，从而获取第一图像采集单元11检测到的特征图像，也可以直接从图像数据库中获取到显示面板的特征图像。
缺陷检测单元12可根据特征图像进行检测，以确定显示面板是否存在刺伤或异物等缺陷，并在检测出显示面板存在刺伤或异物等缺陷的情况下，确定特征图像中缺陷的位置，其中，可以以缺陷中心点作为缺陷的坐标。
可以理解地，当显示面板在进行U-Lami工艺后，若存在刺伤、异物等不良，当不良为刺伤时，造成panel表面不再平坦，被刺伤的部位有缺失或者被顶起。当不良为异物时，会在显示面板表面形成凸起区域。例如，请结合图2，其中，图2(a)为Panel U-lami上刺伤、异物(particle)的平面特征示意图。如图2(b)为Panel U-lami上刺伤、异物(particle)的截面特征示意图。当不良为刺伤时，panel表面会被硬物刺伤，造成panel表面不再平坦，被刺伤的部位有缺失或者被顶起，表现为表面内凹或者向上突起；而当不良异物(particle)时，particle是附着在panel表面，panel表面形成凸起区域。也即是，当特征图像存在的缺陷明显显示出来。如此，通过缺陷检测单元12可将良好的显示面板和存在缺陷的显示面板进行区分，从而可对显示面板进行初步分类。
由于特征图像为平面图像，且分辨率有限，无法仅通过特征图像对刺伤缺陷和异物缺陷进行分辨，因此，为了进一步地对缺陷进行确认，以便后续分类，因此，可通过第二图像采集单元13获取到显示面板中缺陷位置的局部图像，从而方便后续根据缺陷位置的局部图像进行分析，从而判断出缺陷是异物还是刺伤。
具体而言，第二图像采集单元13可包括高倍镜头，高倍镜头拍摄到预设放大倍数的局部彩色图像。第二图像采集单元13可根据缺陷的坐标调节高倍镜头，使得高倍镜头对准显示面板中与缺陷坐标所在位置的对应区域，使得高倍镜头能够拍摄预设放大倍数的局部彩色图像，得到缺陷位置的图像。其中，预设放大倍数可以为50倍、80倍100倍、150倍、200甚至更多倍，也即是，预设放大倍数的具体值不限，可根据显示面板大小进行设置。如此，可以方便的根据缺陷的局部彩色图像进行分析，从而确认缺陷是刺伤或异物。
在某些实施方式中，第二图像采集单元13可以为一个也可以为多个。例如，在一些实施方式中，第二图像采集单元13可以为多个。可以理解地，显示面板可能存在多个分布于不同区域的缺陷，而第二图像采集单元13拍摄预设放大倍数的局部图像，捕捉到区域面积有限，因此，多个第二图像采集单元13可同时对准不同的缺陷，从而同时得到多个局部彩色图像，提升了检测效率。
进一步地，可以理解地，若通过人为地对局部彩色图像对缺陷的类型进行确认，效率低，因此，可通过缺陷识别单元14的处理器执行计算机指令利用缺陷识别模型对局部彩色图像识别得到缺陷类型以对缺陷进行分类。
需要说明的是，缺陷识别模型是指用于对显示面板的局部彩色图像的缺陷进行检测判断的一个数学模型，检测模型可根据预设逻辑和数学算法建立而成。预设逻辑为业务逻辑，业务逻辑是指一个实体单元为了向另一个实体单元提供服务，应该具备的规则与流程。其中，数学算法可以是基于特征图金字塔网络(Feature Pyramid Networks，FPN)的一种深度学习网络算法。
特征图金字塔网络主要解决的是物体检测中的多尺度问题，通过简单的网络连接改变，在基本不增加原有模型计算量的情况下，大幅度提升了小物体检测的性能。
在一些实施方式中，为了便于相关人员能够直观地看到检测的显示面板的分类结果，可将得到的分类结果进行标记，进而将标记后的分类结果进行显示。如此，相关人员实现监控显示面板存在的具体不良现象，从而可快速根据具体不良现象从而最快速度发现问题并及时改善，降低了不良发生造成的品质及产能影响。
请结合图3，在某些实施方式中，缺陷识别装置10包括光源，光源用于向显示面板发射检测光线，第一图像采集单元11接收经过显示面板后的检测光线以扫描得到特征图像，第二图像采集单元13具体用于接收经过显示面板中的缺陷坐标所在位置对应区域后的检测光线以得到局部彩色图像。
如此，通过光源照射显示面板，能够使得第一图像采集单元11扫描得到的特征图像中的缺陷以及第二图像采集单元13得到的局部彩色图像更明显，有利于对缺陷进行区分。提升了检测准确率。
请进一步地结合图3，在某些实施方式中，缺陷识别装置10包括第一载台16和导轨17，第一载台16用于承载并固定显示面板，光源用于向第一载台16上的显示面板发射检测光线，导轨17用于将第一图像采集单元11从第一位置A移动到预设位置D，以扫描显示面板得到特征图像，以及将第一图像采集单元11从预设位置D移动到第一位置A。导轨17还用于将第二图像采集单元13从第二位置B移动到预设位置D，以采集显示面板得到局部彩色图像，以及将第二图像采集单元13从预设位置D移动到第二位置B。
需要说明的是，在本实施方式中，显示面板通过吸盘固定于第一载台16上，光源15的位置、光线强度、入射角度可调节。预设位置D为拍摄位置，并且预设位置D位于光源发射的检测光线的光路上。
具体地，在对显示面板检测并分类的过程中，先将显示面板放置于第一载台16，开启光源15发射检测光线沿光路至显示面板，同时，将第一图像采集单元11从导轨17的第一位置A移动到导轨17的预设位置D，通过第一图像采集单元11接收经过第一载台16上的显示面板后的检测光线，以扫描显示面板，得到显示面板的特征图像。进而，在第一图像采集单元11接得到显示面板的特征图像后，将第一图像采集单元11从导轨17的预设位置D移动到导轨17的第一位置A，使得第一图像采集单元11归位，再通过导轨17将第二图像采集单元13从导轨17的第二位置B传输至导轨17的预设位置D。使得第二图像采集单元13可以接收经过第二载台18上的显示面板后的检测光线，得到缺陷坐标所在位置对应区域的局部彩色图像。
如此，通过移动第一图像采集单元11和第二图像采集单元13的设置，实现了在显示面板固定的情况下，能够获取到显示面板的特征图像和局部彩色图像。
请结合图4，在某些实施方式中，缺陷识别装置10包括第一载台16、第二载台18和连接第一载台16和第二载台18的传送单元19和/或机械手，光源15包括第一光源151和第二光源152，第一载台16用于承载并固定显示面板，第一光源151用于第一载台16上的显示面板发射检测光线，第一图像采集单元11用于接收经过第一载台16上的显示面板的检测光线，以获得显示面板的特征图像，传送单元19用于将第一载台16上的显示面板传送至第二载台18，第二载台18用于承载并固定第一载台16传送的显示面板，第二光源152用于向第二载台18上的显示面板发射检测光线，第二图像采集单元13用于接收经过第二载台18上的显示面板的检测光线，以获得显示面板的局部彩色图像。
具体地，第一载台16、传送单元19和第二载台18依次设置，第一载台16上方有间隔设置的有第一光源151和第一图像采集单元11，并且，第一图像采集单元11位于第一光源151发射的检测光线的光路上。第二载台18上方间隔设置有第二光源152和第二图像采集单元13，并且，第二图像采集单元13位于第二光源152发射的检测光线的光路上。
在对显示面板检测并分类的过程中，先将显示面板放置于第一载台16，开启第一光源151，第一光源151向第一载台16上的显示面板发射检测光线，同时，通过第一图像采集单元11接收经过第一载台16上的显示面板后的检测光线，以获得显示面板的特征图像。在第一图像采集单元11接得到显示面板的特征图像后，启动传送单元19和/或机械手，通过传送单元19和/或机械手将显示面板传送至第二载台18。进而，在显示面板传送至第二载台18后，开启第二光源152，向第二载台18上的显示面板发送检测光线，同时，第二图像采集单元13接收经第二载台18上的显示面板后的检测光线，以拍摄显示面板，得到局部彩色图像。
如此，通过移动显示面板，实现了在第一图像采集单元11和第二图像采集单元13固定的情况下，能够获取到显示面板的特征图像和局部彩色图像。
在某些实施方式中，缺陷识别单元14的处理器执行计算机指令以实现获取分类好的局部彩色图像对缺陷识别模型进行训练。
可以理解地，分类好的局部彩色图像越多，则对缺陷识别模型进行训练得到的结果越准确。因此，在本实施方式中，每类局部彩色图像可大于200张。例如，每类局部彩色图像可以为300张。
具体地，缺陷识别模型可包括多个，每个缺陷识别模型对应一类局部彩色图像，例如，缺陷识别模型包括异物识别模型和刺伤识别模型，局部彩色图像包括有刺伤的局部彩色图像和异物的局部彩色图像，其中，异物识别模型用于对异物的局部彩色图像进行测试训练，刺伤识别模型用于对刺伤的局部彩色图像进行测试训练。进而将得到的训练检测结果与实际检测结果进行比对，不断调整优化缺陷识别模型，使得训练检测结果与实际检测结果接近。当训练检测结果的准确率和过检率达到标准后，则可认为缺陷识别模型达标，则可将训练后的缺陷识别模型进行缺陷识别。
在某些实施方式中，显示面板设置有标志，缺陷检测单元12根据特征图像中标志的位置确定显示面板的缺陷坐标。
请结合图5，具体地，显示面板可分为显示区和布线区，其中，显示区和布线区边缘设置有分区标志。缺陷检测单元12可根据特征图像中标志确定缺陷是处于显示区或是布线区，同时，也可以进一步地根据特征图像中标志确定存在缺陷所在的具体坐标。
例如，在一些示例中，缺陷检测单元12可根据特征图像中的任意一个标志为原点建立平面直角坐标系，进而在根据缺陷的与坐标原点的相对位置，确定显示面板中缺陷的坐标。
在一些实施方式中，缺陷检测单元12还通过特征图像中的标志对特征图像进行分割，以得到显示区的特征图像和布线区的特征图像，再分别对显示区的特征图像和布线区的特征图像中的缺陷进行检测。可以理解地，布线区和显示区存在差异，使得缺陷在布线区和显示区也存在区别，因此，通过对特征图像进行分割，再分别对显示区的特征图像和布线区的特征图像进行缺陷检测，如此，后续可以提高缺陷识别模型检测的精准度。
请参阅图6，本申请实施方式提供一种显示面板的缺陷识别方法，用于上述任意一项实施方式的缺陷识别装置10，缺陷识别方法包括步骤：
01，扫描显示面板得到显示面板的特征图像；
02，根据特征图像测定显示面板的缺陷坐标；
03，根据缺陷坐标拍摄缺陷坐标所在位置对应区域的局部彩色图像；和
04，利用缺陷识别模型对局部彩色图像识别得到缺陷类型以对缺陷进行分类。
本申请实施方式还提供了一种电子设备，电子设备包括存储器和处理器，存储器存储有计算机程序，当计算机程序被处理器执行时，上述缺陷识别方法可以由电子设备的处理器实现。
或者说，处理器用于扫描显示面板得到显示面板的特征图像，并根据特征图像测定显示面板的缺陷坐标，处理器还用于根据缺陷坐标拍摄缺陷坐标所在位置对应区域的局部彩色图像，以及利用缺陷识别模型对局部彩色图像识别得到缺陷类型以对缺陷进行分类。
本申请实施方式的显示面板的缺陷识别方法和电子设备中，通过第一图像采集单元扫描显示面板，得到关于显示面板的特征图像，并由缺陷检测单元可根据显示面板的特征图像测定出显示面板的缺陷坐标位置，再通过第二图像采集单元根据检测得到缺陷坐标拍摄缺陷坐标所在位置对应区域的局部彩色图像，最后再通过缺陷识别单元利用预先设置的缺陷识别模型对局部彩色图像进行识别，得到缺陷类型以对缺陷进行分类。如此，能够对显示面板中由刺伤、异物产生的不良进行精确分类，从而，降低漏检风险，节省人力成本，降低不良造成的损失。
在一些实施方式中，电子设备可以是服务器，服务器可以与用于检测显示面板的缺陷识别装置通信连接。从而从缺陷识别装置获取显示面板的特征图像。服务器可包括有大数据平台，大数据平台是一个集数据接入、数据处理、数据存储、查询检索、分析挖掘等、应用接口等为一体的平台，如此，电子设备能够实现本申请实施方式的缺陷识别方法。
此外，在其它的一些实施方式中，处理器还可根据分类结果生成缺陷波动通知并发送缺陷波动通知以通知相关人员。例如，出现大批量的刺伤缺陷的面板，如此，便于相关人员快速查看分析，通知方式不限可以为短信通知、电话通知、邮件通知等。例如，监控到缺陷波动后，可通过邮件方式并以实时警报方式提醒通知工序管理人员，使得工序管理人员可以根据邮件快速查看分析详情，以便于及时发现问题并进行改善。
请参阅图7，在某些实施方式中，显示面板设置有标志，步骤02包括子步骤：
021，根据特征图像中标志的位置确定显示面板的缺陷坐标。
在某些实施方式中，处理器可以用于根据特征图像中标志的位置确定显示面板的缺陷坐标。
如此，通过特征图像中标志的位置来确定显示面板的缺陷坐标，提升了确定缺陷坐标的效率。
请结合图8，在某些实施方式中，步骤01前，缺陷检测方法还包括步骤：
001，针对待检测的缺陷类型建立算法模型；
002，利用训练图像对算法模型进行训练，训练图像包括分类好的局部彩色图像；
003，利用经过训练的算法模型对验证图像进行检测得到验证检测结果以对算法模型进行优化；
004，重复上述训练步骤，在验证检测结果的准确率达到预设值的情况下，确定算法模型训练完成以作为缺陷识别模型。
在某些实施方式中，处理器还用于针对待检测的缺陷类型建立算法模型，并利用训练图像对算法模型进行训练，训练图像包括分类好的局部彩色图像，以及利用经过训练的算法模型对验证图像进行检测得到验证检测结果以对算法模型进行优化，最后重复上述训练步骤，在验证检测结果的准确率达到预设值的情况下，确定算法模型训练完成以作为缺陷识别模型。
具体地，待检测的缺陷类型可以包括刺伤缺陷、异物缺陷。
算法模型可包括多个，每个算法模型对应于一种缺陷类型，训练图像可分为两类局部彩色图像，分别为存在刺伤的局部彩色图像和存在异物的局部彩色图像。也即是，分别用两类局部彩色图像对对应的算法模型进行训练，并利用训练的算法模型对验证图像进行检测，得到验证检测结果以对算法模型进行优化。在验证检测结果的准确率达到预设值的情况下，确定算法模型训练完成以作为缺陷识别模型。
在通过训练图像对算法模型进行训练得到的训练检测结果与实际检测结果进行比对，从而不断调整优化算法模型，使得训练检测结果与实际检测结果接近，当训练检测结果的准确率和过检率达到标准后，则可认为算法模型达标，则可将训练后的算法模型作为缺陷识别模型而进行缺陷检测。
如此，可以利用训练图像和训练识别结果对算法模型进行训练以得到训练好的缺陷识别模型，从而可根据缺陷检测模块得到。
本申请实施方式还提供了一种包含计算机程序的非易失性计算机可读存储介质，计算机程序被处理器执行时，使得处理器执行上述任意实施方式的缺陷识别方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种显示面板的缺陷识别装置，其特征在于，包括：
第一图像采集单元，用于采集所述显示面板的特征图像；
缺陷检测单元，用于根据所述特征图像测定所述显示面板的缺陷坐标；
第二图像采集单元，用于根据所述缺陷坐标采集所述缺陷坐标所在位置对应区域的局部彩色图像；
缺陷识别单元，包括处理器和存储有缺陷识别模型的计算机指令的存储器，所述处理器执行所述计算机指令实现利用所述缺陷识别模型对所述局部彩色图像识别得到缺陷类型以对所述缺陷进行分类。
2.如权利要求1所述的缺陷识别装置，其特征在于，所述缺陷识别装置包括光源，所述光源用于向所述显示面板发射检测光线；
所述采集所述显示面板的特征图像包括：接收经过所述显示面板后的检测光线以获得所述特征图像；
所述根据所述缺陷坐标采集所述缺陷坐标所在位置对应区域的局部彩色图像包括：
接收经过所述显示面板中的缺陷坐标所在位置对应区域后的检测光线以得到所述局部彩色图像。
3.如权利要求2所述的缺陷识别装置，其特征在于，所述缺陷识别装置包括第一载台和导轨，所述第一载台用于承载并固定所述显示面板；
所述导轨用于将所述第一图像采集单元从第一位置移动到预设位置，以扫描所述显示面板得到所述特征图像，以及将所述第一图像采集单元从所述预设位置移动到所述第一位置；
所述导轨还用于将所述第二图像采集单元从第二位置移动到所述预设位置，以采集所述显示面板得到所述局部彩色图像，以及将所述第二图像采集单元从所述预设位置移动到所述第二位置。
4.如权利要求2所述的缺陷识别装置，其特征在于，所述缺陷识别装置包括第一载台、第二载台和连接所述第一载台和所述第二载台的传送单元，所述光源包括第一光源和第二光源；
所述第一载台用于承载并固定所述显示面板，所述第一图像采集单元用于接收经过所述第一载台上的所述显示面板后的检测光线，以获得所述显示面板的所述特征图像；
所述传送单元用于将所述第一载台上的所述显示面板传送至所述第二载台；
所述第二载台用于承载并固定所述第一载台传送的所述显示面板，所述第二光源用于向所述第二载台上的所述显示面板发送所述检测光线，所述第二图像采集单元用于接收经过所述第二载台上的所述显示面板的检测光线，以采集所述显示面板得到所述局部彩色图像。
5.如权利要求1所述的缺陷识别装置，其特征在于，所述第一图像采集单元包括线扫描相机或面扫描相机。
6.如权利要求1所述的缺陷识别装置，其特征在于，所述第二图像采集单元包括高倍镜头，所述第二图像采集单元通过所述高倍镜头拍摄预设放大倍数的所述局部彩色图像。
7.如权利要求1所述的缺陷识别装置，其特征在于，所述缺陷识别单元的所述处理器执行所述计算机指令以实现获取分类好的局部彩色图像对所述缺陷识别模型进行训练。
8.如权利要求1所述的缺陷识别装置，其特征在于，所述显示面板设置有标志，所述缺陷检测单元根据所述特征图像中所述标志的位置确定所述显示面板的缺陷坐标。
9.一种显示面板的缺陷识别方法，其特征在于，包括：
扫描显示面板得到所述显示面板的特征图像；
根据所述特征图像测定所述显示面板的缺陷坐标；
根据所述缺陷坐标拍摄所述缺陷坐标所在位置对应区域的局部彩色图像；
利用缺陷识别模型对所述局部彩色图像识别得到缺陷类型以对所述缺陷进行分类。
10.如权利要求9所述的缺陷识别方法，其特征在于，所述显示面板设置有标志，所述根据所述特征图像检测所述显示面板的缺陷坐标，包括：
根据所述特征图像中所述标志的位置确定所述显示面板的缺陷坐标。
11.如权利要求9所述的缺陷识别方法，其特征在于，所述缺陷识别方法包括：
针对待检测的缺陷类型建立算法模型；
利用训练图像对所述算法模型进行训练，所述训练图像包括分类好的局部彩色图像；
利用经过训练的所述算法模型对验证图像进行检测得到验证检测结果以对所述算法模型进行优化；
重复上述训练步骤，在所述验证检测结果的准确率达到预设值的情况下，确定所述算法模型训练完成以作为所述缺陷识别模型。
12.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，实现权利要求9-11任一项所述的缺陷识别方法。
13.一种包含计算机程序的非易失性计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，使得所述处理器执行权利要求9-11任一项所述的缺陷识别方法。
CN202111362477.0A 2021-11-17 2021-11-17 显示面板的缺陷识别装置、方法、电子设备及介质 Pending CN113888533A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111362477.0A CN113888533A (zh) 2021-11-17 2021-11-17 显示面板的缺陷识别装置、方法、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111362477.0A CN113888533A (zh) 2021-11-17 2021-11-17 显示面板的缺陷识别装置、方法、电子设备及介质

Publications (1)

Publication Number Publication Date
CN113888533A true CN113888533A (zh) 2022-01-04

Family

ID=79018148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111362477.0A Pending CN113888533A (zh) 2021-11-17 2021-11-17 显示面板的缺陷识别装置、方法、电子设备及介质

Country Status (1)

Country Link
CN (1) CN113888533A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116167992A (zh) * 2023-02-02 2023-05-26 北京百度网讯科技有限公司 缺陷检测方法、装置、电子设备和计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116167992A (zh) * 2023-02-02 2023-05-26 北京百度网讯科技有限公司 缺陷检测方法、装置、电子设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
US10733723B2 (en) Methods and system for improved quality inspection
CN108686978B (zh) 基于arm的水果类别和色泽的分拣方法及***
CN113095438B (zh) 晶圆缺陷分类方法及其装置、***、电子设备和存储介质
US10706525B2 (en) Methods and systems for improved quality inspection
US20210334946A1 (en) Method and system for classifying defects in wafer using wafer-defect images, based on deep learning
KR102378186B1 (ko) 와이어링 하네스용 인공지능 외관검사 시스템
CN111612757B (zh) 一种屏幕裂纹的检测方法、装置、设备及存储介质
CN112053318A (zh) 基于深度学习的二维pcb缺陷实时自动检测与分类装置
US11657599B2 (en) Method for detecting appearance of six sides of chip multi-layer ceramic capacitor based on artificial intelligence
CN111275679A (zh) 一种基于图像的太阳能电池缺陷检测***及方法
CN111080691A (zh) 一种光伏组件红外热斑检测方法、装置
CN113962274A (zh) 一种异常识别方法、装置、电子设备及存储介质
CN113111903A (zh) 智能产线监测***及监测方法
CN111079831A (zh) 智能型光学检测的样品特征与瑕疵自动标记方法及其装置
CN113888533A (zh) 显示面板的缺陷识别装置、方法、电子设备及介质
CN117455843A (zh) 一种电缆头缺陷智能化检测***
US11176419B1 (en) Method for labeling image
US20230152781A1 (en) Manufacturing intelligence service system connected to mes in smart factory
CN117745678A (zh) 一种输送带滚筒包胶检测方法、装置、设备及存储介质
CN111272769A (zh) 一种电子产品的底壳检测装置
CN109060831B (zh) 一种基于底板拟合的自动脏污检测方法
CN112964723A (zh) 一种双面多目标等间距阵列视觉检测方法及检测***
CN112763506A (zh) 兼具aoi及ai的瑕疵检测方法及其装置
TWI833471B (zh) 瑕疵檢測方法及其裝置
CN116563200A (zh) 缺陷检测方法、训练方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination