CN114913108A - 显示基板的图像分类方法和装置 - Google Patents

显示基板的图像分类方法和装置 Download PDF

Info

Publication number
CN114913108A
CN114913108A CN202110129183.7A CN202110129183A CN114913108A CN 114913108 A CN114913108 A CN 114913108A CN 202110129183 A CN202110129183 A CN 202110129183A CN 114913108 A CN114913108 A CN 114913108A
Authority
CN
China
Prior art keywords
image
type
detected
display substrate
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110129183.7A
Other languages
English (en)
Inventor
周全国
徐开琴
邹佳洪
张国林
黄巡
张青
王志东
周丽佳
沈鸿翔
程久阳
唐浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202110129183.7A priority Critical patent/CN114913108A/zh
Priority to US17/476,321 priority patent/US20220245782A1/en
Publication of CN114913108A publication Critical patent/CN114913108A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种显示基板的图像分类方法和装置，涉及图像处理领域，用以解决以人工方式进行图像分类所造成的耗时长、效率低的问题。显示基板的图像分类方法包括：获取待检测图像；从第一预设类型集合中，确定待检测图像的类型，第一预设类型集合包括：第一图像类型、第二图像类型和第三图像类型，属于第一图像类型的图像是没有缺陷的图像，属于第二图像类型的图像是模糊图像，属于第三图像类型的图像是缺陷图像；在待检测图像的类型为第三图像类型的情况下，使用第一卷积神经网络，确定待检测图像的缺陷信息，缺陷图像为存在缺陷的显示基板的图像，缺陷信息包括待检测图像上的显示基板的缺陷类型。

Description

显示基板的图像分类方法和装置
技术领域
本发明涉及图像处理领域，尤其涉及一种显示基板的图像分类方法和装置。
背景技术
随着技术的不断发展，需要分类的图像越来越多。目前，通常采用人工的方式对图像进行分类。然而，采用人工的方式对图像进行分类的过程中，往往会出现耗时长、效率低等问题。
发明内容
本发明的实施例提供一种显示基板的图像分类方法和装置，用以解决以人工方式进行显示基板的图像分类所造成的耗时长、效率低的问题。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面，提供了一种显示基板的图像分类方法，该方法包括：获取待检测图像；从第一预设类型集合中，确定所述待检测图像的类型，所述第一预设类型集合包括：第一图像类型、第二图像类型和第三图像类型，属于所述第一图像类型的图像是没有缺陷的图像，属于所述第二图像类型的图像是模糊图像，属于所述第三图像类型的图像是缺陷图像；在所述待检测图像的类型为所述第三图像类型的情况下，使用第一卷积神经网络，确定所述待检测图像的缺陷信息，所述缺陷图像为存在缺陷的显示基板的图像，所述缺陷信息包括所述待检测图像上的显示基板的缺陷类型。
在一些实施例中，确定所述待检测图像的类型包括：获取所述待检测图像上的显示基板的产品信息，所述产品信息包括：所述显示基板的形状信息和/或结构信息；将所述待检测图像上的显示基板的产品信息与预配置的产品信息进行匹配；若所述待检测图像上的显示基板的产品信息与预配置的产品信息完全匹配，则确定所述待检测图像的类型为第一图像类型；若所述待检测图像上的显示基板的产品信息与预配置的产品信息不匹配，则确定所述待检测图像的类型为第二图像类型；若所述待检测图像上的显示基板的产品信息与预配置的产品信息部分匹配，则确定所述待检测图像的类型为第三图像类型。
在一些实施例中，获取所述待检测图像上的显示基板的产品信息包括：利用图像识别算法，获取所述待检测图像上的显示基板中的像素的形状信息和/或结构信息。
在一些实施例中，确定所述待检测图像的类型包括：对所述待检测图像进行二值化处理，得到所述待检测图像的黑白图；若所述待检测图像的黑白图呈周期性变化，则确定所述待检测图像的类型为第一图像类型；若所述待检测图像的黑白图不呈周期性变化，则确定所述待检测图像的类型为第二图像类型；若所述待检测图像的黑白图部分呈周期性变化，则确定所述待检测图像的类型为第三图像类型。
在一些实施例中，确定所述待检测图像的类型包括：使用第二卷积神经网络，确定所述待检测图像的图像类型。
在一些实施例中，所述获取待检测图像包括：扫描图像存储装置；确定所述图像存储装置中存在新增的图像信息存储文件，所述图像信息存储文件包括图像文件和地址文件；解析所述图像信息存储文件中的地址文件，以得到所述地址文件中的图像存储地址；从所述图像文件中获取所述图像存储地址对应的图像，作为待检测图像。
在一些实施例中，使用第一卷积神经网络，确定所述待检测图像的缺陷信息包括：使用第一卷积神经网络，从第二预设类型集合中确定所述待检测图像的缺陷类型，所述第二预设类型集合包括至少一个缺陷类型。显示基板的图像分类方法还包括：在所述待检测图像的缺陷类型不属于所述第二预设类型集合的情况下，输出所述待检测图像，并接收用户输入的第一新建缺陷类型。
在一些实施例中，显示基板的图像分类方法还包括：将第一新建缺陷类型添加至第二预设类型集合中，更新所述第一卷积神经网络。
在一些实施例中，缺陷信息还包括：缺陷类型对应的置信度，所述缺陷类型对应的置信度为所述待检测图像上的显示基板属于所述缺陷类型的置信度；在所述置信度小于预设阈值的情况下，输出所述待检测图像，接收用户输入的复检结果；在复检结果表征所述待检测图像的缺陷信息中的缺陷类型不正确的情况下，根据复检结果更正所述待检测图像的缺陷信息中的缺陷类型。
第二方面，提供了一种显示基板的图像分类装置，该显示基板的图像分类装置包括：获取模块和处理模块；所述获取模块，被配置为获取待检测图像；所述处理模块，被配置为从第一预设类型集合中，确定所述获取模块获取的所述待检测图像的类型，所述第一预设类型集合包括：第一图像类型、第二图像类型和第三图像类型，属于所述第一图像类型的图像是没有缺陷的图像，属于所述第二图像类型的图像是模糊图像，属于所述第三图像类型的图像是缺陷图像；所述处理模块，还被配置为在所述待检测图像的类型为所述第三图像类型的情况下，使用第一卷积神经网络，确定所述待检测图像的缺陷信息，所述缺陷图像为存在缺陷的显示基板的图像，所述缺陷信息包括所述待检测图像上的显示基板的缺陷类型。
第三方面，提供了一种显示基板的图像分类装置，该显示基板的图像分类装置包括：存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于运行所述计算机指令，使得所述显示基板实现上述任一实施例所述的显示基板的图像分类方法。
第四方面，提供了一种计算机可读存储介质，用于存储计算机指令，使得显示基板的图像分类装置执行所述计算机指令时，实现上述任一实施例所述的显示基板的图像分类方法。
本发明实施例提供的显示基板的图像分类方法，可以利用卷积神经网络(例如第一卷积神经网络)，确定待检测图像上的显示基板的缺陷类型。这样，可以采用机器代替人工的方式，确定显示基板的缺陷类型，从而在待检测图像的数量较多的情况下，可以减少确定显示基板的缺陷类型所需要的时间，进而可以提高效率，节省人工成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种计算机整合制造***的结构图；
图2为本发明实施例提供的一种显示基板的图像分类装置结构图；
图3为本发明实施例提供的一种显示基板的图像分类方法的流程图；
图4A为本发明实施例提供的一种属于第一图像类型的待检测图像；
图4B为本发明实施例提供的一种属于第二图像类型的待检测图像；
图4C为本发明实施例提供的一种属于第三图像类型的待检测图像；
图5为本发明实施例提供的一种确定待检测图像的缺陷信息的流程图；
图6为本发明实施例提供的一种显示基板的图像分类方法的示意图；
图7为本发明实施例提供的一种显示基板的图像分类装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非上下文另有要求，否则，在整个说明书和权利要求书中，术语“包括(comprise)”及其其他形式例如第三人称单数形式“包括(comprises)”和现在分词形式“包括(comprising)”被解释为开放、包含的意思，即为“包含，但不限于”。在说明书的描述中，术语“一个实施例(one embodiment)”、“一些实施例(some embodiments)”、“示例性实施例(exemplary embodiments)”、“示例(example)”、“特定示例(specific example)”或“一些示例(some examples)”等旨在表明与该实施例或示例相关的特定特征、结构、材料或特性包括在本公开的至少一个实施例或示例中。上述术语的示意性表示不一定是指同一实施例或示例。此外，所述的特定特征、结构、材料或特点可以以任何适当方式包括在任何一个或多个实施例或示例中。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在描述一些实施例时，可能使用了“耦接”和“连接”及其衍伸的表达。例如，描述一些实施例时可能使用了术语“连接”以表明两个或两个以上部件彼此间有直接物理接触或电接触。又如，描述一些实施例时可能使用了术语“耦接”以表明两个或两个以上部件有直接物理接触或电接触。然而，术语“耦接”或“通信耦合(communicatively coupled)”也可能指两个或两个以上部件彼此间并无直接接触，但仍彼此协作或相互作用。这里所公开的实施例并不必然限制于本文内容。
“A、B和C中的至少一个”与“A、B或C中的至少一个”具有相同含义，均包括以下A、B和C的组合：仅A，仅B，仅C，A和B的组合，A和C的组合，B和C的组合，及A、B和C的组合。
“A和/或B”，包括以下三种组合：仅A，仅B，及A和B的组合。
“多个”是指至少两个。
本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。
另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。
显示装置可以是LCD(Liquid Crystal Display，液晶显示)装置；还可以是自发光的显示装置，例如OLED(Organic Light Emitting Diode，有机电致发光)显示装置、QLED(Quantum Dot Light Emitting Diodes，量子点电致发光)显示装置、Micro LED(MicroLight-Emitting Diode，微发光二极管)等。示例的，显示装置包括阵列基板。其中，在LCD中，阵列基板可以称为TFT阵列基板；在OLED、QLED、Micro LED等中，阵列基板可以是包括像素电路的驱动背板。
本实施例中，显示基板可以是显示装置的相关产品，即制备显示装置的过程中完成至少一个工序后得到的产品。示例的，在LCD显示装置中，显示基板可以是TFT阵列基板或对置基板；在自发光显示装置中，显示基板可以是驱动背板。
其中，显示基板的生产过程包括多个工序，需要对一些工序(至少一个工序)得到的产品进行检测，以确定该显示基板的缺陷类型等信息。
在本实施例中，显示基板的图像是指：在显示基板的生产过程中，完成至少一个工序后得到的产品的图像；具体可以是指，在衬底基板上形成至少一个图案层，得到的基板。其中，图案层是指在衬底基板上，通过构图工艺所形成的图案。
例如，制备包括在LCD中的显示基板的工序可以包括：在衬底基板上依次形成栅金属图案层(包括：栅线和TFT的栅极)，有源层和源漏金属图案层(包括：TFT的源极、TFT的漏极和数据线)等。其中，形成有栅金属图案层的衬底基板是显示基板的一个相关产品(例如，称为产品A)；形成有栅金属图案层和有源层的衬底基板是显示基板的另一个相关产品(例如，称为产品B)；形成有栅金属图案层、有源层和源漏金属图案层的衬底基板是显示基板的又一个相关产品(例如，称为产品C)等等。
以检测包括在LCD中的显示基板的相关产品的缺陷为例，可以先采用图像采集装置对相关产品进行图像采集，再确定采集的图像的缺陷类型。
如图1所示，本发明实施例提供了一种计算机整合制造(Computer IntegratedManufacturing，CIM)***100。该CIM***可以包括图像采集装置110、图像存储装置120、显示基板的图像分类装置130以及制造执行装置140。
其中，图像采集装置被配置为采集LCD中的显示基板的相关产品的图像，并将采集的图像发送至图像存储装置。图像存储装置被配置为存储图像采集装置采集的图像。显示基板的图像分类装置被配置为对图像存储装置中存储的图像进行分类，并将分类结果发送至制造执行装置。制造执行装置被配置为接收显示基板的图像分类装置发送的分类结果。
示例的，图像采集装置可以是AOI(Automatic Optical Inspection，自动光学检测)设备。
本领域技术人员应该理解，AOI设备是液晶及微电子等行业广泛使用的检测设备。
本实施例不对图像存储装置的类型做限制。示例的，图像存储装置可以是创建有数据库的设备。其中，该数据库可以是关系型数据库，其可以存储有多个图像的图片信息和与之对应的图像。再示例的，图像存储装置可以是分布式文件***(Distributed FileSystem，DFS)，例如分布式文件***包括客户端和服务器。又示例的，图像存储装置可以是文件传输协议(File Transfer Protocol，FTP)，例如该文件传输协议包括FTP服务器和FTP客户端。又示例的，图像存储装置可以是网络连接式存储(Network Attached Storage，NAS)装置。
在一些实施例中，如图2所示，显示基板的图像分类装置130可以包括至少一个处理器131和存储器132。
其中，处理器131可以是一个或多个通用中央处理器(central processing unit，CPU)、微处理器、特定应用集成电路(application-specific integrated circuit，ASIC)或者用于控制本公开一些实施例的程序执行的集成电路；其中，CPU可以是单核处理器(single-CPU)，也可以是多核处理器(multi-CPU)。这里的一个处理器301可以指一个或多个设备、电路或用于处理数据(例如计算机程序指令)的处理核。
存储器132可存储操作***和指令(例如计算机指令)，其包括但不限于是随机存取存储器(random access memory，RAM)、只读存储器(read only memory，ROM)、可擦除可编程只读存储器(erasable programmable read-only memory，EPROM)、快闪存储器、或光存储器等。存储器202中保存有操作***的代码。
示例的，处理器131通过读取存储器132中保存的指令，使得显示基板的图像分类装置130实现下述实施例中的显示基板的图像分类方法，以确定待检测图像上的显示基板的缺陷类型，或者，处理器131通过内部存储的指令，使得显示基板的图像分类装置130实现下述实施例中的显示基板的图像分类方法，以确定待检测图像上的显示基板的缺陷类型。在处理器131通过读取存储器132中保存的指令实现下述实施例中的方法的情况下，存储器132中保存实现本实施例提供的显示基板的图像分类方法的指令。
在另一些实施例中，图2中的显示基板的图像分类装置130还可以包括接收器133和发送器134。
接收器133被配置为接收存储在图像存储装置中的图像。例如，接收器133可以通过有线或无线通信方式与路由装置通信连接，接收通过路由装置发送的图像。
发送器134可以通过有线或无线通信方式与终端通信连接，被配置为将待检测图像上的显示基板的缺陷类型发送至终端。
如图3所示，本发明实施例提供了一种显示基板的图像分类方法，该方法的执行主体可以是CIM***，也可以是显示基板的图像分类装置，或显示基板的图像分类装置中的硬件和/或软件，例如，可以是处理器和存储器的组合，或者，不良图片自动分类(AutomatedDefect Classification，ADC)***这一计算机程序。该显示基板的图像分类方法包括下述S101～S103。
S101、获取待检测图像。
其中，上述待检测图像是利用AOI设备采集的显示基板的图像。
示例的，对于同一批次(Lot)包括的25个显示基板，AOI设备会采集产品A1～A25的图像PA1～PA25，采集产品B1～B25的图像PB1～PB25，以及采集产品C1～C25的图像PC1～PC25。
在一些实施例中，上述S101具体可以通过下述步骤A1～A4实现。
A1、扫描图像存储装置。
示例的，在AOI设备采集完这一批次的图像后，即采集完PA1～PA25、PB1～PB25以及PC1～PC25图像后，该AOI设备将采集的这些图像保存在图像文件(例如.Qpanel文件)中，将这些图像对应的图像存储地址保存在地址文件(例如.Glass文件)中，并将该图像文件以及该地址文件保存在图像信息存储文件(例如.lot文件)中，然后将该.lot文件以及该AOI设备的设备信息发送至图像存储装置，显示基板的图像分类装置会每隔一段时间(例如10分钟)扫描图像存储装置。
需要说明的是，本实施例不对.Qpanel文件中保存的内容进行限制。示例的，.Qpanel文件中保存有AOI设备采集的图像。再示例的，.Qpanel文件中保存有显示基板的信息，例如该显示基板的型号等信息。
需要说明的是，本实施例不对显示基板的图像分类装置扫描图像存储装置的间隔时间进行限制。示例的，该扫描间隔时间可以是5分钟，也可以是15分钟。
A2、确定图像存储装置中存在新增的图像信息存储文件，所述图像信息存储文件包括图像文件和地址文件。
其中，图像文件为保存有AOI设备采集的待检测图像的文件，例如上述.Qpanel文件；地址文件为保存有各个待检测图像所对应的图像存储地址的文件，例如上述.Glass文件；图像信息存储文件为保存有该图像文件和该地址文件的文件，例如上述.lot文件。
A3、解析图像信息存储文件中的地址文件，以得到该地址文件中的图像存储地址。
A4、从图像文件中获取图像存储地址对应的图像，作为待检测图像。
示例的，显示基板的图像分类装置会每隔10分钟对图像存储装置进行扫描，以确定该图像存储装置中是否存在新增的.lot文件。若该显示基板的图像分类装置确定图像存储装置中存在新增的.lot文件，则该显示基板的图像分类装置将会解析保存在.lot文件中的.Glass文件，以得到保存在该.Glass文件中的图像存储地址，进而根据获得的图像存储地址，从.Qpanel文件中获取图像存储地址对应的图像，作为待检测图像。
本实施例中，可以对每张待检测图像均执行下述的S102和S103。
S102、从第一预设类型集合中，确定待检测图像的类型。
其中，上述第一预设类型集合包括：第一图像类型、第二图像类型和第三图像类型，属于第一图像类型的图像是没有缺陷的图像，属于第二图像类型的图像是模糊图像，属于第三图像类型的图像是缺陷图像。
示例的，没有缺陷的图像为不存在缺陷的显示基板的图像，模糊图像为所拍摄的图像是模糊的，缺陷图像为存在缺陷的显示基板的图像。其中，在待检测图像的类型为没有缺陷的图像和模糊图像的情况下，不执行下述S103，例如，可以删除，或者，将待检测图像和其类型一并输出。在待检测图像的类型为缺陷图像的情况下，执行下述S103。
在一些实施例中，上述S102中所述的确定待检测图像的类型，具体可以通过下述步骤B1～B3实现。
B1、获取待检测图像上的显示基板的产品信息。
其中，上述产品信息包括：显示基板的形状信息和/或结构信息。
示例的，可以利用图像识别算法，获取待检测图像上的显示基板的产品信息。
本实施例中，图像识别算法的算法原理是基于卷积神经网络(ConvolutionalNeural Networks,CNNs)所形成的一种算法。
示例的，将待检测图像输入至卷积神经网络，利用包括在该卷积神经网络中的深度特征提取网络提取图像特征，从而获得待检测图像上的显示基板的产品信息。
本实施例中，显示基板的形状信息为在衬底基板上形成至少一个图案层后，形成的该至少一个图案层的形状信息。示例的，在待检测图像上的显示基板为形成有栅金属图案层的情况下，该显示基板的形状信息可以为栅线的形状。
显示基板的结构信息为在衬底基板上形成至少两个(两个或两个以上)图案层后，形成的这至少两个图案层之间的连接方式。示例的，在待检测图像上的显示基板为形成有栅金属图案层、有源层和源漏金属图案层的情况下，该显示基板的结构信息可以为这三者之间的连接方式。例如，该连接方式可以为数据线和TFT的源极之间是通过过孔连接的，或者是该数据线和TFT的源极之间是以其他可能的方式连接的。
在一些实施例中，上述步骤B1可以包括：利用图像识别算法，获取待检测图像上的显示基板中的像素的形状信息和/或结构信息。
其中，显示基板中的像素为在显示基板的显示区(Active Area，AA)中，沿行方向和沿列方向分布的各个最小重复单元。其中，在显示基板是LCD中包括的阵列基板的情况下，在每个最小重复单元中，均包括像素电极和与该像素电极连接的薄膜晶体管；在显示基板是自发光显示装置(例如OLED)中包括的驱动背板的情况下，在每个最小重复单元中，均为每个发光单元提供驱动信号的像素电路。
以显示基板为LCD中的阵列基板为例，像素的形状信息为在每个最小重复单元中像素电极的形状，例如，像素电极的形状可以为单畴像素电极的形状，也可以为多畴(例如两畴)像素电极的形状。
像素的结构信息为在每个最小重复单元中，像素电极与薄膜晶体管TFT的连接方式，例如，像素电极与薄膜晶体管TFT之间是通过过孔连接的。
B2、将待检测图像上的显示基板的产品信息与预配置的产品信息进行匹配。
其中，上述预配置的产品信息为标准产品(没有缺陷的产品)的产品信息。示例的，显示基板的图像分类装置中预配置有显示基板的相关产品的产品信息。例如，形成有栅金属图案层的显示基板的形状信息和/或结构信息，形成有栅金属图案层和有源层的显示基板的形状信息和/或结构信息，形成有栅金属图案层、有源层和源漏金属图案层的显示基板的形状信息和/或结构信息以及显示基板中的像素的形状信息和/或结构信息。
示例的，先利用卷积神经网络对显示基板的图像分类装置中保存的预配置的形成有栅金属图案层的显示基板的产品信息进行学习，也就是说，先使得卷积神经网络记住预配置的形成有栅金属图案层的显示基板的产品信息，再比较待检测图像上的形成有栅金属图案层的显示基板的产品信息与预配置的产品信息是否相同，若相同，则二者相匹配，若不相同，则二者不匹配。
再示例的，先利用卷积神经网络对显示基板的图像分类装置中保存的预配置的显示基板中的像素的形状信息和/或结构信息进行学习，也就是说，先使得卷积神经网络记住预配置的显示基板中的像素的形状信息和/或结构信息，再比较待检测图像上的像素的形状信息和/或结构信息与预配置的像素的形状信息是否相同，若大致相同，则二者相匹配，若不相同，则二者不匹配。
其中，匹配结果包括：待检测图像上的显示基板的产品信息与预配置的产品信息完全匹配、完全不匹配以及部分匹配。
示例的，完全匹配为预配置的产品的形状信息和结构信息，与待检测图像上的显示基板的形状信息和结构信息完全相同；完全不匹配为预配置的产品的形状信息和结构信息，与待检测图像上的显示基板的形状信息和结构信息完全不相同；部分匹配为预配置的产品的形状信息与待检测图像上的显示基板的形状信息相同，而结构信息不同；或者，部分匹配为预配置的产品的结构信息与待检测图像上的显示基板的结构信息相同，而形状信息不同。
本领域技术人员应该理解，卷积神经网络(Convolutional Neural Networks,CNNs)由输入层、卷积层、池化层、全连接层和输出层5层结构组成，是一种深度前馈人工神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现，目前已应用于图像识别领域中。
示例的，在待检测图像上的显示基板为形成有栅线的的情况下，将该栅线的形状与预配置的栅线的形状信息进行匹配，若二者形状完全相同，则可认为二者的产品信息完全匹配；若二者形状完全不相同，则可认为二者的产品信息完全不匹配。
再示例的，在待检测图像上的显示基板为形成有数据线和TFT的源极的情况下，将该数据线和TFT的源极之间的结构信息(例如连接方式)与预配置的数据线和TFT的源极之间的连接方式进行匹配，若待检测图像上的数据线和TFT的源极之间是通过过孔连接的，而预配置的数据线和TFT的源极之间不是通过过孔连接的，则可认为二者的结构信息完全不匹配。
又示例的，在显示基板为LCD中的阵列基板的情况下，以像素的形状信息为该阵列基板中所有像素的形状信息为例，将该阵列基板中的所有的像素的形状信息与预配置的像素的形状信息进行匹配，若待检测图像上的显示基板中的所有的像素的形状信息与预配置的像素的形状信息完全相同，则认为二者是完全匹配的；若待检测图像上的显示基板中的部分像素的形状信息与预配置的像素的形状信息可以匹配，而待检测图像上的另一部分像素的形状与预配置的像素的形状进行匹配时存在差异(例如存在缺失，有异物(particle)等)时，则认为二者是部分匹配的；若待检测图像上的显示基板中的所有的像素的形状信息与预配置的像素的形状信息完全不相同，则认为二者是完全不匹配的。
又示例的，在显示基板为LCD中的阵列基板的情况下，以像素的形状信息为该阵列基板中的一个像素的形状信息为例，将该阵列基板中的像素的形状信息与预配置的像素的形状信息进行匹配，若待检测图像上的显示基板中的像素的形状信息与预配置的像素的形状信息完全相同，则认为二者是完全匹配的；若待检测图像上的显示基板中的该像素的形状信息与预配置的像素的形状信息可以部分匹配，而待检测图像上的该像素的形状与预配置的像素的形状进行匹配时存在差异(例如存在缺失，有异物(particle)等)时，则认为二者是部分匹配的；若待检测图像上的显示基板中的像素的形状信息与预配置的像素的形状信息完全不相同，则认为二者是完全不匹配的。
B3、根据匹配结果，确定待检测图像的类型。
示例的，若待检测图像上的显示基板的产品信息与预配置的产品信息完全匹配，则确定待检测图像的类型为第一图像类型(即没有缺陷的图像)。
再示例的，若待检测图像上的产品的产品信息与预配置的产品信息完全不匹配，则确定待检测图像的类型为第二图像类型(即模糊图像)。
又示例的，若待检测图像上的产品的产品信息与预配置的产品信息部分匹配，则确定待检测图像的类型为第三图像类型(即缺陷图像)。
在另一些实施例中，上述S102中所述的确定待检测图像的类型，具体可以通过下述步骤C1～C2实现。
C1、对待检测图像进行二值化处理，得到待检测图像的黑白图。
本领域技术人员应该理解，二值化处理是将图像上的点的灰度值处理为0或255，也就是说，对待检测图像进行二值化处理可以使得整个待检测图像呈现出明显的黑白效果。
在一些实施例中，在对待检测图像进行二值化处理后，还可以对该待检测图像进行缩小处理，例如可以缩小为原图的四分之一，在进行缩小处理后，再将该缩小后的图像进行后续处理。由于将待检测图像缩小了，因此可以减少执行后续步骤(例如步骤C2)的数据处理量，从而可以提高步骤C2的处理效率。
需要说明的是，本实施例不对缩小的比例进行限制。例如，可以将待检测图像缩小为原图的四分之一，也可以将待检测图像缩小为原图的二分之一。
C2、根据黑白图，确定待检测图像的类型。
在一些实施例中，若待检测图像的黑白图呈周期性变化，则确定待检测图像的类型为第一图像类型(即没有缺陷的图像)。
本实施例中，将待检测图像进行二值化处理后，会将每个最小重复单元处理成黑度图，而将与每个最小重复单元连接的栅线和数据线处理成白图。
如图4A所示，待检测图像的黑白图呈周期性变化可以理解为，沿行方向，每个最小重复单元的黑度图，以及与每个最小重复单元连接的栅线和数据线的白图是重复排列的。也就是说，沿行方向，一个最小重复单元的黑度图和与该最小重复单元连接的栅线和数据线的白图，与其他最小重复单元的黑度图和与最小重复单元连接的栅线和数据线的白图均是相同的。
在另一些实施例中，若待检测图像的黑白图部分不呈周期性变化，则确定待检测图像的类型为第二图像类型(即模糊图像)。
本实施例中，如图4B所示，待检测图像的黑白图部分不呈周期性变化可以理解为，沿行方向，每个最小重复单元的黑度图，以及与每个最小重复单元连接的栅线和数据线的白图不是重复排列的。也就是说，沿行方向，一个最小重复单元的黑度图以及与该最小重复单元连接的栅线和数据线的白图，与其他最小重复单元的黑度图和与最小重复单元连接的栅线和数据线的白图是不同的。
在又一些实施例中，若待检测图像的黑白图部分呈周期性变化，则确定待检测图像的类型为第三图像类型(即缺陷图像)。
本实施例中，待检测图像的黑白图不呈周期性变化可以理解为，沿行方向，一部分最小重复单元的黑度图，以及与这部分最小重复单元连接的栅线和数据线是白图是重复排列的，而另一部分最小重复单元的黑度图，以及与这部分最小重复单元连接的栅线和数据线的白图不是重复排列的。示例的，如图4C所示，该待检测图像上具有缺陷。
在另一些实施例中，上述S102中所述的确定待检测图像的类型，具体可以通过下述步骤D1实现。
D1、使用第二卷积神经网络，确定待检测图像的图像类型。
本实施例中，第二卷积神经网络是经过训练后得到的卷积神经网络，其训练过程可以参见下文中所述的卷积神经网络训练方法，此处不再赘述。
示例的，经过训练后得到的卷积神经网络(例如第二卷积神经网络)，可以记住每个图像类型所对应的特征，从而使得将待检测图像输入至第二卷积神经网络后，可以利用该第二卷积神经网络，确定待检测图像的图像类型。
S103、在待检测图像的类型为第三图像类型的情况下，使用第一卷积神经网络，确定待检测图像的缺陷信息。
其中，上述属于第三图像类型的图像是缺陷图像，该缺陷图像为存在缺陷的显示基板的图像，缺陷信息包括待检测图像上的显示基板的缺陷类型。
在一些实施例中，在待检测图像的类型为第三图像类型的情况下，显示基板的图像分类装置会在确定待检测图像的缺陷信息的基础上，将待检测图像的缺陷位置以及缺陷大小标注出来。
示例的，如图5所示，将待检测图像进行分解，分解层RGB三层图层后，输入至第一卷积神经网络，利用包括在第一卷积神经网络中的图像深度特征提取网络，进行多层网络卷积运算以提取图像特征，形成网络特征图；缺陷特征提取网络对图像深度网络特征图进行分割池化(pooling)后进行缺陷特征提取，提取出图像缺陷特征；缺陷分类网络对图像缺陷区域的缺陷特征进行分类，并判断这个区域是否有缺陷；缺陷结果经全连接层输出端将缺陷分类结果输出，输出结果包括两部分：缺陷的分类结果及缺陷区域的位置(坐标信息、缺陷区域的宽高等信息)。
本实施例中，显示基板的图像分类装置中还保存有各个缺陷类型所对应的优先级，在显示基板的图像分类装置确定待检测图像上的显示基板的缺陷类型包括两种的情况下，该显示基板的图像分类装置将根据优先级的高低，优先输出较高的优先级所对应的缺陷类型。
本实施例中，可以对卷积神经网络进行训练，并利用训练过的卷积神经网络，确定待检测图像上的显示基板的缺陷类型。其中，对卷积神经网络的训练过程，请参见下文中所述的卷积神经网络训练方法，此处不再赘述。
在一些实施例中，上述S103中所述的使用第一卷积神经网络，确定待检测图像的缺陷信息，具体可以包括：使用第一卷积神经网络，在待检测图像的缺陷类型属于第二预设类型集合的情况下，从第二预设类型集合中确定待检测图像的缺陷类型；在待检测图像的缺陷类型不属于第二预设类型集合的情况下，输出待检测图像，并接收用户输入的第一新建缺陷类型。
其中，第二预设类型集合包括至少一个缺陷类型。示例的，缺陷类型可以为Remain(残留)、Open(开路)以及short(短路)。其中，Open缺陷类型具体还可分为Gate Open(栅线开路)、SD Open(数据线开路)以及PVX Open(钝化层开路)等。
示例的，在第二预设类型集合包括Remain、Open以及short，且确定的待检测图像的缺陷类型为PT(Particle，颗粒)的情况下，由于其不属于第二预设类型集合中包括的缺陷类型，因此该第一卷积神经网络将输出该待检测图像，采用人工判图的方式，确定该待检测图像的缺陷类型，在人工确定该待检测图像的缺陷类型(即第一新建缺陷类型)后，将由人工确定的待检测图像的缺陷类型输入至第一卷积神经网络。
在一些实施例中，显示基板的图像分类装置在接收用户输入的第一新建缺陷类型后，本发明实施例提供的显示基板的图像分类方法还包括下述步骤二。
步骤二、将第一新建缺陷类型添加至第二预设类型集合中，更新第一卷积神经网络。
示例的，在用户确定了第一新建缺陷类型后，将该第一新建缺陷类型输入至第一卷积神经网络，以对该第一卷积神经网络进行更新。
在一些实施例中，缺陷信息还包括：缺陷类型对应的置信度，该缺陷类型对应的置信度为待检测图像上的显示基板属于缺陷类型的置信度。
示例的，第一卷积神经网络在确定待检测图像上的显示基板的缺陷类型后，还会输出该待检测图像上的显示基板属于确定的缺陷类型的置信度。其中，该置信度为第一卷积神经网络确定的待检测图像上的显示基板属于其确定的缺陷类型的准确度。
在一些实施例中，在置信度小于预设阈值的情况下，显示基板的图像分类装置将输出待检测图像，并接收用户输入的复检结果。在复检结果表征待检测图像的缺陷信息中的缺陷类型不正确的情况下，根据复检结果更正所述待检测图像的缺陷信息中的缺陷类型。
示例的，如图6所示，若待检测图像缺陷信息中缺陷类型对应的置信度小于预设阈值，第一卷积神经网络将输出该待检测图像，并采用人工的方式判断该待检测图像的缺陷类型(即人工复检)，在人工判断了缺陷类型(即复检结果)后，将该复检结果输入至第一卷积神经网络。若复检结果与第一卷积神经网络输出的待检测图像的缺陷类型不同，则第一卷积神经网络将根据该复检结果，更正待检测图像的缺陷信息中的缺陷类型。
需要说明的是，本实施例不限制预设阈值的数值。例如，该预设阈值可以为0.6，也可以为0.7。
在一些实施例中，如图6所示，在显示基板的图像分类装置130确定待检测图像的类型后，该显示基板的图像分类装置130将该待检测图像的类型发送至制造执行装置140，该制造执行装置140接收到待检测图像的类型后，会先将接收到的待检测图像进行锁定(hold)，然后再在该hold状态下，根据接收到的待检测图像的类型，判断将这一批次的待检测图像流入(flow)至哪个站点。例如，若确定的待检测图像的类型为第一图像类型(即没有缺陷的图像)，则将该待检测图像流入至下一工序站点；在确定的待检测图像的类型为第三图像类型(即缺陷图像)，且确定该待检测图像的缺陷类型属于第二预设类型集合中包括的缺陷类型的情况下，将待检测图像流入至各个缺陷类型对应的repair(维修)站点，以对待检测图像上的显示基板进行维修，在对缺陷图像上的显示基板进行维修后，制造执行装置会将维修信息(例如维修结果)反馈至显示基板的图像分类装置。
示例的，在待检测图像为产品A1～A25的图像PA1～PA25，且图像PA1～PA10的类型为没有缺陷的图像，图像PA11～PA25的类型为缺陷图像的情况下，制造执行装置在接收到这些图像后，先将这些图像进行锁定，然后在锁定的状态下，将图像PA1～PA10流入至下一站点，将图像P11～P25流入至维修站点。
在另一些实施例中，如图6所示，显示基板的图像分类装置130还会将报表以及预警信息，通过邮件的方式发送给相关人员。其中，在报表中可以以表格，或者图表等格式显示分类结果。
在一些实施例中，在第二预设类型集合包括Remain、Open以及short缺陷类型的情况下，每个缺陷类型所对应的优先级不同，其中，每个缺陷类型的发生率越高，且该缺陷类型对显示基板的良率造成的严重程度越高，其优先级越高。示例的，Remain、Open以及short这三种缺陷类型的优先级的排序为：Open>Remain>short。
本实施例提供了一种卷积神经网络训练方法，该卷积神经网络训练方法可以包括下述的步骤E1～E7。
E1、获取待学习图像。
其中，上述待学习图像为以人工方式判断出的属于某一缺陷类型的图像。
本实施例中，各个缺陷类型具有的优先级(即各个缺陷类型的发生率)不同，卷积神经网络可以先获取优先级高的缺陷类型所对应的待学习图像。这样，可以使得卷积神经网络能够对发生率高的缺陷类型优先处理。
示例的，先采用人工判图的方式，将1000张属于Open类型的缺陷图像挑选出来，输入至卷积神经网络中。
E2、将待学习图像分为训练集和验证集。
其中，上述训练集和验证集中的图像互不相同，且该训练集和验证集的比例通常为4:1。
示例的，在待学习图像包括1000张图像的情况下，训练集中待学习图像的数量可以为800张，验证集中待学习图像的数量可以为200张。
需要说明的是，本实施例不对训练集和验证集中包括的图像的数量做限制。例如，训练集中待学习图像的数量可以为大于500张，其余的图像可以作为验证集。
E3、利用训练集中的待学习图像，对第三卷积神经网络进行训练，得到第一卷积神经网络。
示例的，第三卷积神经网络利用训练集中的待学习图像，对该第三卷积神经网络进行训练，从而得到训练过的第一卷积神经网络。
示例的，将待学习图像输入到第三卷积神经网络中，第三卷积神经网络的各个参数的权重为第一权重值，第三卷积神经网络输出分类结果；再用用户输入的待学习图像的类型对分类结果进行评价，得到评价结果；根据评价结果将第三卷积神经网络的各个参数的权重为第二权重值，从而得到更新后的第三卷积神经网络。
在一些实施例中，上述第三卷积神经网络可以包括5层卷积层、5层池化层和2层全连接层。其中，该预设的卷积神经网络的连接方式可以为：第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、第五池化层、第一全连接层以及第二全连接层。
E4、利用第一卷积神经网络，确定验证集中的每个待学习图像的缺陷类型。
E5、获取用户输入的验证集中每个待学习图像的缺陷类型。
示例的，用户对验证集中的待学习图像进行判断，以确定这些待检测图像的缺陷类型。
E6、计算准确率precision。其中，
Figure BDA0002924503560000191
TP(True Positive，真阳性)为预测为正，实际也为正的图像个数；FP(False Positive，假阳性)为预测为正，实际为负的图像个数。
示例的，以缺陷类型为Remain缺陷为例，TP为由用户确定的图像的缺陷类型是Remain缺陷，且由第一卷积神经网络预测的图像的缺陷类型也是Remain缺陷的图像个数；FP为由第一卷积神经网络预测的图像的缺陷类型是Remain缺陷，但是实际的由用户确定的图像的缺陷类型不是Remain缺陷的图像个数。
E7、计算召回率
Figure BDA0002924503560000192
其中，FN(False Negative，假阴性)为预测为负，实际为正的图像个数。
示例的，以缺陷类型为Remain缺陷为例，FN为由第一卷积神经网络预测的图像的缺陷类型不是Remain缺陷，但是实际的由用户确定的图像的缺陷类型是Remain缺陷的图像个数。
本实施例中，在准确率和召回率达到预设值的情况下，可以利用训练后的卷积神经网络，对图像进行分类。相应的，在准确率和召回率未达到预设值的情况下，将继续对卷积神经网络进行训练，直到准确率和召回率达到预设值。
需要说明的是，本实施例不对预设值的数值进行限定。示例的，预设值可以为0.7。再示例的，预设值可以为0.8。
如图7所示，本实施例提供一种显示基板的图像分类装置600，该显示基板的图像分类装置600可以包括获取模块601和处理模块602。其中，获取模块601被配置为获取待检测图像。处理模块602被配置为从第一预设类型集合中，确定获取模块601获取的待检测图像的类型，第一预设类型集合包括：第一图像类型、第二图像类型和第三图像类型，属于第一图像类型的图像是没有缺陷的图像，属于第二图像类型的图像是模糊图像，属于第三图像类型的图像是缺陷图像。处理模块602，还被配置为在待检测图像的类型为第三图像类型的情况下，使用第一卷积神经网络，确定待检测图像的缺陷信息，缺陷图像为存在缺陷的显示基板的图像，缺陷信息包括待检测图像上的显示基板的缺陷类型。
在一些实施例中，处理模块602，具体被配置为获取待检测图像上的显示基板的产品信息，该产品信息包括：显示基板的形状信息和/或结构信息；处理模块602，具体被配置为将待检测图像上的显示基板的产品信息与预配置的产品信息进行匹配；若待检测图像上的显示基板的产品信息与预配置的产品信息完全匹配，则确定待检测图像的类型为第一图像类型；若待检测图像上的显示基板的产品信息与预配置的产品信息完全不匹配，则确定待检测图像的类型为第二图像类型；若待检测图像上的显示基板的产品信息与预配置的产品信息部分匹配，则确定待检测图像的类型为第三图像类型。
在一些实施例中，处理模块602，具体被配置为利用图像识别算法，获取待检测图像上的显示基板中的像素的形状信息和/或结构信息。
在一些实施例中，处理模块602，具体被配置为对待检测图像进行二值化处理，得到待检测图像的黑白图；若待检测图像的黑白图呈周期性变化，则确定待检测图像的类型为第一图像类型；若待检测图像的黑白图不呈周期性变化，则确定待检测图像的类型为第二图像类型；若待检测图像的黑白图部分呈周期性变化，则确定待检测图像的类型为第三图像类型。
在一些实施例中，处理模块602，具体被配置为使用第二卷积神经网络，确定待检测图像的图像类型。
在一些实施例中，获取模块601，具体被配置为扫描图像存储装置；确定图像存储装置中存在新增的图像信息存储文件，该图像信息存储文件包括图像文件和地址文件；解析图像信息存储文件中的地址文件，以得到地址文件中的图像存储地址；从图像文件中获取图像存储地址对应的图像，作为待检测图像。
在一些实施例中，处理模块602，具体被配置为使用第一卷积神经网络，从第二预设类型集合中确定待检测图像的缺陷类型，第二预设类型集合包括至少一个缺陷类型。处理模块602，还被配置为在待检测图像的缺陷类型不属于第二预设类型集合的情况下，输出待检测图像，并接收用户输入的第一新建缺陷类型。
在一些实施例中，本实施例提供的显示基板的图像分类装置还包括：更新模块，该更新模块被配置为将第一新建缺陷类型添加至第二预设类型集合中，更新第一卷积神经网络。
在一些实施例中，缺陷信息还包括：缺陷类型对应的置信度，缺陷类型对应的置信度为待检测图像上的显示基板属于缺陷类型的置信度。处理模块602，还被配置为在置信度小于预设阈值的情况下，输出待检测图像，接收用户输入的复检结果。
本实施例提供的显示基板的图像分类装置还包括：更正模块，该更正模块被配置为在复检结果表征待检测图像的缺陷信息中的缺陷类型不正确的情况下，根据复检结果更正待检测图像的缺陷信息中的缺陷类型。
本发明实施例还提供了一种显示基板的图像分类装置，例如服务器，该显示基板的图像分类装置可以包括存储器和处理器，存储器用于存储计算机指令，处理器用于运行计算机指令，使得显示基板的图像分类装置实施上述实施例描述的显示基板的图像分类方法。
本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机指令，使得显示基板的图像分类装置(例如服务器)执行计算机指令时，实现上述任一实施例描述的显示基板的图像分类方法。其中，该计算机可读存储介质可以包括只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种显示基板的图像分类方法，其特征在于，包括：
获取待检测图像；
从第一预设类型集合中，确定所述待检测图像的类型，所述第一预设类型集合包括：第一图像类型、第二图像类型和第三图像类型，属于所述第一图像类型的图像是没有缺陷的图像，属于所述第二图像类型的图像是模糊图像，属于所述第三图像类型的图像是缺陷图像；
在所述待检测图像的类型为所述第三图像类型的情况下，使用第一卷积神经网络，确定所述待检测图像的缺陷信息，所述缺陷图像为存在缺陷的显示基板的图像，所述缺陷信息包括所述待检测图像上的显示基板的缺陷类型。
2.根据权利要求1所述的显示基板的图像分类方法，其特征在于，
确定所述待检测图像的类型包括：
获取所述待检测图像上的显示基板的产品信息，所述产品信息包括：所述显示基板的形状信息和/或结构信息；
将所述待检测图像上的显示基板的产品信息与预配置的产品信息进行匹配；
若所述待检测图像上的显示基板的产品信息与预配置的产品信息完全匹配，则确定所述待检测图像的类型为第一图像类型；
若所述待检测图像上的显示基板的产品信息与预配置的产品信息完全不匹配，则确定所述待检测图像的类型为第二图像类型；
若所述待检测图像上的显示基板的产品信息与预配置的产品信息部分匹配，则确定所述待检测图像的类型为第三图像类型。
3.根据权利要求2所述的显示基板的图像分类方法，其特征在于，获取所述待检测图像上的显示基板的产品信息包括：
利用图像识别算法，获取所述待检测图像上的显示基板中的像素的形状信息和/或结构信息。
4.根据权利要求1所述的显示基板的图像分类方法，其特征在于，
确定所述待检测图像的类型包括：
对所述待检测图像进行二值化处理，得到所述待检测图像的黑白图；
若所述待检测图像的黑白图呈周期性变化，则确定所述待检测图像的类型为第一图像类型；
若所述待检测图像的黑白图不呈周期性变化，则确定所述待检测图像的类型为第二图像类型；
若所述待检测图像的黑白图部分呈周期性变化，则确定所述待检测图像的类型为第三图像类型。
5.根据权利要求1所述的显示基板的图像分类方法，其特征在于，
确定所述待检测图像的类型包括：
使用第二卷积神经网络，确定所述待检测图像的图像类型。
6.根据权利要求1所述的显示基板的图像分类方法，其特征在于，
所述获取待检测图像包括：
扫描图像存储装置；
确定所述图像存储装置中存在新增的图像信息存储文件，所述图像信息存储文件包括图像文件和地址文件；
解析所述图像信息存储文件中的地址文件，以得到所述地址文件中的图像存储地址；
从所述图像文件中获取所述图像存储地址对应的图像，作为待检测图像。
7.根据权利要求1所述的显示基板的图像分类方法，其特征在于，使用第一卷积神经网络，确定所述待检测图像的缺陷信息包括：
使用第一卷积神经网络，在所述待检测图像的缺陷类型属于第二预设类型集合的情况下，从所述第二预设类型集合中确定所述待检测图像的缺陷类型，所述第二预设类型集合包括至少一个缺陷类型；
在所述待检测图像的缺陷类型不属于所述第二预设类型集合的情况下，输出所述待检测图像，并接收用户输入的第一新建缺陷类型。
8.根据权利要求1～7任一项所述的显示基板的图像分类方法，其特征在于，
还包括：
将第一新建缺陷类型添加至第二预设类型集合中，更新所述第一卷积神经网络。
9.根据权利要求8所述的显示基板的图像分类方法，其特征在于，
所述缺陷信息还包括：缺陷类型对应的置信度，所述缺陷类型对应的置信度为所述待检测图像上的显示基板属于所述缺陷类型的置信度；
在所述置信度小于预设阈值的情况下，输出所述待检测图像，接收用户输入的复检结果；
在复检结果表征所述待检测图像的缺陷信息中的缺陷类型不正确的情况下，根据复检结果更正所述待检测图像的缺陷信息中的缺陷类型。
10.一种显示基板的图像分类装置，其特征在于，包括获取模块和处理模块；
所述获取模块，被配置为获取待检测图像；
所述处理模块，被配置为从第一预设类型集合中，确定所述获取模块获取的所述待检测图像的类型，所述第一预设类型集合包括：第一图像类型、第二图像类型和第三图像类型，属于所述第一图像类型的图像是没有缺陷的图像，属于所述第二图像类型的图像是模糊图像，属于所述第三图像类型的图像是缺陷图像；
所述处理模块，还被配置为在所述待检测图像的类型为所述第三图像类型的情况下，使用第一卷积神经网络，确定所述待检测图像的缺陷信息，所述缺陷图像为存在缺陷的显示基板的图像，所述缺陷信息包括所述待检测图像上的显示基板的缺陷类型。
11.一种显示基板的图像分类装置，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于运行所述计算机指令，使得所述显示基板实现上述权利要求1～9任一项所述的显示基板的图像分类方法。
12.一种计算机可读存储介质，其特征在于，用于存储计算机指令，使得显示基板的图像分类装置执行所述计算机指令时，实现上述权利要求1～9任一项所述的显示基板的图像分类方法。
CN202110129183.7A 2021-01-29 2021-01-29 显示基板的图像分类方法和装置 Pending CN114913108A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110129183.7A CN114913108A (zh) 2021-01-29 2021-01-29 显示基板的图像分类方法和装置
US17/476,321 US20220245782A1 (en) 2021-01-29 2021-09-15 Method and apparatus for classifying image of displaying base plate

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110129183.7A CN114913108A (zh) 2021-01-29 2021-01-29 显示基板的图像分类方法和装置

Publications (1)

Publication Number Publication Date
CN114913108A true CN114913108A (zh) 2022-08-16

Family

ID=82611554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110129183.7A Pending CN114913108A (zh) 2021-01-29 2021-01-29 显示基板的图像分类方法和装置

Country Status (2)

Country Link
US (1) US20220245782A1 (zh)
CN (1) CN114913108A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340781B (zh) * 2020-02-26 2024-06-25 京东方现代（北京）显示技术有限公司 不良产品的复核方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9164043B2 (en) * 2012-12-10 2015-10-20 Shenzhen China Star Optoelectronics Technology Co., Ltd. Detecting method and detecting device
US9583306B2 (en) * 2014-12-09 2017-02-28 Hermes Microvision Inc. Swing objective lens
US10210493B2 (en) * 2016-07-01 2019-02-19 Bank Of America Corporation Routing an image within a network
RU2727913C1 (ru) * 2016-07-12 2020-07-24 Йосино Джипсум Ко., Лтд. Способ контроля, способ контроля и передачи информации, способ изготовления, включающий способ контроля, устройство контроля и производственная установка
TWI653605B (zh) * 2017-12-25 2019-03-11 由田新技股份有限公司 利用深度學習的自動光學檢測方法、設備、電腦程式、電腦可讀取之記錄媒體及其深度學習系統
JP7271873B2 (ja) * 2018-08-20 2023-05-12 コニカミノルタ株式会社 検査装置、画像形成装置及び検査方法
CN109239075B (zh) * 2018-08-27 2021-11-30 北京百度网讯科技有限公司 电池检测方法及装置
US10956796B2 (en) * 2018-10-11 2021-03-23 International Business Machines Corporation Self-guided object detection in regular images
US10922811B2 (en) * 2019-05-06 2021-02-16 Ford Global Technologies, Llc Object differentiation and identification
US11379610B2 (en) * 2019-07-10 2022-07-05 Blackberry Limited Methods and devices for automatically encrypting files
US11354793B2 (en) * 2019-12-16 2022-06-07 International Business Machines Corporation Object detection with missing annotations in visual inspection

Also Published As

Publication number Publication date
US20220245782A1 (en) 2022-08-04

Similar Documents

Publication Publication Date Title
CN111079747B (zh) 铁路货车转向架侧架断裂故障图像识别方法
CN113095438B (zh) 晶圆缺陷分类方法及其装置、***、电子设备和存储介质
US20190213725A1 (en) Board defect filtering method and device thereof and computer-readable recording medium
Hoang Image Processing‐Based Spall Object Detection Using Gabor Filter, Texture Analysis, and Adaptive Moment Estimation (Adam) Optimized Logistic Regression Models
CN113096119B (zh) 晶圆缺陷分类的方法、装置、电子设备以及存储介质
CN109087294A (zh) 一种产品缺陷检测方法、***及计算机可读存储介质
TWI669519B (zh) 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體
WO2021036280A1 (zh) 定位方法和装置、存储介质
CN112381788A (zh) 一种基于双分支匹配网络的零部件表面缺陷增量检测方法
CN111369526B (zh) 基于半监督深度学习的多类型旧桥裂痕识别方法
CN111583170A (zh) 图像生成装置和图像生成方法
CN114612469A (zh) 产品缺陷检测方法、装置、设备及可读存储介质
US20220076404A1 (en) Defect management apparatus, method and non-transitory computer readable medium
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN112561875A (zh) 一种基于人工智能的光伏电池板粗栅检测方法
TWI822968B (zh) 濾色器檢查裝置、檢查裝置、濾色器檢查方法及檢查方法
CN113781585A (zh) 一种增材制造零件表面缺陷在线检测方法及***
CN114913108A (zh) 显示基板的图像分类方法和装置
JP2020064364A (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
CN116485832B (zh) 用于废硅片回收的不均布流体杂质边缘精准检测方法
CN113421223A (zh) 基于深度学习和高斯混合的工业产品表面缺陷检测方法
CN113191977A (zh) 一种用于恶劣环境条件下目标检测识别的图像增强***
CN116310424A (zh) 基于图像识别的设备质量评估方法、装置、终端和介质
CN110874837B (zh) 一种基于局部特征分布的缺陷自动检测方法
CN114724089A (zh) 一种基于互联网的智慧城市监测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination