CN114926385A - 一种面板缺陷检测方法、存储介质及终端设备 - Google Patents

一种面板缺陷检测方法、存储介质及终端设备 Download PDF

Info

Publication number
CN114926385A
CN114926385A CN202110148640.7A CN202110148640A CN114926385A CN 114926385 A CN114926385 A CN 114926385A CN 202110148640 A CN202110148640 A CN 202110148640A CN 114926385 A CN114926385 A CN 114926385A
Authority
CN
China
Prior art keywords
image
panel
training
candidate
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110148640.7A
Other languages
English (en)
Inventor
张一弛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Technology Group Co Ltd
Original Assignee
TCL Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Technology Group Co Ltd filed Critical TCL Technology Group Co Ltd
Priority to CN202110148640.7A priority Critical patent/CN114926385A/zh
Publication of CN114926385A publication Critical patent/CN114926385A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种面板缺陷检测方法、存储介质及终端设备，所述方法包括获取待检测的面板图像；确定所述面板图像对应主成分矩阵，基于所述主成分矩阵以及所述面板图像，确定所述面板图像对应的预测图像；基于所述预测图像及所述面板图像，识别所述面板图像中的缺陷区域。本申请通过主成分矩阵确定面板图像进行重构以得到面板图像对应的预测图像，并基于预测图像与面板图像来确定面板图像中的缺陷区域，这样可以提高缺陷需要检测的准确性。

Description

一种面板缺陷检测方法、存储介质及终端设备
技术领域
本申请涉及面板加工技术领域，特别涉及一种面板缺陷检测方法、存储介质及终端设备。
背景技术
在工业生产中，产品的质量检测是不可或缺的工序。质量检测主要分为三类：缺陷检测、公差检测以及部件测量，其中，缺陷检测用于查找产品中影响外观或产品功能的各种缺陷。然而，目前普遍是通过人工对显示面板进行缺陷检测，但是检测人员在大量重复性的劳动时因出现视力疲劳而造成误判，进而影响显示面板的质量。
发明内容
本申请要解决的技术问题在于，针对现有技术的不足，提供一种面板缺陷检测方法、存储介质及终端设备。
为了解决上述技术问题，本申请实施例第一方面提供了一种面板缺陷检测方法，所述方法包括：
获取待检测的面板图像；
确定所述面板图像对应主成分矩阵，其中，所述主成分矩阵为基于若干参考图像确定的，若干参考图像中的每个参考图像与所述面板图像的相似度满足预设条件；
基于所述主成分矩阵以及所述面板图像，确定所述面板图像对应的预测图像；
基于所述预测图像及所述面板图像，识别所述面板图像中的缺陷区域。
所述面板缺陷检测方法，其中，所述获取待检测的面板图像具体包括：
获取待检测面板对应的候选面板图像；
基于预设模板图像将所述候选面板图像划分为若干子图像，其中，若干子图像中的每个子图像与该预设模板图像的相似度均满足预设条件；
在若干子图像中选取一图像块，并将选取到各图像块作为待检测的面板图像。
所述面板缺陷检测方法，其中，所述主成分矩阵包括于主成分矩阵集内，所述主成分矩阵集的确定过程包括：
获取若干训练面板图像，其中，若干训练面板图像中的每个训练面板图像均未携带缺陷区域；
基于若干训练面板图像确定若干训练图像块集，其中，若干训练图像块集中的每个训练图像块集均包括若干训练图像块，若干训练图像块中任意两个训练图像块的相似度满足预设条件；
基于主成分分析方式确定各训练图像块集各自对应的主成分矩阵，以得到主成分矩阵集。
所述面板缺陷检测方法，其中，基于若干训练面板图像确定若干训练图像块集具体包括：
基于预设模板图像在各训练面板图像中选取若干子训练图像；
对于若干子图像中的每个子训练图像，在该子训练图像中选取若干图训练像块，以得到若干训练图像块；
根据所述若干训练图像块中各个训练图像块之间的相似度，将所述若干训练图像块划分为若干训练图像块集。
所述面板缺陷检测方法，其中，所述基于预设模板图像在各训练面板图像中选取若干子训练图像之前，所述方法还包括：
在若干训练面板图像中选取一目标面板图像；
在所述目标面板图像中选取一目标子图像，并将所述目标子图像作为预设模板图像。
所述面板缺陷检测方法，其中，所述预设模板图像包括至少一个周期图像区域，并且当将所述预设模板图像以周期图像区域为基准划分为若干子模板图像时，若干子模板图像中的每个子模板图像均包括一周期图像区域。
所述面板缺陷检测方法，其中，所述基于预设模板图像在各训练面板图像中选取若干子训练图像之前，所述方法还包括：
对于每个训练面板图像，将该训练面板图像作为待调整图像；
基于所述预设模板图像对所述待调整图像进行调整以得到调整图像，其中，所述调整图像至少存在一个训练图像区域，该训练图像区域与所述预设模板图像的重合度满足预设条件；
将所述调整图像作为训练面板图像。
所述面板缺陷检测方法，其中，所述基于主成分分析方式确定各训练图像块集各自对应的主成分矩阵，以得到主成分矩阵集具体包括：
对于每个训练图像块集，将该训练图像块集中的每个训练图像块转换为参考向量；
基于转换得到的所有参考向量，确定参考矩阵；
采用主成分分析方式，确定该参考矩阵对应的若干目标向量，并将若干目标向量形成的矩阵作为该训练图像块集对应的主成分矩阵。
所述面板缺陷检测方法，其中，所述确定所述面板图像对应主成分矩阵具体包括：
获取所述面板图像对应的训练图像块集，其中，所述面板图像与所述训练图像块集中任一训练图像块的相似度均满足预设条件；
在主成分矩阵集中选取该训练图像块集对应的主成分矩阵，并将选取到的主成分矩阵作为所述面板图像对应的主成分矩阵。
所述面板缺陷检测方法，其中，所述基于预设模板图像将所述候选面板图像划分为若干子图像之前，所述方法还包括：
将所述候选面板图像作为待调整图像；
基于所述预设模板图像对所述待调整图像进行调整以得到调整图像，并将所述调整图像作为候选面板图像，其中，所述调整图像至少存在一个候选图像区域，该候选图像区域与所述预设模板图像的重合度满足预设条件；
将所述调整图像作为候选面板图像。
所述面板缺陷检测方法，其中，所述基于所述预设模板图像对所述待调整图像进行调整，以得到调整图像具体包括：
基于所述预设模板图像在所述待调整图像中选取一候选图像区域，其中，所述候选图像区域对应的图像内容与所述预设模板图像对应的图像内容的相似度满足预设条件；
基于所述候选图像区域确定所述待调整图像对应的调整参数，其中，所述调整参数包括旋转参数以及缩放参数；
基于所述调整参数对所述待调整图像进行调整，以得到调整图像。
所述面板缺陷检测方法，其中，所述调整参数包括旋转参数以及缩放参数；所述基于所述候选图像区域确定所述待调整图像对应的调整参数具体包括：
基于所述候选图像区域在所述待调整图像中选取若干对照图像区域；
获取若干对照图像区域中各对照图像区域对应的目标像素元素，并基于目标像素元素确定所述待调整图像对应的旋转参数；
根据所述候选图像区域的图像尺寸以及所述预设模板图像的图像尺寸，确定所述待调整图像对应的缩放参数，以得到所述待调整图像对应的调整参数。
所述面板缺陷检测方法，其中，所述基于所述候选图像区域确定所述待调整图像对应的调整参数具体包括：
识别所述候选图像区域中的线性区域；
获取所述线性区域与预设方向的夹角，并基于所述夹角确定所述待调整图像对应的旋转参数；
根据所述候选图像区域的图像尺寸以及所述预设模板图像的图像尺寸，确定所述待调整图像对应的缩放参数，以得到所述待调整图像对应的调整参数。
所述面板缺陷检测方法，其中，所述基于所述主成分矩阵以及所述面板图像，确定所述面板图像对应的预测图像具体包括：
将所述面板图像转换为图像向量，其中，所述图像向量的向量维度等于所述面板图像包括的像素点的数量；
当面板图像未包括待检测面板的预设面板区域时，基于所述图像向量与主成分矩阵的向量乘积确定所述面板图像对应的预测图像，其中，所述预设面板区域包括待检测面板的面板边缘和/或待检测面板中的文字区域。
所述面板缺陷检测方法，其中，所述基于所述主成分矩阵以及所述面板图像，确定所述面板图像对应的预测图像具体包括：
将所述面板图像转换为图像向量，其中，所述图像向量的向量维度等于所述面板图像包括的像素点的数量；
当面板图像包括待检测面板的预设面板区域时，获取预设面板区域对应的图像区域包括的各候选像素位置，其中，所述预设面板区域包括待检测面板的面板边缘和/或待检测面板中的文字区域；
对于每个候选像素位置，将所述图像向量中与该候选像素位置对应的元素项的设置为预设数值，以得到参考图像向量；
基于所述参考图像向量、主成分矩阵以及预设标准图像向量，确定所述面板图像对应的预测图像。
所述面板缺陷检测方法，其中，所述基于所述面板图像及所述预测图像，确定所述面板图像中的缺陷区域具体地：
将所述面板图像与所述预测图像进行匹配，以确定所述面板图像与所述预测图像的不匹配区域；
将获取到不匹配区域作为所述面板图像中的缺陷区域。
本申请实施例第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的面板缺陷检测方法中的步骤。
本申请实施例第三方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的面板缺陷检测方法中的步骤。
有益效果：与现有技术相比，本申请提供了一种面板缺陷检测方法、存储介质及终端设备，所述方法包括获取待检测的面板图像；确定所述面板图像对应主成分矩阵，基于所述主成分矩阵以及所述面板图像，确定所述面板图像对应的预测图像；基于所述预测图像及所述面板图像，识别所述面板图像中的缺陷区域。本申请通过主成分矩阵确定面板图像进行重构以得到面板图像对应的预测图像，并基于预测图像与面板图像来确定面板图像中的缺陷区域，这样可以提高缺陷需要检测的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的面板缺陷检测方法的流程图。
图2为本申请提供的面板缺陷检测方法中周期图像区域的一个示意图。
图3为本申请提供的面板缺陷检测方法中预设模板图像的一个示意图。
图4为本申请提供的面板缺陷检测方法中在候选面板图像中选取子图像过程的一个示意图。
图5为本申请提供的面板缺陷检测方法中在候选面板图像中选取子图像过程的一个示意图。
图6为本申请提供的面板缺陷检测方法中在候选面板图像中选取子图像过程的一个示意图。
图7为本申请提供的面板缺陷检测方法中在候选面板图像中线性区域的一个示意图。
图8为本申请提供的面板缺陷检测方法中在候选面板图像中线性区域的一个示意图。
图9为本申请提供的面板缺陷检测方法中的子图像的示意图。
图10为本申请提供的面板缺陷检测方法中的目标图像区域的示意图。
图11为本申请提供的面板缺陷检测方法中的图像块的示意图。
图12为本申请提供的面板缺陷检测方法中的主成分矩阵确定过程的流程原理图。
图13为本申请提供的面板缺陷检测方法中的预测图像确定过程的流程原理图。
图14为本申请提供的终端设备的结构原理图。
具体实施方式
本申请提供一种面板缺陷检测方法、存储介质及终端设备，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。此外应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
发明人经过研究发现，在工业生产中，产品的质量检测是不可或缺的工序。质量检测主要分为三类：缺陷检测、公差检测以及部件测量，其中，缺陷检测用于查找产品中影响外观或产品功能的各种缺陷。显示面板上常见的缺陷类型包括颗粒异物、纤维异物、面板破洞、水痕等，并且面板上的缺陷可能会导致面板电路的断路或短路。由此，需要确定显示面板上的缺陷位置的准确信息。目前普遍是通过人工对显示面板进行缺陷检测，但是检测人员在大量重复性的劳动时因出现视力疲劳而造成误判，进而影响显示面板的质量。
为了解决上述问题，目前普遍是基于工业视觉获取显示面板的面板图像，再通过对面板图像进行识别以得到显示面板的缺陷区域。其中，对面板图像进行识别的识别方法普遍包括聚类法、边缘检测法、区域生长法、图分法及深度学习网络(例如，Mask RCNN、Unet、deeplab等)等。
对于电视/手机等产品的显示面板来说，大部分严重缺陷发生在电路部件上，缺陷的纹理特征会受到电路部件纹理的影响，影响基于聚类或区域生长的分割准确性。此外，自动质量检测设备拍摄缺陷图片时光照不恒定，相机在运动过程中进行拍摄易于出现失焦的情况，使得部分缺陷对比度较低而边缘不清晰。而不恒定的图像亮度及不清晰的边缘限制了边缘检测法、区域生长法、图分法等分割方法的性能。
对于深度学习网络而言，在基于深度学习网络确定面板缺陷之前，需要对深度学习网络进行训练，而在训练过程中需要对训练图片的缺陷进行像素级标注，这需要花费大量的人力资源。另外，为了适用于各类面板缺陷，每类面板缺陷均需要收集预设数目的训练缺陷图片进行训练，然而实际生产线上缺陷类型分布不均，部分缺陷类型出现的概率小而很难以收集到预设数目的训练图像，从而无法对适用于该缺陷类型的分割网络模型进行训练，从而使得部分缺陷类型无法识别。
为了解决上述问题，在本申请实施例中，获取待检测的面板图像；确定所述面板图像对应主成分矩阵，基于所述主成分矩阵以及所述面板图像，确定所述面板图像对应的预测图像；基于所述预测图像及所述面板图像，识别所述面板图像中的缺陷区域。本申请实施例在面板缺陷检测前，仅需要获取预设数量的无缺陷面板图像，并基于获取到无缺陷面板图像来确定主成分矩阵，从而在对面板图像进行确定识别时，通过主成分矩阵确定各图像块进行重构以得到各图像块各自对应的预测图像块，并基于预测图像块与面板图像来确定面板图像中的缺陷区域，这样可以提高缺陷需要检测的准确性。
下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
图1是本实施例提供的一种面板缺陷检测方法的流程示意图。该方法可以由面板缺陷检测装置来执行，所述装置可以由软件实现，应用于诸如PC机、平板电脑、服务器或个人数字助理等之类的电子设备上。参见图1，本实施例提供的面板缺陷检测方法具体包括：
S10、获取待检测的面板图像。
具体地，所述面板图像可以包括待检测面板的全部面板缺陷，也可以包括待检测面板的部分面板区域，并且当面板图像包括待检测面板的部分面板区域时，面板图像可以包括待检测面板中的多个像素单元，也可以包括待检测面板的一个像素单元，还可以包括一个像素单元中的部分区域等。此外，所述面板图像可以为RGB彩色图像，也可以为Y通道灰度图图像等。
在本实施例的一个实现方式中，所述获取待检测的面板图像具体可以包括：
S11、获取待检测面板对应的候选面板图像；
S12、基于预设模板图像将所述候选面板图像划分为若干子图像；
S13、在若干子图像中选取一图像块，并将选取到各图像块作为待检测的面板图像。
具体地，在所述步骤S11中，所述候选面板图像可以为通过预先设置于生产面板的产线上的图像采集装置(例如摄像头或照相机等)，在面板生产的过程中实时或每间隔预设时间采集的候选面板图像；或者是，从运行面板缺陷检测模型的生成方法的电子设备的本地存储空间中获取的候选面板图像；或者是，向图像存储服务器发送图像获取请求，并接收服务器基于图像获取请求返回的候选面板图像等；当然，候选面板图像也可以是通过其他方式获取到，具体获取方式在此处不作限定。其中，候选面板图像对应的待检测面板可以为TFT-LCD面板、LCD面板、集成电路面板或芯片面板等，并且待检测面板可以包括电路区域和非电路区域等。
在所述步骤S12中，所述预设模板图像可以为预先设置的，并且预设模板图像包括至少一个周期图像区域，并且当将所述预设模板图像以周期图像区域为基准划分为若干子模板图像时，若干子模板图像中的每个子模板图像均包括一周期图像区域。其中，所述周期图像区域对应于待检测面板中的一个周期区域，换句话说，待检测面板包括若干周期区域，若干周期区域中的各周期区域的中的部件以及部件之间的位置关系相同；周期图像区域所包含的图像内容为待检测面板图像中一个周期区域。例如，周期图像区域为如图2所示的图像，预设模板图像为如图3所示的图像。当然，在实际应用中，所述周期图像区域为所包含的图像内容为待检测面板图像中的一个像素单元。
所述若干子图像中的每个子图像均包含于候选面板图像内，并且若干子图像中的每个子图像与该预设模板图像的相似度均满足预设条件。其中，所述预设条件可以为预先设置的，用于衡量子图像与预设模板图像的相似程度。在一个实现方式中，所述预设条件可以为子图像的图像内容与预设模板图像的图像内容的相似度达到预设阈值，所述子图像的图像尺寸与预设模板图像的图像尺寸相同，以使得当子图像和预设模板图像重合时，子图像携带的物体对预设模板图像中与其对应的物体的覆盖率达到预设要求。其中，所述预设阈值可以为99％，所述预设要求可以为99.5％等。
在本实施例的一个实现方式中，如图4所示，在基于预设模板图像将候选面板图像划分为若干子图像时，可以采用滑窗方式将候选面板图像划分为若干子图像，其中，在采用滑窗方式将候选面板图像划分为若干子图像时，以候选面板图像为基础图像，预设模板图像为目标图像，在所述基础图像上滑动目标图像以将基础图像与目标图像进行匹配，并选取与目标图像的相似度满足预设条件的图像区域作为子图像。
在本实施例的一个实现方式中，为了减少候选面板图像与预设模板图像匹配过程中的计算量，在采用滑窗方式进行划分之前，如图5所示，可以获取预设模板图像中的部件边缘信息以及候选面板图像中的部件边缘信息(例如，采用梯度模值或Canny等算法等)，在获取到预设模板图像的部件边缘信息以及候选面板图像中的部件边缘信息后，可以将候选面板图像对应的部件边缘二值图为基础图像，预设模板图像对应的部件边缘二值图为目标图案，在所述基础图像上滑动目标图像以将基础图像与目标图像进行匹配，并选取与目标图像的相似度满足预设条件的图像区域作为子图像，其中，所述相似度可以为子图像的边缘信息二值图中的各像素点的像素值与目标图像的边缘信息二值图中的各像素点的像素值的差值绝对值的和，所述预设条件为相似度最小，或者者相似度小于预设阈值等。
在本实施例的一个实现方式中，如图6所示，由于待检测面板中的部件在水平方向垂直方向呈一定的分布规律，从而候选面板图像在水平方向和垂直方向上累加求和，得到水平方向的候选投影矢量和垂直方向的候选投影矢量，再对预设模板图像在水平方向累加求和得到水平方向的目标投影矢量，以及预设模板图像在垂直方向累加求和得到垂直方向的目标投影矢量，最后在水平方向和垂直方向上分别匹配候选投影矢量和目标投影矢量，得到水平方向和垂直方向的匹配位置，并基于匹配位置确定各子图像。
在本实施例的一个实现方式中，所述基于预设模板图像将所述候选面板图像划分为若干子图像之前，所述方法还包括：
将所述候选面板图像作为待调整图像；
基于所述预设模板图像对所述待调整图像进行调整，以得到调整图像；
将所述调整图像作为候选面板图像。
具体地，所述对所述待调整图像进行调整指的是对待调整图像进行缩放以及旋转，以使得调整得到的调整图像中至少存在一个候选图像区域，该候选图像区域与预设模板图像对齐，并且该候选图像区域与所述预设模板图像的重合度满足预设要求，例如，重合度大于预设阈值，如99％等。可以理解的是，候选图像区域的区域尺寸与预设模板图像的图像尺寸相同，并且候选图像区域中的对象在候选图像中的位置与预设模板图像中的该对象在预设模板图像中的位置对应。例如，候选图像区域中包括部件A，部件A包括像素点a和像素点b，那么预设模板图像中也存在部件A，像素点a在候选图像区域中的位置为(100,100)，像素点a在候选图像区域中的位置为(101,100)，那么，像素点b在预设模板图像中的位置为(100,100)，像素点b在预设模板图像中的位置为(101,100)。
在本实施例的一个实现方式中，所述基于所述预设模板图像对所述待调整图像进行调整，以得到调整图像具体包括：
基于所述预设模板图像在所述待调整图像中选取一候选图像区域，其中，所述候选图像区域对应的图像内容与所述预设模板图像对应的图像内容的相似度满足预设条件；
基于所述候选图像区域确定所述待调整图像对应的调整参数；
基于所述调整参数对所述待调整图像进行调整，以得到调整图像。
具体地，所述待调整图像在水平方向或者竖直方向上存在多个周期性重复的部件结构，所述预设模板图像在水平方向或者竖直方向上存在至少一个周期性重复的部件结构(例如，像素单元等)，并且预设模板图像中的周期性重复的部件结构与待调整图像中的周期性重复的部件结构相同。由此，在获取到预设模板图像后，可以在待调整图像中选取一个候选图像区域，该候选图像区域包括的周期性重复的部件结构的数量与该预设模板图像包括的周期性重复的部件结构，并且候选图像区域中的周期性重复的部件结构的排列方向与预设模板图像中的周期性重复的部件结构的排列方向相同，例如，均沿水平方向排列，均沿竖直方向排列等，以使得候选图像区域对应的图像内容与所述预设模板图像对应的图像内容的相似度满足预设要求，例如，相似度大于预设相似度阈值，如，99％，99.5％等。
所述调整参数包括旋转参数以及缩放参数，所述缩放参数用于调整待调整图像的图像尺寸，以使得调整得到的调整图像中的候选图像区域的区域尺寸与预设模板图像的图像尺寸相同；所述旋转参数用于旋转待调整图像中的图像内容，以使得调整得到的调整图像中的候选图像区域内的图像内容与预设模板图像内的图像内容对齐。这是由于不同拍摄相机间放大倍率有差异，使得拍摄得到面板图像中的部件尺寸存在一定范围浮动，并且拍摄相机与待检测面板之间会呈一定倾角，从而使得拍摄得到的面板图像中的面板区域会具有一定的倾斜，而通过对待调整图像进行调整，可以使得待调整图像的周期性部件结构与预设模板图像中的周期性部件结构对齐，而后续用于确定主成分矩阵的训练面板图像中的周期性部件结构与预设模板图像中的周期性部件结构对齐，从而使得面板图像中的周期性部件结构与用于确定主成分矩阵的训练面板图像中的周期性部件结构对齐，这样可以采用主成分矩阵来表示面板图像，与得到面板图像对应的预测图像，提高预测图像的准确性。
在本实施例的一个实现方式中，所述基于所述候选图像区域确定所述待调整图像对应的调整参数具体包括：
基于所述候选图像区域在所述待调整图像中选取若干对照图像区域；
获取若干对照图像区域中各对照图像区域对应的目标像素元素，并基于目标像素元素确定所述待调整图像对应的旋转参数；
根据所述候选图像区域的图像尺寸以及所述预设模板图像的图像尺寸，确定所述待调整图像对应的缩放参数，以得到所述待调整图像对应的调整参数。
具体地，若干对照图像区域中的每个对照图像区域与候选图像区域的相似度均满足预设条件，可以理解的是，每个对照图像区域包括的周期性重复的部件结构均与候选图像区域包括的周期性重复的部件结构相同，并且每个对照图像区域包括的周期性重复的部件结构的数量均与候选图像区域包括的周期性重复的部件结构的数量相同，在若干对照图像区域以及候选图像区域构成的图像区域集中，任意两个图像区域的排布方向均相同，例如，均在水平方向上，或者均在竖直方向上等。
各对照图像区域对应的目标像素元素可以基于候选图像区域中的候选像素元素确定，在候选像素元素在候选图像区域中的像素位置与各目标像素元素在对照图像区域中的像素位置相对应。例如，候选像素元素在候选图像区域的左上角，那么各目标像素元素在各自对应的照图像区域的左上角。当然，在实际应用中，候选像素元素可以为候选图像区域的中心点，右上角、候选图像区域中的部件结构的一顶点等。
在获取各对照图像区域对应的目标像素元素后，确定各目标像素元素的连线，确定该连线在待调整图像所在坐标系内的斜率，并基于该斜率确定待调整图像对应的倾斜角度，并基于该倾斜角度确定待调整图像的旋转参数。例如，该连线在待调整图像所在坐标系内的斜率为1/2，那么倾斜角度为30度，待调整图像的旋转参数为30度。
所述缩放参数为将候选图像区域的图像尺寸缩放到预设模板图像的图像尺寸的缩放比例，由此在确定缩放参数时，缩放参数可以通过计算候选图像区域的图像尺寸与预设模板图像的图像尺寸的比值来确定。此外，候选图像区域的宽度与高度比与所述预设模板图像的宽度和高度比相同，从而所述候选图像区域的图像尺寸与预设模板图像的图像尺寸的比值可以为候选图像区域的高度与预设模板图像的高度的比值，也可以是候选图像区域的宽度与预设模板图像的宽度的比值。例如，候选图像区域的区域尺寸为56*56，预设模板图像的图像尺寸为28*28，那么候选图像区域的图像尺寸与预设模板图像的图像尺寸的比值为2，缩放参数为1/2。
在本实施例的一个实现方式中，所述基于所述候选图像区域确定所述待调整图像对应的调整参数具体包括：
识别所述候选图像区域中的线性区域；
获取所述线性区域与预设方向的夹角，并基于所述夹角确定所述待调整图像对应的旋转参数；
根据所述候选图像区域的图像尺寸以及所述预设模板图像的图像尺寸，确定所述待调整图像对应的缩放参数，以得到所述待调整图像对应的调整参数。
具体地，所述线性区域指的是候选图像区域中沿水平方向或者沿竖直方向延伸的部件所处图像区域。待检测面板中会存在沿水平方向或者竖直方式延伸的数据线和/或总线结构，从而候选图像区域包括沿水平方向或者沿竖直方向延伸的数据线和/或总线结构对应的图像区域。由此，在获取到候选图像区域后，可以提取候选图像区域的边缘信息(例如，采用Sobel/Canny等算子)，再基于边缘信息确定候选图像区域中的线性区域(采用霍夫变换(Hough Transform)或线段检测(Line segment detector,LSD)等算法)，以得到线性区域，例如，如图8中的直线区域B。此外，在实际应用中，所述候选图像区域包括的部件结构也可以包括线性区域，从而该线性区域也可以为部件结构中的线性部分对应的图像区域，例如，如图7所示，线性区域为图7中的直线区域A。
在获取到线性区域后，获取所述线性区域与预设方向的夹角，并基于所述夹角确定所述待调整图像对应的旋转参数，例如，线性区域为沿竖直方向延伸的，那么预设方向为竖直方向，线性区域为沿水平方向延伸的，那么预设方向为水平方向。在获取到夹角后，根据所述夹角确定待调整图像对应的旋转参数，通过旋转参数旋转候选图像区域后，候选图像区域中的线性区域与预设方向的夹角为零度。
在所述步骤S13中，所述图像块包含于若干子图像中的一个子图像内，并且该图像块可以为该子图像中的一个目标图像区域中的部分图像区域。例如，子图像为如图9所示的图像，目标图像区域为如图10所述的图像，那么图像块可以为如图11所示的图像。此外，在实际应用中，在获取到待检测面板对应的候选面板图像后，为了确定该候选面板图像对应的所有缺陷区域，在获取到若干子图像后，可以将若干子图像中的每个子图像划分为若干图像块，并将每个图像块作为一个面板图像，并对每个面板图像进行后续步骤以得到每个面板图像对应的面板缺陷，最后将获取到的所有面板区域作为该候选面板图像对应的面板缺陷。本实施例中，为了便于理解，以确定一个图像块对应的缺陷区域为例加以说明。
在本实施例的一个实现方式中，所述在若干子图像中选取一图像块，并将选取到各图像块作为待检测的面板图像具体可以为在若干子图像中选取一个目标子图像，并按照预设划分方式将所述目标子图像划分为若干图像块，最后在划分得到的若干图像块中选取一个图像块作为面板图像。其中，预设划分方式可以为预先设置的，例如，将子图像按照图像尺寸等分为若干图像块(例如，等分为3个图像块等)，或者是，将子图像以目标图像区域为基准划分为若干子单元，再将子单元等分为若干图像块等。在实际应用中，在待检测面板的一个像素单元中，并不是所有区域的缺陷都会对屏幕质量造成影响，从而仅需要对部分区域进行缺陷检测。由此，可以预先在像素单元中选取若干感兴趣区域，然后在子图像中选取各感应区域对应的图像区域，并将选取到的图像区域作为若干图像块。在实际应用中，所述图像块的图像宽度可以等于周期图像区域的宽度，高度可以为40-100像素，这样可以避免因图像块尺寸过小而造成无法恢复缺陷区域，同时也可以避免因图像块尺寸过大而增加主成分分析的计算复杂度。通常块尺寸在40-100像素之间性能和复杂度之间可以达到一个平衡。
举例说明，子图像为如图10所示图像，子图像的宽度为一倍像素单元的宽度，等分分数为3分，将子图像沿高度方向等分为三个图像块，其中，最上方一个图像块对应水平走向电路的图案纹理，下方两个图像块对应垂直走向电路的图案纹理。
S20、确定所述面板图像对应主成分矩阵。
具体地，所述主成分矩阵为基于若干参考图像确定的，若干参考图像中的每个参考图像与该面板图像的相似度均满足预设条件，通过若干参考图像确定主成分矩阵可以表示该面板图像，并且当面板图像中携带有缺陷区域时，可以修复面板图像中的缺陷区域。其中，所述预设条件与上述子图像与该预设模板图像的相似度均满足预设条件相同，用于衡量参考图像与面板图像的相似程度，具体关于预设条件的说明可以参照上述关于子图像与该预设模板图像的相似度均满足的预设条件的说明，这里就不再赘述。
在本实施例的一个实现方式中，所述主成分矩阵包括于主成分矩阵集内，所述确定所述面板图像对应主成分矩阵具体包括：
获取所述面板图像对应的训练图像块集；
在主成分矩阵集中选取该训练图像块集对应的主成分矩阵，并将选取到的主成分矩阵作为所述面板图像对应的主成分矩阵。
具体地，所述主成分矩阵集包括若干主成分矩阵，若干主成分矩阵中的每个主成分矩阵均对应一训练图像块集，该主成分矩阵为基于该训练图像块集确定的，并且该主成分矩阵用于恢复与该训练图像块集中任一训练图像块的相似度满足预设条件的图像。由此，确定面板图像对应的主成分矩阵时，在主成分矩阵集中选取该面板图像对应的训练图像块集，该训练图像块集中任一训练图像块与该面板图像的相似度均满足预设条件，在获取到训练图像块集后，选取该训练图像块集对应的主成分矩阵，将选取到的主成分矩阵作为所述面板图像对应的主成分矩阵。这样可以采用该主成分矩阵来确定面板图像对应的预测面板图像。
在本实施例的一个实现方式中，如图12所示，所述主成分矩阵集的确定过程包括：
获取若干训练面板图像；
基于若干训练面板图像确定若干训练图像块集；
基于主成分分析方式确定各训练图像块集各自对应的主成分矩阵，以得到主成分矩阵集。
具体地，若干训练面板图像中的每个训练面板图像均未携带缺陷区域，若干训练面板图像中可以存在训练面板图像A和训练面板图像B，训练面板图像A的亮度与训练面板图像B的亮度不同，还可以存在训练面板图像C和训练面板图像D，训练面板图像C的亮度与训练面板图像D的颜色不同，这样可以使得基于训练面板图像确定主成分矩阵可以使用于不同亮度以及不同颜色的面板图像。
若干训练图像块集中的每个训练图像块集均包括若干训练图像块，若干训练图像块中任意两个训练图像块的相似度满足预设条件。例如，训练图像块集包括训练图像块A和训练图像块B，那么训练图像块A和训练图像块B的相似度满足预设条件。在本实施例的一个实现方式中，所述基于若干训练面板图像确定若干训练图像块集具体包括：
基于预设模板图像在各训练面板图像中选取若干子训练图像；
对于若干子图像中的每个子训练图像，在该子训练图像中选取若干图训练像块，以得到若干训练图像块；
根据所述若干训练图像块中各个训练图像块之间的相似度，将所述若干训练图像块划分为若干训练图像块集。
具体地，若干子训练图像中的每个子训练图像与该预设模板图像的相似度均满足预设条件。其中，子训练图像在水平方向或者竖直方向上存在至少一个周期性重复的部件结构，预设模板图像在水平方向或者竖直方向上存在至少一个周期性重复的部件结构(例如，像素单元等)，并且预设模板图像中的周期性重复的部件结构与子训练图像中的周期性重复的部件结构相同，该子训练图像包括的周期性重复的部件结构的数量与该预设模板图像包括的周期性重复的部件结构，并且子训练图像中的周期性重复的部件结构的排列方向与预设模板图像中的周期性重复的部件结构的排列方向相同，例如，均沿水平方向排列，均沿竖直方向排列等，以使得候选图像区域对应的图像内容与所述预设模板图像对应的图像内容的相似度满足预设条件。此外，所述该子训练图像中选取若干训练图像块的选取方式与在若干子图像中选取一图像块的方式相同，这里就不一一说明。
进一步，在获取到若干训练图像块后，分别计算两两训练图像块之间的相似度，并将相似度满足预设条件的训练图像块放在一个训练图像块集，使得训练图像块集中的任一两个训练图像块的相似度均满足预设条件。在一个实现方式中，根据所述若干训练图像块中各个训练图像块之间的相似度，将所述若干训练图像块划分为若干训练图像块集的过程可以为：将获取到的若干训练图像块作为一个图像块集，在该图像块集中选取一个第一图像块，分别计算图像块集中的其余图像块与该图像块的相似度，并选取所有相似度满足预设条件的第二图像块，并将第一图像块和选取到的第二图像块构成的集合作为一个训练图像块集；然而继续执行在该图像块集中选取一第一图像块的步骤，直至图像块集中未存在训练图像块为止，以得到若干训练图像块集。当然，在实际应用中还可以采用其他方式确定若干训练图像块集，例如，采用聚类分析的方式等。
在本实施例的一个实现方式中，所述预设模板图像可以是基于若干训练图像确定得到。相应的，所述基于预设模板图像在各训练面板图像中选取若干子训练图像之前，所述方法还包括：
在若干训练面板图像中选取一目标面板图像；
在所述目标面板图像中选取一目标子图像，并将所述目标子图像作为预设模板图像。
具体地，目标面板图像可以为若干训练面板图像中的任一图像，也可以是目标面板图像中包括至少包括一个周期性结构部件的图像，例如，目标面板图像可以为包括至少一个像素单元的图像等。在获取到目标面板图像后，可对目标面板图像进行旋转，以使得目标面板图像中的面板图像中的沿预设方向延伸的部件，在旋转后的目标面板图像中所处的图像区域与预设方向的夹角为零，其中，预设方向可以为竖直方向或者水平方向等。
在得到旋转后的目标面板图像后，在目标面板图像中选取一目标子图像，该目标子图像可以包括一个周期性结构部件，也可以包括多个周期性结构部件。在本实施例中，所述目标子图像可以包括多个周期性结构部件，这样采用预设模板图像对候选面板图像进行匹配，或者采用预设模板图像对训练面板图像进行匹配时，降低匹配误差。例如，预设模板图像包括一个像素单元时，匹配精度可以达到1个像素，预设模板图像包括四个相邻像素单元时，匹配精度可以达到0.25像素的精度。
在本实施例的一个实现方式中，由于各训练面板图像可以是通过不同摄像相机拍摄得到，各摄像相机各自相对于面板的倾斜角度不同，从而拍摄得到的训练面板图像中的面板区域的倾斜角度也可以不相同；并且各拍摄相机的倍率也可以不同，拍摄得到的各训练面板图像的缩放比例也可以不同。由此，在获取到若干训练面板图像后，可以基于预设模板图像对应各训练面板图像进行调整，以得到调整后的各训练面板图像。相应的，所述基于预设模板图像在各训练面板图像中选取若干子训练图像之前，所述方法还包括：对于每个训练面板图像，将该训练面板图像作为待调整图像；基于所述预设模板图像对所述待调整图像进行调整，以得到调整图像；将所述调整图像作为训练面板图像，其中，所述调整图像至少存在一个训练图像区域，该训练图像区域与所述预设模板图像的重合度满足预设条件。其中，所述训练面板图像的调整过程与所述候选面板图像的调整过程相同，具体可以参照候选面板图像的调整过程，这里就不在赘述。
在本实施例的一个实现方式中，所述基于主成分分析方式确定各训练图像块集各自对应的主成分矩阵，以得到主成分矩阵集具体包括：
对于每个训练图像块集，将该训练图像块集中的每个训练图像块转换为参考向量；
基于转换得到的所有参考向量，确定参考矩阵；
采用主成分分析方式，确定该参考矩阵对应的若干目标向量，并将若干目标向量形成的矩阵作为该训练图像块集对应的主成分矩阵。
具体地，所述参考向量为训练图像块的向量表示形式，参考向量中的每个向量元素均对应的训练图像块中的一个像素点，并且参考向量包括的向量元素的元素数量与训练图像块包括的像素点的数量。换句话说，对于每个训练图像块，将该训练图像块展成一维向量，展开得到的一维向量为该训练图像块转换得到的参考向量。
训练图像块集中的各训练图像块的图像尺寸相同，换句话说，训练图像块集中的训练图像块包括的像素点的数量相同。相应的，各训练图像块转换得到的参考向量包括的向量元素的数量相同，从而在获取到所有参考向量后，所有参考向量可以形成一个参考矩阵，该参考矩阵的行数等于参考向量包括的向量元素的数量，参考矩阵的列数等于参考向量的数量。例如，参考向量为1*n的向量，参考向量的数量为m，那么得到矩阵为m*n。
若干目标向量的数量小于参考向量的数量，若干目标向量中每个目标向量包括的向量元素的数量等于参考向量包括的向量元素的数量。在获取到若干目标向量后，将若干目标向量形成的矩阵作为该训练图像块集对应的主成分矩阵。这样通过主成分矩阵可以表示与训练图像块的相似度满足预设条件的面板图像，并且通过主成分矩阵确定的面板图像对应的预测图像时，会修复面板图像中的缺陷区域，以使得得到的预设图像不携带缺陷区域。
S30、基于所述主成分矩阵以及所述面板图像，确定所述面板图像对应的预测图像。
具体地，所述预测图像为基于主成分矩阵对面板图像进行修复所得到的图像，所述预测图像包括所述面板图像的图像内容，并且面板图像中的缺陷区域通过主成分矩阵恢复，以使得预测图像中不携带缺陷区域。
在本实施例的一个实现方式中，所述基于所述主成分矩阵以及所述面板图像，确定所述面板图像对应的预测图像具体包括：
将所述面板图像转换为图像向量；
当面板图像未包括待检测面板的预设面板区域时，基于所述图像向量与主成分矩阵的向量乘积确定所述面板图像对应的预测图像。
具体地，所述图像向量为面板图像的向量表现形式，所述图像向量的向量维度等于所述面板图像包括的像素点的数量。所述图像向量的转换过程与参考向量的转换过程相同，这里不再赘述，具体可以参照参考向量的转换过程。
所述预设面板区域包括待检测面板的面板边缘和/或待检测面板中的文字区域，可以理解的是，面板图像对应的面板区域不包括待检测面板的面板边缘和/或待检测面板中的文字区域。此时，如图13所示，面板图像中的所有像素点均可以用于重建面板图像，通过图像向量与主成分矩阵的向量乘积得到预测图像。
在本实施例的一个实现方式中，所述基于所述主成分矩阵以及所述面板图像，确定所述面板图像对应的预测图像具体包括：
将所述面板图像转换为图像向量；
当面板图像包括待检测面板的预设面板区域时，获取预设面板区域对应的图像区域包括的各候选像素位置；
对于每个候选像素位置，将所述图像向量中与该候选像素位置对应的元素项的设置为预设数值，以得到参考图像向量；
基于所述参考图像向量、主成分矩阵以及预设标准图像向量，确定所述面板图像对应的预测图像。
具体地，当面板图像未包括待检测面板的预设面板区域时，说明面板图像存在部分像素点不可用于恢复面板图像，从而可以将该部分像素点的像素值设置为预设数值(例如，0等)，在主成分分析时，该部分像素点不起作用。由此，在面板图像未包括待检测面板的预设面板区域时，选取预设面板区域对应的图像区域包括的各像素点的候选像素位置，并将选取到的各候选像素位置的像素值设置为预设数值，以得到参考图像向量。
在获取到参考图像向量，获取主成分分析对应的预设标准图像向量，其中，所述预设标准图像向量为若干训练图像块中各训练图像块各自对应的参考向量进行平均得到的。在获取到预设标准图像向量后，通过主成分矩阵以及预设标准图像向量将面板图像投影到K维特征空间以得到特征矩阵，在通过特征矩阵反变换可以得到预测图像，其中，K为主成分矩阵包括的目标特征向量的数量，K为正整数。
S40、基于所述预测图像及所述面板图像，识别所述面板图像中的缺陷区域。
具体地，所述预测图像为面板图像通过主成分空间修复得到的图像，预测图像包括面板图像的图像内容，并且面板图像中的缺陷区域通过主成分分析修复，从而预测图像中不携带缺陷。基于此，在获取到预测图像后，可将预测图像与面板图像进行匹配，选取中预测图像中与面板图像不匹配的图像区域，并将选取到图像区域作为面板图像中的缺陷区域。相应的，所述基于所述面板图像及所述预测图像，确定所述面板图像中的缺陷区域具体地：
将所述面板图像与所述预测图像进行匹配，以确定所述面板图像与所述预测图像的不匹配区域；
将获取到不匹配区域作为所述面板图像中的缺陷区域。
具体地，所述将所述面板图像与所述预测图像进行匹配指的是将面板图像的图像内容与预测图像的图像内容进行匹配，其中，匹配具体为将面板图像的像素点与预测图像中的待匹配像素点进行匹配，其中，像素点在面板图像中的像素位置与待匹配像素点在预测图像中的像素位置相同。不匹配区域中的任一像素点，预测图像中与该像素点对应的待匹配像素点与该像素点的像素值不同。
综上所述，本实施例提供了一种面板缺陷检测方法，所述方法包括获取待检测的面板图像；确定所述面板图像对应主成分矩阵，基于所述主成分矩阵以及所述面板图像，确定所述面板图像对应的预测图像；基于所述预测图像及所述面板图像，识别所述面板图像中的缺陷区域。本申请通过主成分矩阵确定面板图像进行重构以得到面板图像对应的预测图像，并基于预测图像与面板图像来确定面板图像中的缺陷区域，这样可以提高缺陷需要检测的准确性。
基于上述面板缺陷检测方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的面板缺陷检测方法中的步骤。
基于上述面板缺陷检测方法，本申请还提供了一种终端设备，如图14所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (18)

1.一种面板缺陷检测方法，其特征在于，所述方法包括：
获取待检测的面板图像；
确定所述面板图像对应主成分矩阵，其中，所述主成分矩阵为基于若干参考图像确定的，若干参考图像中的每个参考图像与所述面板图像的相似度满足预设条件；
基于所述主成分矩阵以及所述面板图像，确定所述面板图像对应的预测图像；
基于所述预测图像及所述面板图像，识别所述面板图像中的缺陷区域。
2.根据权利要求1所述面板缺陷检测方法，其特征在于，所述获取待检测的面板图像具体包括：
获取待检测面板对应的候选面板图像；
基于预设模板图像将所述候选面板图像划分为若干子图像，其中，若干子图像中的每个子图像与该预设模板图像的相似度均满足预设条件；
在若干子图像中选取一图像块，并将选取到各图像块作为待检测的面板图像。
3.根据权利要求1所述面板缺陷检测方法，其特征在于，所述主成分矩阵包括于主成分矩阵集内，所述主成分矩阵集的确定过程包括：
获取若干训练面板图像，其中，若干训练面板图像中的每个训练面板图像均未携带缺陷区域；
基于若干训练面板图像确定若干训练图像块集，其中，若干训练图像块集中的每个训练图像块集均包括若干训练图像块，若干训练图像块中任意两个训练图像块的相似度满足预设条件；
基于主成分分析方式确定各训练图像块集各自对应的主成分矩阵，以得到主成分矩阵集。
4.根据权利要求3所述面板缺陷检测方法，其特征在于，基于若干训练面板图像确定若干训练图像块集具体包括：
基于预设模板图像在各训练面板图像中选取若干子训练图像；
对于若干子图像中的每个子训练图像，在该子训练图像中选取若干图训练像块，以得到若干训练图像块；
根据所述若干训练图像块中各个训练图像块之间的相似度，将所述若干训练图像块划分为若干训练图像块集。
5.根据权利要求4所述面板缺陷检测方法，其特征在于，所述基于预设模板图像在各训练面板图像中选取若干子训练图像之前，所述方法还包括：
在若干训练面板图像中选取一目标面板图像；
在所述目标面板图像中选取一目标子图像，并将所述目标子图像作为预设模板图像。
6.根据权利要求1、4或5所述面板缺陷检测方法，其特征在于，所述预设模板图像包括至少一个周期图像区域，并且当将所述预设模板图像以周期图像区域为基准划分为若干子模板图像时，若干子模板图像中的每个子模板图像均包括一周期图像区域。
7.根据权利要求4所述面板缺陷检测方法，其特征在于，所述基于预设模板图像在各训练面板图像中选取若干子训练图像之前，所述方法还包括：
对于每个训练面板图像，将该训练面板图像作为待调整图像；
基于所述预设模板图像对所述待调整图像进行调整以得到调整图像，其中，所述调整图像至少存在一个训练图像区域，该训练图像区域与所述预设模板图像的重合度满足预设条件；
将所述调整图像作为训练面板图像。
8.根据权利要求3所述面板缺陷检测方法，其特征在于，所述基于主成分分析方式确定各训练图像块集各自对应的主成分矩阵，以得到主成分矩阵集具体包括：
对于每个训练图像块集，将该训练图像块集中的每个训练图像块转换为参考向量；
基于转换得到的所有参考向量，确定参考矩阵；
采用主成分分析方式，确定该参考矩阵对应的若干目标向量，并将若干目标向量形成的矩阵作为该训练图像块集对应的主成分矩阵。
9.根据权利要求3所述面板缺陷检测方法，其特征在于，所述确定所述面板图像对应主成分矩阵具体包括：
获取所述面板图像对应的训练图像块集，其中，所述面板图像与所述训练图像块集中任一训练图像块的相似度均满足预设条件；
在主成分矩阵集中选取该训练图像块集对应的主成分矩阵，并将选取到的主成分矩阵作为所述面板图像对应的主成分矩阵。
10.根据权利要求2所述面板缺陷检测方法，其特征在于，所述基于预设模板图像将所述候选面板图像划分为若干子图像之前，所述方法还包括：
将所述候选面板图像作为待调整图像；
基于所述预设模板图像对所述待调整图像进行调整以得到调整图像，并将所述调整图像作为候选面板图像，其中，所述调整图像至少存在一个候选图像区域，该候选图像区域与所述预设模板图像的重合度满足预设条件；
将所述调整图像作为候选面板图像。
11.根据权利要求7或10所述的面板缺陷检测方法，其特征在于，所述基于所述预设模板图像对所述待调整图像进行调整，以得到调整图像具体包括：
基于所述预设模板图像在所述待调整图像中选取一候选图像区域，其中，所述候选图像区域对应的图像内容与所述预设模板图像对应的图像内容的相似度满足预设条件；
基于所述候选图像区域确定所述待调整图像对应的调整参数，其中，所述调整参数包括旋转参数以及缩放参数；
基于所述调整参数对所述待调整图像进行调整，以得到调整图像。
12.根据权利要求11所述的面板缺陷检测方法，其特征在于，所述调整参数包括旋转参数以及缩放参数；所述基于所述候选图像区域确定所述待调整图像对应的调整参数具体包括：
基于所述候选图像区域在所述待调整图像中选取若干对照图像区域；
获取若干对照图像区域中各对照图像区域对应的目标像素元素，并基于目标像素元素确定所述待调整图像对应的旋转参数；
根据所述候选图像区域的图像尺寸以及所述预设模板图像的图像尺寸，确定所述待调整图像对应的缩放参数，以得到所述待调整图像对应的调整参数。
13.根据权利要求11所述的面板缺陷检测方法，其特征在于，所述基于所述候选图像区域确定所述待调整图像对应的调整参数具体包括：
识别所述候选图像区域中的线性区域；
获取所述线性区域与预设方向的夹角，并基于所述夹角确定所述待调整图像对应的旋转参数；
根据所述候选图像区域的图像尺寸以及所述预设模板图像的图像尺寸，确定所述待调整图像对应的缩放参数，以得到所述待调整图像对应的调整参数。
14.根据权利要求1所述的面板缺陷检测方法，其特征在于，所述基于所述主成分矩阵以及所述面板图像，确定所述面板图像对应的预测图像具体包括：
将所述面板图像转换为图像向量，其中，所述图像向量的向量维度等于所述面板图像包括的像素点的数量；
当面板图像未包括待检测面板的预设面板区域时，基于所述图像向量与主成分矩阵的向量乘积确定所述面板图像对应的预测图像，其中，所述预设面板区域包括待检测面板的面板边缘和/或待检测面板中的文字区域。
15.根据权利要求1所述的面板缺陷检测方法，其特征在于，所述基于所述主成分矩阵以及所述面板图像，确定所述面板图像对应的预测图像具体包括：
将所述面板图像转换为图像向量，其中，所述图像向量的向量维度等于所述面板图像包括的像素点的数量；
当面板图像包括待检测面板的预设面板区域时，获取预设面板区域对应的图像区域包括的各候选像素位置，其中，所述预设面板区域包括待检测面板的面板边缘和/或待检测面板中的文字区域；
对于每个候选像素位置，将所述图像向量中与该候选像素位置对应的元素项的设置为预设数值，以得到参考图像向量；
基于所述参考图像向量、主成分矩阵以及预设标准图像向量，确定所述面板图像对应的预测图像。
16.根据权利要求1所述的面板缺陷检测方法，其特征在于，所述基于所述面板图像及所述预测图像，确定所述面板图像中的缺陷区域具体地：
将所述面板图像与所述预测图像进行匹配，以确定所述面板图像与所述预测图像的不匹配区域；
将获取到不匹配区域作为所述面板图像中的缺陷区域。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-16任意一项所述的面板缺陷检测方法中的步骤。
18.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-16任意一项所述的面板缺陷检测方法中的步骤。
CN202110148640.7A 2021-02-02 2021-02-02 一种面板缺陷检测方法、存储介质及终端设备 Pending CN114926385A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110148640.7A CN114926385A (zh) 2021-02-02 2021-02-02 一种面板缺陷检测方法、存储介质及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110148640.7A CN114926385A (zh) 2021-02-02 2021-02-02 一种面板缺陷检测方法、存储介质及终端设备

Publications (1)

Publication Number Publication Date
CN114926385A true CN114926385A (zh) 2022-08-19

Family

ID=82804182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110148640.7A Pending CN114926385A (zh) 2021-02-02 2021-02-02 一种面板缺陷检测方法、存储介质及终端设备

Country Status (1)

Country Link
CN (1) CN114926385A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272341A (zh) * 2022-09-29 2022-11-01 华联机械集团有限公司 一种基于机器视觉的包装机缺陷产品检测方法
CN116309574A (zh) * 2023-05-19 2023-06-23 成都数之联科技股份有限公司 一种面板漏制程缺陷检测方法、***、设备及存储介质
CN116503401A (zh) * 2023-06-26 2023-07-28 成都数联云算科技有限公司 一种pcb连板目标检测方法、装置、设备和介质
CN117495846A (zh) * 2023-12-27 2024-02-02 苏州镁伽科技有限公司 图像检测方法、装置、电子设备及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272341A (zh) * 2022-09-29 2022-11-01 华联机械集团有限公司 一种基于机器视觉的包装机缺陷产品检测方法
CN116309574A (zh) * 2023-05-19 2023-06-23 成都数之联科技股份有限公司 一种面板漏制程缺陷检测方法、***、设备及存储介质
CN116309574B (zh) * 2023-05-19 2023-08-18 成都数之联科技股份有限公司 一种面板漏制程缺陷检测方法、***、设备及存储介质
CN116503401A (zh) * 2023-06-26 2023-07-28 成都数联云算科技有限公司 一种pcb连板目标检测方法、装置、设备和介质
CN116503401B (zh) * 2023-06-26 2023-09-22 成都数联云算科技有限公司 一种pcb连板目标检测方法、装置、设备和介质
CN117495846A (zh) * 2023-12-27 2024-02-02 苏州镁伽科技有限公司 图像检测方法、装置、电子设备及存储介质
CN117495846B (zh) * 2023-12-27 2024-04-16 苏州镁伽科技有限公司 图像检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN114926385A (zh) 一种面板缺陷检测方法、存储介质及终端设备
CN107543828B (zh) 一种工件表面缺陷检测方法及***
CN109978839B (zh) 晶圆低纹理缺陷的检测方法
CN109472271B (zh) 印刷电路板图像轮廓提取方法及装置
CN107845087A (zh) 液晶面板亮度不均匀缺陷的检测方法和***
CN111507976B (zh) 基于多角度成像的缺陷检测方法及***
CN114266773B (zh) 显示面板缺陷定位方法、装置、设备及存储介质
CN111932504B (zh) 一种基于边缘轮廓信息的亚像素定位方法及装置
CN113284154B (zh) 钢卷端面图像分割方法、装置及电子设备
CN115205223B (zh) 透明物体的视觉检测方法、装置、计算机设备及介质
CN113538603B (zh) 一种基于阵列产品的光学检测方法、***和可读存储介质
CN116990993B (zh) 一种lcd显示面板质量检测方法
CN113012096B (zh) 显示屏子像素定位及亮度提取方法、设备以及存储介质
CN110781913A (zh) 一种拉链布带缺陷检测方法
CN112070762A (zh) 液晶面板的mura缺陷检测方法、装置、存储介质及终端
CN112381751A (zh) 一种基于图像处理算法的在线智能检测***及方法
CN114674826A (zh) 基于布匹的视觉检测方法及检测***
CN109712115A (zh) 一种pcb板自动检测方法及***
CN116580026B (zh) 精密零部件外观缺陷自动光学检测方法、设备及存储介质
CN112634259A (zh) 一种键盘键帽自动建模定位方法
CN116542998B (zh) 用于光刻薄膜电感的轮廓检测方法、装置、设备及介质
CN110619629B (zh) 一种cpu插座检测方法和设备
CN114092385A (zh) 基于机器视觉的工业机械故障检测方法及装置
US11961239B2 (en) Method and device for marking image position of sub-pixel of display screen, and storage medium
CN115546141A (zh) 一种基于多维度度量的小样本Mini LED缺陷检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination