CN114897863A - 一种缺陷的检测方法、装置以及设备 - Google Patents

一种缺陷的检测方法、装置以及设备 Download PDF

Info

Publication number
CN114897863A
CN114897863A CN202210587928.9A CN202210587928A CN114897863A CN 114897863 A CN114897863 A CN 114897863A CN 202210587928 A CN202210587928 A CN 202210587928A CN 114897863 A CN114897863 A CN 114897863A
Authority
CN
China
Prior art keywords
feature
defect
module
matching degree
classes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210587928.9A
Other languages
English (en)
Inventor
罗丽兰
程大龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Exploration Intelligence Technology Guangdong Co ltd
Original Assignee
Iflytek South China Artificial Intelligence Research Institute Guangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iflytek South China Artificial Intelligence Research Institute Guangzhou Co ltd filed Critical Iflytek South China Artificial Intelligence Research Institute Guangzhou Co ltd
Priority to CN202210587928.9A priority Critical patent/CN114897863A/zh
Publication of CN114897863A publication Critical patent/CN114897863A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种缺陷的检测方法、装置以及设备，检测方法包括：提取待检图像的不同尺度的第一特征图；获得所述第一特征图上的第一特征点与特征模板库之间的匹配度集合；判断所述第一特征点对应的匹配度集合是否满足要求；若满足要求，则输出与所述第一特征点对应的新类别的缺陷的检测结果。本发明利用待测图像的特征图中的特征点与已知类别的缺陷之间的差异确定是否存在新类别的缺陷，及时、准确地对新类别的缺陷进行定位和分类。

Description

一种缺陷的检测方法、装置以及设备
技术领域
本发明涉及计算机技术领域，尤其涉及一种缺陷的检测方法、装置以及设备。
背景技术
目前，基于机器视觉的表面缺陷设备已在3C，汽车，家用电器，机械制造，半导体和电子，化学，制药，航空航天，轻工等多个行业的各个领域中广泛取代了人工视觉检查。基于机器视觉的传统表面缺陷检测方法通常使用常规图像处理算法或人为设计的特征以及分类器。一般而言，成像方案通常是通过使用被检查表面或缺陷的不同属性来设计的。合理的成像方案有助于获得照明均匀的图像，并清晰地反映物体的表面缺陷。近年来，许多基于深度学习的缺陷检测方法也已广泛用于各种工业场景中。
在工业缺陷检测场景中，检测未知类缺陷并分类是非常重要的需要被解决的问题。传统的表面缺陷检测算法通常是针对不同的缺陷手工设计特征提取算法和决策算法。在传统算法中，每张图像中选择重要特征是必要步骤。而随着类别数量的增加，特征提取变得越来越麻烦。要确定哪些特征最能描述不同的目标类别，取决于算法工程师的判断和长期试错。此外，每个特征定义还需要处理大量参数，所有参数必须由算法工程师进行调整。因此，传统算法虽然利用算法工程师的经验和人工先验快速对新缺陷设计新的算法，但是准确性较差，需要调整的参数过多，且依赖于算法工程师对此类缺陷的先验知识。
深度学习模型基于给定数据训练得到，其中神经网络发现图像类别中的底层模式，并自动提取出对于目标类别最具描述性和最显著的特征。人们普遍认为深度神经网络的性能大大超过传统算法。基于深度学习的缺陷检测方法有很强的数据依赖性，在实际工业生产中，缺陷分布会有严重的长尾分布问题，这就导致了在训练深度学习模型时，所使用的训练集获得的知识可能是不完整的，在尾部的缺陷类别往往会因为训练数据过少的原因，难以被检测模型所正确检测，因此在训练时，样本太少的类别可能不会建立单独的类别进行检测。随着生产的进行，部分加工设备的老化或清洁设备故障还可能会导致新缺陷的产生。因此，模型在实际应用场景中可能会遇到新的未知的缺陷类。在训练检测模型时，由于没有对未知类别的缺陷进行标记训练，在测试时这些未知的实例将被明确地学习为背景或者会被归类为已知类别之一。因此，当工厂由于制成流程发生改变而难以收集到足量的缺陷样本时，现有的基于深度学习的检测算法难以准确对新的缺陷进行定位和分类。
发明内容
鉴于上述，本发明旨在提供一种缺陷的检测方法、装置以及设备，利用待测图像的特征图中的特征点与已知类别的缺陷之间的差异确定是否存在新类别的缺陷，及时、准确地对新类别的缺陷进行定位和分类。
本发明采用的技术方案如下：
第一方面，本发明提供了一种缺陷的检测方法，包括：
提取待检图像的不同尺度的第一特征图；
获得所述第一特征图上的第一特征点与特征模板库之间的匹配度集合；
判断所述第一特征点对应的匹配度集合是否满足要求；
若满足要求，则输出与所述第一特征点对应的新类别的缺陷的检测结果。
在其中一种可能的实施方式中，若不满足要求，则依据所述不同尺度的第一特征图获得与所述第一特征点对应的已知类别的检测结果并输出；
其中，所述已知类别包括多个已知缺陷类别和无缺陷类别。
在其中一种可能的实施方式中，获得所述第一特征图上的第一特征点与特征模板库之间的匹配度集合，具体包括：
提取所述第一特征图上的所有第一特征点；
针对每个第一特征点，将所述第一特征点的特征与所述特征模板库中每个特征集中的特征点进行匹配，获得所述第一特征点与每个已知类别的匹配度，并将所述第一特征点与所有已知类别的匹配度形成的集合作为所述匹配度集合；
其中，所述已知类别包括多个已知缺陷类别和无缺陷类别。
在其中一种可能的实施方式中，若所述匹配度集合中的每个匹配度均小于第一阈值，则判定所述第一特征点对应的匹配度集合满足要求。
在其中一种可能的实施方式中，判断所述第一特征点对应的匹配度集合是否满足要求，还包括：
若所述匹配度集合中的每个匹配度均小于所述第一阈值，则计算所述匹配度集合中所有匹配度的均值；
判断所述均值是否小于第二阈值；
若是，则判定所述第一特征点对应的匹配度集合满足要求。
在其中一种可能的实施方式中，通过检测模型获得所述第一特征图和所述已知类别的检测结果；
并且，所述检测方法还包括：
收集具有新类别的缺陷的待检图像，形成新缺陷类别的训练集；
利用所述新缺陷类别的训练集进一步训练所述检测模型。
在其中一种可能的实施方式中，构建所述特征模板库包括：
提取已知类别的训练集中每个图像的不同尺度的第二特征图；
依据第二特征图获得无缺陷特征集和与每个已知缺陷类别对应的缺陷特征集；
将所有已知缺陷类别的缺陷特征集和所述无缺陷特征集形成的第一集合作为所述特征模板库；
其中，所述已知类别包括多个已知缺陷类别和无缺陷类别。
在其中一种可能的实施方式中，依据第二特征图获得无缺陷特征集和与每个已知缺陷类别对应的缺陷特征集，具体包括：
判断所述第二特征图上的第二特征点是否包含已知缺陷的一部分；
若是，则将所述第二特征点加入与该已知缺陷所属的已知缺陷类别对应的缺陷特征集；
若所述第二特征点没有缺陷，则将所述第二特征点加入无缺陷特征集。
在其中一种可能的实施方式中，若所述第二特征点包含已知缺陷的一部分，则判断所述已知缺陷的一部分是否为该已知缺陷的中心；
若是，则将所述第二特征点加入与该已知缺陷所属的已知缺陷类别对应的缺陷特征集。
在其中一种可能的实施方式中，构建所述特征模板库包括：
对所述第一集合进行降采样，获得第二集合，并将所述第二集合作为所述特征模板库。
第二方面，本发明提供了一种缺陷的检测装置，包括第一特征图提取模块、匹配度集合获得模块、第一判断模块以及输出模块；
所述第一特征图提取模块用于提取待检图像的不同尺度的第一特征图；
所述匹配度集合获得模块用于获得所述第一特征图上的第一特征点与特征模板库之间的匹配度集合；
所述第一判断模块用于判断所述第一特征点对应的匹配度集合是否满足要求；
所述输出模块用于若所述第一特征点对应的匹配度集合满足要求，则输出与所述第一特征点对应的新类别的缺陷的检测结果。
在其中一种可能的实施方式中，所述匹配度集合获得模块包括第一特征点提取模块和匹配模块；
所述第一特征点提取模块用于提取所述第一特征图上的所有第一特征点；
所述匹配模块用于针对每个第一特征点，将所述第一特征点的特征与所述特征模板库中每个特征集中的特征点进行匹配，获得所述第一特征点与每个已知类别的匹配度，并将所述第一特征点与所有已知类别的匹配度形成的集合作为所述匹配度集合，其中，所述已知类别包括多个已知缺陷类别和无缺陷类别。
在其中一种可能的实施方式中，所述第一判断模块包括第二判断模块，所述第二判断模块用于判断所述匹配度集合中的每个匹配度是否均小于第一阈值。
在其中一种可能的实施方式中，所述第一判断模块还包括均值计算模块和第三判断模块；
所述均值计算模块用于若所述匹配度集合中的每个匹配度均小于所述第一阈值，则计算所述匹配度集合中所有匹配度的均值；
所述第三判断模块用于判断所述均值是否小于第二阈值。
在其中一种可能的实施方式中，所述检测装置还包括训练集收集模块和训练模块；
所述训练集收集模块用于收集具有新类别的缺陷的待检图像，形成新缺陷类别的训练集；
所述训练模块用于利用所述新缺陷类别的训练集进一步训练检测模型。
在其中一种可能的实施方式中，所述检测装置还包括特征模板库构建模块，所述特征模板库构建模块包括第二特征图提取模块、特征集获得模块以及第一集合形成模块；
所述第二特征图提取模块用于提取已知类别的训练集中每个图像的不同尺度的第二特征图；
所述特征集获得模块用于依据第二特征图获得无缺陷特征集和与每个已知缺陷类别对应的缺陷特征集；
所述第一集合形成模块用于将所有已知缺陷类别的缺陷特征集和所述无缺陷特征集形成的第一集合作为所述特征模板库；
其中，所述已知类别包括多个已知缺陷类别和无缺陷类别。
第三方面，本发明提供了一种缺陷的检测设备，包括：
一个或多个处理器、存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述缺陷的检测设备执行时，使得所述缺陷的检测设备执行上述的缺陷的检测方法。
第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如第一方面或者第一方面的任一可能实施方式中的所述方法。
本发明的构思在于利用卷积神经网络强大的特征提取能力，将具有已知类别的缺陷的样本和无缺陷的样本的特征组成特征模板库，在实际应用时将待测图像与特征模板库进行匹配，从而判断待测图像的缺陷是否属于已知类别的缺陷，进而达到对新类别的缺陷的识别目的，并且本发明的检查方法不影响原有检测模型的训练流程，可作为即插即用的模块加入到不同的检测模型中。
附图说明
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：
图1为本发明提供的缺陷的检测方法的一个实施例的流程图；
图2为本发明提供的构建特征模板库的一个优选实施方式的流程图；
图3为本发明提供的构建特征模板库的优选实施方式的一个实例；
图4为本发明提供的缺陷的检测方法的一个实例；
图5为本发明提供的缺陷的检测装置的结构图；
图6为本发明提供的缺陷的检测设备的一个实施例的结构示意图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
传统的缺陷检测算法主要应用包括图像增强等算法对图像进行预处理后，再利用纹理信息提取，二值化处理，和图像形态学等算法对缺陷进行检测。现有的基于深度学习的缺陷检测算法，会使用深度卷积神经网络对图像特征进行提取，然后再对缺陷进行定位和分类。
由上述说明可知，在新类别的缺陷检测中，传统算法和现有的基于深度学习的缺陷检测算法都会显式将其划分为正常图像，或是归于已知的缺陷类别之一。
基于上述原因，本发明提供了一种缺陷的检测方法、装置以及设备，利用卷积神经网络强大的特征提取能力，将具有已知类别的缺陷的样本和无缺陷的样本的特征组成特征模板库，在实际应用时将待测图像与特征模板库进行匹配，从而判断待测图像的缺陷是否属于已知类别的缺陷，进而达到对新类别的缺陷的识别目的，从而在对已知类别的缺陷的检测过程中获得新类别的缺陷的特征。
针对前述核心构思，本发明提供了至少一种缺陷的检测方法的实施例，如图1所示，可以包括如下步骤：
S110：提取待检图像的不同尺度的第一特征图。
在一种可能的实施方式中，可以通过单独的卷积神经网络获得不同尺度的第一特征图。在另一种可能的实施方式中，第一特征图也可以是训练完成的检测模型(包括卷积神经网络)的中间结果。例如，待测图像首先经过检测模型的卷积神经网络，获得第一特征图，然后将第一特征图输入检测模型的检测头，检测头包括回归模块和分类模块，分别用于缺陷的定位和分类，缺陷的定位信息即缺陷在待测图像中的坐标，分类结果包括某一种已知类别的缺陷和/或无缺陷。最后将定位结果和分类结果作为检测模型的输出数据。
在一种可能的实施方式中，第一特征图可以是卷积神经网络的不同卷积层输出的特征图。在另一种可能的实施方式中，第一特征图可以是卷积神经网络的不同卷积层输出的特征图分别经过特征金字塔后获得的特征图。
S120：获得第一特征图上的第一特征点与特征模板库之间的匹配度集合。
需要说明的是，特征模板库是从训练完成的检测模型中获得的。
在一种可能的实施方式中，如图2所示，构建特征模板库包括：
S210：提取已知类别的训练集中每个图像的不同尺度的第二特征图。
在一种可能的实施方式中，第二特征图的提取方式与第一特征图的提取方式相同。
可以理解地，可以采用现有的其他技术提取第二特征图。
S220：依据第二特征图获得无缺陷特征集和与每个已知缺陷类别对应的缺陷特征集。
在一种可能的实施方式中，获得无缺陷特征集和与每个已知缺陷类别对应的缺陷特征集包括：
S2201：判断第二特征图上的第二特征点是否包含已知缺陷的一部分。若是，则执行S2204；否则，执行S2202。
具体地，可以依据从检测模型获得的该图像的检测结果与该第二特征点之间的对应关系来确定第二特征点是否包含已知缺陷的一部分。若该图像的检测结果包含该第二特征点的坐标和对应的分类结果，则第二特征点包含已知缺陷的一部分。
S2202：若第二特征点不包含已知缺陷，说明第二特征点没有缺陷，则将第二特征点加入无缺陷特征集。
S2204：将第二特征点加入与该已知缺陷所属的已知缺陷类别对应的缺陷特征集。
在一种优选的实施方式中，若第二特征点包含已知缺陷的一部分，还需要执行如下步骤：
S2203：判断该已知缺陷的一部分是否为该已知缺陷的中心。若是，则执行S2204；否则，不做任何操作。
在该优选的实施方式中，每个缺陷特征集中收集了每个已知缺陷类别的主要缺陷特征，有助于更准确地识别缺陷的类别。
S230：将所有已知缺陷类别的缺陷特征集和无缺陷特征集形成的第一集合作为特征模板库。
在一种优选的实施方式中，在获得第一集合后，还执行S240：对第一集合进行降采样，获得第二集合，并将第二集合作为特征模板库。
图3示出了构建特征模板库的优选实施方式的一个实例。如图3所示，检测模型的训练模块主要分为两个阶段，模型训练阶段和特征模板库构建阶段。在模型训练阶段会使用训练集对检测模型进行训练，目的是得到模型的特征提取能力以及对训练集中已有的N个缺陷类别的分类和定位能力，获得模型参数。如图3所示，其中C3-C5为卷积神经网络中不同尺度的特征图，P3-P5为经过特征金字塔后得到的不同尺度的特征图。将P3-P5输入到三个检测头中，即可得到模型的输出。在模型训练阶段结束后，在检测模型中加入新类检测模块，然后进入特征模板库构建阶段。
在特征模板库构建阶段，分别提取特征图P3-P5的每一个特征点f。如果特征点f是类别为k的缺陷的中心，则将特征点f加入缺陷特征集Ck,k∈[1,…,N]，N为缺陷类别的总数。如果特征点f包含的缺陷部分不是类别为k的缺陷的中心，则不做处理。若特征点f不包含任何缺陷信息，则将特征点f加入无缺陷特征集C0，表示这个特征点无缺陷。随后对N+1个特征集形成的第一集合[C0,C1…CN]进行降采样得到第二集合[M0,M1,...MN]，将第二集合作为特征模板库。
特征模板库构建结束后，去除新类检测模块，保存原有的检测模型。
在上述基础上，获得第一特征图上的第一特征点与特征模板库之间的匹配度集合，具体包括：
S1201：提取第一特征图上的所有第一特征点。
S1202：针对每个第一特征点，将第一特征点的特征与特征模板库中每个特征集中的特征点进行匹配，获得第一特征点与每个已知类别(包括多个已知缺陷类别和无缺陷类别)的匹配度，并将第一特征点与所有已知类别的匹配度形成的集合作为匹配度集合。
具体地，每个已知缺陷类别的缺陷特征集和无缺陷特征集(后续统称特征集)中包含多个第二特征点，将第一特征点与每个特征集中的第二特征点的最大匹配度作为第一特征点与该已知类别的匹配度。
S130：判断第一特征点对应的匹配度集合是否满足要求。若是，则执行S140；否则，执行S150。
在一种可能的实施方式中，若匹配度集合中的每个匹配度均小于第一阈值，说明第一特征点与每个类别的缺陷的匹配度都较低，则判定第一特征点对应的匹配度集合满足要求。
在一种优选的实施方式中，若匹配度集合中的每个匹配度均小于第一阈值，还计算匹配度集合中所有匹配度的均值并判断均值是否小于第二阈值。第二阈值为在第一阈值的基础上依据95％置信度获得的阈值。若均值小于第二阈值，说明均值与第一阈值之间的偏差较大，则判定第一特征点对应的匹配度集合满足要求。否则，不做任何操作。
S140：若满足要求，说明第一特征点与已知类别之间的差异较大，则输出与第一特征点对应的新类别的缺陷的检测结果。
需要说明的是，新类别的缺陷的检测结果包括第一特征点的初步定位结果。
在优选的实施方式中，新类别的缺陷的检测结果还包括上述的均值。
S150：若匹配度集合中中存在大于第一阈值的匹配度，说明第一特征点属于特征模板库中的某一类，则依据不同尺度的第一特征图获得与第一特征点对应的已知类别的检测结果并输出，即通过训练完成的检测模型获得已知类别的检测结果。
可以理解地，每个待测图像中可能只存在已知类别的缺陷或新类别的缺陷，也可能同时存在已知类别的缺陷和新类别的缺陷。
图4示出了本发明的缺陷的检测方法的一个实例。如图4所示，利用训练好的检查模型提取第一特征图P3-P5，从第一特征图P3-P5中提取第一特征点f，将第一特征点f与特征模板库[M0，M1，...MN]中的每个特征集分别进行最近邻搜索，得到匹配度集合[S0，S1，...SN]。设定第一阈值t。将匹配度集合[S0，S1，...SN]中的每个匹配度与第一阈值t相比较。
若匹配度集合[S0，S1，...SN]中每个匹配度的值均小于第一阈值t，则计算匹配度集合[S0，S1，...SN]的均值，并判断均值是否小于第二阈值，若是，代表特征点f包含新类别的缺陷，则获得异常检测结果DS和异常分数S。具体地，异常检测结果DS包括第一特征点f的初步定位信息以及待测图像的原图相对于第一特征点f所在的第一特征图的比例r(即该第一特征图的检测框的宽和高)。将上述均值作为异常分数S。
若匹配度集合[S0，S1，...SN]中存在小于第一阈值t的匹配度，则第一特征点f不包含新类别的缺陷。
最后将异常检测结果DS、异常分数S和检测模型的输出结果D合并即为待测图像的最终缺陷检测结果。
基于上述方案，在一种优选的实施方式中，本发明的检测方法还包括收集具有新类别的缺陷的待检图像，形成新缺陷类别的训练集，在新缺陷类别的训练集达到预设的规模时，利用新缺陷类别的训练集进一步训练检测模型，使得新缺陷类别作为检测模型的已知缺陷类别，由此更新检测模型中的缺陷类型。
相应于上述各实施例及优选方案，本发明还提供了一种缺陷的检测装置的实施例，如图5所示，具体可以包括第一特征图提取模块510、匹配度集合获得模块520、第一判断模块530以及输出模块540。
第一特征图提取模块510用于提取待检图像的不同尺度的第一特征图。
匹配度集合获得模块520用于获得第一特征图上的第一特征点与特征模板库之间的匹配度集合。
第一判断模块530用于判断第一特征点对应的匹配度集合是否满足要求。
输出模块540用于若第一特征点对应的匹配度集合满足要求，则输出与第一特征点对应的新类别的缺陷的检测结果。
在其中一种可能的实施方式中，匹配度集合获得模块520包括第一特征点提取模块5201和匹配模块5202。
第一特征点提取模块5201用于提取第一特征图上的所有第一特征点。
匹配模块5202用于针对每个第一特征点，将第一特征点的特征与特征模板库中每个特征集中的特征点进行匹配，获得第一特征点与每个已知类别的匹配度，并将第一特征点与所有已知类别的匹配度形成的集合作为匹配度集合，其中，已知类别包括多个已知缺陷类别和无缺陷类别。
在其中一种可能的实施方式中，第一判断模块530包括第二判断模块5301，第二判断模块5301用于判断匹配度集合中的每个匹配度是否均小于第一阈值。
在其中一种可能的实施方式中，第一判断模块530还包括均值计算模块5302和第三判断模块5303。
均值计算模块5302用于若匹配度集合中的每个匹配度均小于第一阈值，则计算匹配度集合中所有匹配度的均值。
第三判断模块5303用于判断均值是否小于第二阈值。
在其中一种可能的实施方式中，检测装置还包括训练集收集模块550和训练模块560。
训练集收集模块550用于收集具有新类别的缺陷的待检图像，形成新缺陷类别的训练集。
训练模块560用于利用新缺陷类别的训练集进一步训练检测模型。
在其中一种可能的实施方式中，检测装置还包括特征模板库构建模块570，特征模板库构建模块570包括第二特征图提取模块5701、特征集获得模块5702以及第一集合形成模块5703。
第二特征图提取模块5701用于提取已知类别的训练集中每个图像的不同尺度的第二特征图。
特征集获得模块5702用于依据第二特征图获得无缺陷特征集和与每个已知缺陷类别对应的缺陷特征集。
第一集合形成模块5703用于将所有已知缺陷类别的缺陷特征集和无缺陷特征集形成的第一集合作为特征模板库。
在其中一种可能的实施方式中，特征模板库构建模块570还包括第二集合形成模块5704，第二集合形成模块5704用于对第一集合进行降采样，获得第二集合，并将第二集合作为特征模板库。
应理解以上图5所示的缺陷的检测装置的各个部件的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些部件可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分部件以软件通过处理元件调用的形式实现，部分部件通过硬件的形式实现。例如，某个上述模块可以为单独设立的处理元件，也可以集成在电子设备的某一个芯片中实现。其它部件的实现与之类似。此外这些部件全部或部分可以集成在一起，也可以独立实现。在实现过程中，上述方法的各步骤或以上各个部件可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些部件可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit；以下简称：ASIC)，或，一个或多个微处理器(Digital Singnal Processor；以下简称：DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array；以下简称：FPGA)等。再如，这些部件可以集成在一起，以片上***(System-On-a-Chip；以下简称：SOC)的形式实现。
综合上述各实施例及其优选方案，本领域技术人员可以理解的是，在实际操作中，本发明适用于多种实施方式，本发明以下述载体作为示意性说明：
(1)一种缺陷的检测设备，其可以包括：
一个或多个处理器、存储器以及一个或多个计算机程序，其中一个或多个计算机程序被存储在存储器中，一个或多个计算机程序包括指令，当指令被设备执行时，使得设备执行前述实施例或等效实施方式的步骤/功能。
图6为本发明缺陷的检测设备的实施例的结构示意图，其中，该设备可以是电子设备也可以是内置于上述电子设备的电路设备。上述电子设备可以为PC、服务器、智能终端(手机、平板、手表、眼镜等)、智能电视、智慧屏、柜员机、机器人、智能(汽)车及车载设备等。本实施例对缺陷的检测设备的具体形式不作限定。
具体如图6所示，缺陷的检测设备900包括处理器910和存储器930。其中，处理器910和存储器930之间可以通过内部连接通路互相通信，传递控制和/或数据信号，该存储器930用于存储计算机程序，该处理器910用于从该存储器930中调用并运行该计算机程序。上述处理器910可以和存储器930可以合成一个处理装置，更常见的是彼此独立的部件，处理器910用于执行存储器930中存储的程序代码来实现上述功能。具体实现时，该存储器930也可以集成在处理器910中，或者，独立于处理器910。
除此之外，为了使得缺陷的检测设备900的功能更加完善，该设备900还可以包括输入单元960、显示单元970、音频电路980、摄像头990和传感器901等中的一个或多个，音频电路还可以包括扬声器982、麦克风984等。其中，显示单元970可以包括显示屏。
进一步地，上述缺陷的检测设备900还可以包括电源950，用于给该设备900中的各种器件或电路提供电能。
应理解，图6所示的缺陷的检测设备900能够实现前述实施例提供的方法的各个过程。该设备900中的各个部件的操作和/或功能，可分别为了实现上述方法实施例中的相应流程。具体可参见前文中关于方法、装置等实施例的描述，为避免重复，此处适当省略详细描述。
应理解，图6所示的缺陷的检测设备900中的处理器910可以是片上***SOC，该处理器910中可以包括中央处理器(Central Processing Unit；以下简称：CPU)，还可以进一步包括其他类型的处理器，例如：图像处理器(Graphics Processing Unit；以下简称：GPU)等，具体在下文中再作介绍。
总之，处理器910内部的各部分处理器或处理单元可以共同配合实现之前的方法流程，且各部分处理器或处理单元相应的软件程序可存储在存储器930中。
(2)一种可读存储介质，在可读存储介质上存储有计算机程序或上述装置，当计算机程序或上述装置被执行时，使得计算机执行前述实施例或等效实施方式的步骤/功能。
在本发明所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的某些技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以如下所述软件产品的形式体现出来。
(3)一种计算机程序产品(该产品可以包括上述装置)，该计算机程序产品在终端设备上运行时，使终端设备执行前述实施例或等效实施方式的缺陷的检测方法。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述计算机程序产品可以包括但不限于是指APP；接续前文，上述设备/终端可以是一台计算机设备(例如手机、PC终端、云平台、服务器、服务器集群或者诸如媒体网关等网络通信设备等)。并且，该计算机设备的硬件结构还可以具体包括：至少一个处理器，至少一个通信接口，至少一个存储器和至少一个通信总线；处理器、通信接口、存储器均可以通过通信总线完成相互间的通信。其中，处理器可能是一个中央处理器CPU、DSP、微控制器或数字信号处理器，还可包括GPU、嵌入式神经网络处理器(Neural-network Process Units；以下简称：NPU)和图像信号处理器(Image Signal Processing；以下简称：ISP)，该处理器还可包括特定集成电路ASIC，或者是被配置成实施本发明实施例的一个或多个集成电路等，此外，处理器可以具有操作一个或多个软件程序的功能，软件程序可以存储在存储器等存储介质中；而前述的存储器/存储介质可以包括：非易失性存储器(non-volatile memory)，例如非可移动磁盘、U盘、移动硬盘、光盘等，以及只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)等。
本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。
本领域技术人员可以意识到，本说明书中公开的实施例中描述的各模块、单元及方法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方式来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以及，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可。尤其，对于装置、设备等实施例而言，由于其基本相似于方法实施例，所以相关之处可参见方法实施例的部分说明即可。以上所描述的装置、设备等实施例仅仅是示意性的，其中作为分离部件说明的模块、单元等可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个地方，例如***网络的节点上。具体可根据实际的需要选择其中的部分或者全部模块、单元来实现上述实施例方案的目的。本领域技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims (17)

1.一种缺陷的检测方法，其特征在于，包括：
提取待检图像的不同尺度的第一特征图；
获得所述第一特征图上的第一特征点与特征模板库之间的匹配度集合；
判断所述第一特征点对应的匹配度集合是否满足要求；
若满足要求，则输出与所述第一特征点对应的新类别的缺陷的检测结果。
2.根据权利要求1所述的缺陷的检测方法，其特征在于，若不满足要求，则依据所述不同尺度的第一特征图获得与所述第一特征点对应的已知类别的检测结果并输出；
其中，所述已知类别包括多个已知缺陷类别和无缺陷类别。
3.根据权利要求1所述的缺陷的检测方法，其特征在于，获得所述第一特征图上的第一特征点与特征模板库之间的匹配度集合，具体包括：
提取所述第一特征图上的所有第一特征点；
针对每个第一特征点，将所述第一特征点的特征与所述特征模板库中每个特征集中的特征点进行匹配，获得所述第一特征点与每个已知类别的匹配度，并将所述第一特征点与所有已知类别的匹配度形成的集合作为所述匹配度集合；
其中，所述已知类别包括多个已知缺陷类别和无缺陷类别。
4.根据权利要求3所述的缺陷的检测方法，其特征在于，若所述匹配度集合中的每个匹配度均小于第一阈值，则判定所述第一特征点对应的匹配度集合满足要求。
5.根据权利要求4所述的缺陷的检测方法，其特征在于，判断所述第一特征点对应的匹配度集合是否满足要求，还包括：
若所述匹配度集合中的每个匹配度均小于所述第一阈值，则计算所述匹配度集合中所有匹配度的均值；
判断所述均值是否小于第二阈值；
若是，则判定所述第一特征点对应的匹配度集合满足要求。
6.根据权利要求2所述的缺陷的检测方法，其特征在于，通过检测模型获得所述第一特征图和所述已知类别的检测结果；
并且，所述检测方法还包括：
收集具有新类别的缺陷的待检图像，形成新缺陷类别的训练集；
利用所述新缺陷类别的训练集进一步训练所述检测模型。
7.根据权利要求1所述的缺陷的检测方法，其特征在于，构建所述特征模板库包括：
提取已知类别的训练集中每个图像的不同尺度的第二特征图；
依据第二特征图获得无缺陷特征集和与每个已知缺陷类别对应的缺陷特征集；
将所有已知缺陷类别的缺陷特征集和所述无缺陷特征集形成的第一集合作为所述特征模板库；
其中，所述已知类别包括多个已知缺陷类别和无缺陷类别。
8.根据权利要求7所述的缺陷的检测方法，其特征在于，依据第二特征图获得无缺陷特征集和与每个已知缺陷类别对应的缺陷特征集，具体包括：
判断所述第二特征图上的第二特征点是否包含已知缺陷的一部分；
若是，则将所述第二特征点加入与该已知缺陷所属的已知缺陷类别对应的缺陷特征集；
若所述第二特征点没有缺陷，则将所述第二特征点加入无缺陷特征集。
9.根据权利要求8所述的缺陷的检测方法，其特征在于，若所述第二特征点包含已知缺陷的一部分，则判断所述已知缺陷的一部分是否为该已知缺陷的中心；
若是，则将所述第二特征点加入与该已知缺陷所属的已知缺陷类别对应的缺陷特征集。
10.根据权利要求7所述的缺陷的检测方法，其特征在于，构建所述特征模板库包括：
对所述第一集合进行降采样，获得第二集合，并将所述第二集合作为所述特征模板库。
11.一种缺陷的检测装置，其特征在于，包括第一特征图提取模块、匹配度集合获得模块、第一判断模块以及输出模块；
所述第一特征图提取模块用于提取待检图像的不同尺度的第一特征图；
所述匹配度集合获得模块用于获得所述第一特征图上的第一特征点与特征模板库之间的匹配度集合；
所述第一判断模块用于判断所述第一特征点对应的匹配度集合是否满足要求；
所述输出模块用于若所述第一特征点对应的匹配度集合满足要求，则输出与所述第一特征点对应的新类别的缺陷的检测结果。
12.根据权利要求11所述的缺陷的检测装置，其特征在于，所述匹配度集合获得模块包括第一特征点提取模块和匹配模块；
所述第一特征点提取模块用于提取所述第一特征图上的所有第一特征点；
所述匹配模块用于针对每个第一特征点，将所述第一特征点的特征与所述特征模板库中每个特征集中的特征点进行匹配，获得所述第一特征点与每个已知类别的匹配度，并将所述第一特征点与所有已知类别的匹配度形成的集合作为所述匹配度集合，其中，所述已知类别包括多个已知缺陷类别和无缺陷类别。
13.根据权利要求12所述的缺陷的检测装置，其特征在于，所述第一判断模块包括第二判断模块，所述第二判断模块用于判断所述匹配度集合中的每个匹配度是否均小于第一阈值。
14.根据权利要求13所述的缺陷的检测装置，其特征在于，所述第一判断模块还包括均值计算模块和第三判断模块；
所述均值计算模块用于若所述匹配度集合中的每个匹配度均小于所述第一阈值，则计算所述匹配度集合中所有匹配度的均值；
所述第三判断模块用于判断所述均值是否小于第二阈值。
15.根据权利要求11所述的缺陷的检测装置，其特征在于，所述检测装置还包括训练集收集模块和训练模块；
所述训练集收集模块用于收集具有新类别的缺陷的待检图像，形成新缺陷类别的训练集；
所述训练模块用于利用所述新缺陷类别的训练集进一步训练检测模型。
16.根据权利要求15所述的缺陷的检测装置，其特征在于，所述检测装置还包括特征模板库构建模块，所述特征模板库构建模块包括第二特征图提取模块、特征集获得模块以及第一集合形成模块；
所述第二特征图提取模块用于提取已知类别的训练集中每个图像的不同尺度的第二特征图；
所述特征集获得模块用于依据第二特征图获得无缺陷特征集和与每个已知缺陷类别对应的缺陷特征集；
所述第一集合形成模块用于将所有已知缺陷类别的缺陷特征集和所述无缺陷特征集形成的第一集合作为所述特征模板库；
其中，所述已知类别包括多个已知缺陷类别和无缺陷类别。
17.一种缺陷的检测设备，其特征在于，包括：
一个或多个处理器、存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述缺陷的检测设备执行时，使得所述缺陷的检测设备执行如权利要求1～10任一项所述的缺陷的检测方法。
CN202210587928.9A 2022-05-26 2022-05-26 一种缺陷的检测方法、装置以及设备 Pending CN114897863A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210587928.9A CN114897863A (zh) 2022-05-26 2022-05-26 一种缺陷的检测方法、装置以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210587928.9A CN114897863A (zh) 2022-05-26 2022-05-26 一种缺陷的检测方法、装置以及设备

Publications (1)

Publication Number Publication Date
CN114897863A true CN114897863A (zh) 2022-08-12

Family

ID=82726060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210587928.9A Pending CN114897863A (zh) 2022-05-26 2022-05-26 一种缺陷的检测方法、装置以及设备

Country Status (1)

Country Link
CN (1) CN114897863A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082722A (zh) * 2022-08-22 2022-09-20 四川金信石信息技术有限公司 基于正向样本的设备缺陷检测方法、***、终端及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082722A (zh) * 2022-08-22 2022-09-20 四川金信石信息技术有限公司 基于正向样本的设备缺陷检测方法、***、终端及介质
CN115082722B (zh) * 2022-08-22 2022-11-01 四川金信石信息技术有限公司 基于正向样本的设备缺陷检测方法、***、终端及介质

Similar Documents

Publication Publication Date Title
CN110992317B (zh) 一种基于语义分割的pcb板缺陷检测方法
CN113205176B (zh) 训练缺陷分级检测模型的方法、装置、设备及存储介质
CN111325713A (zh) 基于神经网络的木材缺陷检测方法、***及存储介质
CN111754456B (zh) 基于深度学习的二维pcb外观缺陷实时自动检测技术
CN112381788B (zh) 一种基于双分支匹配网络的零部件表面缺陷增量检测方法
CN114155181B (zh) 检查方案的自动优化
CN117173172B (zh) 一种基于机器视觉的硅胶成型效果检测方法及***
WO2024021461A1 (zh) 缺陷检测方法及装置、设备、存储介质
CN110853091A (zh) 一种发动机保险丝绕向缺陷图像识别方法与***
CN114651172A (zh) 使用卷积上下文属性以寻找半导体缺陷
CN112529109A (zh) 一种基于无监督多模型的异常检测方法及***
CN111758117A (zh) 检查***、识别***以及学习数据生成装置
CN115690670A (zh) 一种晶圆瑕疵智能识别方法和***
CN114897863A (zh) 一种缺陷的检测方法、装置以及设备
WO2019176988A1 (ja) 検査システム、識別システム、及び識別器評価装置
CN116993733B (zh) 一种耳机套外形质量检测方法及***
CN112884018A (zh) 电网线路故障识别模型训练方法和电网线路巡检方法
CN114202544B (zh) 一种基于自编码器的复杂工件缺陷检测方法
CN115082449A (zh) 一种电子元器件缺陷检测方法
CN114155522A (zh) 一种点云数据质检修复方法及***
CN111126455A (zh) 一种基于Lightweight CNN与SVM的磨粒两阶段识别方法
CN113344858B (zh) 特征检测方法、装置及计算机存储介质
CN118096747B (zh) 基于深度学习的pcba板自动检测方法及***
CN111724352B (zh) 一种基于核密度估计的贴片led瑕疵标注方法
CN117750643B (zh) 印制电路板的表面加工方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20231211

Address after: Unit I116, 14th Floor, Block A, Hantian Science and Technology City, No.17 Shenhai Road, Guicheng Street, Nanhai District, Foshan City, Guangdong Province, 528299

Applicant after: Exploration Intelligence Technology (Guangdong) Co.,Ltd.

Address before: 510130 No. 106, Fengze East Road, Nansha District, Guangzhou City, Guangdong Province (Building No. 1), X1301-G5145

Applicant before: IFLYTEK SOUTH CHINA ARTIFICIAL INTELLIGENCE RESEARCH INSTITUTE (GUANGZHOU) Co.,Ltd.

TA01 Transfer of patent application right