CN110555839A - 缺陷检测识别方法、装置、计算机设备及存储介质 - Google Patents

缺陷检测识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110555839A
CN110555839A CN201910843972.XA CN201910843972A CN110555839A CN 110555839 A CN110555839 A CN 110555839A CN 201910843972 A CN201910843972 A CN 201910843972A CN 110555839 A CN110555839 A CN 110555839A
Authority
CN
China
Prior art keywords
target product
mask
target
product image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910843972.XA
Other languages
English (en)
Inventor
高斌斌
高立钊
贾佳亚
戴宇荣
沈小勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Cloud Computing Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Cloud Computing Beijing Co Ltd filed Critical Tencent Cloud Computing Beijing Co Ltd
Priority to CN201910843972.XA priority Critical patent/CN110555839A/zh
Publication of CN110555839A publication Critical patent/CN110555839A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种缺陷检测识别方法、装置、计算机设备及介质，属于计算机视觉检测以及识别领域。所述方法通过对目标产品图像中的背景和前景分割获得掩码图，并根据目标产品图像的掩码图中连通域的空间位置分布和数量，在目标产品图像中定位缺陷目标，进而对目标定位框所对应的目标产品图像块进行识别，该分割方法将对缺陷形状和边界的预测转化为对缺陷前景和背景的分割，实现了对缺陷掩码更加准确的预测，该缺陷定位块包括满足目标条件的缺陷前景和图像背景，同时本发明提供的缺陷定位的方法，可以更加准确地定位缺陷的位置，有助于提取主要的缺陷特征，减少掩码噪音和目标产品图像背景对缺陷类型识别的影响，提高缺陷类型识别的准确性。

Description

缺陷检测识别方法、装置、计算机设备及存储介质
技术领域
本发明涉及计算机视觉检测领域，特别涉及一种缺陷检测识别方法、装置、计算机设备及计算机可读存储介质。
背景技术
缺陷检测识别在工业生产制造和质量监测等领域都有着广泛的应用，如液晶面板缺陷识别、工件表面质量检测、布匹表面瑕疵识别、航空航天器材质量检测等。通过缺陷检测，可以发现产品表面存在的缺陷，供维修人员及时修正以保证产品质量，但是，为准确判断产品质量是否合格、选择何种工序进行维修等，都需要在得到疑似包括了产品缺陷的目标产品图像后，对图像进行仔细的分析和精细的识别。因此，亟需一种缺陷检测识别方法来实现对产品表面缺陷的自动定位和对缺陷类型的智能识别。
目前的缺陷检测识别方法主要有三种：一是先将产品的原始目标产品图像缩放到固定尺寸，再使用卷积神经网络(Convolutional Neural Networks，CNN)对原始目标产品图像中的缺陷类型进行识别，在实际实施过程中，先使用滑动窗口的方式对原始目标产品图像进行采样，得到目标产品图像块，再使用CNN对每一个目标产品图像块进行缺陷定位，并实现对缺陷类型的识别；二是首先利用如单射检测器(Single-shot Detector，SSD)、统一的实时目标检测(You Only Look Once，YOLO)等的目标检测算法，构建一个级联检测网络，来进行缺陷定位，以定位到目标产品图像块，然后使用CNN对定位到的目标产品图像块进行缺陷类型的识别；三是先设计一种级联自编码器的体系结构，以便对获取到的产品表面的原始目标产品图像进行图像分割，得到目标产品图像的掩码图，进而得到其最小***边界框，从而实现缺陷定位，最后将定位到的目标产品图像块送入CNN，以实现对缺陷类型的准确识别。
在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
在上述第一种方法中，使用滑动窗口方式对目标产品图像进行采样时采用原图输入，当缺陷过小时难以做到准确识别，而且使用滑动窗口的方式进行缺陷定位，只能粗略得到缺陷的位置，缺陷定位不准确；在上述第二种方法中，这种通过目标检测算法来构建级联检测网络的方法，难以实现对缺陷边界和形状的精确分割，影响核心缺陷位置的准确定位；在上述第三种方法中，当目标产品图像的掩码图存在噪点或零散分布时，使用基于掩码最小***框的定位方法得到的结果很难准确表达缺陷的位置信息，进而会对识别缺陷类型的性能产生影响，导致缺陷类型识别结果不准确。
发明内容
本发明实施例提供了一种缺陷检测识别方法、装置、计算机设备及计算机可读存储介质，可以解决相关技术中缺陷定位不准确、缺陷类型识别精度不佳的问题。所述技术方案如下：
一方面，提供了一种缺陷检测识别方法，所述方法包括：
基于目标产品图像，获取该目标产品图像的掩码图；
根据该目标产品图像的掩码图中连通域的空间位置分布和数量，在该目标产品图像中，确定目标定位框，该目标定位框所包含的连通域以及图像背景符合目标条件；
对该目标产品图像中的该目标定位框所对应的目标产品图像块进行识别。
一方面，提供了一种缺陷检测识别装置，所述装置包括：
分割模块，用于基于目标产品图像，获取该目标产品图像的掩码图；
定位模块，用于根据该目标产品图像的掩码图中连通域的空间位置分布和数量，在该目标产品图像中，确定目标定位框；
识别模块，用于对该目标产品图像中的该目标定位框所对应的目标产品图像块进行识别。
在一种可能的实现方式中，所述定位模块还用于：
当该目标产品图像的掩码图中只有一个连通域时，将该连通域的定位框确定为该目标定位框，该第一连通域为该掩码图中的最大连通域；
当该目标产品图像的掩码图中有两个或两个以上连通域时，根据合并框面积占比和合并掩码占比确定该目标定位框。
在一种可能的实现方式中，所述定位模块还用于：
当该合并框面积占比满足第一取值范围或该合并掩码占比满足第二取值范围时，将该第一连通域的定位框确定为目标定位框；
当该合并框面积占比不满足第一取值范围且该合并掩码占比不满足第二取值范围时，将位于该第一合并域的定位框内，且包含该掩码图中第一连通域的定位框的一个定位框确定为该目标定位框，该第一合并域由所有连通域合并得到。
在一种可能的实现方式中，该定位模块，还用于将该掩码图中第一连通域的定位框确定为初始定位框；
该定位模块，还用于基于该第一连通域的最近连通域，确定第二合并域的定位框，该第二合并域包括该第一合并域和该第一连通域的最近连通域；
计算模块，用于计算该第二合并域的该合并框面积占比和该合并掩码占比；
该定位模块，还用于当该合并框面积占比满足第一取值范围或该合并掩码占比满足第二取值范围时，将该放大后的定位框确定为该目标定位框。
在一种可能的实现方式中，所述装置还包括：
提取模块，用于通过缺陷检测模型的卷积神经网络，提取目标产品图像的特征图；
金字塔模块，将所述特征图输入所述缺陷检测模型的空间金字塔模块，得到所述目标产品图像的不同粒度的特征图；
上采样模块，用于通过所述空间金字塔模块，对所述不同粒度的特征图进行上采样处理，获取最终特征图；
分割掩码提取模块，基于该最终特征图使用1x1的卷积层实现缺陷掩码的提取，获得该目标产品图像的掩码图。
在一种可能的实现方式中，所述装置还包括：
截取模块，用于基于该目标定位框的中心，以该目标定位框的最长边为边长，截取方形目标产品图像块；
该识别模块，还用于对该方形目标产品图像块进行识别。
一方面，提供了一种计算机设备，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现所述缺陷检测识别方法所执行的操作。
一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现所述缺陷检测识别方法所执行的操作。
通过对目标产品图像中的背景和前景分割获得掩码图，并根据目标产品图像的掩码图中连通域的空间位置分布和数量，在目标产品图像中定位缺陷目标框，进而对目标定位框所对应的目标产品图像块进行识别，该分割方法将对缺陷形状和边界的预测转化为对缺陷前景和背景的分割，实现了对缺陷掩码更加准确的预测，同时本发明提供的目标定位的方法，可以更加准确地确定缺陷的位置，有助于提取主要的缺陷特征，减少掩码噪音和目标产品图像背景对缺陷类型识别的影响，提高缺陷类型识别的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种缺陷检测识别方法的实施环境示意图；
图2是本发明实施例提供的一种缺陷检测识别模型的结构示意图；
图3是本发明实施例提供的一种缺陷检测识别方法流程图；
图4是本发明实施例提供的一种空间金字塔模块的具体结构示意图；
图5是本发明实施例提供的一种连通域合并示意图；
图6是本发明实施例提供的一种目标定位框的定位结果示意图；
图7是本发明实施例提供的一种缺陷检测识别装置示意图；
图8是本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition，OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、三维图形(Three-Dimensional，3D)技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
图像语义分割，简单来说就是让计算机根据图像的语义来进行分割，在图像领域，语义指的是图像的内容，分割的意思是从像素的角度分割出图片中的不同对象，对原图中的每个像素都进行识别。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
CNN是一种前馈神经网络，其人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现，具体包括卷积层、池化层、披归一化层、随机失活层、激活函数层等。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
缺陷检测通常是指对物品表面缺陷的检测，表面缺陷检测是采用先进的计算机视觉检测技术，对工件表面的斑点、凹坑、划痕、色差、缺损等缺陷进行检测。
本发明实施例提供的方案涉及人工智能的机器学习、计算机视觉技术等技术，具体通过如下实施例进行说明:
图1是本发明实施例提供的一种缺陷检测识别方法的实施环境示意图，参见图1，该实施环境包括：计算机设备101。
计算机设备101可以是台式图形处理器(Graphic Processing Unit，GPU)计算机、GPU计算集群、神经网络计算机等中的至少一种。相关技术人员可以使用该计算机设备101实现对产品图像的处理，找出存在缺陷的产品，保证产品质量。计算机设备101可以对输入其中的图像进行处理，示意性的，计算机设备101与摄像头组件相连来自动获取图像并对该图像进行处理，还可以由相关技术人员将图像输入到该计算机设备中，进而对该图像进行处理，本发明对图像获取方式不做限定。可选地，计算机设备101还可以具有至少一种图像数据库，例如缺陷类型数据库、缺陷图像数据库等，用于存储可能的缺陷类型和获取到的缺陷图像。
图2是本发明实施例提供的一种缺陷检测模型的结构示意图，参见图2，该缺陷检测识别模型依次包括CNN、空间金字塔模块、分割处理层、缺陷定位、缺陷识别。计算机设备可以将输入到其中的目标产品图像送入CNN进行处理，获得该目标产品图像的特征图，将该目标产品图像的特征图作为空间金字塔模块的输入，利用该空间金字塔模块中多个层级的池化核来获取不同粒度的特征图，再利用该空间金字塔模块中的卷积层实现对该不同粒度的特征图的降维处理，进而使用双线性插值对降维后的不同粒度的特征图进行上采样处理，将经过上采样处理的特征图串联起来作为该空间金字塔模块的输出，得到最终特征图，并使用分割处理层对该最终特征图进行处理，得到该目标产品图像的掩码图，并基于该目标产品图像的掩码图进行缺陷定位和缺陷类型的识别。
图3是本发明实施例提供的一种缺陷检测识别方法流程图，参见图3，该方法包括：
301、计算机设备获取目标产品图像。
需要说明的是，计算机设备可以通过与之相连的摄像头组件来获取目标产品图像，也可以由相关技术人员将目标产品图像输入到计算机设备中，本发明实施例对具体的获取目标产品图像的方式不做限定。
302、该计算机设备基于该目标产品图像，获取该目标产品图像的特征图。
在一种可能的实现方式中，计算机设备可以通过特征提取层来对目标产品图像进行特征提取，该特征提取层可以包括多个特征提取层，每个特征提取层可以设置有对应的权重矩阵，从而计算机设备可以基于该特征提取层的滑动窗口在目标产品图像上进行滑动，以获取当前需要处理的子图像，将子图像中的像素值与权重矩阵进行乘法运算，从而得到一个特征点的取值，经过滑动窗口的多次滑动，从而输出一个特征提取层的特征图，将该特征图作为下一个特征提取层的输入图，继续进行特征提取，以此类推，将特征提取模型中最后一个特征提取层输出的特征图作为该目标产品图像的特征图。上述过程仅是对特征提取过程的一种可能实现方式的举例说明，并不用于限定本发明实施例所采用的特征提取方法。
上述步骤302中可以采用多层特征提取层来实现特征提取，更多层的网络可以从低级特征中迭代提取更复杂的特征。
303、该计算机设备将该特征图输入空间金字塔模块，得到该目标产品图像的不同粒度的特征图。
需要说明的是，该空间金字塔模块的主要目的在于整合不同层级的上下文信息，以丰富图像的特征表示。图4是本发明实施例提供的一种空间金字塔模块的具体结构示意图，该图即为图2中掩码预测过程中使用的缺陷检测模型的一部分，参见图4，该空间金字塔模块使用了多个层级的池化核，可以得到不同粒度的特征图。
其中，该上下文信息可以是能够影响场景和图像中的对象的一些信息或者是全部信息，上下文信息并不是直接从目标的外观上直接得到，而是从邻域内的数据、目标的标注、目标的空间位置分布或者数据统计信息中得到。实际过程中，可以通过捕捉不同的对象之间的相互作用信息，对象与场景之间的相互作用信息作为条件来对目标进行识别、处理。
304、该计算机设备基于该不同粒度的特征图，获取最终特征图。
在一种可能的实现方式中，该计算机设备使用卷积层对不同粒度的特征图进行降维处理，得到降维后的特征图，再使用双线性插值对该降维后的特征图进行上采样处理，最后将经过上采样处理的特征图串联起来，得到该空间金字塔模块的输出，作为最终特征图。
需要说明的是，该最终特征图即为最终的特征表示，该最终的特征表示包含了局部和全局上下文的信息。
305、该计算机设备基于该最终特征图，获取该目标产品图像的掩码图。
在一种可能的实现方式中，该计算机设备将该最终特征图作为缺陷检测模型的分割处理层的输入，以获得该目标产品图像的掩码图，该掩码图为像素级别的掩码预测结果。
需要说明的是，该缺陷检测模型可以是基于深度语义分割算法的神经网络模型，例如，该深度语义分割算法可以为二类语义分割算法，通过二类语义分割算法，可以得到该目标产品图像的掩码图，实现对目标产品图像像素级别的预测，相比于现有技术中基于模板匹配方法进行掩码图预测的方案，可以将对目标产品图像中边界和形状的预测转化为对前景和背景的预测，实现对边界和形状的准确预测。
需要说明的是，上述步骤302至步骤305还可以替换为其他的方法，来进行缺陷掩码图的预测，本发明实施例对具体采用哪种方法不做限定，例如，可以使用模板匹配方法来实现缺陷掩码图的预测。
306、该计算机设备检测该目标产品图像的掩码图中连通域的空间位置分布和数量，当检测到该目标产品图像的掩码图中只有一个连通域时，执行步骤307，当检测到该目标产品图像的掩码图中有两个或两个以上连通域时，执行步骤308。
需要说明的是，该计算机设备可以根据该目标产品图像的掩码图中不同像素点的像素值，确定具有相同或相似像素值且位置相邻的像素点，进而确定连通域的位置，具有不同或相似程度较小的像素值的像素点可以构成不同的连通域，该计算机设备还可以对确定的连通域的空间位置分布和数量进行统计，得到该目标产品图像的掩码图中连通域之间的位置关系以及连通域的面积等。
在本发明实施例中，可以假定该目标产品图像的掩码图中存在n个连通域，则可以将该n个连通域的集合记作C＝{c1，c2，…，cn}，n可以为大于或等于1的任意正整数。
需要说明的是，还可能存在该目标产品图像的掩码图中没有连通域，即C为空集的情况，在上述情况下，该计算机设备可以不再执行后续步骤。
307、该计算机设备将该连通域的定位框作为目标定位框，执行步骤314。
在一种可能的实现方式中，当计算机设备检测到该目标产品图像的掩码图中只有一个连通域时，该连通域的定位框即可以最大程度地包括该目标产品图像的掩码图中的所有缺陷，因此，该计算机设备可以预先将该目标产品图像的掩码图中任意大小、位于任意位置的定位框，定义为目标定位框m，进而可以将该目标定位框m的位置更新为该连通域的定位框b1，即m←b1。
需要说明的是，该目标产品图像的掩码图中任一连通域ci的定位框可以记为bi，则该连通域的定位框可以记为b1，目标定位框可以记为m。
308、该计算机设备从该两个或两个以上连通域中确定第一连通域，将该第一连通域的定位框确定为初始目标定位框，该第一连通域为该掩码图中的最大连通域。
在一种可能的实现方式中，该计算机设备检测该两个或两个以上连通域中各个连通域包括的像素点的空间位置分布和数量，根据各个连通域中像素点的空间位置和数量，确定各个连通域的面积，进而找到该掩码图中的最大连通域，作为第一连通域，将该第一连通域的定位框确定为初始定位框。例如，该计算机设备可以将目标产品图像的掩码图中最大连通域作为第一连通域，即将目标产品图像的掩码图中最大连通域的定位框作为初始定位框，即
其中，arg maxi area(ci)可以指使area(ci)达到最大值时i的取值，area(ci)可以表示连通域ci的面积。
需要说明的是，当计算机设备检测到该目标产品图像的掩码图中有两个或两个以上连通域时，本发明实施例提供的基于第一连通域和所有连通域的定位框之间平衡定位缺陷的方法，核心思想是采用最大连通域作为缺陷位置的初始解，不断吸收近邻连通域直到达到某种平衡，该方法可以使目标定位框中缺陷掩码面积与背景面积较为均衡，可以更加准确地实现缺陷定位。
309、该计算机设备基于该第一连通域，确定与该第一连通域距离最近的第二连通域以及该第二连通域的定位框。
在一种可能的实现方式中，该计算机设备可以检测该掩码图中各个连通域的中心和边界，结合连通域的空间位置分布信息，根据检测到的结果，确定与该第一连通域的中心和边界之间的距离最小的连通域，将该连通域确定为第二连通域。
图5是本发明实施例提供的一种连通域合并示意图，参见图5，目标定位框m和距离目标定位框最近的连通域对应的定位框b分别用如图5所示的矩形框表示，其包含的掩码分别是圆形和月牙形。其中，该圆形掩码区域即为第一连通域，该月牙形掩码区域即为第二连通域。
310、该计算机设备确定该第一连通域和第二连通域的合并框面积占比和合并掩码占比，该合并框面积占比用于表示该两个或两个以上连通域的定位框的面积和值与连通域合并后的合并域的定位框的面积之间的比值。该合并掩码占比用于表示该两个或两个以上连通域的面积和值与连通域合并后的合并域的定位框的面积之间的比值。
需要说明的是，合并框面积占比定义为目标定位框和距离目标定位框最近的连通域对应的定位框并的面积与其合并域的定位框的面积之比，即为area(uni)/area(clo)，其中，area()可以表示面积，距离目标定位框最近的连通域可以表示为c，其对应的定位框可以表示为b，uni可以表示b和目标定位框m合并的区域，即uni←m∪b，clo可以表示m和b的定位框，即clo←[m，b]。
需要说明的是，合并掩码占比定义为目标定位框和距离目标定位框最近的连通域对应的定位框中缺陷掩码面积与其合并域的定位框的面积之比，即为mask(clo)/area(clo)，其中，mask()可以表示缺陷掩码面积，area()可以表示面积，距离目标定位框最近的连通域可以表示为c，其对应的定位框可以表示为b，clo可以表示m和b的定位框。
参见如图5所示的连通域合并示意图，其中，合并框面积占比即为框m和b的面积和值与其合并域的定位框面积之比，合并掩码占比即为圆形和月牙形掩码面积之和与其合并域的定位框的面积之比。
需要说明的是，该计算机设备可以根据计算出的合并框面积占比和合并掩码占比的值的，采用本发明提供的基于缺陷掩码图空间分布的缺陷定位策略来确定目标定位框，具体实现方法如下述步骤311至步骤313所示：
311、当该计算机设备检测到该合并框面积占比满足第一取值范围，或该合并掩码占比满足第二取值范围时，执行步骤312，否则，执行步骤313。
需要说明的是，该计算机设备可以预先设置两个阈值，分别记为合并框面积占比阈值τ1和合并掩码占比阈值τ2，该合并框面积占比满足第一取值范围可以为该合并框面积占比小于合并框面积占比阈值τ1，该合并掩码占比满足第二取值范围可以为该合并掩码占比小于合并掩码占比阈值τ2。
312、该计算机设备将该第一连通域的定位框确定为目标定位框，执行步骤314。
需要说明的是，可能存在一种合并框面积占比和合并掩码占比均为1的特殊情况，当计算机设备检测到该合并框面积占比和该合并掩码占比都为1时，可以确定该掩码图中仅包括第一连通域这一个连通域，因此，该计算机设备可以直接将该第一连通域的定位框确定为该目标定位框。图6是本发明实施例提供的一种目标定位框的定位结果示意图，参见图6，该图中的601所指示的矩形框即为目标定位框。
313、该计算机设备将该第一连通域和该第二连通域的合并域作为第一连通域，继续执行上述步骤309以及后续的步骤。
在一种可能的实现方式中，该计算机设备根据比较结果将与第一连通域最近的第二连通域进行合并，扩展连通域的代表区域，并对目标定位框进行更新，即m←[m，b]，[m，b]可以表示框m和b的定位框。
需要说明的是，该计算机设备可以预先设置两个阈值，分别记为合并框面积占比阈值τ1和合并掩码占比阈值τ2，当该计算机设备检测到该合并框面积占比满足第一取值范围或该合并掩码占比满足第二取值范围，即该合并框面积占比小于合并框面积占比阈值τ1或该合并掩码占比小于合并掩码占比阈值τ2时，无需再寻找与当前确定的连通域最近的连通域，当前确定的连通域的定位框即为目标定位框，参见图6，该图中的603所指示的矩形框即为目标定位框。
其中，可能存在一种合并框面积占比和合并掩码占比均为0的特殊情况，当计算机设备检测到该合并框面积占比和该合并掩码占比都为0时，该计算机设备将该掩码图中第一连通域和第二连通域的合并域的定位框确定为该目标定位框，参见图6，该图中的602所指示的矩形框即为目标定位框。
需要说明的是，上述步骤308至步骤313提供了一种循环处理过程，都能够连通域数量为1时，可以直接将该目标定位框确定为连通域的定位框，而当连通域数量为多个时，则可以通过循环处理过程来将确定目标定位框，每次可以先将当前最大连通域与其最近的连通域进行合并，并基于循环截止条件进行判断，如果符合循环截止条件中的任一个，则可以将当前合并得到的连通域的定位框作为目标定位框，如果不符合循环截止条件，则可以将当前合并得到的连通域作为第一连通域继续执行上述步骤309以及后续步骤，直到该合并框面积占比的值小于合并框面积占比阈值τ1或该合并掩码占比小于合并掩码占比阈值τ2或者没有未合并的连通域时，将此时的第一连通域的定位框作为目标定位框。
需要说明的是，在上述过程中，可以在步骤308中可以通过检测连通域的空间位置分布确定连通域之间的位置关系以及连通域的面积等等，计算机设备可以基于检测到的连通域来获取连通域集合C＝{c1，c2，…，cn}，并在执行循环过程中，每当执行完一次合并处理时，可以将被合并的连通域从连通域集合中删除，当连通域集合为空集时，则可以确定当前不存在未合并的连通域，则可以停止循环处理过程，本发明实施例对具体算法的实现过程不做限定。
314、该计算机设备基于该目标定位框的中心，以该目标定位框的最长边为边长，截取方形目标产品图像块。
需要说明的是，由于利用该缺陷检测模型的分割处理层对目标产品图像块进行处理时，要求该目标产品图像块为方形图像块，因此需要在该目标产品图像的掩码图中截取方形图像块，另外，以该目标定位框的最长边为边长截取方形目标产品图像块，可以保证该方形目标产品图像中包括所有用于确定目标定位框的连通域，保证缺陷类型识别的准确性。
315、该计算机设备对该方形目标产品图像块进行识别。
在一种可能的实现方式中，该计算机设备将该目标产品图像块缩放到固定尺寸，确定出该目标产品图像中缺陷掩码的边界框，根据检测到的缺陷掩码的边界框，结合训练得到的缺陷类型数据，实现对缺陷类型的识别。
需要说明的是，上述步骤317至步骤318还可以替换为其他的方法，来进行缺陷类型的识别，本发明实施例对具体采用哪种方法不做限定，例如，可以采用诸如尺度不变特征变换(Scale-invariant Feature Transform，SIFT)、方向梯度直方图(Histogram ofOriented Gradient，HOG)、灰度共生矩阵、小波特征等手工特征，再采用诸如多分类支持向量机、随机森林等的机器学习方法、也可以使用深度学习如卷积神经网络实现对缺陷类型的识别。
通过对目标产品图像中的背景和前景分割获得掩码图，并根据目标产品图像的掩码图中连通域的空间位置分布和数量，在目标产品图像中定位缺陷目标，进而对目标定位框所对应的目标产品图像块进行识别，该分割方法将对缺陷形状和边界的预测转化为对缺陷前景和背景的分割，实现了对缺陷掩码更加准确的预测，该缺陷定位块包括满足目标条件的缺陷前景和图像背景，同时本发明提供的缺陷定位的方法，可以更加准确地定位缺陷的位置，有助于提取主要的缺陷特征，减少掩码噪音和目标产品图像背景对缺陷类型识别的影响，提高缺陷类型识别的准确性，而且，还支持多种形态缺陷的识别，提高缺陷类型识别的准确性，实现精细缺陷的高精度识别，特别对于过小缺陷以及外观表征相近的缺陷具有良好的分类性能。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
图7是本发明实施例提供的一种缺陷检测识别装置示意图，参见图7，该装置包括：
获取模块701，用于基于目标产品图像，获取该目标产品图像的掩码图；
确定模块702，用于根据该目标产品图像的掩码图中连通域的空间位置分布和数量，在该目标产品图像中，确定目标定位框；
识别模块703，用于对该目标产品图像中的该目标定位框所对应的目标产品图像块进行识别。
在一种可能的实现方式中，该确定模块还用于：
当该目标产品图像的掩码图中只有一个连通域时，将该连通域的定位框确定为该目标定位框，该第一连通域为该掩码图中的最大连通域；
当该目标产品图像的掩码图中有两个或两个以上连通域时，根据合并框面积占比和合并掩码占比确定该目标定位框。
在一种可能的实现方式中，该定位模块还用于：
当该合并框面积占比满足第一取值范围或该合并掩码占比满足第二取值范围时，将该第一连通域的定位框确定为目标定位框；
当该合并框面积占比不满足第一取值范围且该合并掩码占比不满足第二取值范围时，将位于该第一合并域的定位框内，且包含该掩码图中第一连通域的定位框的一个定位框确定为该目标定位框，该第一合并域由所有连通域合并得到。
在一种可能的实现方式中，该定位模块，还用于将该掩码图中第一连通域的定位框确定为初始定位框；
该定位模块，还用于基于该第一连通域的最近连通域，确定第二合并域的定位框，该第二合并域包括该第一合并域和该第一连通域的最近连通域；
计算模块，用于计算该第二合并域的该合并框面积占比和该合并掩码占比；
该定位模块，还用于当该合并框面积占比满足第一取值范围或该合并掩码占比满足第二取值范围时，将该放大后的定位框确定为该目标定位框。
在一种可能的实现方式中，所述装置还包括：
提取模块，用于通过缺陷检测模型的卷积神经网络，提取目标产品图像的特征图；
金字塔模块，将所述特征图输入所述缺陷检测模型的空间金字塔模块，得到所述目标产品图像的不同粒度的特征图；
上采样模块，用于通过所述空间金字塔模块，对所述不同粒度的特征图进行上采样处理，获取最终特征图；
分割提取模块，基于该最终特征图和卷积层，获得该目标产品图像的掩码图。
在一种可能的实现方式中，该装置还包括：
截取模块，用于基于该目标定位框的中心，以该目标定位框的最长边为边长，截取方形目标产品图像块；
该识别模块，还用于对该方形目标产品图像块进行识别。
上述装置通过对目标产品图像中的背景和前景分割获得掩码图，并根据目标产品图像的掩码图中连通域的空间位置分布和数量，在目标产品图像中定位缺陷目标，进而对目标定位框所对应的目标产品图像块进行识别，该分割方法将对缺陷形状和边界的预测转化为对缺陷前景和背景的分割，实现了对缺陷掩码更加准确的预测，该缺陷定位块包括满足目标条件的缺陷前景和图像背景，同时本发明提供的缺陷定位的方法，可以更加准确地定位缺陷的位置，有助于提取主要的缺陷特征，减少掩码噪音和目标产品图像背景对缺陷类型识别的影响，提高缺陷类型识别的准确性。
需要说明的是：上述实施例提供的缺陷检测识别装置在进行缺陷检测时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的缺陷检测识别装置和缺陷检测识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图8是本发明实施例提供的一种计算机设备的结构示意图。该计算机设备800可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。计算机设备800还可能被称为用户设备、便携式计算机设备、膝上型计算机设备、台式计算机设备等其他名称。
通常，计算机设备800包括有：一个或多个处理器801和一个或多个存储器802。
处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器801所执行以实现本发明中方法实施例提供的缺陷检测识别方法。
在一些实施例中，计算机设备800还可选包括有：***设备接口803和至少一个***设备。处理器801、存储器802和***设备接口803之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口803相连。具体地，***设备包括：射频电路804、显示屏805、摄像头806、音频电路807、定位组件808和电源809中的至少一种。
***设备接口803可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和***设备接口803被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和***设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路804用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它计算机设备进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路804还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本发明对此不加以限定。
显示屏805用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏805可以为一个，设置计算机设备800的前面板；在另一些实施例中，显示屏805可以为至少两个，分别设置在计算机设备800的不同表面或呈折叠设计；在再一些实施例中，显示屏805可以是柔性显示屏，设置在计算机设备800的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。
摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。通常，前置摄像头设置在计算机设备的前面板，后置摄像头设置在计算机设备的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在计算机设备800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路807还可以包括耳机插孔。
定位组件808用于定位计算机设备800的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。定位组件808可以是基于美国的GPS(GlobalPositioning System，全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源809用于为计算机设备800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，计算机设备800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于：加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。
加速度传感器811可以检测以计算机设备800建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号，控制显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器812可以检测计算机设备800的机体方向及转动角度，陀螺仪传感器812可以与加速度传感器811协同采集用户对计算机设备800的3D动作。处理器801根据陀螺仪传感器812采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器813可以设置在计算机设备800的侧边框和/或显示屏805的下层。当压力传感器813设置在计算机设备800的侧边框时，可以检测用户对计算机设备800的握持信号，由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在显示屏805的下层时，由处理器801根据用户对显示屏805的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器814用于采集用户的指纹，由处理器801根据指纹传感器814采集到的指纹识别用户的身份，或者，由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器801授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置计算机设备800的正面、背面或侧面。当计算机设备800上设置有物理按键或厂商Logo时，指纹传感器814可以与物理按键或厂商Logo集成在一起。
光学传感器815用于采集环境光强度。在一个实施例中，处理器801可以根据光学传感器815采集的环境光强度，控制显示屏805的显示亮度。具体地，当环境光强度较高时，调高显示屏805的显示亮度；当环境光强度较低时，调低显示屏805的显示亮度。在另一个实施例中，处理器801还可以根据光学传感器815采集的环境光强度，动态调整摄像头组件806的拍摄参数。
接近传感器816，也称距离传感器，通常设置在计算机设备800的前面板。接近传感器816用于采集用户与计算机设备800的正面之间的距离。在一个实施例中，当接近传感器816检测到用户与计算机设备800的正面之间的距离逐渐变小时，由处理器801控制显示屏805从亮屏状态切换为息屏状态；当接近传感器816检测到用户与计算机设备800的正面之间的距离逐渐变大时，由处理器801控制显示屏805从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图8中示出的结构并不构成对计算机设备800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括程序代码的存储器，上述程序代码可由处理器执行以完成上述实施例中的缺陷检测识别方法。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来程序代码相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
上述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种缺陷检测识别方法，其特征在于，所述方法包括：
基于目标产品图像，获取所述目标产品图像的掩码图；
根据所述目标产品图像的掩码图中连通域的空间位置分布和数量，在所述目标产品图像中，确定目标定位框，所述目标定位框所确定的前景和背景符合目标条件；
对所述目标产品图像中的所述目标定位框所对应的目标产品图像块进行识别。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标产品图像的掩码图中连通域的空间位置分布和数量，在所述目标产品图像中，确定目标定位框包括：
当所述目标产品图像的掩码图中只有一个连通域时，将所述连通域的定位框确定为所述目标定位框；
当所述目标产品图像的掩码图中有两个或两个以上连通域时，根据合并框面积占比和合并掩码占比确定所述目标定位框；
其中，所述合并框面积占比用于表示所述两个或两个以上连通域的定位框的面积和值与连通域合并后的合并域的定位框的面积之间的比值；
所述合并掩码占比用于表示所述两个或两个以上连通域的面积和值与连通域合并后的合并域的定位框的面积之间的比值。
3.根据权利要求2所述的方法，其特征在于，所述根据合并框面积占比和合并掩码占比确定所述目标定位框包括：
当所述合并框面积占比满足第一取值范围或所述合并掩码占比满足第二取值范围时，将所述第一连通域的定位框确定为目标定位框；
当所述合并框面积占比不满足第一取值范围且所述合并掩码占比不满足第二取值范围时，将位于所述第一合并域的定位框内，且包含所述掩码图中第一连通域的定位框的一个定位框确定为所述目标定位框，所述第一合并域由所有连通域合并得到。
4.根据权利要求3所述的方法，其特征在于，所述根据合并框面积占比和合并掩码占比确定所述目标定位框之前，所述方法还包括：
将所述掩码图中第一连通域的定位框确定为初始目标定位框；
基于所述第一连通域的最近连通域，确定第二合并域的定位框，所述第二合并域包括所述第一合并域和所述第一连通域的最近连通域；
计算所述第二合并域的所述合并框面积占比和所述合并掩码占比。
5.根据权利要求1所述的方法，其特征在于，所述基于目标产品图像，获取所述目标产品图像的掩码图包括：
通过缺陷检测模型的卷积神经网络，提取目标产品图像的特征图；
将所述特征图输入所述缺陷检测模型的空间金字塔模块，得到所述目标产品图像的不同粒度的特征图；
通过所述空间金字塔模块，对所述不同粒度的特征图进行上采样处理，获取最终特征图；
通过所述缺陷检测模型的分割提取层，基于所述最终特征图，获取所述目标产品图像的掩码图。
6.根据权利要求1所述的方法，其特征在于，所述对所述目标产品图像中的所述目标定位框所对应的目标产品图像块进行识别包括：
基于所述目标定位框的中心，以所述目标定位框的最长边为边长，截取方形目标产品图像块；
对所述方形目标产品图像块进行识别。
7.一种缺陷检测识别装置，其特征在于，所述装置包括：
分割模块，用于基于目标产品图像，获取所述目标产品图像的掩码图；
定位模块，用于根据所述目标产品图像的掩码图中连通域的空间位置分布和数量，在所述目标产品图像中，确定目标定位框；
识别模块，用于对所述目标产品图像中的所述目标定位框所对应的目标产品图像块进行识别。
8.根据权利要求7所述的装置，其特征在于，所述定位模块还用于：
当所述目标产品图像的掩码图中只有一个连通域时，将所述连通域的定位框确定为所述目标定位框，所述第一连通域为所述掩码图中的最大连通域；
当所述目标产品图像的掩码图中有两个或两个以上连通域时，根据合并框面积占比和合并掩码占比确定所述目标定位框。
9.根据权利要求7所述的装置，其特征在于，所述定位模块还用于：
当所述合并框面积占比满足第一取值范围或所述合并掩码占比满足第二取值范围时，将所述第一连通域的定位框确定为目标定位框；
当所述合并框面积占比不满足第一取值范围且所述合并掩码占比不满足第二取值范围时，将位于所述第一合并域的定位框内，且包含所述掩码图中第一连通域的定位框的一个定位框确定为所述目标定位框，所述第一合并域由所有连通域合并得到。
10.根据权利要求7所述的装置，其特征在于，所述定位模块，还用于将所述掩码图中第一连通域的定位框确定为初始定位框；
所述确定模块，还用于基于所述第一连通域的最近连通域，确定第二合并域的定位框，所述第二合并域包括所述第一合并域和所述第一连通域的最近连通域；
计算模块，用于计算所述第二合并域的所述合并框面积占比和所述合并掩码占比。
11.根据权利要求7所述的装置，其特征在于，所述装置还包括：
分割模块，用于通过缺陷检测模型的卷积神经网络，提取目标产品图像的特征图；
金字塔模块，用于基于所述特征图输入所述缺陷检测模型的空间金字塔模块，得到所述目标产品图像的不同粒度的特征图；
上采样模块，用于通过所述空间金字塔模块，对所述不同粒度的特征图进行上采样处理，获取最终特征图；
分割提取模块，基于所述最终特征图使用1x1的卷积层实现缺陷掩码的提取，获得所述目标产品图像的掩码图。
12.根据权利要求7所述的装置，其特征在于，所述装置还包括：
截取模块，用于基于所述目标定位框的中心，以所述目标定位框的最长边为边长，截取方形目标产品图像块；
所述识别模块，还用于对所述方形目标产品图像块进行识别。
13.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求6任一项所述的缺陷检测识别方法所执行的操作。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如权利要求1至权利要求6任一项所述的缺陷检测识别方法所执行的操作。
CN201910843972.XA 2019-09-06 2019-09-06 缺陷检测识别方法、装置、计算机设备及存储介质 Pending CN110555839A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910843972.XA CN110555839A (zh) 2019-09-06 2019-09-06 缺陷检测识别方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910843972.XA CN110555839A (zh) 2019-09-06 2019-09-06 缺陷检测识别方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN110555839A true CN110555839A (zh) 2019-12-10

Family

ID=68739379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910843972.XA Pending CN110555839A (zh) 2019-09-06 2019-09-06 缺陷检测识别方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110555839A (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105411A (zh) * 2019-12-30 2020-05-05 创新奇智(青岛)科技有限公司 一种磁瓦表面缺陷检测方法
CN111105410A (zh) * 2019-12-27 2020-05-05 中国人民解放军陆军军医大学第二附属医院 基于骨髓活检图像的造血组织比例确定设备及方法
CN111179253A (zh) * 2019-12-30 2020-05-19 歌尔股份有限公司 一种产品缺陷检测方法、装置与***
CN111325713A (zh) * 2020-01-21 2020-06-23 浙江省北大信息技术高等研究院 基于神经网络的木材缺陷检测方法、***及存储介质
CN111353983A (zh) * 2020-02-28 2020-06-30 腾讯科技（深圳）有限公司 缺陷检测识别方法、装置、计算机可读介质及电子设备
CN111444921A (zh) * 2020-03-25 2020-07-24 浙江华睿科技有限公司 划痕缺陷检测方法、装置、计算设备和存储介质
CN111489348A (zh) * 2020-04-16 2020-08-04 创新奇智(重庆)科技有限公司 一种磁性材料产品表面缺陷模拟方法及装置
CN112287452A (zh) * 2020-10-12 2021-01-29 哈尔滨工业大学 一种航天器可维修性智能建模方法
CN112461130A (zh) * 2020-11-16 2021-03-09 北京平恒智能科技有限公司 一种胶粘制品视觉检测工具框定位方法
CN112926438A (zh) * 2021-02-22 2021-06-08 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
TWI732618B (zh) * 2020-07-02 2021-07-01 撼訊科技股份有限公司 影像辨識方法及其系統
CN113362288A (zh) * 2021-05-24 2021-09-07 深圳明锐理想科技有限公司 一种金手指划伤检测方法、装置以及电子设备
CN113470024A (zh) * 2021-09-02 2021-10-01 深圳市信润富联数字科技有限公司 轮毂内部缺陷检测方法、装置、设备、介质及程序产品
CN113538450A (zh) * 2020-04-21 2021-10-22 百度在线网络技术（北京）有限公司 用于生成图像的方法及装置
CN113706440A (zh) * 2021-03-12 2021-11-26 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
TWI748828B (zh) * 2020-12-29 2021-12-01 鴻海精密工業股份有限公司 產品瑕疵檢測方法、電腦裝置及儲存媒體
CN114202543A (zh) * 2022-02-18 2022-03-18 成都数之联科技股份有限公司 Pcb板脏污缺陷检测方法、装置、设备及介质
CN115439476A (zh) * 2022-11-07 2022-12-06 成都博视广达科技有限责任公司 基于图像分析的丝印缺陷检测方法及装置
CN115631204A (zh) * 2022-11-30 2023-01-20 北京矩视智能科技有限公司 工件表面缺陷区域分割方法和装置
CN115690094A (zh) * 2022-12-12 2023-02-03 常州微亿智造科技有限公司 基于自监督网络的工业缺陷检测方法和***
TWI794718B (zh) * 2020-11-25 2023-03-01 鴻海精密工業股份有限公司 電路板檢測方法、電子裝置及存儲介質
TWI812558B (zh) * 2022-11-23 2023-08-11 大陸商環維電子(上海)有限公司 針對微小瑕疵與錯件的影像檢測方法及其系統
CN117274239A (zh) * 2023-11-13 2023-12-22 江苏永鼎股份有限公司 芯片封装工艺缺陷快速检测方法
CN117390206A (zh) * 2023-10-26 2024-01-12 杭州食方科技有限公司 生鲜图像存储方法、装置、电子设备和计算机可读介质

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105410A (zh) * 2019-12-27 2020-05-05 中国人民解放军陆军军医大学第二附属医院 基于骨髓活检图像的造血组织比例确定设备及方法
CN111179253A (zh) * 2019-12-30 2020-05-19 歌尔股份有限公司 一种产品缺陷检测方法、装置与***
CN111179253B (zh) * 2019-12-30 2023-11-24 歌尔股份有限公司 一种产品缺陷检测方法、装置与***
CN111105411A (zh) * 2019-12-30 2020-05-05 创新奇智(青岛)科技有限公司 一种磁瓦表面缺陷检测方法
CN111325713A (zh) * 2020-01-21 2020-06-23 浙江省北大信息技术高等研究院 基于神经网络的木材缺陷检测方法、***及存储介质
CN111353983A (zh) * 2020-02-28 2020-06-30 腾讯科技（深圳）有限公司 缺陷检测识别方法、装置、计算机可读介质及电子设备
CN111444921A (zh) * 2020-03-25 2020-07-24 浙江华睿科技有限公司 划痕缺陷检测方法、装置、计算设备和存储介质
CN111489348A (zh) * 2020-04-16 2020-08-04 创新奇智(重庆)科技有限公司 一种磁性材料产品表面缺陷模拟方法及装置
CN111489348B (zh) * 2020-04-16 2023-01-20 创新奇智(重庆)科技有限公司 一种磁性材料产品表面缺陷模拟方法及装置
CN113538450A (zh) * 2020-04-21 2021-10-22 百度在线网络技术（北京）有限公司 用于生成图像的方法及装置
US11810333B2 (en) 2020-04-21 2023-11-07 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for generating image of webpage content
TWI732618B (zh) * 2020-07-02 2021-07-01 撼訊科技股份有限公司 影像辨識方法及其系統
CN112287452A (zh) * 2020-10-12 2021-01-29 哈尔滨工业大学 一种航天器可维修性智能建模方法
CN112461130A (zh) * 2020-11-16 2021-03-09 北京平恒智能科技有限公司 一种胶粘制品视觉检测工具框定位方法
TWI794718B (zh) * 2020-11-25 2023-03-01 鴻海精密工業股份有限公司 電路板檢測方法、電子裝置及存儲介質
TWI748828B (zh) * 2020-12-29 2021-12-01 鴻海精密工業股份有限公司 產品瑕疵檢測方法、電腦裝置及儲存媒體
CN112926438B (zh) * 2021-02-22 2024-04-05 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN112926438A (zh) * 2021-02-22 2021-06-08 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN113706440A (zh) * 2021-03-12 2021-11-26 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN113362288A (zh) * 2021-05-24 2021-09-07 深圳明锐理想科技有限公司 一种金手指划伤检测方法、装置以及电子设备
CN113362288B (zh) * 2021-05-24 2024-03-08 深圳明锐理想科技股份有限公司 一种金手指划伤检测方法、装置以及电子设备
CN113470024B (zh) * 2021-09-02 2021-12-21 深圳市信润富联数字科技有限公司 轮毂内部缺陷检测方法、装置、设备、介质及程序产品
CN113470024A (zh) * 2021-09-02 2021-10-01 深圳市信润富联数字科技有限公司 轮毂内部缺陷检测方法、装置、设备、介质及程序产品
CN114202543A (zh) * 2022-02-18 2022-03-18 成都数之联科技股份有限公司 Pcb板脏污缺陷检测方法、装置、设备及介质
CN115439476B (zh) * 2022-11-07 2023-03-14 成都博视广达科技有限责任公司 基于图像分析的丝印缺陷检测方法及装置
CN115439476A (zh) * 2022-11-07 2022-12-06 成都博视广达科技有限责任公司 基于图像分析的丝印缺陷检测方法及装置
TWI812558B (zh) * 2022-11-23 2023-08-11 大陸商環維電子(上海)有限公司 針對微小瑕疵與錯件的影像檢測方法及其系統
CN115631204A (zh) * 2022-11-30 2023-01-20 北京矩视智能科技有限公司 工件表面缺陷区域分割方法和装置
CN115690094A (zh) * 2022-12-12 2023-02-03 常州微亿智造科技有限公司 基于自监督网络的工业缺陷检测方法和***
CN117390206A (zh) * 2023-10-26 2024-01-12 杭州食方科技有限公司 生鲜图像存储方法、装置、电子设备和计算机可读介质
CN117274239A (zh) * 2023-11-13 2023-12-22 江苏永鼎股份有限公司 芯片封装工艺缺陷快速检测方法
CN117274239B (zh) * 2023-11-13 2024-02-20 江苏永鼎股份有限公司 芯片封装工艺缺陷快速检测方法

Similar Documents

Publication Publication Date Title
CN110555839A (zh) 缺陷检测识别方法、装置、计算机设备及存储介质
CN110210571B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN110070056B (zh) 图像处理方法、装置、存储介质及设备
WO2020224479A1 (zh) 目标的位置获取方法、装置、计算机设备及存储介质
CN111325726A (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
CN114648480A (zh) 表面缺陷检测方法、装置及***
CN110570460B (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN111325699B (zh) 图像修复方法和图像修复模型的训练方法
CN110544272A (zh) 脸部跟踪方法、装置、计算机设备及存储介质
CN110807361A (zh) 人体识别方法、装置、计算机设备及存储介质
CN112749613B (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN111192262A (zh) 基于人工智能的产品缺陷分类方法、装置、设备及介质
CN110647881B (zh) 确定图像对应的卡片类型的方法、装置、设备及存储介质
CN111680758B (zh) 图像训练样本生成方法和装置
CN111368116B (zh) 图像分类方法、装置、计算机设备及存储介质
CN110675412A (zh) 图像分割方法、图像分割模型的训练方法、装置及设备
CN113706440A (zh) 图像处理方法、装置、计算机设备及存储介质
CN111178343A (zh) 基于人工智能的多媒体资源检测方法、装置、设备及介质
CN111325220B (zh) 图像生成方法、装置、设备及存储介质
CN114511864B (zh) 文本信息提取方法、目标模型的获取方法、装置及设备
CN113724189A (zh) 图像处理方法、装置、设备及存储介质
CN111738365A (zh) 图像分类模型训练方法、装置、计算机设备及存储介质
CN111598133A (zh) 基于人工智能的图像显示方法、装置、设备及介质
CN113821658A (zh) 对编码器进行训练的方法、装置、设备及存储介质
CN112819103A (zh) 基于图神经网络的特征识别方法、装置、存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40019334

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination