CN111044525A - 一种产品缺陷检测方法、装置与*** - Google Patents

一种产品缺陷检测方法、装置与*** Download PDF

Info

Publication number
CN111044525A
CN111044525A CN201911397513.XA CN201911397513A CN111044525A CN 111044525 A CN111044525 A CN 111044525A CN 201911397513 A CN201911397513 A CN 201911397513A CN 111044525 A CN111044525 A CN 111044525A
Authority
CN
China
Prior art keywords
defect
product
type
detection
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911397513.XA
Other languages
English (en)
Other versions
CN111044525B (zh
Inventor
刘杰
马立
张亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN201911397513.XA priority Critical patent/CN111044525B/zh
Publication of CN111044525A publication Critical patent/CN111044525A/zh
Priority to PCT/CN2020/111327 priority patent/WO2021135302A1/zh
Priority to US17/250,263 priority patent/US11748873B2/en
Application granted granted Critical
Publication of CN111044525B publication Critical patent/CN111044525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种产品缺陷检测方法、装置与***。本发明的产品缺陷检测方法包括：构建缺陷检测框架；利用包含不同缺陷类型的产品的样本图像对分类网络进行训练，得到能够将样本图像中存在的缺陷类型分类的分类网络；利用包含不同缺陷类型的产品的样本图像对定位检测网络进行训练，得到能够定位样本图像中每种类型的缺陷所在位置的定位检测网络；在进行产品缺陷检测时，将采集到的产品图像输入缺陷检测框架，利用分类网络对产品图像中的缺陷类型进行分类，以及利用定位检测网络对产品图像中每种类型的缺陷位置进行定位，将得到的分类结果和检测结果输入判断网络，判断出产品是否存在缺陷，并在产品存在缺陷时，检测缺陷类型及缺陷位置。

Description

一种产品缺陷检测方法、装置与***
技术领域
本发明涉及一种产品缺陷检测方法、装置与***。
背景技术
在传统的精密制造行业，产品的缺陷检测一般通过人工检验来完成。在一般的制造工厂中，检验人力占比将近30％，由于人力需求大，经常出现人力资源紧张的局面；而且人力检验的劳动强度大，容易因作业员疲劳而造成检验质量的波动。因此，检验质量稳定、效果一致、不受人为因素影响的机器自动化检测方案必将受到精密制造行业的青睐。
发明内容
本发明实施例的目的在于提供了一种产品缺陷检测方法、装置与***。
一方面，本发明实施例提供了一种产品缺陷检测方法，包括：
构建缺陷检测框架，缺陷检测框架包括分类网络、定位检测网络和判断网络；
利用包含不同缺陷类型的产品的样本图像对分类网络进行训练，得到能够将样本图像中存在的缺陷类型分类的分类网络；
利用包含不同缺陷类型的产品的样本图像对定位检测网络进行训练，得到能够定位样本图像中每种类型的缺陷所在位置的定位检测网络；
在进行产品缺陷检测时，将采集到的产品图像输入缺陷检测框架，利用分类网络对产品图像中的缺陷类型进行分类，以及利用定位检测网络对产品图像中每种类型的缺陷位置进行定位，将得到的分类结果和检测结果输入判断网络，判断出产品是否存在缺陷，并在产品存在缺陷时，检测缺陷类型及缺陷位置。
另一方面，本发明实施例提供了一种产品缺陷检测装置，包括：
预处理单元，用于构建缺陷检测框架，缺陷检测框架包括分类网络、定位检测网络和判断网络；利用包含不同缺陷类型的产品的样本图像对分类网络进行训练，得到能够将样本图像中存在的缺陷类型分类的分类网络；利用包含不同缺陷类型的产品的样本图像对定位检测网络进行训练，得到能够定位样本图像中每种类型的缺陷所在位置的定位检测网络；
缺陷检测单元，用于在进行产品缺陷检测时，将采集到的产品图像输入缺陷检测框架，利用分类网络对产品图像中的缺陷类型进行分类，以及利用定位检测网络对产品图像中每种类型的缺陷位置进行定位，将得到的分类结果和检测结果输入判断网络，判断出产品是否存在缺陷，并在产品存在缺陷时，检测缺陷类型及缺陷位置。
再一方面，本发明实施例提供了一种产品缺陷检测***，包括：存储器和处理器；
存储器，存储计算机可执行指令；
处理器，计算机可执行指令在被执行时使处理器执行产品缺陷检测方法。
又一方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有一个或多个计算机程序，一个或多个计算机程序被执行时实现产品缺陷检测方法。
本发明实施例至少取得以下技术效果：利用分类网络、定位检测网络和判断网络构建缺陷检测框架，在构建缺陷检测框架构建过程中，基于产品缺陷类型设置分类网络和定位检测网络，这样在产品缺陷检测过程中，可以先利用分类算法对产品图像可能存在的缺陷进行分类，并在缺陷分类的基础上，再采用定位检测算法来快速定位缺陷位置，由此通过两级检测可以准确的检测出产品是否存在缺陷，并在产品存在缺陷时，检测出缺陷类型和缺陷位置。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例示出的产品缺陷检测***的硬件配置的框图；
图2为本发明实施例示出的产品缺陷检测方法流程图；
图3为本发明实施例示出的构建缺陷检测框架示意图；
图4为本发明实施例示出的检测破损缺陷与网偏缺陷的流程图；
图5为本发明实施例示出的检测杂质缺陷的流程图；
图6为本发明实施例示出的对包括细小网偏缺陷的丝网状产品图像处理与检测的流程图；
图7为本发明实施例示出的检测细小网偏缺陷的流程图；
图8为本发明实施例示出的产品缺陷检测装置的结构框图；
图9为本发明实施例示出的产品缺陷检测***的结构框图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<实施例一>
图1是根据本发明实施例的产品缺陷检测***100的硬件配置的框图。
如图1所示，产品缺陷检测***100包括图像采集装置1000和产品缺陷检测装置2000。
图像采集装置1000用于采集产品图像，并将采集到的产品图像提供至产品缺陷检测装置2000。
该图像采集装置1000可以是能够进行拍照的任意成像设备，例如摄像头等。
产品缺陷检测装置2000可以是任意的电子设备，例如PC机、笔记本电脑、服务器等。
在本实施例中，参照图1所示，产品缺陷检测装置2000可以包括处理器2100、存储器2200、接口装置2300、通信装置2400、显示装置2500、输入装置2600、扬声器2700、麦克风2800等等。
处理器2100可以是移动版处理器。存储器2200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置2300例如包括USB接口、耳机接口等。通信装置2400例如能够进行有线或无线通信，通信装置2400可以包括短距离通信装置，例如是基于Hilink协议、WiFi(IEEE 802.11协议)、Mesh、蓝牙、ZigBee、Thread、Z-Wave、NFC、UWB、LiFi等短距离无线通信协议进行短距离无线通信的任意装置，通信装置2400也可以包括远程通信装置，例如是进行WLAN、GPRS、2G/3G/4G/5G远程通信的任意装置。显示装置2500例如是液晶显示屏、触摸显示屏等，显示装置2500用于显示图像采集装置1000采集的产品图像。输入装置2600例如可以包括触摸屏、键盘等。用户可以通过扬声器2700和麦克风2800输入/输出语音信息。
在该实施例中，产品缺陷检测装置2000的存储器2200用于存储指令，该指令用于控制处理器2100进行操作以至少执行根据本发明任意实施例的产品缺陷检测方法。技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
尽管在图1中示出了产品缺陷检测装置2000的多个装置，但是，本发明可以仅涉及其中的部分装置，例如，产品缺陷检测装置2000只涉及存储器2200、处理器2100和显示装置2500。
在本实施例中，图像采集装置1000用于采集产品图像提供至产品缺陷检测装置2000，产品缺陷检测装置2000则基于该图像实施根据本发明任意实施例的产品缺陷检测方法。
应当理解的是，尽管图1仅示出一个图像采集装置1000和一个产品缺陷检测装置2000，但不意味着限制各自的数量，产品缺陷检测***100中可以包含多个图像采集装置1000和/或产品缺陷检测装置2000。
<实施例二>
产品制造过程中，上游工艺的不稳定、机械定位精度不够高以及厂房内的环境等因素经常会使生产出来的产品具有各种形态的缺陷。以丝网状产品为例，丝网状产品的缺陷类别主要包括破损、网偏、杂质和双网四类缺陷。
其中破损缺陷是由于网丝断裂或者网孔变形造成的，有的表现为比正常的网孔面积大很多，有的表现为与正常网孔面积相近，但是网孔区域的形态与正常网孔差异较大。网偏缺陷是由于网丝没有与工件搭边而造成的缺陷，网偏中还包含一类细小网偏缺陷，该缺陷是由于网布贴合时，轻微旋转导致少数网丝没有搭边造成的。杂质缺陷是由于多余的丝网原材料遗留在丝网上，或者厂房内的漂浮物散落在丝网上造成的，杂质缺陷在图像中一般呈现与网丝相同的黑色，由于杂质与图像中的网丝颜色相同且部分杂质非常细小，因此杂质缺陷的检测也是难点。双网缺陷一般是由于两个或者多个丝网同时放置在一个工件上造成的，与正常产品的差异较大。
针对以上描述的产品缺陷问题，本申请实施例的整体构思为：以基于深度学习的图像分类算法为核心，在图像分类的基础上，再采用基于深度学习的目标检测算法来快速定位缺陷的位置，以准确检测出产品是否存在缺陷，并检测出所存在缺陷的类型和位置。
本实施例以丝网状产品为例来说明具体的技术细节，但本实施例的技术方案不局限于丝网状产品缺陷的检测场景。
图2为本发明实施例示出的产品缺陷检测方法流程图，如图2所示，本实施例的方法包括：
S2100，构建缺陷检测框架，缺陷检测框架包括分类网络、定位检测网络和判断网络。
其中，分类网络、定位检测网络和判断网络依次串联连接。
分类网络用于对产品的缺陷类型进行分类。对丝网状产品的图像，本实施例中的分类网络可以分出破损、网偏、杂质和双网四类缺陷，其中分类网络对双网缺陷的分类准确十分高，对破损缺陷与网偏缺陷的分类准确性次之，对杂质缺陷的分类准确性最低。因此，本实施例中无需利用定位检测网络进一步对分类网络分出的双网类缺陷进行定位检测，而需要利用定位检测网络进一步对分类网络分出的破损缺陷、网偏缺陷和杂质缺陷进行定位检测。可以理解，需要时可以在框架中建立针对双网缺陷的定位检测网络来进一步进行检测。
由于丝网状产品的细小网偏类缺陷的面积非常小，分类网络极易判断错误。因此本实施例为了降低对细小网偏类缺陷的漏检，所设置的用于检测细小网偏缺陷的定位检测网络与用于检测破损缺陷、网偏缺陷、杂质缺陷的定位检测网络具有区别，本实施例用于检测细小网偏缺陷的定位检测网络是将细小网偏缺陷的形状特征作为该定位检测网络的输入，而用于检测破损缺陷、网偏缺陷、杂质缺陷的定位检测网络是将整个图像作为输入。
判断网络用于根据分类网络输出的分类结果和定位检测网络输出的检测结果综合判断所述产品是否存在缺陷，并在存在缺陷时，检测出缺陷类型并标记缺陷位置。
S2200，利用包含不同缺陷类型的产品的样本图像对分类网络进行训练，得到能够将样本图像中存在的缺陷类型分类的分类网络。
在本实施例中，分类网络采用基于深度学习的图像分割算法实现。例如可以采用Alxnet、Vgg、Resnet、Inception net、Densenet、Googlenet、Nasnet、Xception等网络模型搭建所述分类网络。由于Densenet网络模型具有分类速度快、分类准确性高的特征，本实施例优选采用Densenet(Dense Convolutional Network)网络模型搭建分类器。
S2300，利用包含不同缺陷类型的产品的样本图像对定位检测网络进行训练，得到能够定位样本图像中每种类型的缺陷所在位置的定位检测网络。
在本实施例中，定位检测网络采用深度学习的目标检测算法实现，例如采用MaskR-CNN算法。Mask R-CNN是一种典型的多实例分割算法，该算法先利用主干网络提取图像特征，再在特征金字塔的基础上通过RPN(Region Proposal Network，区域生成网络)产生数量较少的候选区域，然后对应每一个候选区域，预测物体的类别、外接矩形框。
在一些实施例中，定位检测网络可以为多类别检测网络，即通过一个定位检测网络完成对产品的多种缺陷类型的定位检测。当然，定位检测网络也可以为二分类检测网络，二分类检测网络的输出结果为0或1，在定位检测网络为二分类检测网络时，应根据产品的缺陷类型的数量设置定位检测网络的数量。例如，用于检测破损缺陷的二分类定位检测网络，其输出结果为0时，表示产品不存在破损缺陷，输出结果为1时表示产品存在破损缺陷。
以丝网状产品为例，破损缺陷对应设置一个定位检测网络、网偏缺陷对应设置一个定位检测网络、杂质缺陷对应设置一个定位检测网络。由于杂质、破损、网偏三种缺陷的不良特征差异较大，利用Mask R-CNN算法进行多类别检测的准确度不高，而利用Mask R-CNN算法进行二分类检测的正确率较高。因此，本实施例优选设置定位检测网络为二分类检测网络，为每种缺陷类型设置相应的定位检测网络。
在一些实施例中，Mask R-CNN算法的主干网络可以采用resnet101网络，RPN网络输出的候选区域数量设为1000，mask分支对其中得分较高的前100个候选区域进行预测。
需要说明的是，针对丝网状产品的细小网偏缺陷相对破损缺陷、网偏缺陷、杂质缺陷更难被检测到的情况，因此本实施例设置用于检测细小网偏缺陷的定位检测网络具有形状特征提取功能、分类计算功能和逻辑判断功能。通过形状特征提取功能提取可能存在细小网偏缺陷的图像区域的形状特征，通过分类计算功能基于所提取的各个图像区域的形状特征对每个图像区域是否存在细小网偏缺陷进行分类，通过逻辑判断功能统计每个图像区域的分类结果并基于分类结果确定产品是否存在细小网偏缺陷。
S2400，在进行产品缺陷检测时，将采集到的产品图像输入缺陷检测框架，利用分类网络对产品图像中的缺陷类型进行分类，以及利用定位检测网络对产品图像中每种类型的缺陷位置进行定位，将得到的分类结果和检测结果输入判断网络，利用判断网络判断出产品是否存在缺陷，并在产品存在缺陷时，检测缺陷类型及缺陷位置。
在一些实施例中，在采集到产品图像后，可以对产品图像进行图像预处理，例如对产品图像进行尺寸调整、降噪处理等，将预处理后的产品图像输入到缺陷检测框架。
本实施例利用分类网络、定位检测网络和判断网络构建缺陷检测框架，在构建缺陷检测框架构建过程中，基于产品缺陷类型设置分类网络和定位检测网络，这样在产品缺陷检测过程中，可以先利用分类算法对产品图像可能存在的缺陷进行分类，并在缺陷分类的基础上，再采用定位检测算法来快速定位缺陷位置，由此通过两级检测可以准确的检测出产品是否存在缺陷，并在产品存在缺陷时，检测出缺陷类型和缺陷位置。
本实施例的检测方法能够满足产线需求，提高产线效率。
<实施例三>
本申请实施例还提供了一种产品缺陷检测方法，在本实施例中，上述步骤S2100中构建缺陷检测框架包括S2110～S2120：
S2110，根据产品缺陷类型的数量与分类网络对每种缺陷类型分类的正确率，设置定位检测网络的数量和判断网络的判断规则。
以丝网状产品为例，丝网状产品的缺陷类型包括破损、网偏、杂质、双网和细小网偏五种缺陷，分类网络对这五种缺陷分类的正确率由高到低为：对双网缺陷的分类正确率>对破损/网偏缺陷的分类正确率>对杂质缺陷的分类正确率>对细小网偏缺陷的分类正确率。比如，利用分类网络对包括这五类缺陷的产品图像进行分类检测时，分类结果中双网缺陷对应的分类数值为0.99以上，破损/网偏缺陷对应的分类数值为0.90以上，杂质缺陷对应的分类数值小于0.70，而细小网偏缺陷对应的分类数值接近0。分类数值指示了分类网络对缺陷的分类正确率，分类数值越大，表明分类网络对缺陷的分类正确率越高，分类结果越可靠。分类数值越小，表明分类网络对缺陷的分类正确率越低，分类结果越不可靠。
此种情况下，可以设置定位检测网络的数量为四个，相应的，判断网络包括四种判断规则。
S2120，设置每个定位检测网络关联产品的一种缺陷类型，以及设置每种判断规则关联产品的一种缺陷类型。
在本实施例中，产品缺陷类型包括第一类缺陷、第二类缺陷和第三类缺陷，第一类缺陷为分类网络对缺陷类型的分类正确率大于第一阈值的缺陷，第二类缺陷为分类网络对缺陷类型的分类正确率不大于第一阈值的缺陷，第三类缺陷为分类网络对缺陷类型的分类正确率小于第二阈值的缺陷，第二阈值小于第一阈值，第一阈值与第二阈值可以根据分类网络对缺陷类型分类的正确率进行设置。以丝网状产品为例，第一阈值可以设置为0.90，第二阈值可以设置为0.50。
在本实施例中的产品为丝网状产品，产品缺陷类型包括双网缺陷、破损缺陷、网偏缺陷、杂质缺陷和细小网偏缺陷；破损缺陷与网偏缺陷为第一类缺陷，杂质缺陷为第二类缺陷，细小网偏缺陷为第三类缺陷，双网缺陷为第四类缺陷。
由上，本实施例基于上述步骤S2110～S2120即可构建出缺陷检测框架中的分类网络。图3示出了丝网状产品对应的一种缺陷检测框架，如图3所示，对于丝网状产品，分类网络对产品图像中的缺陷进行分类，可以输出五种分类结果，分别为产品图像中存在双网缺陷、产品图像中存在破损缺陷、产品图像中存在网偏缺陷、产品图像中存在杂质缺陷、产品图像中不存在缺陷；需要注意的是，本实施例中的分类网络对细小网偏缺陷的分类能力接近于0，即分类网络无法对细小网偏缺陷进行分类。因此，对丝网状产品而言，分类网络可以输出上述五种分类结果。各检测结果对应的定位检测网络包括破损定位检测网络、网偏定位检测网络、细小网偏定位检测网络和杂质定位检测网络，判断网络中相应的判断规则包括破损判断规则、网偏判断规则、细小网偏判断规则和杂质判断规则。
由于分类网络能够准确的分出双网缺陷，因此对检测出仅存在双网缺陷的产品图像无需进一步进行缺陷定位检测。而分类网络对破损缺陷、网偏缺陷和杂质缺陷这三种缺陷的分类正确率相对较低，对细小网偏缺陷无法进行分类。因此在分类网络输出存在破损缺陷的分类结果、存在网偏缺陷的分类结果、存在杂质缺陷的分类结果和不存在缺陷的分类结果(此时产品图像可能存在细小网偏缺陷的)均需进一步进行缺陷定位检测。
<实施例四>
本实施例还提供一种产品缺陷检测方法。在本实施例中，当分类网络的分类结果表示产品图像中存在第一类缺陷时，上述步骤S2400进一步包括S2410～S2420：
S2410，利用第一类缺陷关联的第一定位检测网络检测产品图像中第一类缺陷所在位置，得到检测结果。
本实施例利用Mask R-CNN算法搭建第一定位检测网络，利用Mask R-CNN算法检测产品图像中第一类缺陷所在位置，可以得到下述两种检测结果中的一种，进而由判断网络中的第一判断规则基于检测结果判断产品是否存在第一类缺陷，并在存在第一类缺陷时，定位缺陷位置。
其中，第一种检测结果为检测到用于定位第一类缺陷所在位置的定位框(box)，第二种检测结果为未检测到用于定位第一类缺陷所在位置的定位框。
S2420，利用第一类缺陷关联的第一判断规则判断产品是否存在的第一类缺陷。
第一判断规则的具体判断过程为：若第一定位检测网络输出的检测结果为第一种检测结果，则确定产品存在第一类缺陷，并利用定位框标记第一类缺陷；若第一定位检测网络输出的检测结果为第二种检测结果，则确定产品存在第一类缺陷，不标记第一类缺陷。
需要说明的是，由于本实施例中分类网络对第一类缺陷的分类正确率大于第一阈值，即分类网络对第一类缺陷的分类正确率较高，本实施例认为只要分类网络的分类结果表示产品存在第一类缺陷，那么利用第一定位检测网络进一步对产品图像进行检测时，无论第一定位检测网络是否检测到第一类缺陷的位置，判断网络均判断产品图像存在第一类缺陷。不同之处在于，是否能够将产品图像中存在的第一类缺陷进行标记，即若第一定位检测网络检测到用于定位第一类缺陷所在位置的定位框，利用该定位框标记出第一类缺陷，以便于应用过程中可以根据该标记显示第一类缺陷的位置。若第一定位检测网络没有检测到用于定位第一类缺陷所在位置的定位框，此时不能标记出第一类缺陷。
如图4所示，当利用分类网络对丝网状产品的产品图像进行分类检测时，若分类网络输出的分类结果指示产品图像存在破损缺陷和网偏缺陷，则利用破损定位检测网络和网偏定位检测网络分别对产品图像中的破损缺陷和网偏缺陷进行定位检测，并利用破损判断规则判断产品图像是否存在破损缺陷，利用网偏判断规则判断产品图像是否存在网偏缺陷。
继续参考图4，当破损定位检测网络输出的检测结果中包括用于定位破损缺陷在产品图像中的位置的定位框(即为图4中的box)时，判断产品存在破损缺陷，产品为不合格产品(即为图4中的NG)，并利用该定位框标记破损缺陷。当破损定位检测网络输出的检测结果中不包括用于定位破损缺陷在产品图像中的位置的定位框时，判断产品存在破损缺陷，产品为NG产品。
同样的，当网偏定位检测网络输出的检测结果中包括用于定位网偏缺陷在产品图像中的位置的box时，判断产品存在网偏缺陷，产品为NG产品，并利用该box标记网偏缺陷。当网偏定位检测网络输出的检测结果中不包括用于定位网偏缺陷在产品图像中的位置的box时，判断产品存在网偏缺陷，产品为NG产品。
<实施例五>
本实施例还提供一种产品缺陷检测方法。在本实施例中，当分类网络的分类结果表示产品图像中存在第二类缺陷时，上述步骤S2400进一步包括S2430～S2440：
S2430，利用第二类缺陷关联的第二定位检测网络进一步检测产品图像中是否存在第二类缺陷，得到检测结果。
本实施例利用Mask R-CNN算法搭建第二定位检测网络，由于分类网络对第二类缺陷的分类正确率相对较低。因此本实施例利用Mask R-CNN算法进一步检测产品图像中是否存在第二类缺陷，此时可以得到下述两种检测结果中的一种，进而由判断网络中的第二判断规则基于检测结果判断产品是否存在第二类缺陷，并在存在第二类缺陷时，定位第二类缺陷位置。
其中，第一种检测结果为检测到用于定位第二类缺陷所在位置的定位框，第二种检测结果为未检测到用于定位第二类缺陷所在位置的定位框。
S2440，利用第二类缺陷关联的第二判断规则判断产品是否存在第二类缺陷。
第二判断规则的具体判断过程如下：
在第二定位检测网络输出的检测结果为第一种检测结果时，若定位框所在产品图像区域面积小于面积阈值时，确定产品存在第二类缺陷，并利用定位框标记第二类缺陷；若定位框所在产品图像区域面积不小于该面积阈值，且分类结果中的分类数值小于第一预设值，则确定产品不存在第二类缺陷；若定位框所在产品图像区域面积不小于面积阈值，且分类结果中的分类数值不小于第一预设值，则确定产品存在第二类缺陷，并利用位框标记第二类缺陷。
本实施例可以根据合格产品的产品图像中，根据图像纹理所在图像块的面积设置面积阈值，面积阈值小于图像纹理所在图像块的面积。根据经验设置第一预设值和第二预设值。以丝网状产品为例，假设在合格丝网状产品的产品图像中，正常网格对应的图像块的面积为100个像素点，可以将面积阈值设置为80个像素点。根据经验，将第一预设值设置为0.50，第二预设值设置为0.995，第二预设值应为接近于1的数值，以准确检测出产品图像是否存在杂质缺陷。
基于上述假设，在第二定位检测网络输出的检测结果为第一种检测结果时，若定位框所在产品图像区域面积小于80个像素点，确定产品存在杂质缺陷。若定位框所在产品图像区域面积不小于80个像素点，且分类网络输出的分类结果中杂质缺陷的分类数值小于0.5，则确定产品不存在杂质缺陷。若定位框所在产品图像区域面积不小于80个像素点，且分类网络输出的分类结果中杂质缺陷的分类数值大于0.5，则确定产品存在杂质缺陷。
在第二定位检测网络输出的检测结果为第二种检测结果时，若分类结果中的分类数值小于第二预设值，则确定产品不存在第二类缺陷；若分类结果中的分类数值不小于第二预设值，则确定产品存在第二类缺陷；其中，第一预设值小于第二预设值。
仍然基于上述假设，在第二定位检测网络输出的检测结果为第二种检测结果时，若分类网络输出的分类结果中杂质缺陷的分类数值小于0.995，则确定产品不存在杂质缺陷；若分类网络输出的分类结果中杂质缺陷的分类数值大于0.995，则确定产品存在杂质缺陷。
如图3所示，当利用分类网络对丝网状产品的产品图像进行分类检测时，若分类网络输出的分类结果指示产品图像存在杂质缺陷，则利用杂质定位检测网络进一步对产品图像中的杂质缺陷进行定位检测，并利用杂质判断规则判断产品图像是否存在杂质缺陷。
如图5所述，杂质判断规则的判断过程包括：
S501，根据杂质定位检测网络输出的检测结果判断产品图像中是否可能不存在杂质；在判断不可能不存在杂质(即在判存在杂质)时，判断产品存在杂质缺陷，该产品为不合格(即为图5中的NG)产品，并利用图5中的box标记杂质缺陷；在判断可能存在杂质时执行S502。
在杂质定位检测网络输出第一种检测结果，且第一种检测结果包括的定位框所在产品图像区域面积小于面积阈值时，判断产品图像中存在杂质。
在杂质定位检测网络输出第一种检测结果，且第一种检测结果包括的定位框所在产品图像区域面积不小于面积阈值时，判断产品图像中可能不存在杂质；以及在杂质定位检测网络输出第二种检测结果时，判断产品图像中可能不存在杂质。
S502，判断杂质定位检测网络输出的检测结果中是否包括用于定位杂质缺陷的定位框。
由于在杂质定位检测网络输出第一种检测结果和输出第二种检测结果时执行S502，第一种检测结果中包括用于定位杂质缺陷的定位框，而第二种检测结果中不包括用于定位杂质缺陷的定位框。
因此，通过S502对上述两种情况进行判断，在检测结果中包括用于定位杂质缺陷的定位框时，执行S503，在检测结果中不包括用于定位杂质缺陷的定位框时，执行S504。
S503，判断分类网络输出的杂质缺陷对应的分类数值Pc是否小于第一预设值T1。
若Pc小于T1则确定产品不存在杂质缺陷，为合格(即为图5中的OK)产品；若Pc不小于T1则确定产品存在杂质缺陷，为NG产品。
S504，判断分类网络输出的杂质缺陷对应的Pc是否小于第二预设值T2，若Pc小于T2则确定产品不存在杂质缺陷，为合格OK产品。若Pc不小于T2则确定产品存在杂质缺陷，为合格NG产品。
<实施例六>
本实施例还提供一种产品缺陷检测方法。在本实施例中，当分类网络的分类结果表示产品图像中不存在缺陷时，上述步骤S2400进一步包括S2450～S2460：
S2450，利用第三类缺陷关联的第三定位检测网络提取产品图像的形状特征，并基于形状特征对产品图像中的第三类缺陷进行检测，得到检测结果。
本实施例利用特征提取结构与SVM(Support Vector Machine，支持向量机)分类器搭建第三定位检测网络，由于分类网络很难检测出产品图像中的第三类缺陷。因此本实施例基于第三类缺陷的纹理形态与产品正常纹理的形态明显不同的特征，以丝网状产品为例，细小网偏缺陷(即为第三类缺陷)的纹理形态与产品正常网孔的纹理形态明显不同，可以利用特征提取结构提取出产品图像中的产品纹理所在各个图像块的纹理特征。提取到每个图像块的纹理特征之后，再利用SVM分类器对所有图像块进行分类，基于所有图像块的分类结果输出检测结果。
其中，第一种检测结果为检测到第三类缺陷及用于定位第三类缺陷所在位置的定位框，第二种检测结果为未检测到第三类缺陷。
在一些实施例中，可以通过下述方法提取产品图像的形状特征：
将产品图像进行二值化处理，并对得到的二值图像进行区域检测，得到产品纹理所在的多个图像块；检测每个图像块的最小外接矩形框，并计算每个最小外接矩形框所在产品图像的目标图像区域的傅里叶描述子，傅里叶描述子即为产品图像的形状特征。
如图6所示，以丝网状产品为例，在丝网状产品图像中，可以将网孔区域(即前文描述的产品图像中的产品纹理所在的图像块)的傅里叶描述子作为该网孔区域形状特征，傅里叶描述子的本质是利用物体边界信息的傅里叶变换，将物体的轮廓特征从空间域变换到频域，将任意大小的物体轮廓变换为固定长度的特征向量，以便输入SVM分类器进行类别判断。
在提取到形状特征之后，通过下述方案得到检测结果：将傅里叶描述子输入第三定位检测网络的分类器中，利用分类器对每个图像块进行分类，得到每个图像块的分类结果；若所有图像块的分类结果均为第一数值，则第三定位检测网络输出的检测结果为第二种检测结果；若有一个或一个以上的图像块的分类结果为第二数值，则第三定位检测网络输出的检测结果为第一种检测结果，其中将分类结果为第二数值的图像块的最小外接矩形框作为第一种检测结果中的定位框。
参考图6，将丝网状产品图像中每个网孔区域的傅里叶描述子作为该网孔区域形状特征输出到SVM分类器中，SVM分类器输出每个网孔区域的分类结果，若所有网孔区域的分类结果都为0(第一数值)，则确定丝网状产品为合格(即为图6中的OK)产品，若有一个或一个以上的网孔区域的分类结果为1(第二数值)，则确定丝网状产品为不合格(即为图6中的NG)产品，将分类结果为1的网孔区域的最小外接矩形块作为定位框(即为图6中的box)，利用box标记丝网状产品图像中的细小网偏缺陷。
S2460，利用第三类缺陷关联的第三判断规则判断产品是否存在第三类缺陷。
第三判断规则的具体判断过程为：若第三定位检测网络输出的检测结果为第一种检测结果，则确定产品存在第三类缺陷，并利用定位框标记第三类缺陷；若第三定位检测网络输出的检测结果为第二种检测结果，则确定产品不存在第三类缺陷。
在产品为丝网状产品的应用场景中，对细小网偏缺陷的定位检测过程如图7所示。
参考图7，当利用分类网络对丝网状产品的产品图像进行分类检测时，若分类网络输出的分类结果指示产品图像不存在缺陷，则利用细小网偏定位检测网络对产品图像中的细小网偏缺陷进行定位检测，并利用细小网偏判断规则判断产品图像是否存在细小网偏缺陷。
继续参考图7，当细小网偏定位检测网络输出的检测结果中包括用于定位细小网偏缺陷在产品图像中的位置的定位框(即为图7中的box)时，判断产品存在细小网偏缺陷，产品为不合格产品(即为图7中的NG)，并利用该box标记细小网偏缺陷。当细小网偏定位检测网络输出的检测结果中不包括用于定位细小网偏缺陷在产品图像中的位置的box时，判断产品不存在细小网偏缺陷，产品为合格(即为图7中的OK)产品。
<实施例七>
图8为本发明实施例示出的产品缺陷检测装置的结构框图，如图8所示，本实施例的装置包括：
预处理单元8100，用于构建缺陷检测框架，缺陷检测框架包括分类网络、定位检测网络和判断网络；利用包含不同缺陷类型的产品的样本图像对分类网络进行训练，得到能够将样本图像中存在的缺陷类型正确分类的分类网络；利用包含不同缺陷类型的产品的样本图像对定位检测网络进行训练，得到能够定位样本图像中每种类型的缺陷所在位置的定位检测网络。
缺陷检测单元8200，用于在进行产品缺陷检测时，将采集到的产品图像输入缺陷检测框架，利用分类网络对产品图像中的缺陷类型进行分类，以及利用定位检测网络对产品图像中每种类型的缺陷位置进行定位，将得到的分类结果和检测结果输入判断网络，判断出产品是否存在的缺陷，并在产品存在缺陷时，检测缺陷类型及缺陷位置。
在一些实施例中，预处理单元8100，用于根据产品缺陷类型的数量与分类网络对每种缺陷类型分类的正确率，设置定位检测网络的数量和判断网络的判断规则；设置每个定位检测网络关联产品的一种缺陷类型，以及设置每种判断规则关联产品的一种缺陷类型；其中，产品缺陷类型包括第一类缺陷、第二类缺陷和第三类缺陷，第一类缺陷为分类网络对缺陷类型的分类正确率大于第一阈值的缺陷，第二类缺陷为分类网络对缺陷类型的分类正确率不大于第一阈值的缺陷，第三类缺陷为分类网络对缺陷类型的分类正确率小于第二阈值的缺陷；以及，产品缺陷类型还包括第四类缺陷，当分类网络对缺陷类型的分类为第四类缺陷时，判断出产品存在第四类缺陷，不再利用定位检测网络对第四类缺陷进行检测。
在一些实施例中，缺陷检测单元8200包括第一检测模块和第一判断模块；
第一检测模块，在分类网络的分类结果表示产品图像中存在第一类缺陷时，利用第一类缺陷关联的第一定位检测网络检测产品图像中第一类缺陷所在位置，得到检测结果，检测结果包括下述两种：第一种检测结果为检测到用于定位第一类缺陷所在位置的定位框；第二种检测结果为未检测到用于定位第一类缺陷所在位置的定位框。
相应的，第一判断模块利用第一类缺陷关联的第一判断规则判断产品是否存在的第一类缺陷；若为第一种检测结果，则确定产品存在第一类缺陷，并利用定位框标记第一类缺陷；若为第二种检测结果，则确定产品存在第一类缺陷，不标记第一类缺陷。
在一些实施例中，缺陷检测单元8200包括第二检测模块和第二判断模块；
第二检测模块在分类网络的分类结果表示产品图像中存在第二类缺陷时，利用第二类缺陷关联的第二定位检测网络进一步检测产品图像中是否存在第二类缺陷，得到检测结果，检测结果包括下述两种：第一种检测结果为检测到用于定位第二类缺陷所在位置的定位框；第二种检测结果为未检测到用于定位第二类缺陷所在位置的定位框。
相应的，第二判断模块利用第二类缺陷关联的第二判断规则判断产品是否存在第二类缺陷；在为第一种检测结果时，若定位框所在产品图像区域面积小于面积阈值时，确定产品存在第二类缺陷，并利用定位框标记第二类缺陷；若定位框所在产品图像区域面积不小于面积阈值，且分类结果中的分类数值小于第一预设值，则确定产品不存在第二类缺陷；若定位框所在产品图像区域面积不小于面积阈值，且分类结果中的分类数值不小于第一预设值，则确定产品存在第二类缺陷，并利用定位框标记第二类缺陷；在为第二种检测结果时，若分类结果中的分类数值小于第二预设值，则确定产品不存在第二类缺陷；若分类结果中的分类数值不小于第二预设值，则确定产品存在第二类缺陷；其中，第一预设值小于第二预设值。
在一些实施例中，缺陷检测单元8200包括第三检测模块和第三判断模块；
第三检测模块在分类网络的分类结果表示产品图像中不存在缺陷时，利用第三类缺陷关联的第三定位检测网络提取产品图像的形状特征，并基于形状特征对产品图像中的第三类缺陷进行检测，得到检测结果，检测结果包括：第一种检测结果为检测到第三类缺陷及用于定位第三类缺陷所在位置的定位框；第二种检测结果为未检测到第三类缺陷。
相应的，第三判断模块利用第三类缺陷关联的第三判断规则判断产品是否存在的第三类缺陷；若为第一种检测结果，则确定产品存在第三类缺陷，并利用定位框标记第三类缺陷；若为第二种检测结果，则确定产品不存在第三类缺陷。
在一些实施例中，第三检测模块还用于将产品图像进行二值化处理，并对得到的二值图像进行区域检测，得到产品纹理所在的多个图像块；检测每个图像块的最小外接矩形框，并计算每个最小外接矩形框所在产品图像的目标图像区域的傅里叶描述子，傅里叶描述子即为产品图像的形状特征。
第三检测模块还用于将傅里叶描述子输入第三定位检测网络的分类器中，利用分类器对每个图像块进行分类，得到每个图像块的分类结果；若所有图像块的分类结果均为第一数值，则第三定位检测网络输出的检测结果为第二种检测结果；若有一个或一个以上的图像块的分类结果为第二数值，则第三定位检测网络输出的检测结果为第一种检测结果，其中将分类结果为第二数值的图像块的最小外接矩形框作为第一种检测结果中的定位框。
<实施例八>
图9为本发明实施例示出的产品缺陷检测***的结构框图，如图9所示，在硬件层面，该虚拟现实***包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器等。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机可执行指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成产品缺陷检测装置。处理器，执行存储器所存放的程序实现如上文描述的产品缺陷检测方法。
上述如本说明书图9所示实施例揭示的产品缺陷检测装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上文描述的产品缺陷检测方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述产品缺陷检测方法的步骤。
本发明还提供了一种计算机可读存储介质。
该计算机可读存储介质存储一个或多个计算机程序，该一个或多个计算机程序包括指令，该指令当被处理器执行时，能够实现上文描述的产品缺陷检测方法。
为了便于清楚描述本发明实施例的技术方案，在发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种产品缺陷检测方法，其特征在于，包括：
构建缺陷检测框架，所述缺陷检测框架包括分类网络、定位检测网络和判断网络；
利用包含不同缺陷类型的产品的样本图像对所述分类网络进行训练，得到能够将所述样本图像中存在的缺陷类型分类的分类网络；
利用包含不同缺陷类型的产品的样本图像对所述定位检测网络进行训练，得到能够定位所述样本图像中每种类型的缺陷所在位置的定位检测网络；
在进行产品缺陷检测时，将采集到的产品图像输入所述缺陷检测框架，利用所述分类网络对所述产品图像中的缺陷类型进行分类，以及利用所述定位检测网络对所述产品图像中每种类型的缺陷位置进行定位，将得到的分类结果和检测结果输入所述判断网络，判断出产品是否存在缺陷，并在产品存在缺陷时，检测缺陷类型及缺陷位置。
2.根据权利要求1所述的方法，其特征在于，所述构建缺陷检测框架，包括：
根据所述产品缺陷类型的数量与所述分类网络对每种缺陷类型分类的正确率，设置所述定位检测网络的数量和所述判断网络的判断规则；
设置每个定位检测网络关联所述产品的一种缺陷类型，以及设置每种判断规则关联所述产品的一种缺陷类型；
其中，所述产品缺陷类型包括第一类缺陷、第二类缺陷和第三类缺陷，所述第一类缺陷为所述分类网络对缺陷类型的分类正确率大于第一阈值的缺陷，所述第二类缺陷为所述分类网络对缺陷类型的分类正确率不大于第一阈值的缺陷，所述第三类缺陷为所述分类网络对缺陷类型的分类正确率小于第二阈值的缺陷；
以及，所述产品缺陷类型还包括第四类缺陷，当所述分类网络对缺陷类型的分类为第四类缺陷时，判断出产品存在第四类缺陷，不再利用定位检测网络对第四类缺陷进行检测。
3.根据权利要求2所述的方法，其特征在于，所述利用所述分类网络对所述产品图像中的缺陷类型进行分类，以及利用所述定位检测网络对所述产品图像中每种类型的缺陷位置进行定位，包括：
在所述分类网络的分类结果表示所述产品图像中存在第一类缺陷时，利用所述第一类缺陷关联的第一定位检测网络检测所述产品图像中所述第一类缺陷所在位置，得到检测结果，所述检测结果包括下述两种：
第一种检测结果为检测到用于定位所述第一类缺陷所在位置的定位框；
第二种检测结果为未检测到用于定位所述第一类缺陷所在位置的定位框；
则所述将得到的分类结果和检测结果输入所述判断网络，判断出产品是否存在的缺陷，并在产品存在缺陷时，检测缺陷类型并显示缺陷位置，包括：利用所述第一类缺陷关联的第一判断规则判断所述产品是否存在的第一类缺陷；
若为所述第一种检测结果，则确定所述产品存在第一类缺陷，并利用定位框标记所述第一类缺陷；
若为所述第二种检测结果，则确定所述产品存在第一类缺陷，不标记所述第一类缺陷。
4.根据权利要求2所述的方法，其特征在于，所述利用所述分类网络对所述产品图像中的缺陷类型进行分类，以及利用所述定位检测网络对所述产品图像中每种类型的缺陷位置进行定位，包括：
在所述分类网络的分类结果表示所述产品图像中存在第二类缺陷时，利用所述第二类缺陷关联的第二定位检测网络进一步检测所述产品图像中是否存在所述第二类缺陷，得到检测结果，所述检测结果包括下述两种：
第一种检测结果为检测到用于定位所述第二类缺陷所在位置的定位框；
第二种检测结果为未检测到用于定位所述第二类缺陷所在位置的定位框；
则所述将得到的分类结果和检测结果输入所述判断网络，判断出产品是否存在的缺陷，并在产品存在缺陷时，检测缺陷类型并显示缺陷位置，包括：利用所述第二类缺陷关联的第二判断规则判断所述产品是否存在第二类缺陷；
在为所述第一种检测结果时，若所述定位框所在产品图像区域面积小于面积阈值时，确定所述产品存在第二类缺陷，并利用所述定位框标记所述第二类缺陷；若所述定位框所在产品图像区域面积不小于所述面积阈值，且所述分类结果中的分类数值小于第一预设值，则确定所述产品不存在第二类缺陷；若所述定位框所在产品图像区域面积不小于所述面积阈值，且所述分类结果中的分类数值不小于所述第一预设值，则确定所述产品存在第二类缺陷，并利用所述定位框标记所述第二类缺陷；
在为所述第二种检测结果时，若所述分类结果中的分类数值小于第二预设值，则确定所述产品不存在第二类缺陷；若所述分类结果中的分类数值不小于所述第二预设值，则确定所述产品存在第二类缺陷；其中，所述第一预设值小于所述第二预设值。
5.根据权利要求2所述的方法，其特征在于，所述利用所述分类网络对所述产品图像中的缺陷类型进行分类，以及利用所述定位检测网络对所述产品图像中每种类型的缺陷位置进行定位，包括：
在所述分类网络的分类结果表示所述产品图像中不存在缺陷时，利用第三类缺陷关联的第三定位检测网络提取所述产品图像的形状特征，并基于所述形状特征对所述产品图像中的所述第三类缺陷进行检测，得到检测结果，所述检测结果包括：
第一种检测结果为检测到第三类缺陷及用于定位所述第三类缺陷所在位置的定位框；
第二种检测结果为未检测到第三类缺陷；
则所述将得到的分类结果和检测结果输入所述判断网络，判断出产品是否存在的缺陷，并在产品存在缺陷时，检测缺陷类型并显示缺陷位置，包括：利用所述第三类缺陷关联的第三判断规则判断所述产品是否存在的第三类缺陷；
若为所述第一种检测结果，则确定所述产品存在第三类缺陷，并利用所述定位框标记所述第三类缺陷；
若为所述第二种检测结果，则确定所述产品不存在第三类缺陷。
6.根据权利要求5所述的方法，其特征在于，所述提取所述产品图像的形状特征，包括：
将所述产品图像进行二值化处理，并对得到的二值图像进行区域检测，得到所述产品纹理所在的多个图像块；
检测每个图像块的最小外接矩形框，并计算每个最小外接矩形框所在产品图像的目标图像区域的傅里叶描述子，所述傅里叶描述子即为所述产品图像的形状特征。
7.根据权利要求6所述的方法，其特征在于，所述基于所述形状特征对所述产品图像中的所述第三类缺陷进行检测，得到检测结果，包括：
将所述傅里叶描述子输入所述第三定位检测网络的分类器中，利用所述分类器对每个图像块进行分类，得到每个图像块的分类结果；
若所有图像块的分类结果均为第一数值，则所述第三定位检测网络输出的检测结果为所述第二种检测结果；
若有一个或一个以上的图像块的分类结果为第二数值，则所述第三定位检测网络输出的检测结果为所述第一种检测结果，其中将分类结果为第二数值的图像块的最小外接矩形框作为所述第一种检测结果中的定位框。
8.根据权利要求2所述的方法，其特征在于，所述产品为丝网状产品，所述产品缺陷类型包括双网缺陷、破损缺陷、网偏缺陷、杂质缺陷和细小网偏缺陷；所述破损缺陷与所述网偏缺陷为第一类缺陷，所述杂质缺陷为第二类缺陷，所述细小网偏缺陷为第三类缺陷，所述双网缺陷为第四类缺陷。
9.一种产品缺陷检测装置，包括：
预处理单元，用于构建缺陷检测框架，所述缺陷检测框架包括分类网络、定位检测网络和判断网络；利用包含不同缺陷类型的产品的样本图像对所述分类网络进行训练，得到能够将所述样本图像中存在的缺陷类型分类的分类网络；利用包含不同缺陷类型的产品的样本图像对所述定位检测网络进行训练，得到能够定位所述样本图像中每种类型的缺陷所在位置定位检测网络；
缺陷检测单元，用于在进行产品缺陷检测时，将采集到的产品图像输入所述缺陷检测框架，利用所述分类网络对所述产品图像中的缺陷类型进行分类，以及利用所述定位检测网络对所述产品图像中每种类型的缺陷位置进行定位，将得到的分类结果和检测结果输入所述判断网络，判断出产品是否存在的缺陷，并在产品存在缺陷时，检测缺陷类型及缺陷位置。
10.一种产品缺陷检测***，其特征在于，包括：存储器和处理器；
所述存储器，存储计算机可执行指令；
所述处理器，所述计算机可执行指令在被执行时使所述处理器执行如权利要求1-8任一项所述的产品缺陷检测方法。
CN201911397513.XA 2019-12-30 2019-12-30 一种产品缺陷检测方法、装置与*** Active CN111044525B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911397513.XA CN111044525B (zh) 2019-12-30 2019-12-30 一种产品缺陷检测方法、装置与***
PCT/CN2020/111327 WO2021135302A1 (zh) 2019-12-30 2020-08-26 一种产品缺陷检测方法、装置与***
US17/250,263 US11748873B2 (en) 2019-12-30 2020-08-26 Product defect detection method, device and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911397513.XA CN111044525B (zh) 2019-12-30 2019-12-30 一种产品缺陷检测方法、装置与***

Publications (2)

Publication Number Publication Date
CN111044525A true CN111044525A (zh) 2020-04-21
CN111044525B CN111044525B (zh) 2021-10-29

Family

ID=70241931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911397513.XA Active CN111044525B (zh) 2019-12-30 2019-12-30 一种产品缺陷检测方法、装置与***

Country Status (3)

Country Link
US (1) US11748873B2 (zh)
CN (1) CN111044525B (zh)
WO (1) WO2021135302A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111595850A (zh) * 2020-04-27 2020-08-28 平安科技（深圳）有限公司 切片缺陷检测方法、电子装置及可读存储介质
CN111842183A (zh) * 2020-07-27 2020-10-30 深圳市维图视技术有限公司 瓶体检测装置及瓶体检测方法
CN112634201A (zh) * 2020-12-02 2021-04-09 歌尔股份有限公司 目标检测方法、装置和电子设备
CN112686157A (zh) * 2020-12-30 2021-04-20 上海书山智能科技有限公司 一种基于深度学习的图书定位和识别方法
CN112734690A (zh) * 2020-12-17 2021-04-30 郑州金惠计算机***工程有限公司 一种表面缺陷检测方法、装置及计算机可读存储介质
CN112816496A (zh) * 2021-01-05 2021-05-18 广州市华颉电子科技有限公司 一种汽车域控制器的接口装配质量自动光学检测方法及装置
WO2021135302A1 (zh) * 2019-12-30 2021-07-08 歌尔股份有限公司 一种产品缺陷检测方法、装置与***
WO2021135372A1 (zh) * 2019-12-30 2021-07-08 歌尔股份有限公司 一种产品缺陷检测方法、装置与***
EP4080414A1 (en) * 2021-04-23 2022-10-26 Samsung Display Co., Ltd. Systems and methods for identifying manufacturing defects
CN115937109A (zh) * 2022-11-17 2023-04-07 创新奇智(上海)科技有限公司 硅片缺陷检测的方法、装置、电子设备及存储介质
WO2023095416A1 (ja) * 2021-11-25 2023-06-01 株式会社ジャパンディスプレイ 表示装置の検査方法及び情報処理装置
TWI808019B (zh) * 2022-10-03 2023-07-01 漢通科技股份有限公司 基於人工神經網路的物件表面型態的篩選方法與系統

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511503B (zh) * 2021-12-30 2024-05-17 广西慧云信息技术有限公司 一种自适应板材厚度的刨花板表面缺陷检测方法
CN114758260B (zh) * 2022-06-15 2022-10-18 成都鹏业软件股份有限公司 工地安全防护网检测方法及***
CN116342495B (zh) * 2023-02-28 2023-09-08 河南工程学院 基于图像处理的布匹缺陷检测方法
CN116542974B (zh) * 2023-07-05 2023-09-26 杭州百子尖科技股份有限公司 一种基于多尺度网格化的覆铜板表面缺陷检测方法
CN116883391B (zh) * 2023-09-05 2023-12-19 中国科学技术大学 一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法
CN118038151A (zh) * 2024-02-19 2024-05-14 广州里工实业有限公司 晶圆缺陷分类检测方法、***、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160169802A1 (en) * 2012-10-05 2016-06-16 Seagate Technology Llc Classification of surface features using fluoresence
CN107643295A (zh) * 2017-08-24 2018-01-30 中国地质大学（武汉） 一种基于机器视觉的布匹缺陷在线检测的方法和***
CN108509976A (zh) * 2018-02-12 2018-09-07 北京佳格天地科技有限公司 动物的识别装置和方法
CN109741295A (zh) * 2018-11-28 2019-05-10 歌尔股份有限公司 产品质量检测方法及装置
CN109767431A (zh) * 2018-12-29 2019-05-17 北京领邦智能装备股份公司 零件外观缺陷检测方法、装置、设备及可读存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100568973B1 (ko) * 1999-03-18 2006-04-07 제이에프이 스틸 가부시키가이샤 결함 마킹방법 및 장치
JP5103058B2 (ja) * 2007-05-28 2012-12-19 株式会社日立ハイテクノロジーズ 欠陥観察装置及び欠陥観察方法
KR101838664B1 (ko) 2017-11-28 2018-03-14 서울전선 주식회사 케이블 표면 검사 장치
US11379970B2 (en) * 2018-02-23 2022-07-05 Asml Netherlands B.V. Deep learning for semantic segmentation of pattern
CN109741296B (zh) 2018-11-28 2023-10-20 歌尔股份有限公司 产品质量检测方法及装置
CN110490842B (zh) 2019-07-22 2023-07-04 同济大学 一种基于深度学习的带钢表面缺陷检测方法
CN110487802A (zh) 2019-08-15 2019-11-22 苏州热工研究院有限公司 现场检测光伏组件缺陷的识别装置
JP7453767B2 (ja) * 2019-09-25 2024-03-21 キヤノン株式会社 情報処理装置、情報処理方法
US11200659B2 (en) * 2019-11-18 2021-12-14 Stmicroelectronics (Rousset) Sas Neural network training device, system and method
CN111044525B (zh) 2019-12-30 2021-10-29 歌尔股份有限公司 一种产品缺陷检测方法、装置与***
CN111060520B (zh) 2019-12-30 2021-10-29 歌尔股份有限公司 一种产品缺陷检测方法、装置与***
CN111179253B (zh) * 2019-12-30 2023-11-24 歌尔股份有限公司 一种产品缺陷检测方法、装置与***
US11720650B2 (en) * 2020-10-30 2023-08-08 Tiliter Pty Ltd. Methods and apparatus for training a classification model based on images of non-bagged produce or images of bagged produce generated by a generative model

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160169802A1 (en) * 2012-10-05 2016-06-16 Seagate Technology Llc Classification of surface features using fluoresence
CN107643295A (zh) * 2017-08-24 2018-01-30 中国地质大学（武汉） 一种基于机器视觉的布匹缺陷在线检测的方法和***
CN108509976A (zh) * 2018-02-12 2018-09-07 北京佳格天地科技有限公司 动物的识别装置和方法
CN109741295A (zh) * 2018-11-28 2019-05-10 歌尔股份有限公司 产品质量检测方法及装置
CN109767431A (zh) * 2018-12-29 2019-05-17 北京领邦智能装备股份公司 零件外观缺陷检测方法、装置、设备及可读存储介质

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11748873B2 (en) 2019-12-30 2023-09-05 Goertek Inc. Product defect detection method, device and system
US11836907B2 (en) 2019-12-30 2023-12-05 Goertek, Inc. Product defect detection method, device and system
WO2021135302A1 (zh) * 2019-12-30 2021-07-08 歌尔股份有限公司 一种产品缺陷检测方法、装置与***
WO2021135372A1 (zh) * 2019-12-30 2021-07-08 歌尔股份有限公司 一种产品缺陷检测方法、装置与***
CN111595850A (zh) * 2020-04-27 2020-08-28 平安科技（深圳）有限公司 切片缺陷检测方法、电子装置及可读存储介质
CN111595850B (zh) * 2020-04-27 2022-07-15 平安科技（深圳）有限公司 切片缺陷检测方法、电子装置及可读存储介质
CN111842183A (zh) * 2020-07-27 2020-10-30 深圳市维图视技术有限公司 瓶体检测装置及瓶体检测方法
CN111842183B (zh) * 2020-07-27 2021-09-28 深圳市维图视技术有限公司 瓶体检测装置及瓶体检测方法
CN112634201A (zh) * 2020-12-02 2021-04-09 歌尔股份有限公司 目标检测方法、装置和电子设备
CN112634201B (zh) * 2020-12-02 2023-12-05 歌尔股份有限公司 目标检测方法、装置和电子设备
CN112734690A (zh) * 2020-12-17 2021-04-30 郑州金惠计算机***工程有限公司 一种表面缺陷检测方法、装置及计算机可读存储介质
CN112686157A (zh) * 2020-12-30 2021-04-20 上海书山智能科技有限公司 一种基于深度学习的图书定位和识别方法
CN112816496A (zh) * 2021-01-05 2021-05-18 广州市华颉电子科技有限公司 一种汽车域控制器的接口装配质量自动光学检测方法及装置
EP4080414A1 (en) * 2021-04-23 2022-10-26 Samsung Display Co., Ltd. Systems and methods for identifying manufacturing defects
WO2023095416A1 (ja) * 2021-11-25 2023-06-01 株式会社ジャパンディスプレイ 表示装置の検査方法及び情報処理装置
TWI808019B (zh) * 2022-10-03 2023-07-01 漢通科技股份有限公司 基於人工神經網路的物件表面型態的篩選方法與系統
CN115937109A (zh) * 2022-11-17 2023-04-07 创新奇智(上海)科技有限公司 硅片缺陷检测的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US11748873B2 (en) 2023-09-05
US20210374941A1 (en) 2021-12-02
WO2021135302A1 (zh) 2021-07-08
CN111044525B (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN111044525B (zh) 一种产品缺陷检测方法、装置与***
CN111060520B (zh) 一种产品缺陷检测方法、装置与***
CN111161246B (zh) 一种产品缺陷检测方法、装置与***
CN111179253A (zh) 一种产品缺陷检测方法、装置与***
CN109508688B (zh) 基于骨架的行为检测方法、终端设备及计算机存储介质
JP6757378B2 (ja) 画像識別装置、画像識別方法及び画像識別プログラム
CN107545262B (zh) 一种在自然场景图像中检测文本的方法及装置
US8792722B2 (en) Hand gesture detection
CN109961040B (zh) 身份证区域定位方法、装置、计算机设备及存储介质
CN108875537B (zh) 对象检测方法、装置和***及存储介质
US20120027263A1 (en) Hand gesture detection
CN109598298B (zh) 图像物体识别方法和***
CN112819796A (zh) 烟丝异物识别方法及设备
CN111310826A (zh) 样本集的标注异常检测方法、装置及电子设备
JP2020042754A (ja) 分類装置、分類方法、分類プログラム、及び検査装置
CN108520263B (zh) 一种全景图像的识别方法、***及计算机存储介质
CN111461070B (zh) 文本识别方法、装置、电子设备及存储介质
CN112597940A (zh) 证件图像识别方法、装置及存储介质
JP2014199506A (ja) 物体検出装置、物体検出方法及びプログラム
CN116434346B (zh) 无人值守商店内顾客行为的检测方法、装置及存储介质
CN114596243A (zh) 缺陷检测方法、装置、设备及计算机可读存储介质
CN112287905A (zh) 车辆损伤识别方法、装置、设备及存储介质
CN112464810A (zh) 一种基于注意力图的吸烟行为检测方法及装置
CN116363583A (zh) 一种用于顶视角的人体识别方法、装置、设备及介质
CN111814513B (zh) 行人物品检测装置及方法、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant