CN114494103A - 缺陷检测方法及检测装置 - Google Patents
缺陷检测方法及检测装置 Download PDFInfo
- Publication number
- CN114494103A CN114494103A CN202011253928.2A CN202011253928A CN114494103A CN 114494103 A CN114494103 A CN 114494103A CN 202011253928 A CN202011253928 A CN 202011253928A CN 114494103 A CN114494103 A CN 114494103A
- Authority
- CN
- China
- Prior art keywords
- defect
- detection
- template
- training
- artificial intelligence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 253
- 230000007547 defect Effects 0.000 title claims abstract description 250
- 238000012549 training Methods 0.000 claims abstract description 103
- 238000000034 method Methods 0.000 claims abstract description 82
- 238000013473 artificial intelligence Methods 0.000 claims description 87
- 230000002950 deficient Effects 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 239000003086 colorant Substances 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012552 review Methods 0.000 description 15
- 238000002372 labelling Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013102 re-test Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011895 specific detection Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种缺陷检测方法和缺陷检测装置,其中该方法包括:第一检测步骤:于AOI***设置一缺陷模板并检测缺陷模板的缺陷类型,得到第一检测结果,若第一检测结果准确,则输出,否则进行第二检测步骤;第二检测步骤:将缺陷模板传输给AI模型,以检测缺陷模板的缺陷类型,得到第二检测结果,并计算AI模型的检测准确率,若第二检测结果准确且检测准确率符合设定阈值,则输出第二检测结果并对AI模型进行训练,若检测准确率小于设定阈值,进行第三检测步骤;第三检测步骤:将缺陷模板传输给复检***,以将缺陷模板与预设模板进行匹配检测,得到第三检测结果,并计算复检准确率,若复检准确率符合设定阈值,则输出第三检测结果并对AI模型进行训练。
Description
技术领域
本发明涉及图形检测技术领域,尤其涉及一种用于缺陷检测的检测方法和检测装置。
背景技术
目前对于缺陷检测技术,例如芯片缺陷检测,传统上包括两种检测方式,一种是依靠人工目视检测,由于人的视角有限(比如无法有效观察到小型贴片元件之间的脱焊、极性相反等),存在检测速度慢、准确度不高、检测效果不好的缺点,因此这种方式使用逐渐越来越少。另外一种方式是通过AOI***(自动光学检测,是基于光学原理来对焊接生产中遇到的常见缺陷进行检测的设备)进行判断;AOI***虽然采用光学原理,用光学透镜代替人眼,并在拍摄过程中进行图像放大,能够获得较为清晰的设备图像,但AOI***缺陷在于,判断检测点是否故障的方法、都是通过人工基于AOI***中存储的标准数字化图像与实际检测到的图像进行对比判别,也就是说同样需要人为目视对比检测,因此也存在检测速度慢,以及漏检、准确度不高的缺点。
在此基础上,随着人工智能技术的发展,人工智能深度学习方法也有应用在了检测技术中。但当前人工智能在检测、分类、侦测如果要得到准确的判定都需要长期大量样本搜集、训练和反复测试,导致人工智能很难在短期或者快速让用户看到成果和效益,人工智能不能处理定量,定位和逻辑关系。此外,目前的人工智能检测方法大多利用神经网络的学习方法对芯片缺陷进行检测,神经网络通过对隐藏层的训练以实现检测目的,但隐藏层的训练和检测过程类似一个“黑匣子”,其处理、判定过程不可知,造成检测结果不可控。
发明内容
为解决上述问题,本发明提供一种缺陷检测方法和检测装置,利用AOI***获取产品图片的基础上,用大量的产品缺陷图片作为图片数据库,即时自动建立人工智能模型,不断提升人工智能模型缺陷检测的准确率;同时根据期望达到的检测准确率与人工智能模型的实际检测准确率,视情况引入一种基于AOI检测逻辑的自定义检测方法,使得检测结果更加可控。
具体地,本发明提供一种缺陷检测方法,包括:
第一检测步骤,于AOI***设置一缺陷模板,所述AOI***检测所述缺陷模板的缺陷类型,得到第一检测结果,若所述第一检测结果准确,则输出所述第一检测结果,否则进行第二检测步骤;
第二检测步骤,将所述缺陷模板传输给一人工智能模型,所述人工智能模型检测所述缺陷模板的缺陷类型,得到一第二检测结果,并计算所述人工智能模型的检测准确率,若所述第二检测结果准确且所述检测准确率符合一设定阈值,则输出所述第二检测结果并对所述人工智能模型进行训练,若所述检测准确率小于所述设定阈值,进行第三检测步骤;
第三检测步骤,将所述缺陷模板传输给一复检***,所述复检***将所述缺陷模板与一预设模板进行匹配检测,得到第三检测结果,并计算复检准确率,若复检准确率符合所述设定阈值,则输出所述第三检测结果并对所述人工智能模型进行训练。
根据所述检测方法,其中,所述人工智能模型的训练步骤包括:
收集产品的缺陷图片,并将所述缺陷图片按照产品类别及缺陷类型进行分类;
分别统计每一产品具有各类型缺陷的缺陷图片的数量,当任一产品具有一类型缺陷的缺陷图片的数量超过一预设值,则使用一预设方法训练所述人工智能模型对每一所述缺陷图片进行检测;
计算所述人工智能模型的训练检测准确率,当所述训练检测准确率超过所述预设方法训练所述人工智能模型的预测准确率,完成针对所述缺陷图片的人工智能模型训练。
根据所述检测方法,其中,所述缺陷图片的分类步骤包括:
获取待检测产品信息,确定所述产品的类别;
根据所述产品信息获取所述产品的缺陷图片,确定所述缺陷图片的缺陷位置和缺陷类型;
将所述缺陷图片按照所述产品类别和所述缺陷类型存入一图片收集表。
根据所述检测方法,其中,所述预设方法包括第一训练方法、第二训练方法和第三训练方法,所述第一训练方法、第二训练方法和第三训练方法分别具有不同的所述预测准确率。
根据所述检测方法,其中,所述第三检测步骤还包括:
识别所述缺陷模板,并将所述缺陷模板匹配一所述预设模板;
抽取所述缺陷模板的特征信息,其中所述特征信息包括缺陷位置、颜色和符合;
将所述特征信息与所述预设模板进行逐一比对检测。
为实现本发明的另一目的,本发明还提供一种缺陷检测装置,包括:
接收模块,用于获取待检测的缺陷模板,
第一检测模块,包括一AOI***,所述AOI***用于检测所述缺陷模板的缺陷类型,以获取第一检测结果;
第二检测模块,包括一人工智能模型,所述人工智能模型用于根据已训练的检测数据对所述缺陷模板进行缺陷检测,以获取第二检测结果;
第三检测模块,包括一复检***,所述复检***将所述缺陷模板与一预设模板进行匹配检测,以获取第三检测结果;
控制模块,用于分别对所述第一检测结果、第二检测结果和第三检测结果进行判断,其中,若所述第一检测结果准确,输出所述第一检测结果,否则将所述缺陷模板传输给所述第二检测模块;
所述控制模块还用于计算所述人工智能模型的检测准确率,若所述第二检测结果准确且所述检测准确率符合一设定阈值,则输出所述第二检测结果并对所述人工智能模型进行训练,若所述检测准确率小于所述设定阈值,将所述缺陷模板传输给所述第三检测模块;
所述控制模块还用于计算所述复检***的复检准确率,若复检准确率符合所述设定阈值,则输出所述第三检测结果并对所述人工智能模型进行训练。
根据所述检测装置,其中,所述第二检测模块还包括一训练单元,用于对所述人工智能模型进行训练;
其中,所述训练单元包括:
缺陷图片分类子单元,用于收集产品的缺陷图片,并将所述缺陷图片按照产品类别及缺陷类型进行分类;
模型训练子单元,用于分别统计每一产品具有各类型缺陷的缺陷图片的数量,当任一产品具有一类型缺陷的缺陷图片的数量超过一预设值,则使用一预设方法训练所述人工智能模型对每一所述缺陷图片进行检测;
计算子单元,用于计算所述人工智能模型的训练检测准确率,当所述训练检测准确率超过所述预设方法训练所述人工智能模型的预测准确率,完成针对所述缺陷图片的人工智能模型训练。
根据所述检测装置,其中,所述缺陷图片分类子单元进一步包括:
产品识别子单元,用于获取待检测产品信息,确定所述产品的类别;
缺陷识别子单元,用于根据所述产品信息获取所述产品的缺陷图片,确定所述缺陷图片的缺陷位置和缺陷类型;
存储子单元,用于将所述缺陷图片按照所述产品类别和所述缺陷类型存入一图片收集表。
根据所述检测装置,其中,所述预设方法包括第一训练方法、第二训练方法和第三训练方法,所述第一训练方法、第二训练方法和第三训练方法分别具有不同的所述预测准确率。
根据所述检测装置,其中,所述第三检测模块还包括:
模板匹配单元,用于识别所述缺陷模板,并将所述缺陷模板匹配一所述预设模板;
特征抽取单元,用于抽取所述缺陷模板的特征信息,其中所述特征信息包括缺陷位置、颜色和符合;
检测单元,用于将所述特征信息与所述预设模板进行逐一比对检测。
以下结合附图和具体实施例对本发明进行详细描述,但不作为对本发明的限定。
附图说明
图1为本发明的一实施例的缺陷检测方法的流程示意图。
图2为本发明一实施例的人工智能模型的训练方法流程示意图。
图3为本发明的一实施例的缺陷图片的分类方法流程示意图。
图4为本发明的一实施例的图片标注***的示意图。
图5所示为本发明一实施例的复检***的检测流程示意图。
图6所示为本发明的一是私立的缺陷检测装置的框架图。
其中,附图标记:
S1~S3、S21~S23、S211~S213、S31~S33:步骤;
100:缺陷检测装置;
110:接收模块;
120:第一检测模块;
130:第二检测模块;
131:训练单元;
1311:缺陷图片分类子单元;A:产品识别子单元;B:缺陷识别子单元;C:存储子单元;
1312:模型训练子单元;
1313:计算子单元;
140:第三检测模块;
141:模板匹配单元;142:特征抽取单元;143:检测单元;
150:控制模块。
具体实施方式
下面结合附图对本发明的结构原理和工作原理作具体的描述,本部分的描述仅是示范性和解释性,不应对本发明的保护范围有任何的限制作用。
请参考图1,图1所示为本发明的一实施例的缺陷检测方法的流程示意图。本实施例的缺陷检测方法包括以下步骤:
第一检测步骤S1,此步骤基于现有的AOI***而实现,于AOI***设置一缺陷模板,其中,该缺陷模板为某一待测产品所具有的一类型缺陷的模板或者图片,在本发明的一些实施例中,缺陷模板可以包括较多数量的产品的缺陷图片。AOI***获取该缺陷模板后,即判别其缺陷类型,进而检测出其具体的缺陷,以得到第一检测结果,若第一检测结果准确即AOI的检测为可信的,则将第一检测结果直接进行输出,否则进行第二检测步骤S2,也就是说,启动进行第二检测步骤S2,系由于第一检测步骤S1中的AOI检测不可信(检测的准确率未达到用户的需求)。
第二检测步骤S2,该检测步骤主要基于一经过训练的人工智能模型,该人工智能模型例如基于神经网络实现。具体地,经第一检测步骤S1检测确认为不可信后,即将缺陷模板传输给人工智能模型,人工智能模型将缺陷模板与经训练的检测数据进行比对,以检测缺陷模板的缺陷类型,得到第二检测结果,同时计算人工智能模型的检测准确率,若第二检测结果准确且检测准确率符合一设定阈值,即检测准确率达到或者超过该设定阈值,则输出所述第二检测结果并对人工智能模型进行训练,若检测准确率小于所述设定阈值,进行启用第三检测步骤S3继续检测。于本实施例中,通过在人工智能检测过程中对其进行循环训练,实现了人工智能模型的自动建立机制,同时通过对人工智能模型不断的训练学习,使其进一步提高检测准确率。
具体来说,本实施例提供了一种人工智能模型的训练方法,但本发明并不以此为限。请参考图2,图2所示为本发明一实施例的人工智能模型的训练方法流程示意图,如图2所示,人工智能模型的训练方法包括以下步骤:
S21.收集产品的缺陷图片,并将缺陷图片按照产品类别及缺陷类型进行分类。本发明对缺陷图片的收集方法不做限制,在本实施例中,提供一种图片标注***,用以获取图片并对图片进行分类存储。具体地,请参考图3,图3所示为本发明的一实施例的缺陷图片的分类方法流程示意图。缺陷图片的缺陷图片的分类步骤包括:
S211.获取待检测产品信息,以确定产品的类别。即图片标注***通过扫入产品条码,根据产品条码确定产品的所属类别。
S212.根据产品信息获取产品的缺陷图片,确定缺陷图片的缺陷位置和缺陷类型。即图片标注***根据产品条码找到待分类的产品缺陷图片,并将待分类的产品缺陷图片坐标显示在显示区,如图4所示。操作人员根据实际缺陷位置点选对应坐标点,然后对应坐标点会弹出缺陷图片和缺陷代码选择框,完成缺陷图片的标注与分类工作。
S213.将缺陷图片按照产品类别和缺陷类型存入一图片收集表,此时操作人员根据实际缺陷选择缺陷代码,图片标注***将该实际缺陷按照其选择的缺陷代码分类存储到一图片收集表,该图片收集表系标示产品种类和缺陷类型的二维表格。当然,本发明并不以此为限,图片的存储形式还可以例如是柱状图信息和扇形图信息等其他符合要其的形式。
S22.分别统计每一产品具有各类型缺陷的缺陷图片的数量,当其中某一产品具有任一类型缺陷的图片数量超过一预设值,则使用一预设方法训练人工智能模型对每一缺陷图片进行检测。在本实施例中,当图片标注***收集存储到图片收集表中的某种缺陷类型的缺陷图片超过500张的时候,则启动对人工智能模型进行训练。
S23.计算人工智能模型的训练检测准确率,当训练检测准确率超过预设方法训练人工智能模型的预测准确率,完成针对缺陷图片的人工智能模型训练。其中,在本实施例中,对人工智能模型的训练算法可以预设多种,每一训练算法具有不同的预测准确率,例如包括第一训练方法、第二训练方法和第三训练方法,第一训练方法、第二训练方法和第三训练方法分别具有不同的预测准确率。于实际训练中,计算该训练算法下的人工智能模型的实际检测准确率,并将该实际检测准确率与该算法具有的预测准确率进行比较,当实际检测准确率达到或者超过预测准确率,则激活该类型缺陷图片训练的人工智能模型。
对于第二检测步骤S2获得的检测准确率,如果尚不能满足用户的要求,则进一步进行第三检测步骤S3。也就是说,于本发明中,第二检测步骤S2与第三检测步骤S3系为一种弹性结合方式。第三检测步骤S3主要基于一种复检***,该复检***在基于AOI检测逻辑的基础上,融合特定的检测方法。
具体地,当确认上述第二检测步骤S2获得的检测准确率不能满足要求的情况下,将缺陷模板传输给一复检***,复检***将缺陷模板与一预设模板进行匹配检测,得到第三检测结果,并计算复检准确率,若复检准确率达到或者超过所述设定阈值,则输出第三检测结果并对人工智能模型进行训练。其中该设定阈值可根据用户需求进行实际设定。
具体请参考图5,图5所示为本发明一实施例的复检***的检测流程示意图,其包括以下检测步骤:
S31.对缺陷模板进行识别,并将缺陷模板与复检***中的一预设模板进行匹配;
S32.抽取缺陷模板的特征信息,其中特征信息例如包括缺陷位置、颜色和符合;
S33.将特征信息与预设模板进行逐一比对检测。
为实现本发明的另一目的,基于上述同一发明构思,本发明还提供一种缺陷检测装置。请继续参考图6,图6所示为本发明的一是私立的缺陷检测装置的框架图。如图6所示,本实施例的缺陷检测装置100,具体包括接收模块110、第一检测模块120、第二检测模块130、第三检测模块140以及控制模块150。
其中,接收模块用于获取待检测的缺陷模板。第一检测模块120中包括一AOI***,AOI***用于检测缺陷模板的缺陷类型,以获取第一检测结果;第二检测模块130,包括一人工智能模型,人工智能模型用于根据已训练的检测数据对缺陷模板进行缺陷检测,以获取第二检测结果;第三检测模块140包括一复检***,复检***将缺陷模板与一预设模板进行匹配检测,以获取第三检测结果;控制模块150用于分别对第一检测结果、第二检测结果和第三检测结果进行判断,其中,若第一检测结果准确,输出所述第一检测结果,否则将缺陷模板传输给所述第二检测模块130;所述控制模块150还用于计算人工智能模型的检测准确率,若第二检测结果准确且检测准确率符合一设定阈值,则输出第二检测结果并对人工智能模型进行训练,若检测准确率小于设定阈值,将缺陷模板传输给第三检测模块140;所述控制模块150还用于计算复检***的复检准确率,若复检准确率符合(即达到或者超过)设定阈值,则输出第三检测结果并对人工智能模型进行训练。
进一步地,第二检测模块130还包括一训练单元131,用于对人工智能模型进行训练。其中,训练单元131包括:
缺陷图片分类子单元1311,用于收集产品的缺陷图片,并将缺陷图片按照产品类别及缺陷类型进行分类;本发明对缺陷图片的收集方法不做限制,在本实施例中,提供一种图片标注***,用以获取图片并对图片进行分类存储。具体地,缺陷图片的分类子单元进一步包括:
产品识别子单元A,用于获取待检测产品信息,确定产品的类别。即图片标注***通过扫入产品条码,根据产品条码确定产品的所属类别。
缺陷识别子单元B,用于根据产品信息获取产品的缺陷图片,确定缺陷图片的缺陷位置和缺陷类型。即图片标注***根据产品条码找到待分类的产品缺陷图片,并将待分类的产品缺陷图片坐标显示在显示区,如图4所示。操作人员根据实际缺陷位置点选对应坐标点,然后对应坐标点会弹出缺陷图片和缺陷代码选择框,完成缺陷图片的标注与分类工作。
存储子单元C,用于将缺陷图片按照产品类别和缺陷类型存入一图片收集表。此时操作人员根据实际缺陷选择缺陷代码,图片标注***将该实际缺陷按照其选择的缺陷代码分类存储到一图片收集表,该图片收集表系标示产品种类和缺陷类型的二维表格。当然,本发明并不以此为限,图片的存储形式还可以例如是柱状图信息和扇形图信息等其他符合要其的形式。
模型训练子单元1312,用于分别统计每一产品具有各类型缺陷的缺陷图片的数量,当任一产品具有一类型缺陷的缺陷图片的数量超过一预设值,则使用一预设方法训练人工智能模型对每一缺陷图片进行检测。在本实施例中,当图片标注***收集存储到图片收集表中的某种缺陷类型的缺陷图片超过500张的时候,则启动对人工智能模型进行训练。
计算子单元1313,用于计算人工智能模型的训练检测准确率,当训练检测准确率超过预设方法训练人工智能模型的预测准确率,完成针对所述缺陷图片的人工智能模型训练。其中,在本实施例中,对人工智能模型的训练算法可以预设多种,每一训练算法具有不同的预测准确率,例如包括第一训练方法、第二训练方法和第三训练方法,第一训练方法、第二训练方法和第三训练方法分别具有不同的预测准确率。于实际训练中,计算该训练算法下的人工智能模型的实际检测准确率,并将该实际检测准确率与该算法具有的预测准确率进行比较,当实际检测准确率达到或者超过预测准确率,则激活该类型缺陷图片训练的人工智能模型。
对于第二检测模块130获得的检测准确率,如果尚不能满足用户的要求,则进一步启动第三检测模块140。也就是说,于本发明中,第二检测模块130与第三检测模块140系为一种弹性结合方式。第三检测步骤140主要基于一种复检***,该复检***在基于AOI检测逻辑的基础上,融合特定的检测方法。
具体地,当确认上述第二检测步骤S2获得的检测准确率不能满足要求的情况下,将缺陷模板传输给一复检***,复检***将缺陷模板与一预设模板进行匹配检测,得到第三检测结果,并计算复检准确率,若复检准确率符合(即达到或者超过)所述设定阈值,则输出第三检测结果并对人工智能模型进行训练。其中该设定阈值可根据用户需求进行实际设定。
具体而言,第三检测模块140还包括:模板匹配单元141、特征抽取单元142和检测单元143,其中模板匹配单元141用于识别缺陷模板,并将缺陷模板匹配一所述预设模板;特征抽取单元142用于抽取缺陷模板的特征信息,其中特征信息包括缺陷位置、颜色和符合;检测单元143用于将特征信息与预设模板进行逐一比对检测。
综上所述,本发明提供一种新的用于各种电子元器件的缺陷检测方法和装置,本发明针对人工智能模型的检测准确率较低的情形,分别增加分值卡控(即设置设定阈值),以及在复检***中采取基于AOI逻辑的自定义检测方法对产品缺陷进行再次检测,以人为干涉检测判定过程,增加检测结果的可控性。进一步地,本发明为快速可让用户看到成果和效益,可以通过设置输入不同缺陷类型的图片启动检测进程,使检测效果更加高效。本发明通过图片标注***于缺陷检测过程中收集缺陷图片,对人工智能模型进行不断训练,使人工智能模型能够自动建立,避免了人工智能在检测、分类等过程中需要长期大量样本搜集、训练和反复测试的情形。另外,本发明的缺陷检测方法和装置可并行用于多种待判定对象,提升检测效率。
当然,本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (10)
1.一种缺陷检测方法,其特征在于,包括:
第一检测步骤,于AOI***设置一缺陷模板,所述AOI***检测所述缺陷模板的缺陷类型,得到第一检测结果,若所述第一检测结果准确,则输出所述第一检测结果,否则进行第二检测步骤;
第二检测步骤,将所述缺陷模板传输至一人工智能模型,所述人工智能模型检测所述缺陷模板,得到一第二检测结果并计算所述人工智能模型的检测准确率,若所述第二检测结果准确且所述检测准确率符合一设定阈值,则输出所述第二检测结果并对所述人工智能模型进行训练,若所述检测准确率小于所述设定阈值,进行第三检测步骤;
第三检测步骤,将所述缺陷模板传输至一复检***,所述复检***将所述缺陷模板与一预设模板进行匹配检测,得到第三检测结果并计算复检准确率,若复检准确率符合所述设定阈值,则输出所述第三检测结果并对所述人工智能模型进行训练。
2.根据权利要求1所述的缺陷检测方法,其特征在于,所述人工智能模型的训练步骤包括:
收集产品的缺陷图片,并将所述缺陷图片按照产品类别及缺陷类型进行分类;
分别统计每一产品具有各类型缺陷的缺陷图片的数量,当任一产品具有一类型缺陷的缺陷图片的数量超过一预设值,则使用一预设方法训练所述人工智能模型对每一所述缺陷图片逐一进行检测;
计算所述人工智能模型的训练检测准确率,当所述训练检测准确率大于或者等于所述预设方法训练所述人工智能模型的预测准确率,完成针对所述缺陷图片的人工智能模型训练。
3.根据权利要求2所述的缺陷检测方法,其特征在于,所述缺陷图片的分类步骤包括:
获取待检测产品信息,确定所述产品的类别;
根据所述产品信息获取所述产品的缺陷图片,确定所述缺陷图片的缺陷类型;
将所述缺陷图片按照所述产品类别和所述缺陷类型进行分类存储。
4.根据权利要求2所述的缺陷检测方法,其特征在于,所述预设方法包括第一训练方法、第二训练方法和第三训练方法,所述第一训练方法、第二训练方法和第三训练方法分别具有不同的所述预测准确率。
5.根据权利要求1所述的缺陷检测方法,其特征在于,所述第三检测步骤还包括:
识别所述缺陷模板,并将所述缺陷模板匹配一所述预设模板;
抽取所述缺陷模板的特征信息,其中所述特征信息包括缺陷位置、颜色和符合;
将所述特征信息与所述预设模板进行逐一比对检测。
6.一种缺陷检测装置,其特征在于,包括:
接收模块,用于获取待检测的缺陷模板,
第一检测模块,包括一AOI***,所述AOI***用于检测所述缺陷模板的缺陷类型,以获取第一检测结果;
第二检测模块,包括一人工智能模型,所述人工智能模型用于根据已训练的检测数据对所述缺陷模板进行缺陷检测,以获取第二检测结果;
第三检测模块,包括一复检***,所述复检***将所述缺陷模板与一预设模板进行匹配检测,以获取第三检测结果;
控制模块,用于分别对所述第一检测结果、第二检测结果和第三检测结果进行判断,其中,若所述第一检测结果准确,输出所述第一检测结果,否则将所述缺陷模板传输给所述第二检测模块;
所述控制模块还用于计算所述人工智能模型的检测准确率,若所述第二检测结果准确且所述检测准确率符合一设定阈值,则输出所述第二检测结果并对所述人工智能模型进行训练,若所述检测准确率小于所述设定阈值,将所述缺陷模板传输给所述第三检测模块;
所述控制模块还用于计算所述复检***的复检准确率,若复检准确率符合所述设定阈值,则输出所述第三检测结果并对所述人工智能模型进行训练。
7.根据权利要求6所述的缺陷检测装置,其特征在于,所述第二检测模块还包括一训练单元,用于对所述人工智能模型进行训练;
其中,所述训练单元包括:
缺陷图片分类子单元,用于收集产品的缺陷图片,并将所述缺陷图片按照产品类别及缺陷类型进行分类;
模型训练子单元,用于分别统计每一产品具有各类型缺陷的缺陷图片的数量,当任一产品具有一类型缺陷的缺陷图片的数量超过一预设值,则使用一预设方法训练所述人工智能模型对每一所述缺陷图片进行检测;
计算子单元,用于计算所述人工智能模型的训练检测准确率,当所述训练检测准确率超过所述预设方法训练所述人工智能模型的预测准确率,完成针对所述缺陷图片的人工智能模型训练。
8.根据权利要求7所述的缺陷检测装置,其特征在于,所述缺陷图片分类子单元进一步包括:
产品识别子单元,用于获取待检测产品信息,确定所述产品的类别;
缺陷识别子单元,用于根据所述产品信息获取所述产品的缺陷图片,确定所述缺陷图片的缺陷位置和缺陷类型;
存储子单元,用于将所述缺陷图片按照所述产品类别和所述缺陷类型进行分类存储。
9.根据权利要求7所述的缺陷检测装置,其特征在于,所述预设方法包括第一训练方法、第二训练方法和第三训练方法,所述第一训练方法、第二训练方法和第三训练方法分别具有不同的所述预测准确率。
10.根据权利要求6所述的缺陷检测装置,其特征在于,所述第三检测模块还包括:
模板匹配单元,用于识别所述缺陷模板,并将所述缺陷模板匹配一所述预设模板;
特征抽取单元,用于抽取所述缺陷模板的特征信息,其中所述特征信息包括缺陷位置、颜色和符合;
检测单元,用于将所述特征信息与所述预设模板进行逐一比对检测。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011253928.2A CN114494103A (zh) | 2020-11-11 | 2020-11-11 | 缺陷检测方法及检测装置 |
TW109146051A TWI747686B (zh) | 2020-11-11 | 2020-12-24 | 缺陷檢測方法及檢測裝置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011253928.2A CN114494103A (zh) | 2020-11-11 | 2020-11-11 | 缺陷检测方法及检测装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114494103A true CN114494103A (zh) | 2022-05-13 |
Family
ID=79907546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011253928.2A Pending CN114494103A (zh) | 2020-11-11 | 2020-11-11 | 缺陷检测方法及检测装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114494103A (zh) |
TW (1) | TWI747686B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114881994A (zh) * | 2022-05-25 | 2022-08-09 | 鞍钢集团北京研究院有限公司 | 产品缺陷检测方法、装置以及存储介质 |
CN116380919A (zh) * | 2023-06-02 | 2023-07-04 | 深圳市磐锋精密技术有限公司 | 基于aoi在线技术的柔外观缺陷检测***及检测方法 |
CN117078622A (zh) * | 2023-08-17 | 2023-11-17 | 上海感图网络科技有限公司 | 一种物料缺陷复检方法、装置及物料缺陷检测*** |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105021694B (zh) * | 2015-07-02 | 2017-12-19 | 清华大学 | 不完整信号下的漏磁检测缺陷量化与显示方法 |
CN107909118B (zh) * | 2017-12-11 | 2022-02-22 | 北京映翰通网络技术股份有限公司 | 一种基于深度神经网络的配电网工况录波分类方法 |
-
2020
- 2020-11-11 CN CN202011253928.2A patent/CN114494103A/zh active Pending
- 2020-12-24 TW TW109146051A patent/TWI747686B/zh active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114881994A (zh) * | 2022-05-25 | 2022-08-09 | 鞍钢集团北京研究院有限公司 | 产品缺陷检测方法、装置以及存储介质 |
CN116380919A (zh) * | 2023-06-02 | 2023-07-04 | 深圳市磐锋精密技术有限公司 | 基于aoi在线技术的柔外观缺陷检测***及检测方法 |
CN116380919B (zh) * | 2023-06-02 | 2023-08-15 | 深圳市磐锋精密技术有限公司 | 基于aoi在线技术的柔外观缺陷检测***及检测方法 |
CN117078622A (zh) * | 2023-08-17 | 2023-11-17 | 上海感图网络科技有限公司 | 一种物料缺陷复检方法、装置及物料缺陷检测*** |
Also Published As
Publication number | Publication date |
---|---|
TW202219494A (zh) | 2022-05-16 |
TWI747686B (zh) | 2021-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111080622B (zh) | 神经网络训练方法、工件表面缺陷分类与检测方法及装置 | |
CN114494103A (zh) | 缺陷检测方法及检测装置 | |
CN104992449B (zh) | 基于机器视觉的信息识别及表面缺陷在线检测方法 | |
CN108830332A (zh) | 一种视觉车辆检测方法及*** | |
CN110992349A (zh) | 一种基于深度学习的地下管道异常自动化定位与识别方法 | |
CN111667455A (zh) | 一种刷具多种缺陷的ai检测方法 | |
CN107093175B (zh) | 一种动力电池焊接质量检测方法 | |
CN113706490B (zh) | 一种晶片缺陷检测方法 | |
CN113222913B (zh) | 一种电路板缺陷检测定位方法、装置和存储介质 | |
CN104198497A (zh) | 一种基于视觉显著图和支持向量机的表面缺陷检测方法 | |
CN111242899B (zh) | 基于图像的瑕疵检测方法及计算机可读存储介质 | |
CN111680603A (zh) | 一种菜品检测和识别方法 | |
CN111415339B (zh) | 一种复杂纹理工业产品图像缺陷检测方法 | |
WO2017107533A1 (zh) | 一种电子元件样本标注方法及装置 | |
CN109946304A (zh) | 基于特征匹配的零件表面缺陷在线检测***及检测方法 | |
CN111161237A (zh) | 一种果蔬表面质检方法及其储存介质、分拣装置 | |
CN110096980A (zh) | 字符检测识别*** | |
CN116978834B (zh) | 一种用于晶圆生产的智能监测预警*** | |
CN114972342B (zh) | 一种变速箱齿轮表面缺陷检测方法 | |
CN114066848A (zh) | 一种fpca外观缺陷视觉检测*** | |
CN114549493A (zh) | 一种基于深度学习的磁芯缺陷检测***及方法 | |
CN109685756A (zh) | 影像特征自动辨识装置、***及方法 | |
CN111060518A (zh) | 一种基于实例分割的冲压件缺陷识别方法 | |
CN111178405A (zh) | 一种融合多种神经网络的相似物体识别方法 | |
CN110689447A (zh) | 一种基于深度学习的社交软件用户发布内容的实时检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |