CN115249237A - 缺陷检测方法、缺陷检测装置及计算机可读存储介质 - Google Patents
缺陷检测方法、缺陷检测装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN115249237A CN115249237A CN202210708851.6A CN202210708851A CN115249237A CN 115249237 A CN115249237 A CN 115249237A CN 202210708851 A CN202210708851 A CN 202210708851A CN 115249237 A CN115249237 A CN 115249237A
- Authority
- CN
- China
- Prior art keywords
- defect
- defect detection
- image
- detected
- detection information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 637
- 238000001514 detection method Methods 0.000 title claims abstract description 307
- 238000003860 storage Methods 0.000 title claims abstract description 28
- 238000013135 deep learning Methods 0.000 claims abstract description 96
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000012937 correction Methods 0.000 claims description 11
- 230000002950 deficient Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000008439 repair process Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 13
- 238000004519 manufacturing process Methods 0.000 description 9
- 230000002829 reductive effect Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 235000019580 granularity Nutrition 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002893 slag Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种缺陷检测方法、缺陷检测装置以及计算机可读存储介质，该方法用于检测印制电路板，该方法包括：获取待检测图像，待检测图像包括印制电路板的图像；将待检测图像输入预先训练的深度学习网络，以获取深度学习网络输出的缺陷检测信息，缺陷检测信息至少包括缺陷类型和/或缺陷位置；将缺陷检测信息输入缺陷过滤器，以获取缺陷过滤器根据缺陷检测信息输出的缺陷判定结果，缺陷判定结果用于表征缺陷检测信息中的缺陷是否为真实缺陷；基于缺陷检测信息和缺陷判定结果，输出待检测图像的缺陷检测结果。上述方法，能够检测出印制电路板的待检测图像中的真实缺陷，提高印制电路板缺陷检测的准确性和便于后续印制电路板的修复流程、减少人力资源的消耗。
Description
技术领域
本申请涉及图像处理技术领域，特别是一种缺陷检测方法、缺陷检测装置以及计算机可读存储介质。
背景技术
随着汽车电子、通讯设备、变压器、电感装置和电源模块等产品在生活中的广泛应用以及电子信息技术、通讯技术的快速发展，市场对高传输、高电压的电子产品提出了更高的要求。而作为电子元器件的基础承载部件-印刷印制电路板(Printed circuit board，简称PCB)，其性能的优劣直接影响电子元器安装后产品的性能。
由于PCB在生产过程中无法避免地存在大量的缺陷，并且存在的缺陷主要位于PCB的电路元件处。因此，需要对存在缺陷的电路元件进行检测，以进行后续的PCB修复工作，然而，由于检测PCB的检测精度以及PCB上缺陷的形状、数量和类型等影响因素，可能会将PCB上的部分区域错误的识别为真实的缺陷区域，导致PCB检测的准确率较低，并且由于PCB上的电路元件一般非常小且密集，若完全进行人工检测将非常费时费力，且容易出错。如果不对存在缺陷的电路元件进行检测，而直接放入下一个流程中进行制造，后续PCB的修补成本将会越来越高，且更容易报废，造成大量的浪费成本。
发明内容
为解决上述问题，本申请提供了一种缺陷检测方法、缺陷检测装置、缺陷检测装置以及计算机可读存储介质，能够提高印制电路板的生产质量和优化印制电路板的生产流程、减少人力资源的消耗。
本申请采用的一个技术方案是：提供一种缺陷检测方法，该方法用于检测印制电路板，该方法包括：获取待检测图像，待检测图像包括印制电路板的图像；将待检测图像输入预先训练的深度学习网络，以获取深度学习网络输出的缺陷检测信息，缺陷检测信息至少包括缺陷类型和/或缺陷位置；将缺陷检测信息输入缺陷过滤器，以获取缺陷过滤器根据缺陷检测信息输出的缺陷判定结果，缺陷判定结果用于表征缺陷检测信息中的缺陷是否为真实缺陷；基于缺陷检测信息和缺陷判定结果，输出待检测图像的缺陷检测结果。
可选地，将缺陷检测信息输入缺陷过滤器，以获取缺陷过滤器根据缺陷检测信息输出的缺陷判定结果之后，还包括：基于缺陷检测信息和缺陷判定结果，获取深度学习网络的误判信息；基于误判信息重新训练深度学习网络。
可选地，基于缺陷检测信息和缺陷判定结果，输出待检测图像的缺陷检测结果，包括：基于缺陷判定结果，获取缺陷检测信息中误判为真实缺陷的误判缺陷；基于误判缺陷的缺陷信息对缺陷检测信息进行误判修正；将误判修正后的缺陷检测信息作为待检测图像的缺陷检测结果输出。
可选地，基于误判缺陷的缺陷信息对缺陷检测信息进行误判修正，包括：基于误判缺陷的缺陷信息获取误判缺陷的位置信息；按照误判缺陷的位置信息将缺陷检测信息中相应位置的缺陷信息删除。
可选地，将待检测图像输入预先训练的深度学习网络，以获取深度学习网络输出的缺陷检测信息，包括：将待检测图像输入缺陷过滤器，以获取缺陷过滤器输出的缺陷区域；基于缺陷区域对待检测图像进行裁剪，得到待检测子图；将待检测子图输入预先训练的深度学习网络，以获取深度学习网络输出的缺陷检测信息。
可选地，将待检测图像输入预先训练的深度学习网络，以获取深度学习网络输出的缺陷检测信息，包括：将待检测图像输入缺陷过滤器，以获取缺陷过滤器输出的待检测图像的缺陷区域和非缺陷区域；将待检测图像输入预先训练的深度学习网络，利用深度学习网络按照第一精度对待检测图像的缺陷区域进行检测，按照第二精度对待检测图像的非缺陷区域进行检测，第一精度高于第二精度；利用待检测图像的缺陷区域的检测结果，以及待检测图像的非缺陷区域的检测结果，获取缺陷检测信息。
可选地，缺陷过滤器对印制电路板的电路元件及其常见变形结构进行预先训练和识别。
本申请采用的另一个技术方案是：提供一种缺陷检测装置，该缺陷检测装置用于印制电路板，该缺陷检测装置包括获取模块、检测模块、过滤模块以及输出模块；其中，获取模块用于获取待检测图像，待检测图像包括印制电路板的图像；检测模块用于将待检测图像输入预先训练的深度学习网络，以获取深度学习网络输出的缺陷检测信息，缺陷检测信息至少包括缺陷类型和/或缺陷位置；过滤模块用于将缺陷检测信息输入缺陷过滤器，以获取缺陷过滤器根据缺陷检测信息输出的缺陷判定结果，缺陷判定结果用于表征缺陷检测信息中的缺陷是否为真实缺陷；输出模块用于基于缺陷检测信息和缺陷判定结果，输出待检测图像的缺陷检测结果。
本申请采用的另一个技术方案是：提供一种缺陷检测装置，该缺陷检测装置包括：处理器以及与处理器连接的存储器，其中，存储器中存储有程序数据，处理器调取存储器存储的程序数据，以执行如上所述的缺陷检测方法。
本申请采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质中存储有程序数据，程序数据在被处理器执行时，用以实现如上所述的缺陷检测方法。
区别于现有技术，本申请提供的缺陷检测方法，该方法用于检测印制电路板，该方法包括：获取待检测图像，待检测图像包括印制电路板的图像；将待检测图像输入预先训练的深度学习网络，以获取深度学习网络输出的缺陷检测信息，缺陷检测信息至少包括缺陷类型和/或缺陷位置；将缺陷检测信息输入缺陷过滤器，以获取缺陷过滤器根据缺陷检测信息输出的缺陷判定结果，缺陷判定结果用于表征缺陷检测信息中的缺陷是否为真实缺陷；基于缺陷检测信息和缺陷判定结果，输出待检测图像的缺陷检测结果。上述方法，利用待检测图像来获取印制电路板对应的缺陷检测信息，再根据缺陷检测信息获取印制电路板的缺陷判定结果，从而能够检测出印制电路板的待检测图像中的真实缺陷和误判缺陷，进而提高对印制电路板进行缺陷检测的准确性和便于后续印制电路板的修复流程、减少人力资源的消耗。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的缺陷检测装置一实施例的结构示意图；
图2是本申请提供的缺陷检测方法一实施例的流程示意图；
图3是本申请中获取深度学习网络输出的缺陷检测信息一实施例的流程示意图；
图4是本申请中获取深度学习网络输出的缺陷检测信息另一实施例的流程示意图；
图5是本申请中重新训练和优化深度学习网络一实施例的流程示意图；
图6是本申请中输出待检测图像的缺陷检测结果一实施例的流程示意图；
图7是本申请中对缺陷检测信息进行误判修正一实施例的流程示意图；
图8是本申请提供的一种缺陷检测装置的结构示意图；
图9是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例中的步骤并不一定是按照所描述的步骤顺序进行处理，可以按照需求有选择的将步骤打乱重排，或者删除实施例中的步骤，或者增加实施例中的步骤，本申请实施例中的步骤描述只是可选的顺序组合，并不代表本申请实施例的所有步骤顺序组合，实施例中的步骤顺序不能认为是对本申请的限制。
本申请实施例中的术语“和/或”指的是包括相关联的列举项目中的一个或多个的任何和全部的可能组合。还要说明的是：当用在本说明书中时，“包括/包含”指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但是不排除一个或多个其他特征、整数、步骤、操作、元件和/或组件和/或它们的组群的存在或添加。
本申请中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
另外，本申请中尽管多次采用术语“第一”、“第二”等来描述各种操作(或各种元件或各种应用或各种指令或各种数据)等，不过这些操作(或元件或应用或指令或数据)不应受这些术语的限制。这些术语只是用于区分一个操作(或元件或应用或指令或数据)和另一个操作(或元件或应用或指令或数据)。例如，第一精度可以被称为第二精度，第二精度也可以被称为第一精度，仅仅是其两者所包括的范围不同，而不脱离本申请的范围，第一精度和第二精度都是各种缺陷精度的集合，只是二者并不是相同的缺陷精度的集合而已。
参阅图1，图1是本申请提供的缺陷检测装置一实施例的结构示意图，该缺陷检测装置10包括获取模块11、检测模块12、过滤模块13以及输出模块14。
在一实施例中，缺陷检测装置10用于检测印制电路板，缺陷检测装置10能够实现自动光学检测(Automated Optical Inspection，AOI)待选的印制电路板，然后输出，其中，AOI是基于光学原理来对焊接生产中遇到的常见缺陷进行检测的设备。当进行AOI时，缺陷检测装置10通过摄像头自动扫描PCB，采集图像，测试的焊点与数据库中的合格的参数进行比较，经过图像处理，检查出PCB上缺陷，并通过显示器或自动标志把缺陷显示/标示出来，供维修人员修整。
在一实施例中，缺陷检测装置10能够运行在用户模式以完成某项或多项特定工作(例如，获取印制电路板的待检测图像中缺陷检测信息、对缺陷检测信息进行误判修正等)的计算机程序，其可以与用户进行交互，且具有可视的用户界面(UI界面)。缺陷检测装置10也可以包括两部分：图形用户接口(GUI)和引擎(engine)，利用这两者能够以用户界面的形式向用户提供多种应用服务的数字化客户***。可选地，缺陷检测装置10可基于Liunx(GNU/Linux)***、Mac(Macintosh，麦克机)***或微软***等用于程序操作，缺陷检测装置10也可基于
平台、
平台、
平台或者
平台等用于程序应用。
在一实施例中，用户可以通过输入装置向缺陷检测装置10输入相应的代码数据或者控制参数，以执行缺陷检测装置10在用户模式下的特色服务，以及显示用户界面中的应用服务。如用户需要采集印制电路板的待检测图像，或者用户需要调整印制电路板的检测参数等，则用户通过输入装置进行操作以及通过显示装置进行显示。
在一实施例中，获取模块11用于获取待检测图像；其中，待检测图像包括印制电路板的图像。
可选地，获取模块11可搭载有深度相机、3D相机、单目相机或者双目相机等中的一个的图像采集装置，其可根据用户的输入，而产生对应的控制信息，以获取印制电路板的采集图像，即印制电路板的待检测图像。
可选地，获取模块11可从自身存储介质中，或者通过连接第三方机构(如，数字处理平台、云端服务器、外部终端等)以获取印制电路板的待检测图像。
可选地，印制电路板的图像为PCB(Printed circuit boards，印制电路板)图像。其中，PCB又称印刷印制电路板，其板面分为印制电路板区域和非印制电路板区域。PCB可应用于诸多的电子元器件，包括诸如摄影机和录像机、移动电话、智能电话、笔记本电脑、个人数字助理(PDA，Personal Digital Assistant)、平板电脑(PAD)等的移动终端，也可以是数字广播发送器、数字TV、台式计算机、服务器等的固定终端。
其中，由于药剂张力的原因，PCB在生产过程中无法避免地存在大量的缺陷，以及由于制造工艺的原因，在印制电路板的生产过程中，难免会出现例如：缺孔、鼠式侵蚀、开路、短路、毛刺、铜渣等缺陷。
可选地，检测模块12用于将待检测图像输入预先训练的深度学习网络，以获取深度学习网络输出的缺陷检测信息。其中，缺陷检测信息至少包括缺陷类型和/或缺陷位置。
可选地，深度学习网络可以为如基于Attention的RNN、LSTM等的点卷积神经网络，或者是基于MTCNN(Multi-task convolutional neural network)的多任务卷积神经网络、SSD(Single Shot MultiBox Detector)的检测网络等。
可选地，深度学习网络可以通过逐层抽象的方式来提取印制电路板中目标的特征，其中一个重要的特征概念是感受野，如果感受野太小，则只能观察到局部的特征，如果感受野太大，则将获得过多无效的特征。因此深度学习网络可以设置多种尺度模型的架构，用于综合不同感受野和粒度下的特征。
在一实施例中，深度学习网络可以采用多尺度特征融合网络中的并行多分支网络。
在一实施例中，深度学习网络中的并行多分支网络通常包含感受野不同的卷积核，最为典型的结构为Inception结构，例如可以使用1*1的卷积，3*3的卷积，和3*3的最大池化。该结构可以将这三个分支对输入分别提取特征后进行融合，然后作为下一层的特征输入。
在另一实施例中，深度学习网络中的并行多分支网络可以通过DeeplabV3结构将图像分割和使用空洞卷积控制感受野，其中，DeepLab v3+将特征提取阶段最后几个layer的conv变成了dilated conv，使其分辨率不再降低，但增大感受野。也就是说这样在保留位置信息的同时，语义信息保持不变。
在另一实施例中，深度学习网络中的并行多分支网络可以通过Trident network结构将图像分割，即“三叉戟网络”的三个分支从上到下对应的Dilation系数逐渐增大，因此对应的目标尺寸也逐渐增大。第一个分支用来检测小目标，第二个分支用来检测中等目标，第三个分支用来检测大目标，其和DeeplabV3网络一样，也是通过dilated conv(空洞卷积)，使分辨率不再降低，但增大感受野。
可选地，本申请实施例中的深度学习网络具有以下三个特点：1、该深度学习网络比较小，能够满足印制电路板检测速度快和延迟低的需求；2、该深度学习网络可以包括三个分支，其中，每一个分支融合了不同尺度分辨率的特征，一个分支可保留高分辨率的特征，另外两个分支可提取印制电路板中更深层的缺陷信息，以识别印制电路板中的缺陷；3、该深度学习网络的结构构造简单，易于部署，且鲁棒性高。
可选地，检测模块12还可以获取印制电路板的检测参数。检测参数为缺陷检测装置10的存储介质中存储的用于检测印制电路板的各项指标参数，包括检测印制电路板类型、电路元件区域，以及检测选择的电路元件区域中的缺陷精度、缺陷尺寸、缺陷数量和缺陷类型中的至少一种。
可选地，检测模块12可以根据获取的印制电路板的缺陷检测信息来提取出印制电路板中对应的其他缺陷信息。其他缺陷信息包括选择的电路元件区域中缺陷的像素点位置、尺寸、类型、数量、置信度、两两缺陷之间的距离和相似度等信息。
在一实施例中，过滤模块13用于将缺陷检测信息输入缺陷过滤器，以获取缺陷过滤器根据缺陷检测信息输出的缺陷判定结果。
其中，缺陷检测信息可能基于深度学习网络的训练质量和待检测图像的提取情况而出现一些检测误判，进而导致缺陷检测结果包括有真实的缺陷以及有误判的假缺陷。其中，缺陷判定结果用于表征缺陷检测信息中的缺陷是否为真实缺陷。
可选地，缺陷过滤器为基于神经网络训练模型来识别缺陷区域和过滤预定缺陷(如误判缺陷)的缺陷过滤器。其中，该神经网络训练模型可以为如基于DQN(Deep QNetwork)网络中的自主判定神经网络。
在一实施例中，输出模块14用于基于缺陷检测信息和缺陷判定结果，输出待检测图像的缺陷检测结果。
具体地，缺陷检测装置将经过误判修正后的缺陷检测信息作为最终待检测图像的缺陷检测结果，将该缺陷检测结果输出至缺陷检测装置的UI界面，以供开发工程师进行数据分析和进行后续的开发工程师或者缺陷检测装置基于待检测图像的缺陷检测结果对印制电路板进行缺陷修复。
区别于现有技术，本申请提供的缺陷检测方法，该方法用于检测印制电路板，该方法包括获取待检测图像，待检测图像包括印制电路板的图像；将待检测图像输入预先训练的深度学习网络，以获取深度学习网络输出的缺陷检测信息，缺陷检测信息至少包括缺陷类型和/或缺陷位置；将缺陷检测信息输入缺陷过滤器，以获取缺陷过滤器根据缺陷检测信息输出的缺陷判定结果，缺陷判定结果用于表征缺陷检测信息中的缺陷是否为真实缺陷；基于缺陷检测信息和缺陷判定结果，输出待检测图像的缺陷检测结果。上述方法，利用待检测图像来获取印制电路板对应的缺陷检测信息，再根据缺陷检测信息获取印制电路板的缺陷判定结果，从而能够检测出印制电路板的待检测图像中的真实缺陷和误判缺陷，进而提高对印制电路板进行缺陷检测的准确性和便于后续印制电路板的修复流程、减少人力资源的消耗。
可选地，将上述可选实施方式进行结合，并基于上述技术方案进一步优化与扩展，可得到本申请提供的缺陷检测方法的一种实施方式。
参阅图2，图2是本申请提供的缺陷检测方法一实施例的流程示意图。其中，该方法应用于上述实施例中的缺陷检测装置，以被该缺陷检测装置执行，该方法包括：
步骤S11：获取待检测图像；其中，待检测图像中包括印制电路板的图像。
在一实施例中，缺陷检测装置用于检测印制电路板，以及缺陷检测装置可搭载有深度相机、3D相机、单目相机或者双目相机等中的一个的图像采集装置，并根据用户的输入，而产生对应的控制信息，以获取印制电路板的采集图像，即印制电路板的待检测图像。
示例性地，缺陷检测装置通过连接自动光学检测设备(AOI)以实时扫描印制电路板，并通过发送运动控制指令以控制机械台面以及电机的运动，将印制电路板传输至图像采集区域，通过图像采集模块对印制电路板进行图像采集，最终得到印制电路板的待检测图像。其中，在图像采集过程中，可以对图像采集区域进行补光，如通过光源控制模块控制光源的开关及亮度进行补光。
在一实施例中，缺陷检测装置从自身存储介质中，或者通过连接第三方机构(如，数字处理平台、云端服务器、外部终端等)以获取印制电路板的待检测图像。
步骤S12：将待检测图像输入预先训练的深度学习网络，以获取深度学习网络输出的缺陷检测信息。
在一实施例中，缺陷检测信息至少包括缺陷类型和/或缺陷位置。
在一实施例中，缺陷检测装置可以获取缺陷检测信息对应的检测参数。其中，检测参数为光学检测设备(AOI)的存储介质中存储的用于检测印制电路板的各项指标参数，包括检测印制电路板类型、电路元件区域，以及检测选择的电路元件区域中的缺陷精度、缺陷尺寸、缺陷数量和缺陷类型中的至少一种。
在另一实施例中，缺陷检测装置将印制电路板图像与印制电路板的设计图进行比较，进而得到印制电路板的待检测图像中的缺陷检测信息。其中，缺陷检测信息为印制电路板的待检测图像中全部缺陷的信息，缺陷检测信息包括选择的电路元件区域中缺陷的像素点位置、尺寸、类型、数量、置信度等信息。
在一实施例中，缺陷检测装置对印制电路板的待检测图像的缺陷检测信息进行分析，以进一步得到印制电路板中其他缺陷信息(包括两两缺陷之间的间距关系、位置关系和相似度关系等)。
作为示例，缺陷检测装置将印制电路板的电路图导入软件中，通过软件基于电路图自动生成印制电路板的设计图。在得到印制电路板的设计图之后，即可根据印制电路板的设计图生成与印制电路板设计图相同的印制电路板。然后利用对位算法将印制电路板的待检测图像与印制电路板的设计图进行对准处理，进而得到印制电路板的待检测图像中的缺陷检测信息。
参阅图3，图3是本申请中获取深度学习网络输出的缺陷检测信息一实施例的流程示意图。具体而言，步骤S12在另一实施例中可以包括如下步骤：
步骤S121：将待检测图像输入缺陷过滤器，以获取缺陷过滤器输出的缺陷区域。
在一实施例中，缺陷检测装置将印制电路板的待检测图像输入一基于点卷基层的CNN神经网络的缺陷过滤器中进行缺陷区域识别，以获取从缺陷过滤器输出的缺陷区域。
在一实施例中，缺陷过滤器对印制电路板的电路元件及其常见变形结构进行预先训练和识别。
具体地，基于神经网络的缺陷过滤器是通过若干个印制电路板的电路元件对应的训练图像，以及若干个电路元件对应变形结构的训练图像训练得到。其可以识别印制电路板的待检测图像中的常见电路元件及其常见的变形结构。
其中，待检测图像中可以包括至少一个缺陷区域，在每一缺陷区域中包括有至少一种类型的缺陷。
进一步地，缺陷检测装置可以根据每一缺陷区域中的存在缺陷类型、缺陷数量、缺陷尺寸和/或缺陷位置等缺陷检测信息来将各缺陷区域划分为重点缺陷区域和非重点缺陷区域。
步骤S122：基于缺陷区域对待检测图像进行裁剪，得到待检测子图。
在一实施例中，缺陷检测装置根据待检测图像中划分的各个缺陷区域将各个缺陷区域对应的图像区域进行裁剪，以得到若干个待检测子图。其中，每一个待检测子图中包括一个缺陷区域。
步骤S123：将待检测子图输入预先训练的深度学习网络，以获取深度学习网络输出的缺陷检测信息。
在一实施例中，缺陷检测装置裁剪的若干个待检测子图输入一预先训练的深度学习网络种进行缺陷检测，以获取深度学习网络输出的缺陷检测信息。
其中，深度学习网络可以为如基于Attention的RNN、LSTM等的点卷积神经网络，或者是基于MTCNN(Multi-task convolutional neural network)的多任务卷积神经网络、SSD(Single Shot MultiBox Detector)的检测网络等。。其中，深度学习网络的作用在于提取待检测子图中的目标特征，再基于目标特征识别对应的缺陷检测信息。其中，目标特征为待检测子图中提取出来的特征矢量，其与对应的缺陷在构造的模型中具有相同或者相似的特征矢量。
可选地，深度学习网络可以通过逐层抽象的方式来提取印制电路板中目标的特征，其中一个重要的特征概念是感受野，如果感受野太小，则只能观察到局部的特征，如果感受野太大，则将获得过多无效的特征。因此深度学习网络可以设置多种尺度模型的架构，用于综合不同感受野和粒度下的特征。
在一实施例中，深度学习网络可以采用多尺度特征融合网络中的并行多分支网络。
在一实施例中，深度学习网络中的并行多分支网络通常包含感受野不同的卷积核，最为典型的结构为Inception结构，例如可以使用1*1的卷积，3*3的卷积，和3*3的最大池化。该结构可以将这三个分支对输入分别提取特征后进行融合，然后作为下一层的特征输入。
在另一实施例中，深度学习网络中的并行多分支网络可以通过DeeplabV3结构将图像分割和使用空洞卷积控制感受野，其中，DeepLab v3+将特征提取阶段最后几个layer的conv变成了dilated conv，使其分辨率不再降低，但增大感受野。也就是说这样在保留位置信息的同时，语义信息保持不变。
在另一实施例中，深度学习网络中的并行多分支网络可以通过Trident network结构将图像分割，即“三叉戟网络”的三个分支从上到下对应的Dilation系数逐渐增大，因此对应的目标尺寸也逐渐增大。第一个分支用来检测小目标，第二个分支用来检测中等目标，第三个分支用来检测大目标，其和DeeplabV3网络一样，也是通过dilated conv(空洞卷积)，使分辨率不再降低，但增大感受野。
可选地，本申请实施例中的深度学习网络具有以下三个特点：1、该深度学习网络比较小，能够满足印制电路板检测速度快和延迟低的需求；2、该深度学习网络可以包括三个分支，其中，每一个分支融合了不同尺度分辨率的特征，一个分支可保留高分辨率的特征，另外两个分支可提取印制电路板中更深层的缺陷信息，以识别印制电路板中的缺陷；3、该深度学习网络的结构构造简单，易于部署，且鲁棒性高。
参阅图4，图4是本申请中获取深度学习网络输出的缺陷检测信息另一实施例的流程示意图。具体而言，步骤S12在另一实施例中可以包括如下步骤：
步骤S124：将待检测图像输入缺陷过滤器，以获取缺陷过滤器输出的待检测图像的缺陷区域和非缺陷区域。
在一实施例中，缺陷检测装置将印制电路板的待检测图像输入一基于DQN(Deep QNetwork)网络的缺陷过滤器中进行缺陷区域识别，以获取从缺陷过滤器输出的待检测图像的缺陷区域和非缺陷区域。
其中，缺陷区域和非缺陷区域中可以包括至少一个缺陷区域，在每一缺陷区域中包括有至少一种类型的缺陷。
其中，缺陷区域即为待检测图像的重点缺陷区域，非缺陷区域即为待检测图像的非重点缺陷区域。缺陷检测装置根据各个检测区域中的存在缺陷类型、缺陷数量、缺陷尺寸和/或缺陷位置等缺陷检测信息来划分得到为重点缺陷区域和非重点缺陷区域。
步骤S125：将待检测图像输入预先训练的深度学习网络，利用深度学习网络按照第一精度对待检测图像的缺陷区域进行检测，按照第二精度对待检测图像的非缺陷区域进行检测。
其中，第一精度和第二精度均为缺陷检测装置检测缺陷区域或者非缺陷区域的设定检测精度，该精度用于表征缺陷检测装置检测缺陷区域或者非缺陷区域包括缺陷类型和/或缺陷位置的范围不同。
作为示例，缺陷检测装置设定的第一精度高于第二精度。例如，缺陷检测装置检测缺陷区域A的设定检测精度为第一精度，第一精度用于检测缺陷区域A中10种类型的缺陷和像素点区域为4乘以4的缺陷位置。缺陷检测装置检测非缺陷区域B的设定检测精度为第二精度，第二精度用于检测缺陷区域B中5种类型的缺陷和像素点区域为32乘以32的缺陷位置。进一步地，缺陷检测装置将待检测图像输入预先训练的基于Attention的CNN神经网络的深度学习网络，利用深度学习网络按照第一精度对待检测图像的缺陷区域A进行检测，以及按照第二精度对待检测图像的非缺陷区域B进行检测。
步骤S126：利用待检测图像的缺陷区域的检测结果，以及待检测图像的非缺陷区域的检测结果，获取缺陷检测信息。
具体地，深度学习网络按照第一精度对待检测图像的缺陷区域进行检测，以输出第一检测结果；以及深度学习网络按照第二精度对待检测图像的非缺陷区域进行检测，以输出第二检测结果。
进一步地，第一检测结果包括有缺陷区域对应的第一缺陷检测信息，以及第二检测结果包括有非缺陷区域对应的第二缺陷检测信息。缺陷检测装置获取深度学习网络输出的第一检测结果和第二检测结果，以得到待检测图像的缺陷检测信息。
步骤S13：将缺陷检测信息输入缺陷过滤器，以获取缺陷过滤器根据缺陷检测信息输出的缺陷判定结果。
其中，缺陷判定结果用于表征缺陷检测信息中的缺陷是否为真实缺陷。
具体地，缺陷检测信息中的缺陷可能基于缺陷过滤器对应的神经网络训练质量以及待检测图像的差异，而提取出的缺陷检测信息中的缺陷可能是真缺陷(例如，电路元件的真点尖角中对应的真缺陷)也可能是假缺陷(例如，电路元件的假点尖角中对应的假缺陷)。
进一步地，缺陷检测装置还可以根据缺陷判定结果中的真实缺陷和假缺陷来重新训练和优化深度学习网络，以使得深度学习网络在后续输出的缺陷检测信息的准确率更高。
参阅图5，图5是本申请中重新训练和优化深度学习网络一实施例的流程示意图。具体而言，缺陷检测装置在完成步骤S13，即缺陷检测装置在将缺陷检测信息输入缺陷过滤器，以获取缺陷过滤器根据缺陷检测信息输出的缺陷判定结果之后，还包括如下步骤：
步骤S131：基于缺陷检测信息和缺陷判定结果，获取深度学习网络的误判信息。
具体地，缺陷检测装置根据深度学习网络输出的缺陷检测信息，来获取待检测图像中所有的缺陷信息(包括真缺陷和假缺陷)；以及缺陷检测装置根据缺陷过滤器输出的缺陷判定结果，来获取待检测图像中所有的缺陷对应的判定结果(包括真缺陷和假缺陷)。进一步地，缺陷检测装置根据所有缺陷的缺陷信息及其对应的判定结果得出深度学习网络在生成的缺陷检测信息中的误判信息(包括将假缺陷误判为真缺陷的信息，以及将真缺陷误判为假缺陷的信息)。
步骤S132：基于误判信息重新训练所述深度学习网络。
具体地，缺陷检测装置根据深度学习网络中的将假缺陷误判为真缺陷的信息，以及将真缺陷误判为假缺陷的信息，重新调整训练的输入(包括用户设定的指定参数和若干个训练图像)，以重新训练深度学习网络，进而使得深度学习网络在后续的输出中其准确性更加高。
步骤S14：基于缺陷检测信息和缺陷判定结果，输出待检测图像的缺陷检测结果。
参阅图6，图6是本申请中输出待检测图像的缺陷检测结果一实施例的流程示意图。具体而言，步骤S14包括如下步骤：
步骤S141：基于缺陷判定结果，获取缺陷检测信息中误判为真实缺陷的误判缺陷。
具体地，缺陷检测装置根据缺陷过滤器输出的缺陷判定结果，来获取待检测图像中所有的缺陷对应的缺陷判定结果(包括误判为真缺陷的假缺陷，和误判为假缺陷的真缺陷)，进一步地，缺陷检测装置根据缺陷判定结果，来获取缺陷检测信息中误判为真实缺陷的误判缺陷。
步骤S142：基于误判缺陷的缺陷信息对缺陷检测信息进行误判修正。
参阅图7，图7是本申请中对缺陷检测信息进行误判修正一实施例的流程示意图。具体而言，步骤S142包括如下步骤：
步骤S1421：基于误判缺陷的缺陷信息获取误判缺陷的位置信息。
具体地，缺陷检测装置根据确定的缺陷检测信息中被误判为真实缺陷的误判缺陷(即假缺陷)对应的缺陷信息，来确定该误判缺陷的位置信息。其中，位置信息包括对应缺陷的像素点位置和多维度坐标位置。
步骤S1422：按照误判缺陷的位置信息将缺陷检测信息中相应位置的缺陷信息删除。
具体地，缺陷检测装置根据确定的误判缺陷(即假缺陷)对应的像素点位置和/或多维度坐标位置，将缺陷检测信息中相应于误判缺陷对应位置的缺陷信息删除，从而对深度学习网络输出的缺陷检测信息进行误判修正，以提高缺陷检测信息的准确性。
步骤S143：将误判修正后的缺陷检测信息作为待检测图像的缺陷检测结果输出。
具体地，缺陷检测装置将经过误判修正后的缺陷检测信息作为最终待检测图像的缺陷检测结果，将该缺陷检测结果输出至缺陷检测装置的UI界面，以供开发工程师进行数据分析和进行后续的开发工程师或者缺陷检测装置基于待检测图像的缺陷检测结果对印制电路板进行缺陷修复。
区别于现有技术，本申请提供的缺陷检测方法，该方法用于检测印制电路板，该方法包括：获取待检测图像，待检测图像包括印制电路板的图像；将待检测图像输入预先训练的深度学习网络，以获取深度学习网络输出的缺陷检测信息，缺陷检测信息至少包括缺陷类型和/或缺陷位置；将缺陷检测信息输入缺陷过滤器，以获取缺陷过滤器根据缺陷检测信息输出的缺陷判定结果，缺陷判定结果用于表征缺陷检测信息中的缺陷是否为真实缺陷；基于缺陷检测信息和缺陷判定结果，输出待检测图像的缺陷检测结果。上述方法，利用待检测图像来获取印制电路板对应的缺陷检测信息，再根据缺陷检测信息获取印制电路板的缺陷判定结果，从而能够检测出印制电路板的待检测图像中的真实缺陷和误判缺陷，进而提高对印制电路板进行缺陷检测的准确性和便于后续印制电路板的修复流程、减少人力资源的消耗。
参阅图8，图8是本申请提供的一种缺陷检测装置的结构示意图，该缺陷检测装置100包括处理器101以及与处理器101连接的存储器102，其中，存储器102中存储有程序数据，处理器101调取存储器102存储的程序数据，以执行上述的缺陷检测方法。
可选地，在一实施例中，处理器101应用于缺陷检测装置100，缺陷检测装置100用于检测印制电路板；处理器101用于执行存储器102中存储的程序数据以实现如下方法：获取待检测图像，待检测图像包括印制电路板的图像；将待检测图像输入预先训练的深度学习网络，以获取深度学习网络输出的缺陷检测信息，缺陷检测信息至少包括缺陷类型和/或缺陷位置；将缺陷检测信息输入缺陷过滤器，以获取缺陷过滤器根据缺陷检测信息输出的缺陷判定结果，缺陷判定结果用于表征缺陷检测信息中的缺陷是否为真实缺陷；基于缺陷检测信息和缺陷判定结果，输出待检测图像的缺陷检测结果。
通过上述的方法，利用待检测图像来获取印制电路板对应的缺陷检测信息，再根据缺陷检测信息获取印制电路板的缺陷判定结果，从而能够检测出印制电路板的待检测图像中的真实缺陷和误判缺陷，进而提高对印制电路板进行缺陷检测的准确性和便于后续印制电路板的修复流程、减少人力资源的消耗。
其中，处理器101还可以称为CPU(Central Processing Unit，中央处理单元)。处理器101可能是一种电子芯片，具有信号的处理能力。处理器101还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器102可以为内存条、TF卡等，可以存储缺陷检测装置100中的全部信息，包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器102中。它根据处理器101指定的位置存入和取出信息。有了存储器102，缺陷检测装置100才有记忆功能，才能保证正常工作。缺陷检测装置100的存储器102按用途可分为主存储器(内存)和辅助存储器(外存)，也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的缺陷检测装置100的实施方式仅仅是示意性的，例如，基于:误判缺陷的缺陷信息对缺陷检测信息进行误判修正；基于误判信息重新训练深度学习网络等等，其仅仅为一种集合的方式，实际实现时可以有另外的划分方式，例如缺陷检测信息中的缺陷类型和/或缺陷位置可以结合或者可以集合到另一个***中，或一些特征可以忽略，或不执行。
另外，在本申请各个实施例中的各功能单元(如获取模块和过滤模块等)可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
参阅图9，图9是本申请提供的计算机可读存储介质一实施例的结构示意图，该计算机可读存储介质110中存储有能够实现上述所有方法的程序指令111。
在本申请各个实施例中的各功能单元集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在计算机可读存储介质110中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机可读存储介质110在一个程序指令111中，包括若干指令用以使得一台计算机设备(可以是个人计算机，***服务器，或者网络设备等)、电子设备(例如MP3、MP4等，也可以是手机、平板电脑、可穿戴设备等移动终端，也可以是台式电脑等)或者处理器(processor)以执行本申请各个实施方式方法的全部或部分步骤。
可选地，在一实施例中，程序指令111应用于缺陷检测装置，缺陷检测装置用于检测印制电路板；程序指令111在被处理器执行时，用以实现如下方法：获取待检测图像，待检测图像包括印制电路板的图像；将待检测图像输入预先训练的深度学习网络，以获取深度学习网络输出的缺陷检测信息，缺陷检测信息至少包括缺陷类型和/或缺陷位置；将缺陷检测信息输入缺陷过滤器，以获取缺陷过滤器根据缺陷检测信息输出的缺陷判定结果，缺陷判定结果用于表征缺陷检测信息中的缺陷是否为真实缺陷；基于缺陷检测信息和缺陷判定结果，输出待检测图像的缺陷检测结果。
通过上述的方法，利用待检测图像来获取印制电路板对应的缺陷检测信息，再根据缺陷检测信息获取印制电路板的缺陷判定结果，从而能够检测出印制电路板的待检测图像中的真实缺陷和误判缺陷，进而提高对印制电路板进行缺陷检测的准确性和便于后续印制电路板的修复流程、减少人力资源的消耗。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质110(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机可读存储介质110实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机可读存储介质110到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的程序指令111产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机可读存储介质110也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储介质110中的程序指令111产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机可读存储介质110也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的程序指令111提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一实施例中，这些可编程数据处理设备上包括处理器和存储器。处理器还可以称为CPU(Central Processing Unit，中央处理单元)。处理器可能是一种电子芯片，具有信号的处理能力。处理器还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以为内存条、TF卡等，它根据处理器指定的位置存入和取出信息。存储器按用途可分为主存储器(内存)和辅助存储器(外存),也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是根据本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种缺陷检测方法，用于检测印制电路板，其特征在于，所述缺陷检测方法包括：
获取待检测图像，所述待检测图像包括所述印制电路板的图像；
将所述待检测图像输入预先训练的深度学习网络，以获取所述深度学习网络输出的缺陷检测信息，所述缺陷检测信息至少包括缺陷类型和/或缺陷位置；
将所述缺陷检测信息输入缺陷过滤器，以获取所述缺陷过滤器根据所述缺陷检测信息输出的缺陷判定结果，所述缺陷判定结果用于表征所述缺陷检测信息中的缺陷是否为真实缺陷；
基于所述缺陷检测信息和所述缺陷判定结果，输出所述待检测图像的缺陷检测结果。
2.根据权利要求1所述的缺陷检测方法，其特征在于，
所述将所述缺陷检测信息输入缺陷过滤器，以获取所述缺陷过滤器根据所述缺陷检测信息输出的缺陷判定结果之后，还包括：
基于所述缺陷检测信息和缺陷判定结果，获取所述深度学习网络的误判信息；
基于所述误判信息重新训练所述深度学习网络。
3.根据权利要求1所述的缺陷检测方法，其特征在于，
所述基于所述缺陷检测信息和所述缺陷判定结果，输出所述待检测图像的缺陷检测结果，包括：
基于所述缺陷判定结果，获取所述缺陷检测信息中误判为真实缺陷的误判缺陷；
基于所述误判缺陷的缺陷信息对所述缺陷检测信息进行误判修正；
将所述误判修正后的缺陷检测信息作为所述待检测图像的缺陷检测结果输出。
4.根据权利要求3所述的缺陷检测方法，其特征在于，
所述基于所述误判缺陷的缺陷信息对所述缺陷检测信息进行误判修正，包括：
基于所述误判缺陷的缺陷信息获取误判缺陷的位置信息；
按照所述误判缺陷的位置信息将所述缺陷检测信息中相应位置的缺陷信息删除。
5.根据权利要求1所述的缺陷检测方法，其特征在于，
所述将所述待检测图像输入预先训练的深度学习网络，以获取所述深度学习网络输出的缺陷检测信息，包括：
将所述待检测图像输入所述缺陷过滤器，以获取所述缺陷过滤器输出的缺陷区域；
基于所述缺陷区域对所述待检测图像进行裁剪，得到待检测子图；
将所述待检测子图输入所述预先训练的深度学习网络，以获取所述深度学习网络输出的缺陷检测信息。
6.根据权利要求1所述的缺陷检测方法，其特征在于，
所述将所述待检测图像输入预先训练的深度学习网络，以获取所述深度学习网络输出的缺陷检测信息，包括：
将所述待检测图像输入所述缺陷过滤器，以获取所述缺陷过滤器输出的待检测图像的缺陷区域和非缺陷区域；
将所述待检测图像输入所述预先训练的深度学习网络，利用所述深度学习网络按照第一精度对所述待检测图像的缺陷区域进行检测，按照第二精度对所述待检测图像的非缺陷区域进行检测，所述第一精度高于所述第二精度；
利用所述待检测图像的缺陷区域的检测结果，以及所述待检测图像的非缺陷区域的检测结果，获取所述缺陷检测信息。
7.根据权利要求1所述的缺陷检测方法，其特征在于，
所述缺陷过滤器对所述印制电路板的电路元件及其常见变形结构进行预先训练和识别。
8.一种缺陷检测装置，用于印制电路板，其特征在于，所述缺陷检测装置包括获取模块、检测模块、过滤模块以及输出模块；其中，
所述获取模块，用于获取待检测图像，所述待检测图像包括所述印制电路板的图像；
所述检测模块，用于将所述待检测图像输入预先训练的深度学习网络，以获取所述深度学习网络输出的缺陷检测信息，所述缺陷检测信息至少包括缺陷类型和/或缺陷位置；
所述过滤模块，用于将所述缺陷检测信息输入缺陷过滤器，以获取所述缺陷过滤器根据所述缺陷检测信息输出的缺陷判定结果，所述缺陷判定结果用于表征所述缺陷检测信息中的缺陷是否为真实缺陷；
所述输出模块，用于基于所述缺陷检测信息和所述缺陷判定结果，输出所述待检测图像的缺陷检测结果。
9.一种缺陷检测装置，其特征在于，所述缺陷检测装置包括存储器和处理器，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1-7任一项所述的缺陷检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序数据，所述程序数据在被处理器执行时，用于执行如权利要求1-7任一项所述的缺陷检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210708851.6A CN115249237A (zh) | 2022-06-21 | 2022-06-21 | 缺陷检测方法、缺陷检测装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210708851.6A CN115249237A (zh) | 2022-06-21 | 2022-06-21 | 缺陷检测方法、缺陷检测装置及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115249237A true CN115249237A (zh) | 2022-10-28 |
Family
ID=83700396
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210708851.6A Pending CN115249237A (zh) | 2022-06-21 | 2022-06-21 | 缺陷检测方法、缺陷检测装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115249237A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115908420A (zh) * | 2023-01-10 | 2023-04-04 | 北京阿丘机器人科技有限公司 | 印刷电路板的缺陷检测方法、装置、设备及存储介质 |
| CN116152251A (zh) * | 2023-04-20 | 2023-05-23 | 成都数之联科技股份有限公司 | 电视机背板检测方法、模型训练方法、装置、设备和介质 |
| TWI812558B (zh) * | 2022-11-23 | 2023-08-11 | 大陸商環維電子(上海)有限公司 | 針對微小瑕疵與錯件的影像檢測方法及其系統 |
| CN117876348A (zh) * | 2024-01-16 | 2024-04-12 | 深圳市塞外科技有限公司 | 纸杯设计缺陷自动预检测方法与装置 |
-
2022
- 2022-06-21 CN CN202210708851.6A patent/CN115249237A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI812558B (zh) * | 2022-11-23 | 2023-08-11 | 大陸商環維電子(上海)有限公司 | 針對微小瑕疵與錯件的影像檢測方法及其系統 |
| CN115908420A (zh) * | 2023-01-10 | 2023-04-04 | 北京阿丘机器人科技有限公司 | 印刷电路板的缺陷检测方法、装置、设备及存储介质 |
| CN116152251A (zh) * | 2023-04-20 | 2023-05-23 | 成都数之联科技股份有限公司 | 电视机背板检测方法、模型训练方法、装置、设备和介质 |
| CN117876348A (zh) * | 2024-01-16 | 2024-04-12 | 深圳市塞外科技有限公司 | 纸杯设计缺陷自动预检测方法与装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115249237A (zh) | 缺陷检测方法、缺陷检测装置及计算机可读存储介质 | |
| CN112149636B (zh) | 用于检测目标物体的方法、装置、电子设备及存储介质 | |
| KR20200004822A (ko) | 디스플레이 스크린 주변 회로 검출 방법, 장치, 전자기기 및 저장매체 | |
| CN102938077A (zh) | 基于双阈值二值化的在线式aoi图像检索方法 | |
| CN104239909A (zh) | 一种图像的识别方法和装置 | |
| CN114782286A (zh) | 缺陷修复方法、光学修复设备、电子设备及存储介质 | |
| CN115239626A (zh) | 缺陷检测方法、光学检测设备、电子设备以及存储介质 | |
| CN117252815A (zh) | 基于2d-3d多模态图像的工业零件缺陷检测方法、***、设备及存储介质 | |
| CN112819756A (zh) | Pcb板表面缺陷检测装置及方法 | |
| Anitha et al. | SMT component inspection in PCBA’s using image processing techniques | |
| Caliskan et al. | Design and realization of an automatic optical inspection system for PCB solder joints | |
| Niu et al. | An improved YOLOv5 network for detection of printed circuit board defects | |
| CN114693963A (zh) | 基于电力数据特征提取的识别模型训练、识别方法及装置 | |
| CN112686122A (zh) | 人体及影子的检测方法、装置、电子设备、存储介质 | |
| CN117745653A (zh) | 防爆阀缺陷检测方法和装置 | |
| CN115239628A (zh) | 缺陷检测方法、光学检测设备、电子设备以及存储介质 | |
| Zhou et al. | Toward TR-PCB bubble detection via an efficient attention segmentation network and dynamic threshold | |
| CN109493311B (zh) | 一种无规则缺陷图片模式识别与匹配方法及*** | |
| Chen et al. | EEE-Net: Efficient edge enhanced network for surface defect detection of glass | |
| Yuen et al. | GENSS: Defect Classification Method on Extremely Small Datasets for Semiconductor Manufacturing | |
| CN112733686A (zh) | 用于云联邦的图像中的目标物识别方法及装置 | |
| CN112001369A (zh) | 船舶烟囱的检测方法、装置、电子设备及可读存储介质 | |
| Gustilo et al. | PCB fault detection by using convolutional neural networks | |
| CN117275030B (zh) | 审核地图的方法和装置 | |
| CN114998906B (zh) | 文本检测方法、模型的训练方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |