CN108961236A - 电路板缺陷检测模型的训练方法及装置、检测方法及装置 - Google Patents
电路板缺陷检测模型的训练方法及装置、检测方法及装置 Download PDFInfo
- Publication number
- CN108961236A CN108961236A CN201810701246.XA CN201810701246A CN108961236A CN 108961236 A CN108961236 A CN 108961236A CN 201810701246 A CN201810701246 A CN 201810701246A CN 108961236 A CN108961236 A CN 108961236A
- Authority
- CN
- China
- Prior art keywords
- training sample
- feature
- circuit board
- training
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请提供了一种电路板缺陷检测模型的训练方法及装置、检测方法及装置,其中,该训练方法包括:获取本轮训练使用的至少一个训练样本对;其中,训练样本对包括两个相同和/或不同的电路板图像;将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用神经网络分别为输入的训练样本对确定第一特征和第二特征;将第一特征和第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;并根据匹配结果对神经网络进行本轮训练;经过对神经网络的多轮训练,得到电路板缺陷检测模型。本申请通过训练出的电路板缺陷检测模型,能够自动检测电路板是否存在缺陷,检测的容错率和准确率均较高。
Description
技术领域
本申请涉及电路板检测技术领域,具体而言,涉及一种电路板缺陷检测模型的训练方法及装置、检测方法及装置。
背景技术
印刷电路板(Printed Circuit Board,PCB)作为电子元器件电气连接的载体,通过其上安装的多个元件,以及这些元件之间预设的逻辑电路连接关系来实现特定的电路功能。考虑到在PCB板生产加工或者装配过程中均可能由于出现各种情况而导致元件的漏装、多装等,这将造成PCB板无法正常工作或运行。而PCB板作为电子产品的承载体,这些无法正常工作或运行的PCB板只有被检测出来,才能确保电子产品的性能。
最早的PCB板缺陷检测的方法依赖于人工目测,该方法是由操作人员借助放大镜或校准的显微镜通过肉眼检测PCB板是否存在缺陷。可知,上述方法完全依赖于肉眼的检测结果,费时费力,且自动化程度较差。为了解决上述技术问题,相关技术提供了一种基于自动光学检测手段进行PCB板缺陷检测的方法,该方法通过各种图像处理方法(如灰度化、二值处理、特征提取、特征检测等)对获取的PCB板图像进行处理,并根据处理后的图像与模板之间的匹配结果来自动检测PCB板是否存在缺陷。
然而,上述基于自动光学检测手段进行PCB板缺陷检测的方法,由于其需要针对不同的错误类型设置不同的匹配模板,未设置匹配模板的错误类型无法进行有效检测,导致检测的容错率较低,且为了防止漏检,上述方法往往会调节检测的阈值范围,这将使得更多正确的PCB板被认为是错误的,准确率较低。
发明内容
有鉴于此,本申请实施例的目的在于提供一种电路板缺陷检测模型的训练方法及装置、检测方法及装置,以提高缺陷检测的准确率和容错率。
第一方面,本申请实施例提供了一种电路板缺陷检测模型的训练方法,包括:
获取本轮训练使用的至少一个训练样本对;其中,所述训练样本对包括两个相同和/或不同的电路板图像;
将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征;
将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;并
根据匹配结果对所述神经网络进行本轮训练;
经过对所述神经网络的多轮训练,得到电路板缺陷检测模型。
结合第一方面,本申请提供了第一方面的第一种可能的实施方式,其中,所述神经网络包括孪生Siamese网络;
将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征,包括:
将获取的至少一个训练样本对中的每个训练样本对分别输入Siamese网络的两个入口,并使用所述Siamese网络分别为输入的训练样本对确定第一特征向量和第二特征向量;
将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;并根据匹配结果对所述神经网络进行本轮训练,包括:
执行如下匹配操作,直到第一特征向量和第二特征向量的比对结果与对应训练样本对的标注值一致,则完成本轮训练;其中,所述标注值表征对应训练样本对相似或者不相似;
所述匹配操作包括:
将所述第一特征向量和所述第二特征向量进行比对,得到比对结果;
将所述比对结果与对应训练样本对的标注值进行匹配;
针对标注值表征对应训练样本对的匹配情况与所述比对结果表征的匹配情况不一致的情况,生成第一反馈信息;并
基于所述第一反馈信息对所述Siamese网络进行参数调整;
基于调整后的参数,使用所述Siamese网络为对应训练样本对确定新的第一特征向量和第二特征向量,并再次执行所述匹配操作。
结合第一方面,本申请提供了第一方面的第二种可能的实施方式,其中,所述神经网络包括双通道神经网络;
将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征,包括:
将获取的至少一个训练样本对中的每个训练样本对分别作为源数据和目标数据,并分别输入所述双通道神经网络的不同通道;
使用所述双通道神经网络分别为输入的训练样本对确定第一特征和第二特征;
将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;并根据匹配结果对所述神经网络进行本轮训练,包括:
执行如下距离确定操作,直到满足第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或满足第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,则完成本轮训练;
所述距离确定操作,包括:
确定所述第一特征和所述第二特征之间的距离;
针对第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或针对第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,生成第二反馈信息;并
基于所述第二反馈信息对所述双通道神经网络进行参数调整;
基于调整后的参数,使用所述双通道神经网络为对应训练样本对确定新的第一特征和第二特征,并再次执行所述距离确定操作。
第二方面,本申请还提供了一种电路板缺陷检测方法,包括:
将待检测电路板图像与对应的标准电路板图像输入采用第一方面、第一方面的第一种可能的实施方式和第二种可能的实施方式中任一可能的实施方式所述的训练方法训练得到的电路板缺陷检测模型;
使用所述电路板缺陷检测模型分别为所述待检测电路板图像与对应的标准电路板图像提取第三特征和第四特征;并
将所述第三特征和所述第四特征进行比对;
根据得到的比对结果确定所述待检测电路板是否存在缺陷。
结合第二方面,本申请提供了第二方面的第一种可能的实施方式,其中,采用如下方法确定待检测电路板图像对应的标准电路板图像:
针对每张所述待检测电路板图像,确定该待检测电路板图像所包括元器件的第一标识信息;
将所述第一标识信息与对应标准电路板全图中所包括的各元器件的第二标识信息进行对比,确定匹配的第二标识信息对应元器件在所述标准电路板全图中的所属区域;
基于所述待检测电路板图像的大小以及预设遍历步长,对在所述标准电路板全图中确定的区域执行遍历操作,得到至少一个候选标准电路板图像;
计算所述待检测电路板图像与各候选标准电路板图像的图像相似度;
将图像相似度最大的候选标准电路板图像确定为标准电路板图像。
结合第二方面,本申请提供了第二方面的第二种可能的实施方式,其中,采用如下方法确定待检测电路板图像对应的标准电路板图像:
基于所述待检测电路板图像的大小以及预设遍历步长,对所述标准电路板全图执行遍历操作,得到至少一个候选标准电路板图像;
计算所述待检测电路板图像与各候选标准电路板图像的图像相似度;
将图像相似度最大的候选标准电路板图像确定为标准电路板图像。
第三方面,本申请还提供了一种电路板缺陷检测模型的训练装置,包括:
样本获取模块,用于获取本轮训练使用的至少一个训练样本对;其中,所述训练样本对包括两个相同和/或不同的电路板图像;
特征确定模块,用于将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征;
匹配模块,用于将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;根据匹配结果对所述神经网络进行本轮训练;
模型训练模块,用于经过对所述神经网络的多轮训练,得到电路板缺陷检测模型。
结合第三方面,本申请提供了第三方面的第一种可能的实施方式,其中,所述神经网络包括孪生Siamese网络;
所述特征确定模块,具体用于:
将获取的至少一个训练样本对中的每个训练样本对分别输入Siamese网络的两个入口,并使用所述Siamese网络分别为输入的训练样本对确定第一特征向量和第二特征向量;
所述匹配模块,具体用于:
执行如下匹配操作,直到第一特征向量和第二特征向量的比对结果与对应训练样本对的标注值一致,则完成本轮训练;其中,所述标注值表征对应训练样本对相似或者不相似;
所述匹配操作包括:
将所述第一特征向量和所述第二特征向量进行比对,得到比对结果;
将所述比对结果与对应训练样本对的标注值进行匹配;
针对标注值表征对应训练样本对的匹配情况与所述比对结果表征的匹配情况不一致的情况,生成第一反馈信息;并
基于所述第一反馈信息对所述Siamese网络进行参数调整;
基于调整后的参数,使用所述Siamese网络为对应训练样本对确定新的第一特征向量和第二特征向量,并再次执行所述匹配操作。
结合第三方面,本申请提供了第三方面的第二种可能的实施方式,其中,所述神经网络包括双通道神经网络;
所述特征确定模块,具体用于:
将获取的至少一个训练样本对中的每个训练样本对分别作为源数据和目标数据,并分别输入所述双通道神经网络的不同通道;
使用所述双通道神经网络分别为输入的训练样本对确定第一特征和第二特征;
所述匹配模块,具体用于:
执行如下距离确定操作,直到满足第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或满足第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,则完成本轮训练;
所述距离确定操作,包括:
确定所述第一特征和所述第二特征之间的距离;
针对第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或针对第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,生成第二反馈信息;并
基于所述第二反馈信息对所述双通道神经网络进行参数调整;
基于调整后的参数,使用所述双通道神经网络为对应训练样本对确定新的第一特征和第二特征,并再次执行所述距离确定操作。
第四方面,本申请实施例还提供了一种电路板缺陷检测装置,包括:
模型输入模块,用于将待检测电路板图像与对应的标准电路板图像输入采用第三方面、第三方面的第一种可能的实施方式和第二种可能的实施方式中任一可能的实施方式所述的训练装置训练得到的电路板缺陷检测模型;
特征确定模块,用于使用所述电路板缺陷检测模型分别为所述待检测电路板图像与对应的标准电路板图像提取第三特征和第四特征;
特征比对模块,用于将所述第三特征和所述第四特征进行比对;
缺陷检测模块,用于根据得到的比对结果确定所述待检测电路板是否存在缺陷。
本申请实施例提供的上述方案中,将训练样本对中的两个相同和/或不同的电路板图像对应输入到神经网络中的两个分支中,并通过将该神经网络确定的第一特征与第二特征的比对结果与训练样本对的标注值进行匹配的匹配结果来对神经网络进行多轮训练,以得到电路板缺陷检测模型。上述方案训练出的电路板缺陷检测模型,能够自动检测电路板是否存在缺陷,避免了自动光学检测方法所带来的容错率和准确率均较低的问题,检测的容错率和准确率均较高,适用性较佳。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种电路板缺陷检测模型的训练方法的流程图;
图2示出了本申请实施例所提供的另一种电路板缺陷检测模型的训练方法的流程图;
图3示出了本申请实施例所提供的另一种电路板缺陷检测模型的训练方法的流程图;
图4示出了本申请实施例所提供的一种电路板缺陷检测方法的流程图;
图5示出了本申请实施例所提供的另一种电路板缺陷检测方法的流程图;
图6示出了本申请实施例所提供的另一种电路板缺陷检测方法的流程图;
图7示出了本申请实施例所提供的一种电路板缺陷检测模型的训练装置的功能模块图;
图8示出了本申请实施例所提供的一种电路板缺陷检测装置的功能模块图;
图9示出了本申请实施例所提供的一种计算机设备的结构示意图;
图10示出了本申请实施例所提供的另一种计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
考虑到相关技术中基于自动光学检测手段进行PCB板缺陷检测的方法,由于其需要针对不同的错误类型设置不同的匹配模板,未设置匹配模板的错误类型无法进行有效检测,导致检测的容错率较低,且为了防止漏检,上述方法往往会调节检测的阈值范围,这将使得更多正确的PCB板被认为是错误的,准确率较低。有鉴于此,本申请一种实施例提供了一种电路板缺陷检测模型的训练方法,以提高缺陷检测的准确率和容错率,详见下述实施例。
参见图1,为本申请实施例提供的电路板缺陷检测模型的训练方法的流程图,应用于计算机设备,上述训练方法包括如下步骤:
S101、获取本轮训练使用的至少一个训练样本对;其中,训练样本对包括两个相同和/或不同的电路板图像。
这里,需要预先获取训练样本对。该训练样本对中的两个电路板图像是成对出现的,且成对出现的两个电路板图像可以相同也可以不同。在本申请实施例中,相同的两个电路板图像可以均是正确的电路板图像,不同的两个电路板图像可以是一个为正确的电路板图像,另一个为错误的电路板图像。其中,正确的电路板图像可以是从标准电路板全图中查找到的与错误的电路板图像相对应的电路板图像,错误的电路板图像可以来自于相关技术中利用自动光学检测手段确定的存在缺陷的电路板图像,还可以是人工收集的存在缺陷的电路板图像,本申请实施例对此不做具体的限制。
S102、将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用神经网络分别为输入的训练样本对确定第一特征和第二特征。
这里,基于上述获取的至少一个训练样本对,本申请实施例将每个训练样本对作为具有两个分支的神经网络的训练数据进行该神经网络的训练。
其中,在训练的过程中,针对输入至神经网络的训练样本对,可以为其包括的两个电路板图像确定对应的第一特征和第二特征。该第一特征与输入的一个电路板图像,以及与该电路板图像对应的神经网络的一个分支的训练参数相关,该第二特征则与输入的另一个电路板图像,以及与该电路板图像对应的神经网络的另一个分支的训练参数相关。
S103、将第一特征和第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;并根据匹配结果对神经网络进行本轮训练。
这里,本申请实施例可以对神经网络进行多轮训练,且在每轮训练中均能够根据上述第一特征与第二特征的比对结果与对应训练样本对的标注值之间的匹配结果对神经网络的一个或两个分支进行训练参数的调整,并基于调整后的训练参数进行第一特征与第二特征的更新,直至在上述匹配结果达到预设条件时,完成该轮训练。
其中,上述预设条件可以是第一特征和第二特征的比对结果与对应训练样本对的标注值一致,还可以是第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据(如训练样本对中的一个电路板图像)的标注值表征对应训练样本对相似,和/或满足第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似。
另外,本申请实施例中训练样本对的标注值可以是预先标注好的,例如,对于相同的两个电路板图像对应的训练样本对可以标注为0,对于不同的两个电路板图像对应的训练样本对可以标注为1。值得说明的是,上述标注方式仅为一个具体示例,在本申请实施例提供的电路板缺陷检测模型的训练方法具体应用时,可以采用其他标注方式,本申请实施例对此不做具体的限制。
S104、经过对神经网络的多轮训练,得到电路板缺陷检测模型。
这里,为了进一步确保本申请实施例提供的电路板缺陷检测模型的训练方法的训练效果,本申请实施例可以采用多轮训练的方式对上述神经网络进行训练,以得到电路板缺陷检测模型。
在具体实施中,上述电路板缺陷检测模型将两个电路板图像(即待检测电路板图像和标准电路板图像)映射为一个检测结果(即待检测电路板图像相对标准电路板图像的标注值)。本申请实施例可以采用孪生Siamese网络进行模型训练,还可以采用双通道神经网络进行模型训练。也即,本申请采用孪生Siamese网络或双通道神经网络通过反复迭代学习,逐步确定训练参数,并最终学习到如何根据两个电路板图像生成一个标注值。
接下来分别阐述应用孪生Siamese网络以及双通道神经网络进行电路板缺陷检测模型训练的过程。
对于应用孪生Siamese网络训练电路板缺陷检测模型而言,可以首先将获取的至少一个训练样本对中的每个训练样本对分别输入Siamese网络的两个入口,这样,Siamese网络便可以分别将两个输入映射到新的空间,形成输入在新的空间中的表示,也即利用Siamese网络便可以为输入的训练样本对确定对应的第一特征向量和第二特征向量。在确定了第一特征向量和第二特征向量之后,本申请实施例可以通过循环执行匹配操作,直至在执行匹配操作后确定的新的第一特征向量和第二特征向量能够满足第一特征向量和第二特征向量的比对结果与对应训练样本对的标注值一致,则结束一轮训练。
值得说明的是,上述第一特征向量和第二特征向量的比对结果与对应训练样本对的标注值一致可以指的是,训练样本对中的两个电路板图像为相似图像时,对比结果表示的是一个较小值,训练样本对中的两个电路板图像为不相似图像时,对比结果表示的是一个较大值。其中,对于上述较大值和较小值的判断是可以基于预设阈值的,高于该预设阈值则为较大值,低于该预设阈值则为较小值。
如图2所示,本申请实施例可以按照如下步骤执行匹配操作:
S201、将第一特征向量和第二特征向量进行比对,得到比对结果;
S202、将比对结果与对应训练样本对的标注值进行匹配;
S203、针对标注值表征对应训练样本对的匹配情况与比对结果表征的匹配情况不一致的情况,生成第一反馈信息;
S204、基于第一反馈信息对Siamese网络进行参数调整;
S205、基于调整后的参数,使用Siamese网络为对应训练样本对确定新的第一特征向量和第二特征向量,并再次执行匹配操作。
这里,本申请实施例的匹配操作可以执行多次,在每次执行时,可以首先将第一特征向量和第二特征向量进行比对,然后将比对得到的比对结果与训练样本对的标注值进行匹配,其次针对标注值表征对应训练样本对的匹配情况与比对结果表征的匹配情况不一致的情况,生成第一反馈信息,最后基于第一反馈信息对Siamese网络进行参数调整,并基于调整后的参数,确定更新后的第一特征向量和第二特征向量。
其中,本申请实施例中采用的Siamese网络的采用上下两边两个网络,其是完全相同的网络结构,它们共享相同的权值参数W,若输入的训练样本对及其标注值为(X1,X2,Y),其中,X1和X2可以表示训练样本对,Y可以表示对应X1和X2的标注值,且Y可以包括两个取值。Y=0表示X1和X2属于相似的电路板图像,Y=1则表示两图不相似。即相似对为(X1,X2,0),欺骗对为(X1,X2’,1)。针对两个不同的输入X1和X2,分别输出低维空间结果,即第一特征向量和第二特征向量。
本申请实施例中,由第一特征向量与第二特征向量比对得到的比对结果可以用于表征两个特征向量之间的特征相似度。这里,不仅可以基于余弦距离计算方式确定两个特征向量之间的特征相似度,还可以基于欧式距离计算方式确定两个特征向量之间的特征相似度,还可以基于其他方式确定两个特征向量之间的特征相似度,本申请实施例对此不做具体的限制。
另外,如前文阐述的,第一特征和第二特征会受到神经网络的两个对应分值的训练参数的影响,这样,第一特征向量和第二特征向量同样会受到Siamese网络的训练参数的影响,也即,本申请实施例在确定标注值表征对应训练样本对的匹配情况与比对结果表征的匹配情况不一致的情况时,会根据生成的第一反馈信息调节训练的参数,在参数调整后,第一特征向量和第二特征向量也会随之更新。
再者,考虑到采用Siamese网络进行训练的目标即是让两个相似电路板图像对应的特征相似度尽可能的小,两个不相似电路板图像对应的特征相似度尽可能的大。那么,在第一特征向量和第二特征向量更新后,将以上述目标为收敛条件进行网络的循环训练,直至得到电路板缺陷检测模型即可。
对于应用双通道神经网络训练电路板缺陷检测模型而言,可以首先将获取的至少一个训练样本对中的每个训练样本对分别作为源数据和目标数据,并分别输入双通道神经网络的不同通道,这样,双通道神经网络便可以分别将两个输入映射到新的空间,形成输入在新的空间中的表示,也即利用双通道神经网络便可以为输入的训练样本对确定对应的第一特征和第二特征。在确定了第一特征和第二特征之后,本申请实施例可以通过循环执行距离确定操作,直至在执行距离确定操作后确定的新的第一特征和第二特征能够满足第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或满足第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,则结束一轮训练。
如图3所示,本申请实施例可以按照如下步骤执行距离确定操作:
S301、确定第一特征和第二特征之间的距离;
S302、针对第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或针对第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,生成第二反馈信息;
S303、基于第二反馈信息对双通道神经网络进行参数调整;
S304、基于调整后的参数,使用双通道神经网络为对应训练样本对确定新的第一特征和第二特征,并再次执行距离确定操作。
这里,本申请实施例的距离确定操作可以执行多次,在每次执行时,可以首先确定第一特征和第二特征之间的距离,然后针对第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或针对第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,生成第二反馈信息,最后基于第二反馈信息对双通道神经网络进行参数调整,并基于调整后的参数,确定更新后的第一特征和第二特征。
这里,不仅可以基于余弦距离计算方式确定两个特征之间的距离,还可以基于欧式距离计算方式确定两个特征之间的距离,还可以基于其他方式确定两个特征之间的距离,本申请实施例对此不做具体的限制。
另外,如前文阐述的,第一特征和第二特征会受到神经网络的两个对应分支的训练参数的影响,这样,第一特征和第二特征同样会受到双通道神经网络的训练参数的影响,也即,本申请实施例会根据第二反馈信息调节训练的参数,在参数调整后,第一特征和第二特征也会随之更新。那么,在第一特征和第二特征更新后,将以满足第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或满足第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似作为收敛条件进行网络的循环训练,直至得到电路板缺陷检测模型即可。
基于上述实施例训练得到的电路板缺陷检测模型,本申请实施例还提供了一种电路板缺陷检测方法,如图4所示,为本申请实施例提供的电路板缺陷检测方法的流程图,应用于计算机设备,上述电路板缺陷检测方法包括如下步骤:
S401、将待检测电路板图像与对应的标准电路板图像输入电路板缺陷检测模型;
S402、使用电路板缺陷检测模型分别为待检测电路板图像与对应的标准电路板图像提取第三特征和第四特征;
S403、将第三特征和第四特征进行比对;
S404、根据得到的比对结果确定待检测电路板是否存在缺陷。
这里,在本申请实施例中,通过将待检测电路板图像与对应的标准电路板图像输入至训练好的电路板缺陷检测模型,便可以得到对应于输入的第三特征与第四特征,通过第三特征与第四特征的比对结果,即可确定待检测电路板图像相对标准电路板图像的标注值,根据该标注值即可确定待检测电路板是否存在缺陷。
其中,本申请实施例可以在模型训练阶段添加更多缺陷类型的训练样本以确保训练好的电路板缺陷检测模型具备较强的检测能力,这样,在后续的模型应用阶段,便可以对各种缺陷(如虚焊,粘连,铜箔脱落等)进行自动检测,省时省力,且检测的容错率和准确率均较高。
本申请实施例中,可以基于待检测电路板图像从标准电路板全图中查找与该待检测电路板图像相对应的标准电路板图像。对于上述查找操作,本申请实施例不仅可以直接基于待检测电路板图像对标准电路板全图的遍历操作来查找,还可以先基于待检测电路板图像所包括元器件的第一标识信息对标准电路板全图进行粗查找,然后再对粗查找所确定的区域进行细查找。接下来对两种查找方式分别进行说明。
对于直接查找方式而言,如图5所示,本申请实施例采用如下步骤查找对应的标准电路板图像:
S501、基于待检测电路板图像的大小以及预设遍历步长,对标准电路板全图执行遍历操作,得到至少一个候选标准电路板图像;
S502、计算待检测电路板图像与各候选标准电路板图像的图像相似度;
S503、将图像相似度最大的候选标准电路板图像确定为标准电路板图像。
这里,通过待检测电路板图像在标准电路板全图(如PCB版全图)上滑动,如按照从左往右,从上往下的顺序进行滑动,这样,在每一个滑动位置,均可以进行一次相似度计算来表明该滑动位置所处区域的候选标准电路板图像与待检测电路板图像的匹配程度,从各个滑动位置对应的候选标准电路板图像中选取出与待检测电路板图像匹配程度最高的候选标准电路板图像作为标准电路板图像。
其中,上述相似度计算可以是待检测电路板图像与候选标准电路板图像之间的图像相似度。本申请实施例中,对于相似度的评价可以采用相关系数匹配法,如下式所示:
其中,R(i,j)为标准相关系数,(i,j)为标准电路板全图中的每个像素坐标,T为待检测电路板图像,T(m,n)是待检测电路板图像中坐标为(m,n)的像素值。S标准电路板全图,Sij为标准电路板全图坐标为(i,j)位置所截取的候选标准电路板图像,Sij(m,n)为候选标准电路板图像中坐标为(m,n)的像素值。
对于先粗查找再细查找方式而言,如图6所示,本申请实施例采用如下步骤查找对应的标准电路板图像:
S601、针对每张待检测电路板图像,确定该待检测电路板图像所包括元器件的第一标识信息;
S602、将第一标识信息与对应标准电路板全图中所包括的各元器件的第二标识信息进行对比,确定匹配的第二标识信息对应元器件在标准电路板全图中的所属区域;
S603、基于待检测电路板图像的大小以及预设遍历步长,对在标准电路板全图中确定的区域执行遍历操作,得到至少一个候选标准电路板图像;
S604、计算待检测电路板图像与各候选标准电路板图像的图像相似度;
S605、将图像相似度最大的候选标准电路板图像确定为标准电路板图像。
这里,考虑到待检测电路板图像中可能包含有一个或多个元器件,这样会加大标准电路板图像的获取难度。为了进一步确保获取的标准电路板图像的准确度,本申请实施例首先基于待检测电路板图像所包括元器件的第一标识信息与对应标准电路板全图中所包括的各元器件的第二标识信息进行对比,确定匹配的第二标识信息对应元器件在标准电路板全图中的所属区域,也即先在标准电路板全图中确定一个与待检测电路板图像相对应的区域,然后再通过待检测电路板图像在确定的区域内滑动,来细查找对应的标准电路板图像。
其中,从确定的区域查找标准电路板图像与上述直接从标准电路板全图查找标准电路板图像所采用的方法类似,也可以是在执行遍历操作后,通过计算图像相似度来查找,具体的遍历过程以及相似度计算过程参见上述内容,在此不再赘述。
基于同一发明构思,本申请实施例中还提供了与电路板缺陷检测模型的训练方法对应的电路板缺陷检测模型的训练装置,由于本申请实施例中的装置解决问题的原理与本申请实施例上述电路板缺陷检测模型的训练方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
如图7所示,为本申请实施例所提供的电路板缺陷检测模型的训练装置的结构示意图,该电路板缺陷检测模型的训练装置包括:
样本获取模块701,用于获取本轮训练使用的至少一个训练样本对;其中,训练样本对包括两个相同和/或不同的电路板图像;
特征确定模块702,用于将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用神经网络分别为输入的训练样本对确定第一特征和第二特征;
匹配模块703,用于将第一特征和第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;根据匹配结果对神经网络进行本轮训练;
模型训练模块704,用于经过对神经网络的多轮训练,得到电路板缺陷检测模型。
在一种实施方式中,神经网络包括孪生Siamese网络;
特征确定模块702,具体用于:
将获取的至少一个训练样本对中的每个训练样本对分别输入Siamese网络的两个入口,并使用Siamese网络分别为输入的训练样本对确定第一特征向量和第二特征向量;
匹配模块703,具体用于:
执行如下匹配操作,直到第一特征向量和第二特征向量的比对结果与对应训练样本对的标注值一致,则完成本轮训练;其中,标注值表征对应训练样本对相似或者不相似;
匹配操作包括:
将第一特征向量和第二特征向量进行比对,得到比对结果;
将比对结果与对应训练样本对的标注值进行匹配;
针对标注值表征对应训练样本对的匹配情况与比对结果表征的匹配情况不一致的情况,生成第一反馈信息;并
基于第一反馈信息对Siamese网络进行参数调整;
基于调整后的参数,使用Siamese网络为对应训练样本对确定新的第一特征向量和第二特征向量,并再次执行匹配操作。
在另一种实施方式中,神经网络包括双通道神经网络;
特征确定模块702,具体用于:
将获取的至少一个训练样本对中的每个训练样本对分别作为源数据和目标数据,并分别输入双通道神经网络的不同通道;
使用双通道神经网络分别为输入的训练样本对确定第一特征和第二特征;
匹配模块703,具体用于:
执行如下距离确定操作,直到满足第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或满足第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,则完成本轮训练;
距离确定操作,包括:
确定第一特征和第二特征之间的距离;
针对第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或针对第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,生成第二反馈信息;并
基于第二反馈信息对双通道神经网络进行参数调整;
基于调整后的参数,使用双通道神经网络为对应训练样本对确定新的第一特征和第二特征,并再次执行距离确定操作。
基于同一申请构思,本申请实施例中还提供了与电路板缺陷检测方法对应的电路板缺陷检测装置,由于本申请实施例中的装置解决问题的原理与本申请实施例上述电路板缺陷检测方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
如图8所示,为本申请实施例所提供的电路板缺陷检测装置的结构示意图,该电路板缺陷检测装置包括:
模型输入模块801,用于将待检测电路板图像与对应的标准电路板图像输入采用电路板缺陷检测模型;
特征确定模块802,用于使用电路板缺陷检测模型分别为待检测电路板图像与对应的标准电路板图像提取第三特征和第四特征;
特征比对模块803,用于将第三特征和第四特征进行比对;
缺陷检测模块804,用于根据得到的比对结果确定待检测电路板是否存在缺陷。
在一种实施方式中,该电路板缺陷检测装置还包括:
第一标准图像确定模块805,用于针对每张待检测电路板图像,确定该待检测电路板图像所包括元器件的第一标识信息;
将第一标识信息与对应标准电路板全图中所包括的各元器件的第二标识信息进行对比,确定匹配的第二标识信息对应元器件在标准电路板全图中的所属区域;
基于待检测电路板图像的大小以及预设遍历步长,对在标准电路板全图中确定的区域执行遍历操作,得到至少一个候选标准电路板图像;
计算待检测电路板图像与各候选标准电路板图像的图像相似度;
将图像相似度最大的候选标准电路板图像确定为标准电路板图像。
在一种实施方式中,该电路板缺陷检测装置还包括:
第二标准图像确定模块806,用于基于待检测电路板图像的大小以及预设遍历步长,对标准电路板全图执行遍历操作,得到至少一个候选标准电路板图像;
计算待检测电路板图像与各候选标准电路板图像的图像相似度;
将图像相似度最大的候选标准电路板图像确定为标准电路板图像。
如图9所示,为本申请一种实施例所提供的一种计算机设备的结构示意图,该计算机设备包括:处理器901、存储器902和总线903,存储器902存储有处理器901可执行的机器可读指令,当计算机设备运行时,处理器901与存储器902之间通过总线903通信,机器可读指令被处理器901执行时执行如下处理:
获取本轮训练使用的至少一个训练样本对;其中,训练样本对包括两个相同和/或不同的电路板图像;
将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用神经网络分别为输入的训练样本对确定第一特征和第二特征;
将第一特征和第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;并
根据匹配结果对神经网络进行本轮训练;
经过对神经网络的多轮训练,得到电路板缺陷检测模型。
在一种实施方案中,神经网络包括孪生Siamese网络;上述处理器901执行的处理中,将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用神经网络分别为输入的训练样本对确定第一特征和第二特征,包括:
将获取的至少一个训练样本对中的每个训练样本对分别输入Siamese网络的两个入口,并使用Siamese网络分别为输入的训练样本对确定第一特征向量和第二特征向量;
上述处理器901执行的处理中,将第一特征和第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;并根据匹配结果对神经网络进行本轮训练,包括:
执行如下匹配操作,直到第一特征向量和第二特征向量的比对结果与对应训练样本对的标注值一致,则完成本轮训练;其中,标注值表征对应训练样本对相似或者不相似;
匹配操作包括:
将第一特征向量和第二特征向量进行比对,得到比对结果;
将比对结果与对应训练样本对的标注值进行匹配;
针对标注值表征对应训练样本对的匹配情况与比对结果表征的匹配情况不一致的情况,生成第一反馈信息;并
基于第一反馈信息对Siamese网络进行参数调整;
基于调整后的参数,使用Siamese网络为对应训练样本对确定新的第一特征向量和第二特征向量,并再次执行匹配操作。
在另一种实施方案中,神经网络包括双通道神经网络;上述处理器901执行的处理中,将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用神经网络分别为输入的训练样本对确定第一特征和第二特征,包括:
将获取的至少一个训练样本对中的每个训练样本对分别作为源数据和目标数据,并分别输入双通道神经网络的不同通道;
使用双通道神经网络分别为输入的训练样本对确定第一特征和第二特征;
上述处理器901执行的处理中,将第一特征和第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;并根据匹配结果对神经网络进行本轮训练,包括:
执行如下距离确定操作,直到满足第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或满足第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,则完成本轮训练;
距离确定操作,包括:
确定第一特征和第二特征之间的距离;
针对第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或针对第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,生成第二反馈信息;并
基于第二反馈信息对双通道神经网络进行参数调整;
基于调整后的参数,使用双通道神经网络为对应训练样本对确定新的第一特征和第二特征,并再次执行距离确定操作。
如图10所示,为本申请一种实施例所提供的一种计算机设备的结构示意图,该计算机设备包括:处理器1001、存储器1002和总线1003,存储器1002存储有处理器1001可执行的机器可读指令,当计算机设备运行时,处理器1001与存储器1002之间通过总线1003通信,机器可读指令被处理器1001执行时执行如下处理:
将待检测电路板图像与对应的标准电路板图像输入电路板缺陷检测模型;
使用电路板缺陷检测模型分别为待检测电路板图像与对应的标准电路板图像提取第三特征和第四特征;并
将第三特征和第四特征进行比对;
根据得到的比对结果确定待检测电路板是否存在缺陷。
在一种实施方式中,上述处理器1001执行的处理还包括:采用如下方法确定待检测电路板图像对应的标准电路板图像:
针对每张待检测电路板图像,确定该待检测电路板图像所包括元器件的第一标识信息;
将第一标识信息与对应标准电路板全图中所包括的各元器件的第二标识信息进行对比,确定匹配的第二标识信息对应元器件在标准电路板全图中的所属区域;
基于待检测电路板图像的大小以及预设遍历步长,对在标准电路板全图中确定的区域执行遍历操作,得到至少一个候选标准电路板图像;
计算待检测电路板图像与各候选标准电路板图像的图像相似度;
将图像相似度最大的候选标准电路板图像确定为标准电路板图像。
在另一种实施方式中,上述处理器1001执行的处理还包括:采用如下方法确定待检测电路板图像对应的标准电路板图像:
基于待检测电路板图像的大小以及预设遍历步长,对标准电路板全图执行遍历操作,得到至少一个候选标准电路板图像;
计算待检测电路板图像与各候选标准电路板图像的图像相似度;
将图像相似度最大的候选标准电路板图像确定为标准电路板图像。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器901运行时执行上述电路板缺陷检测模型的训练方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述电路板缺陷检测模型的训练方法,从而解决目前自动光学检测方法所带来的容错率和准确率较低的问题,进而达到提高缺陷检测的准确率和容错率的效果。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器1001运行时执行上述电路板缺陷检测方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述电路板缺陷检测方法,从而解决目前自动光学检测方法所带来的容错率和准确率较低的问题,进而达到提高缺陷检测的准确率和容错率的效果。
本申请实施例所提供的网络流量监控方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,程序代码包括的指令可用于执行前面方法实施例中的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种电路板缺陷检测模型的训练方法,其特征在于,包括:
获取本轮训练使用的至少一个训练样本对;其中,所述训练样本对包括两个相同和/或不同的电路板图像;
将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征;
将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;并
根据匹配结果对所述神经网络进行本轮训练;
经过对所述神经网络的多轮训练,得到电路板缺陷检测模型。
2.根据权利要求1所述的方法,其特征在于,所述神经网络包括孪生Siamese网络;
将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征,包括:
将获取的至少一个训练样本对中的每个训练样本对分别输入Siamese网络的两个入口,并使用所述Siamese网络分别为输入的训练样本对确定第一特征向量和第二特征向量;
将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;并根据匹配结果对所述神经网络进行本轮训练,包括:
执行如下匹配操作,直到第一特征向量和第二特征向量的比对结果与对应训练样本对的标注值一致,则完成本轮训练;其中,所述标注值表征对应训练样本对相似或者不相似;
所述匹配操作包括:
将所述第一特征向量和所述第二特征向量进行比对,得到比对结果;
将所述比对结果与对应训练样本对的标注值进行匹配;
针对标注值表征对应训练样本对的匹配情况与所述比对结果表征的匹配情况不一致的情况,生成第一反馈信息;并
基于所述第一反馈信息对所述Siamese网络进行参数调整;
基于调整后的参数,使用所述Siamese网络为对应训练样本对确定新的第一特征向量和第二特征向量,并再次执行所述匹配操作。
3.根据权利要求1所述的方法,其特征在于,所述神经网络包括双通道神经网络;
将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征,包括:
将获取的至少一个训练样本对中的每个训练样本对分别作为源数据和目标数据,并分别输入所述双通道神经网络的不同通道;
使用所述双通道神经网络分别为输入的训练样本对确定第一特征和第二特征;
将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;并根据匹配结果对所述神经网络进行本轮训练,包括:
执行如下距离确定操作,直到满足第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或满足第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,则完成本轮训练;
所述距离确定操作,包括:
确定所述第一特征和所述第二特征之间的距离;
针对第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或针对第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,生成第二反馈信息;并
基于所述第二反馈信息对所述双通道神经网络进行参数调整;
基于调整后的参数,使用所述双通道神经网络为对应训练样本对确定新的第一特征和第二特征,并再次执行所述距离确定操作。
4.一种电路板缺陷检测方法,其特征在于,包括:
将待检测电路板图像与对应的标准电路板图像输入采用如权利要求1-3任一项所述的训练方法训练得到的电路板缺陷检测模型;
使用所述电路板缺陷检测模型分别为所述待检测电路板图像与对应的标准电路板图像提取第三特征和第四特征;并
将所述第三特征和所述第四特征进行比对;
根据得到的比对结果确定所述待检测电路板是否存在缺陷。
5.根据权利要求4所述的方法,其特征在于,采用如下方法确定待检测电路板图像对应的标准电路板图像:
针对每张所述待检测电路板图像,确定该待检测电路板图像所包括元器件的第一标识信息;
将所述第一标识信息与对应标准电路板全图中所包括的各元器件的第二标识信息进行对比,确定匹配的第二标识信息对应元器件在所述标准电路板全图中的所属区域;
基于所述待检测电路板图像的大小以及预设遍历步长,对在所述标准电路板全图中确定的区域执行遍历操作,得到至少一个候选标准电路板图像;
计算所述待检测电路板图像与各候选标准电路板图像的图像相似度;
将图像相似度最大的候选标准电路板图像确定为标准电路板图像。
6.根据权利要求4所述的方法,其特征在于,采用如下方法确定待检测电路板图像对应的标准电路板图像:
基于所述待检测电路板图像的大小以及预设遍历步长,对所述标准电路板全图执行遍历操作,得到至少一个候选标准电路板图像;
计算所述待检测电路板图像与各候选标准电路板图像的图像相似度;
将图像相似度最大的候选标准电路板图像确定为标准电路板图像。
7.一种电路板缺陷检测模型的训练装置,其特征在于,包括:
样本获取模块,用于获取本轮训练使用的至少一个训练样本对;其中,所述训练样本对包括两个相同和/或不同的电路板图像;
特征确定模块,用于将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征;
匹配模块,用于将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;根据匹配结果对所述神经网络进行本轮训练;
模型训练模块,用于经过对所述神经网络的多轮训练,得到电路板缺陷检测模型。
8.根据权利要求7所述的装置,其特征在于,所述神经网络包括孪生Siamese网络;
所述特征确定模块,具体用于:
将获取的至少一个训练样本对中的每个训练样本对分别输入Siamese网络的两个入口,并使用所述Siamese网络分别为输入的训练样本对确定第一特征向量和第二特征向量;
所述匹配模块,具体用于:
执行如下匹配操作,直到第一特征向量和第二特征向量的比对结果与对应训练样本对的标注值一致,则完成本轮训练;其中,所述标注值表征对应训练样本对相似或者不相似;
所述匹配操作包括:
将所述第一特征向量和所述第二特征向量进行比对,得到比对结果;
将所述比对结果与对应训练样本对的标注值进行匹配;
针对标注值表征对应训练样本对的匹配情况与所述比对结果表征的匹配情况不一致的情况,生成第一反馈信息;并
基于所述第一反馈信息对所述Siamese网络进行参数调整;
基于调整后的参数,使用所述Siamese网络为对应训练样本对确定新的第一特征向量和第二特征向量,并再次执行所述匹配操作。
9.根据权利要求7所述的装置,其特征在于,所述神经网络包括双通道神经网络;
所述特征确定模块,具体用于:
将获取的至少一个训练样本对中的每个训练样本对分别作为源数据和目标数据,并分别输入所述双通道神经网络的不同通道;
使用所述双通道神经网络分别为输入的训练样本对确定第一特征和第二特征;
所述匹配模块,具体用于:
执行如下距离确定操作,直到满足第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或满足第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,则完成本轮训练;
所述距离确定操作,包括:
确定所述第一特征和所述第二特征之间的距离;
针对第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或针对第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,生成第二反馈信息;并
基于所述第二反馈信息对所述双通道神经网络进行参数调整;
基于调整后的参数,使用所述双通道神经网络为对应训练样本对确定新的第一特征和第二特征,并再次执行所述距离确定操作。
10.一种电路板缺陷检测装置,其特征在于,包括:
模型输入模块,用于将待检测电路板图像与对应的标准电路板图像输入采用如权利要求7-9任一项所述的训练装置训练得到的电路板缺陷检测模型;
特征确定模块,用于使用所述电路板缺陷检测模型分别为所述待检测电路板图像与对应的标准电路板图像提取第三特征和第四特征;
特征比对模块,用于将所述第三特征和所述第四特征进行比对;
缺陷检测模块,用于根据得到的比对结果确定所述待检测电路板是否存在缺陷。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810701246.XA CN108961236B (zh) | 2018-06-29 | 2018-06-29 | 电路板缺陷检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810701246.XA CN108961236B (zh) | 2018-06-29 | 2018-06-29 | 电路板缺陷检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108961236A true CN108961236A (zh) | 2018-12-07 |
CN108961236B CN108961236B (zh) | 2021-02-26 |
Family
ID=64484087
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810701246.XA Active CN108961236B (zh) | 2018-06-29 | 2018-06-29 | 电路板缺陷检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108961236B (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685142A (zh) * | 2018-12-25 | 2019-04-26 | 国信优易数据有限公司 | 一种图像匹配方法及装置 |
CN109829883A (zh) * | 2018-12-19 | 2019-05-31 | 歌尔股份有限公司 | 产品质量检测方法及装置 |
CN110533654A (zh) * | 2019-08-30 | 2019-12-03 | 北京明略软件***有限公司 | 零部件的异常检测方法及装置 |
CN110570490A (zh) * | 2019-09-06 | 2019-12-13 | 北京航空航天大学 | 显著性图像生成方法及设备 |
CN111179251A (zh) * | 2019-12-30 | 2020-05-19 | 上海交通大学 | 基于孪生神经网络利用模板比对的缺陷检测***及方法 |
CN111537532A (zh) * | 2020-06-11 | 2020-08-14 | 全球能源互联网研究院有限公司 | 一种膜电极缺陷检测方法及装置 |
WO2020181458A1 (zh) * | 2019-03-11 | 2020-09-17 | 西门子(中国)有限公司 | 数据处理方法、装置和*** |
CN111768387A (zh) * | 2020-06-30 | 2020-10-13 | 创新奇智(青岛)科技有限公司 | 瑕疵检测方法、孪生神经网络训练方法、装置及电子设备 |
CN112183224A (zh) * | 2020-09-07 | 2021-01-05 | 北京达佳互联信息技术有限公司 | 用于图像识别的模型训练方法、图像识别方法和装置 |
CN112559869A (zh) * | 2020-12-18 | 2021-03-26 | 上海众源网络有限公司 | 一种评论信息的显示方法、装置、电子设备及存储介质 |
CN112634190A (zh) * | 2019-09-24 | 2021-04-09 | 上海汽车集团股份有限公司 | 一种涂胶检测方法及装置 |
CN112967224A (zh) * | 2021-01-29 | 2021-06-15 | 绍兴隆芙力智能科技发展有限公司 | 一种基于人工智能的电子电路板检测***、方法及介质 |
CN113012088A (zh) * | 2019-12-03 | 2021-06-22 | 浙江大搜车软件技术有限公司 | 一种电路板故障检测及孪生网络的训练方法、装置和设备 |
CN113125440A (zh) * | 2019-12-30 | 2021-07-16 | 纬创资通股份有限公司 | 物件的瑕疵判断方法及装置 |
CN113905606A (zh) * | 2021-09-13 | 2022-01-07 | 中国地质大学(武汉) | 基于深度强化学习的贴片机贴装调度模型训练方法 |
CN114519326A (zh) * | 2020-11-19 | 2022-05-20 | Tcl科技集团股份有限公司 | 一种光电特性的获取方法、装置、存储介质及终端设备 |
CN115953403A (zh) * | 2023-03-14 | 2023-04-11 | 常州微亿智造科技有限公司 | 缺陷检测方法及装置 |
CN116168040A (zh) * | 2023-04-26 | 2023-05-26 | 四川元智谷科技有限公司 | 元器件的方向检测方法、装置、电子设备及可读存储介质 |
TWI812558B (zh) * | 2022-11-23 | 2023-08-11 | 大陸商環維電子(上海)有限公司 | 針對微小瑕疵與錯件的影像檢測方法及其系統 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106686472A (zh) * | 2016-12-29 | 2017-05-17 | 华中科技大学 | 一种基于深度学习的高帧率视频生成方法及*** |
CN106897681A (zh) * | 2017-02-15 | 2017-06-27 | 武汉喜恩卓科技有限责任公司 | 一种遥感图像对比分析方法及*** |
CN107562805A (zh) * | 2017-08-08 | 2018-01-09 | 浙江大华技术股份有限公司 | 一种以图搜图的方法及装置 |
US20180129869A1 (en) * | 2016-11-08 | 2018-05-10 | Nec Laboratories America, Inc. | Siamese Reconstruction Convolutional Neural Network for Pose-invariant Face Recognition |
WO2018084948A1 (en) * | 2016-11-07 | 2018-05-11 | Qualcomm Incorporated | Enhanced siamese trackers |
CN108133238A (zh) * | 2017-12-29 | 2018-06-08 | 国信优易数据有限公司 | 一种人脸识别模型训练方法和装置及人脸识别方法和装置 |
CN108171209A (zh) * | 2018-01-18 | 2018-06-15 | 中科视拓(北京)科技有限公司 | 一种基于卷积神经网络进行度量学习的人脸年龄估计方法 |
-
2018
- 2018-06-29 CN CN201810701246.XA patent/CN108961236B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018084948A1 (en) * | 2016-11-07 | 2018-05-11 | Qualcomm Incorporated | Enhanced siamese trackers |
US20180129869A1 (en) * | 2016-11-08 | 2018-05-10 | Nec Laboratories America, Inc. | Siamese Reconstruction Convolutional Neural Network for Pose-invariant Face Recognition |
CN106686472A (zh) * | 2016-12-29 | 2017-05-17 | 华中科技大学 | 一种基于深度学习的高帧率视频生成方法及*** |
CN106897681A (zh) * | 2017-02-15 | 2017-06-27 | 武汉喜恩卓科技有限责任公司 | 一种遥感图像对比分析方法及*** |
CN107562805A (zh) * | 2017-08-08 | 2018-01-09 | 浙江大华技术股份有限公司 | 一种以图搜图的方法及装置 |
CN108133238A (zh) * | 2017-12-29 | 2018-06-08 | 国信优易数据有限公司 | 一种人脸识别模型训练方法和装置及人脸识别方法和装置 |
CN108171209A (zh) * | 2018-01-18 | 2018-06-15 | 中科视拓(北京)科技有限公司 | 一种基于卷积神经网络进行度量学习的人脸年龄估计方法 |
Non-Patent Citations (3)
Title |
---|
HAOKUI ZHANG等: ""Spectral-spatial classification of hyperspectral imagery using a dual-channel convolutional neural network"", 《REMOTE SENSING LETTERS》 * |
NEIL ZEGHIDOUR等: "《2016 IEEE International Conference on Acoustics,Speech and Signal Processing(ICASSP)》", 19 May 2016 * |
沈雁等: ""基于改进深度孪生网络的分类器及其应用"", 《计算机工程与应用》 * |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109829883B (zh) * | 2018-12-19 | 2020-11-17 | 歌尔光学科技有限公司 | 产品质量检测方法及装置 |
CN109829883A (zh) * | 2018-12-19 | 2019-05-31 | 歌尔股份有限公司 | 产品质量检测方法及装置 |
CN109685142A (zh) * | 2018-12-25 | 2019-04-26 | 国信优易数据有限公司 | 一种图像匹配方法及装置 |
WO2020181458A1 (zh) * | 2019-03-11 | 2020-09-17 | 西门子(中国)有限公司 | 数据处理方法、装置和*** |
CN110533654A (zh) * | 2019-08-30 | 2019-12-03 | 北京明略软件***有限公司 | 零部件的异常检测方法及装置 |
CN110570490A (zh) * | 2019-09-06 | 2019-12-13 | 北京航空航天大学 | 显著性图像生成方法及设备 |
CN110570490B (zh) * | 2019-09-06 | 2021-07-30 | 北京航空航天大学 | 显著性图像生成方法及设备 |
CN112634190A (zh) * | 2019-09-24 | 2021-04-09 | 上海汽车集团股份有限公司 | 一种涂胶检测方法及装置 |
CN113012088A (zh) * | 2019-12-03 | 2021-06-22 | 浙江大搜车软件技术有限公司 | 一种电路板故障检测及孪生网络的训练方法、装置和设备 |
CN111179251A (zh) * | 2019-12-30 | 2020-05-19 | 上海交通大学 | 基于孪生神经网络利用模板比对的缺陷检测***及方法 |
CN113125440A (zh) * | 2019-12-30 | 2021-07-16 | 纬创资通股份有限公司 | 物件的瑕疵判断方法及装置 |
CN111179251B (zh) * | 2019-12-30 | 2021-04-02 | 上海交通大学 | 基于孪生神经网络利用模板比对的缺陷检测***及方法 |
CN111537532A (zh) * | 2020-06-11 | 2020-08-14 | 全球能源互联网研究院有限公司 | 一种膜电极缺陷检测方法及装置 |
CN111768387A (zh) * | 2020-06-30 | 2020-10-13 | 创新奇智(青岛)科技有限公司 | 瑕疵检测方法、孪生神经网络训练方法、装置及电子设备 |
CN112183224A (zh) * | 2020-09-07 | 2021-01-05 | 北京达佳互联信息技术有限公司 | 用于图像识别的模型训练方法、图像识别方法和装置 |
CN114519326A (zh) * | 2020-11-19 | 2022-05-20 | Tcl科技集团股份有限公司 | 一种光电特性的获取方法、装置、存储介质及终端设备 |
CN114519326B (zh) * | 2020-11-19 | 2023-03-24 | Tcl科技集团股份有限公司 | 一种光电特性的获取方法、装置、存储介质及终端设备 |
CN112559869A (zh) * | 2020-12-18 | 2021-03-26 | 上海众源网络有限公司 | 一种评论信息的显示方法、装置、电子设备及存储介质 |
CN112967224A (zh) * | 2021-01-29 | 2021-06-15 | 绍兴隆芙力智能科技发展有限公司 | 一种基于人工智能的电子电路板检测***、方法及介质 |
CN113905606A (zh) * | 2021-09-13 | 2022-01-07 | 中国地质大学(武汉) | 基于深度强化学习的贴片机贴装调度模型训练方法 |
CN113905606B (zh) * | 2021-09-13 | 2022-09-30 | 中国地质大学(武汉) | 基于深度强化学习的贴片机贴装调度模型训练方法 |
TWI812558B (zh) * | 2022-11-23 | 2023-08-11 | 大陸商環維電子(上海)有限公司 | 針對微小瑕疵與錯件的影像檢測方法及其系統 |
CN115953403A (zh) * | 2023-03-14 | 2023-04-11 | 常州微亿智造科技有限公司 | 缺陷检测方法及装置 |
CN116168040A (zh) * | 2023-04-26 | 2023-05-26 | 四川元智谷科技有限公司 | 元器件的方向检测方法、装置、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108961236B (zh) | 2021-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108961236A (zh) | 电路板缺陷检测模型的训练方法及装置、检测方法及装置 | |
CN105184778B (zh) | 一种检测方法及装置 | |
CN105654507B (zh) | 一种基于图像动态特征跟踪的车辆外廓尺寸测量方法 | |
TWI748242B (zh) | 掃描晶圓的系統及方法 | |
US20140050387A1 (en) | System and Method for Machine Vision Inspection | |
US20190195939A1 (en) | Printed circuit board inspecting apparatus, method for detecting anomaly in solder paste and computer readable recording medium | |
CN108520514B (zh) | 基于计算机视觉的印刷电路板电子元器一致性检测方法 | |
CN102938077A (zh) | 基于双阈值二值化的在线式aoi图像检索方法 | |
CN110490135A (zh) | 车辆年检方法、装置、计算机设备和存储介质 | |
JPH06333054A (ja) | 映像内の目標パターン探知方式 | |
CN111310746B (zh) | 文本行检测方法、模型训练方法、装置、服务器及介质 | |
KR20120054689A (ko) | 검사방법 | |
US6519358B1 (en) | Parallax calculating apparatus, distance calculating apparatus, methods of the same, and information providing media | |
CN105354816B (zh) | 一种电子元件定位方法及装置 | |
CN104637781A (zh) | 一种在处理机台上生成用于定位晶圆的制程的方法 | |
CN113344994B (zh) | 图像配准方法、装置、电子设备及存储介质 | |
CN109509165B (zh) | 图像定位区域选取方法及装置 | |
CN110070566A (zh) | 信息检测方法、装置、计算机设备及可读存储介质 | |
CN104751109A (zh) | 一种用于识别耗材的方法和装置 | |
JP5983033B2 (ja) | 位置関係判定プログラム、位置関係判定方法および位置関係判定装置 | |
KR101510143B1 (ko) | 기판 검사 시의 측정영역 보상 방법 | |
EP3046406A1 (en) | Method for generating compensation matrix during substrate inspection | |
CN108303640B (zh) | 一种线路检测的方法和装置 | |
CN110017998A (zh) | 车辆检测方法、装置和设备 | |
CN110736911B (zh) | 飞针测试方法、飞针测试装置、飞针测试设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 100070, No. 101-8, building 1, 31, zone 188, South Fourth Ring Road, Beijing, Fengtai District Applicant after: Guoxin Youyi Data Co., Ltd Address before: 100070, No. 188, building 31, headquarters square, South Fourth Ring Road West, Fengtai District, Beijing Applicant before: SIC YOUE DATA Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |