CN105184778B - 一种检测方法及装置 - Google Patents
一种检测方法及装置 Download PDFInfo
- Publication number
- CN105184778B CN105184778B CN201510527486.9A CN201510527486A CN105184778B CN 105184778 B CN105184778 B CN 105184778B CN 201510527486 A CN201510527486 A CN 201510527486A CN 105184778 B CN105184778 B CN 105184778B
- Authority
- CN
- China
- Prior art keywords
- image
- template
- sample set
- template image
- test
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 73
- 238000012360 testing method Methods 0.000 claims abstract description 222
- 239000013598 vector Substances 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims description 98
- 238000010276 construction Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000007781 pre-processing Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000007639 printing Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000003466 welding Methods 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Quality & Reliability (AREA)
Abstract
本发明实施例公开了一种检测方法及装置，所述方法，包括：将模板图像与测试图像输入经过训练后的Siamese网络，并分别作前向计算得到所述模板图像与所述测试图像的特征向量；计算所述模板图像与所述测试图像的特征向量的相似度；根据所述相似度确定所述测试图像与所述模板图像是否匹配。由于Siamese网络可以提取到图像的高级特征，本发明实施例通过将图像输入经过训练后的Siamese网络可以准确地判断模板图像与测试图像是否匹配，判断准确率高。
Description
技术领域
本发明涉及AOI领域，具体涉及一种检测方法及装置。
背景技术
图像匹配是指利用图像特征判断两幅图像是否相似的技术，目前已应用于各种领域，如可利用图像匹配技术进行元件检测、人脸识别等，但是目前由于用于进行图像匹配的图像特征的鲁棒性低，容易受光照等环境的影响而导致匹配出现误差，匹配准确率低。
以元件检测领域的图像匹配为例：印刷线路板(Printed circuit board，简称PCB板)是指为各种电子元器件提供连接的电路板，随着电子设备越来越复杂，需要的零件自然越来越多，PCB上头的线路与连接也越来越密集，从而在焊接/手插电子元件的时候难免出现漏件现象，那么需要在PCB板焊接完毕后对PCB板是否出现漏件进行检测。
目前，对PCB板电子元件的漏件检测有些是通过人工检测来进行，此种方案耗时多、成本高以及效率低，所以现在一般采用自动检测方法来进行，最普遍的自动检测方法是基于模板匹配的漏件检测方法，但是该方案容易受光照等环境的影响而导致检测失误，也有些是基于颜色直方图或一些低层特征的来实现，但是这些方案由于电子元件的颜色信息不可靠或电子元件的低层特征不明显而导致检测失误。
发明内容
本发明实施例提供了一种检测方法及装置，以期可以提高图像的相似检测准确率，可靠性高。
本发明实施例第一方面提供一种检测方法，包括：
将模板图像与测试图像输入经过训练后的Siamese网络，并分别作前向计算得到所述模板图像与所述测试图像的特征向量；
计算所述模板图像与所述测试图像的特征向量的相似度；
根据所述相似度确定所述测试图像与所述模板图像是否匹配。
本发明实施例第二方面提供一种检测装置，包括：
图像输入模块，用于将模板图像与测试图像输入经过训练后的Siamese网络，并分别作前向计算得到所述模板图像与所述测试图像的特征向量；
计算模块，用于计算所述模板图像与所述测试图像的特征向量的相似度；
确定模块，用于根据所述相似度确定所述测试图像与所述模板图像是否匹配。
可以看出，在本发明实施例提供的技术方案中，将模板图像与测试图像输入经过训练后的Siamese网络，并分别作前向计算得到所述模板图像与所述测试图像的特征向量；计算所述模板图像与所述测试图像的特征向量的相似度；根据所述相似度确定所述测试图像与所述模板图像是否匹配。由于Siamese网络可以提取到图像的高级特征，将图像输入经过训练后的Siamese网络可以准确地判断模板图像与测试图像是否匹配，判断准确率高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1-a是本发明实施例提供的Siamese网络的网络结构图；
图1-b是本发明第一实施例提供的一种检测方法的流程示意图；
图2是本发明第二实施例提供的一种检测方法的流程示意图；
图3是本发明第三实施例提供的一种检测装置的结构示意图；
图4是本发明第四实施例提供的一种检测装置的结构示意图；
图5是本发明第五实施例提供的一种检测装置的结构示意图。
具体实施方式
本发明实施例提供了本发明实施例提供了一种检测方法及装置，以期可以提高图像的相似检测准确率，可靠性高。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例的一种检测方法，一种检测方法包括：
将模板图像与测试图像输入经过训练后的Siamese网络，并分别作前向计算得到所述模板图像与所述测试图像的特征向量；计算所述模板图像与所述测试图像的特征向量的相似度；根据所述相似度确定所述测试图像与所述模板图像是否匹配。
首先参见图1，图1-a是本发明实施例提供的Siamese网络的网络结构图；图1-b是本发明第一实施例提供的一种检测方法的流程示意图。其中，如图1-b所示，本发明第一实施例提供的一种检测方法可以包括：
S101、将所述模板图像与所述测试图像输入经过训练后的Siamese网络，并分别作前向计算得到所述模板图像与所述测试图像的特征向量。其中，参见图1-a，Siamese网络是一种深度神经网络，根据Siamese网络的特点，可计算出来图像各个层次的特征，包括低层特征和高层特征，从而根据图像的高层特征对图像进行分析时将得到更为精确的结果。为了进行图像匹配，设计Siamese网络包含两个结构一样并共享参数的卷积神经网络，在利用Siamese网络进行图像匹配时，分别输入图像的模板图像和测试图像，从而可分别计算出来两个输入图像的特征向量，再计算两个特征向量的相似度，从而根据相似度的值判断两幅图像的相似程度即判断两幅图像是否匹配。
其中，经过训练后的Siamese网络由于经过大量的样本图像的训练学习，具有了准确地对模板图像与测试图像进行图像匹配的能力。
其中，模板图像是用于对照的标准的图片，测试图像是通过与模板图像进行对照从而判断与模板图像是否匹配。
S102、计算所述模板图像与所述测试图像的特征向量的相似度。
其中，相似度是用于判断模板图像与测试图像相似程序的参数。
可选地，在本发明的一些可能的实施方式中，可在计算模块图像与测试图像的特征向量后，再计算特征向量的欧氏距离得到模板图像与测试图像的特征向量的相似度。
S103、根据所述相似度确定所述测试图像与所述模板图像是否匹配。
其中，由于相似度是对Siamese网络输入的两个图像的特征的相似情况的度量，所以可通过相似度来判断模板图像与测试图像是否相似，也即判断模板图像与测试图像是否匹配。
可以看出，本实施例的方案中，将模板图像与测试图像输入经过训练后的Siamese网络，并分别作前向计算得到所述模板图像与所述测试图像的特征向量；计算所述模板图像与所述测试图像的特征向量的相似度；根据所述相似度确定所述测试图像与所述模板图像是否匹配。由于Siamese网络可以提取到图像的高级特征，将图像输入经过训练后的Siamese网络可以准确地判断模板图像与测试图像是否匹配，判断准确率高。
可选地，在本发明的一些可能的实施方式中，所述模板图像为元件存在且处于标准位置时对应的元件图像，所述测试图像为需要进行测试的元件图像，所述根据所述相似度确定所述测试图像与所述模板图像是否匹配，包括：
根据所述相似度确定所述测试图像对应的元件是否存在。
其中，该模板图像可以为PCB模板图，从而与其对应输入的元件图像或测试图像也为PCB图像，该模板图也可以为从PCB图像上截取到的分别包含各个独立元件的图像，从而与其对应输入的测试图像也为包含各个独立元件的图像。
可选地，在本发明的一些可能的实施方式中，由于是对每个元件进行漏件检测，所以一般在Siamese网络中输入的模板图像为包含一个独立元件的图像，那么在训练阶段输入的元件图像也为从PCB图像上截取到的该位置的元件图像，在测试阶段输入的图像也为不同情况下从PCB图像上截取到的该位置的元件图像。
可选地，在本发明的一些可能的实施方式中，当模板图像为元件的模板图像时，可以理解，模板图像为元件存在并且元件的位置处于一个正确位置的元件图像，测试图像则根据模板图像判断是否漏件。
可以理解，由于Siamese网络可以判断测试图像与模板图像是否匹配，所以当模板图像与测试图像为元件图像时，可以根据相似度确定元件图像的测试图像是否与模板图像是否匹配，也即确定测试图像对应的元件是否存在。
可选地，在本发明的一些可能的实施方式中，所述将所述模板图像与所述测试图像输入经过训练后的Siamese网络之前，所述方法还包括：
利用模板匹配得到所述模板图像与所述测试图像中元件的位置并对所述模板图像与所述测试图像进行对齐；
对所述模板图像与所述测试图像进行归一化，以触发执行所述将所述模板图像与所述测试图像输入经过训练后的Siamese网络的步骤。
可以理解，由于元件图像是从模板图像上截取下来的一块图像，为了使检测结果更为准确，需要使截取到的元件图像中的元件位于图像的中心位置，并同时对图像的大小进行归一化，这样以保证后续处理的准确性。该过程称为预处理过程。
可选地，在本发明的一些可能的实施方式中，也可以不对图像进行预处理。
可选地，在本发明的一些可能的实施方式中，所述将所述模板图像与所述测试图像输入经过训练后的Siamese网络之前，所述方法还包括：
创建所述元件图像对正样本集合以及负样本集合，其中，所述正样本集合包括所述模板图像与所述元件存在时的所述元件图像构成的元件图像对，所述负样本集合包括所述模板图像与所述元件不存在时的所述元件图像构成的元件图像对，所述负样本集合还包括所述模板图像与其它元件存在时的元件图像构成的元件图像对；
利用所述正样本集合以及所述负样本集合训练所述Siamese网络，以触发执行所述将所述模板图像与所述测试图像输入经过训练后的Siamese网络的步骤。
需要说明，可选地，在本发明的一些可能的实施方式中，当模板图像与测试图像为PCB图像时，则样本集合中的正样本集合包括模板图像与模板图像上各元件位置上均包含的是正确的元件时的元件图像构成的元件图像对，负样本集合包括模板图像与各元件位置上可能不存在元件时的元件图像构成的元件图像对，负样本集合还包括模板图像与各元件位置上的元件均存在、但是可能***了错误的元件时的元件图像构成的元件图像对。
可选地，在本发明的另一些可能的实施方式中，当模板图像与测试图像均为从PCB图像上截取到的分别包含各个独立元件的图像，从而样本集合中的正样本集合包括模板图像与包含该模板图像中的元件的图像构成的元件图像对，负样本集合包括模板图像与不包含元件的图像构成的元件图像对，负样本集合还包括模板图像与包含了不是模板图像中的元件、但是包含了其它的错误元件的元件图像构成的元件图像对。
可选地，在本发明的一些可能的实施方式中，所述正样本集合包括所述模板图像，以及元件存在并且在各个场景下拍摄的样本，如在光线不好的情况下拍摄的正样本图像，以及从不同的位置或角度拍摄的正样本图像，或者其它复杂场景下拍摄的正样本图像，利用各个场景下拍摄的正样本图像对Siamese网络进行训练，从而使Siamese网络具有更强的识别能力，能够在后续测试阶段对不同场景下拍摄的非漏件的元件图像进行正确的检测，提高识别率。
可以理解，在利用Siamese网络对图像进行漏件检测时，首先需要对Siamese网络利用样本进行训练学习，得到Siamese网络的参数，从而再利用训练后的Siamese网络对元件图像准确地进行漏件检测。而在对Siamese网络进行训练时，需要分别利用各种场景下的正样本集合以及负样本集合进行训练，这样才能使Siamese网络充分学习到元件不是漏件时的图片情况，以及使Siamese网络充分学习到元件漏件时的图片情况，后续才能正确地进行漏件检测。
可选地，在本发明的一些可能的实施方式中，所述负样本集合包括所述模板图像，以及元件不存在时的图像，或者元件存在，但焊接位置明显有误时候的情况，或者不是正确的元件的时候的图像等。
可以理解，取不同情景下的尽可能多的正样本集合以及负样本集合对Siamese网络进行训练，可使得Siamese网络的学习效果更好，从而后续漏件检测识别准确率高。
可选地，在本发明的一些可能的实施方式中，所述元件图像的正样本集合和负样本集合包括训练样本和测试样本。
其中，训练样本是指对Siamese网络进行训练，测试样本是指测试经过训练后的Siamese网络的效果，两者一起构成对Siamese网络的训练阶段的样本。
可选地，在本发明的一些可能的实施方式中，所述创建所述元件图像对正样本集合以及负样本集合，包括：
采集印刷电路板图像；
以印刷电路板模板图像为参考，在所述印刷电路板图像上截取元件图像；
采集所述元件图像对正样本集合以及负样本集合。
可选地，在本发明的些可能的实施方式中，在印刷电路板图标上截取元件图像后可对所述元件图像进行标注。
可以理解，由于是需要对每个元件进行漏件检测，所以在对Siamese网络进行训练时，需要截取印刷电路板图像上面每个元件的图像的样本集合进行训练。并且，为了在训练的时候对各个元件图像进行区分，所以在训练之前需要对各个元件图像进行标注以区分不同元件。
可选地，在本发明的一些可能的实施方式中，可以在生产线上架设摄像头，批量采集不同型号的PCB板卡图像，并以板卡跟踪技术避免重复拍摄某一PCB板卡。这样每个型号的PCB板卡均包含多个图像样本，每个图像样本对应某一型号的某张PCB板卡，从而这样在获取到的PCB板卡上的元件图像也来自不同板卡上，保证样本具备多样性。
可选地，在本发明的一些可能的实施方式中，所述在所述印刷板电路上截取元件图像，包括：
利用印刷板图像上面的元件的位置信息自动截取元件图像。
可以理解，当知道元件的位置信息后，则可以根据该位置信息自动截取元件图像。
可选地，在本发明的一些可能的实施方式中，所述获取元件图像的位置信息可以通过板式文件中所记录的元件的位置信息，或者通过人工标注的位置信息来获取。
可选地，在本发明的一些可能的实施方式中，所述对元件图像进行标注包括：
根据元件类别信息进行标注。
可以理解，需要对元件的类别进行区分，从而在训练的时候记录元件的类别才能准确地对元件进行漏件检测。
可选地，在本发明的另一些可能的实施方式中，也可以通过其它能对元件进行区分的方式对元件进行标注。
可选地，在本发明的一些可能的实施方式中，所述采集所述元件图像对正样本集合以及负样本集合之前，所述方法还包括：
利用模板匹配得到所述元件图像中元件的位置并对所述元件图像进行对齐；
对所述元件图像进行归一化，以触发执行所述采集所述元件图像对正样本集合以及负样本集合的步骤。
可以理解，与对Siamese网络进行测试的过程类似，在采集Siamese网络的样本图像时对图像进行对齐以使元件位于图像的中心位置，并对图像进行归一化，该过程称为对图像的预处理过程，对图像进行预处理将会使Siamese网络训练效果更好。
可选地，在本发明的一些可能的实施方式中，如果对Siamese网络进行训练的时候对元件图像进行预处理，那么在利用训练后的Siamese网络进行漏件检测时，也需要对元件图像进行预处理，如果对Siamese网络进行训练的时候不对元件图像进行预处理，那么在利用训练后的Siamese网络进行漏件检测时也不对元件图像进行预处理。
可选地，在本发明的一些可能的实施方式中，所述根据所述相似度确定所述测试图像对应的元件是否存在，包括：
判断所述相似度是否在预设范围内；
若所述相似度在预设范围内，则判定为所述元件存在；
若所述相似度不在预设范围内，则判定为所述元件不存在。
可以理解，由于所述相似度是用于表征模板图像与测试图像的相似程度，所以当相似度在预设范围内时，说明模板图像与测试图像相似，那么元件图像则存在，也就是元件不漏件，否则，元件漏件。
可选地，在本发明的一些可能的实施方式中，当所述相似度大于或等于预设值时，则元件存在，也就是元件不漏件；当所述相似度小于预设值时，则元件不存在。
为了便于更好理解和实施本发明实施例的上述方案，下面结合一些具体的应用场景进行举例说明。
请参见图2，图2是本发明第二实施例提供的一种检测方法的流程示意图，其中，如图2所示，本发明第二实施例提供的一种检测方法可以包括：
S201、采集印刷电路板图像。
可以理解，由于是需要利用Siamese网络进行漏件检测，所以首先需要采集样本图像。
其中，Siamese网络是指一种深度神经网络，根据Siamese网络的特点，可计算出来元件各个层次的特征，包括低层特征和高层特征，从而根据图像的高层特征对图像进行分析时将得到更为精确的结果。为了对元件进行漏件检测，设计Siamese网络包含两个结构一样并共享参数的卷积神经网络，在利用Siamese网络进行漏件检测时，分别输入图像的模板图像和元件图像，从而可分别计算出来两个输入图像的特征向量，再计算两个特征向量的相似度，从而根据相似度的值判断是否为一类元件从而判断是否漏件。首先需要对Siamese网络进行训练，得到Siamese网络的参数，在训练的过程中利用各种情况下采集到的图像的样本，从而可以训练不同情况下图像漏件以及图像存在的情况。然后再根据训练后的Siamese网络对元件进行漏件检测，这两个卷积神经网络在训练阶段和测试阶段所输入的图像都不一样，在训练阶段时，其中一个输入模板图，另外一个输入元件图像，在测试阶段时，其中一个输入模板图，另外一个输入测试图像。并且，在训练阶段时，通过分别作前向计算得到两个图像的特征向量，再计算两个特征向量的欧氏距离得到相似度。
其中，模板图为用于对照的标准的图片。该模板图可以为PCB模板图，从而与其对应输入的元件图像或测试图像也为PCB图像，该模板图也可以为从PCB图像上截取到的分别包含各个独立元件的图像，从而与其对应输入的图像也为包含各个独立元件的图像。
可选地，在本发明的一些可能的实施方式中，由于是对每个元件进行漏件检测，所以一般在Siamese网络中输入的模板图像为包含一个独立元件的图像，那么在训练阶段输入的元件图像也为从PCB图像上截取到的该位置的元件图像，在测试阶段输入的图像也为不同情况下从PCB图像上截取到的该位置的元件图像。
可以理解，首先需要采集PCB图像，才能截取元件图像样本。
可选地，在本发明的一些可能的实施方式中，可以在生产线上架设摄像头，批量采集不同型号的PCB板卡图像，并以板卡跟踪技术避免重复拍摄某一PCB板卡。这样每个型号的PCB板卡均包含多个图像样本，每个图像样本对应某一型号的某张PCB板卡，从而这样在获取到的PCB板卡上的元件图像也来自不同板卡上，保证样本具备多样性。
S202、以印刷电路板模板图像为参考，在印刷电路板图像上截取元件图像并对元件图像进行标注。
可以理解，由于是需要对每个元件进行漏件检测，所以在对Siamese网络进行训练时，需要截取印刷电路板图像上面每个元件的图像的样本集合进行训练。并且，为了在训练的时候对各个元件图像进行区分，所以在训练之前需要对各个元件图像进行标注以区分不同元件。
可选地，在本发明的一些可能的实施方式中，所述在所述印刷板电路上截取元件图像，包括：
利用印刷板图像上面的元件的位置信息自动截取元件图像。
可以理解，当知道元件的位置信息后，则可以根据该位置信息自动截取元件图像。
可选地，在本发明的一些可能的实施方式中，所述获取元件图像的位置信息可以通过板式文件中所记录的元件的位置信息，或者通过人工标注的位置信息来获取。
可选地，在本发明的一些可能的实施方式中，所述对元件图像进行标注包括：
根据元件类别信息进行标注。
可以理解，需要对元件的类别进行区分，从而在训练的时候记录元件的类别才能准确地对元件进行漏件检测。
可选地，在本发明的另一些可能的实施方式中，也可以通过其它能对元件进行区分的方式对元件进行标注。
S203、采集元件图像对正样本集合以及负样本集合。
其中，所述正样本集合包括所述模板图像与所述元件存在时的所述元件图像构成的元件图像对，所述负样本集合包括所述模板图像与所述元件不存在时的所述元件图像构成的元件图像对，所述负样本集合还包括所述模板图像与其它元件存在时的元件图像构成的元件图像对。
需要说明，可选地，在本发明的一些可能的实施方式中，当模板图像与测试图像为PCB图像时，则样本集合中的正样本集合包括模板图像与模板图像上各元件位置上均包含的是正确的元件时的元件图像构成的元件图像对，负样本集合包括模板图像与各元件位置上可能不存在元件时的元件图像构成的元件图像对，负样本集合还包括模板图像与各元件位置上的元件均存在、但是可能***了错误的元件时的元件图像构成的元件图像对。
可选地，在本发明的另一些可能的实施方式中，当模板图像与测试图像均为从PCB图像上截取到的分别包含各个独立元件的图像，从而样本集合中的正样本集合包括模板图像与包含该模板图像中的元件的图像构成的元件图像对，负样本集合包括模板图像与不包含元件的图像构成的元件图像对，负样本集合还包括模板图像与包含了不是模板图像中的元件、但是包含了其它的错误元件的元件图像构成的元件图像对。
可选地，在本发明的一些可能的实施方式中，所述正样本集合包括所述模板图像，以及元件存在并且在各个场景下拍摄的样本，如在光线不好的情况下拍摄的正样本图像，以及从不同的位置或角度拍摄的正样本图像，或者其它复杂场景下拍摄的正样本图像，利用各个场景下拍摄的正样本图像对Siamese网络进行训练，从而使Siamese网络具有更强的识别能力，能够在后续测试阶段对不同场景下拍摄的非漏件的元件图像进行正确的检测，提高识别率。
可以理解，在利用Siamese网络对图像进行漏件检测时，首先需要对Siamese网络利用样本进行训练学习，得到Siamese网络的参数，从而再利用训练后的Siamese网络对元件图像准确地进行漏件检测。而在对Siamese网络进行训练时，需要分别利用各种场景下的正样本集合以及负样本集合进行训练，这样才能使Siamese网络充分学习到元件不是漏件时的图片情况，以及使Siamese网络充分学习到元件漏件时的图片情况，后续才能正确地进行漏件检测。
可选地，在本发明的一些可能的实施方式中，所述负样本集合包括所述模板图像，以及元件不存在时的图像，或者元件存在，但焊接位置明显有误时候的情况，或者不是正确的元件的时候的图像等。
可以理解，取不同情景下的尽可能多的正样本集合以及负样本集合对Siamese网络进行训练，可使得Siamese网络的学习效果更好，从而后续漏件检测识别准确率高。
可选地，在本发明的一些可能的实施方式中，所述元件图像的正样本集合和负样本集合包括训练样本和测试样本。
其中，训练样本是指对Siamese网络进行训练，测试样本是指测试经过训练后的Siamese网络的效果，两者一起构成对Siamese网络的训练阶段的样本。
可选地，在本发明的一些可能的实施方式中，所述采集所述元件图像对正样本集合以及负样本集合之前，所述方法还包括：
利用模板匹配得到所述元件图像中元件的位置并对所述元件图像进行对齐；
对所述元件图像进行归一化。
可以理解，由于元件图像是从模板图像上截取下来的一块图像，为了使检测结果更为准确，需要使截取到的元件图像中的元件位于图像的中心位置，并同时对图像的大小进行归一化，这样以保证后续处理的准确性。该过程称为预处理过程。
可选地，在本发明的一些可能的实施方式中，也可以不对图像进行预处理。
S204、利用正样本集合以及负样本集合训练Siamese网络。
可以理解，需要利用正样本集合以及负样本集合对Siamese网络进行训练，从而使Siamese网络具有漏件检测能力。
S205、将模板图像与测试图像输入经过训练后的Siamese网络，并分别作前向计算得到模板图像与测试图像的特征向量。
S206、计算模块图像与测试图像的特征向量的相似度。
其中，所述模板图像为元件存在且处于标准位置时对应的元件图像，所述测试图像为需要进行测试的元件图像
其中，所述相似度为对Siamese网络输入的模板图像与测试图像的特征的相似情况的度量，相似度是利用Siamese网络学习到的模板图像与测试图像高级特征来判断模板图像与测试图像是否相似的程度的值。
可选地，在本发明的一些可能的实施方式中，所述将所述模板图像与所述测试图像输入经过训练后的Siamese网络之前，所述方法还包括：
利用模板匹配得到所述模板图像与所述测试图像中元件的位置并对所述模板图像与所述测试图像进行对齐；
对所述模板图像与所述测试图像进行归一化。
可以理解，由于元件图像是从模板图像上截取下来的一块图像，为了使检测结果更为准确，需要使截取到的元件图像中的元件位于图像的中心位置，并同时对图像的大小进行归一化，这样以保证后续处理的准确性。该过程称为预处理过程。
可选地，在本发明的一些可能的实施方式中，也可以不对图像进行预处理。
可选地，在本发明的一些可能的实施方式中，如果对Siamese网络进行训练的时候对元件图像进行预处理，那么在利用训练后的Siamese网络进行漏件检测时，也需要对元件图像进行预处理，如果对Siamese网络进行训练的时候不对元件图像进行预处理，那么在利用训练后的Siamese网络进行漏件检测时也不对元件图像进行预处理。
S207、根据相似度确定测试图像对应的元件是否存在。
可以理解，由于相似度是利用Siamese网络学习到的模板图像与测试图像高级特征来判断模板图像与测试图像是否相似的程度的值，从而可以用相似度来确定元件是否模板图像与测试图像是否相似，也即确定所述测试图像对应的元件是否存在，即判断元件是否漏件。
可选地，在本发明的一些可能的实施方式中，所述根据所述相似度确定所述测试图像对应的元件是否存在，包括：
判断所述相似度是否在预设范围内；
若所述相似度在预设范围内，则所述元件存在；
若所述相似度不在预设范围内，则所述元件不存在。
可以理解，由于所述相似度是用于表征模板图像与测试图像的相似程度，所以当相似度在预设范围内时，说明模板图像与测试图像相似，那么元件图像则存在，也就是元件不漏件，否则，元件漏件。
可选地，在本发明的一些可能的实施方式中，当所述相似度大于或等于预设值时，则元件存在，也就是元件不漏件；当所述相似度小于预设值时，则元件不存在。
可以看出，本实施例的方案中，将所述模板图像与所述测试图像输入经过训练后的Siamese网络，并分别作前向计算得到所述模板图像与所述测试图像的特征向量，最后计算两个特征向量的相似度，其中，所述模板图像为元件存在且处于标准位置时对应的元件图像，所述测试图像为需要进行测试的元件图像；根据所述相似度确定所述测试图像对应的元件是否存在。由于Siamese网络可以提取到图像的高级特征，将图像输入经过训练后的Siamese网络可以准确地判断元件图像是否漏件，识别准确率高。
本发明实施例还提供一种元件检测装置，该装置包括：
图像输入模块，用于将模板图像与测试图像输入经过训练后的Siamese网络，并分别作前向计算得到所述模板图像与所述测试图像的特征向量，其中，所述模板图像为元件存在且处于标准位置时对应的元件图像，所述测试图像为需要进行测试的元件图像；
计算模块，用于计算所述模块图像与所述测试图像的特征向量的相似度；
确定模块，用于根据所述相似度确定所述测试图像对应的元件是否存在。
具体的，请参见图3，图3是本发明第三实施例提供的一种检测装置的结构示意图，其中，如图3所示，本发明第三实施例提供的一种检测装置300可以包括：
图像输入模块310、计算模块320和确定模块330。
其中，图像输入模块310，用于将所述模板图像与所述测试图像输入经过训练后的Siamese网络，并分别作前向计算得到所述模板图像与所述测试图像的特征向量。
其中，参见图1-a，Siamese网络是一种深度神经网络，根据Siamese网络的特点，可计算出来图像各个层次的特征，包括低层特征和高层特征，从而根据图像的高层特征对图像进行分析时将得到更为精确的结果。为了进行图像匹配，设计Siamese网络包含两个结构一样并共享参数的卷积神经网络，在利用Siamese网络进行图像匹配时，分别输入图像的模板图像和测试图像，从而可分别计算出来两个输入图像的特征向量，再计算两个特征向量的相似度，从而根据相似度的值判断两幅图像的相似程度即判断两幅图像是否匹配。
其中，经过训练后的Siamese网络由于经过大量的样本图像的训练学习，具有了准确地对模板图像与测试图像进行图像匹配的能力。
其中，模板图像是用于对照的标准的图片，测试图像是通过与模板图像进行对照从而判断与模板图像是否匹配。
计算模块320，用于计算所述模板图像与所述测试图像的特征向量的相似度。
其中，相似度是用于判断模板图像与测试图像相似程序的参数。
可选地，在本发明的一些可能的实施方式中，可在计算模块图像与测试图像的特征向量后，再计算特征向量的欧氏距离得到模板图像与测试图像的特征向量的相似度。
确定模块330，用于根据所述相似度确定所述测试图像与所述模板图像是否匹配。
其中，由于相似度是对Siamese网络输入的两个图像的特征的相似情况的度量，所以可通过相似度来判断模板图像与测试图像是否相似，也即判断模板图像与测试图像是否匹配。可以理解的是，本实施例的检测装置300的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
可以看出，本实施例的方案中，检测装置300将模板图像与测试图像输入经过训练后的Siamese网络，并分别作前向计算得到所述模板图像与所述测试图像的特征向量；检测装置300计算所述模板图像与所述测试图像的特征向量的相似度；检测装置300根据所述相似度确定所述测试图像与所述模板图像是否匹配。由于Siamese网络可以提取到图像的高级特征，将图像输入经过训练后的Siamese网络可以准确地判断模板图像与测试图像是否匹配，判断准确率高。
请参见图4，图4是本发明第四实施例提供的一种检测装置的结构示意图，其中，如图4所示，本发明第四实施例提供的一种检测装置400可以包括：
图像输入模块410、计算模块420和确定模块430。
其中，图像输入模块410，用于将所述模板图像与所述测试图像输入经过训练后的Siamese网络，并分别作前向计算得到所述模板图像与所述测试图像的特征向量。
其中，参见图1-a，Siamese网络是一种深度神经网络，根据Siamese网络的特点，可计算出来图像各个层次的特征，包括低层特征和高层特征，从而根据图像的高层特征对图像进行分析时将得到更为精确的结果。为了进行图像匹配，设计Siamese网络包含两个结构一样并共享参数的卷积神经网络，在利用Siamese网络进行图像匹配时，分别输入图像的模板图像和测试图像，从而可分别计算出来两个输入图像的特征向量，再计算两个特征向量的相似度，从而根据相似度的值判断两幅图像的相似程度即判断两幅图像是否匹配。
其中，经过训练后的Siamese网络由于经过大量的样本图像的训练学习，具有了准确地对模板图像与测试图像进行图像匹配的能力。
其中，模板图像是用于对照的标准的图片，测试图像是通过与模板图像进行对照从而判断与模板图像是否匹配。
计算模块420，用于计算所述模板图像与所述测试图像的特征向量的相似度。
其中，相似度是用于判断模板图像与测试图像相似程序的参数。
可选地，在本发明的一些可能的实施方式中，可在计算模块图像与测试图像的特征向量后，再计算特征向量的欧氏距离得到模板图像与测试图像的特征向量的相似度。
确定模块430，用于根据所述相似度确定所述测试图像与所述模板图像是否匹配。
其中，由于相似度是对Siamese网络输入的两个图像的特征的相似情况的度量，所以可通过相似度来判断模板图像与测试图像是否相似，也即判断模板图像与测试图像是否匹配。
可选地，在本发明的一些可能的实施方式中，所述模板图像为元件存在且处于标准位置时对应的元件图像，所述测试图像为需要进行测试的元件图像，所述确定模块430具体用于：
根据所述相似度确定所述测试图像对应的元件是否存在。
其中，该模板图像可以为PCB模板图，从而与其对应输入的元件图像或测试图像也为PCB图像，该模板图也可以为从PCB图像上截取到的分别包含各个独立元件的图像，从而与其对应输入的测试图像也为包含各个独立元件的图像。
可选地，在本发明的一些可能的实施方式中，由于是对每个元件进行漏件检测，所以一般在Siamese网络中输入的模板图像为包含一个独立元件的图像，那么在训练阶段输入的元件图像也为从PCB图像上截取到的该位置的元件图像，在测试阶段输入的图像也为不同情况下从PCB图像上截取到的该位置的元件图像。
可选地，在本发明的一些可能的实施方式中，当模板图像为元件的模板图像时，可以理解，模板图像为元件存在并且元件的位置处于一个正确位置的元件图像，测试图像则根据模板图像判断是否漏件。
可以理解，由于Siamese网络可以判断测试图像与模板图像是否匹配，所以当模板图像与测试图像为元件图像时，可以根据相似度确定元件图像的测试图像是否与模板图像是否匹配，也即确定测试图像对应的元件是否存在。
可选地，在本发明的一些可能的实施方式中，所述元件检测装置400还包括：
预处理模块440，用于利用模板匹配得到所述模板图像与所述测试图像中元件的位置并对所述模板图像与所述测试图像进行对齐；
对所述模板图像与所述测试图像进行归一化，以触发所述图像输入模块执行所述将所述模板图像与所述测试图像输入经过训练后的Siamese网络的步骤。
可以理解，由于元件图像是从模板图像上截取下来的一块图像，为了使检测结果更为准确，需要使截取到的元件图像中的元件位于图像的中心位置，并同时对图像的大小进行归一化，这样以保证后续处理的准确性。该过程称为预处理过程。
可选地，在本发明的一些可能的实施方式中，也可以不对图像进行预处理。
可选地，在本发明的一些可能的实施方式中，所述元件检测装置400还包括：
样本创建模块450，用于创建所述元件图像对正样本集合以及负样本集合，其中，所述正样本集合包括所述模板图像与所述元件存在时的所述元件图像构成的元件图像对，所述负样本集合包括所述模板图像与所述元件不存在时的所述元件图像构成的元件图像对，所述负样本集合还包括所述模板图像与其它元件存在时的元件图像构成的元件图像对；
训练模块460，用于利用所述正样本集合以及所述负样本集合训练所述Siamese网络，以触发所述图像输入模块执行所述将所述模板图像与所述测试图像输入经过训练后的Siamese网络的步骤。
需要说明，可选地，在本发明的一些可能的实施方式中，当模板图像与测试图像为PCB图像时，则样本集合中的正样本集合包括模板图像与模板图像上各元件位置上均包含的是正确的元件时的元件图像构成的元件图像对，负样本集合包括模板图像与各元件位置上可能不存在元件时的元件图像构成的元件图像对，负样本集合还包括模板图像与各元件位置上的元件均存在、但是可能***了错误的元件时的元件图像构成的元件图像对。
可选地，在本发明的另一些可能的实施方式中，当模板图像与测试图像均为从PCB图像上截取到的分别包含各个独立元件的图像，从而样本集合中的正样本集合包括模板图像与包含该模板图像中的元件的图像构成的元件图像对，负样本集合包括模板图像与不包含元件的图像构成的元件图像对，负样本集合还包括模板图像与包含了不是模板图像中的元件、但是包含了其它的错误元件的元件图像构成的元件图像对。
可选地，在本发明的一些可能的实施方式中，所述正样本集合包括所述模板图像，以及元件存在并且在各个场景下拍摄的样本，如在光线不好的情况下拍摄的正样本图像，以及从不同的位置或角度拍摄的正样本图像，或者其它复杂场景下拍摄的正样本图像，利用各个场景下拍摄的正样本图像对Siamese网络进行训练，从而使Siamese网络具有更强的识别能力，能够在后续测试阶段对不同场景下拍摄的非漏件的元件图像进行正确的检测，提高识别率。
可以理解，在利用Siamese网络对图像进行漏件检测时，首先需要对Siamese网络利用样本进行训练学习，得到Siamese网络的参数，从而再利用训练后的Siamese网络对元件图像准确地进行漏件检测。而在对Siamese网络进行训练时，需要分别利用各种场景下的正样本集合以及负样本集合进行训练，这样才能使Siamese网络充分学习到元件不是漏件时的图片情况，以及使Siamese网络充分学习到元件漏件时的图片情况，后续才能正确地进行漏件检测。
可选地，在本发明的一些可能的实施方式中，所述负样本集合包括所述模板图像，以及元件不存在时的图像，或者元件存在，但焊接位置明显有误时候的情况，或者不是正确的元件的时候的图像等。
可以理解，取不同情景下的尽可能多的正样本集合以及负样本集合对Siamese网络进行训练，可使得Siamese网络的学习效果更好，从而后续漏件检测识别准确率高。
可选地，在本发明的一些可能的实施方式中，所述元件图像的正样本集合和负样本集合包括训练样本和测试样本。
其中，训练样本是指对Siamese网络进行训练，测试样本是指测试经过训练后的Siamese网络的效果，两者一起构成对Siamese网络的训练阶段的样本。
可选地，在本发明的一些可能的实施方式中，所述样本创建模块450包括：
图像采集单元451，采集印刷电路板图像；
截取单元452，用于以印刷电路板模板图像为参考，在所述印刷电路板图像上截取元件图像；
样本采集单元453，用于采集所述元件图像对正样本集合以及负样本集合。
可选地，在本发明的些可能的实施方式中，在印刷电路板图标上截取元件图像后可对所述元件图像进行标注。
可以理解，由于是需要对每个元件进行漏件检测，所以在对Siamese网络进行训练时，需要截取印刷电路板图像上面每个元件的图像的样本集合进行训练。并且，为了在训练的时候对各个元件图像进行区分，所以在训练之前需要对各个元件图像进行标注以区分不同元件。
可选地，在本发明的一些可能的实施方式中，可以在生产线上架设摄像头，批量采集不同型号的PCB板卡图像，并以板卡跟踪技术避免重复拍摄某一PCB板卡。这样每个型号的PCB板卡均包含多个图像样本，每个图像样本对应某一型号的某张PCB板卡，从而这样在获取到的PCB板卡上的元件图像也来自不同板卡上，保证样本具备多样性。
可选地，在本发明的一些可能的实施方式中，所述截取单元452在所述印刷板电路上截取元件图像具体为：
利用印刷板图像上面的元件的位置信息自动截取元件图像。
可以理解，当知道元件的位置信息后，则可以根据该位置信息自动截取元件图像。
可选地，在本发明的一些可能的实施方式中，所述获取元件图像的位置信息可以通过板式文件中所记录的元件的位置信息，或者通过人工标注的位置信息来获取。
可选地，在本发明的一些可能的实施方式中，所述截取单元452对元件图像进行标注具体为：
根据元件类别信息进行标注。
可以理解，需要对元件的类别进行区分，从而在训练的时候记录元件的类别才能准确地对元件进行漏件检测。
可选地，在本发明的另一些可能的实施方式中，也可以通过其它能对元件进行区分的方式对元件进行标注。
可选地，在本发明的一些可能的实施方式中，所述样本创建模块450还包括：
预处理单元454，用于利用模板匹配得到所述元件图像中元件的位置并对所述元件图像进行对齐；
对所述元件图像进行归一化，以触发所述样本采集单元执行所述采集所述元件图像对正样本集合以及负样本集合的步骤。
可以理解，与对Siamese网络进行测试的过程类似，在采集Siamese网络的样本图像时对图像进行对齐以使元件位于图像的中心位置，并对图像进行归一化，该过程称为对图像的预处理过程，对图像进行预处理将会使Siamese网络训练效果更好。
可选地，在本发明的一些可能的实施方式中，如果对Siamese网络进行训练的时候对元件图像进行预处理，那么在利用训练后的Siamese网络进行漏件检测时，也需要对元件图像进行预处理，如果对Siamese网络进行训练的时候不对元件图像进行预处理，那么在利用训练后的Siamese网络进行漏件检测时也不对元件图像进行预处理。
可选地，在本发明的一些可能的实施方式中，所述确定模块430具体用于：
判断所述相似度是否在预设范围内；
若所述相似度在预设范围内，则判定为所述元件存在；
若所述相似度不在预设范围内，则判定为所述元件不存在。
可以理解，由于所述相似度是用于表征模板图像与测试图像的相似程度，所以当相似度在预设范围内时，说明模板图像与测试图像相似，那么元件图像则存在，也就是元件不漏件，否则，元件漏件。
可选地，在本发明的一些可能的实施方式中，当所述相似度大于或等于预设值时，则元件存在，也就是元件不漏件；当所述相似度小于预设值时，则元件不存在。
可以理解的是，本实施例的检测装置400的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
可以看出，本实施例的方案中，检测装置400将模板图像与测试图像输入经过训练后的Siamese网络，并分别作前向计算得到所述模板图像与所述测试图像的特征向量；检测装置400计算所述模板图像与所述测试图像的特征向量的相似度；检测装置400根据所述相似度确定所述测试图像与所述模板图像是否匹配。由于Siamese网络可以提取到图像的高级特征，将图像输入经过训练后的Siamese网络可以准确地判断模板图像与测试图像是否匹配，判断准确率高。
参见图5，图5是本发明第五实施例提供的一种检测装置的结构示意图。如图5所示，本发明第五实施例提供一种检测装置500可以包括：至少一个总线501、与总线相连的至少一个处理器502以及与总线相连的至少一个存储器503。其中，处理器502通过总线501，调用存储器503中存储的代码以用于将模板图像与测试图像输入经过训练后的Siamese网络，并分别作前向计算得到所述模板图像与所述测试图像的特征向量；计算所述模板图像与所述测试图像的特征向量的相似度；根据所述相似度确定所述测试图像与所述模板图像是否匹配。
其中，经过训练后的Siamese网络由于经过大量的样本图像的训练学习，具有了准确地对模板图像与测试图像进行图像匹配的能力。
其中，模板图像是用于对照的标准的图片，测试图像是通过与模板图像进行对照从而判断与模板图像是否匹配。
其中，相似度是用于判断模板图像与测试图像相似程序的参数。
可选地，在本发明的一些可能的实施方式中，所述模板图像为元件存在且处于标准位置时对应的元件图像，所述测试图像为需要进行测试的元件图像，所述处理器502根据所述相似度确定所述测试图像与所述模板图像是否匹配时，还用于：
根据所述相似度确定所述测试图像对应的元件是否存在。
其中，该模板图像可以为PCB模板图，从而与其对应输入的元件图像或测试图像也为PCB图像，该模板图也可以为从PCB图像上截取到的分别包含各个独立元件的图像，从而与其对应输入的测试图像也为包含各个独立元件的图像。
可选地，在本发明的一些可能的实施方式中，由于是对每个元件进行漏件检测，所以一般在Siamese网络中输入的模板图像为包含一个独立元件的图像，那么在训练阶段输入的元件图像也为从PCB图像上截取到的该位置的元件图像，在测试阶段输入的图像也为不同情况下从PCB图像上截取到的该位置的元件图像。
其中，所述相似度为对Siamese网络输入的两个图像的特征的相似情况的度量，并且由于经过训练后的Siamese网络能准备地识别不同场景下拍摄的元件图像是否漏件情况，所以可根据该相似度值判断元件是否漏件。
可选地，在本发明的一些可能的实施方式中，所述将所述模板图像与所述测试图像输入经过训练后的Siamese网络之前，所述处理器502还用于：
利用模板匹配得到所述模板图像与所述测试图像中元件的位置并对所述模板图像与所述测试图像进行对齐；
对所述模板图像与所述测试图像进行归一化，以触发执行所述将所述模板图像与所述测试图像输入经过训练后的Siamese网络的步骤。
可选地，在本发明的一些可能的实施方式中，所述将所述模板图像与所述测试图像输入经过训练后的Siamese网络之前，所述处理器502还用于：
创建所述元件图像对正样本集合以及负样本集合，其中，所述正样本集合包括所述模板图像与所述元件存在时的所述元件图像构成的元件图像对，所述负样本集合包括所述模板图像与所述元件不存在时的所述元件图像构成的元件图像对，所述负样本集合还包括所述模板图像与其它元件存在时的元件图像构成的元件图像对；
利用所述正样本集合以及所述负样本集合训练所述Siamese网络，以触发执行所述将所述模板图像与所述测试图像输入经过训练后的Siamese网络的步骤。
可选地，在本发明的一些可能的实施方式中，所述元件图像的正样本集合和负样本集合包括训练样本和测试样本。
其中，训练样本是指对Siamese网络进行训练，测试样本是指测试经过训练后的Siamese网络的效果，两者一起构成对Siamese网络的训练阶段的样本。
可选地，在本发明的一些可能的实施方式中，所述创建所述元件图像对正样本集合以及负样本集合时，所述处理器502具体用于：
采集印刷电路板图像；
以印刷电路板模板图像为参考，在所述印刷电路板图像上截取元件图像；
采集所述元件图像对正样本集合以及负样本集合。
可选地，在本发明的一些可能的实施方式中，可以在生产线上架设摄像头，批量采集不同型号的PCB板卡图像，并以板卡跟踪技术避免重复拍摄某一PCB板卡。这样每个型号的PCB板卡均包含多个图像样本，每个图像样本对应某一型号的某张PCB板卡，从而这样在获取到的PCB板卡上的元件图像也来自不同板卡上，保证样本不重复并且数量充分。
可选地，在本发明的一些可能的实施方式中，所述在所述印刷板电路上截取元件图像，所述处理器502具体用于：
利用印刷板图像上面的元件的位置信息自动截取元件图像。
可以理解，当知道元件的位置信息后，则可以根据该位置信息自动截取元件图像。
可选地，在本发明的一些可能的实施方式中，所述对元件图像进行标注，所述处理器502具体用于：
根据元件类别信息进行标注。
可选地，在本发明的另一些可能的实施方式中，也可以通过其它能对元件进行区分的方式对元件进行标注。
可选地，在本发明的一些可能的实施方式中，所述采集所述元件图像对正样本集合以及负样本集合之前，所述处理器502还用于：
利用模板匹配得到所述元件图像中元件的位置并对所述元件图像进行对齐；
对所述元件图像进行归一化，以触发执行所述采集所述元件图像对正样本集合以及负样本集合的步骤。
可选地，在本发明的一些可能的实施方式中，所述处理器502根据所述相似度确定所述测试图像对应的元件是否存在，所述处理器502具体用于：
判断所述相似度是否在预设范围内；
若所述相似度在预设范围内，则判定为所述元件存在；
若所述相似度不在预设范围内，则判定为所述元件不存在。
可以理解的是，本实施例的元件检测装置500的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
可以理解的是，本实施例的检测装置500的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
可以看出，本实施例的方案中，检测装置500将模板图像与测试图像输入经过训练后的Siamese网络，并分别作前向计算得到所述模板图像与所述测试图像的特征向量；检测装置500计算所述模板图像与所述测试图像的特征向量的相似度；检测装置500根据所述相似度确定所述测试图像与所述模板图像是否匹配。由于Siamese网络可以提取到图像的高级特征，将图像输入经过训练后的Siamese网络可以准确地判断模板图像与测试图像是否匹配，判断准确率高。
本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何检测方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明的各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为嵌入式设备、个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种检测方法，其特征在于，所述方法包括：
创建元件图像对正样本集合以及负样本集合；其中，所述正样本集合包括模板图像与元件存在时的元件图像构成的元件图像对，所述模板图像为所述元件存在且处于标准位置时对应的元件图像；所述负样本集合包括所述模板图像与所述元件不存在时的元件图像构成的元件图像对，所述负样本集合还包括所述模板图像与其它元件存在时的元件图像构成的元件图像对；
利用所述正样本集合以及所述负样本集合训练Siamese网络；
将所述模板图像与测试图像输入经过训练后的Siamese网络，并分别作前向计算得到所述模板图像与所述测试图像的特征向量；
计算所述模板图像与所述测试图像的特征向量的相似度；
根据所述相似度确定所述测试图像与所述模板图像是否匹配。
2.根据权利要求1所述的方法，其特征在于，所述测试图像为需要进行测试的元件图像，所述根据所述相似度确定所述测试图像与所述模板图像是否匹配，包括：
根据所述相似度确定所述测试图像对应的元件是否存在。
3.根据权利要求2所述的方法，其特征在于，所述将所述模板图像与测试图像输入经过训练后的Siamese网络之前，所述方法还包括：
利用模板匹配得到所述模板图像与所述测试图像中元件的位置并对所述模板图像与所述测试图像进行对齐；
对所述模板图像与所述测试图像进行归一化，以触发执行所述将所述模板图像与所述测试图像输入经过训练后的Siamese网络的步骤。
4.根据权利要求3所述的方法，其特征在于，所述创建元件图像对正样本集合以及负样本集合，包括：
采集印刷电路板图像；
以印刷电路板模板图像为参考，在所述印刷电路板图像上截取元件图像；
采集元件图像对正样本集合以及负样本集合。
5.根据权利要求4所述的方法，所述采集元件图像对正样本集合以及负样本集合之前，所述方法还包括：
利用模板匹配得到所述元件图像中元件的位置并对所述元件图像进行对齐；
对所述元件图像进行归一化，以触发执行所述采集元件图像对正样本集合以及负样本集合的步骤。
6.根据权利要求5所述的方法，其特征在于，所述根据所述相似度确定所述测试图像对应的元件是否存在，包括：
判断所述相似度是否在预设范围内；
若所述相似度在预设范围内，则判定为所述元件存在；
若所述相似度不在预设范围内，则判定为所述元件不存在。
7.一种检测装置，其特征在于，所述装置包括：
样本创建模块，用于创建元件图像对正样本集合以及负样本集合，其中，所述正样本集合包括模板图像与元件存在时的元件图像构成的元件图像对，所述模板图像为所述元件存在且处于标准位置时对应的元件图像，所述负样本集合包括所述模板图像与所述元件不存在时的元件图像构成的元件图像对，所述负样本集合还包括所述模板图像与其它元件存在时的元件图像构成的元件图像对；
训练模块，用于利用所述正样本集合以及所述负样本集合训练Siamese网络；
图像输入模块，用于将所述模板图像与测试图像输入经过训练后的Siamese网络，并分别作前向计算得到所述模板图像与所述测试图像的特征向量；
计算模块，用于计算所述模板图像与所述测试图像的特征向量的相似度；
确定模块，用于根据所述相似度确定所述测试图像与所述模板图像是否匹配。
8.根据权利要求7所述的装置，其特征在于，所述测试图像为需要进行测试的元件图像，所述确定模块具体用于：
根据所述相似度确定所述测试图像对应的元件是否存在。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
预处理模块，用于利用模板匹配得到所述模板图像与所述测试图像中元件的位置并对所述模板图像与所述测试图像进行对齐；
对所述模板图像与所述测试图像进行归一化，以触发所述图像输入模块执行所述将所述模板图像与所述测试图像输入经过训练后的Siamese网络的步骤。
10.根据权利要求9所述的装置，其特征在于，所述样本创建模块包括：
图像采集单元，用于采集印刷电路板图像；
截取单元，用于以印刷电路板模板图像为参考，在所述印刷电路板图像上截取元件图像；
样本采集单元，用于采集元件图像对正样本集合以及负样本集合。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510527486.9A CN105184778B (zh) | 2015-08-25 | 2015-08-25 | 一种检测方法及装置 |
| PCT/CN2016/096551 WO2017032311A1 (zh) | 2015-08-25 | 2016-08-24 | 一种检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510527486.9A CN105184778B (zh) | 2015-08-25 | 2015-08-25 | 一种检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105184778A CN105184778A (zh) | 2015-12-23 |
| CN105184778B true CN105184778B (zh) | 2018-04-24 |
Family
ID=54906831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510527486.9A Active CN105184778B (zh) | 2015-08-25 | 2015-08-25 | 一种检测方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN105184778B (zh) |
| WO (1) | WO2017032311A1 (zh) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184778B (zh) * | 2015-08-25 | 2018-04-24 | 广州视源电子科技股份有限公司 | 一种检测方法及装置 |
| CN105957065A (zh) * | 2016-04-21 | 2016-09-21 | 广州视源电子科技股份有限公司 | 元件漏检方法和*** |
| CN106251333B (zh) * | 2016-07-13 | 2019-02-26 | 广州视源电子科技股份有限公司 | 元件反件检测方法和*** |
| CN106204602B (zh) * | 2016-07-13 | 2019-02-01 | 广州视源电子科技股份有限公司 | 元件反件检测方法和*** |
| CN106530284A (zh) * | 2016-10-21 | 2017-03-22 | 广州视源电子科技股份有限公司 | 基于图像识别的焊点类型检测和装置 |
| CN106650630B (zh) * | 2016-11-11 | 2019-08-23 | 纳恩博（北京）科技有限公司 | 一种目标跟踪方法及电子设备 |
| CN106909625A (zh) * | 2017-01-20 | 2017-06-30 | 清华大学 | 一种基于Siamese网络的图像检索方法及*** |
| CN107220277A (zh) * | 2017-04-14 | 2017-09-29 | 西北大学 | 基于手绘草图的图像检索算法 |
| CN107967255A (zh) * | 2017-11-08 | 2018-04-27 | 北京广利核***工程有限公司 | 一种判定文本相似性的方法和*** |
| CN108171714B (zh) * | 2017-11-13 | 2021-09-21 | 广东三维家信息科技有限公司 | 一种基于成对比较的骨折区域识别方法和*** |
| CN108171184B (zh) * | 2018-01-03 | 2020-04-10 | 南京理工大学 | 基于Siamese网络的用于行人重识别的方法 |
| CN108399382A (zh) * | 2018-02-13 | 2018-08-14 | 阿里巴巴集团控股有限公司 | 车险图像处理方法和装置 |
| CN108665485B (zh) * | 2018-04-16 | 2021-07-02 | 华中科技大学 | 一种基于相关滤波与孪生卷积网络融合的目标跟踪方法 |
| CN108846358B (zh) * | 2018-06-13 | 2021-10-26 | 浙江工业大学 | 一种基于孪生网络进行特征融合的目标跟踪方法 |
| CN108830850B (zh) * | 2018-06-28 | 2020-10-23 | 信利（惠州）智能显示有限公司 | 自动光学检测图片分析方法及设备 |
| CN109002784B (zh) * | 2018-06-29 | 2021-04-13 | 国信优易数据股份有限公司 | 街景识别方法和*** |
| CN108960258A (zh) * | 2018-07-06 | 2018-12-07 | 江苏迪伦智能科技有限公司 | 一种基于自学习深度特征的模板匹配方法 |
| CN108918536B (zh) * | 2018-07-13 | 2021-01-26 | 广东工业大学 | 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质 |
| CN109344661B (zh) * | 2018-09-06 | 2023-05-30 | 南京聚铭网络科技有限公司 | 一种基于机器学习的微代理的网页防篡改方法 |
| CN110443777B (zh) * | 2018-10-09 | 2023-03-10 | 广东仙童智能机器人科技有限公司 | 一种pcb图像对位方法、装置和计算机存储介质 |
| CN109543057A (zh) * | 2018-11-20 | 2019-03-29 | 广州逗号智能零售有限公司 | 基于智能收银台的商品识别方法、装置、设备及存储介质 |
| CN109670073B (zh) * | 2018-12-20 | 2021-03-23 | 科大讯飞股份有限公司 | 一种信息转换方法及装置、交互辅助*** |
| CN109767456A (zh) * | 2019-01-09 | 2019-05-17 | 上海大学 | 一种基于SiameseFC框架和PFP神经网络的目标跟踪方法 |
| CN110782480B (zh) * | 2019-10-15 | 2023-08-04 | 哈尔滨工程大学 | 一种基于在线模板预测的红外行人跟踪方法 |
| CN113012088A (zh) * | 2019-12-03 | 2021-06-22 | 浙江大搜车软件技术有限公司 | 一种电路板故障检测及孪生网络的训练方法、装置和设备 |
| CN110967851B (zh) * | 2019-12-26 | 2022-06-21 | 成都数之联科技股份有限公司 | 一种液晶面板array图像的线路提取方法及*** |
| CN111524162B (zh) * | 2020-04-15 | 2022-04-01 | 上海摩象网络科技有限公司 | 一种跟踪目标的找回方法、设备及手持相机 |
| CN111914508A (zh) * | 2020-08-19 | 2020-11-10 | 创新奇智(南京)科技有限公司 | 元器件检测方法、装置、电子设备及可读存储介质 |
| CN112559342A (zh) * | 2020-12-09 | 2021-03-26 | 上海米哈游天命科技有限公司 | 一种画面测试图像的获取方法、装置、设备及存储介质 |
| CN112816474B (zh) * | 2021-01-07 | 2022-02-01 | 武汉大学 | 一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法 |
| TWI772181B (zh) * | 2021-09-14 | 2022-07-21 | 台達電子工業股份有限公司 | 電路板抓取位置的自動辨識系統與自動辨識方法 |
| CN114619591B (zh) * | 2022-05-16 | 2022-08-26 | 河南源宏高分子新材料有限公司 | 一种高分子材料再生过程中的分拣工艺 |
| WO2024044915A1 (zh) * | 2022-08-29 | 2024-03-07 | 西门子股份公司 | 用于错误检测的图像比较的方法、装置、计算机设备 |
| CN115546219B (zh) * | 2022-12-05 | 2023-10-20 | 广州镭晨智能装备科技有限公司 | 检测板式生成方法、板卡缺陷检测方法、装置及产品 |
| CN116026859B (zh) * | 2023-01-30 | 2023-12-12 | 讯芸电子科技(中山)有限公司 | 一种光电子模块的安装检测方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101464946A (zh) * | 2009-01-08 | 2009-06-24 | 上海交通大学 | 基于头部识别和跟踪特征的检测方法 |
| CN103065135A (zh) * | 2013-01-25 | 2013-04-24 | 上海理工大学 | 基于数字图像处理的车牌号码匹配算法 |
| CN103310453A (zh) * | 2013-06-17 | 2013-09-18 | 北京理工大学 | 一种基于子图像角点特征的快速图像配准方法 |
| CN103679158A (zh) * | 2013-12-31 | 2014-03-26 | 北京天诚盛业科技有限公司 | 人脸认证方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7046842B2 (en) * | 1999-08-17 | 2006-05-16 | National Instruments Corporation | System and method for color characterization using fuzzy pixel classification with application in color matching and color match location |
| CN105184778B (zh) * | 2015-08-25 | 2018-04-24 | 广州视源电子科技股份有限公司 | 一种检测方法及装置 |
-
2015
- 2015-08-25 CN CN201510527486.9A patent/CN105184778B/zh active Active
-
2016
- 2016-08-24 WO PCT/CN2016/096551 patent/WO2017032311A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101464946A (zh) * | 2009-01-08 | 2009-06-24 | 上海交通大学 | 基于头部识别和跟踪特征的检测方法 |
| CN103065135A (zh) * | 2013-01-25 | 2013-04-24 | 上海理工大学 | 基于数字图像处理的车牌号码匹配算法 |
| CN103310453A (zh) * | 2013-06-17 | 2013-09-18 | 北京理工大学 | 一种基于子图像角点特征的快速图像配准方法 |
| CN103679158A (zh) * | 2013-12-31 | 2014-03-26 | 北京天诚盛业科技有限公司 | 人脸认证方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于卷积的三维模型特征提取;王添翼;《中国优秀硕博士学位论文全文数据库（硕士） 信息科技辑》;20060915;第3.4节，第3.6节、图17 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017032311A1 (zh) | 2017-03-02 |
| CN105184778A (zh) | 2015-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105184778B (zh) | 一种检测方法及装置 | |
| CN108830188A (zh) | 基于深度学习的车辆检测方法 | |
| CN103996239B (zh) | 一种基于多线索融合的票据定位识别方法及*** | |
| CN107122806A (zh) | 一种敏感图像识别方法及装置 | |
| CN109740606B (zh) | 一种图像识别方法及装置 | |
| CN105574550A (zh) | 一种车辆识别方法及装置 | |
| CN105303179A (zh) | 指纹识别方法、装置 | |
| CN105426917A (zh) | 一种元件分类方法及装置 | |
| CN107818322A (zh) | 一种用于车辆年检的车辆vin码篡改检测***及方法 | |
| CN107808120A (zh) | 眼镜定位方法、装置及存储介质 | |
| CN110490135A (zh) | 车辆年检方法、装置、计算机设备和存储介质 | |
| CN109670383B (zh) | 视频遮蔽区域选取方法、装置、电子设备及*** | |
| CN104268498A (zh) | 一种二维码的识别方法及终端 | |
| CN109272016A (zh) | 目标检测方法、装置、终端设备和计算机可读存储介质 | |
| CN109376631A (zh) | 一种基于神经网络的回环检测方法及装置 | |
| CN110070090A (zh) | 一种基于手写文字识别的物流标签信息检测方法及*** | |
| CN109858476A (zh) | 标签的扩充方法和电子设备 | |
| CN107316029A (zh) | 一种活体验证方法及设备 | |
| CN109272502A (zh) | 基于温度场效应的pcb硬件安全检测方法 | |
| CN108776777A (zh) | 一种基于Faster RCNN的遥感影像对象间空间关系的识别方法 | |
| CN110427962A (zh) | 一种测试方法、电子设备及计算机可读存储介质 | |
| CN109740040A (zh) | 验证码识别方法、装置、存储介质和计算机设备 | |
| CN110046085A (zh) | 识别终端设备上显示的应用程序控件的方法及装置 | |
| CN107403179A (zh) | 一种物品包装信息的注册方法及装置 | |
| CN109074663A (zh) | 物体体积测量方法、相关装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |