CN113012088A - 一种电路板故障检测及孪生网络的训练方法、装置和设备 - Google Patents

Abstract

本申请提供一种电路板故障检测及孪生网络的训练方法、装置和设备，方法包括：获取待检测的电路板图像；将待检测的电路板图像输入孪生网络的第一子网络，将图像集合中检测完成的电路板图像输入孪生网络的第二子网络，以计算所述待检测的电路板图像与图像集合中的各个检测完成的电路板图像之间的相似度；将图像集合中与待检测的电路板图像之间的相似度满足预设的相似度阈值的电路板图像确定为相似电路板图像，以将相似电路板图像被标注的故障问题确定为待检测的电路板图像的故障问题。通过本申请的技术方案能够提高对电路板故障问题的检测效率。

Description

一种电路板故障检测及孪生网络的训练方法、装置和设备

技术领域

本申请涉及网络技术领域，具体涉及一种电路板故障检测及孪生网络的训练方法、装置和设备。

背景技术

随着现代化电子技术的不断发展，电子产品的应用深入到当今社会生活的方方面面，电路板成为电子产品的核心部件。基于技术的不断迭代更新，电路板不断朝着高密度、多层数、高性能的方向改进，主要表现为电路板上的器件尺寸越来越小，电路板上的线路越来越细密等。

相关技术中，往往基于人工进行查验的方式实现对电路板的检测，但通过人工进行检测的方式由于检测效率低、劳动强度大，已无法满足电路板批量生产应用过程中的检测需求；此外，受到人的主观因素影响，人工进行电路板检测的检测结果也并非完全可靠。所以，低效率、低准确性的电路板检测方法不仅无法保证电路板的检测结果，而且由于将不合格电路板的误投入使用而导致的电子产品的使用故障也造成了人力、财力等生产力的极大浪费。

发明内容

有鉴于此，本申请提供一种电路板故障检测及孪生网络的训练方法及装置，通过孪生网络对待检测的电路板图像与包含有故障问题标注信息的电路板图像进行分析，实现对电路板图像的故障问题的自动分析确定，从而在保障了电路板故障问题的检测准确性的情况下，提高了对电路板故障问题的检测效率。

为实现上述目的，本申请提供技术方案如下：

根据本申请的第一方面，提出了一种电路板故障检测方法，所述方法包括：

获取待检测的电路板图像；

将所述待检测的电路板图像输入孪生网络的第一子网络，将图像集合中检测完成的电路板图像输入孪生网络的第二子网络，以计算所述待检测的电路板图像与所述图像集合中的各个检测完成的电路板图像之间的相似度，其中，所述孪生网络预先采用包括有故障问题标注信息的图像集合训练完成；

将所述图像集合中与所述待检测的电路板图像之间的相似度满足预设的相似度阈值的电路板图像确定为相似电路板图像，以将所述相似电路板图像被标注的故障问题确定为所述待检测的电路板图像的故障问题。

可选的，所述确定待检测的电路板图像，包括：

根据用户对原始电路板图像预先标注的矩形框确定所述原始电路板图像对应的初始前景图像和初始背景图像；

建立初始前景图像和初始背景图像分别对应的高斯混合模型；

重复执行对所述高斯混合模型的更新和基于更新后的高斯混合模型对所述矩形框内未知像素的分类过程，直至基于所述更新后的高斯混合模型的模型参数确定的能量函数收敛；

将矩形框内的前景图像确定为待检测的电路板图像。

可选的，所述执行对所述高斯混合模型的更新，包括：

确定初始前景图像和初始背景图像分别对应的第一像素集合和第二像素集合；

分别将两个像素集合中的像素分配给具有产生所述像素的表征值概率最高的高斯分量，其中，所述像素的表征值包括所述像素的灰度值或RGB值，所述高斯分量属于所述像素集合自身对应的高斯混合模型；

基于各个像素集合变动的高斯分量更新所述像素集合对应的高斯混合模型。

可选的，所述将所述图像集合中与所述待检测的电路板图像之间的相似度满足预设的相似度阈值的电路板图像确定为相似电路板图像，包括：

将图像集合中特征向量与所述待检测的电路板图像的特征向量的欧氏距离或者余弦距离小于预设阈值的电路板图像确定为相似电路板图像。

可选的，所述电路板图像包括所述电路板中的与下述对象中的至少一种有关的图像：元器件、焊点、字符、图形。

可选的，所述故障问题包括电路板中的对象存在下述问题中的至少一种：有偏移、受潮、积累灰尘、焊锡性不良、焊锡脱落。

根据本申请的第二方面，提出了一种用于电路板故障检测的孪生网络训练方法，所述方法包括：

至少将作为训练样本的电路板图像对分别输入孪生网络的第一子网络和第二子网络，其中，所述电路板图像对包含两张电路板图像，且每张电路板图像中含有故障问题标注信息；

经所述孪生网络对输入的电路板图像对进行特征提取，并根据提取的特征向量确定两张电路板图像之间的第一相似度；

基于所述第一相似度与两张电路板图像的故障问题标注信息的第二相似度之间的差异调整所述孪生网络的网络模型参数。

可选的，所述训练样本包括正样本和负样本；作为正样本的电路板图像对中的两张电路板图像具有相同的故障问题；作为负样本的电路板图像对中的两张电路板图像具有不同的故障问题。

可选的，所述根据提取的特征向量确定两张电路板图像之间的第一相似度，包括：

根据提取的特征向量确定两张电路板图像之间的欧氏距离或者余弦距离。

可选的，所述基于所述第一相似度与两张电路板图像的故障问题标注信息的第二相似度之间的差异调整所述孪生网络的网络模型参数，包括：

在所述两张电路板图像的故障问题标注信息具有大于阈值的相似度的情况下，调整所述孪生网络中的权重向量与电路板图像对应的中间特征向量之间的向量夹角余弦值，以提高两张电路板图像之间的相似程度；

在所述两张电路板图像的故障问题标注信息具有小于阈值的相似度的情况下，调整所述孪生网络中的权重向量与电路板图像对应的中间特征向量之间的向量夹角余弦值，以减弱两张电路板图像之间的相似程度。

可选的，所述电路板图像包括所述电路板中的与下述对象中的至少一种有关的图像：元器件、焊点、字符。

可选的，所述故障问题包括电路板中的对象存在下述问题中的至少一种：有偏移、受潮、积累灰尘、焊锡性不良、焊锡脱落。

根据本申请的第三方面，提出了一种电路板故障检测装置，所述装置包括：

获取单元，获取待检测的电路板图像；

图像输入单元，将所述待检测的电路板图像输入孪生网络的第一子网络，将图像集合中检测完成的电路板图像输入孪生网络的第二子网络，以计算所述待检测的电路板图像与所述图像集合中的各个检测完成的电路板图像之间的相似度，其中，所述孪生网络预先采用包括有故障问题标注信息的图像集合训练完成；

确定单元，将所述图像集合中与所述待检测的电路板图像之间的相似度满足预设的相似度阈值的电路板图像确定为相似电路板图，以将所述相似电路板图像被标注的故障问题确定为所述待检测的电路板图像的故障问题。

根据本申请的第四方面，提出了一种用于电路板故障检测的孪生网络训练装置，所述装置包括：

图像输入单元，至少将作为训练样本的电路板图像对分别输入孪生网络的第一子网络和第二子网络，其中，所述电路板图像对包含两张电路板图像，且每张电路板图像中含有故障问题标注信息；

特征提取单元，经所述孪生网络对输入的电路板图像对进行特征提取，并根据提取的特征向量确定两张电路板图像之间的第一相似度；

参数调整单元，基于所述第一相似度与两张电路板图像的故障问题标注信息的第二相似度之间的差异调整所述孪生网络的网络模型参数。

根据本申请的第五方面，提出了一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为可执行指令以实现上述第一方面所述的方法。

根据本申请的第六方面，提出了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述第一方面所述方法的步骤。

根据本申请的第七方面，提出了一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为可执行指令以实现上述第二方面所述的方法。

根据本申请的第八方面，提出了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述第二方面所述方法的步骤。

通过上述实施例中，可以通过孪生网络确定待检测的电路板图像的故障问题，无需人工进行检测，因而不仅增强对电路板图像的检测效率，且提高了对电路板图像的检测结果的准确性，降低用工成本，提升人力、物力的利用价值。

附图说明

图1是根据本申请一示例性实施例中的一种电路板故障检测方法的流程图；

图2是根据本申请一示例性实施例中的一种用于电路板故障检测的孪生网络训练方法的流程图；

图3a是根据本申请一示例性实施例中的另一种电路板故障检测方法的流程图；

图3b是根据本申请一示例性实施例中的一种对矩形框内未知像素进行分类的方法的流程图；

图4是根据本申请一示例性实施例中的另一种用于电路板故障检测的孪生网络训练方法的流程图；

图5是根据本申请一示例性实施例中的一种电子设备的示意结构图；

图6是根据本申请一示例性实施例中的一种电路板故障检测装置的框图；

图7是根据本申请一示例性实施例中的另一种电子设备的示意结构图；

图8是根据本申请一示例性实施例中的一种用于电路板故障检测的孪生网络训练装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

请参考图1，图1是根据本申请一示例性实施例中的一种电路板故障检测方法的流程图，如图1所示，该方法可以包括以下步骤：

步骤101，获取待检测的电路板图像。

在一实施例中，可以根据用户对原始电路板图像预先标注的矩形框确定原始电路板图像对应的初始前景图像和初始背景图像，进而建立初始前景图像和初始背景图像分别对应的高斯混合模型。在实际应用过程中，原始电路板图像可以为存在待检测的故障问题的电路板图像，可基于初步的检测确定存在故障问题的电路板，进而将该电路板的电路板图像确定为本申请中用于供用户基于矩形框进行标注的原始电路板图像。

重复执行对所述高斯混合模型的更新和基于更新后的高斯混合模型对所述矩形框内未知像素的分类过程，直至基于所述更新后的高斯混合模型的模型参数确定的能量函数收敛，在能量函数收敛后得到的矩形框内的前景图像确定为待检测的电路板图像。

进一步的，执行对高斯混合模型的更新可以为：确定初始前景图像和初始背景图像分别对应的第一像素集合和第二像素集合，进而分别将两个像素集合中的像素分配给具有产生所述像素的表征值概率最高的高斯分量，其中，所述像素的表征值包括所述像素的灰度值或RGB值，所述高斯分量属于所述像素集合自身对应的高斯混合模型。从而基于各个像素集合变动的高斯分量更新所述像素集合对应的高斯混合模型。

具体的，本申请中的电路板图像可以包括电路板中的与下述对象中的至少一种有关的图像：元器件、焊点、字符、图形。相应的，电路板中的故障问题可以包括电路板中的对象存在下述问题中的至少一种：有偏移、受潮、积累灰尘、焊锡性不良、焊锡脱落。

步骤102，将所述待检测的电路板图像输入孪生网络的第一子网络，将图像集合中检测完成的电路板图像输入孪生网络的第二子网络，以计算所述待检测的电路板图像与所述图像集合中的各个检测完成的电路板图像之间的相似度，其中，所述孪生网络预先采用包括有故障问题标注信息的图像集合训练完成。

步骤103，将所述图像集合中与所述待检测的电路板图像之间的相似度满足预设的相似度阈值的电路板图像确定为相似电路板图像，以将所述相似电路板图像被标注的故障问题确定为所述待检测的电路板图像的故障问题。

在一实施例中，可以将图像集合中特征向量与待检测的电路板图像的特征向量的欧氏距离或者余弦距离小于预设阈值的电路板图像确定为相似电路板图像。

通过上述实施例中，可以通过孪生网络确定待检测的电路板图像的故障问题，无需人工对具体的故障问题进行判定，因而不仅提高了对电路板图像的检测效率，且提高了对电路板图像的检测结果的准确性，提高了人力、物力的利用价值。

图2是根据本申请一示例性实施例中的一种用于电路板故障检测的孪生网络训练方法的流程图，如图2所示，该方法可以包括以下步骤：

步骤201，至少将作为训练样本的电路板图像对分别输入孪生网络的第一子网络和第二子网络，其中，所述电路板图像对包含两张电路板图像，且每张电路板图像中含有故障问题标注信息。

在一实施例中，用于训练孪生网络的样本信息包括正样本和负样本，其中，作为正样本的电路板图像对的两张电路板图像具有相同的故障问题，而作为负样本的电路板图像对中的两张电路板图像具有不同的故障问题。

步骤202，经所述孪生网络对输入的电路板图像对进行特征提取，并根据提取的特征向量确定两张电路板图像之间的第一相似度。

在一实施例中，可以根据提取的特征向量确定两张电路板图像之间的欧氏距离或者余弦距离，进而根据欧式距离或者余弦距离是否满足预设的相似度阈值确定两张电路板图像之间的相似度。

具体的，两张电路板图像的特征向量之间的欧式距离或余弦距离越小，则表明两张电路板图像之间的相似度越高；若两张电路板图像之间的欧式距离或余弦距离越大，则表明两张电路板图像之间的相似度越低。

在实际应用过程中，两张电路板图像的特征向量之间的欧式距离可以通过计算公式

确定，其中，d表示欧氏距离；n表示孪生网络提取的特征维数。x_i、y_i分别表示通过第一子网络和第二子网络对两张电路板图像所提取的特征。

步骤203，基于所述第一相似度与两张电路板图像的故障问题标注信息的第二相似度之间的差异调整所述孪生网络的网络模型参数。

在一实施例中，可以在两张电路板图像的故障问题标注信息具有大于阈值的相似度的情况下，调整所述孪生网络中的权重向量与电路板图像对应的中间特征向量之间的向量夹角余弦值，以提高两张电路板图像之间的相似程度；而在两张电路板图像的故障问题标注信息具有小于阈值的相似度的情况下，调整孪生网络中的权重向量与电路板图像对应的中间特征向量之间的向量夹角余弦值，以减弱两张电路板图像之间的相似程度。

在实际应用过程中，对于无法正常工作的电路板，技术人员容易确定无法正常工作的电路板中存在故障的大致区域，但很难精准地确定电路板中的具体故障原因，因而完全基于人工的对电路板故障问题的检测方式不仅准确性低，而且用工成本大，为了实现对电路板故障问题的准确检测、降低用工成本，本申请提供一种电路板故障检测及孪生网络的训练方法及装置，为对本申请的技术方案进行进一步的说明，下面通过图3a、图3b和图4对应的实施例对本申请的技术方案进行详细阐述：

图3a是根据本申请一示例性实施例中的另一种电路板故障检测方法的流程图，如图3a所示，该方法可以包括以下步骤：

步骤301，根据用户对原始电路板图像预先标注的矩形框确定原始电路板图像对应的初始前景图像和初始背景图像。

在一实施例中，用户可根据对原始电路板图像的检测需求，通过预先标注的矩形框对原始电路板图像进行标注，以使得原始电路板图像中匹配于用户检测需求的对象位于矩形框内，而对于不存在检测需求的对象位于矩形框外。

进一步的，在原始电路板图像中存在多个匹配于用户检测需求的对象的情况下，用户可分别针对多个匹配于用户检测需求的对象中的每一个对象通过矩形框进行标注，进而将原始电路板图像划分为多个待检测的电路板图像，提高了对电路板图像的识别精度。

具体的，电路板图像可以包括电路板中的与下属对象中的至少一种有关的图像：元器件、焊点、字符、图形等，相应的，用户框定电路板图像中的全部对象，以表明用户对电路板图像中的全部对象均存在检测需求，当然，用户可以仅框定电路板图像中的部分对象，以表明仅对电路板图像中的一个对象或者多个对象存在检测需求。

步骤302，建立初始前景图像和初始背景图像分别对应的高斯混合模型。

在一实施例中，针对初始前景图像建立高斯混合模型、针对初始背景图像建立高斯混合模型，其中，高斯混合模型的模型参数可以包括：权重、均值和协方差。

具体的，可以基于k-mean算法(k-means clustering algorithm，k均值聚类算法)分别把初始前景图像和初始背景图像的像素进行聚类，且对于初始前景图像的进行聚类的类数与初始前景图像的高斯分量的数量相同，对于初始背景图像进行聚类的类数与初始背景图像的高斯分量的数量相同，其中，用于对初始前景图像和初始背景图像的像素进行聚类的k-mean算法是一种通过迭代求解的划分聚类算法，基于预设的距离函数反复把图像的像素分入k个聚类中(k表示需要的聚类数目)，直到达到预设的终止条件，诸如误差平方和局部最小、没有聚类中心再发生变化等；所建立的高斯混合模型为对图像进行量化表示的高斯概率密度函数，进一步的，高斯混合模型可以具有相同数量的高斯分量，本申请对高斯分量的具体数量不做限制。

分别针对初始前景图像和初始背景图像建立高斯混合模型，使得初始前景图像中的像素对应于基于初始前景图像建立的高斯混合模型中的某一个高斯分量，初始背景图像中的像素对应于基于初始背景图像建立的高斯混合模型中的某一个高斯分量，相应的，高斯分量的参数可以基于归属于高斯分量自身的像素的表征值进行估计，其中，高斯分量的权值可以通过属于该高斯分量的像素个数与前景图像中的总的像素个数的比值确定，进一步的，本申请中提及到的像素的表征值可以为像素点的灰度值，或者像素点的RGB值。

基于初始前景图像和初始背景图像分别对应的高斯混合模型的模型参数确定初始前景图像和初始背景图像分别对应的能量函数，所述能量函数中可以包括表示像素被归类为前景图像或者背景图像的惩罚的区域项，其中区域项为某个像素属于前景图像或者背景图像的概率的负对数，即前景图像的区域项为与前景图像对应的高斯混合模型的负对数，背景图像的区域项为与背景图像对应的高斯混合模型的负对数。

能量函数反映了相邻像素之间的不连续惩罚，即如果相邻像素的差别很小，则他们属于同一个前景图像或者同一个背景图像的可能性就很大，相应的能量越大；如果他们相邻像素的差别很大，则说明这两个像素很有节能处于前景图像和背景图像之间的边缘部分，则需要被切分开的可能性就越大，进而对应的能量越小。具体的，可以通过欧式距离表示两个像素之间的相似性。

步骤303，执行对高斯混合模型的更新和基于更新后的高斯混合模型对矩形框内未知像素的分类过程。

步骤304，判断基于更新后的高斯混合模型的模型参数确定的能量函数是否收敛，若收敛则执行步骤305，否则返回步骤303。

由初始前景图像中的像素的表征值可以确定与初始前景图像对应的第一像素集合，类似的，由初始背景图像中的像素的表征值可以确定与初始背景图像对应的第二像素集合，在对前景图像和背景图像进行更新后，可基于更新后的前景图像和背景图像分别确定更新后的两个像素集合。

在执行对高斯混合模型的更新和基于更新后的高斯混合模型对矩形框内未知像素的分类过程中，可以涉及图3b所示的步骤，图3b是根据本申请一示例性实施例中的一种对矩形框内未知像素进行分类的方法的流程图，如图3b所示，通过迭代式的进行：步骤a、图像的高斯混合模型进行更新；步骤b、基于最大流最小割算法进行图像分割；步骤c、判断高斯混合模型对应的能量函数是否收敛；若收敛则迭代更新结束，若不收敛则返回步骤a。

具体的，在对图像的高斯混合模型进行更新的过程可以包括：确定前景图像和背景图像分别对应的像素集合，将像素集合中的像素分配给具有产生该像素的表征值概率最高的高斯分量，诸如将前景图像对应的像素集合中的像素分配给前景图像对应的高斯混合模型中具有产生该像素的表征值概率最高的高斯分量，将背景图像对应的像素集合中的像素分配给背景图像对应的高斯混合模型中具有产生该像素的表征值概率最高的高斯分量，进而基于所属各个像素集合变动后的高斯分量更新像素集合对应的高斯混合模型。

基于步骤301～步骤304描述了按照人工标注的矩形框对原始电路板图像中的影像进行分割，从而将分割完成的电路板图像作为输入孪生网络的待检测的电路板图像，进而通过孪生网络确定与待监测的电路板图像的相似度满足相似度阈值的相似电路板图像，从而将相似电路板图像的故障问题确定为待检测的电路板图像的故障问题，下面通过步骤305～步骤308，对通过孪生网络确定待检测的电路板图像的故障问题进行阐述：

步骤305，将矩形框内的前景图像输入预先训练完成的孪生网络的第一子网络，将图像集合中检测完成的电路板图像输入孪生网络的第二子网络。

在一实施例中，孪生网络可以由两支相同的单支子网络并联拼接而成，每支子网络具有多个全连接层。孪生网络可以预先采用包括由故障问题标注信息的图像集合训练完成，对孪生网络的训练过程通过图4对应的具体实施例进行说明，本申请在此不再赘述。具体的，每支子网络的单个全连接层的神经元个数可以为128，即单个全连接层的深度网络特征的维数可以为128维，当然全连接层的层数、神经元个数还可以设置为其他数值，本申请对子网络的全连接层数不作限制；此外，用于将电路板图像划分为前景图像和背景图像的矩形框也可以为圆形框、三角框等，在电路板图像中选定前景图像的过程中，本申请对于具体的框定形状不做限制。

在本申请中，可以将能量函数收敛后的矩形框内的前景图像确定为待检测的电路板图像，进而将矩形框内的前景图像属于孪生网络的第一子网络，将图像集合中检测完成的电路板图像输入孪生网络的第二子网络，以由第一子网络和第二子网络分别对前景图像和检测完成的电路板图像的特征进行提取。

步骤306，基于孪生网络的第一子网络和第二子网络分别提取的前景图像的特征向量和图像集合中检测完成的电路板图像的特征向量，确定两个特征向量之间的相似度。

步骤307，确定图像集合中与待检测的电路板图像之间的相似度满足预设的相似度阈值的相似电路板图像。

在一实施例中，可以根据前景图像的特征向量和图像集合中检测完成的电路板图像的特征向量之间的欧氏距离或者余弦距离确定两个特征向量之间的相似度。

在实际应用过程中，前景图像的特征向量和图像集合中检测完成的电路板图像的特征向量之间的欧式距离可以通过计算公式

确定，其中，d表示欧氏距离；n表示孪生网络提取的特征维数。x_i、y_i分别表示通过第一子网络提取的前景图像的特征和通过第二子网络提取的图像集合中检测完成的电路板图像的特征。

具体的，在根据前景图像的特征向量和图像集合中检测完成的电路板图像的特征向量之间的欧式距离越小，则表明待检测的图像的特征向量与图像集合中检测完成的电路板图像的特征向量之间的相似度越高，而若根据前景图像的特征向量和图像集合中的检测完成的电路板图像的特征向量之间的欧式距离或者余弦距离越大，则表明待检测的图像的特征向量与图像集合中检测完成的电路板图像的特征向量之间的相似度越低。

在本申请中可以将数据集中与待检测的电路板图像的特征向量的欧式距离或者余弦距离小于预设阈值的电路板图像确定相似电路板图像。

步骤308，将相似电路板图像被标注的故障问题确定为待检测的电路板图像的故障问题。

在一实施例中，被标注的故障问题可以为电路板中的对象存在偏移、受潮、积累灰尘、焊锡性不良、焊锡脱落等，基于孪生网络对神经网络特征的通过将电路板中的对象

由上述实施例可知，对于原始电路板图像而言，可以基于用户的检测需求所框定的图像确定为输入孪生网络中的待检测的电路板图像，而无需基于原始电路板图像进行特征训练，精简了待进行特征提取的数据量，提高了对待检测图像的特征提取的精度。

图4是根据本申请一示例性实施例中的另一种用于电路板故障检测的孪生网络训练方法的流程图，如图4所示，该方法可以包括以下步骤：

步骤401，构建含有故障问题标注信息的电路板图像对的样本数据。

在一实施例中，电路板图像可以包括电路板中的与下属对象中的至少一种有关的图像：元器件、焊点、字符、图形等，相应的，电路板图像中所标注的故障问题可以包括电路板中的对象存在下述问题中的至少一种：有偏移、受潮、积累灰尘、焊锡性不良、焊锡脱落等。

用于训练孪生网络的样本数据为电路板图像对，其中，电路板图像对包括两张电路板图像，用于训练孪生网络的样本数据可以包括正样本和负样本，其中，可以将两张存在相同故障问题的电路板图像作为正样本，将两张存在不同故障问题的电路板图像作为负样本。

在实际应用过程中，可以对用于训练孪生网络的正样本与负样本的比值进行控制，诸如将用于训练孪生网络的正样本与负样本进行配平，以使得正样本与负样本数量均衡，提高样本训练的准确性。

步骤402，构建用于提取电路板图像对的孪生网络。

在一实施例中，所构建的孪生网络可以由两支相同的子网络并联拼接而成，每个子网络中可以包括多个全连接层，诸如可以包括7个全连接层，单个全连接层的深度网络特征的维数可以为128维，当然全连接层的层数、神经元个数还可以设置为其他数值，本申请对子网络的全连接层数不作限制。

进一步的，可以在所构建的孪生网络后连接两个全连接层，其中，第一全连接层所包括的神经元可以为预先设定的，第二个全连接层包含的神经元个数可以与整个孪生网络的输出结果的种类数相等。

步骤403，将作为训练样本的电路板图像对输入孪生网络，以由孪生网络的第一子网络和第二子网络分别对电路板图像对中的两张电路板图像进行特征提取。

步骤404，确定孪生网络中第一子网络和第二子网络分别提取的特征向量之间的第一相似度。

在一实施例中，可以根据提取的特征向量确定两张电路板图像之间的欧氏距离或者余弦距离，进而根据欧式距离或者余弦距离是否满足预设的相似度阈值确定两张电路板图像之间的相似度。

具体的，两张电路板图像的特征向量之间的欧式距离或余弦距离越小，则表明两张电路板图像之间的相似度越高；若两张电路板图像之间的欧式距离或余弦距离越大，则表明两张电路板图像之间的相似度越低。

在实际应用过程中，两张电路板图像的特征向量之间的欧式距离可以通过计算公式

确定，其中，d表示欧氏距离；n表示孪生网络提取的特征维数。x_i、y_i分别表示通过第一子网络和第二子网络对两张电路板图像所提取的特征。

步骤405，根据所确定的第一相似度与两张电路板图像的故障问题标注信息的第二相似度之间的差异调整孪生网络的网络模型参数。

在基于两张存在相同故障问题的电路板图像作为电路板图像对分别输入孪生网络的两个子网络后，可以获取两个子网络输出的电路板图像对中两个电路板图像的特征之间的相似度，若两个电路板图像的特征之间的相似度较低，则对孪生网络的网络模型参数进行反向调整，使得两个电路板图像的特征之间的相似度提高。

相应的，若基于两张存在不同故障问题的电路板图像作为电路板图像对分别输入孪生网络的两个子网络后，可以获取两个子网络输出的电路板图像对中两个电路板图像的特征之间的相似度，若两个电路板图像的特征之间的相似度较高，则对孪生网络的网络模型参数进行反向调整，使得两个电路板图像的特征之间的相似度降低。

具体的，在两张电路板图像的故障问题标注信息具有大于阈值的相似度的情况下，调整所述孪生网络中的权重向量与电路板图像对应的中间特征向量之间的向量夹角余弦值，以提高两张电路板图像之间的相似程度；在两张电路板图像的故障问题标注信息具有小于阈值的相似度的情况下，调整孪生网络中的权重向量与电路板图像对应的中间特征向量之间的向量夹角余弦值，以减弱两张电路板图像之间的相似程度。

图5是根据本申请一示例性实施例中的一种电子设备的示意结构图。请参考图5，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成电路板故障检测装置。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

请参考图6，图6是根据本申请一示例性实施例中的一种电路板故障检测装置的框图，在软件实施方式中，电路板故障检测装置可以包括：

获取单元601，获取待检测的电路板图像；

图像输入单元602，将所述待检测的电路板图像输入孪生网络的第一子网络，将图像集合中检测完成的电路板图像输入孪生网络的第二子网络，以计算所述待检测的电路板图像与所述图像集合中的各个检测完成的电路板图像之间的相似度，其中，所述孪生网络预先采用包括有故障问题标注信息的图像集合训练完成；

确定单元603，将所述图像集合中与所述待检测的电路板图像之间的相似度满足预设的相似度阈值的电路板图像确定为相似电路板图像，以将所述相似电路板图像被标注的故障问题确定为所述待检测的电路板图像的故障问题。

可选的，获取单元601具体用于：

根据用户对原始电路板图像预先标注的矩形框确定所述原始电路板图像对应的初始前景图像和初始背景图像；

建立初始前景图像和初始背景图像分别对应的高斯混合模型；

重复执行对所述高斯混合模型的更新和基于更新后的高斯混合模型对所述矩形框内未知像素的分类过程，直至基于所述更新后的高斯混合模型的模型参数确定的能量函数收敛；

将矩形框内的前景图像确定为待检测的电路板图像。

可选的，获取单元601中的执行对所述高斯混合模型的更新过程具体包括：

确定初始前景图像和初始背景图像分别对应的第一像素集合和第二像素集合；分别将两个像素集合中的像素分配给具有产生所述像素的表征值概率最高的高斯分量，其中，所述像素的表征值包括所述像素的灰度值或RGB值，所述高斯分量属于所述像素集合自身对应的高斯混合模型；基于各个像素集合变动的高斯分量更新所述像素集合对应的高斯混合模型。

可选的，确定单元603具体用于：

将图像集合中特征向量与所述待检测的电路板图像的特征向量的欧氏距离或者余弦距离小于预设阈值的电路板图像确定为相似电路板图像。

可选的，电路板图像包括所述电路板中的与下述对象中的至少一种有关的图像：元器件、焊点、字符、图形。

可选的，所述故障问题包括电路板中的对象存在下述问题中的至少一种：有偏移、受潮、积累灰尘、焊锡性不良、焊锡脱落。

图7是根据本申请一示例性实施例中的另一种电子设备的示意结构图。请参考图7，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成用于电路板故障检测的孪生网络训练装置。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

请参考图8，图8是根据本申请一示例性实施例中的一种用于电路板故障检测的孪生网络训练装置的框图，在软件实施方式中，用于电路板故障检测的孪生网络训练装置可以包括：

图像输入单元801，至少将作为训练样本的电路板图像对分别输入孪生网络的第一子网络和第二子网络，其中，所述电路板图像对包含两张电路板图像，且每张电路板图像中含有故障问题标注信息。

特征提取单元802，经所述孪生网络对输入的电路板图像对进行特征提取，并根据提取的特征向量确定两张电路板图像之间的第一相似度。

参数调整单元803，基于所述第一相似度与两张电路板图像的故障问题标注信息的第二相似度之间的差异调整所述孪生网络的网络模型参数。

可选的，所述训练样本包括正样本和负样本；其中，作为正样本的电路板图像对中的两张电路板图像具有相同的故障问题；作为负样本的电路板图像对中的两张电路板图像具有不同的故障问题。

可选的，参数调整单元803具体用于：

在所述两张电路板图像的故障问题标注信息具有大于阈值的相似度的情况下，调整所述孪生网络中的权重向量与电路板图像对应的中间特征向量之间的向量夹角余弦值，以提高两张电路板图像之间的相似程度；

在所述两张电路板图像的故障问题标注信息具有小于阈值的相似度的情况下，调整所述孪生网络中的权重向量与电路板图像对应的中间特征向量之间的向量夹角余弦值，以减弱两张电路板图像之间的相似程度。

可选的，电路板图像包括所述电路板中的与下述对象中的至少一种有关的图像：元器件、焊点、字符、图形。

可选的，所述故障问题包括电路板中的对象存在下述问题中的至少一种：有偏移、受潮、积累灰尘、焊锡性不良、焊锡脱落。

所述装置与上述方法相对应，更多相同的细节不再一一赘述。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (13)

1.一种电路板故障检测方法，其特征在于，所述方法包括：

获取待检测的电路板图像；

将所述待检测的电路板图像输入孪生网络的第一子网络，将图像集合中检测完成的电路板图像输入孪生网络的第二子网络，以计算所述待检测的电路板图像与所述图像集合中的各个检测完成的电路板图像之间的相似度，其中，所述孪生网络预先采用包括有故障问题标注信息的图像集合训练完成；

将所述图像集合中与所述待检测的电路板图像之间的相似度满足预设的相似度阈值的电路板图像确定为相似电路板图像，以将所述相似电路板图像被标注的故障问题确定为所述待检测的电路板图像的故障问题。

2.根据权利要求1所述方法，其特征在于，所述确定待检测的电路板图像，包括：

根据用户对原始电路板图像预先标注的矩形框确定所述原始电路板图像对应的初始前景图像和初始背景图像；

建立初始前景图像和初始背景图像分别对应的高斯混合模型；

重复执行对所述高斯混合模型的更新和基于更新后的高斯混合模型对所述矩形框内未知像素的分类过程，直至基于所述更新后的高斯混合模型的模型参数确定的能量函数收敛；

将矩形框内的前景图像确定为待检测的电路板图像。

3.根据权利要求2所述方法，其特征在于，所述执行对所述高斯混合模型的更新，包括：

确定初始前景图像和初始背景图像分别对应的第一像素集合和第二像素集合；

分别将两个像素集合中的像素分配给具有产生所述像素的表征值概率最高的高斯分量，其中，所述像素的表征值包括所述像素的灰度值或RGB值，所述高斯分量属于所述像素集合自身对应的高斯混合模型；

基于各个像素集合变动的高斯分量更新所述像素集合对应的高斯混合模型。

4.根据权利要求1所述方法，其特征在于，所述将所述图像集合中与所述待检测的电路板图像之间的相似度满足预设的相似度阈值的电路板图像确定为相似电路板图像，包括：

将图像集合中特征向量与所述待检测的电路板图像的特征向量的欧氏距离或者余弦距离小于预设阈值的电路板图像确定为相似电路板图像。

5.根据权利要求1所述方法，其特征在于，所述电路板图像包括所述电路板中的与下述对象中的至少一种有关的图像：元器件、焊点、字符、图形；所述故障问题包括电路板中的对象存在下述问题中的至少一种：有偏移、受潮、积累灰尘、焊锡性不良、焊锡脱落。

6.一种用于电路板故障检测的孪生网络训练方法，其特征在于，所述方法包括：

至少将作为训练样本的电路板图像对分别输入孪生网络的第一子网络和第二子网络，其中，所述电路板图像对包含两张电路板图像，且每张电路板图像中含有故障问题标注信息；

经所述孪生网络对输入的电路板图像对进行特征提取，并根据提取的特征向量确定两张电路板图像之间的第一相似度；

基于所述第一相似度与两张电路板图像的故障问题标注信息的第二相似度之间的差异调整所述孪生网络的网络模型参数。

7.根据权利要求6所述方法，其特征在于，所述训练样本包括正样本和负样本；

作为正样本的电路板图像对中的两张电路板图像具有相同的故障问题；

作为负样本的电路板图像对中的两张电路板图像具有不同的故障问题。

8.根据权利要求6所述方法，其特征在于，所述基于所述第一相似度与两张电路板图像的故障问题标注信息的第二相似度之间的差异调整所述孪生网络的网络模型参数，包括：

在所述两张电路板图像的故障问题标注信息具有大于阈值的相似度的情况下，调整所述孪生网络中的权重向量与电路板图像对应的中间特征向量之间的向量夹角余弦值，以提高两张电路板图像之间的相似程度；

在所述两张电路板图像的故障问题标注信息具有小于阈值的相似度的情况下，调整所述孪生网络中的权重向量与电路板图像对应的中间特征向量之间的向量夹角余弦值，以减弱两张电路板图像之间的相似程度。

9.根据权利要求6所述方法，其特征在于，所述电路板图像包括所述电路板中的与下述对象中的至少一种有关的图像：元器件、焊点、字符；所述故障问题包括电路板中的对象存在下述问题中的至少一种：有偏移、受潮、积累灰尘、焊锡性不良、焊锡脱落。

10.一种电路板故障检测装置，其特征在于，所述装置包括：

获取单元，获取待检测的电路板图像；

图像输入单元，将所述待检测的电路板图像输入孪生网络的第一子网络，将图像集合中检测完成的电路板图像输入孪生网络的第二子网络，以计算所述待检测的电路板图像与所述图像集合中的各个检测完成的电路板图像之间的相似度，其中，所述孪生网络预先采用包括有故障问题标注信息的图像集合训练完成；

确定单元，将所述图像集合中与所述待检测的电路板图像之间的相似度满足预设的相似度阈值的电路板图像确定为相似电路板图像，以将所述相似电路板图像被标注的故障问题确定为所述待检测的电路板图像的故障问题。

11.一种用于电路板故障检测的孪生网络训练装置，其特征在于，所述装置包括：

图像输入单元，至少将作为训练样本的电路板图像对分别输入孪生网络的第一子网络和第二子网络，其中，所述电路板图像对包含两张电路板图像，且每张电路板图像中含有故障问题标注信息；

特征提取单元，经所述孪生网络对输入的电路板图像对进行特征提取，并根据提取的特征向量确定两张电路板图像之间的第一相似度；

参数调整单元，基于所述第一相似度与两张电路板图像的故障问题标注信息的第二相似度之间的差异调整所述孪生网络的网络模型参数。

12.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为可执行指令以实现如权利要求1-9中任一项所述的方法。

13.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-9中任一项所述方法的步骤。

Images