CN115880288B - 电子元件焊接的检测方法、***及计算机设备 - Google Patents

Abstract

本发明涉及自动检测技术领域，解决了检测成本高且效率低的技术问题，尤其涉及一种电子元件焊接的检测方法、***及计算机设备，包括：获取由图像采集设备所采集的标准焊接图像和待检测焊接图像；计算标准焊接图像与待检测焊接图像的匹配系数以及差值区域面积；根据预设的匹配系数阈值和差值面积阈值对待检测电子元件焊接产品进行初步检测；根据图像的不变矩特征对待检测焊接图像的多张不同分辨率的特征图像进行逐层搜索对比，得到与标准焊接图像精准匹配的待检测焊接区域。本发明通过采用两阶段检测模式，先筛选出具有明显焊接缺陷的产品，再利用改进的卷积神经网络对不具有明显焊接缺陷的产品进行二次检测，提高了检测效率，且成本低。

Description

电子元件焊接的检测方法、***及计算机设备

技术领域

本发明涉及自动检测技术领域，尤其涉及一种电子元件焊接的检测方法、***及计算机设备。

背景技术

在焊接电子元件时，无论是人工还是器械化生产，都有一定的概率会于出现缺焊、少锡、歪贴和桥接等焊接缺陷，而这些缺陷将对电子产品的可靠性造成严重影响，为此对电子元件焊接质量进行检测尤为重要。

目前，市面上采用视觉检测技术对电子元件焊接质量进行自动检测的基本思想是，采用图像采集设备采集焊接件图像，并对焊接件图像进行去噪和分割处理得到仅含有焊接区域的待检测图像，再将待检测图像输入检测模型中进行特征分析，以判断是否具有缺陷并确定缺陷类型，虽然，上述检测方法与人工检测相比提高了电子元件焊接质量检测的准确性，但是，为了采集高分辨率的焊接件图像需要采用高配置的图像采集设备，这将引起检测成本增多，并且高分辨率图像传输速度慢，从而导致焊接质量检测效率较低。

发明内容

针对现有技术的不足，本发明提供了一种电子元件焊接的检测方法、***及计算机设备，解决了高分辨率焊接图像采集成本高且由于传输速度慢致使检测效率较低的技术问题，达到了在不增加检测成本的前提下，提高电子元件焊接质量检测效率及准确性的目的。

为解决上述技术问题，本发明提供了如下技术方案：一种电子元件焊接的检测方法，包括以下步骤：

S1、获取由图像采集设备所采集的标准焊接图像和待检测电子元件焊接件的待检测焊接图像，其中，所述标准焊接图像指的是焊接质量合格且仅包含电子元件及其焊接区域的图像；

S2、计算所述标准焊接图像与待检测焊接图像的匹配系数r以及差值区域面积Sc；

S3、根据预设的匹配系数阈值Tr和差值面积阈值Ts对待检测电子元件焊接产品进行初步检测；

如果|r|＜Tr且|Sc|＜Ts，则判定为不合格产品并结束本次检测，否则，执行步骤S4；

S4、根据图像的不变矩特征对所述待检测焊接图像的多张不同分辨率的特征图像进行逐层搜索对比，得到与所述标准焊接图像精准匹配的待检测焊接区域；

S5、根据所述待检测焊接区域对所述待检测焊接图像进行图像分割，得到待检测目标图像；

S6、对所述待检测目标图像进行预处理，得到焊点轮廓与电子元件支撑体层次分明的预处理后图像；

S7、根据分割阈值从所述预处理后图像中提取待检测焊点形态线，并计算所述待检测焊点形态线与预置标准焊点形态线之间的形态差异值X；

S8、根据所述形态差异值X与预设检测阈值Tx的比对结果进行二次检测，判断是否存在焊接缺陷；

如果所述形态差异值X超出预设检测阈值Tx的范围，则判定为不合格产品，否则判定为合格产品。

进一步地，所述步骤S2具体包括以下步骤：

S21、将所述标准焊接图像在所述待检测焊接图像中移动，并计算两者之间的匹配系数r；

S22、所述匹配系数最大值出现的位置视为所述标准焊接图像与待检测焊接图像完成粗配准；

S23、对粗配准后的所述标准焊接图像与待检测焊接图像进行二值化处理，并进行差分运算以获得差值区域面积Sc。

进一步地，所述步骤S4具体包括以下步骤：

S41、将所述待检测焊接图像输入改进的卷积神经网络采用不同大小的卷积核进行卷积下采样操作，获得多张不同分辨率的特征图像；

S42、将多张不同分辨率的所述特征图像组成金字塔形状，且层级越高所述特征图像的分辨率越低；

S43、根据所述标准焊接图像的焊点区域在顶层低分辨率的所述特征图像上进行穷尽对比，得到粗定位区域；

S44、按照从上至下的顺序逐层对所述特征图像进行搜索且仅搜索位于上一层所述粗定位区域附近的位置，直至最底层以获得与标准焊接图像精准匹配的待检测焊接区域。

进一步地，所述步骤S6具体包括以下步骤：

S61、对所述待检测目标图像进行灰度化处理，得到灰度图像；

S62、采用非局部均值滤波对灰度图像进行去噪处理，得到去噪图像；

S63、采用拉普拉斯算子对去噪图像边缘部分进行锐化处理，得到焊点轮廓与支撑体层次分明的预处理后图像。

进一步地，在步骤S8中，计算所述待检测焊点形态线与预置标准焊点形态线之间的形态差异值X的公式如下所示：

其中，表示待检测焊点形态线与标准焊点形态线上的对应第/>个高点的高度差，/>表示待检测焊点形态线与标准焊点形态线上对应高点的数量。

进一步地，所述步骤S5设置为：

采用多尺度特征融合策略对多张不同分辨率的特征图像进行融合重建以获得高分辨率图像，并根据待检测焊接区域对所述高分辨率图像进行分割，得到仅包含焊接区域的待检测目标图像。

进一步地，所述步骤S8之后还包括：

S9、输出检测结果信息并生成召回电子元件焊接不合格产品的指令。

本发明还提供了一种技术方案：一种用于实现上述电子元件焊接的检测方法的***，包括：

图像获取模块，所述图像获取模块用于获取由图像采集设备所采集的标准焊接图像和待检测电子元件焊接件的待检测焊接图像，其中，所述标准焊接图像指的是焊接质量合格且仅包含电子元件及其焊接区域的图像；

第一计算模块，所述第一计算模块用于计算所述标准焊接图像与待检测焊接图像的匹配系数r以及差值区域面积Sc；

初步检测模块，所述初步检测模块用于根据预设的匹配系数阈值Tr和差值面积阈值Ts对待检测电子元件焊接产品进行初步检测；

待检测焊接区域定位模块，所述待检测焊接区域定位模块用于根据图像的不变矩特征对所述待检测焊接图像的多张不同分辨率的特征图像进行逐层搜索对比，得到与所述标准焊接图像精准匹配的待检测焊接区域；

待检测目标图像确定模块，所述待检测目标图像确定模块用于根据所述待检测焊接区域对所述待检测焊接图像进行图像分割，得到待检测目标图像；

图像预处理模块，所述图像预处理模块用于对所述待检测目标图像进行预处理，得到焊点轮廓与电子元件支撑体层次分明的预处理后图像；

第二计算模块，所述第二计算模块用于根据分割阈值从所述预处理后图像中提取待检测焊点形态线，并计算所述待检测焊点形态线与预置标准焊点形态线之间的形态差异值X；

二次检测模块，所述二次检测模块用于根据所述形态差异值X与预设检测阈值Tx的比对结果进行二次检测，判断是否存在焊接缺陷。

进一步地，还包括：

检测结果输出模块，所述检测结果输出模块用于输出检测结果信息并生成召回电子元件焊接不合格产品的指令；

高分辨率图像融合模块，所述高分辨率图像融合模块用于采用多尺度特征融合策略对多张不同分辨率的特征图像进行融合重建以获得高分辨率图像。

本发明还提供了一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现上述电子元件焊接的检测方法。

借由上述技术方案，本发明提供了一种电子元件焊接的检测方法、***及计算机设备，至少具备以下有益效果：

1、本发明通过根据电子元件的焊接缺陷类别，将获取的待检测焊接图像与标准焊接图像进行粗配准及差分运算，并结合预设阈值判断待检测焊接产品是否具有缺焊缺陷，筛选出具有明显焊接缺陷的产品，再采用改进的卷积神经网络对不具有明显焊接缺陷的产品进行二次检测，从而提高了电子元件焊接产品检测效率。

2、本发明通过采用改进的卷积神经网络提取不具有明显缺陷的待检测焊接图像的多张不同分辨率的特征图像，根据图像的不变矩特征使用逐层搜索穷尽对比策略，并根据精准定位出与标准焊接图像相匹配的待检测焊接区域对待检测焊接图像进行图像分割，得到仅包含焊接区域的待检测目标图像，能够减少后续图像处理的计算量，进一步提高了焊接质量检测效率，还降低了***维护成本。

3、本发明通过采用多尺度特征融合策略对精准定位出与标准焊接图像相匹配的待检测焊接区域的多张不同分辨率的特征图像进行特征融合重建，并根据待检测焊接区域对融合重建的高分辨率图像进行分割，得到仅包含焊接区域的待检测目标图像，达到了在不增加检测成本的前提下，提高电子元件焊接质量检测效率和准确性的目的。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例一中电子元件焊接的检测方法的流程图；

图2为本发明实施例一中标准焊接图像与待检测焊接图像的对比示意图；

图3为本发明实施例一中搜索待检测焊接区域的流程图；

图4为本发明实施例一中待检测目标图像预处理的流程图；

图5为本发明实施例一中电子元件焊接的检测***的原理框图；

图6为本发明实施例二中电子元件焊接的检测方法的流程图；

图7为本发明实施例二中改进的卷积神经网络的结构框图；

图8为本发明实施例二中多尺度图像搜索与融合的结构示意图；

图9为本发明实施例二中电子元件焊接的检测***的原理框图；

图10为本发明实施例中计算机设备的内部结构框图。

图中：101、图像获取模块；102、第一计算模块；103、初步检测模块；104、待检测焊接区域定位模块；105、待检测目标图像确定模块；106、图像预处理模块；107、第二计算模块；108、二次检测模块；109、检测结果输出模块；110、高分辨率图像融合模块。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

实施例一

请参照图1-图4，示出了本实施例的一种具体实施方式，本实施例通过通过根据电子元件的焊接缺陷类别，将获取的待检测焊接图像与标准焊接图像进行粗配准及差分运算，并结合预设阈值判断待检测焊接产品是否具有缺焊缺陷，筛选出具有明显焊接缺陷的产品，再采用改进的卷积神经网络对不具有明显焊接缺陷的产品进行二次检测，从而提高了电子元件焊接产品检测效率。

如图1所示，一种电子元件焊接的检测方法，包括以下步骤：

S1、获取由图像采集设备所采集的标准焊接图像和待检测电子元件焊接件的待检测焊接图像。

本实施例采用型号为MV-CA060-10GC千兆以太网工业面阵列相机获取标准焊接图像以及待检测的电子元件焊接件的待检测焊接图像，其中，标准焊接图像指的是由专业人员检测焊接质量合格且仅包含电子元件及其焊接区域的图像；另外，该相机的最高分辨率为3072×2048，最大帧率为17FPS，曝光时间为27μs～2.5s，并采用两条线性LED光源以确保获取的图像质量。

S2、计算标准焊接图像与待检测焊接图像的匹配系数r以及差值区域面积Sc。具体包括以下步骤：

S21、将标准焊接图像在待检测焊接图像中移动，并计算两者之间的匹配系数r，其中，匹配系数r的计算公式如下所示：

上式中，表示标准焊接图像上的像素点，/>表示标准焊接图像的灰度均值，表示待检测焊接图像上的像素点，/>表示待检测焊接图像的灰度均值。

S22、将匹配系数最大值出现的位置视为标准焊接图像与待检测焊接图像完成粗配准。

匹配系数r的绝对值的取值范围为[0,1]，并且值越大，表明标准焊接图像与待检测焊接图像的配准精度越高，反之表明配准精度越低。为此，本实施例中，将匹配系数最大值出现的位置视为标准焊接图像与待检测焊接图像完成粗配准的位置。

S23、对粗配准后的标准焊接图像与待检测焊接图像进行二值化处理，并进行差分运算以获得差值区域面积Sc。

下面将结合图2所示标准焊接图像与待检测焊接图像的对比示意图作进一步说明，图2中A图片表示标准焊接图像，B图片表示待检测焊接图像；

首先，将图片A在图片B中移动并根据匹配系数r的计算公式计算两者之间的匹配系数，当匹配系数r出现最大值时，将最大值出现的位置视为标准焊接图像与待检测焊接图像完成粗配准的位置；然后，将粗配准后的图片A和B进行二值化处理，并将图片B与图片A对应位置做差分运算，可得到两者之间的差值区域面积Sc。

S3、根据预设的匹配系数阈值Tr和差值面积阈值Ts对待检测电子元件焊接产品进行初步检测；

本实施例中，根据所焊接电子元件的特点将匹配系数阈值Tr和差值面积阈值Ts分别设置为0.45和0.08，如果|r|＜0.45且|Sc|＜0.08，则判定为不合格产品，具体缺陷为缺焊，即焊接位置无电子元件，并结束本次检测，否则，执行步骤S4，对待焊接焊接产品进行二次检测，最终确定是否存在焊接缺陷。

值得注意的是，匹配系数阈值Tr和差值面积阈值Ts与所焊接电子元件的类别息息相关，为此，匹配系数阈值Tr和差值面积阈值Ts也可设置为其他数值。

S4、根据图像的不变矩特征对待检测焊接图像的多张不同分辨率的特征图像进行逐层搜索对比，得到与标准焊接图像精准匹配的待检测焊接区域。

下面将结合图3所示搜索待检测焊接区域的流程图作进一步说明，具体包括以下步骤：

S41、将待检测焊接图像输入改进的卷积神经网络采用不同大小的卷积核进行卷积下采样操作，获得多张不同分辨率的特征图像；

本实施例中，所涉及的改进的卷积神经神经网络包括一个输入层、十个卷积层和下采样层、一个全连接层以及一个输出层，提取特征图像时，首先待检测焊接图像经输入层进入卷积层，经过第一至第三个卷积层进行卷积下采样操作产生四张特征图，然后，每张特征图经三种不同频段的通路分别提取图像中高频、中频和低频特征信息，得到四张不同分辨率的特征图像；其中，高频段通路部分用了三个卷积层，中频段通路部分用了两个卷积层，且高频段和中频段所用卷积层的卷积核均为3×3，低频段通路部分用了一个卷积核为5×5的卷积层。

从低分辨率待检测焊接图像中提取多张不同分辨率特征图像的过程可表示为如下表达式：

上式中，表示待检测焊接图像，/>分别代表滤波器权值和偏置，符号/>表示卷积操作，/>表示在输出的特征图像上使用的激活函数ReLU。

S42、将多张不同分辨率的特征图像组成金字塔形状，且层级越高特征图像的分辨率越低；

S43、根据标准焊接图像的焊点区域在顶层低分辨率的特征图像上进行穷尽对比，得到粗定位区域；

S44、按照从上至下的顺序逐层对特征图像进行搜索且仅搜索位于上一层粗定位区域附近的位置，直至最底层以获得与标准焊接图像精准匹配的待检测焊接区域。

示例性的作为进一步说明，假设本实施例中的标准焊接图像的焊接区域和第/>层搜索区域/>的不变矩组分别为/>和/>)，则在搜索定位过程中，选取焊接区域和第/>层搜索区域/>匹配度最大的区域作为下一层特征图像的匹配区域，即，第/>层图像的搜索区域/>选取范围为：

上式中，表示以/>为中心坐标的矩形邻域，分别表示/>在/>方向的长度，/>分别表示矩形邻域在/>方向长度变化系数。

通过重复上述过程对从待检测焊接图像中提取的多张不同分辨率的特征图像进行逐层搜索，对每个候选位置产生的搜索子图与标准焊接图像进行穷尽对比，并且顶层特征图像因尺寸较小，所产生的搜索子图也较少，便于快速精准的定位出待检测焊接图像的待检测焊接区域，从而提高了电子元件焊接质量检测效率。

S5、根据待检测焊接区域对待检测焊接图像进行图像分割，得到待检测目标图像。

通过根据精准定位出的与标准焊接图像相匹配的待检测焊接区域对待检测焊接图像进行图像分割，得到仅包含焊接区域的待检测目标图像，能够减少后续图像处理的计算量，从而提高了焊接质量检测效率。

S6、对待检测目标图像进行预处理，得到焊点轮廓与电子元件支撑体层次分明的预处理后图像。

由于电子元件和支撑体的对比度不强，从而难以提取焊点特征信息，为此，在进行焊接质量检测之前需要对焊接件图像采用一系列的预处理消除外界的噪声和干扰，突出焊点表面特征，以便后续进行焊点特征的提取。如图4所示，进行预处理的具体过程包括以下步骤：

S61、对待检测目标图像进行灰度化处理，得到灰度图像，能够改善图像偏暗及对比性差的情况。

需要说明的是，待检测目标图像包含红、绿和蓝三个通道，且对每个通道颜色进行描述的数据取值在0～255，后续需要分别对三种分量进行处理，极大的增加了运算量，降低了处理效率；而在焊接质量检测过程中，仅需提取焊点的轮廓和元器件的位置信息，并不需要关注焊点颜色，为此，需要将焊接件图像进行灰度化处理，灰度图像的红、绿和蓝三个通道的分量值相等，简化了原始数据，从而提高了后续运算效率。

S62、采用非局部均值滤波对灰度图像进行去噪处理，得到去噪图像；

电子元件支撑体表面涂层面的不均匀反射，以及待检测焊接图像在采集过程中周围环境和图像采集设备的影响，使得待检测焊接图像有各种各样的噪声和失真，为此通过采用非局部均值滤波对灰度图像进行处理，可将由于周围环境灰尘以及电子元件支撑体的特性产生的噪声滤除，但在去噪过程中，焊点轮廓也会被不同程度的弱化，而这是焊接质量检测的重要特征，为此，还需要对去噪图像进行锐化处理。

S63、采用拉普拉斯算子对去噪图像边缘部分进行锐化处理，得到焊点轮廓与支撑体层次分明的预处理后图像。

经过去噪处理后使得待检测图像较原来更为模糊，不便于后续提取焊接特征，因此，需要采用拉普拉斯算子对去噪图像边缘部分、焊接区域形态和灰度跳变部分进行锐化，得到焊点轮廓与支撑体层次分明的预处理后图像。

通过对焊接件图像进行一系列的预处理，得到既没有丢失焊点轮廓，又增强了电子元件与支撑体的对比度，从而为后续电子元件焊接质量检测奠定了数据基础。

S7、根据分割阈值从预处理后图像中提取待检测焊点形态线，并计算待检测焊点形态线与预置标准焊点形态线之间的形态差异值X。

本实施例中，通过将预处理后图像分为前景和背景两大类，再通过全局搜索计算两部分的方差值，使得两类间方差值最大的灰度值作为最佳分割阈值，最后根据分割阈值从预处理后图像中提取待检测焊点形态线。

根据计算公式计算待检测焊点形态线与预置标准焊点形态线之间的形态差异值X，其中，形态差异值X的公式如下所示：

其中，表示待检测焊点形态线与标准焊点形态线上的对应第/>个高点的高度差，/>表示待检测焊点形态线与标准焊点形态线上对应高点的数量。

S8、根据形态差异值X与预设检测阈值Tx的比对结果进行二次检测，判断是否存在焊接缺陷；

如果形态差异值X超出预设检测阈值Tx的范围，则判定为不合格产品，否则判定为合格产品。

S9、输出检测结果信息并生成召回电子元件焊接不合格产品的指令。

以便工作人员根据召回指令将焊接不合格的电子产品召回，提高产品合格率，从而更加符合现代企业的实际生产需求。

请参照图5，本实施例还提供一种用于实现上述电子元件焊接的检测方法的***，包括：

图像获取模块101，用于获取由图像采集设备所采集的标准焊接图像和待检测电子元件焊接件的待检测焊接图像，其中，标准焊接图像指的是焊接质量合格且仅包含电子元件及其焊接区域的图像；

第一计算模块102，用于计算标准焊接图像与待检测焊接图像的匹配系数r以及差值区域面积Sc；

初步检测模块103，用于根据预设的匹配系数阈值Tr和差值面积阈值Ts对待检测电子元件焊接产品进行初步检测；

待检测焊接区域定位模块104，用于根据图像的不变矩特征对待检测焊接图像的多张不同分辨率的特征图像进行逐层搜索对比，得到与标准焊接图像精准匹配的待检测焊接区域；

待检测目标图像确定模块105，用于根据待检测焊接区域对待检测焊接图像进行图像分割，得到待检测目标图像；

图像预处理模块106，用于对待检测目标图像进行预处理，得到焊点轮廓与电子元件支撑体层次分明的预处理后图像；

第二计算模块107，用于根据分割阈值从预处理后图像中提取待检测焊点形态线，并计算待检测焊点形态线与预置标准焊点形态线之间的形态差异值X；

二次检测模块108，用于根据形态差异值X与预设检测阈值Tx的比对结果进行对待检测焊接产品二次检测，判断是否存在焊接缺陷；

检测结果输出模块109，用于输出检测结果信息并生成召回电子元件焊接不合格产品的指令。

通过本实施例，首先根据电子元件的焊接缺陷类别，将获取的待检测焊接图像与标准焊接图像进行粗配准及差分运算，并结合预设阈值判断待检测焊接产品是否具有缺焊缺陷，筛选出具有明显焊接缺陷的产品，然后，通过采用改进的卷积神经网络从待检测焊接图像中提取多张不同分辨率的特征图像，使用逐层搜索策略定位出与标准焊接图像相匹配的待检测焊接区域，再根据定位出的待检测焊接区域对待检测焊接图像进行分割以获得待检测目标图像，能够减少后续图像处理的计算量，提高了***的检测效率，最后，对待检测目标图像进行预处理并根据形态差异值进行二次检测，大大提高了电子元件焊接质量检测效率，还降低了硬件成本。

实施例二

本实施例所提供的实施方式是在实施例一的基础上做出的，相同部分能够解决相同的技术问题，并且具有相同的有益效果，相互参见即可，在本实施例中将不再展开详细赘述。

请参照图6-图8，示出了本实施例的一种具体实施方式，本实施例通过从采集的低分辨率待检测焊接图像中提取多张不同分辨率的特征图像，并对不同分辨率的特征图像进行融合重建得到高分辨率图像，实现了在不增加检测成本的前提下，提高电子元件焊接质量检测准确性的目的。

如图6所示，一种电子元件焊接的检测方法，包括以下步骤：

S1、获取由图像采集设备所采集的标准焊接图像和待检测电子元件焊接件的待检测焊接图像，其中，标准焊接图像指的是焊接质量合格且仅包含电子元件及其焊接区域的图像。

S2、计算标准焊接图像与待检测焊接图像的匹配系数r以及差值区域面积Sc。

S3、根据预设的匹配系数阈值Tr和差值面积阈值Ts对待检测电子元件焊接产品进行初步检测；

如果|r|＜Tr且|Sc|＜Ts，则判定为不合格产品并结束本次检测，否则，执行步骤S4。

S4、根据图像的不变矩特征对待检测焊接图像的多张不同分辨率的特征图像进行逐层搜索对比，得到与标准焊接图像精准匹配的待检测焊接区域。

S51、采用多尺度特征融合策略对多张不同分辨率的特征图像进行融合重建以获得高分辨率图像。

如图7所示，本实施例中，所涉及的改进的卷积神经神经网络包括一个输入层、十个卷积层和下采样层、一个全连接层以及一个输出层。首先，待检测焊接图像经输入层引入改进的卷积神经网络，经过第一至第三个卷积层进行卷积下采样操作产生四张特征图，每张特征图经三种不同频段的通路分别提取图像中高频、中频和低频特征信息，得到四张不同分辨率的特征图像，其中，高频段通路部分用了三个卷积层，中频段通路部分用了两个卷积层，且高频段和中频段所用卷积层的卷积核均为3×3，低频段通路部分用了一个卷积核为5×5的卷积层；然后，采用多尺度图像搜索与融合单元（图8所示）对提取的多张不同分辨率的特征图像进行逐层搜索，精准定位出待检测焊接图像的待检测焊接区域后，再采用非线性映射方式对多张不同分辨率的特征图像进行融合重建以获得高分辨率图像。

下面将结合图8多尺度图像搜索与融合的结构示意图对融合重建高分辨率图像的具体过程作进一步说明：

第一步，对一级特征图像采用最大池化下采样并经过1×1卷积核计算；

第二步，对二级特征图经过1×1卷积核以减少通道维度简化计算后，提取其特征并进行横向链接操作；

第三步，将第一步和第二步得到的特征图进行融合并将融合结果进行线性插值两倍上采样操作；

第四步，将第一步至第三步得到的三个不同分辨率尺寸相同的特征图进行融合以增强特征图像的语义信息，并对融合结果经3×3卷积核计算，以消除多次融合产生的混叠效应；

第五步，重复第一步至第四步，直至完成特征提取，获得高分辨率图像。

需要说明的是，图8中一级至四级不同分辨率的特征图像在Resnet101神经网络中分别对应Conv1至Conv4_x，有效利用不同分辨率图像所提取的语义信息生成最终的高分辨率图像，提高了焊接质量检测结果的准确性，从而降低了误判率。

S52、根据待检测焊接区域对高分辨率图像进行分割，得到仅包含焊接区域的待检测目标图像。

在获得高分辨率图像后，根据待检测焊接区域和分割阈值对融合后高分辨率图像进行分割，得到仅包含焊接区域的待检测目标图像，达到了在不增加检测成本的前提下，提高电子元件焊接质量检测准确性的目的。

S6、对待检测目标图像进行预处理，得到焊点轮廓与电子元件支撑体层次分明的预处理后图像。

S7、根据分割阈值从预处理后图像中提取待检测焊点形态线，并计算待检测焊点形态线与预置标准焊点形态线之间的形态差异值X；

S8、根据形态差异值X与预设检测阈值Tx的比对结果进行二次检测，判断是否存在焊接缺陷；

如果形态差异值X超出预设检测阈值Tx的范围，则判定为不合格产品，否则判定为合格产品。

S9、输出检测结果信息并生成召回电子元件焊接不合格产品的指令。

请参照图9，本实施例还提供一种用于实现上述电子元件焊接的检测方法的***，包括：

图像获取模块101，用于获取由图像采集设备所采集的标准焊接图像和待检测电子元件焊接件的待检测焊接图像，其中，标准焊接图像指的是焊接质量合格且仅包含电子元件及其焊接区域的图像；

第一计算模块102，用于根据计算公式计算标准焊接图像与待检测焊接图像的匹配系数r以及差值区域面积Sc；

初步检测模块103，用于根据预设的匹配系数阈值Tr和差值面积阈值Ts对待检测电子元件焊接产品进行初步检测；

待检测焊接区域定位模块104，用于根据图像的不变矩特征对待检测焊接图像的多张不同分辨率的特征图像进行逐层搜索对比，得到与标准焊接图像精准匹配的待检测焊接区域；

高分辨率图像融合模块110，用于采用多尺度特征融合策略对多张不同分辨率的特征图像进行融合重建以获得高分辨率图像；

待检测目标图像确定模块105，用于根据待检测焊接区域对高分辨率图像进行图像分割，得到待检测目标图像；

图像预处理模块106，用于对待检测目标图像进行预处理，得到焊点轮廓与电子元件支撑体层次分明的预处理后图像；

第二计算模块107，用于根据分割阈值从预处理后图像中提取待检测焊点形态线，并计算待检测焊点形态线与预置标准焊点形态线之间的形态差异值X；

二次检测模块108，用于根据形态差异值X与预设检测阈值Tx的比对结果进行二次检测，判断是否存在焊接缺陷；

检测结果输出模块109，用于输出检测结果信息并生成召回电子元件焊接不合格产品的指令。

通过本实施例，通过采用改进的卷积神经网络从待检测焊接图像中提取多张不同分辨率的特征图像，使用逐层搜索策略定位出与标准焊接图像相匹配的待检测焊接区域后，通过采用多尺度特征融合策略对多张不同分辨率的特征图像进行特征融合重建以获得高分辨率图像，并根据待检测焊接区域对融合重建的高分辨率图像进行分割，得到仅包含焊接区域的待检测目标图像，达到了在不增加检测成本的前提下，提高电子元件焊接质量检测效率和准确性的目的。

本实施例还提供了一种计算机设备，下面将结合图10对计算机设备的内部结构进行说明，该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。

处理器是计算机设备的控制中心，利用各种接口和线路连接整个设备的各个部分，并通过运行或执行存储在存储器内的计算机可读指令和/或模块，以及调用存储在存储器内的数据，实现计算机设备的各种功能；可以是中央处理单元CPU，还可以是其它通用处理器、数字信号处理器DSP、专用集成电路ASIC、现成可编程门阵列FPGA或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等；其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器用于存储计算机可读指令和/或模块，主要包括存储介质和内存储器，存储介质可以是非易失性存储介质，也可以是易失性存储介质，存储介质存储有操作***，还可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器实现电子元件焊接的检测方法。例如，图1和图6所示的步骤S1至步骤S9及该方法的其它扩展和相关步骤的延伸。或者，处理器执行计算机可读指令时实现上述实施例中电子元件焊接的检测***的各模块/单元的功能，如图5所示模块101至模块109的功能，为避免重复，这里不再赘述。

网络接口用于与外部服务器通过网络连接通信；显示屏可以是液晶显示屏或者电子墨水显示屏；输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

需要说明的是，存储器可以集成在处理器中，也可以与处理器分开设置，图10中示出的结构，仅仅是与本申请方案相关的部分结构的示意框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者采用不同的部件布置。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。通过以上实施方式的描述，本领域的普通技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种电子元件焊接的检测方法，其特征在于，包括以下步骤：

S1、获取由图像采集设备所采集的标准焊接图像和待检测电子元件焊接件的待检测焊接图像，其中，所述标准焊接图像指的是焊接质量合格且仅包含电子元件及其焊接区域的图像；

S2、计算所述标准焊接图像与待检测焊接图像的匹配系数r以及差值区域面积Sc；

S3、根据预设的匹配系数阈值Tr和差值面积阈值Ts对待检测电子元件焊接产品进行初步检测；

如果|r|＜Tr且|Sc|＜Ts，则判定为不合格产品并结束本次检测，否则，执行步骤S4；

S4、根据图像的不变矩特征对所述待检测焊接图像的多张不同分辨率的特征图像进行逐层搜索对比，得到与所述标准焊接图像精准匹配的待检测焊接区域；所述步骤S4具体包括以下步骤：

S41、将所述待检测焊接图像输入改进的卷积神经网络采用不同大小的卷积核进行卷积下采样操作，获得多张不同分辨率的特征图像；

S42、将多张不同分辨率的所述特征图像组成金字塔形状，且层级越高所述特征图像的分辨率越低；

S43、根据所述标准焊接图像的焊点区域在顶层低分辨率的所述特征图像上进行穷尽对比，得到粗定位区域；

S44、按照从上至下的顺序逐层对所述特征图像进行搜索且仅搜索位于上一层所述粗定位区域附近的位置，直至最底层以获得与标准焊接图像精准匹配的待检测焊接区域；

S5、根据所述待检测焊接区域对所述待检测焊接图像进行图像分割，得到待检测目标图像；

S6、对所述待检测目标图像进行预处理，得到焊点轮廓与电子元件支撑体层次分明的预处理后图像；

S7、根据分割阈值从所述预处理后图像中提取待检测焊点形态线，并计算所述待检测焊点形态线与预置标准焊点形态线之间的形态差异值X；在步骤S7中，计算形态差异值X的公式如下所示：

；

其中，表示待检测焊点形态线与标准焊点形态线上的对应第/>个高点的高度差，/>表示待检测焊点形态线与标准焊点形态线上对应高点的数量；

S8、根据所述形态差异值X与预设检测阈值Tx的比对结果进行二次检测，判断是否存在焊接缺陷；

如果所述形态差异值X超出预设检测阈值Tx的范围，则判定为不合格产品，否则判定为合格产品。

2.根据权利要求1所述的电子元件焊接的检测方法，其特征在于，所述步骤S2具体包括以下步骤：

S21、将所述标准焊接图像在所述待检测焊接图像中移动，并计算两者之间的匹配系数r；

S22、所述匹配系数最大值出现的位置视为所述标准焊接图像与待检测焊接图像完成粗配准；

S23、对粗配准后的所述标准焊接图像与待检测焊接图像进行二值化处理，并进行差分运算以获得差值区域面积Sc。

3.根据权利要求1所述的电子元件焊接的检测方法，其特征在于，所述步骤S6具体包括以下步骤：

S61、对所述待检测目标图像进行灰度化处理，得到灰度图像；

S62、采用非局部均值滤波对灰度图像进行去噪处理，得到去噪图像；

S63、采用拉普拉斯算子对去噪图像边缘部分进行锐化处理，得到焊点轮廓与支撑体层次分明的预处理后图像。

4.根据权利要求1所述的电子元件焊接的检测方法，其特征在于，所述步骤S5设置为：

采用多尺度特征融合策略对多张不同分辨率的特征图像进行融合重建以获得高分辨率图像，并根据待检测焊接区域对所述高分辨率图像进行分割，得到仅包含焊接区域的待检测目标图像。

5.根据权利要求1所述的电子元件焊接的检测方法，其特征在于，所述步骤S8之后还包括：

S9、输出检测结果信息并生成召回电子元件焊接不合格产品的指令。

6.一种用于实现上述权利要求1-5任一项所述的电子元件焊接的检测方法的***，其特征在于，包括：

图像获取模块（101），所述图像获取模块（101）用于获取由图像采集设备所采集的标准焊接图像和待检测电子元件焊接件的待检测焊接图像，其中，所述标准焊接图像指的是焊接质量合格且仅包含电子元件及其焊接区域的图像；

第一计算模块（102），所述第一计算模块（102）用于计算所述标准焊接图像与待检测焊接图像的匹配系数r以及差值区域面积Sc；

初步检测模块（103），所述初步检测模块（103）用于根据预设的匹配系数阈值Tr和差值面积阈值Ts对待检测电子元件焊接产品进行初步检测；

待检测焊接区域定位模块（104），所述待检测焊接区域定位模块（104）用于根据图像的不变矩特征对所述待检测焊接图像的多张不同分辨率的特征图像进行逐层搜索对比，得到与所述标准焊接图像精准匹配的待检测焊接区域；

待检测目标图像确定模块（105），所述待检测目标图像确定模块（105）用于根据所述待检测焊接区域对所述待检测焊接图像进行图像分割，得到待检测目标图像；

图像预处理模块（106），所述图像预处理模块（106）用于对所述待检测目标图像进行预处理，得到焊点轮廓与电子元件支撑体层次分明的预处理后图像；

第二计算模块（107），所述第二计算模块（107）用于根据分割阈值从所述预处理后图像中提取待检测焊点形态线，并计算所述待检测焊点形态线与预置标准焊点形态线之间的形态差异值X；

二次检测模块（108），所述二次检测模块（108）用于根据所述形态差异值X与预设检测阈值Tx的比对结果进行二次检测，判断是否存在焊接缺陷。

7.根据权利要求6所述的***，其特征在于，还包括：

检测结果输出模块（109），所述检测结果输出模块（109）用于输出检测结果信息并生成召回电子元件焊接不合格产品的指令；

高分辨率图像融合模块（110），所述高分辨率图像融合模块（110）用于采用多尺度特征融合策略对多张不同分辨率的特征图像进行融合重建以获得高分辨率图像。

8.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5任一项所述的电子元件焊接的检测方法。