CN111862223B - 一种电子元件的视觉计数及定位方法 - Google Patents

Abstract

本发明公开了一种电子元件的视觉计数及定位方法，包含以下步骤：1、选取部分图像，标注电子元件重心并制作训练图像集；2、搭建神经网络模型，使用训练图像集训练并保存神经网络模型；3、对一张训练图像集之外的图像，首先经过预处理，检测并裁剪掉黑边；检测电子元件所在区域***圆与内围圆；将***圆最小外接正方形区域裁剪成图像集合；之后依次输入神经网络模型得到密度图矩阵集合；最后经过后处理，密度图矩阵合并；计算合并后密度图矩阵***圆与内围圆之间的联通区域，得到电子元件图像中电子元件的计数与定位结果。本发明方法能够解决电子元件尺寸与形状差异过大以及部分电子元件之间粘连过大影响计数准确率的问题。

Description

一种电子元件的视觉计数及定位方法

技术领域

本发明属于计算机视觉的应用领域，具体提出了一种电子元件的视觉计数及定位方法。

背景技术

随着电子信息行业的高速发展，形形色色的电子产品出现在人们的视野中。电子产品大多使用电路板控制，而电路板则离不开各种电容、电阻、电感等电子元件。其生产技术主要采用高速表面贴装技术，在此过程中，电容、电阻等电子元件使用率极高，因此SMT生产企业对电子元器件等物料的更新统计要求极高。

传统对电子元件的计数大多采用称重或者人工计数的方式，这不仅效率低下并且需要投入大量的人力物力。同时已有的对X-Ray点料机得到图像中的电子元件计数及定位大多采用传统的图像处理方法，这种方法依赖于超参数的设置，对于不同的电子元件需要不同的超参数，计数方法具有较低的鲁棒性。并且随着近年来深度学习的飞速发展，检测、分类等视觉任务可以具有相对于传统方法更高的准确性与鲁棒性。

发明内容

本发明的目的在于针对现有基于传统图像处理技术的电子元件计数及定位方法存在的不足，提出了一种电子元件的视觉计数及定位方法，该方法能够解决电子元件尺寸与形状差异过大以及部分电子元件之间粘连过大影响计数准确率的问题，使用一个模型一套参数完成电子元件计数任务，该方法具有极高的准确性与鲁棒性。

为了达到上述目的，本发明采用如下技术方案：

一种电子元件的视觉计数及定位方法，包括如下步骤：

步骤A：在获取X-Ray点料机拍摄的电子元件图像后，选取部分图像随机裁剪为尺寸相同的图像，每张图像中包含多个电子元件，以像素点坐标标注出每张图像中所有电子元件的重心点位置，已标注的图像组成训练图像集，其中对于裁剪过程中被分割到多张图像中的电子元件，只在电子元件重心所在图像中进行标注；

步骤B：搭建神经网络模型，使用步骤A得到的训练图像集训练神经网络模型，得到适用于电子元件计数任务的神经网络模型；

步骤C：在对一张训练图像集之外的电子元件图像中的电子元件进行计数与定位时，首先经过预处理得图像集合，之后将图像集合中的图像依次输入步骤B中得到的适用于电子元件计数任务的神经网络模型，依次输出密度图矩阵得到密度图矩阵集合，最后经过后处理得到电子元件图像中电子元件的计数与定位结果。

所述步骤B的具体步骤如下：

步骤B01：神经网络模型选取编码-解码型结构；编码部分使用卷积层+池化层结构学习元件特征，其中卷积层使用多种卷积核进行通道融合以便于学习不同尺寸电子元件的特征；解码部分使用反卷积层+卷积层结构，其中部分卷积层使用多种卷积核进行通道融合以便于在解码过程中满足不同尺寸电子元件所需的感受野要求；神经网络模型输出为与神经网络模型输入尺寸相同的密度图矩阵；

步骤B02：对于标注了所有电子元件重心点坐标的训练图像集，使用训练图像集中图像训练神经网络模型，得到适合电子元件计数任务的神经网络模型。

所述步骤C的具体步骤如下：

步骤C01:输入神经网络模型前对电子元件图像A进行预处理，预处理步骤如下：对于电子元件图像A，从上下左右四个角度进行遍历搜索，检测并删除掉黑边部分得到电子元件图像B；将电子元件图像B的尺寸乘以缩放比例，输入神经网络模型，输出神经网络模型第一层卷积后第一通道的特征图，将其尺寸除以缩放比例，得到与电子元件图像B相同尺寸的特征图，对特征图使用二值化、形态学操作以及外边缘提取得到电子元件图像B所有电子元件所在区域的***圆，使用***圆圆心，遍历半径并微调圆心得到电子元件图像B所有电子元件所在区域的内围圆；取电子元件图像B***圆的最小外接正方形，将其向四周各扩展p个像素并裁剪其所在区域，得到电子元件图像C，电子元件图像C包含电子元件图像A中需要计数的所有电子元件；将电子元件图像C平均分为N个大小为s*s的区域，其中N＝n*n,n＝L/s，L为电子元件图像C的尺寸长度，并将每个区域向上下左右各扩展p个像素，将扩展后区域依次裁剪，得到电子元件图像集合D，其中D＝{D1,D2,...,DN}，且电子元件图像集合D中所有图像大小均为(s+2p)*(s+2p)；

步骤C02:将电子元件图像集合D中图像依次输入神经网络模型，依次输出密度图矩阵得到密度图矩阵集合E，其中E＝{E1,E2,...,EN}；

步骤C03：将密度图矩阵集合E经过后处理，后处理步骤如下：裁剪掉矩阵边缘并取相邻矩阵重合部分数值的平均值合并得到步骤C01中所述电子元件图像C对应的密度图矩阵；计算密度图矩阵对应于电子元件图像C***圆与内围圆之间区域的联通区域，得到联通区域重心点坐标；将联通区域重心点坐标转换为在电子元件图像A中的坐标，联通区域个数与重心点坐标即为电子元件图像A中电子元件的计数与定位结果。

与现有技术相比，本发明具有以下优点：

第一，本发明使用深度学习方法，直接得到图像中电子元件计数结果与位置坐标，神经网络模型及其参数适用于训练图像集中所有电子元件以及与其形状、尺寸相似的元件，神经网络模型具有较好的鲁棒性，不需要针对不同的电子元件调整不同的参数；

第二，本发明对于主网络前的图像预处理，同样使用主网络浅层特征图分离出图像中电子元件元件前景与后景，从而得到***圆与内围圆，并裁剪得到可以使用主网络推理的图像集合，没有引入额外的超参数，并且适用于所有输入原始图像；

第三，本发明基于标注重心点的密度图方法，对于图像中粘连严重的电子元件，能够极准确地计数；

第四，本发明对一张4080*4080的电子元件图像进行计数只需要15秒，并且计数准确率极高，对80种元件，在同一模型、同一参数下，平均计数准确率可达到99％。

附图说明

图1是本发明方法的整体流程图。

图2(a)为较小的电子元件计数任务的输入原始图像，图2(b)为较大的电子元件计数任务的输入原始图像，图2(c)为粘连较为严重的电子元件计数任务的输入原始图像。

图3是神经网络模型的网络结构。

图4是使用网络浅层特征图获取***圆与内围圆的过程示意图。

图5(a)为将***圆最小外接正方形所在区域裁剪过程中向四周扩展的示意图，图5(b)为裁剪得到的图像集合。

图6(a)神经网络模型输入图像，图6(b)是神经网络模型输出密度图矩阵的可视化热图。

图7是将图像集合的密度图矩阵集合合并过程的示意图。

图8(a)为较小电子元件的计数结果图，图8(b)为较大电子元件的计数结果图，图8(c)为粘连较为严重的电子元件的计数结果图。

具体实施方式

下面结合附图详细介绍本发明各步骤中的具体细节。

本发明提出了一种电子元件的视觉计数及定位方法，该方法的整个流程如图1所示。

该方法主要包括以下步骤：

步骤A：在获取X-Ray点料机拍摄的电子元件图像后，选取部分图像随机裁剪为尺寸相同的图像，如图2(a)为较小的电子元件，如图2(b)为较大的电子元件，如图2(c)为粘连较为严重的电子，元件每张图像中包含多个电子元件，以像素点坐标标注出每张图像中所有电子元件的重心点位置，已标注的图像组成训练图像集，其中对于裁剪过程中被分割到多张图像中的电子元件，只在电子元件重心所在图像中进行标注。

步骤B：搭建神经网络模型，使用步骤A得到的训练图像集训练神经网络模型，得到适用于电子元件计数任务的神经网络模型；

所述步骤B的具体步骤如下：

步骤B01：如图3显示了神经网络模型结构，选取回归问题中典型的编码-解码型结构，由于电子元件存在尺寸与形状差异较大的特点，所以神经网络模型应满足这种数据分布特点；编码部分如图中编码虚线框所示，使用四层卷积层+池化层结构学习元件特征，其中卷积层使用1*1、3*3、5*5、7*7四种卷积核进行通道融合以便于学习不同尺寸电子元件的特征，第四层卷积层后没有池化层，编码部分输出特征图尺寸为输入图像尺寸的八分之一；解码部分使用三层反卷积层+卷积层结构，其中第一层卷积层使用9*9大小卷积核，第二层与第三层卷积层使用3*3、5*5、7*7、9*9四种卷积核进行通道融合以便于在解码过程中满足不同尺寸电子元件所需的感受野要求，之后使用一层卷积核大小为3*3与一层卷积核大小为1*1的卷积层，解码部分输出为与输入图像尺寸相同的密度图矩阵。

步骤B02：对于标注了所有电子元件重心点坐标的训练图像集，使用训练图像集中图像训练神经网络模型，得到适合电子元件计数任务的神经网络模型。

步骤C：在对一张训练图像集之外的电子元件图像中的电子元件进行计数与定位时，首先经过预处理得图像集合，之后将图像集合中的图像依次输入步骤B中得到的适用于电子元件计数任务的神经网络模型，依次输出密度图矩阵得到密度图矩阵集合，最后经过后处理得到电子元件图像中电子元件的计数与定位结果。

所述步骤C的具体步骤如下：

步骤C01:考虑到实际应用中的GPU显存上限与模型的推理时间，不能将电子元件图像直接输入神经网络模型，应在输入神经网络模型前对电子元件图像进行预处理，预处理步骤如下：

(1)对于电子元件图像A，从上下左右四个角度进行遍历搜索，检测图像是否存在黑边，如果存在黑边则删除掉黑边部分得到电子元件图像B；

(2)如图4所示，将电子元件图像B的尺寸乘以缩放比例得到电子元件图像B1，将电子元件图像B1输入神经网络模型，输出神经网络模型第一层卷积后第一通道的特征图，将其尺寸除以缩放比例，得到与电子元件图像B相同尺寸的特征图B2，由于卷积神经网络浅层倾向于学习颜色特征，因此第一层卷积后特征图能较好区别出图像的前景与背景，对特征图B2的第一通道使用固定阈值进行二值化并使用形态学操作得到二值图B3，对二值图B3进行外边缘提取并得到外边缘的最小外接圆，即为电子元件图像B所有电子元件所在区域的***圆，使用***圆圆心，遍历半径并微调圆心得到电子元件图像B所有电子元件所在区域的内围圆；

(3)取电子元件图像B***圆的最小外接正方形，将最小外接正方形向四周各扩展p个像素，裁剪该区域得到电子元件图像C，如图5(a)所示，最***虚线边框所在区域为电子元件图像C，中间实线边框即为最小外接正方形；将实线边框所在区域平均分为N个大小为s*s的区域，其中N＝n*n，n＝L/s，L为电子元件图像C的尺寸长度，并将每个小区域向上下左右各扩展p个像素，将扩展后区域依次裁剪，得到电子元件图像集合D，其中D＝{D1,D2,...,DN}，且电子元件图像集合D中所有图像大小均为(s+2p)*(s+2p)，如图5(b)为裁剪得到的图像集合。

步骤C02:将电子元件图像集合D中图像依次输入神经网络模型，推理得到密度图矩阵集合E，其中E＝{E1,E2,...,EN},如图6(a)所示为输入图像，图6(b)为神经网络模型输出密度图矩阵的可视化热图.

步骤C03：将密度图矩阵集合E经过后处理，得到原始电子元件图像A中所有元件计数，以及所有元件重心所在位置坐标，后处理步骤如下：

(1)将密度图矩阵集合E中所有矩阵以中心为参照点裁剪为大小为(s+2t)*(s+2t)的矩阵，得到矩阵集合F，其中F＝{F1,F2,...,FN}；将矩阵集合F按电子元件图像C划分的s*s区域进行合并，如图7所示，对于相邻矩阵重合部分即图中黑色区域，数值取两部分数值的平均值，对于四周多于ns*ns部分则裁剪掉，最终得到密度图矩阵G，G的大小为ns*ns，与步骤C01中所述的图像C一致；预处理裁剪时的扩展，与后处理合并时重合部分的设计，可以减少被裁剪为半个的电子元件在计数时误检或漏检所导致的误差。

(2)对于电子元件图像C对应的密度图矩阵G，计算其对应于电子元件图像C***圆与内围圆之间区域的联通区域，其中联通区域个数为电子元件图像C中所有电子元件的总体计数，联通区域重心点坐标为所有电子元件重心点在电子元件图像C中的位置坐标.

(3)将电子元件图像C中所有电子元件重心点坐标以及***圆与内围圆圆心坐标转换为在原始电子元件图像A中的坐标，标记出电子元件重心位置，并绘制出***圆与内围圆，最后将计数结果绘制在内围圆内空白区域中。输出结果如图8(a)、图8(b)和图8(c)所示，其中图8(a)为较小电子元件的计数结果，图8(b)为较大的电子元件的计数结果，图8(c)为粘连较为严重的电子元件的计数结果。本发明对于从最小都最大，以及粘连较为严重的电子元件均能达到极高的准确率。

Claims (2)

1.一种电子元件的视觉计数及定位方法，其特征在于：包括如下步骤：

步骤A：在获取X-Ray点料机拍摄的电子元件图像后，选取部分图像随机裁剪为尺寸相同的图像，每张图像中包含多个电子元件，以像素点坐标标注出每张图像中所有电子元件的重心点位置，已标注的图像组成训练图像集，其中对于裁剪过程中被分割到多张图像中的电子元件，只在电子元件重心所在图像中进行标注；

步骤B：搭建神经网络模型，使用步骤A得到的训练图像集训练神经网络模型，得到适用于电子元件计数任务的神经网络模型；

步骤C：在对一张训练图像集之外的电子元件图像中的电子元件进行计数与定位时，首先经过预处理得图像集合，之后将图像集合中的图像依次输入步骤B中得到的适用于电子元件计数任务的神经网络模型，依次输出密度图矩阵得到密度图矩阵集合，最后经过后处理得到电子元件图像中电子元件的计数与定位结果；

所述步骤C的具体步骤如下：

步骤C01:输入神经网络模型前对电子元件图像A进行预处理，预处理步骤如下：对于电子元件图像A，从上下左右四个角度进行遍历搜索，检测并删除掉黑边部分得到电子元件图像B；将电子元件图像B的尺寸乘以缩放比例，输入神经网络模型，输出神经网络模型第一层卷积后第一通道的特征图，将其尺寸除以缩放比例，得到与电子元件图像B相同尺寸的特征图，对特征图使用二值化、形态学操作以及外边缘提取得到电子元件图像B所有电子元件所在区域的***圆，使用***圆圆心，遍历半径并微调圆心得到电子元件图像B所有电子元件所在区域的内围圆；取电子元件图像B***圆的最小外接正方形，将其向四周各扩展p个像素并裁剪其所在区域，得到电子元件图像C，电子元件图像C包含电子元件图像A中需要计数的所有电子元件；将电子元件图像C平均分为N个大小为s*s的区域，其中N＝n*n,n＝L/s，L为电子元件图像C的尺寸长度，并将每个区域向上下左右各扩展p个像素，将扩展后区域依次裁剪，得到电子元件图像集合D，其中D＝{D1,D2,...,DN}，且电子元件图像集合D中所有图像大小均为(s+2p)*(s+2p)；

步骤C02:将电子元件图像集合D中图像依次输入神经网络模型，依次输出密度图矩阵得到密度图矩阵集合E，其中E＝{E1,E2,...,EN}；

步骤C03：将密度图矩阵集合E经过后处理，后处理步骤如下：裁剪掉矩阵边缘并取相邻矩阵重合部分数值的平均值合并得到步骤C01中所述电子元件图像C对应的密度图矩阵；计算密度图矩阵对应于电子元件图像C***圆与内围圆之间区域的联通区域，得到联通区域重心点坐标；将联通区域重心点坐标转换为在电子元件图像A中的坐标，联通区域个数与重心点坐标即为电子元件图像A中电子元件的计数与定位结果。

2.根据权利要求1所述的一种电子元件的视觉计数及定位方法，其特征在于：所述步骤B的具体步骤如下：

步骤B01：神经网络模型选取编码-解码型结构；编码部分使用卷积层+池化层结构学习电子元件特征，其中卷积层使用多种卷积核进行通道融合以便于学习不同尺寸电子元件的特征；解码部分使用反卷积层+卷积层结构，其中部分卷积层使用多种卷积核进行通道融合以便于在解码过程中满足不同尺寸电子元件所需的感受野要求；神经网络模型输出为与神经网络模型输入尺寸相同的密度图矩阵；

步骤B02：对于标注了所有电子元件重心点坐标的训练图像集，使用训练图像集中图像训练神经网络模型，得到适合电子元件计数任务的神经网络模型。

Images