CN110070536A - 一种基于深度学习的pcb板元器件检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的PCB板元器件检测方法，包括：获取大量PCB板图像并对其标注用来对网络进行训练；训练faster‑rcnn来检测元器件位置并切割下来；训练一个简单的卷积网络来判断元器件极性；训练EAST网络来检测元器件图像上文本框的位置并切割出来；训练CRNN网络识别切割出的文本框图像中的文本内容；将极性与文本内容与PCB设计文件比对得出结果。本发明实现了对物体标识符的全自动识别，解决了目前各个检测阶段对接困难的问题。

Description

一种基于深度学习的PCB板元器件检测方法

技术领域

本发明涉及PCB板元器件自动化检测技术领域，具体为一种基于深度学习的PCB板元器件检测方法。

背景技术

PCB即印刷电路板是各种电子设备的重要部件，是电子元器件的支撑体，生活中几乎每一种我们常见的电子设备，比如电子手表、计算器、计算机、电子通讯等都需要用到PCB版。之所以PCB板能得到越来越广泛的发展与它高可靠性和高密度性的特点不可分割，这些特性也决定了它对每个元器件的精确性要求十分高，所以对PCB板进行规模化检测成为了PCB板生产重要流程之一。

近些年，随着PCB上元器件的尺寸变小，种类繁多，纯人工目测的方法在准确率和速度上已经不能满足生产的需要，依靠通电检测和视觉检测的方法不断发展，希望能对PCB板上元器件的的外观、种类、位置、极性、型号等指标实现自动化监测。传统的视觉检测方法大部分依靠工作台、机械臂、CCD镜头等与标准图像进行对比分析，这种方法速度慢且自动化程度不高。随着深度学习的蓬勃发展，更多基于神经网络的目标检测方法成为PCB板检测的热门研究方向，这种办法速度快，精度高，同时可以实现端到端的检测方案，自动化程度也比较高，但是功能相对单一，大多数只对元器件的位置和类别进行检测而缺少一个高度集成的全面自动化检测***，包括对元器件的极性、型号等信息一并检测。

发明内容

本发明的目的是针对现有技术存在的问题，提供一种基于深度学习的PCB板元器件检测方法，该方法可以实现PCB板上错误元器件的高效自动化检测，能将传统的图像处理、目标检测、文本识别算法进行封装统一，提高检测的自动化程度和精确度。

为实现上述目的，本发明采用的技术方案是：

一种基于深度学习的PCB板元器件检测方法，包括：

S1，获取需要检测的PCB数据集并进行预处理；

S2，使用目标检测网络对PCB板上元器件的位置和种类进行识别，并切割出单个元器件的图像；

S3，构建神经网络模型，检测每个元器件图像中元器件的极性；

S4，利用EAST网络检测每个元器件图像中的文本框，利用CRNN网络识别文本框中的文字；

S5，将检测出的元器件的极性及识别出的文字与PCB设计文件进行比对，得到检测结果。

优选地，S1进一步包括：拍摄大量需要被检测的PCB板的样本图像，借助marker的方式对相机进行姿态估计；根据角点坐标进行放射变换和透视变换得到图像矫正，再对图像中的元器件信息进行标注得到需要的PCB数据集。

具体地，拍摄大量需要被检测的PCB板的样本图像，考虑到每个元器件标志符号的方向角度不同，需要架设四个不同方向的相机收集不同方向的图像信息。由于采取的图像角度不利于图像检测和文本识别，所以须进行图像矫正，为了提高矫正精度，可选择借助marker的方式对相机进行姿态估计。

具体地，设置四个在固定位置的marker，通过对图像二值化，利用边缘检测检测marker的轮廓和角点坐标，根据角点坐标进行放射变换和透视变换得到矫正之后的标准图像，对图像中的元器件信息进行标注。

优选地，S2中，所述目标检测网络采用faster-rcnn网络结构。

具体地，用于目标检测的基础网络为残差神经网络resnet-101。相比传统的卷积神经网络如VGG，残差神经网络resnet-101的复杂度降低，需要的参数下降；在构建深层次网络结构时不会出现梯度弥散的问题；同时它也解决了深度学习网络的退化问题，所以对高精度的目标识别效果更好。

具体地，采用faster-rcnn作为目标检测框架，相比于其他如yolo、ssd等检测框架，faster-rcnn检测精度更高但耗时更长，由于本发明应用于产品瑕疵检测，所以对于实时性要求并不高，故faster-rcnn更加适合此场景。

具体地，目标检测可以得到每个元器件的顶点坐标和器件类别名称，之后与标准设计图纸进行比较，当它的类别与设计图纸并不一致时将错误信息反馈给***维护人员进行人工确认。对于设计图纸中有详细坐标信息的元器件，当检测类别正确，可以根据图纸的标准坐标信息进行调整，有利于后续进一步检测。

优选地，S3中，所述神经网络模型采用由五层卷积网络、两层全连接网络及softmax激活函数组成的分类网络。

具体地，在被检测的元器件中，由于PCB板上的一些器件存在正负极性的区分，因此需考虑极性的检测。由于区分极性的特征不够明显，所以在目标检测和标识符文字识别(即文本框文字识别)两个阶段之间单独增加一个判断极性的步骤，并将错误信息反馈给维护人员。极性判断的步骤是一个简单的二分类任务。

优选地，S4中，所述EAST网络具有两个阶段的工作流程，其中，第一阶段使用完全卷积网络模型，直接生成单词或文本行级别预测，第二阶段将生成的单词或文本行级别预测发送到非最大抑制以产生最终结果，这两个阶段实现端到端的训练。

具体地，对于标志符的识别分为文本精确定位(即文本框检测)和文本识别。由于文本是由不连续的字符构成，单纯的目标检测算法不能准确地对文本进行定位，同时为了提高***的自动化程度，考虑文本方向的判别和矫正，采用基于文字检测算法EAST。此算法有两个阶段的工作流程，其中，第一阶段使用完全卷积网络(FCN)模型，该模型直接生成单词或文本行级别预测，排除了冗余和慢速中间步骤；第二阶段将生成的文本预测发送到非最大抑制以产生最终结果，这种网路结构可以实现端到端的训练和优化。

优选地，S4中，所述CRNN网络将图像作为序列输入长短期记忆网络，以处理任意长度的连续文字。

具体地，提取到每个元器件标识符的坐标之后，即确定每个元器件图像的文本框之后，需要对标识符(即，文本框内的文本)进行文本识别。

具体地，选用一种将CNN、RNN、CTC多种网络结构融合的深度神经网络框架CRNN，它具有如下优点：端到端训练、可以处理任意长度的序列，不涉及字符分段或水平垂直标准化、在无词典和基于词典的情景文本认知任务中，可以没有预定义的词、模型更小，更适合实际应用场景，拥有更强的泛化性。

具体地，根据各检测步骤得到最终检测结果，通过检测元器件的种类、极性、型号等信息与标准设计信息比较，错误信息和置信度较低的元器件信息提供给人工检测人员复查。

与现有技术相比，本发明的有益效果是：本发明通过将目标检测和文字检测与识别框架进行接口封装，实现对物体标识符的全自动识别，解决了目前各个检测阶段对接困难的问题；本发明的CRNN网络框架统一了三个组件的损失函数，利用预测标签和真实标签的对数损失来衡量结果的差距,还可以实现端到端的训练。

附图说明

图1为根据实施例的本发明方法的流程示意图；

图2为根据实施例的EAST网络结构示意图；

具体实施方式

下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。

本发明提供一种基于深度学习的PCB板元器件检测方法，包括：

S1，获取需要检测的PCB数据集并进行预处理；

S2，使用目标检测网络对PCB板上元器件的位置和种类进行识别，并切割出单个元器件的图像；

S3，构建神经网络模型，检测每个元器件图像中元器件的极性；

S4，利用EAST网络检测每个元器件图像中的文本框，利用CRNN网络识别文本框中的文字；

S5，将检测出的元器件的极性及识别出的文字与PCB设计文件进行比对，得到检测结果。

实施例

本实施例提供一种基于深度学习的PCB元器件检测方法,，如图1所示，其具体步骤为：

(1)准备数据集：

拍摄大量PCB板的样本图像，考虑到每个元器件标志符号的方向角度不同，需要架设四个不同方向的相机收集不同方向的图像信息。由于采取的图像角度不利于图像检测和文本识别，所以须进行图像矫正，为了提高矫正精度，可选择借助marker的方式对相机进行姿态估计。设置四个在固定位置的marker，通过对图像二值化，利用边缘检测检测marker的轮廓和角点坐标，根据角点坐标进行放射变换和透视变换得到矫正之后的标准图像，使用labelme对图像中的元器件信息进行标注。

标注分为两步：第一步先标注图像上各个元器件的种类和位置，然后将所有元器件从原始图像中切割出来形成大量独立元器件图像；第二步对独立元器件图像上的文字进行标注用来训练文字检测网络。以上两个数据集都需要通过仿射变换(旋转、平移、缩放等)与图像变换(加噪声、色彩偏移、高斯模糊、锐化等)对采集数据进行扩充，并分别设计训练集，验证集与测试集。一般将样本分成独立的三部分训练集(train set)，验证集(validation set)和测试集(test set)。对原始数据进行三个集合的划分，是为了能够选出效果最好的、泛化能力最佳的模型。

对原始数据进行三个数据集的划分，也是为了防止模型过拟合。当使用了所有的原始数据去训练模型，得到的结果很可能是该模型最大程度地拟合了原始数据，亦即该模型是为了拟合所有原始数据而存在。但换了其它数据集测试这个模型效果可能就没那么好了。当新的样本出现，再使用该模型进行预测，效果可能还不如只使用一部分数据训练的模型。

一个典型的划分是训练集占总样本的50％，而其它各占25％，三部分都是从样本中随机抽取。对于样本数量较小的情况通常使用留少部分做测试集。然后对其余N个样本采用K折交叉验证法。即，将样本打乱，然后均匀分成K份，轮流选择其中K－1份训练，剩余的一份做验证，计算预测误差平方和，最后把K次的预测误差平方和再做平均作为选择最优模型结构的依据。特别的K取N，就是留一法(leave one out)。

(2)利用目标检测算法，检测PCB版上所有元器件的位置坐标和器件名称，并与标准设计图进行校对给出错误信息：

用于目标检测的基础网络为残差神经网络resnet-101，相比传统的卷积神经网络如VGG，它的复杂度降低，需要的参数下降；在构建深层次网络结构时不会出现梯度弥散的问题；同时它解决了深度学习网络的退化问题，所以对高精度的目标识别效果更好。本实施例中，目标检测框架采用了faster-rcnn，相比于其他如yolo、ssd等检测框架，faster-rcnn检测精度更高但耗时更长，由于本实施例应用于产品瑕疵检测，所以对于实时性要求并不高，faster-rcnn更加适合此场景。

框架介绍：一张包含多个RoI(regions of interest)的图片输入一个多层的全连接网络中，获得特征图，然后每一个RoI被池化成一个固定大小的特征图，之后被全连接层拉伸成一个特征向量。对于每一个RoI，经过全连接层后得到的特征向量最终被分享：一个进行全连接之后用来做softmax回归，用来对RoI区域做物体识别，另一个经过全连接之后用来做b-box regression做修正定位，使得定位框更加精准。根据定位框将元器件从原始图像分割出来送入后面的网络加以判断。

(3)构建神经网络模型，检测每个元器件的极性：

极性判断可以归为多分类问题。可以通过几层卷积池化最后加入全连接层解决。

第一层输入数据为原始的227*227*3的图像，这个图像被96个11*11*3的卷积核进行卷积运算。生成55*55*96的特征图个像素形成对原始图像卷积之后的像素层。这些像素层经过relu单元的处理，生成激活像素层，尺寸仍为55*55*96的像素层数据。这些像素层经过pool运算(池化运算)的处理，池化运算的尺度为3*3，步长为2，则池化后图像的尺寸为(55-3)/2+1＝27。即池化后像素的规模为27*27*96；然后经过归一化处理，归一化运算的尺度为5*5；第一卷积层运算结束后形成的像素层的规模为27*27*96。分别对应96个卷积核所运算形成。

第二层输入为27*27*96的特征图，使用256个5*5*96的卷积核运算并使用0填充保持特征图尺寸生成27*27*256的特征图，这些像素层经过relu单元的处理，生成激活像素层，尺寸仍为27*27*256的特征图。在经过3*3，步长为2的pool运算得到13*13*256的特征图。

第三层使用384个3*3*256的卷积核对上层输出进行卷积运算，使用0填充保持图像尺寸生成13*13*384的特征图经过relu生成激活像素层。第四层与第三层相同。

第五层在第三层的基础上加入pool层生成6*6*512的特征图，准备输入到全连接层。

第六层和第七层为全连接层，尺寸分别为4096*4096和4096*极性方向数。训练过程中在全连接层加入dropot操作防止过拟合。

最后接softmax激活函数来输出分类概率，取最大值即可得到输入图像的方向。

(4)针对每个元器件，确定每个元器件上标志符文字的精确位置：

本发明采用基于文字检测算法EAST，此算法有两个阶段的工作流程，如图2所示。该流程第一阶段使用完全卷积网络(FCN)模型，该模型直接生成单词或文本行级别预测，排除了冗余和慢速中间步骤。第二阶段将生成的文本预测发送到非最大抑制以产生最终结果，这种网络结构可以实现端到端的训练和优化。

由于字区域的大小变化较大，因此确定大字的位置时需要来自神经网络靠后的特征，而预测包含小字的区域时需要早期阶段的特征信息。所以这里使用类似于U-net的结构实现逐步地融合各个级别的特征，以实现了多尺度特征的利用同时不增加太多的计算负担。这样全卷积网络可大致分为三各部分：特征提取主干网络、特征融合分支和输出层。

特征提取主干网络可以使用在ImageNet上与训练过的PVANet、VGG16等经典的骨干网络，通过去除全连接层保留卷积结果实现特征提取。

特征融合分支实际上是一个上采样过程，从主干网络的最后一层开始通过unpool层将特征图尺寸扩大两倍同时减小特征图通道数，再与骨干网络的上一层特征图串联，然后经过两层卷积送入下一层的unpool重复上述操作，最终通过几个1*1的卷积得到与原始图像等大小的文字区域几何预测图和与之对应的像素置信度分数图。通过一个预设的阈值，将置信度较大的几何预测图保留下来，使用非极大值抑制算法去除冗余的几何预测，得到最终原件上文字的边界框并分割出来送入下面的流程。

训练中首先在自然场景检测数据集COCO-Text上做预训练来让网络提取尽量多的特征防止过拟合，完成后在标注好的PCB元器件图片数据集上做微调以适应业务数据。

(5)对元器中文本框进行文本识别，并与标准型号信息进行比对：

本实施例选用一种将CNN、RNN、CTC多种网络结构融合的深度神经网络框架CRNN来识别文字内容，CRNN的网络框架主要分为三层，第一层：深度卷积层(DCNN)，将原始输入图形压缩至相同尺寸再经过卷积、池化、全连接的方式进行特征提取，最后得到特征图作为下一层的输入，此时特征图的一列相当于原始图像的一个矩阵区域，具体的映射关系根据卷积和池化的选择有关。

第二层为双向序列特征提取层(Bidirectional Recurrent Neural Network)，此时特征图矩阵的行向量相当于特征，列向量就成为了一个序列数据，这一层之后输出一个长度等于列，宽度为1的序列特征。选用双向LSTM作为序列特征提取的原因有五点：一、它对具有上下文联系的文本和宽度较长在特征图中一列不能表示的字符具有很好的特征捕捉能力；二、它能反向传播至DCNN层，这样整个网络框架可以共用一个损失函数；三、它能处理任意长度的文本；四、当文本较长时，它能克服长期依赖问题；五、双向传播能够解决前后依赖问题。

第三层为序列标注(Transcription Layer)层，在这一层的任务是把序列特征转化成所需要的标签，这种转化分为基于字典和无字典两种方式，当基于字典时，得到的标签是字典中概率最大的单词，无字典时标签是由每个概率最大的字符组成的，不需要整个标签都在字典中。在第二层中最终的输出形式为

Z＝{z₁……z_T}

T为特征图矩阵的列数，则

表示某个字符是π的概率，而π是矩阵每一列的标签，B(π)表示预测出的标签，它是由π去掉重复的和空白的字符得到的，在训练时正确的标签为l，预测的标签正确的概率为

在测试时不知道正确标签，有两种方法得到结果，第一种是不基于字典，则有

l＝B(argmax_πp(π|Z))

第二种基于字典，遍历字典中所有的标签，选出一个概率最大的标签为输出结果，但这种方法存在一个问题就是，当字典中的标签数量太大时所耗费的时间太多，所以在基于字典的方式中我们先用非字典的方式确定文本的长度，然后再基于字典选择标签，可以大大减少遍历的标签数目。将最终的预测结果与标准型号做对比即可得知该元器件的选用是否正确。

至此，PCB原件检测中的原件定位问题、极性判断问题，型号识别问题都得以解决。

本发明通过构建了一个完善统一的神经网络框架用于对PCB板元器件的检测，解决了PCB制造环节中对高可靠性和高精确性的要求，大大降低了人工检测的人力消耗和传统机械方法的硬件设备要求，通过训练好的模型可以作为检测平台或检测***对流水线的PCB板进行实时检测，解决了传统检测方法中不能实现实时检测的问题。

本发明的有益效果是：本发明通过将目标检测和文字检测与识别框架进行接口封装，实现对物体标识符的全自动识别，解决了目前各个检测阶段对接困难的问题；本发明的CRNN网络框架统一了三个组件的损失函数，利用预测标签和真实标签的对数损失来衡量结果的差距,还可以实现端到端的训练。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于深度学习的PCB板元器件检测方法，其特征在于，包括：

S1，获取需要检测的PCB数据集并进行预处理；

S2，使用目标检测网络对PCB板上元器件的位置和种类进行识别，并切割出单个元器件的图像；

S3，构建神经网络模型，检测每个元器件图像中元器件的极性；

S4，利用EAST网络检测每个元器件图像中的文本框，利用CRNN网络识别文本框中的文字；

S5，将检测出的元器件的极性及识别出的文字与PCB设计文件进行比对，得到检测结果。

2.根据权利要求1所述的一种基于深度学习的PCB板元器件检测方法，其特征在于，S1进一步包括：拍摄大量需要被检测的PCB板的样本图像，借助marker的方式对相机进行姿态估计；根据角点坐标进行放射变换和透视变换得到图像矫正，再对图像中的元器件信息进行标注得到需要的PCB数据集。

3.根据权利要求1所述的一种基于深度学习的PCB板元器件检测方法，其特征在于，S2中，所述目标检测网络采用faster-rcnn网络结构。

4.根据权利要求1所述的一种基于深度学习的PCB板元器件检测方法，其特征在于，S3中，所述神经网络模型采用由五层卷积网络、两层全连接网络及softmax激活函数组成的分类网络。

5.根据权利要求1所述的一种基于深度学习的PCB板元器件检测方法，其特征在于，S4中，所述EAST网络具有两个阶段的工作流程，其中，第一阶段使用完全卷积网络模型，直接生成单词或文本行级别预测，第二阶段将生成的单词或文本行级别预测发送到非最大抑制以产生最终结果，这两个阶段实现端到端的训练。

6.根据权利要求1所述的一种基于深度学习的PCB板元器件检测方法，其特征在于，S4中，所述CRNN网络将图像作为序列输入长短期记忆网络，以处理任意长度的连续文字。