CN114387230A - 一种基于重验证检测的pcb板缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于重验证检测的PCB板缺陷检测方法，包括：采集PCB板图像，构建训练集和测试集；在SSD中引用MobileNet，对SSD进行改进，并利用训练集对改进后的网络进行训练，得到PCB板缺陷检测模型；对测试集中的PCB板图像进行一级检测；对一级检测检测出的有缺陷样本进行二级检测；根据一级检测和二级检测的检测结果对检测阈值进行自适应调整，在循环训练中，以误差作为负反馈，构成模型训练的自适应优化闭环反馈，增加二级检测和一级检测结果不一致的训练权重，最终在误差收敛时得到最优检测模型，利用其实现缺陷检测。本发明可准确检测PCB板缺陷，且防止过拟合现象发生。

Description

一种基于重验证检测的PCB板缺陷检测方法

技术领域

本发明涉及目标检测，缺陷检测技术领域，特别涉及一种基于重验证检测的PCB(printed circuit board，印制线路板)板缺陷检测方法。

背景技术

PCB(printed circuit board)即印制线路板，简称印制板，是电子工业的重要部件之一。几乎每种电子设备，小到电子手表、计算器，大到计算机、通信电子设备、军用武器***，只要有集成电路等电子元件，为了使各个元件之间的电气互连，都要使用印制板。

印制线路板由绝缘底板、连接导线和装配焊接电子元件的焊盘组成，具有导电线路和绝缘底板的双重作用。板载元器件焊接质量直接影响到电子产品的性能及其可靠性，目前以人工检测为主的缺陷检测与分析因主观因素及劳动强度的影响容易发生漏检和误检、检测速度及检测质量都难以满足需求，无法适应现代工艺的大批量生产及高精度高速度缺陷检测的需要。

因此，提出全新有效的PCB板缺陷检测方法是提高检测效率，提升检测准确性，保证PCB板使用可靠性的必经之路。

现有的基于图像处理的PCB缺陷检测算法可归纳为三种类型：非参考验证法、参考对比法和混合缺陷检测算法：

(1)基于非参考验证法的PCB缺陷检测算法通过检测PCB是否符合设计的规范来检测PCB缺陷，并将不符合设计规范的异常视为缺陷。该类算法的优点是可以在不使用参考图像的情况下准确地检测一些常见的PCB缺陷，如短路、开路、线宽线距的尺寸是否合乎规则，从而大大减少了存储空间。缺点是检测算法比较复杂，计算量大，且要预先设计规则模式，只能根据设定的设计规则进行检测，这在实际应用中有一定的局限性。

(2)参考对比的算法是先制作一个标准的图像，称为参考图像，然后将需要检测的PCB板与参考图像进行比较，识别出PCB板中存在的缺陷类型。此类特征提取方法需要人工设计，提取的特征存在局限性，对于种类较多的缺陷，很难达到精确分类。参考方法很容易遗漏一些小错误，非参考方法在检测全局故障方面也存在一些缺点。为了有效地解决该问题，混合的PCB缺陷检测算法结合了这两种方法的优点，综合使用了PCB图像各个方面的信息实行瑕疵检查，具有较强的抗干扰能力，但算法较为复杂，该方法应用于实际生产中，检测速度慢，无法满足工业实时检测的要求，适应不足。

(3)混合检测算法是指利用深度学习神经网络进行特征学习对芯片进行缺陷识别和分类。自2014年以来，基于深度学习的算法在目标检测方面取得了显著的进展，R-CNN(Region-CNN)系列、YOLO(You Only Look Once)、SSD(Single Shot MultiBox Detector)、R-FCN(Region-based Fully Convolutional Networks)等较优异的目标检测方法在缺陷检测方面展现了明显的优势。

但总体来讲，现有的PCB板缺陷检测方法难以在允许的误差范围内，复杂背景下完成基于图像的PCB板缺陷检测，因此，亟需研发一种新的检测方法。

发明内容

本发明提供了一种基于重验证检测的PCB板缺陷检测方法，以解决现有技术存在的难以在允许的误差范围内复杂背景下完成PCB板缺陷检测的问题。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种基于重验证检测的PCB板缺陷检测方法，包括：

采集PCB板图像，对采集的PCB板图像进行预处理，并对预处理后的PCB板图像进行预设类型的缺陷标注，构建原始图像集；对所述原始图像集进行数据增广，得到增广后的图像集，并将增广后的图像集划分为训练集和测试集；

在SSD网络中引用MobileNet网络结构，对SSD网络进行改进，并利用所述训练集对改进后的网络进行训练，得到PCB板缺陷检测模型；

基于所述PCB板缺陷检测模型对测试集中的PCB板图像进行一级检测；

基于PCB板缺陷检测模型，对一级检测检测出的有缺陷样本进行二级检测；

根据一级检测和二级检测的检测结果对检测阈值进行自适应调整，在循环训练中，以误差作为负反馈，构成模型训练的自适应优化闭环反馈，增加二级检测和一级检测结果不一致的训练权重，最终在误差收敛时得到最优检测模型；

基于最优检测模型，根据待检测PCB板图像对待检测PCB板进行缺陷检测。

进一步地，所述采集PCB板图像，对采集的PCB板图像进行预处理，并对预处理后的PCB板图像进行预设类型的缺陷标注，构建原始图像集，包括：

利用可见光摄像头采集PCB板图像；其中，在采集PCB板图像时，要求芯片占整张图像的面积不小于60％，且标识号和引脚清晰可见；

采用直线检测算法，利用检测和生成出的完整线段，对采集的PCB板图像进行旋转、缩放和对齐的统一化处理；采用双值滤波法对PCB板图像进行图像增强处理；之后进行图像二值化，生成PCB板图像对应的黑白图像，便于检测；

对生成的黑白图像进行预设类型的缺陷标注，构建原始图像集。

进一步地，所述直线检测算法为CannyLines直线检测算法。

进一步地，对生成的黑白图像进行预设类型的缺陷标注时采用的工具为labelImg软件。

进一步地，对所述原始图像集进行数据增广，得到增广后的图像集，包括：

将带有缺陷的图像截取成带alpha通道的PNG图片；采用在原始图像集背景中随机贴图的方式，对原始图像集进行过采样化的扩充，同时根据随机贴图的位置重新生成对应的标注文件，得到增广后的图像集。

进一步地，所述在SSD网络中引用MobileNet网络结构，对SSD网络进行改进，包括：

将原有的SSD300基础网络中backbone部分从VGG16替换为MobileNet v1，在Mobilenet的conv13后面添加8个卷积层，然后总共抽取6层用作检测。

进一步地，利用所述训练集对改进后的网络进行训练，包括：

在CPU上，利用所述训练集对改进后的网络进行训练；并将改进后的网络的后处理部分的NMS替换为soft-NMS；检测时不直接删除所有IOU大于阈值的框，而是降低其置信度，且仅保留不超过10个置信度较高的检测框。

进一步地，在将图像集中的PCB板图像输入PCB板缺陷检测模型之前，所述方法还包括：

将图像集中原有的1920×1080的样本图像，逐张裁剪为1500×900大小。

进一步地，所述对一级检测检测出的有缺陷样本进行二级检测，包括：

在GPU上，利用所述PCB板缺陷检测模型，对一级检测中存在检测框的PCB板图像进行二级检测，并在检测算法后处理部分去掉NMS。

进一步地，所述根据一级检测和二级检测的检测结果对检测阈值进行自适应调整，在循环训练中，以误差作为负反馈，构成模型训练的自适应优化闭环反馈，增加二级检测和一级检测结果不一致的训练权重，包括：

根据一级检测和二级检测对测试集的准确率，对检测阈值进行自适应调整，若漏检率高，则相应升高阈值，若误检率高，则相应降低阈值；在循环训练中，以误差作为负反馈，构成模型训练的自适应优化闭环反馈，增加二级检测后出现“假缺陷样本”、“缺陷种类不一致”以及“无缺陷样本”的训练权重。

再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

本发明提供的技术方案带来的有益效果至少包括：

1、本发明提供的基于重验证检测的PCB板缺陷检测方法，可在单帧检测时间不超过30ms的速度下，实现PCB板缺陷的检测工作，且准确率≥92％。

2、在PCB板缺陷图像的正样本数据量过少时，通过本发明提出的新型数据增广方法可实现数据集的有效扩充，从而防止过拟合的现象发生。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明第一实施例提供的基于重验证检测的PCB板缺陷检测方法的执行流程示意图；

图2是本发明第二实施例提供的基于重验证检测的PCB板缺陷检测方法的执行流程示意图；

图3是本发明第二实施例提供的PCB板缺陷检测模型的网络结构图；

图4是soft-NMS与NMS的区别示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

第一实施例

本实施例提供了一种基于重验证检测的PCB板缺陷检测方法，该方法可以由电子设备实现，该方法的执行流程如图1所示，包括以下步骤：

S1，采集PCB板图像，对采集的PCB板图像进行预处理，并对预处理后的PCB板图像进行预设类型的缺陷标注，构建原始图像集；对原始图像集进行数据增广，得到增广后的图像集，并将增广后的图像集划分为训练集和测试集；

S2，在SSD网络中引用MobileNet网络结构，对SSD网络进行改进，并利用训练集对改进后的网络进行训练，得到PCB板缺陷检测模型；

S3，基于PCB板缺陷检测模型对测试集中的PCB板图像进行一级检测；

S4，基于PCB板缺陷检测模型，对一级检测检测出的有缺陷样本进行二级检测；

S5，根据一级检测和二级检测的检测结果对检测阈值进行自适应调整，在循环训练中以误差作为负反馈，构成模型训练的自适应优化闭环反馈，增加二级检测和一级检测结果不一致的训练权重，最终在误差收敛时得最优检测模型；

S6，基于最优检测模型，根据待检测PCB板图像对PCB板进行缺陷检测。

本实施例的基于重验证检测的PCB板缺陷检测方法，通过采集PCB板图像数据，经过数据预处理和标注之后整理成原始数据集。将训练集图像输入改进后的轻量化检测模型Mobilenet-SSD300，获得一级检测模型。通过对一级检测模型进行优化修正，得到最终的二级检测模型。之后根据测试集对检测模型的验证，提出针对性的检测模型自适应阈值智能目标筛选方案，自主调节阈值参数，优化训练后的检测模型，进而实现对PCB板缺陷的准确识别。

第二实施例

本实施例提供了一种基于重验证检测的PCB板缺陷检测方法，该方法可以由电子设备实现，该方法的执行流程如图2所示，包括以下步骤：

S1，采集PCB板图像，对采集的PCB板图像进行预处理，并对预处理后的PCB板图像进行预设类型的缺陷标注，构建原始图像集；对原始图像集进行数据增广，得到增广后的图像集，并将增广后的图像集划分为训练集和测试集；

具体地，在本实施例中，上述S1包括以下步骤：

S11，利用1080P可见光摄像头采集PCB板图像；其中，在采集PCB板图像时要求芯片占整张图像的面积不小于60％，且标识号和引脚等细节清晰可见；

S12，采用用CannyLines直线检测算法，利用检测和生成出的完整线段，对采集的PCB板图像进行旋转、缩放和对齐的统一化处理；采用双值滤波法，对PCB板图像进行图像增强处理，在保护PCB板图像中各部分配件尖锐轮廓边缘特征的同时，滤除拍摄过程中可能产生的噪声；之后进行图像二值化，生成PCB板图像对应的黑白图像，便于检测；

S13，通过labelImg软件对生成的黑白图像进行缺陷标注，将缺陷分为open、short、mousebite、spur和pin-hole等五类进行分别标注，构建原始图像集；

S14，将图像样本集中具有典型特征的五类缺陷图像模块截取成带alpha通道的PNG图片，采用在原始图像集背景中贴图(大小、位置随机)的方式，对样本集进行过采样化的扩充，同时根据随机贴图的位置重新生成对应的标注文件；在增加样本数量的同时节省了大量的标注资源，提高模型训练可靠性。最后再增广后数据集中随机抽出80％作为训练集，剩余作为验证模型的测试集；

S15，将图像集中原有的1920×1080的样本图像，逐张裁剪为1500×900大小，即上下各裁掉90像素，左右各裁掉210像素。

S2，在SSD网络中引用MobileNet网络结构，对SSD网络进行改进，并利用训练集对改进后的网络进行训练，得到PCB板缺陷检测模型；

具体地，在本实施例中，上述S2包括以下步骤：

S21，将原有的SSD300基础网络中backbone部分从VGG16替换为MobileNet v1，在Mobilenet的conv13后面添加了8个卷积层，然后总共抽取6层用作检测，以此缩减模型结构，减少模型参数。网络结构图如图3所示。

S22，将裁剪后的1500×900图像样本代替原有1920×1080图像样本输入网络进行检测。一方面，缺陷相对整个芯片来讲面积较小，经过少量裁剪不会产生很大影响；另一方面，针对SSD300的特性，1500×900大小的原始图像可以更直接的进行多尺度预测，更突显缺陷特征，从一定程度上提升了检测准确性。

S23，将后处理部分的NMS(非极大值抑制)替换为soft-NMS，如图4所示。NMS的阈值需要手动确定，阈值设置较小时会漏检，较大则会出现误检，针对上述两个问题，本实施例引入soft-NMS，不直接删除所有IOU(交并比)大于阈值的框，而是降低其置信度，且仅保留不超过10个置信度较高的检测框。

S3，基于PCB板缺陷检测模型对测试集中的PCB板图像进行一级检测；

需要说明的是，对于模型训练和一级检测，本实施例是在CPU上实现的。

S4，基于PCB板缺陷检测模型，对一级检测检测出的有缺陷样本进行二级检测；

需要说明的是，在本实施例中，上述S4具体为：在GPU上使用Mobilenet-SSD300对一级检测模型进行修正，具体过程为：对一级检测中存在检测框的图像进行二级检测并在检测算法后处理部分去掉NMS，提高训练效率。

S5，根据一级检测和二级检测的检测结果对检测阈值进行自适应调整，在循环训练中以误差作为负反馈，构成模型训练的自适应优化闭环反馈，增加二级检测和一级检测结果不一致的训练权重，最终在误差收敛时得最优检测模型；

具体地，在本实施例中，上述S5的实现过程如下：

根据一级检测模型和二级检测模型对测试集的准确率，对检测阈值自适应进行调整。若漏检率高，则适当升高阈值，若误检率高，则降低阈值。在循环训练中，以误差作为负反馈，构成模型训练的自适应优化闭环反馈，增加二次验证后出现“假缺陷样本”、“缺陷种类不一致”和“无缺陷样本”的训练权重，最终在误差收敛时得出最优模型，实现基于重验证检测的PCB板缺陷检测功能。

S6，基于最优检测模型，根据待检测PCB板图像对PCB板进行缺陷检测。

综上，本实施例的基于重验证检测的PCB板缺陷检测方法，通过可见光摄像头采集PCB板图像数据，经过数据预处理和标注之后整理成原始数据集(分为训练集和测试集)。将图像样本集中具有典型特征的五类缺陷图像模块截取成带alpha通道的PNG图片。采用在原始图像集背景中随机贴图的方式，对样本集进行过采样化的扩充，同时根据随机贴图的位置重新生成对应的标注文件。在增加样本数量的同时节省了大量的标注资源，提高模型训练可靠性。

在CPU中，将训练集图像输入改进后的轻量化检测模型Mobilenet-SSD300，获得一级检测模型。通过在GPU上的Mobilenet-SSD300对一级检测模型进行优化修正，得到最终的二级检测模型。从而针对CPU和GPU的硬件特点和检测两阶段的检测侧重点不同，对同一检测网络进行个性化修改定制。利用检测结果调整模型内部权重，达到复刻协同的优化目的。之后根据测试集对检测模型的验证，提出针对性的检测模型自适应阈值智能目标筛选方案，自主调节阈值参数，优化训练后的检测模型，进而实现对PCB板缺陷的识别。

第三实施例

本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述实施例的方法。

该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。

第四实施例

本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述实施例的方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。

此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (10)

1.一种基于重验证检测的PCB板缺陷检测方法，其特征在于，包括：

采集PCB板图像，对采集的PCB板图像进行预处理，并对预处理后的PCB板图像进行预设类型的缺陷标注，构建原始图像集；对所述原始图像集进行数据增广，得到增广后的图像集，并将增广后的图像集划分为训练集和测试集；

在SSD网络中引用MobileNet网络结构，对SSD网络进行改进，并利用所述训练集对改进后的网络进行训练，得到PCB板缺陷检测模型；

基于所述PCB板缺陷检测模型对测试集中的PCB板图像进行一级检测；

基于PCB板缺陷检测模型，对一级检测检测出的有缺陷样本进行二级检测；

根据一级检测和二级检测的检测结果对检测阈值进行自适应调整，在循环训练中，以误差作为负反馈，构成模型训练的自适应优化闭环反馈，增加二级检测和一级检测结果不一致的训练权重，最终在误差收敛时得到最优检测模型；

基于最优检测模型，根据待检测PCB板图像对待检测PCB板进行缺陷检测。

2.如权利要求1所述的基于重验证检测的PCB板缺陷检测方法，其特征在于，所述采集PCB板图像，对采集的PCB板图像进行预处理，并对预处理后的PCB板图像进行预设类型的缺陷标注，构建原始图像集，包括：

利用可见光摄像头采集PCB板图像；其中，在采集PCB板图像时，要求芯片占整张图像的面积不小于60％，且标识号和引脚清晰可见；

采用直线检测算法，利用检测和生成出的完整线段，对采集的PCB板图像进行旋转、缩放和对齐的统一化处理；采用双值滤波法对PCB板图像进行图像增强处理；之后进行图像二值化，生成PCB板图像对应的黑白图像，便于检测；

对生成的黑白图像进行预设类型的缺陷标注，构建原始图像集。

3.如权利要求2所述的基于重验证检测的PCB板缺陷检测方法，其特征在于，所述直线检测算法为CannyLines直线检测算法。

4.如权利要求2所述的基于重验证检测的PCB板缺陷检测方法，其特征在于，对生成的黑白图像进行预设类型的缺陷标注时采用的工具为labelImg软件。

5.如权利要求2所述的基于重验证检测的PCB板缺陷检测方法，其特征在于，对所述原始图像集进行数据增广，得到增广后的图像集，包括：

将带有缺陷的图像截取成带alpha通道的PNG图片；采用在原始图像集背景中随机贴图的方式，对原始图像集进行过采样化的扩充，同时根据随机贴图的位置重新生成对应的标注文件，得到增广后的图像集。

6.如权利要求1所述的基于重验证检测的PCB板缺陷检测方法，其特征在于，所述在SSD网络中引用MobileNet网络结构，对SSD网络进行改进，包括：

将原有的SSD300基础网络中backbone部分从VGG16替换为MobileNet v1，在Mobilenet的conv13后面添加8个卷积层，然后总共抽取6层用作检测。

7.如权利要求6所述的基于重验证检测的PCB板缺陷检测方法，其特征在于，利用所述训练集对改进后的网络进行训练，包括：

在CPU上，利用所述训练集对改进后的网络进行训练；并将改进后的网络的后处理部分的NMS替换为soft-NMS；检测时不直接删除所有IOU大于阈值的框，而是降低其置信度，且仅保留不超过10个置信度较高的检测框。

8.如权利要求7所述的基于重验证检测的PCB板缺陷检测方法，其特征在于，在将图像集中的PCB板图像输入PCB板缺陷检测模型之前，所述方法还包括：

将图像集中原有的1920×1080的样本图像，逐张裁剪为1500×900大小。

9.如权利要求8所述的基于重验证检测的PCB板缺陷检测方法，其特征在于，所述对一级检测检测出的有缺陷样本进行二级检测，包括：

在GPU上，利用所述PCB板缺陷检测模型，对一级检测中存在检测框的PCB板图像进行二级检测，并在检测算法后处理部分去掉NMS。

10.如权利要求1所述的基于重验证检测的PCB板缺陷检测方法，其特征在于，所述根据一级检测和二级检测的检测结果对检测阈值进行自适应调整，在循环训练中，以误差作为负反馈，构成模型训练的自适应优化闭环反馈，增加二级检测和一级检测结果不一致的训练权重，包括：

根据一级检测和二级检测对测试集的准确率，对检测阈值进行自适应调整，若漏检率高，则相应升高阈值，若误检率高，则相应降低阈值；在循环训练中，以误差作为负反馈，构成模型训练的自适应优化闭环反馈，增加二级检测后出现“假缺陷样本”、“缺陷种类不一致”以及“无缺陷样本”的训练权重。

Images