CN118096747B - 基于深度学习的pcba板自动检测方法及*** - Google Patents

Abstract

本发明公开了基于深度学习的PCBA板自动检测方法及***，具体涉及PCBA板自动检测技术领域；通过对推理时间数据进行分析，将其划分为异常和正常推理时间，并确定正常推理时间的阈值；然后，将正常推理时间进一步细分为高效、一般和低效推理时间，以便进一步识别和处理低效推理时间中的异常情况；利用深度学习模型对低效推理时间下的PCBA板图像进行特征提取和缺陷识别，从而进行缺陷位置定位和数量统计，评估缺陷位置定位的准确程度；通过综合分析缺陷位置定位的准确程度和缺陷的几何特征对PCBA板性能的影响程度，对PCBA板的质量进行综合评估；根据评估结果做出相应的处理决策，以确保PCBA板的质量符合要求，以确保PCBA板质量的稳定性和生产的持续性。

Description

基于深度学习的PCBA板自动检测方法及***

技术领域

本发明涉及PCBA板自动检测技术领域，具体涉及基于深度学习的PCBA板自动检测方法及***。

背景技术

基于深度学习的PCBA板自动检测指的是利用深度学习技术对PCBA（PrintedCircuit Board Assembly，印刷电路板组件）进行自动检测的过程。深度学习是一种机器学习的分支，通过建立多层神经网络模型来学习数据的特征和规律，从而实现对复杂数据的高效处理和分析。在PCBA板自动检测中，深度学习模型可以学习PCBA板的各种特征，如焊点连接情况、元器件位置和状态等，从而实现对PCBA板的自动检测和质量评估，提高生产效率和产品质量。

首先，深度学习模型需要通过大量的标注数据进行训练，以学习PCBA板的各种特征和异常情况。然后，在实际应用中，通过摄像头或传感器等设备获取PCBA板的图像或数据，并输入到已训练好的深度学习模型中进行分析。模型会对PCBA板进行检测，识别焊点是否完整、元器件是否正确安装等问题，并将结果反馈给操作人员或自动控制***，以实现对PCBA板的自动检测和质量控制。这种基于深度学习的自动检测方法相比传统的人工检测或简单的机器视觉方法，能够更准确地检测PCBA板的各种缺陷和异常情况，提高生产效率和产品质量。

现有技术中存在以下不足之处：

现有技术中，在PCBA板自动检测中，深度学习模型可以学习PCBA板的各种特征，从而实现对复杂数据的高效处理和分析。然而，在PCBA生产线上，对缺陷的检测通常需要在极短的时间内完成，以确保生产效率和产品质量。但是，深度学习模型的推理时间可能出现不稳定的情况，如果模型的推理时间较长，可能会导致模型无法及时检测到PCBA板上的缺陷，从而降低了质量控制的效果。同时，如果不能及时发现和修复缺陷可能会导致产品质量下降，增加了产品退货率。

发明内容

本发明的目的是提供一种基于深度学习的PCBA板自动检测方法及***，以解决背景技术中的不足。

为了实现上述目的，本发明提供如下技术方案：基于深度学习的PCBA板自动检测方法，包括以下步骤：

S1：根据PCBA板自动检测场景的时间检测标准，针对所选的深度学习模型进行推理，并记录相应的推理时间数据；

S2：对收集到的推理时间数据进行分析，根据不同检测场景下PCBA板的时间检测标准，将推理时间划分为异常推理时间和正常推理时间；

S3：根据实际需求和推理时间数据的分布情况，确定正常推理时间中的推理时间阈值，根据推理时间阈值将推理时间划分为高效推理时间、一般推理时间，低效推理时间；

S4：对于低效推理时间，通过深度学习模型对PCBA板图像进行特征提取，并对PCBA板上的缺陷进行识别和分类；

S5：将检测到的PCBA板上的缺陷进行精细判定和定位，确定缺陷的位置和数量，判断缺陷位置定位的准确程度，并对缺陷的几何特征进行评估，确定其对PCBA板性能的影响程度；

S6：基于PCBA上检测到的缺陷，将缺陷位置定位的准确程度和缺陷的几何特征对PCBA板性能的影响程度进行综合分析，评估PCBA板的质量，并做出相应的处理决策。

在一个优选地实施方式中，S1中，通过循环神经网络针对所选的深度学习模型进行推理，包括：确定用于推理的数据集和PCBA板自动检测场景，加载已经训练好的深度学习模型，对于每个推理样本，将PCBA板的图像数据作为输入参数数据；对于每个推理样本，执行模型的推理过程，在开始推理之前获取当前时间作为开始时间，推理完成后获取当前时间作为结束时间；使用结束时间减去开始时间，计算出每个推理样本的推理时间；对数据集中的所有样本都执行相同的推理过程，并记录每个样本的推理时间数据。

在一个优选地实施方式中，S2中，将推理时间划分为异常推理时间和正常推理时间，具体为：

对于每次推理任务，判断其推理时间是否超过了PCBA板设定的时间检测阈值，如果推理时间大于等于时间检测阈值，则将该推理任务划分为异常推理时间；如果推理时间小于时间检测阈值，则将其划分为正常推理时间。

在一个优选地实施方式中，S3中，确定正常推理时间中的推理时间阈值，并根据该阈值将推理时间划分为高效推理时间、一般推理时间和低效推理时间，具体包括：

收集正常推理时间数据，将正常推理时间数据标记为T={t1,t2,...,tn}，其中，ti表示第i次进行正常推理的时间，n表示样本数量；

根据收集到的正常推理时间数据计算推理时间数据的平均值，具体的计算表达式为式中，为推理时间数据的平均值；根据推理时间数据的平均值计算推理时间数据的标准差，具体的计算表达式为：式中，σ为推理时间数据的标准差；

确定正常推理时间中的推理时间阈值；通过计算均值加减若干倍的标准差作为推理时间阈值，即：式中，为推理时间阈值，k为系数，其中，推理时间阈值的下限为：推理时间阈值的上限为。

在一个优选地实施方式中，将每个推理时间根据推理时间阈值进行划分，具体为：

如果推理时间小于等于推理时间阈值的下限，则将其划分为高效推理时间；

如果推理时间大于等于推理时间阈值的下限，且小于等于推理时间阈值的上限，则将其划分为一般推理时间；

如果推理时间大于推理时间阈值的上限，则将其划分为低效推理时间。

在一个优选地实施方式中，S4中，针对低效推理时间，通过卷积神经网络对PCBA板图像进行特征提取，并对PCBA板上的缺陷进行识别和分类，具体为：

收集PCBA板图像数据，标注出图像中的缺陷区域和缺陷类型；

对图像数据进行预处理；

使用准备好的数据集对构建的CNN模型进行训练，在训练过程中，模型通过反向传播算法不断调整网络参数；

使用独立的测试数据集对训练好的模型进行评估，评估模型的性能和准确率；

通过模型对图像中的各个区域进行扫描，并预测每个区域是否存在缺陷以及缺陷的类型；

对模型识别和分类的结果进行展示。

在一个优选地实施方式中，S5中，根据缺陷的位置和数量，判断缺陷位置定位的准确程度包括获取缺陷数量离群指数，缺陷数量离群指数的获取方法为：

根据缺陷的位置和数量建立一个数据集D，其中包含N个数据点；对于每个数据点i，确定其邻域，两点i和j之间的距离表示为：其中，D是数据点的维度，为两个数据点i和j之间的距离；根据距离计算结果，确定i的k个最近邻的邻域；i的邻域表示为：其中，i是目标数据点，j是i的邻居，h是数据集中的数据点，distance(i,j)表示i和j之间的距离；

对于每个数据点，计算其局部可达密度，具体的计算表达式为：式中，i是要计算LRD的数据点，是i的k个最近邻的邻域，reach-distk(i,b)是i到b的k最近邻距离，为每个数据点的局部可达密度；

对于每个数据点，计算其局部离群因子，即计算缺陷数量离群指数，具体的计算表达式为：式中，为缺陷数量离群指数。

在一个优选地实施方式中，S5中，对缺陷的几何特征进行评估，确定其对PCBA板性能的影响程度，包括从缺陷的几何特征数据中获取几何缺陷异常指数，则几何缺陷异常指数的获取方法为：

实时获取PCBA板上缺陷的数量n，以及每个缺陷具有m个几何特征；将几何特征组成一个n×m的特征矩阵X，其中每一行代表一个缺陷，每一列代表一个几何特征；

对特征矩阵X进行标准化处理，计算特征矩阵X的协方差矩阵Σ，具体的计算表达式为：其中，表示矩阵X的转置；

对协方差矩阵Σ进行特征值分解，得到特征值λ1,λ2,...,λm和对应的特征向量v1,v2,...,vm，根据特征值的大小，选择前k个特征值对应的特征向量作为主成分，其中k是自定义的参数；

对于每个缺陷，将其几何特征数据xi投影到所选的主成分上，然后根据每个主成分的方差贡献率来计算几何缺陷异常指数，几何缺陷异常指数的计算表达式为：式中，xi表示第i个缺陷的几何特征向量，表示第个主成分，λ表示第个主成分对应的特征值，为几何缺陷异常指数。

在一个优选地实施方式中，S6中，将缺陷位置定位的准确程度和缺陷的几何特征对PCBA板性能的影响程度进行综合分析，具体为：

将缺陷数量离群指数和几何缺陷异常指数进行归一化处理，通过归一化处理后的缺陷数量离群指数和几何缺陷异常指数计算PCBA板的质量评估系数。

在一个优选地实施方式中，将PCBA板的质量评估系数与质量标准阈值进行比较，若PCBA板的质量评估系数大于等于质量标准阈值，此时发出质量正常信号，将相应的PCBA板标记为质量正常的PCBA板；若PCBA板的质量评估系数小于质量标准阈值，此时发出质量异常信号，将相应的PCBA板标记为质量异常的PCBA板。

本发明还提供了基于深度学习的PCBA板自动检测***，包括推理模块、时间分析模块、推理时间划分模块、缺陷识别分类模块，缺陷定位模块以及质量评估模块；

推理模块：根据PCBA板自动检测场景的时间检测标准，针对所选的深度学习模型进行推理，并记录相应的推理时间数据；

时间分析模块：对收集到的推理时间数据进行分析，根据不同检测场景下PCBA板的时间检测标准，将推理时间划分为异常推理时间和正常推理时间；

推理时间划分模块：根据实际需求和推理时间数据的分布情况，确定正常推理时间中的推理时间阈值，根据推理时间阈值将推理时间划分为高效推理时间、一般推理时间，低效推理时间；

缺陷识别分类模块：对于低效推理时间，通过深度学习模型对PCBA板图像进行特征提取，并对PCBA板上的缺陷进行识别和分类；

缺陷定位模块：将检测到的PCBA板上的缺陷进行精细判定和定位，确定缺陷的位置和数量，判断缺陷位置定位的准确程度，并对缺陷的几何特征进行评估，确定其对PCBA板性能的影响程度；

质量评估模块：基于PCBA上检测到的缺陷，将缺陷位置定位的准确程度和缺陷的几何特征对PCBA板性能的影响程度进行综合分析，评估PCBA板的质量，并做出相应的处理决策。

在上述技术方案中，本发明提供的技术效果和优点：

1、本发明通过对推理时间数据的分析和阈值确定，能够将推理时间划分为不同等级，提高了对异常推理时间的敏感度，从而及时发现低效推理时间。在低效推理时间下，利用深度学习模型对PCBA板图像进行特征提取和缺陷识别，实现了对缺陷的快速识别和分类，提高了检测效率和准确性。

2、本发明通过对检测到的缺陷进行精细判定和定位，并对缺陷的位置、数量和几何特征进行评估，实现了对PCBA板性能影响的全面分析。基于综合分析的结果，评估PCBA板的质量，并做出相应的处理决策，能够及时发现和修复缺陷，提高了产品质量和客户满意度，减少了产品退货率和客户投诉。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明的方法流程图。

图2为本发明的***模块图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1，请参阅图1所示，本实施例所述基于深度学习的PCBA板自动检测方法，包括以下步骤：

S1：根据PCBA板自动检测场景的时间检测标准，针对所选的深度学习模型进行推理，并记录相应的推理时间数据；

S2：对收集到的推理时间数据进行分析，根据不同检测场景下PCBA板的时间检测标准，将推理时间划分为异常推理时间和正常推理时间；

S3：根据实际需求和推理时间数据的分布情况，确定正常推理时间中的推理时间阈值，根据推理时间阈值将推理时间划分为高效推理时间、一般推理时间，低效推理时间；

S4：对于低效推理时间，通过深度学习模型对PCBA板图像进行特征提取，并对PCBA板上的缺陷进行识别和分类；

S5：将检测到的PCBA板上的缺陷进行精细判定和定位，确定缺陷的位置和数量，判断缺陷位置定位的准确程度，并对缺陷的几何特征进行评估，确定其对PCBA板性能的影响程度；

S6：基于PCBA上检测到的缺陷，将缺陷位置定位的准确程度和缺陷的几何特征对PCBA板性能的影响程度进行综合分析，评估PCBA板的质量，并做出相应的处理决策。

其中，在S1中，根据PCBA板自动检测场景的时间检测标准，针对所选的深度学习模型进行推理，并记录相应的推理时间数据，具体为：

明确PCBA板自动检测的具体应用场景和需求。包括检测的对象、检测任务的复杂程度、检测频率等。

对于所选的应用场景，分析实时性的要求。确定模型需要在多久的时间内完成对PCBA板的检测和分析，以满足实时性要求。

考虑模型部署的硬件平台和资源限制，如CPU、GPU、内存等。不同硬件平台可能对模型的推理速度有不同的影响。

在实际环境中进行实验测量，评估模型在不同条件下的推理时间。可以采用不同的输入数据、不同的硬件平台和不同的模型配置，以获取更全面的推理时间数据。

分析所得的推理时间数据，了解模型的推理时间分布情况。可以计算平均推理时间、最大推理时间、推理时间的方差等统计指标，以及推理时间的分布图或箱线图等。

根据实验结果和实时性要求，设定PCBA板自动检测场景的时间检测标准。这可以是一个推理时间的上限或者一个推理时间的范围，以确保模型能够在规定的时间内完成对PCBA板的检测。

验证设定的时间检测标准是否合理，并根据实际情况进行调整。可能需要多次实验和调整，直到找到最合适的时间检测标准。

针对所选的深度学习模型进行推理，常见的推理方法包括：

前向传播（Forward Propagation）：前向传播是深度学习模型推理的基本方法之一。在前向传播过程中，输入数据通过模型的各个层级，经过一系列的线性和非线性变换，最终得到输出结果。这个过程通常是通过矩阵运算和激活函数的组合来完成的。

卷积神经网络（Convolutional Neural Network，CNN）：CNN是一种专门用于处理图像数据的深度学习模型。在PCBA板自动检测中，可以使用CNN来对PCBA板图像进行特征提取和检测。推理过程中，输入的PCBA板图像会经过多个卷积层和池化层，最终输出检测结果。

循环神经网络（Recurrent Neural Network，RNN）：RNN适用于处理序列数据，可以捕捉数据之间的时序关系。在PCBA板自动检测中，如果需要考虑PCBA板上不同元器件之间的时序关系，可以使用RNN进行推理。

转移学习（Transfer Learning）：转移学习是一种通过利用已经训练好的模型来加速新任务学习的方法。在PCBA板自动检测中，可以使用已经在大规模图像数据集上预训练好的模型，如ImageNet上的预训练模型，然后在PCBA板数据集上进行微调，以加速模型的训练和推理过程。

目标检测算法（Object Detection）：目标检测算法可以在图像中定位并识别出多个目标的位置和类别。在PCBA板自动检测中，可以使用目标检测算法来检测PCBA板上的元器件、焊点等目标，然后进行分类或其他后续处理。

集成学习（Ensemble Learning）：集成学习是一种通过结合多个模型的预测结果来提高模型性能的方法。在PCBA板自动检测中，可以使用集成学习方法，如投票、堆叠等，来融合多个深度学习模型的推理结果，以提高检测准确率和鲁棒性。

通过循环神经网络针对所选的深度学习模型进行推理，具体的推理步骤包括：

确定用于推理的数据集和PCBA板自动检测场景。数据集应包含代表性的PCBA板图像，场景需考虑模型在实际应用中所面对的条件和环境。

加载已经训练好的深度学习模型或者搭建新的模型。确保模型结构与训练时保持一致，并加载模型的权重参数。

对于每个推理样本，准备输入数据，通常是PCBA板的图像数据。确保数据的格式和尺寸与模型输入要求相匹配。

对于每个推理样本，执行模型的推理过程，并记录开始和结束时间戳。在开始推理之前获取当前时间作为开始时间，推理完成后获取当前时间作为结束时间。

使用结束时间减去开始时间，计算出每个推理样本的推理时间。推理时间可以使用毫秒或秒作为单位。

将每个推理样本的推理时间记录下来。可以将数据保存在日志文件、数据库或其他数据存储方式中。

对数据集中的所有样本都执行相同的推理过程，并记录每个样本的推理时间数据。

S2：对收集到的推理时间数据进行分析，根据不同检测场景下PCBA板的时间检测标准，将推理时间划分为异常推理时间和正常推理时间。

对收集到的推理时间数据进行分析，根据不同检测场景下PCBA板的时间检测标准，通过时间检测阈值将推理时间划分为异常推理时间和正常推理时间。具体的划分步骤如下：

根据PCBA板自动检测的实际需求和场景特点，设定合适的时间检测阈值。时间检测阈值可以根据实际情况来确定，通常是根据模型的性能要求、硬件资源限制和应用场景等因素综合考虑得出的。

在PCBA板自动检测过程中，记录并收集推理时间数据。

对于每次推理任务，判断其推理时间是否超过了PCBA板设定的时间检测阈值。如果推理时间大于等于时间检测阈值，则将该推理任务划分为异常推理时间；如果推理时间小于时间检测阈值，则将其划分为正常推理时间。

定期对时间检测阈值进行验证和调整。根据实际运行情况和模型性能表现，适时调整时间检测阈值，以确保推理时间的划分能够有效地反映模型的实时性能力。

S3：根据实际需求和推理时间数据的分布情况，确定正常推理时间中的推理时间阈值，根据推理时间阈值将推理时间划分为高效推理时间、一般推理时间，低效推理时间。

确定正常推理时间中的推理时间阈值，并根据该阈值将推理时间划分为高效推理时间、一般推理时间和低效推理时间，具体包括：

收集正常推理时间数据，将正常推理时间数据标记为T={t1,t2,...,tn}，其中，ti表示第i次进行正常推理的时间，n表示样本数量。

根据收集到的正常推理时间数据计算推理时间数据的平均值，具体的计算表达式为式中，为推理时间数据的平均值；根据推理时间数据的平均值计算推理时间数据的标准差，具体的计算表达式为：式中，σ为推理时间数据的标准差；

根据实际需求和数据分布情况，确定正常推理时间中的推理时间阈值。可以通过计算均值加减若干倍的标准差作为推理时间阈值，即：式中，为推理时间阈值，k为系数，可以根据实际情况选择。其中，推理时间阈值的下限为：推理时间阈值的上限为。

将每个推理时间ti根据推理时间阈值进行划分：

如果推理时间小于等于推理时间阈值的下限，则将其划分为高效推理时间；

如果推理时间大于等于推理时间阈值的下限，且小于等于推理时间阈值的上限，则将其划分为一般推理时间；

如果推理时间大于推理时间阈值的上限，则将其划分为低效推理时间。

S4：对于低效推理时间，通过深度学习模型对PCBA板图像进行特征提取，并对PCBA板上的缺陷进行识别和分类。

其中，深度学习模型包括：卷积神经网络（CNN），主要用于处理具有网格状结构的数据，如图像和视频。CNN 在图像处理领域取得了巨大成功，能够有效地提取图像中的特征，并应用于图像分类、目标检测、图像分割等任务。

循环神经网络（RNN），主要用于处理序列数据，如文本、语音等。RNN 在处理时序数据时具有优势，能够建模数据的时序依赖关系，常用于语言模型、机器翻译、时间序列预测等任务。

长短期记忆网络（LSTM），是一种特殊的循环神经网络，专门用于解决传统 RNN中的梯度消失和梯度***问题。LSTM在处理长序列数据时具有较好的表现，常用于文本生成、语音识别等任务。

生成对抗网络（GAN），由生成器和判别器两部分组成，通过对抗训练的方式学习生成真实样本的分布。GAN可以生成逼真的图像、视频等数据，也可以用于图像修复、超分辨率重建等任务。

深度信念网络（DBN），由多个受限玻尔兹曼机（RBM）堆叠而成的深度神经网络，用于无监督学习。DBN可以用于特征学习、数据降维等任务。

针对低效推理时间，通过卷积神经网络对PCBA板图像进行特征提取，并对PCBA板上的缺陷进行识别和分类的具体为：

收集大量的PCBA板图像数据，包括正常板和带有缺陷的板，同时对这些图像进行标注，标注出图像中的缺陷区域和缺陷类型。

对图像数据进行预处理，包括调整大小、归一化、去噪等操作，以确保输入模型的数据质量和一致性。

设计并构建适用于PCBA板缺陷检测的卷积神经网络模型。通常采用一系列卷积层、池化层和全连接层来提取图像中的特征，并最终输出缺陷的类别和位置。

使用准备好的数据集对构建的CNN模型进行训练。在训练过程中，模型通过反向传播算法不断调整网络参数，使得模型能够学习到图像中的有效特征，并具备对不同缺陷进行识别和分类的能力。

使用独立的测试数据集对训练好的模型进行评估，评估模型的性能和准确率。通常使用一些评价指标，如准确率、召回率、精确率等来评估模型的表现。

使用训练好的CNN模型对新的PCBA板图像进行缺陷识别和分类。模型会对图像中的各个区域进行扫描，并预测每个区域是否存在缺陷以及缺陷的类型。

对模型输出的结果进行后处理，如去除重叠的缺陷区域、过滤掉小尺寸的缺陷等，以提高结果的可信度和准确性。

展示模型识别和分类的结果，并对检测到的缺陷进行分析和总结，为后续的优化和改进提供参考。

S5：将检测到的PCBA板上的缺陷进行精细判定和定位，确定缺陷的位置和数量，判断缺陷位置定位的准确程度，并对缺陷的几何特征进行评估，确定其对PCBA板性能的影响程度，具体为：

衡量模型对缺陷位置的判定准确程度。即模型检测到的缺陷位置与实际缺陷位置之间的差异程度。如果模型能够准确地定位到缺陷所在的区域，那么位置定位准确度就较高。

衡量模型对缺陷数量的判定准确程度。即模型检测到的缺陷数量与实际缺陷数量之间的差异程度。如果模型能够准确地判断出PCBA板上存在的缺陷数量，那么缺陷数量准确度就较高。

根据缺陷的位置和数量，判断缺陷位置定位的准确程度包括获取缺陷数量离群指数，缺陷数量离群指数的获取方法为：

根据缺陷的位置和数量建立一个数据集D，其中包含N个数据点。对于每个数据点i，确定其邻域，即与i距离在指定范围内的其他数据点。计算i与数据集中其他点之间的距离。则两点i和j之间的距离可以表示为：其中，D是数据点的维度，为两个数据点i和j之间的距离；然后，根据距离计算结果，确定i的k个最近邻的邻域。即选择距离i最近的k个数据点作为其邻域。那么i的邻域可以表示为：其中，i是目标数据点，j是i的邻居，h是数据集中的其他数据点，distance(i,j)表示i和j之间的距离。

对于每个数据点，计算其局部可达密度，表示该点的密度相对于其邻域内其他点的密度的平均值的倒数，具体的计算表达式为：式中，i是要计算LRD的数据点，是i的k个最近邻的邻域，reach-distk(i,b)是i到b的k最近邻距离，为每个数据点的局部可达密度。

对于每个数据点，计算其局部离群因子，局部离群因子表示该点相对于其邻域内其他点的离群程度，即计算缺陷数量离群指数，具体的计算表达式为：式中，为缺陷数量离群指数。

缺陷数量离群指数表示了 PCBA 板上检测到的缺陷数量与整体数据集中缺陷数量分布的偏离程度。当缺陷数量离群指数越大时，意味着检测到的缺陷数量相对于整体数据集来说更加离群，即与平均值的偏差更大。具体来说：

缺陷数量离群指数较大：如果缺陷数量离群指数较大，表示检测到的缺陷数量明显偏离了正常情况，可能存在以下情况之一：

PCBA 板上存在大量的缺陷，远远超出了正常范围，可能意味着制造过程中出现了严重的问题或者缺陷检测***存在故障。

存在一些异常情况或者噪声数据，被错误地识别为缺陷，导致了缺陷数量的异常增加。

缺陷数量离群指数较小：如果缺陷数量离群指数较小，表示检测到的缺陷数量与整体数据集中的缺陷数量分布相对一致，可能意味着：

PCBA 板的质量处于正常水平，缺陷数量在可接受的范围内，制造过程和检测***运行正常。

缺陷检测***的准确性和稳定性较高，能够有效地识别出真实的缺陷，而非将噪声或者异常数据误判为缺陷。

对缺陷的几何特征进行评估，确定其对PCBA板性能的影响程度，包括从缺陷的几何特征数据中获取几何缺陷异常指数，则几何缺陷异常指数的获取方法为：

实时获取PCBA板上缺陷的数量n，以及每个缺陷具有m个几何特征。其中，几何特征包括缺陷的形状、大小、位置等信息；将这些几何特征组成一个n×m的特征矩阵X，其中每一行代表一个缺陷，每一列代表一个几何特征。

对特征矩阵X进行标准化处理，使得每个特征的均值为0，方差为1。标准化可以通过减去每个特征的均值并除以标准差来实现。计算特征矩阵X的协方差矩阵Σ，具体的计算表达式为：其中，表示矩阵X的转置。

对协方差矩阵Σ进行特征值分解，得到特征值λ1,λ2,...,λm和对应的特征向量v1,v2,...,vm。特征向量表示了主成分的方向。根据特征值的大小，选择前k个特征值对应的特征向量作为主成分，其中k是自定义的参数。

对于每个缺陷，将其几何特征数据xi投影到所选的主成分上，然后根据每个主成分的方差贡献率来计算几何缺陷异常指数。几何缺陷异常指数的计算表达式为：式中，xi表示第i个缺陷的几何特征向量，表示第个主成分，λ表示第个主成分对应的特征值，为几何缺陷异常指数。

几何缺陷异常指数的值越大，通常表示PCBA板上的缺陷对其性能的影响越严重。具体来说：

如果某个缺陷的几何缺陷异常指数较高，意味着该缺陷在主成分方向上的投影较大，同时主成分方差贡献率较高。这可能表示该缺陷在PCBA板性能中占据主导地位，对PCBA板的功能性能产生了显著的负面影响。因此，高异常指数可能表示PCBA板的质量较差，需要进一步的检查和处理。

相反，如果某个缺陷的几何缺陷异常指数较低，说明该缺陷在主成分方向上的影响较小，或者该缺陷在PCBA板的整体性能中不是一个显著的因素。这可能表示该缺陷对PCBA板的性能影响较小，或者PCBA板的其他部分能够弥补该缺陷带来的影响，因此PCBA板的质量可能较好。

S6：基于PCBA上检测到的缺陷，将缺陷位置定位的准确程度和缺陷的几何特征对PCBA板性能的影响程度进行综合分析，评估PCBA板的质量，并做出相应的处理决策。

将缺陷数量离群指数和几何缺陷异常指数进行归一化处理，通过归一化处理后的缺陷数量离群指数和几何缺陷异常指数计算PCBA板的质量评估系数。

例如，本发明可以采用如下公式进行PCBA板的质量评估系数的计算，计算表达式为：式中，为PCBA板的质量评估系数，为缺陷数量离群指数，为几何缺陷异常指数，为缺陷数量离群指数和几何缺陷异常指数的比例系数，且0；

由计算表达式可知，缺陷数量离群指数和几何缺陷异常指数与PCBA板的质量评估系数均呈反比关系，且随着缺陷数量离群指数和几何缺陷异常指数的增大，PCBA板的质量评估系数逐渐降低，即PCBA板的质量也随之下降。

将PCBA板的质量评估系数与质量标准阈值进行比较，若PCBA板的质量评估系数大于等于质量标准阈值，说明PCBA板的质量较好，此时发出质量正常信号，将相应的PCBA板标记为质量正常的PCBA板；若PCBA板的质量评估系数小于质量标准阈值，说明PCBA板的质量较差，此时发出质量异常信号，将相应的PCBA板标记为质量异常的PCBA板。

对于质量正常的PCBA板和质量异常的PCBA板，需要采取不同的处理步骤：

其中，处理质量正常的PCBA板包括：将质量正常的PCBA板存储起来，或者继续进入后续的流程，比如装配到最终产品中。并记录PCBA板的相关信息，包括质量评估系数、检测时间、检测人员等，以便将来的参考和分析。

处理质量异常的PCBA板包括：将质量异常的PCBA板分拣出来，或者在PCBA板上标记质量异常的标记，以便后续处理。对质量异常的PCBA板进行进一步的检测或维修。可能包括重新检测、修复缺陷、更换受影响的部件等。记录质量异常的PCBA板的相关信息，包括检测到的缺陷、维修记录、维修人员等，以便将来的跟踪和分析。根据质量异常的情况，可以决定是否需要重新检测、维修或者淘汰PCBA板。同时将质量异常的情况报告给相关部门或人员，以便他们采取进一步的行动，比如调整生产流程、改进质量控制措施等。

本实施例中，通过对推理时间数据进行分析，将推理时间按照异常和正常标准进行划分，然后确定正常推理时间的阈值，进一步将其划分为高效、一般和低效推理时间。接着，利用深度学习模型对低效推理时间中的PCBA板图像进行特征提取和缺陷识别，进而进行缺陷位置定位和数量统计，判断缺陷位置定位的准确程度。随后，评估缺陷的几何特征对PCBA板性能的影响程度，并综合分析缺陷位置定位的准确程度缺陷的几何特征对PCBA板性能的影响程度，对PCBA板的质量进行综合评估。最终，根据评估结果作出相应的处理决策，以确保PCBA板的质量符合要求。

实施例2，请参阅图2所示，本实施例所述基于深度学习的PCBA板自动检测***，包括推理模块、时间分析模块、推理时间划分模块、缺陷识别分类模块，缺陷定位模块以及质量评估模块；

推理模块：根据PCBA板自动检测场景的时间检测标准，针对所选的深度学习模型进行推理，并记录相应的推理时间数据；

时间分析模块：对收集到的推理时间数据进行分析，根据不同检测场景下PCBA板的时间检测标准，将推理时间划分为异常推理时间和正常推理时间；

推理时间划分模块：根据实际需求和推理时间数据的分布情况，确定正常推理时间中的推理时间阈值，根据推理时间阈值将推理时间划分为高效推理时间、一般推理时间，低效推理时间；

缺陷识别分类模块：对于低效推理时间，通过深度学习模型对PCBA板图像进行特征提取，并对PCBA板上的缺陷进行识别和分类；

缺陷定位模块：将检测到的PCBA板上的缺陷进行精细判定和定位，确定缺陷的位置和数量，判断缺陷位置定位的准确程度，并对缺陷的几何特征进行评估，确定其对PCBA板性能的影响程度；

质量评估模块：基于PCBA上检测到的缺陷，将缺陷位置定位的准确程度和缺陷的几何特征对PCBA板性能的影响程度进行综合分析，评估PCBA板的质量，并做出相应的处理决策。

上述公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数由本领域的技术人员根据实际情况进行设置。

上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.基于深度学习的PCBA板自动检测方法，其特征在于：包括以下步骤；

S1：根据PCBA板自动检测场景的时间检测标准，针对所选的深度学习模型进行推理，并记录相应的推理时间数据；

S2：对收集到的推理时间数据进行分析，根据不同检测场景下PCBA板的时间检测标准，将推理时间划分为异常推理时间和正常推理时间；

S3：根据实际需求和推理时间数据的分布情况，确定正常推理时间中的推理时间阈值，根据推理时间阈值将推理时间划分为高效推理时间、一般推理时间和低效推理时间；

S4：对于低效推理时间，通过深度学习模型对PCBA板图像进行特征提取，并对PCBA板上的缺陷进行识别和分类；

S5：将检测到的PCBA板上的缺陷进行精细判定和定位，确定缺陷的位置和数量，判断缺陷位置定位的准确程度，并对缺陷的几何特征进行评估，确定其对PCBA板性能的影响程度；

步骤S5具体包括：根据缺陷的位置和数量，判断缺陷位置定位的准确程度包括获取缺陷数量离群指数，缺陷数量离群指数的获取方法为：

根据缺陷的位置和数量建立一个数据集D，其中包含N个数据点；对于每个数据点i，确定其邻域，两点i和j之间的距离表示为：其中，D是数据点的维度，为两个数据点i和j之间的距离；根据距离计算结果，确定i的k个最近邻的邻域；i的邻域表示为：其中，i是目标数据点，j是i的邻居，h是数据集中的数据点，distance(i,j）表示i和j之间的距离；

对于每个数据点，计算其局部可达密度，具体的计算表达式为：式中，i是要计算LRD的数据点，是i的k个最近邻的邻域，reach-distk(i,b)是i到b的k最近邻距离，为每个数据点的局部可达密度；

对于每个数据点，计算其局部离群因子，即计算缺陷数量离群指数，具体的计算表达式为：式中，为缺陷数量离群指数；

对缺陷的几何特征进行评估，确定其对PCBA板性能的影响程度，包括从缺陷的几何特征数据中获取几何缺陷异常指数，则几何缺陷异常指数的获取方法为：

实时获取PCBA板上缺陷的数量n，以及每个缺陷具有m个几何特征；将几何特征组成一个n×m的特征矩阵X，其中每一行代表一个缺陷，每一列代表一个几何特征；

对特征矩阵X进行标准化处理，计算特征矩阵X的协方差矩阵Σ，具体的计算表达式为：其中，表示矩阵X的转置；

对协方差矩阵Σ进行特征值分解，得到特征值λ1,λ2,...,λm和对应的特征向量v1,v2,...,vm，根据特征值的大小，选择前k个特征值对应的特征向量作为主成分，其中k是自定义的参数；

对于每个缺陷，将其几何特征数据xi投影到所选的主成分上，然后根据每个主成分的方差贡献率来计算几何缺陷异常指数，几何缺陷异常指数的计算表达式为：式中，xi表示第i个缺陷的几何特征向量，表示第个主成分，λ表示第个主成分对应的特征值，为几何缺陷异常指数；

S6：基于PCBA上检测到的缺陷，将缺陷位置定位的准确程度和缺陷的几何特征对PCBA板性能的影响程度进行综合分析，评估PCBA板的质量，并做出相应的处理决策。

2.根据权利要求1所述的基于深度学习的PCBA板自动检测方法，其特征在于：S1中，通过循环神经网络针对所选的深度学习模型进行推理，包括：确定用于推理的数据集和PCBA板自动检测场景，加载已经训练好的深度学习模型，对于每个推理样本，将PCBA板的图像数据作为输入参数数据；对于每个推理样本，执行模型的推理过程，在开始推理之前获取当前时间作为开始时间，推理完成后获取当前时间作为结束时间；使用结束时间减去开始时间，计算出每个推理样本的推理时间；对数据集中的所有样本都执行相同的推理过程，并记录每个样本的推理时间数据。

3.根据权利要求2所述的基于深度学习的PCBA板自动检测方法，其特征在于：S2中，将推理时间划分为异常推理时间和正常推理时间，具体为：

对于每次推理任务，判断其推理时间是否超过了PCBA板设定的时间检测阈值，如果推理时间大于等于时间检测阈值，则将该推理任务划分为异常推理时间；如果推理时间小于时间检测阈值，则将其划分为正常推理时间。

4.根据权利要求3所述的基于深度学习的PCBA板自动检测方法，其特征在于：S3中，确定正常推理时间中的推理时间阈值，并根据该阈值将推理时间划分为高效推理时间、一般推理时间和低效推理时间，具体包括：

收集正常推理时间数据，将正常推理时间数据标记为T={t1,t2,...,ti,...,tn}，其中，ti表示第i次进行正常推理的时间，n表示样本数量；

根据收集到的正常推理时间数据计算推理时间数据的平均值，具体的计算表达式为式中，为推理时间数据的平均值；根据推理时间数据的平均值计算推理时间数据的标准差，具体的计算表达式为：式中，σ为推理时间数据的标准差；

确定正常推理时间中的推理时间阈值；通过计算均值加减若干倍的标准差作为推理时间阈值，即：式中，为推理时间阈值，k为系数，其中，推理时间阈值的下限为：推理时间阈值的上限为。

5.根据权利要求4所述的基于深度学习的PCBA板自动检测方法，其特征在于：将每个推理时间根据推理时间阈值进行划分，具体为：

如果推理时间小于等于推理时间阈值的下限，则将其划分为高效推理时间；

如果推理时间大于等于推理时间阈值的下限，且小于等于推理时间阈值的上限，则将其划分为一般推理时间；

如果推理时间大于推理时间阈值的上限，则将其划分为低效推理时间。

6.根据权利要求5所述的基于深度学习的PCBA板自动检测方法，其特征在于：S4中，针对低效推理时间，通过卷积神经网络对PCBA板图像进行特征提取，并对PCBA板上的缺陷进行识别和分类，具体为：

收集PCBA板图像数据，标注出图像中的缺陷区域和缺陷类型；

对图像数据进行预处理；

使用准备好的数据集对构建的CNN模型进行训练，在训练过程中，模型通过反向传播算法不断调整网络参数；

使用独立的测试数据集对训练好的模型进行评估，评估模型的性能和准确率；

通过模型对图像中的各个区域进行扫描，并预测每个区域是否存在缺陷以及缺陷的类型；

对模型识别和分类的结果进行展示。

7.根据权利要求6所述的基于深度学习的PCBA板自动检测方法，其特征在于：S6中，将缺陷位置定位的准确程度和缺陷的几何特征对PCBA板性能的影响程度进行综合分析，评估PCBA板的质量，具体为：

将缺陷数量离群指数和几何缺陷异常指数进行归一化处理，通过归一化处理后的缺陷数量离群指数和几何缺陷异常指数计算PCBA板的质量评估系数；

将PCBA板的质量评估系数与质量标准阈值进行比较，若PCBA板的质量评估系数大于等于质量标准阈值，此时发出质量正常信号，将相应的PCBA板标记为质量正常的PCBA板；若PCBA板的质量评估系数小于质量标准阈值，此时发出质量异常信号，将相应的PCBA板标记为质量异常的PCBA板。

8.基于深度学习的PCBA板自动检测***，用于实现权利要求1-7任一项所述的基于深度学习的PCBA板自动检测方法，其特征在于：包括推理模块、时间分析模块、推理时间划分模块、缺陷识别分类模块，缺陷定位模块以及质量评估模块；

推理模块：根据PCBA板自动检测场景的时间检测标准，针对所选的深度学习模型进行推理，并记录相应的推理时间数据；

时间分析模块：对收集到的推理时间数据进行分析，根据不同检测场景下PCBA板的时间检测标准，将推理时间划分为异常推理时间和正常推理时间；

推理时间划分模块：根据实际需求和推理时间数据的分布情况，确定正常推理时间中的推理时间阈值，根据推理时间阈值将推理时间划分为高效推理时间、一般推理时间和低效推理时间；

缺陷识别分类模块：对于低效推理时间，通过深度学习模型对PCBA板图像进行特征提取，并对PCBA板上的缺陷进行识别和分类；

缺陷定位模块：将检测到的PCBA板上的缺陷进行精细判定和定位，确定缺陷的位置和数量，判断缺陷位置定位的准确程度，并对缺陷的几何特征进行评估，确定其对PCBA板性能的影响程度；

质量评估模块：基于PCBA上检测到的缺陷，将缺陷位置定位的准确程度和缺陷的几何特征对PCBA板性能的影响程度进行综合分析，评估PCBA板的质量，并做出相应的处理决策。