CN116777877A - 电路板缺陷检测方法、装置、计算机设备及存储介质 - Google Patents

电路板缺陷检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN116777877A
CN116777877A CN202310756439.6A CN202310756439A CN116777877A CN 116777877 A CN116777877 A CN 116777877A CN 202310756439 A CN202310756439 A CN 202310756439A CN 116777877 A CN116777877 A CN 116777877A
Authority
CN
China
Prior art keywords
data
dimensional
point cloud
circuit board
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310756439.6A
Other languages
English (en)
Inventor
杜明臣
李魁雨
王学良
程伦新
吴书豪
陈怡帆
张笑虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Gridcom Co Ltd
Original Assignee
China Gridcom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Gridcom Co Ltd filed Critical China Gridcom Co Ltd
Priority to CN202310756439.6A priority Critical patent/CN116777877A/zh
Publication of CN116777877A publication Critical patent/CN116777877A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种电路板缺陷检测方法、装置、计算机设备及存储介质。首先，获取针对电路板采集的二维图像数据和三维点云数据；接着，基于二维图像数据以及三维点云数据进行目标检测，得到电路板中待检元器件的初始缺陷类别；然后，对采用二维图像数据和/或三维点云数据的类别校正用数据以及基准板与维度数量对应的基准数据进行形态学图形处理，得到电路板中待检元器件对应的校正用缺陷类别；最后，根据校正用缺陷类别和初始缺陷类别生成电路板中待检元器件的目标缺陷类别。通过使用校正用缺陷类别和初始缺陷类别对电路板的目标缺陷类别进行确定，可以节约人力成本，提高电路板缺陷检测的精度。

Description

电路板缺陷检测方法、装置、计算机设备及存储介质
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种电路板缺陷检测方法、装置、计算机设备及存储介质。
背景技术
为了提高电路板的性能和使用寿命，需要对电路板中元器件的缺陷进行准确检测。相关技术中，已经将2D目标检测应用在电路板缺陷检测领域，以得到电路板中元器件的缺陷类别。然而，基于2D目标检测的方式有待改进。
发明内容
本说明书实施方式旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本说明书实施方式提出一种电路板缺陷检测方法、装置、计算机设备及存储介质。
本说明书实施方式提供一种电路板缺陷检测方法，所述方法包括：
获取针对所述电路板采集的二维图像数据和三维点云数据；
基于所述二维图像数据以及所述三维点云数据进行目标检测，得到所述电路板中待检元器件的初始缺陷类别；所述电路板对应有质量达标的基准板；所述基准板具有与维度数量对应的基准数据；
对类别校正用数据以及所述基准数据进行形态学图形处理，得到所述电路板中待检元器件对应的校正用缺陷类别；其中，所述类别校正用数据采用所述二维图像数据和/或所述三维点云数据；
根据所述校正用缺陷类别和所述初始缺陷类别生成所述电路板中待检元器件的目标缺陷类别。
在其中一个实施方式，所述类别校正用数据的确定方式，包括：
基于所述初始缺陷类别对应的维度数量在所述二维图像数据和所述三维点云数据中确定所述类别校正用数据。
在其中一个实施方式，所述基于所述初始缺陷类别对应的维度数量在所述二维图像数据和所述三维点云数据中确定所述类别校正用数据，包括：
若所述初始缺陷类别中的第一部分类别对应的维度数量等于2，将所述二维图像数据用作校正所述第一部分类别的类别校正用数据；
若所述初始缺陷类别中的第二部分类别对应的维度数量等于3，将所述三维点云数据用作校正所述第二部分类别的类别校正用数据。
在其中一个实施方式，所述根据所述校正用缺陷类别和所述初始缺陷类别生成所述电路板中待检元器件的目标缺陷类别，包括：
将所述校正用缺陷类别和所述初始缺陷类别间的交集或者并集作为所述目标缺陷类别。
在其中一个实施方式，若所述初始缺陷类别中的第一部分类别对应的维度数量等于2，将所述二维图像数据用作校正所述第一部分类别的类别校正用数据；所述基准数据采用所述基准板的图像数据；所述对所述类别校正用数据以及所述基准数据进行形态学图形处理，得到所述电路板中待检元器件对应的校正用缺陷类别，至少包括以下之一：
根据所述二维图像数据提取所述电路板中待检元器件的待检区域轮廓；根据所述基准板的图像数据提取所述基准板中参考元器件的参考区域轮廓；基于所述待检区域轮廓与所述参考区域轮廓的相似比较结果，得到所述校正用缺陷类别；或者
基于所述二维图像数据以及所述基准板的图像数据进行相减操作，得到相减结果；根据所述基准板中参考元器件的参考区域轮廓以及所述相减结果进行比对处理，得到所述校正用缺陷类别。
在其中一个实施方式，若所述初始缺陷类别中的第二部分类别对应的维度数量等于3，将所述三维点云数据用作校正所述第二部分类别的类别校正用数据；所述基准数据采用所述基准板的点云数据；所述对所述类别校正用数据以及所述基准数据进行形态学图形处理，得到所述电路板中待检元器件对应的校正用缺陷类别，包括：
基于所述三维点云数据进行平面拟合处理，确定所述电路板中待检元器件的高度数据；
基于所述基准板的点云数据进行平面拟合处理，确定所述基准板中参考元器件的高度数据；
基于所述待检元器件的高度数据与所述参考元器件的高度数据间的一致性情况，得到所述校正用缺陷类别。
在其中一个实施方式，所述待检元器件的高度数据的确定方式与所述参考元器件的高度数据的确定方式相同；采用以下方式确定所述参考元器件的高度数据：
采用体素滤波方式对所述基准板的点云数据进行滤波处理，得到滤波后点云数据；
对所述滤波后点云数据进行旋转校正处理，得到校正后点云数据；
基于聚类算法对所述校正后点云数据进行平面拟合处理，得到所述基准板中参考元器件的高度数据。
在其中一个实施方式，所述基于所述二维图像数据以及所述三维点云数据进行目标检测，得到初始缺陷类别，包括：
对所述二维图像数据进行目标检测，得到二维边界框以及所述二维边界框对应的二维特征数据；
基于所述二维边界框以及所述三维点云数据进行映射处理，在所述三维点云数据中确定三维目标区域；
根据所述二维特征数据以及所述三维目标区域对应的三维特征数据在深度方向上进行目标检测，得到所述初始缺陷类别。
在其中一个实施方式，所述二维图像数据所处的平面记为目标平面；所述三维点云数据所处的空间记为目标空间；所述基于所述二维边界框以及所述三维点云数据进行映射处理，在所述三维点云数据中确定三维目标区域，包括：
将所述三维点云数据向所述目标平面进行投影，得到所述三维点云数据在所述目标平面上对应的二维平面点云；
根据所述二维边界框在所述二维平面点云进行查找，得到所述二维边界框在所述二维平面点云中的二维点云位置；
基于所述二维点云位置向所述目标空间进行逆投影，在所述三维点云数据中确定所述二维点云位置对应的三维目标区域。
在其中一个实施方式，所述根据所述二维特征数据以及所述三维目标区域对应的三维特征数据在所述深度方向上进行目标检测，得到所述初始缺陷类别，包括：
对所述三维目标区域进行点云局部特征提取，得到所述三维特征数据；
根据所述三维特征数据和所述二维特征数据间的融合特征进行分类处理，得到所述初始缺陷类别。
在其中一个实施方式，所述初始缺陷类别包括少锡、连锡、包锡、少件、空焊、划伤、翘脚、浮高中的至少一种；
其中，所述少锡、所述连锡、所述包锡、所述少件、所述空焊、所述划伤中的任一类别对应维度数量等于2；所述翘脚、所述浮高中的任一类别对应维度数量等于3。
本说明书实施方式提供一种电路板缺陷检测装置，所述装置包括：
电路板数据采集模块，用于获取针对所述电路板采集的二维图像数据和三维点云数据；
初始类别确定模块，用于基于所述二维图像数据以及所述三维点云数据进行目标检测，得到所述电路板中待检元器件的初始缺陷类别；所述电路板对应有质量达标的基准板；所述基准板具有与维度数量对应的基准数据；
校正类别确定模块，用于对类别校正用数据以及所述基准数据进行形态学图形处理，得到所述电路板中待检元器件对应的校正用缺陷类别；其中，所述类别校正用数据采用所述二维图像数据和/或所述三维点云数据；
目标类别确定模块，用于根据所述校正用缺陷类别和所述初始缺陷类别生成所述电路板中待检元器件的目标缺陷类别。
本说明书实施方式提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项实施方式所述的方法的步骤。
本说明书实施方式提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项实施方式所述的方法的步骤。
本说明书实施方式提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被计算机设备的处理器执行时，使得所述计算机设备能够执行上述任一项实施方式所述的方法的步骤。
上述说明书实施方式中，首先，获取针对电路板采集的二维图像数据和三维点云数据；接着，基于二维图像数据以及三维点云数据进行目标检测，得到电路板中待检元器件的初始缺陷类别；然后，对采用二维图像数据和/或三维点云数据的类别校正用数据以及基准板与维度数量对应的基准数据进行形态学图形处理，得到电路板中待检元器件对应的校正用缺陷类别；最后，根据校正用缺陷类别和初始缺陷类别生成电路板中待检元器件的目标缺陷类别。本实施方式中，融合二维图像数据以及三维点云数据进行目标检测，得到始缺陷类别，进一步地通过使用校正用缺陷类别对初始缺陷类别进行校准，得到电路板的目标缺陷类别，不仅可以提高电路板缺陷检测的精度，而且可以节约人力成本。
附图说明
图1a为本说明书实施方式提供的电路板缺陷检测检测方法的网络结构示意图；
图1b为本说明书实施方式提供的电路板缺陷检测检测方法的流程示意图；
图2为本说明书实施方式提供的确定校正用缺陷类别的流程示意图；
图3为本说明书实施方式提供的确定基准板中参考元器件的高度数据的流程示意图；
图4为本说明书实施方式提供的确定初始缺陷类别的流程示意图；
图5为本说明书实施方式提供的确定三维目标区域的流程示意图；
图6a为本说明书实施方式提供的确定初始缺陷类别的流程示意图；
图6b为本说明书实施方式提供的3D-FeNet网络结构示意图；
图6c为本说明书实施方式提供的3D-CFNet网络结构示意图；
图7为本说明书实施方式提供的电路板缺陷检测检测方法的流程示意图；
图8为本说明书实施方式提供的3D缺陷识别简要过程的示意图；
图9为本说明书实施方式提供的电路板缺陷检测装置的示意图；
图10为本说明书实施方式提供的计算机设备的内部结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
电路板在生产或使用过程中易出现缺损、划痕、凹坑、凸起等缺陷，即使是微小的缺陷也会影响电路板的性能和寿命。为了提升电路板的性能和使用寿命，需要对电路板进行缺陷检测。
相关技术中，将2D目标检测应用在缺陷检测领域，以得到电路板中元器件的缺陷类别。3D目标检测已经应用于自动驾驶领域，与常见3D目标检测场景不同，电路板缺陷检测场景的相机位置相对固定，元器件缺陷种类较多。因此，通用的3D目标检测网络模型难以直接对电路板进行缺陷检测，需要根据电路板缺陷检测的实际应用情况设计新型的3D目标检测网络模型。进一步地，电路板中元器件的缺陷尺寸较小，基于3D目标检测网络模型进行密集的小尺寸缺陷识别的性能有待提高，需要优化3D目标检测网络模型，进一步加强对小尺寸缺陷识别的检测能力。
电路板缺陷检测对精度要求较高，现有技术中的3D目标检测模型精度仍需进一步提高。相关技术中的2D目标检测网络模型在电路板缺陷检测领域表现出了优势，使2D目标检测网络模型在电路板缺陷检测领域得到了广泛的应用为了进一步提高电路板缺陷检测的精度，将2D目标检测模型应用到3D检测网络模型中。
基于此，本说明书实施方式提供一种电路板缺陷检测方法。首先，获取针对电路板采集的二维图像数据和三维点云数据；接着，基于二维图像数据以及三维点云数据进行目标检测，得到电路板中待检元器件的初始缺陷类别；然后，对采用二维图像数据和/或三维点云数据的类别校正用数据以及基准板与维度数量对应的基准数据进行形态学图形处理，得到电路板中待检元器件对应的校正用缺陷类别；最后，根据校正用缺陷类别和初始缺陷类别生成电路板中待检元器件的目标缺陷类别。基于二维图像数据以及三维点云数据进行目标检测，可以使3D缺陷检测应用场景包含传统的2D缺陷检测场景，扩展了2D检测范围，弥补了2D检测的不足，可以检测出在2D方式难以检测出的翘脚、浮高缺陷类别，在检测类别以及检测精度方面有所提升进一步地，融合二维图像数据以及三维点云数据进行目标检测，得到始缺陷类别。通过使用校正用缺陷类别和初始缺陷类别对电路板的目标缺陷类别进行确定，不仅可以提高电路板缺陷检测的精度，而且可以节约人力成本。
本说明书实施方式提供的方法可以应用在工业质检领域中的电路板缺陷检测领域。请参阅图1a，可以通过3D相机获得PCB(Printed Circuit Board，印刷电路板)的2D图像和3D点云数据。需要说明的是，2D图像为三通道的RGB图像。通过2D目标检测器，可以获得2D图像的2D边界框和二维特征数据。2D边界框所框选的元器件为目标元器件。2D边界框结合3D点云数据，可以在3D点云数据中确定目标元器件对应的区域。接着，利用PSA(Pillar SetAbstraction，柱面集合抽象)、SA(Set Abstraction，集合抽象)等方法对3D点云数据中目标元器件对应的区域进行特征提取，得到三维特征数据。然后，将二维特征数据和三维特征数据进行融合处理，得到融合特征。最后，通过3D目标细化网络对融合特征进行处理。可以得到元器件缺陷类别和该元器件在3D点云数据中的3D目标精细区域。其中，3D目标细化网络包括3D-FeNet网络和3D-CFNet网络。在通过3D目标细化网络对融合特征进行处理的过程中，使用3D-FeNet网络对融合特征进行提取，获得保留细节的抽象信息，在降低噪声的同时最大限度的保留模糊边界的梯度信息。使用3D-CFNet网络对特征通道间的相关性进行建模，通过强化重要特征进一步提升准确率。
本说明书实施方式提供一种电路板缺陷检测方法，请参阅图1b，该方法可以包括以下步骤：
S110、获取针对电路板采集的二维图像数据和三维点云数据。
其中，电路板可以是一种使用印刷技术制造的电子元器件载体。它主要由一块非导电性材料层，和在上面印制铜箔形成导线、电子元件连接点等组成。由于电路板具有耐热、耐腐蚀、重量轻、可靠性高等优点，因此被广泛应用于各种电子产品中(比如计算机、手机、电视机)。二维图像数据可以是在平面上表示的图像，通常由像素组成。比如二维图像数据可以是三通道的RGB图像。三维点云数据可以是由一组三维坐标点构成的数据集合，通常用于表示三维物体的形状和表面特征。每个点都包含了它在三维空间中的坐标位置，可以通过点的坐标和颜色信息来描述物体的表面特征和纹理信息。
在一些情况下，通过计算机视觉技术对二维图像数据进行分析和处理，可以确定维度数量等于2的元器件的缺陷类别。三维点云数据提供了深度信息，提供更丰富的细节信息来辅助电路板缺陷检测。通过三维点云数据，可以对维度数量等于3的元器件的缺陷类别进行检测。
具体地，使用二维图像数据采集设备，对电路板进行拍摄，可以得到电路板的二维图像数据。利用三维点云数据采集设备，对电路板进行扫描，可以得到电路板的三维点云数据。
示例性地，二维图像数据采集设备可以是照相机、扫描仪、鱼眼相机、摄像机、3D相机、激光扫描仪。三维点云数据采集设备可以是激光雷达、三维扫描仪。
在一些实施方式中，可以通过图像采集设备。对电路板进行拍摄和扫描，得到电路板的二维图像数据以及电路板的三维点云数据。示例性地，图像采集设备可以是采用结构光(Structured Light)或Time-Of-Flight(ToF)技术的深度相机。
在一些实施方式中，激光雷达通过向电路板表面发射激光脉冲，并根据反射回来的激光信号获取电路板的几何形状和轮廓信息，从而生成电路板的三维点云数据。
在另一些实施方式中，可以通过3D相机、立体视觉相机、摄影测量仪中的任一种3D图像采集设备，对电路板进行视觉采集，得到电路板的三维点云数据。需要说明的是，在实际应用中，可以根据具体情况，对从三维点云数据进行去除无效点、滤波平滑等额外的处理，以获得更精确的点云数据。
S120、基于二维图像数据以及三维点云数据进行目标检测，得到电路板中待检元器件的初始缺陷类别。
其中，电路板对应有质量达标的基准板；基准板具有与维度数量对应的基准数据。待检元器件可以是需要进行缺陷检测的电路板所包含的元器件种类。比如当电路板包含电容、电阻、二极管、芯片、晶体管时，待检元器件可以是电容、芯片、二极管。初始缺陷类别可以包括第一部分类别和第二部分类别，第一部分类别(比如少锡、少件、划伤)对应的维度数量等于2，第二部分类别(比如翘脚、浮高)对应的维度数量等于3。基准板是由制造商按照设计规范制造的具有良好质量和准确性的电路板，基准板中的元器件是符合设计规格和质量标准的。基准板可以用于在电路板缺陷检测过程中与待检测电路板进行对比，以便检测出待检测电路板中待检元器件的缺陷类别。在本实施方式中，维度数量可以等于2，或者维度数量可以等于3。基准数据可以基准板的二维图像数据，也可以是基准板的三维点云数据。
在一些情况下，由于相机视野范围或者特性的限制，二维机器视觉的性能容易受到光照、零件颜色等因素的干扰。因此，依靠二维机器视觉传感器进行缺陷检测的效果缺乏可靠性。为了检测具有明显深度信息的缺陷检测问题，可以基于3D检测方法对3D点云数据进行处理，以得到维度数量等于3的缺陷类别。因此，基于二维图像数据以及三维点云数据进行目标检测，可以综合利用两种数据的优势，提高缺陷检测的准确率和可靠性。
具体地，确定电路板中的需要进行缺陷检测的待检元器件。可以根据电路板的二维图像数据进行目标检测，得到电路板中待检元器件的部分初始缺陷类别。也可以根据电路板的三维点云数据进行目标检测，得到电路板中待检元器件的部分初始缺陷类别，基于这两部分初始缺陷类别确定电路板中待检元器件的初始缺陷类别。需要说明的是，在输出电路板中待检元器件的初始缺陷类别时，还会输出该待检元器件的位置数据，以确定有缺陷的元器件所在位置，以便对其进行维修或者更换。其中，位置数据可以是在二维图像数据所在位置的数据或者是在三维点云数据中所在位置的数据。在一些实施方式中，可以将对二维图像数据检测到的结果用于三维目标检测过程中，最终通过三维目标检测过程输出初始缺陷类别。
S130、对类别校正用数据以及基准数据进行形态学图形处理，得到电路板中待检元器件对应的校正用缺陷类别。
S140、根据校正用缺陷类别和初始缺陷类别生成电路板中待检元器件的目标缺陷类别。
其中，类别校正用数据采用二维图像数据和/或三维点云数据。形态学图形处理可以是一种基于形态学原理的图像处理方法，用于分析和处理二值图像或灰度图像中的形状和结构。形态学图像处理可以提取图像中的形状和结构信息、去除噪声、分割图像、检测边缘。校正用缺陷类别可以包括第一部分类别和第二部分类别，第一部分类别(比如少锡、少件、划伤)对应的维度数量等于2，第二部分类别(比如翘脚、浮高)对应的维度数量等于3。目标缺陷类别可以是电路板中最终确定的存在缺陷的待检元器件的缺陷类别。
在一些情况下，电路板缺陷检测场景具有特殊性，由于生产现场可以安排人员进行二次检测，此时要求电路板缺陷检测模型要尽可能减少漏检的情况，而对误检的容忍度较高。电路板缺陷检测模型输出大量误检的结果，因此需要对电路板缺陷检测模型的输出结果进行二次判定，以降低漏检率。或者，要求电路板缺陷检测模型要尽可能减少误检的情况，而对漏检的容忍度较高。因此需要对电路板缺陷检测模型的输出结果进行二次判定，以降低误检率。在进行二次判定时，首先确定校正用缺陷类别，然后根据校正用缺陷类别和初始缺陷类别进行二次判定，提高电路板缺陷检测的准确性。
具体地，对电路板的二维图像数据以及基准板的二维图像数据进行形态学图形处理，确定与基准板存在显著性差异的待检元器件，从而得到电路板中待检元器件对应的维度数量等于2的校正用缺陷类别。将维度数量等于2的校正用缺陷类别与维度数量等于2的初始缺陷类别进行交并运算，确定电路板中待检元器件的维度数量等于2的目标缺陷类别。对电路板的三维点云数据以及基准板的三维点云数据进行形态学图形处理，确定与基准板存在显著性差异的待检元器件，从而得到电路板中待检元器件对应的维度数量等于3的校正用缺陷类别。将维度数量等于3的校正用缺陷类别与维度数量等于3的初始缺陷类别进行交并运算，确定电路板中待检元器件的维度数量等于3的目标缺陷类别。
需要说明的是，在输出任一待检元器件的校正用缺陷类别或者目标缺陷类别的同时，输出该任一待检元器件的位置数据，位置数据可以是在二维图像数据所在位置的数据或者是在三维点云数据中所在位置的数据。
上述实施方式中，首先，获取针对电路板采集的二维图像数据和三维点云数据；接着，基于二维图像数据以及三维点云数据进行目标检测，得到电路板中待检元器件的初始缺陷类别；然后，对采用二维图像数据和/或三维点云数据的类别校正用数据以及基准板与维度数量对应的基准数据进行形态学图形处理，得到电路板中待检元器件对应的校正用缺陷类别；最后，根据校正用缺陷类别和初始缺陷类别生成电路板中待检元器件的目标缺陷类别。本实施方式中，融合二维图像数据以及三维点云数据进行目标检测，得到始缺陷类别，进一步地通过使用校正用缺陷类别对初始缺陷类别进行校准，得到电路板的目标缺陷类别，不仅可以提高电路板缺陷检测的精度，而且可以节约人力成本。
在一些实施方式中，类别校正用数据的确定方式，包括：基于初始缺陷类别对应的维度数量在二维图像数据和三维点云数据中确定类别校正用数据。
具体地，当初始缺陷类别(比如划痕、少件)对应的维度数量等于2时，确定类别校正用数据为电路板的二维图像数据。当初始缺陷类别(比如翘脚)对应的维度数量等于3时，确定类别校正用数据为电路板的三维点云数据。当初始缺陷类别(比如划痕、少件、翘脚)既有维度数量等于2的初始缺陷类别又有维度数量等于3的初始缺陷类别时，确定类别校正用数据为电路板的二维图像数据和三维点云数据。
上述实施方式中，基于初始缺陷类别对应的维度数量确定二次校正所需的类别校正用数据，使用二维图像数据、三维点云数据作为类别校正用数据进行二次校正，以减少数据处理的计算量，提升二次校正的针对性。
在一些实施方式中，基于初始缺陷类别对应的维度数量在二维图像数据和三维点云数据中确定类别校正用数据，包括：
若初始缺陷类别中的第一部分类别对应的维度数量等于2，将二维图像数据用作校正第一部分类别的类别校正用数据。
若初始缺陷类别中的第二部分类别对应的维度数量等于3，将三维点云数据用作校正第二部分类别的类别校正用数据。
其中，第一部分类别为初始缺陷类别中的部分，第一部分类别可以是维度数量等于2的初始缺陷类别。第二部分类别为初始缺陷类别中的部分，第二部分类别可以是维度数量等于3的初始缺陷类别。
具体地，当初始缺陷类别中的第一部分类别对应的维度数量等于2时，确定第一部分类别的类别校正用数据为电路板的二维图像数据。当初始缺陷类别中的第二部分类别对应的维度数量等于3时，确定第二部分类别的类别校正用数据为电路板的三维点云数据。
示例性地，初始缺陷类别包括划痕、少件、空焊、翘脚。由此，可以确定初始缺陷类别中的第一部分类别包括划痕、少件、空焊，初始缺陷类别中的第二部分类别包括翘脚。第一部分类别对应的维度数量等于2，确定第一部分类别的类别校正用数据为电路板的二维图像数据。第二部分类别对应的维度数量等于3，确定第二部分类别的类别校正用数据为电路板的三维点云数据。
上述实施方式中，基于初始缺陷类别确定二次校正所需的类别校正用数据，当类别校正用数据采用二维图像数据或者三维点云数据时，可以利用二维图像数据或者三维点云数据进行二次校正，减少数据处理的计算量，提升二次校正的针对性。
在一些实施方式中，根据校正用缺陷类别和初始缺陷类别生成电路板中待检元器件的目标缺陷类别，包括：将校正用缺陷类别和初始缺陷类别间的交集或者并集作为电路板的目标缺陷类别。
具体地，基于具体的应用场景和需求，确定减少误检率还是减少漏检率。当目标缺陷类别需要减少误检率时，将校正用缺陷类别和初始缺陷类别间的交集作为电路板的目标缺陷类别。当目标缺陷类别需要减少漏检率时，将校正用缺陷类别和初始缺陷类别间的并集作为电路板的目标缺陷类别。
示例性地，初始缺陷类别包括少锡(X1，Y1，W1，H1)、少锡(X2，Y2，W1，H1)、少件(X3，Y3，W3，H3)、翘脚(X4，Y4，Z4，L4，W4，H4)、浮高(X5，Y5，Z5，L5，W5，H5)。校正用缺陷类别包括少锡(X1，Y1，W1，H1)、划伤(X6，Y6，W1，H1)、少件(X3，Y3，W3，H3)、翘脚(X4，Y4，Z4，L4，W4，H4)、翘脚(X7，Y7，Z7，L5，W5，H5)。
当目标缺陷类别需要减少误检率时，将校正用缺陷类别和初始缺陷类别间的交集,即少锡(X1，Y1，W1，H1)、少件(X3，Y3，W3，H3)、翘脚(X4，Y4，Z4，L4，W4，H4)作为电路板的目标缺陷类别。
当目标缺陷类别需要减少漏检率时，将校正用缺陷类别和初始缺陷类别间的并集，即少锡(X1，Y1，W1，H1)、少锡(X2，Y2，W1，H1)、少件(X3，Y3，W3，H3)、翘脚(X4，Y4，Z4，L4，W4，H4)、浮高(X5，Y5，Z5，L5，W5，H5)、划伤(X6，Y6，W1，H1)、翘脚(X7，Y7，Z7，L5，W5，H5)。作为电路板的目标缺陷类别。
上述实施方式中，将校正用缺陷类别和初始缺陷类别间的交集为电路板的目标缺陷类别，可以容忍漏检的情况，减少电路板缺陷检测的误检率。将校正用缺陷类别和初始缺陷类别间的并集为电路板的目标缺陷类别，可以容忍误检的情况，减少电路板缺陷检测的漏检率。
在一些实施方式中，若初始缺陷类别中的第一部分类别对应的维度数量等于2，将二维图像数据用作校正第一部分类别的类别校正用数据；基准数据采用基准板的图像数据。对类别校正用数据以及基准数据进行形态学图形处理，得到电路板对应的校正用缺陷类别，至少包括以下之一：
根据二维图像数据提取电路板中待检元器件的待检区域轮廓；根据基准板的图像数据提取基准板中参考元器件的参考区域轮廓；基于待检区域轮廓与参考区域轮廓的相似比较结果，得到电路板对应的校正用缺陷类别。或者
基于二维图像数据以及基准板的图像数据进行相减操作，得到相减结果；根据基准板中参考元器件的参考区域轮廓以及相减结果进行比对处理，得到校正用缺陷类别。
其中，相似比较可以是指通过比较待检元器件与参考元器件之间的相似程度来评估它们的相似性，以得到电路板对应的校正用缺陷类别。
在一些情况下，基于待检区域轮廓以及参考区域轮廓间的相似度计算结果，确定不同缺陷类别之间的相似阈值。相似阈值可以根据样本的分布特征、缺陷类别的区分度等进行判断。相似阈值为多个，阈值可以是相似阈值中额最小值。
具体地，基于二维图像数据与基准板图像数据的四个焦点，将二维图像数据进行图像拉伸、缩放处理，得到与基准板的图像数据尺寸相同的二维图像数据。对二维图像数据进行目标检测，从二维图像数据中提取电路板中待检元器件的待检区域轮廓。对基准板的图像数据进行目标检测，从基准板的图像数据中提取基准板中参考元器件的参考区域轮廓。对待检区域轮廓内的待检元器件与参考区域轮廓内的参考元器件进行相似度计算，得到待检区域轮廓与参考区域轮廓的相似比较结果。将相似比较结果与阈值进行比较，当待检区域轮廓与参考区域轮廓的相似比较结果大于阈值时，再根据相似比较结果与相似阈值的比较结果，将电路板中待检元器件分类为对应的校正用缺陷类别。当待检区域轮廓与参考区域轮廓的相似比较结果小于阈值时，将电路板中待检元器件分类为正常。示例性地，相似比较结果可以通过特征提取与比较的方式、图像匹配算法(比如SIFT、SURF、ORB等)、电性参数比较的方式进行确定。
基于二维图像数据与基准板图像数据的四个焦点，将二维图像数据进行图像拉伸、缩放处理，得到与基准板的图像数据尺寸相同的二维图像数据。对与基准板的图像数据尺寸相同的二维图像数据、基准板的图像数据进行灰度处理，得到灰度二维图像数据与灰度基准板的图像数据。对灰度二维图像数据与灰度基准板的图像数据进行预处理(比如形态学处理以及边缘检测)，提取所有待检元器件和参考元器件的轮廓。将经过预处理的灰度二维图像数据与灰度基准板的图像数据进行相减操作，得到相减结果。当相减结果显示为黑色时，可以认为该待检元器件正常，当相减结果显示为白色时，可以认为该待检元器件存在缺陷。其中，相减结果对应有阈值。当相减结果大于阈值时，看可以认为待检元器件与参考元器件在相应位置的像素值有明显差异，显示为白色；当相减结果小于阈值时，可以认为待检元器件与参考元器件在相应位置的像素值相等或非常接近，认为待检元器件与参考元器件之间没有明显差异，显示为黑色。
示例性地，焊点上的锡量不足(少锡)、焊点之间的短路(连锡)、空焊和焊点上的锡量过多(包锡)可以通过分析焊点的白色区域形状以及缺陷面积(白色区域面积)与正常区域面积的比值来进行确定。元器件缺失(少件)和划伤可以通过比较白色区域的形状、白色区域的大小、纹理等视觉特征，在二维图像数据中检测到少件或划伤的缺陷类型。
在一些实施方式中，当二维图像数据或基准板的图像数据中除了电路板数据还存在背景数据时，通过对二维图像数据或基准板的图像数据进行裁切，得到只包含电路板数据的二维图像数据或基准板图像数据，以实现去除二维图像数据或基准板图像数据中的背景噪声数据。
上述实施方式中，通过确定校正用缺陷类别，以实现对电路板的二次校正，提高电路板缺陷检测的准确率。
在一些实施方式中，请参阅图2，若初始缺陷类别中的第二部分类别对应的维度数量等于3，将三维点云数据用作校正第二部分类别的类别校正用数据；基准数据采用基准板的点云数据。对类别校正用数据以及基准数据进行形态学图形处理，得到电路板对应的校正用缺陷类别，可以包括以下步骤：
S210、基于三维点云数据进行平面拟合处理，确定电路板中待检元器件的高度数据。
S220、基于基准板的点云数据进行平面拟合处理，确定基准板中参考元器件的高度数据。
S230、基于待检元器件的高度数据与参考元器件的高度数据间的一致性情况，得到电路板对应的校正用缺陷类别。
在一些情况下，在电路板中，元器件的高度通常可以近似地看作是一个平面。当元器件安装在一个平坦的基板或表面上时，元器件的顶部和底部高度可以通过拟合一个平面来近似表示。通过收集元器件的顶部和底部的二维点数据，可以使用平面拟合方法找到最佳拟合平面。拟合平面的系数可以提供元器件的高度信息，其中拟合平面的截距可以表示元器件的基准高度。
具体地，对电路板的三维点云数据进行平面拟合处理，得到电路板中待检元器件的高度数据。对基准板的点云数据进行平面拟合处理，得到基准板中参考元器件的高度数据。当待检元器件的高度数据与参考元器件的高度数据间的差值小于阈值时，可以认为待检元器件正常。当待检元器件的高度数据与参考元器件的高度数据间的差值大于阈值时，可以认为待检元器件存在缺陷。当元器件四周的引脚的高度与参考元器件的高度数据间的差值大于阈值时，可以认为电路板中待检元器件的校正用缺陷类别为翘脚。当元器件整体的高度与参考元器件的高度数据间的差值大于阈值时，可以认为电路板中待检元器件的校正用缺陷类别为浮高。其中，阈值可以根据具体应用和需求进行设置。比如阈值可以是0.1，可以是0.2。
上述实施方式中，基于待检元器件的高度数据与参考元器件的高度数据间的一致性情况，可以对待检元器件的安装情况进行判断和质量控制。如果待检元器件的高度偏离了预定的阈值，认为待检元器件存在缺陷。通过对点云数据进行平面拟合处理，可以提供有效的质量控制手段，有效地检测出高度上的缺陷。
在一些实施方式中，请参阅图3，待检元器件的高度数据的确定方式与参考元器件的高度数据的确定方式相同；采用以下方式确定参考元器件的高度数据：
S310、采用体素滤波方式对基准板的点云数据进行滤波处理，得到滤波后点云数据。
S320、对滤波后点云数据进行旋转校正处理，得到校正后点云数据。
S330、基于聚类算法对校正后点云数据进行平面拟合处理，得到基准板中参考元器件的高度数据。
其中，体素滤波可以是一种用于处理三维点云数据的滤波方法。它将点云数据划分为小立方体(体素)，并对每个体素内的点进行处理，以达到降噪、平滑或稀疏化的目的。
具体地，由于基准板的点云数据量较大，为了提升计算的性能，采用体素滤波方式对基准板的点云数据进行滤波处理，得到校正后点云数据。由于生产线上电路板的摆放具有随机性，电路板在平面上可能存在倾斜(比如倾斜30°、倾斜45°)。为了减少电路板的倾斜角度对缺陷检测的影响，对滤波后点云数据进行旋转校正处理，得到校正后点云数据。通过聚类算法对校正后点云数据进行平面拟合处理，得到基准板中参考元器件的高度数据。
上述实施方式中，通过确定基准板中参考元器件的高度数据，为后续基于待检元器件的高度数据与参考元器件的高度数据间的一致性情况，得到电路板对应的校正用缺陷类别提供数据基础。
在一些实施方式中，请参阅图4，基于二维图像数据以及三维点云数据进行目标检测，得到初始缺陷类别，可以包括以下步骤：
S410、对二维图像数据进行目标检测，得到二维边界框以及二维边界框对应的二维特征数据。
S420、基于二维边界框以及三维点云数据进行映射处理，在三维点云数据中确定三维目标区域。
S430、根据二维特征数据以及三维目标区域对应的三维特征数据在深度方向上进行目标检测，得到初始缺陷类别。
其中，二维边界框用于标识二维图像数据中待检元器件的位置和范围。二维边界框可以用于定位待检元器件的位置，并提供待检元器件的尺寸和形状信息。二维特征数据包括二维边界框的位置坐标。
具体地，对二维图像数据进行目标检测，得到待检元器件的二维边界框以及二维边界框对应的二维特征数据。该二维边界框的坐标为待检元器件在二维图像数据中的图像坐标系坐标。进一步地，二维图像数据中分布若干像素点，检测得到的二维边界框的坐标可以视为二维边界框某个顶点的像素点坐标。基于二维边界框以及三维点云数据进行映射处理，在三维点云数据中确定二维边界框对应的三维目标区域。对三维目标区域进行特征提取，得到三维目标区域对应的三维特征数据。在深度方向上，对二维特征数据以及三维目标区域对应的三维特征数据进行目标检测，得到初始缺陷类别。
示例性地，目标检测可以通过目标检测模型进行实现。目标检测模型的训练样本集可以是待检元器件，目标检测模型的输出结果为元器件缺陷类别。目标检测模型可以采用深度学习网络。目标检测模型也可以采用SSD(Single Shot MultiBox Detector)模型。可以将目标检测模型部署在云端服务器。
上述实施方式中，通过确定初始缺陷类别，可以为后续进行二次校正提供类别校正用数据的依据以及二次校正的数据基础。
在一些实施方式中，请参阅图5，二维图像数据所处的平面记为目标平面；三维点云数据所处的空间记为目标空间；基于二维边界框以及三维点云数据进行映射处理，在三维点云数据中确定三维目标区域，可以包括以下步骤：
S510、将三维点云数据向目标平面进行投影，得到三维点云数据在目标平面上对应的二维平面点云。
其中，目标平面可以是三维点云数据需要投影到的平面，目标平面可以是二维图像数据所在的平面。
具体地，根据目标平面，将三维点云数据的坐标系转换为与目标平面相对应的二维坐标系，以实现将三维点云数据投影到目标平面上。对于每个三维点云数据，可以根据三维点云数据与平面的距离或投影线的交点，计算该三维点云数据在二维坐标系中的投影位置。根据二维坐标系中的投影位置，得到三维点云数据在目标平面上对应的二维平面点云。
S520、根据二维边界框在二维平面点云进行查找，得到二维边界框在二维平面点云中的二维点云位置。
在一些情况下，在将三维点云数据投影到目标平面上时，尺寸可能会发生变化。这是由于投影过程中，点云在垂直于平面的方向上发生了压缩。远离平面的点在投影过程中需要被压缩到较小的区域，从而导致它们在二维平面上的尺寸相对较大。
具体地，当三维点云数据在目标平面上对应的二维平面点云数据的尺寸与二维图像数据的尺寸不一致时，可以对目标平面上对应的二维平面点云数据进行缩放处理，使目标平面上对应的二维平面点云数据与二维图像数据的尺寸一致。由于二维图像数据的检测结果中包括二维边界框以及二维边界框对应的二维特征数据，因此，基于二维边界框，在平面二维点云中进行查找，得到二维边界框在二维平面点云中的二维点云位置。
S530、基于二维点云位置向目标空间进行逆投影，在三维点云数据中确定二维点云位置对应的三维目标区域。
其中，目标空间可以是三维点云数据所在的空间。
在一些情况下，逆投影的深度数值是一个范围，而不是一个确定的值，是因为在投影过程中会有一些信息的丢失和不确定性，这会导致逆投影的深度数值存在一定的模糊性。在投影过程中，将三维点云数据映射到目标平面上时，会将三维点云数据的深度信息转换为像素位置。然而，在这个过程中，一些细节和精确的深度信息可能会丢失。例如，深度传感器的精度、光照条件、纹理缺失等因素都可能导致深度信息的不准确性。因此，在进行逆投影时，无法精确地将像素位置转换为一个确定的深度数值。相反，逆投影的结果通常是一个深度范围，表示在该像素位置周围可能存在的深度值的范围。这个范围反映了投影过程中的不确定性和信息损失。因此，在确定深度的范围后，需要结合3D目标细化网络进一步检测深度信息，得到更准确的深度数据。需要说明的是，本实施例中的深度数据等同于高度数据。
在一些情况下，如果二维点云数据是通过在三维空间中的平面上进行投影得到的，那么逆投影回三维空间时，点云的尺寸可能会变大。这是由于在投影过程中，点云在平面上发生了压缩，导致平面上的点云密度增加。当将二维点云逆投影回三维空间时，点云在垂直于平面的方向上需要被拉伸，从而导致点云的尺寸在该方向上变大。
具体地，将二维点云的坐标系转换为与三维坐标系相对应的坐标系。对于每个二维点云，根据坐标系转换后的值，将其逆投影回目标空间。根据逆投影计算得到的三维坐标，生成对应的逆投影三维点云数据。当逆投影三维点云数据的尺寸大于三维点云数据时，对逆投影三维点云数据进行缩放处理，使逆投影三维点云数据与三维点云数据的尺寸一致。根据逆投影三维点云数据中二维点云位置，在三维点云数据中确定二维点云位置对应的三维目标区域。
上述实施方式中，通过将三维点云数据投影到目标平面上，可以将数据从高维空间降低到二维空间，从而简化了数据的复杂性。逆投影回三维点云数据时，可以在三维点云数据中确定二维点云位置对应的三维目标区域，从而控制数据的维度和复杂性。
在一些实施方式中，请参阅图6a，根据二维特征数据以及三维目标区域对应的三维特征数据在深度方向上进行目标检测，得到初始缺陷类别，可以包括以下步骤：
S610、对三维目标区域进行点云局部特征提取，得到三维特征数据。
具体地，通过柱体结构的聚合操作对三维目标区域内的点云数据进行划分操作，得到划分后点云数据。对划分后点云数据进行局部特征提取，得到三维特征数据。
示例性地，针对小尺寸目标问题，将PSA模块集成到3D目标检测网络中，以扩大编码网络的感受野，提升对小目标的检测精度。基于通过柱体结构的聚合操作，采用PSA模块在Z轴扩大体素边界将点云数据划分为多个柱状结构。在聚合点云时，首先使用FPS(Farthest Point Sampling)算法采样关键点，并且在PSA模块中学习特征。然后使用柱体查询(pillar query)操作来扩大编码网络的感受野，并利用基于柱体结构的聚合操作划分点云数据。基于柱体的聚合操作即使使用一个关键点也可以覆盖到绝大多数的点云数据。为后续的多层神经网络(MLP)提供了更多的有效点，可以帮助网络学习到更丰富的局部特征，有利于提取更准确的目标边界位置。需要说明的是，也可以使用SA(Set Abstraction)模块、卷积神经网络实现对三维目标区域进行点云局部特征提取，得到三维特征数据。
在一些情况下，使用PSA模块将密集的点云数据转化为稀疏的抽象表示，将点云中的点分组成一系列的“圆柱形结构”(piller)，为后续的3D-FeNet网络提供更多的有效点，帮助网络学习到更多的3D特征。
S620、根据三维特征数据和二维特征数据间的融合特征进行分类处理，得到初始缺陷类别。
具体地，将三维特征数据和二维特征数据进行特征拼接操作，得到融合特征。通过空间通道注意力机制，对融合特征进行多尺度特征提取，得到点云前景概率数据。对点云前景概率数据进行加权处理，得到初始缺陷类别。
示例性地，3D目标细化网络包括3D-FeNet(Feature extraction network)网络和3D-CFNet(Channel fusion network)网络。基于UNet多特征提取的结构，设计了一种新型的3D-FeNet(Feature extraction network)网络。通过3D-FeNet网络，对融合特征进行多尺度特征提取，得到点云前景概率数据。
3D-FeNet网络的输入为三维特征数据和二维特征数据的融合特征，融合特征的结构形式为XYZ三个方向的三维特征数据以及三个通道的RGB图像的二维特征数据进行拼接得到的特征数据。3D-FeNet网络输出每个点云为前景或背景的概率数据。
请参阅图6b，3D-FeNet网络为特征金字塔结构，3D-FeNet网络利用了空间通道注意力机制，有利于在高级特征处捕获具有较大感受野的多尺度信息。3D-FeNet网络先执行5次卷积及4次下采样操作，再执行一次相同维度的卷积，然后执行3次卷积及3次上采样操作，最后再执行两次卷积操作，输出点云为前景或背景的概率数据。图中C_SAC_U(Concatenate，Spatial-Channel Attention，Upsampling)表示同时执行特征拼接、空间及通道注意力机制、上采样三种操作。向下箭头表示使用膨胀率为1、2、3的空洞卷积(Convolution with different dilation rates of 1，2，3)，向上箭头表示使用普通卷积(Convolution，no dilation)。
示例性地，基于特征通道间的关系和SENet的结构，设计了一种新型的3D-CFNet(Channel fusion network)网络。3D-CFNet网络主要用于对点云前景概率数据进行加权处理，得到初始缺陷类别。3D-CFNet网络的输入是来自3D-FeNet网络输出的前景三维点云数据以及二维特征数据。请参阅图6c，3D-CFNet网络首先执行两次卷积操作获得高维点云特征，然后再次执行两次卷积运算获得CFNet模块的输入特征。然后使用全局最大池化挤压操作将空间信息聚合到信道特征中，随后通过两个全连接层和sigmoid函数执行激活操作。通过上述操作获得所有信道特征之间相关性。然后将原始特征乘以特定系数，实现对3D点云特征通道的重新加权。随后执行逐点卷积运算以将重新加权的特征升级到512维，然后使用三个全连接层来估计3D边界框的大小及位置参数，以减少信息丢失，最后输出检测缺陷的类别及位置信息。
需要说明的是，UNet是特征金字塔结构，包含编码器和解码器，编码器通过多次下采样，提取包括边缘、形状、语义等不同层次的特征，解码器融合多层次特征进行解码。相比于全卷积网络(FCN)直接对高层语义特征进行解码，UNet增加了不同层次特征的交互、融合，特征表示能力更强。电子元器件表现出多尺度、形态差异大的特点，UNet的特征金字塔结构能够提升对不同尺度特征的学习能力。编码不同层次特征的横向连接，可以加强整个网络的特征传导，能够缓解梯度消失问题，从而提升网络的学习能力，以达到优化网络的目的。
3D-CFNett通过学习的方式自动获取每个特征通道的重要程度，然后依照重要程度去提升有用的特征并抑制对当前任务作用不大的特征。通过对特征通道间的相关性进行建模，强化重要特征来提升准确率。
上述实施方式中，对三维目标区域进行点云局部特征提取，得到三维特征数据，根据三维特征数据和二维特征数据间的融合特征进行分类处理，得到初始缺陷类别。通过确定初始缺陷类别，可以为后续进行二次校正提供类别校正用数据的依据以及二次校正的数据基础。
在一些实施方式中，初始缺陷类别包括少锡、连锡、包锡、少件、空焊、划伤、翘脚、浮高中的至少一种。
其中，少锡、连锡、包锡、少件、空焊、划伤中的任一类别对应维度数量等于2；翘脚、浮高中的任一类别对应维度数量等于3。
在一些情况下，少锡、连锡、包锡中的任一类别可以在元器件的表面或焊盘上直接观察到，因此可以通过二维图像数据来进行检测。少件、空焊、划伤中的任一类别可以导致元器件外观的可见变化，因此可以通过二维图像数据来进行检测。因此，少锡、连锡、包锡、少件、空焊、划伤中的任一类别对应维度数量等于2。翘脚和浮高是涉及元器件与电路板之间的空间关系。翘脚和浮高可能导致元器件与焊盘之间存在间隙或不完全***焊盘中，难以通过二维图像数据进行检测，需要通过三维点云数据进行检测。因此，翘脚、浮高中的任一类别对应维度数量等于3。
本说明书实施方式还提供一种电路板缺陷检测方法，电路板对应有质量达标的基准板；基准板具有与维度数量对应的基准数据；二维图像数据所处的平面记为目标平面；三维点云数据所处的空间记为目标空间；初始缺陷类别包括少锡、连锡、包锡、少件、空焊、划伤、翘脚、浮高中的至少一种；其中，少锡、连锡、包锡、少件、空焊、划伤中的任一类别对应维度数量等于2；翘脚、浮高中的任一类别对应维度数量等于3。示例性地，请参阅图7，该电路板缺陷检测方法可以包括以下步骤：
S702、获取针对电路板采集的二维图像数据和三维点云数据。
S704、对二维图像数据进行目标检测，得到二维边界框以及二维边界框对应的二维特征数据。
S706、将三维点云数据向目标平面进行投影，得到三维点云数据在目标平面上对应的二维平面点云。
S708、根据二维边界框在二维平面点云进行查找，得到二维边界框在二维平面点云中的二维点云位置。
S710、基于二维点云位置向目标空间进行逆投影，在三维点云数据中确定二维点云位置对应的三维目标区域。
S712、对三维目标区域进行点云局部特征提取，得到三维特征数据。
S714、根据三维特征数据和二维特征数据间的融合特征进行分类处理，得到初始缺陷类别。
S716、若初始缺陷类别中的第一部分类别对应的维度数量等于2，将二维图像数据用作校正第一部分类别的类别校正用数据。
S718、根据二维图像数据提取电路板中待检元器件的待检区域轮廓；根据基准板的图像数据提取基准板中参考元器件的参考区域轮廓；基于待检区域轮廓与参考区域轮廓的相似比较结果，得到电路板对应的校正用缺陷类别。
S720、若初始缺陷类别中的第二部分类别对应的维度数量等于3，将三维点云数据用作校正第二部分类别的类别校正用数据。
S722、基于三维点云数据进行平面拟合处理，确定电路板中待检元器件的高度数据。
S724、基于基准板的点云数据进行平面拟合处理，确定基准板中参考元器件的高度数据。
具体地，采用体素滤波方式对基准板的点云数据进行滤波处理，得到滤波后点云数据；对滤波后点云数据进行旋转校正处理，得到校正后点云数据；基于聚类算法对校正后点云数据进行平面拟合处理，得到基准板中参考元器件的高度数据。
S726、基于待检元器件的高度数据与参考元器件的高度数据间的一致性情况，得到电路板对应的校正用缺陷类别。
S728、将校正用缺陷类别和初始缺陷类别间的交集或者并集作为电路板的目标缺陷类别。
请参阅图8，图8以某块印制电路板为例，简要示意识别出浮高及翘脚缺陷的过程。其中，A为对采集的电路板RGB图像进行灰度化，B为采集电路板点云，C为对元器件点云进行检测和切割，D为拟合元器件平面，E为检测浮高缺陷，F为检测翘脚缺陷。
本说明书实施方式提供一种电路板缺陷检测装置900，请参阅图9，电路板缺陷检测装置900包括：电路板数据采集模块910、初始类别确定模块920、校正类别确定模块930、目标类别确定模块940。
电路板数据采集模块910，用于获取针对所述电路板采集的二维图像数据和三维点云数据；
初始类别确定模块920，用于基于所述二维图像数据以及所述三维点云数据进行目标检测，得到所述电路板中待检元器件的初始缺陷类别；所述电路板对应有质量达标的基准板；所述基准板具有与维度数量对应的基准数据；
校正类别确定模块930，用于对类别校正用数据以及所述基准数据进行形态学图形处理，得到所述电路板中待检元器件对应的校正用缺陷类别；其中，所述类别校正用数据采用所述二维图像数据和/或所述三维点云数据；
目标类别确定模块940，用于根据所述校正用缺陷类别和所述初始缺陷类别生成所述电路板中待检元器件的目标缺陷类别。
关于电路板缺陷检测装置的具体描述，可以参见上文中对电路板缺陷检测方法的描述，在此不再赘述。
在一些实施方式中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述实施方式中的方法步骤。
本说明书实施方式提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项实施方式中的方法的步骤。
本说明书的一个实施方式提供一种计算机程序产品，计算机程序产品中包括指令，指令被计算机设备的处理器执行时，使得计算机设备能够执行上述任一项实施方式的方法的步骤。
在一些实施方式中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种电路板缺陷检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本说明书所公开方案相关的部分结构的框图，并不构成对本说明书所公开方案所应用于其上的计算机设备的限定，具体地，计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

Claims (14)

1.一种电路板缺陷检测方法，其特征在于，所述方法包括：
获取针对所述电路板采集的二维图像数据和三维点云数据；
基于所述二维图像数据以及所述三维点云数据进行目标检测，得到所述电路板中待检元器件的初始缺陷类别；所述电路板对应有质量达标的基准板；所述基准板具有与维度数量对应的基准数据；
对类别校正用数据以及所述基准数据进行形态学图形处理，得到所述电路板中待检元器件对应的校正用缺陷类别；其中，所述类别校正用数据采用所述二维图像数据和/或所述三维点云数据；
根据所述校正用缺陷类别和所述初始缺陷类别生成所述电路板中待检元器件的目标缺陷类别。
2.根据权利要求1所述的方法，其特征在于，所述类别校正用数据的确定方式，包括：
基于所述初始缺陷类别对应的维度数量在所述二维图像数据和所述三维点云数据中确定所述类别校正用数据。
3.根据权利要求2所述的方法，其特征在于，所述基于所述初始缺陷类别对应的维度数量在所述二维图像数据和所述三维点云数据中确定所述类别校正用数据，包括：
若所述初始缺陷类别中的第一部分类别对应的维度数量等于2，将所述二维图像数据用作校正所述第一部分类别的类别校正用数据；
若所述初始缺陷类别中的第二部分类别对应的维度数量等于3，将所述三维点云数据用作校正所述第二部分类别的类别校正用数据。
4.根据权利要求1所述的方法，其特征在于，所述根据所述校正用缺陷类别和所述初始缺陷类别生成所述电路板中待检元器件的目标缺陷类别，包括：
将所述校正用缺陷类别和所述初始缺陷类别间的交集或者并集作为所述目标缺陷类别。
5.根据权利要求1所述的方法，其特征在于，若所述初始缺陷类别中的第一部分类别对应的维度数量等于2，将所述二维图像数据用作校正所述第一部分类别的类别校正用数据；所述基准数据采用所述基准板的图像数据；所述对所述类别校正用数据以及所述基准数据进行形态学图形处理，得到所述电路板中待检元器件对应的校正用缺陷类别，至少包括以下之一：
根据所述二维图像数据提取所述电路板中待检元器件的待检区域轮廓；根据所述基准板的图像数据提取所述基准板中参考元器件的参考区域轮廓；基于所述待检区域轮廓与所述参考区域轮廓的相似比较结果，得到所述校正用缺陷类别；或者
基于所述二维图像数据以及所述基准板的图像数据进行相减操作，得到相减结果；根据所述基准板中参考元器件的参考区域轮廓以及所述相减结果进行比对处理，得到所述校正用缺陷类别。
6.根据权利要求1所述的方法，其特征在于，若所述初始缺陷类别中的第二部分类别对应的维度数量等于3，将所述三维点云数据用作校正所述第二部分类别的类别校正用数据；所述基准数据采用所述基准板的点云数据；所述对所述类别校正用数据以及所述基准数据进行形态学图形处理，得到所述电路板中待检元器件对应的校正用缺陷类别，包括：
基于所述三维点云数据进行平面拟合处理，确定所述电路板中待检元器件的高度数据；
基于所述基准板的点云数据进行平面拟合处理，确定所述基准板中参考元器件的高度数据；
基于所述待检元器件的高度数据与所述参考元器件的高度数据间的一致性情况，得到所述校正用缺陷类别。
7.根据权利要求6所述的方法，其特征在于，所述待检元器件的高度数据的确定方式与所述参考元器件的高度数据的确定方式相同；采用以下方式确定所述参考元器件的高度数据：
采用体素滤波方式对所述基准板的点云数据进行滤波处理，得到滤波后点云数据；
对所述滤波后点云数据进行旋转校正处理，得到校正后点云数据；
基于聚类算法对所述校正后点云数据进行平面拟合处理，得到所述基准板中参考元器件的高度数据。
8.根据权利要求1所述的方法，其特征在于，所述基于所述二维图像数据以及所述三维点云数据进行目标检测，得到初始缺陷类别，包括：
对所述二维图像数据进行目标检测，得到二维边界框以及所述二维边界框对应的二维特征数据；
基于所述二维边界框以及所述三维点云数据进行映射处理，在所述三维点云数据中确定三维目标区域；
根据所述二维特征数据以及所述三维目标区域对应的三维特征数据在深度方向上进行目标检测，得到所述初始缺陷类别。
9.根据权利要求8所述的方法，其特征在于，所述二维图像数据所处的平面记为目标平面；所述三维点云数据所处的空间记为目标空间；所述基于所述二维边界框以及所述三维点云数据进行映射处理，在所述三维点云数据中确定三维目标区域，包括：
将所述三维点云数据向所述目标平面进行投影，得到所述三维点云数据在所述目标平面上对应的二维平面点云；
根据所述二维边界框在所述二维平面点云进行查找，得到所述二维边界框在所述二维平面点云中的二维点云位置；
基于所述二维点云位置向所述目标空间进行逆投影，在所述三维点云数据中确定所述二维点云位置对应的三维目标区域。
10.根据权利要求8所述的方法，其特征在于，所述根据所述二维特征数据以及所述三维目标区域对应的三维特征数据在所述深度方向上进行目标检测，得到所述初始缺陷类别，包括：
对所述三维目标区域进行点云局部特征提取，得到所述三维特征数据；
根据所述三维特征数据和所述二维特征数据间的融合特征进行分类处理，得到所述初始缺陷类别。
11.根据权利要求1至10任一项所述的方法，其特征在于，所述初始缺陷类别包括少锡、连锡、包锡、少件、空焊、划伤、翘脚、浮高中的至少一种；
其中，所述少锡、所述连锡、所述包锡、所述少件、所述空焊、所述划伤中的任一类别对应维度数量等于2；所述翘脚、所述浮高中的任一类别对应维度数量等于3。
12.一种电路板缺陷检测装置，其特征在于，所述装置包括：
电路板数据采集模块，用于获取针对所述电路板采集的二维图像数据和三维点云数据；
初始类别确定模块，用于基于所述二维图像数据以及所述三维点云数据进行目标检测，得到所述电路板中待检元器件的初始缺陷类别；所述电路板对应有质量达标的基准板；所述基准板具有与维度数量对应的基准数据；
校正类别确定模块，用于对类别校正用数据以及所述基准数据进行形态学图形处理，得到所述电路板中待检元器件对应的校正用缺陷类别；其中，所述类别校正用数据采用所述二维图像数据和/或所述三维点云数据；
目标类别确定模块，用于根据所述校正用缺陷类别和所述初始缺陷类别生成所述电路板中待检元器件的目标缺陷类别。
13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述方法的步骤。
CN202310756439.6A 2023-06-25 2023-06-25 电路板缺陷检测方法、装置、计算机设备及存储介质 Pending CN116777877A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310756439.6A CN116777877A (zh) 2023-06-25 2023-06-25 电路板缺陷检测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310756439.6A CN116777877A (zh) 2023-06-25 2023-06-25 电路板缺陷检测方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN116777877A true CN116777877A (zh) 2023-09-19

Family

ID=87987576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310756439.6A Pending CN116777877A (zh) 2023-06-25 2023-06-25 电路板缺陷检测方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN116777877A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576100A (zh) * 2024-01-16 2024-02-20 浙江合丰科技有限公司 一种fpc连接器表面缺陷分级检测评价方法
CN117745716A (zh) * 2024-02-07 2024-03-22 湖南仁盈科技有限公司 一种pcba板缺陷的可视化方法及***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576100A (zh) * 2024-01-16 2024-02-20 浙江合丰科技有限公司 一种fpc连接器表面缺陷分级检测评价方法
CN117576100B (zh) * 2024-01-16 2024-03-22 浙江合丰科技有限公司 一种fpc连接器表面缺陷分级检测评价方法
CN117745716A (zh) * 2024-02-07 2024-03-22 湖南仁盈科技有限公司 一种pcba板缺陷的可视化方法及***
CN117745716B (zh) * 2024-02-07 2024-04-16 湖南仁盈科技有限公司 一种pcba板缺陷的可视化方法及***

Similar Documents

Publication Publication Date Title
CN110060237B (zh) 一种故障检测方法、装置、设备及***
US9773302B2 (en) Three-dimensional object model tagging
CN116777877A (zh) 电路板缺陷检测方法、装置、计算机设备及存储介质
TWI541763B (zh) 用於調整深度値的方法、電子裝置和媒體
CN107749268B (zh) 屏幕检测方法及设备
Savarese et al. 3d reconstruction by shadow carving: Theory and practical evaluation
US9025863B2 (en) Depth camera system with machine learning for recognition of patches within a structured light pattern
WO2017161598A1 (en) Fast density estimation method for defect inspection application
CN111832659B (zh) 一种基于特征点提取算法检测的激光标刻***及方法
CN110660072B (zh) 一种直线边缘的识别方法、装置、存储介质及电子设备
CN109523527A (zh) 图像中脏污区域的检测方法、装置和电子设备
CN116503388B (zh) 缺陷检测方法、装置及存储介质
Yogeswaran et al. 3d surface analysis for automated detection of deformations on automotive body panels
JP2019185787A (ja) 地理的地域内のコンテナのリモート決定
CN116228741A (zh) 一种pcba元器件缺陷检测方法及装置
CN111695373A (zh) 斑马线的定位方法、***、介质及设备
CN116245882A (zh) 电路板电子元件检测方法、装置及计算机设备
CN116740758A (zh) 一种防止误判的鸟类图像识别方法及***
CN117152165A (zh) 感光芯片缺陷的检测方法、装置、存储介质及电子设备
CN112070077B (zh) 一种基于深度学习的食物识别方法和装置
CN116823816B (zh) 一种基于安防监控静态存储器的检测设备及检测方法
CN111797832A (zh) 一种图像感兴趣区域自动生成方法及***及图像处理方法
CN109741302B (zh) 基于机器视觉的sd卡形态识别***和方法
CN116125489A (zh) 一种室内物体三维检测方法、计算机设备及存储介质
CN116993654A (zh) 摄像头模组缺陷检测方法、装置、设备、存储介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination