CN114742832B - 一种MiniLED薄板的焊接缺陷检测方法 - Google Patents

一种MiniLED薄板的焊接缺陷检测方法 Download PDF

Info

Publication number
CN114742832B
CN114742832B CN202210659049.2A CN202210659049A CN114742832B CN 114742832 B CN114742832 B CN 114742832B CN 202210659049 A CN202210659049 A CN 202210659049A CN 114742832 B CN114742832 B CN 114742832B
Authority
CN
China
Prior art keywords
boundary
miniled
point
welding
sheet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210659049.2A
Other languages
English (en)
Other versions
CN114742832A (zh
Inventor
陈星�
吴建明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou Welgao Electronics Co ltd
Original Assignee
Huizhou Welgao Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou Welgao Electronics Co ltd filed Critical Huizhou Welgao Electronics Co ltd
Priority to CN202210659049.2A priority Critical patent/CN114742832B/zh
Publication of CN114742832A publication Critical patent/CN114742832A/zh
Application granted granted Critical
Publication of CN114742832B publication Critical patent/CN114742832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像数据处理技术领域，具体涉及一种MiniLED薄板的焊接缺陷检测方法。该方法在根据语义分割网络得到待测MiniLED薄板的语义分割效果图后，额外计算了训练语义分割网络时所使用的标签图像中，每个标签图像相较于所有标签图像的焊接点位置信息的偏移程度，得到了用于对焊接点边界位置进行校正的焊接点边界表征模型，基于该模型得到了待测薄板的边界处理效果图，结合边界处理效果图和语义分割效果图，完成了待测薄板上焊接区域的准确确定，基于所确定的更准确的焊接区域，提高焊接缺陷检测准确度。

Description

一种MiniLED薄板的焊接缺陷检测方法
技术领域
本发明涉及图像数据处理技术领域，具体涉及一种MiniLED薄板的焊接缺陷检测方法。
背景技术
随着智能设备的显示技术不断创新发展，对屏幕的分辨率要求越来越高，MiniLED阵列器件应运而生。与常规LED相比，MiniLED的尺寸进一步减少，制作工艺更为复杂，MiniLED采用LED芯片尺寸为微米等级，每张MiniLED电路板上通常会有数千个芯片，上万个焊点，因此对MiniLED的检测要求及难度会进一步提高。
当前对电路板上焊接点缺陷检测常用方法有图像识别技术，其中最常用的是语义分割图像识别。但由于MiniLED上焊接点尺寸的减小以及焊接点分布的密集度提高，所以现有语义分割图像识别技术，在识别MiniLED薄板图像而确定焊接点所处的感兴趣区域时，常常出现对焊接点边界像素点识别不准确以及不同焊接点边界像素点粘连的问题，感兴趣区域识别不准确，便会直接导致对MiniLED薄板上焊接点的焊接缺陷检测不够准确。
也即，现有技术存在着语义分割图像识别技术在面对MiniLED薄板焊接点时，无法准确地完成焊接缺陷检测的问题。
发明内容
为解决语义分割图像识别技术在面对MiniLED薄板焊接点时，无法准确地完成焊接缺陷检测的问题，本发明提供了一种MiniLED薄板的焊接缺陷检测方法，所采用的技术方案具体如下：
本发明的一种MiniLED薄板的焊接缺陷检测方法，包括以下步骤：
采集待测MiniLED薄板表面图像，将待测MiniLED薄板表面图像输入训练好的语义分割网络，得到待测MiniLED薄板表面图像的语义分割效果图；
采集所述语义分割网络训练过程中所使用的标签图像上各个焊接点的边界信息，得到标签图像上各个焊接点的边界表征向量；
根据所采集的焊接点在各个标签图像上的边界信息，确定焊接点在各个标签图像中的边界表征均值向量；
根据边界表征向量以及边界表征均值向量，确定每个标签图像的偏移向量；
根据每个标签图像的偏移向量，以及每个焊接点的边界表征均值向量，确定焊接点边界表征模型，根据所述焊接点边界表征模型对待测MiniLED薄板表面图像进行处理，得到待测MiniLED薄板表面图像的边界处理效果图；
根据所述语义分割效果图以及边界处理效果图，确定待测MiniLED薄板表面图像的感兴趣区域；
将所述待测MiniLED薄板表面图像的感兴趣区域与所有焊接点均焊接正常的标准图像进行对比，确定待测MiniLED薄板的焊接缺陷。
本发明的有益效果为：
本发明在根据语义分割网络得到待测MiniLED薄板的语义分割效果图后，还计算了训练语义分割网络时所使用的标签图像中，每个标签图像相较于所有标签图像的焊接点位置信息的偏移程度，根据所得偏移程度得到了用于对焊接点边界位置进行校正的焊接点边界表征模型，基于该模型得到了待测MiniLED薄板的边界处理效果图，结合边界处理效果图和语义分割效果图，完成了待测MiniLED薄板上焊接区域的准确确定，由于所确定的待测MiniLED薄板上焊接区域更为准确，所以在后续将待测MiniLED薄板上焊接区域与不存在焊接缺陷的标准图像进行比对后，便可得到更为准确的焊接缺陷判断结果，提高对待测MiniLED薄板焊接缺陷检测的准确度，解决了现有语义分割算法无法完成对MiniLED薄板的焊接缺陷的准确识别的问题。
进一步的，所述边界表征向量为：
Figure GDA0003759785940000021
其中，vc，q表示第q个标签图像中第c个焊接点的边界表征向量，N为焊接点边界上采样点的数量，N×1为边界表征向量的尺寸，(x1，y1)为焊接点边界上所采样的第一个采样点的坐标，(xN，yN)为焊接点边界上所采样的第N个采样点的坐标。
进一步的，得到所述边界表征均值向量的具体过程为：
根据焊接点在各个标签图像中的边界采样点的坐标信息，确定该焊接点边界上各个采样点的平均坐标信息：
Figure GDA0003759785940000022
其中，
Figure GDA0003759785940000023
为焊接点c的边界上第i个采样点的平均坐标点，xci，q表示焊接点c的第i个采样点在第q张标签图像中的横坐标，yci，q为焊接点c的第i个采样点在第q张标签图像中的纵坐标，Q为训练语义分割网络时所使用的标签图像的总数；
根据所得焊接点c的边界上第i个采样点的平均坐标点，确定各个标签图像中第c个焊接点的边界表征均值向量：
Figure GDA0003759785940000024
其中，
Figure GDA0003759785940000025
为各个标签图像中第c个焊接点的边界表征均值向量。
进一步的，所述每个标签图像的偏移向量为：
Figure GDA0003759785940000031
其中，Δvq为第q张标签图像的偏移向量，C为第q张标签图像上焊接点的总数。
进一步的，所述焊接点边界表征模型的确定过程为：
计算每个标签图像对应的偏移向量，根据所有标签图像对应的偏移向量构建边界特征偏移矩阵ΔV，计算所述边界特征偏移矩阵ΔV的所有特征值以及对应的特征向量，选取最大的前k个特征值对应的特征向量，得到焊接点边界表征模型：
Figure GDA0003759785940000032
其中，vc′为第c个焊接点的边界表征模型，γj为特征向量hj的偏移权值，hj为边界特征偏移矩阵ΔV的前k个最大特征值对应的特征向量中第j个特征向量；
所述偏移权值根据特征向量hj对应的特征值大小确定，特征值越大，对应的偏移权值越大。
进一步的，所述感兴趣区域为：
R(x，y)＝(1-H(x，y))*W1(x，y)+H(x，y)*W2(x，y)
其中，R(x，y)为待测MiniLED薄板表面图像的感兴趣区域，H(x，y)为待测MiniLED薄板表面图像上位置(x，y)处的权值函数，W1(x，y)为语义分割效果图，W2(x，y)为边界处理效果图；
位置(x，y)处的权值函数H(x，y)的确定过程为：
以位置(x，y)处的像素点为中心像素点，得到以中心像素点为中心的窗口区域，计算窗口区域中所有像素点的像素值的均值，作为位置(x，y)处的像素点的像素表征值g(x，y)；
计算所述像素表征值g(x，y)的出现概率：
Figure GDA0003759785940000033
其中，P(x，y)为位置(x，y)上像素点的像素表征值在待测MiniLED薄板表面图像上所有像素点对应所得像素表征值中出现的概率，fg(x，y)为位置(x，y)上像素点的像素表征值在待测MiniLED薄板表面图像上所有像素点对应所得像素表征值中出现的频次，M为待测MiniLED薄板表面图像上所有像素点对应所得像素表征值的种类数；
位置(x，y)处的权值函数H(x，y)为：
H(x，y)＝-P(x，y)ln P(x，y)
其中，H(x，y)为待测MiniLED薄板表面图像上位置(x，y)处的权值函数。
附图说明
图1是本发明的MiniLED薄板的焊接缺陷检测方法流程图。
具体实施方式
下面结合附图及实施例，对本发明的一种MiniLED薄板的焊接缺陷检测方法进行详细说明。
方法实施例：
本发明的一种MiniLED薄板的焊接缺陷检测方法实施例，其整体流程如图1所示，具体过程如下：
1、采集待测MiniLED薄板表面图像。
考虑到MiniLED薄板尺寸较小，其上的焊接点同样较小且密集，普通的相机无法获取高精度高分辨率的MiniLED薄板表面图像，所以本实施例采用带有高放大倍率大视野工业镜头的工业相机，采集高倍率高分辨率的MiniLED薄板表面图像，以便后续对MiniLED薄板焊接缺陷进行检测识别。
同时，为进一步提高后续缺陷检测精确度，对所采集的图像进行去噪处理，消除待测MiniLED薄板图像中的噪声的影响。现有去噪处理算法有很多，本发明采用高斯滤波去噪算法对图像进行处理，以获取去噪后的待测MiniLED薄板表面图像数据，用于后续对待测MiniLED薄板焊接缺陷进行识别检测。
2、将待测MiniLED薄板表面图像输入训练好的语义分割网络，得到待测MiniLED薄板表面图像的语义分割效果图。
考虑到MiniLED薄板表面除了存在较多的焊接点外，还存在许多如芯片的元器件以及不存在器件和焊接点的空白区域，因此，本实施例对薄板表面的焊接区域进行提取，避免无关因素及区域的影响，提高焊接缺陷检测的精度。
本实施例通过语义分割网络对待测MiniLED薄板表面图像中的焊接区域像素点进行识别，所采用的语义分割网络，是采用人为给出的Q张标签图像已经训练好的语义分割网络，其中标签图像为二值图像，图像中的焊接点位置处的像素点的像素值均设置为1，其他背景区域的像素点的像素值均设置为0，并通过交叉熵损失函数对网络进行监督训练，不断地更新网络参数，得到最终可用的训练好的语义分割网络。
将待测MiniLED薄板表面图像输入训练好的语义分割网络后，便可得到语义分割效果图W1(x，y)。
3、基于语义分割网络训练过程中所使用的标签图像，建立MiniLED薄板上焊接点边界表征模型，对焊接点边界进行显著处理并对应得到边界处理效果图。
考虑到MiniLED薄板表面的焊接点较多且面积较小，位置都比较接近，在传统语义分割识别各焊接点的过程中极易出现边界像素点识别不准确问题，同时边界像素点之间也会存在较多的粘连，因此，为保证对焊接点区域也即感兴趣区域的提取精度，准确识别各焊接点，本发明将对各焊接点的边界信息进行显著处理。
a)采集训练语义分割网络时所使用的标签图像上各个焊接点的边界信息，以边界表征向量对各个标签图像中每个焊接点的边界信息进行表征。
对于一张标签图像，本实施例获取标签图像上各个焊接点的最小外接矩形，对于各个焊接点，以焊接点的最小外接矩形的中心点所在竖直方向为对称线，向左右两方向按照固定采样间隔对焊接点边缘上像素点进行采样，得到若干个采样点，本实施例中保持每个焊接点对应所得采样点的数量一致，均记为N。
对训练语义分割网络时所使用的所有标签图像均进行上述各个焊接点边缘上采样点的获取，由此，便可得到每张标签图像中的每个焊接点边缘上的采样点。
基于所提取的标签图像上焊接点边缘上的采样点，本实施例设置边界表征向量，来对焊接点的边界信息进行表征，边界表征向量为：
Figure GDA0003759785940000051
其中，vc，q表示第q个标签图像中第c个焊接点的边界表征向量，N表示一个焊接点边界上采样点的数量，N×1为边界表征向量的尺寸，(x1，y1)为焊接点边界上所采样的第一个采样点的坐标，(xN，yN)为焊接点边界上所采样的第N个采样点的坐标。
b)基于所采集的焊接点在各个标签图像上的边界信息，确定该焊接点在各个标签图像中的边界表征均值向量。
本实施例以标签图像中的一个焊接点为例进行说明，对于标签图像上所有C个焊接点中的第c个焊接点而言，基于所有标签图像中第c个焊接点的边界采样点的坐标信息，确定该焊接点边界上各个采样点的平均坐标信息：
Figure GDA0003759785940000052
其中，
Figure GDA0003759785940000053
为焊接点c的边界上第i个采样点的平均坐标点，xci，q表示焊接点c的第i个采样点在第q张标签图像中的横坐标，yci，q为焊接点c的第i个采样点在第q张标签图像中的纵坐标，Q为训练语义分割网络时所使用的标签图像的总数。
由上述焊接点边界上各个采样点的平均坐标计算方法，便可得到各个标签图像中第c个焊接点的边界表征均值向量：
Figure GDA0003759785940000054
c)根据边界表征向量以及边界表征均值向量，确定标签图像的偏移向量。
通过步骤a)以及步骤b)，本实施例得到了表征某个标签图像中，各个焊接点的边界信息的边界表征向量，以及表征所有标签图像中某个焊接点的边界信息平均值的边界表征均值向量，由此，便可根据某个标签图像中每个焊接点的便捷信息相较于所有标签图像中该焊接点的边界信息平均值之间的差值，得到该标签图像相较于所有标签图像整体的边界信息偏移程度，并以偏移向量具体表示：
Figure GDA0003759785940000061
其中，Δvq为第q张标签图像的偏移向量，vc，q为第q张标签图像中第c个焊接点的边界表征向量，为所有标签图像中第c个焊接点的边界表征均值向量。
d)根据每个标签图像的偏移向量，以及每个焊接点的边界表征均值向量，确定焊接点边界表征模型，基于所得焊接点边界表征模型对待测MiniLED薄板表面图像进行处理，得到待测MiniLED薄板表面图像的边界处理效果图。
基于步骤c)中所给出的偏移向量计算方法，可得到所有标签图像各自对应的偏移向量，基于所有标签图像各自对应的偏移向量，构建边界特征偏移矩阵ΔV，所述边界特征偏移矩阵尺寸为N×Q。
获得该边界特征偏移矩阵ΔV的所有特征值λ及对应的特征向量hλ，然后通过PCA主成分分析算法对其进行分析，选取较大的前k个特征值对应的特征向量，用于对标签图像中的边界信息相对于边界表征均值向量的偏移方向进行表征。其中k值可根据需求自行设定，在其它实施例中，还可以直接以所得边界特征偏移矩阵ΔV的所有特征向量来表征标签图像中的边界信息相对于边界表征均值向量的偏移方向，而不再选取较大的前k个特征值对应的特征向量。
根据所得边界表征均值向量以及表征偏移方向的特征向量，得到焊接点边界表征模型：
Figure GDA0003759785940000062
其中，vc′为第c个焊接点的边界表征模型，
Figure GDA0003759785940000063
为第c个焊接点的边界表征均值向量，γj为特征向量hj的偏移权值，hj为边界特征偏移矩阵ΔV的前k个较大特征值对应的特征向量中第j个特征向量；偏移权值根据特征向量hj对应的特征值大小确定，特征值越大，则对应的偏移权值越大。
至此，即可得到MiniLED薄板表面各个焊接点的边界表征模型值。
基于所得焊接点边界表征模型确定待测MiniLED薄板表面图像中各个焊接点的边界，将所确定的待测MiniLED薄板表面图像中各个焊接点边界上以及边界内部像素点的像素值设置为1，将各个焊接点边界外部像素点的像素值设置为0，也即将待测MiniLED薄板表面图像中的焊接点位置处的像素点的像素值均设置为1，其他背景区域的像素点的像素值均设置为0，由此便可得到基于边界表征模型的边界处理效果图W2(x，y)。
4、根据所获取的边界处理效果图以及语义分割效果图，确定待测MiniLED薄板表面图像的感兴趣区域。
基于语义分割效果图W1(x，y)以及边界处理效果图W2(x，y)，可得待测MiniLED薄板表面图像的感兴趣区域为：
R(x，y)＝(1-H(x，y))*W1(x，y)+H*W2(x，y)
其中，R(x，y)为待测MiniLED薄板表面图像的感兴趣区域，H(x，y)为待测MiniLED薄板表面图像上位置(x，y)处的权值函数。
位置(x，y)处的权值函数的确定过程为：
以位置(x，y)处的像素点为中心像素点，确定中心像素点周围八邻域的像素点，得到以中心像素点为中心的3*3的窗口区域，当然，在其它实施例中邻域范围可进行不同于本实施例的设置。
获取3*3的窗口区域内所有像素点的像素均值，将该像素均值作为处于位置(x，y)上的像素点的像素表征值g(x，y)，由此得到待测MiniLED薄板表面图像上每个位置上像素点的像素表征值，然后计算位置(x，y)上的像素点的像素表征值g(x，y)在待测MiniLED薄板表面图像上所有像素点对应所得像素表征值中出现的概率：
Figure GDA0003759785940000071
其中，P(x，y)为位置(x，y)上像素点的像素表征值在待测MiniLED薄板表面图像上所有像素点对应所得像素表征值中出现的概率，fg(x，y)为位置(x，y)上像素点的像素表征值在待测MiniLED薄板表面图像上所有像素点对应所得像素表征值中出现的频次，M为待测MiniLED薄板表面图像上所有像素点对应所得像素表征值的种类数。
基于所得位置(x，y)上像素点的像素表征值在待测MiniLED薄板表面图像上所有像素点对应所得像素表征值中出现的概率，可确定待测MiniLED薄板表面图像上位置(x，y)处的权值函数：
H(x，y)＝-P(x，y)ln P(x，y)
其中，H(x，y)即为待测MiniLED薄板表面图像上位置(x，y)处的权值函数。由此便可得到待测MiniLED薄板表面图像上所有位置处的权值函数，权值函数经过归一化处理，保证其函数值处于[0，1]。
权值函数的值越大，则表示该权值函数对应位置处的纹理以及细节信息越复杂，在进行语义分割的过程中越有可能出现分割不准确的问题，因此，通过图像中像素点的权值函数可进一步保证对ROI区域的准确提取，提高提高感兴趣区域的提取精度。
5、基于所确定的待测MiniLED薄板表面图像的感兴趣区域完成待测MiniLED薄板焊接缺陷检测。
首先，选取一张MiniLED薄板表面所有焊接点均焊接正常的图像，根据本实施例的感兴趣区域确定方法获取其对应的感兴趣区域，并获取其中的各个正常焊接点，将其作为焊接缺陷检测的标准图像。
获取标准图像后，将待测MiniLED薄板表面图像上感兴趣区域与标准图像进行对比，完成待测MiniLED薄板焊接质量检测。对比分析过程为公知算法，如常用的归一化互相关算法等，在此不再赘述。
至此，通过对语义分割网络确定MiniLED薄板上感兴趣区域的确定方法进行改进，本发明便可提高对MiniLED薄板上焊接点焊接缺陷的检测准确度，实现对MiniLED薄板焊接缺陷的准确检测。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (6)

1.一种MiniLED薄板的焊接缺陷检测方法，其特征在于，包括以下步骤：
采集待测MiniLED薄板表面图像，将待测MiniLED薄板表面图像输入训练好的语义分割网络，得到待测MiniLED薄板表面图像的语义分割效果图；
采集所述语义分割网络训练过程中所使用的标签图像上各个焊接点的边界信息，得到标签图像上各个焊接点的边界表征向量；
根据所采集的焊接点在各个标签图像上的边界信息，确定焊接点在各个标签图像中的边界表征均值向量；
根据边界表征向量以及边界表征均值向量，确定每个标签图像的偏移向量；
根据每个标签图像的偏移向量，以及每个焊接点的边界表征均值向量，确定焊接点边界表征模型，根据所述焊接点边界表征模型对待测MiniLED薄板表面图像进行处理，得到待测MiniLED薄板表面图像的边界处理效果图；
根据所述语义分割效果图以及边界处理效果图，确定待测MiniLED薄板表面图像的感兴趣区域；
将所述待测MiniLED薄板表面图像的感兴趣区域与所有焊接点均焊接正常的标准图像进行对比，确定待测MiniLED薄板的焊接缺陷。
2.根据权利要求1所述的MiniLED薄板的焊接缺陷检测方法，其特征在于，所述边界表征向量为：
Figure FDA0003759785930000011
其中，vc，q表示第q个标签图像中第c个焊接点的边界表征向量，N为焊接点边界上采样点的数量，N×1为边界表征向量的尺寸，(x1，y1)为焊接点边界上所采样的第一个采样点的坐标，(xN，yN)为焊接点边界上所采样的第N个采样点的坐标。
3.根据权利要求2所述的MiniLED薄板的焊接缺陷检测方法，其特征在于，得到所述边界表征均值向量的具体过程为：
根据焊接点在各个标签图像中的边界采样点的坐标信息，确定该焊接点边界上各个采样点的平均坐标信息：
Figure FDA0003759785930000012
其中，
Figure FDA0003759785930000013
为焊接点c的边界上第i个采样点的平均坐标点，xci，q表示焊接点c的第i个采样点在第q张标签图像中的横坐标，yci，q为焊接点c的第i个采样点在第q张标签图像中的纵坐标，Q为训练语义分割网络时所使用的标签图像的总数；
根据所得焊接点c的边界上第i个采样点的平均坐标点，确定各个标签图像中第c个焊接点的边界表征均值向量：
Figure FDA0003759785930000021
其中，
Figure FDA0003759785930000022
为各个标签图像中第c个焊接点的边界表征均值向量。
4.根据权利要求3所述的MiniLED薄板的焊接缺陷检测方法，其特征在于，所述每个标签图像的偏移向量为：
Figure FDA0003759785930000023
其中，Δvq为第q张标签图像的偏移向量，C为第q张标签图像上焊接点的总数。
5.根据权利要求4所述的MiniLED薄板的焊接缺陷检测方法，其特征在于，所述焊接点边界表征模型的确定过程为：
计算每个标签图像对应的偏移向量，根据所有标签图像对应的偏移向量构建边界特征偏移矩阵ΔV，计算所述边界特征偏移矩阵ΔV的所有特征值以及对应的特征向量，选取最大的前k个特征值对应的特征向量，得到焊接点边界表征模型：
Figure FDA0003759785930000024
其中，vc′为第c个焊接点的边界表征模型，γj为特征向量hj的偏移权值，hj为边界特征偏移矩阵ΔV的前k个最大特征值对应的特征向量中第j个特征向量；
所述偏移权值根据特征向量hj对应的特征值大小确定，特征值越大，对应的偏移权值越大。
6.根据权利要求5所述的MiniLED薄板的焊接缺陷检测方法，其特征在于，所述感兴趣区域为：
R(x，y)＝(1-H(x，y))*W1(x，y)+H(x，y)*W2(x，y)
其中，R(x，y)为待测MiniLED薄板表面图像的感兴趣区域，H(x，y)为待测MiniLED薄板表面图像上位置(x，y)处的权值函数，W1(x，y)为语义分割效果图，W2(x，y)为边界处理效果图；
位置(x，y)处的权值函数H(x，y)的确定过程为：
以位置(x，y)处的像素点为中心像素点，得到以中心像素点为中心的窗口区域，计算窗口区域中所有像素点的像素值的均值，作为位置(x，y)处的像素点的像素表征值g(x，y)；
计算所述像素表征值g(x，y)的出现概率：
Figure FDA0003759785930000031
其中，P(x，y)为位置(x，y)上像素点的像素表征值在待测MiniLED薄板表面图像上所有像素点对应所得像素表征值中出现的概率，fg(x，y)为位置(x，y)上像素点的像素表征值在待测MiniLED薄板表面图像上所有像素点对应所得像素表征值中出现的频次，M为待测MiniLED薄板表面图像上所有像素点对应所得像素表征值的种类数；
位置(x，y)处的权值函数H(x，y)为：
H(x，y)＝-P(x，y)ln P(x，y)
其中，H(x，y)为待测MiniLED薄板表面图像上位置9x，y)处的权值函数。
CN202210659049.2A 2022-06-13 2022-06-13 一种MiniLED薄板的焊接缺陷检测方法 Active CN114742832B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210659049.2A CN114742832B (zh) 2022-06-13 2022-06-13 一种MiniLED薄板的焊接缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210659049.2A CN114742832B (zh) 2022-06-13 2022-06-13 一种MiniLED薄板的焊接缺陷检测方法

Publications (2)

Publication Number Publication Date
CN114742832A CN114742832A (zh) 2022-07-12
CN114742832B true CN114742832B (zh) 2022-09-09

Family

ID=82287650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210659049.2A Active CN114742832B (zh) 2022-06-13 2022-06-13 一种MiniLED薄板的焊接缺陷检测方法

Country Status (1)

Country Link
CN (1) CN114742832B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115792473B (zh) * 2023-01-29 2023-05-30 惠州威尔高电子有限公司 一种MiniLED薄板生产过程的质量检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681232A (zh) * 2020-06-10 2020-09-18 厦门理工学院 基于语义分割的工业焊接图像缺陷的检测方法
CN111696108A (zh) * 2020-08-17 2020-09-22 广东利元亨智能装备股份有限公司 模型训练方法、焊点缺陷检测方法、装置及电子设备
CN113724218A (zh) * 2021-08-27 2021-11-30 联合汽车电子有限公司 图像识别芯片焊接缺陷的方法、装置及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930347B (zh) * 2018-09-04 2022-12-27 京东方科技集团股份有限公司 卷积神经网络的训练方法、焊点缺陷的检测方法及装置
CN113077416A (zh) * 2021-03-12 2021-07-06 宁波职业技术学院 一种基于图像处理的焊点焊接缺陷检测方法与***
CN112967272B (zh) * 2021-03-25 2023-08-22 郑州大学 基于改进U-net的焊接缺陷检测方法、装置及终端设备
CN114581412A (zh) * 2022-03-07 2022-06-03 武汉飞恩微电子有限公司 一种基于神经网络的键合焊点缺陷智能识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681232A (zh) * 2020-06-10 2020-09-18 厦门理工学院 基于语义分割的工业焊接图像缺陷的检测方法
CN111696108A (zh) * 2020-08-17 2020-09-22 广东利元亨智能装备股份有限公司 模型训练方法、焊点缺陷检测方法、装置及电子设备
CN113724218A (zh) * 2021-08-27 2021-11-30 联合汽车电子有限公司 图像识别芯片焊接缺陷的方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Reference-Based Defect Detection Network;Zhaoyang Zeng et al;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20211231;第30卷;第6637-6647页 *
基于深度学习的PCB缺陷检测研究;胡珊珊 等;《电测与仪表》;20210315;第58卷(第3期);第139-145页 *

Also Published As

Publication number Publication date
CN114742832A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
US6603877B1 (en) Method of and apparatus for optical imaging inspection of multi-material objects and the like
CN115601364A (zh) 基于图像分析的金手指电路板检测方法
CN108846397B (zh) 一种基于图像处理的电缆半导电层自动检测方法
CN110766095B (zh) 基于图像灰度特征的缺陷检测方法
CN112862770B (zh) 一种基于人工智能的缺陷分析诊断***、方法、装置
CN110210448B (zh) 一种智能人脸皮肤老化程度的识别与评估方法
CN115984284A (zh) 一种用于船舶维护的x射线船体焊缝图像检测方法
CN115205223B (zh) 透明物体的视觉检测方法、装置、计算机设备及介质
CN115719332A (zh) 一种焊接质量检测方法
CN110992322A (zh) 基于卷积神经网络的贴片掩膜检测***及检测方法
CN114782329A (zh) 一种基于图像处理的轴承缺陷损伤程度评估方法及***
CN115359047B (zh) 用于pcb板智能焊接的异常缺陷检测方法
CN115115637B (zh) 基于图像金字塔思想的布匹缺陷检测方法
CN112150460A (zh) 检测方法、检测***、设备和介质
CN115841434A (zh) 一种用于气体浓度分析的红外图像增强方法
CN116152242B (zh) 一种篮球用天然皮革缺陷可视化检测***
CN114742832B (zh) 一种MiniLED薄板的焊接缺陷检测方法
CN115690670A (zh) 一种晶圆瑕疵智能识别方法和***
CN113269769A (zh) 一种基于图像配准的缺陷检测方法、***及设备
CN117495852B (zh) 一种基于图像分析的数字印刷质量检测方法
CN117455917B (zh) 一种蚀刻引线框架误报库建立及误报在线判定筛选方法
CN117237747B (zh) 基于人工智能的五金件缺陷分类识别方法
CN111639708B (zh) 图像处理方法、装置、存储介质及设备
JPH08189904A (ja) 表面欠陥検出装置
CN116363136B (zh) 一种机动车部件自动化生产在线筛选方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant