CN113724218A - 图像识别芯片焊接缺陷的方法、装置及存储介质 - Google Patents

图像识别芯片焊接缺陷的方法、装置及存储介质 Download PDF

Info

Publication number
CN113724218A
CN113724218A CN202110992821.8A CN202110992821A CN113724218A CN 113724218 A CN113724218 A CN 113724218A CN 202110992821 A CN202110992821 A CN 202110992821A CN 113724218 A CN113724218 A CN 113724218A
Authority
CN
China
Prior art keywords
area
determining
shape
defect
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110992821.8A
Other languages
English (en)
Other versions
CN113724218B (zh
Inventor
刘鹏
陆唯佳
李兵洋
刘创
马通
钱法余
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
United Automotive Electronic Systems Co Ltd
Original Assignee
United Automotive Electronic Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by United Automotive Electronic Systems Co Ltd filed Critical United Automotive Electronic Systems Co Ltd
Priority to CN202110992821.8A priority Critical patent/CN113724218B/zh
Publication of CN113724218A publication Critical patent/CN113724218A/zh
Application granted granted Critical
Publication of CN113724218B publication Critical patent/CN113724218B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及图像识别技术领域，具体涉及一种通过图像识别芯片焊接缺陷的方法、装置及存储介质。方法包括以下步骤：获取目标图像，目标图像中包括芯片引脚焊接完成后焊接区；使得目标图像输入神经网络算法；基于神经网络算法，确定位于目标图像中的缺陷区域形状和/或位置；基于缺陷区域形状和/或位置，确定缺陷类别；神经网络算法包括计算机视觉算法、目标检测算法和结合专家知识库语义分割算法中的任意一种或多种；计算机视觉算法用于确定引脚歪斜的缺陷区域形状和/或位置，结合专家知识库语义分割算法用于确定低发生频率的缺陷区域形状和/或位置，目标检测算法用于确定延伸区域过短的缺陷区域形状和/或位置。

Description

图像识别芯片焊接缺陷的方法、装置及存储介质
技术领域
本申请涉及图像识别技术领域，具体涉及一种通过图像识别芯片焊接缺陷的方法、装置及存储介质。
背景技术
在电子零部件的加工制造中往往需要对产品的质量进行监控，以防有不符合产品规格或质量不符合标准的工件流出。其中，芯片焊接的质量由于其往往直接影响到产品能否正常工作而被视作缺陷检测的重点。
当前，芯片缺陷检测主要是由专门的目检人员进行检测，然而人工目检会导致检测时间无法保证且不同目检人员存在判断偏差。而若要通过计算机视觉方法自动检测芯片缺陷则存在以下问题：芯片缺陷出现的类别往往较多及位置不固定，因此难以通过传统计算机视觉算法进行判别；各类缺陷发生的频率较小因此部分缺陷样本照片较少，不利于训练深度学习算法。
发明内容
本申请提供了一种图像识别芯片焊接缺陷的方法、装置及存储介质，可以解决相关技术中因缺少芯片焊接缺陷图片样本而难以训练深度学习算法的问题，无法通过图像识自动别技术诊断芯片焊接缺陷。
为了解决背景技术中所述的技术问题，本申请的第一方面提供一种图像识别芯片焊接缺陷的方法，所述方法包括以下步骤：
获取目标图像，所述目标图像中包括芯片引脚焊接完成后焊接区；
使得所述目标图像输入神经网络算法；
基于所述神经网络算法，确定位于所述目标图像中的缺陷区域形状和/或位置；
基于所述缺陷区域形状和/或位置，确定缺陷类别；
所述神经网络算法包括计算机视觉算法、目标检测算法和结合专家知识库语义分割算法中的任意一种或多种；所述计算机视觉算法用于确定引脚歪斜缺陷区域的形状和/或位置，所述结合专家知识库语义分割算法用于确定低发生频率的缺陷区域，所述目标检测算法用于确定延伸区域过短的缺陷区域。
可选地，在所述获取目标图像，所述目标图像中包括芯片引脚焊接完成后焊接区的步骤完成后，在所述使得所述目标图像输入神经网络算法的步骤进行前，还进行：
获取目标图像，确定所述目标图像中包括多个焊接区；
基于图像分割工艺，对所述目标图像进行分割，形成多个子目标图像；
使得每个所述子目标图像中包括一个所述焊接区。
可选地，所述基于所述神经网络算法，确定位于所述目标图像中的缺陷区域形状和/或位置的步骤，包括：
基于所述神经网络算法，确定所述焊接区；
基于所述神经网络算法，确定位于所述焊接区位置处的所有缺陷像素；所有缺陷像素的集合为所述缺陷区域；
基于各个所述缺陷像素的位置和共同构成的形状，确定所述缺陷区域的形状和/或位置。
可选地，所述神经网络算法至少包括所述计算机视觉算法；
所述基于所述神经网络算法，确定所述焊接区的步骤，包括：
基于计算机视觉算法，对所述目标图像进行二值化处理形成二值化图像；
标识出所述二值化图像的所有连通区域；
确定所述连通区域中的最大连通区域；
依据所述最大连通区域确定所述焊接区的各个角点。
可选地，所述基于所述神经网络算法，确定位于所述焊接区位置处的所有缺陷像素；所有缺陷像素的集合为所述缺陷区域的步骤，包括：
基于所述焊接区的各个角点，确定所述最大连通区域中，位置横向超出所述角点的像素点为缺陷像素；
所有所述缺陷像素的集合形成所述缺陷区域。
可选地，在进行所述使得所述目标图像输入神经网络算法的步骤前，还包括：
获取多个样本图像，每个所述样本图像中包括芯片引脚焊接完成后焊接区；
基于专家知识库，标注各个所述样本图像中的缺陷区域，确定所述缺陷区域的类型；
使用标注出缺陷区域、确定缺陷类型的样本图像对神经网络算法进行训练，形成结合专家知识库的神经网络算法。
可选地，所述结合专家知识库的神经网络算法至少包括结合专家知识库语义分割算法。
可选地，所述基于所述神经网络算法，确定位于所述焊接区位置处的缺陷区域形状和/或位置的步骤，包括：
基于神经网络算法，确定所述目标图像中的焊点区和芯片引脚区的相对位置关系；
基于所述相对位置关系，确定延伸区域形状，所述延伸区域为所述芯片引脚区延伸超出所述焊点区的区域；
基于所述延伸区域形状的延伸长度，确定所述延伸区域是否为缺陷区域，所述延伸长度为所述延伸区域在所述芯片引脚区延伸方向上的长度，所述延伸区域的形状和/或位置为所述缺陷区域的形状和/或位置。
可选地，所述基于神经网络算法，确定所述目标图像中的焊点区和芯片引脚区的相对位置关系的步骤，包括：
基于神经网络算法，在所述目标图像中生成第一检测框和第二检测框，所述第一检测框用于确定所述焊点区的形状和/或位置，所述第二检测框用于确定芯片引脚区的形状和/或位置；
使得所述第一检测框和第二检测框之间的相对位置关系，作为所述目标图像中的焊点区和芯片引脚区的相对位置关系。
可选地，所述基于所述相对位置关系，确定延伸区域形状，所述延伸区域为所述芯片引脚区延伸超出所述焊点区的区域的步骤，包括：
基于所述第一检测框和第二检测框之间的相对位置关系，确定所述第二检测框延伸出所述第一检测框的延伸检测框；
所述延伸检测框用于确定所述延伸区域的形状和/或位置。
可选地，基于所述延伸区域形状的延伸长度，确定所述延伸区域是否为缺陷区域，所述延伸长度为所述延伸区域在所述芯片引脚区延伸方向上的长度，所述延伸区域的形状和/或位置为所述缺陷区域的形状和/或位置的步骤，包括：
确定所述延伸检测框的长度为所述延伸区域形状的延伸长度；
基于所述延伸检测框的长度，确定所述延伸区域是否为缺陷区域。
可选地，还包括在所述延伸区域形状的延伸长度，确定所述延伸区域是否为缺陷区域的步骤之后进行的：
当所述延伸长度小于延伸长度阈值，确定所述缺陷区域的缺陷类型为延伸区域过短。
本申请的第二方面提供一种图像识别芯片焊接缺陷的装置，所述装置包括处理器和存储器，所述存储器中存储有至少一条指令或程序，所述指令或程序由所述处理器加载并执行，以实现如本申请第一方面所述的图像识别芯片焊接缺陷的方法。
本申请的第三方面提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令或程序，所述指令或程序由处理器加载并执行，以实现如本申请第一方面所述的图像识别芯片焊接缺陷的方法。
本申请技术方案，至少包括如下优点：通过获取包括芯片引脚焊接完成后焊接区的目标图像，使得所述目标图像输入神经网络算法，基于所述神经网络算法，确定位于所述焊接区位置处的缺陷区域形状和/或位置，基于所述缺陷区域形状和/或位置，能够较准确定确定缺陷类别，避免无法通过图像识自动别技术诊断芯片焊接缺陷的问题。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一实施例提供的图像识别芯片焊接缺陷的方法流程图；
图1a示出了一种实施例所示的目标图像示意图；
图1b示出了存在引脚歪斜缺陷的目标图像示意图；
图1c至图1f依次示出了存在焊点不完整缺陷、焊点异物缺陷、焊点拉丝拖尾缺陷以及焊接区融焊缺陷的目标图像示意图；
图1g示出了存在延伸区域过短缺陷的目标图像示意图；
图2示出了确定图1b所示目标图像的最大连通区域示意图；
图3示出了生成检测框的目标图像示意图；
图4示出了本申请一实施例提供的图像识别芯片焊接缺陷装置的结构框图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在不做出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。
在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电气连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
此外，下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
在芯片封装工艺中，需要将半导体芯片的引脚(pin)，通过焊点(point)焊接在载体的焊接区(pad)中。其中，芯片焊接的质量由于其往往直接影响到产品能否正常工作而被视作缺陷检测的重点。
图1示出了本申请一实施例提供的图像识别芯片焊接缺陷的方法流程图，该方法用于诊断识别引脚(pin)焊接完成后是否出现焊接缺陷的问题，从图1中可以看出，该方法包括依次执行的以下步骤：
步骤S1：获取目标图像，该目标图像中包括芯片引脚焊接完成后焊接区。
图1a示出了一种实施例所示的目标图像示意图，从图1a中可以看出，该目标图像100中包括在芯片引脚焊接完成后焊接区110，即芯片引脚区130和焊点区120也位于该焊接区110中。
步骤S2：使得所述目标图像输入神经网络算法。
所述神经网络算法包括计算机视觉算法、目标检测算法和结合专家知识库语义分割算法中的任意一种或多种。
步骤S3：基于所述神经网络算法，确定位于所述焊接区位置处的缺陷区域形状和/或位置。
所述计算机视觉算法用于确定引脚歪斜的缺陷区域形状和/或位置，所述结合专家知识库语义分割算法用于确定低发生频率的缺陷区域形状和/或位置，所述目标检测算法用于确定延伸区域过短的缺陷区域形状和/或位置。
步骤S4：基于所述缺陷区域形状和/或位置，确定缺陷类别。
其中，神经网络算法基于神经网络算法，能够确定缺陷类别，例如计算机视觉算法能够识别引脚歪斜缺陷，结合专家知识库语义分割算法能够识别低发生频率的缺陷，目标检测算法能够识别延伸区域过短的缺陷。
其中，引脚歪斜缺陷为焊接完成后，芯片引脚区横向偏移焊接区。参照图1b，其示出了存在引脚歪斜缺陷的目标图像示意图，从图1b中可以看出，横向为目标图像100中的x向，该芯片引脚区130和焊点区120均在x向上偏移焊接区110，即芯片引脚区130和焊点区120的右侧部分超过焊接区110的右侧边界。
其中，低发生频率的缺陷包括例如焊点不完整缺陷、焊点异物缺陷、焊点拉丝缺陷以及焊接区融焊缺陷等。图1c至图1f依次示出了存在焊点不完整缺陷、焊点异物缺陷、焊点拉丝拖尾缺陷以及焊接区融焊缺陷的目标图像示意图。
参照图1c，其焊点区120存在缺失区域141，从而图1c所示目标图像的焊接区110中存在焊点不完整缺陷。
参照图1d，其焊点区120存在异物区域142，从而图1d所示目标图像的焊接区110中存在焊点异物缺陷。
参照图1e，其焊点区120存在拉丝拖尾区域143，从而图1e所示目标图像的焊接区110中存在焊点拉丝拖尾缺陷。
参照图1f，其焊接区110存在融焊区域144，从而图1f所示目标图像的焊接区110中存在焊接区融焊缺陷。
其中，延伸区域过短的缺陷为芯片引脚区纵向延伸出焊点区过短的缺陷。图1g示出了存在延伸区域过短缺陷的目标图像示意图，从图1g中可以看出，该芯片引脚区130相对于该焊点区120的延伸区域145，其在纵向(图1g所示y向)上过短。
本实施例通过获取包括芯片引脚焊接完成后焊接区的目标图像，使得所述目标图像输入神经网络算法，基于所述神经网络算法，确定位于所述焊接区位置处的缺陷区域形状和/或位置，基于所述缺陷区域形状和/或位置，能够较准确定缺陷类别，避免无法通过图像识自动别技术诊断芯片焊接缺陷的问题。
可选地，为了便于逐个分析焊接区中的焊接缺陷问题，一个目标图像中可以仅有一个焊接区，而在有的目标图像中会存在多个焊接区，对此，需要进行图像分割，以使得分割后形成多个子目标图像，一个子目标图像中有一个焊接区。即在步骤S1：获取目标图像，该目标图像中包括芯片引脚焊接完成后焊接区完成后，在步骤S2：使得所述目标图像输入神经网络算法的步骤进行前，还进行：
步骤S11：获取目标图像，确定所述目标图像中包括多个焊接区。
步骤S12：基于图像分割工艺，对所述目标图像进行分割，形成多个子目标图像。
步骤S13：使得每个所述子目标图像中包括一个所述焊接区。
然后，将子目标图像输入神经网络算法，以识别缺陷区域意见缺陷类型。
为了提高所确定的缺陷区域形状和/或位置的精准度，步骤S3：基于所述神经网络算法，确定位于所述目标图像中的缺陷区域形状和/或位置的步骤，包括依次进行的步骤S311至步骤S313：
步骤S311：基于所述神经网络算法，确定所述焊接区。
可选地，该神经网络算法至少包括计算机视觉算法，可以根据计算机视觉算法确定该焊接区。即，可以先基于计算机视觉算法，对目标图像进行二值化处理形成二值化图像。再标识出该二值化图像的所有连通区域。最后确定所述连通区域中的最大连通区域，基于该最大连通区域确定焊接区。
其中，该二值化图像中包括黑色像素和白色像素，即该二值化图像中任一像素点的灰度值仅有两种可能，为0或255。该二值化处理是依次判断目标图像中各像素点的灰度值是否大于灰度阈值，若大于，则将该像素点的灰度值更改该255，否则将该像素点的灰度值更改为0。灰度值为255的像素被判定为目标图像物体区域的像素点，灰度值为0的像素点被判定为目标图像背景区域的像素点。
其中，连通区域为所有像素点彼此连通的像素点集合，即连通区域中任意两个像素点彼此连通。二值化图像中的连通区域代表对应目标图像中的物体区域。
在标识出该二值化图像的连通区域过程中，可以先确定二值化图像中所有的黑色像素，再确定所有黑色像素彼此连通的集合为该二值化图像的连通区域。
由于目标图像中的焊接区所占面积最大，尤其对于仅包括一个焊接区的目标图像，因此可以在确定面积最大的最大连通区域后，根据该最大连通区域确定目标图像中焊接区的各个角点，依据该角点确定焊接区。其中，包括像素点最多的连通区域为最大连通区域，即该最大连通区域所占像素点最多、面积最大。
图2示出了确定图1b所示目标图像的最大连通区域示意图。如图2所示，对于该目标图像100的最大连通区域150，依据该最大连通区域150能够确定焊接区的四个角点A、B、C、D，依据该四个角点A、B、C、D确定该目标图像100的焊接区。其中，角点A、B、D可以基于角点检测算法计算确定，在确定该焊接区的任意三个角点后，其最后几个角点C也能被唯一确定。
步骤S312：基于所述神经网络算法，确定位于所述焊接区位置处的所有缺陷像素；所有缺陷像素的集合为所述缺陷区域。
如上所述，在确定焊接区的各个角点后，可以进行步骤：确定该最大连通区域中，位置横向超出所述角点的像素点为缺陷像素。所有缺陷像素的集合形成该缺陷区域。
例如，在确定最大连通区域和焊接区的各个角点后，依据最大连通区域中是否存在横向超出所述角点的像素点，以判断芯片引脚是否存在引脚歪斜缺陷。
确定位置横向超出所述角点的像素点为引脚歪斜缺陷像素，所有引脚歪斜缺陷像素的集合形成为引脚歪斜缺陷区域。
如图2所示，图2中的x向为横向，最大连通区域150的右侧部分，横向超过焊接区的角点B和C，该部分为引脚歪斜缺陷区域151，从而确定图1b所示目标区域中存在引脚歪斜缺陷。
步骤S313：基于各个所述缺陷像素的位置和共同构成的形状，确定所述缺陷区域的形状和/或位置。
在检测芯片引脚与焊点之间是否存在延伸区域过短的缺陷，步骤S3：基于所述神经网络算法，确定位于所述目标图像中的缺陷区域形状和/或位置，该步骤中的神经网络算法至少包括目标检测算法。从而该步骤S3包括依次执行的以下步骤S321至步骤S324：
步骤S321：基于神经网络算法，确定所述目标图像中的焊点区和芯片引脚区的相对位置关系。
可以先在目标图像中生成第一检测框和第二检测框，通过该第一检测框确定目标图像中的焊点区的形状和/或位置，通过第二检测框确定目标图像中的芯片引脚区的形状和/或位置，该第一检测框和第二检测框之间的相对位置关系可以作为焊点区和芯片引脚区的相对位置关系。
参照图3，其示出了生成检测框的目标图像示意图，从图3中可以看出第一检测框161用于确定焊点区的形状和/或位置，第二检测框162用于确定芯片引脚区的形状和/或位置。
步骤S322：基于所述相对位置关系，确定延伸区域，所述延伸区域为所述芯片引脚区延伸超出所述焊点区的区域。
由于该第一检测框确定目标图像中的焊点区，该第二检测框确定目标图像中的芯片引脚区，从而可以通过该第二检测框延伸出第一检测框的延伸检测框，确定芯片引脚区延伸超出所述焊点区的区域，即通过延伸检测框确定该延伸区域的形状和/或位置。
继续参照图3，可以看出第二检测框162沿y向(纵向)向上延伸出第一检测框161，形成延伸检测框163，该延伸检测框163用于确定该延伸区域的形状和/或位置。
步骤S323：基于所述延伸区域的延伸长度，确定所述延伸区域是否为缺陷区域。
可以通过确定所述延伸检测框的长度为所述延伸区域形状的延伸长度；基于所述延伸检测框的长度，确定所述延伸区域是否为缺陷区域。
步骤S324：当所述延伸长度小于延伸长度阈值，确定所述缺陷区域的缺陷类型为延伸区域过短缺陷。
通常在进行步骤S2：使得所述目标图像输入神经网络算法的步骤前，还对该神经网络算法进行机器学习训练，使得训练后的神经网络算法能够识别出缺陷区域，能够基于所述缺陷区域形状和/或位置，确定缺陷类别。
但是，对于低发生频率的缺陷，其样本图像较少，例如焊点不完整缺陷、焊点异物缺陷、焊点拉丝缺陷以及焊接区融焊缺陷等。因此在根据该较少样本量训练的分类深度算法可靠性较低，从而本实施例还提供一种基于小样本的神经网络训练的训练方法，该训练方法结合专家知识库，能够在用于训练的样本图像较少的情况下，提高所训练出的神经网络训练的可靠性，包括以下步骤：
步骤S21：获取多个样本图像，每个所述样本图像中包括芯片引脚焊接完成后焊接区。
其中，所获取的样本图像的数量远小于现有技术中机器学习所需的样本数量。
步骤S22：基于专家知识库，标注各个所述样本图像中的缺陷区域。
步骤S23：使用标注出缺陷区域、确定缺陷类型的样本图像对神经网络算法进行训练，形成结合专家知识库的神经网络算法。
由于获取的样本图像的数量较少，使用传统的神经网络算法会造成过拟合、导致算法表现较差，因此引入专家知识库，通过专家知识库对样本图像中的缺陷区域进行精细标注，并确定缺陷区域的类型。再使用标注出缺陷区域、确定缺陷类型的样本图像，对神经网络算法进行训练，形成结合专家知识库的神经网络算法。及时训练样本数量较小，但结合了专家知识库，使得训练后的神经网络算法能够提高对一些低发生频率缺陷的识别率。
例如可以通过如步骤S21至步骤S23所述的训练方法对神经网络算法中的语义分割算法进行训练，使得训练后形成结合专家知识库的语义分割算法，该结合专家知识库语义分割算法能够识别出低发生频率的缺陷，并实现依据缺陷类型对目标图像分类。例如可以识别焊点不完整缺陷、焊点异物缺陷、焊点拉丝缺陷以及焊接区融焊缺陷等低发生频率的缺陷。
图4示出了本申请一实施例提供的图像识别芯片焊接缺陷装置的结构框图，从图4中可以看出，该装置包括处理器410和存储器420，所述存储器420中存储有至少一条指令或程序，所述指令或程序由所述处理器410加载并执行，以实现如本申请第一方面所述的图像识别芯片焊接缺陷的方法。其中，处理器410和存储器420通过总线430进行信息交互。
本申请还提供一种计算机可读存储介质，该存储介质中存储有至少一条指令或程序，所述指令或程序由处理器加载并执行，以实现如本申请第一方面所述的图像识别芯片焊接缺陷的方法。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本申请创造的保护范围之中。

Claims (14)

1.一种图像识别芯片焊接缺陷的方法，其特征在于，所述方法包括以下步骤：
获取目标图像，所述目标图像中包括芯片引脚焊接完成后焊接区；
使得所述目标图像输入神经网络算法；
基于所述神经网络算法，确定位于所述目标图像中的缺陷区域形状和/或位置；
基于所述缺陷区域形状和/或位置，确定缺陷类别；
所述神经网络算法包括计算机视觉算法、目标检测算法和结合专家知识库语义分割算法中的任意一种或多种；所述计算机视觉算法用于确定引脚歪斜的缺陷区域形状和/或位置，所述结合专家知识库语义分割算法用于确定低发生频率的缺陷区域形状和/或位置，所述目标检测算法用于确定延伸区域过短的缺陷区域形状和/或位置。
2.如权利要求1所述的图像识别芯片焊接缺陷的方法，其特征在于，在所述获取目标图像，所述目标图像中包括芯片引脚焊接完成后焊接区的步骤完成后，在所述使得所述目标图像输入神经网络算法的步骤进行前，还进行：
获取目标图像，确定所述目标图像中包括多个焊接区；
基于图像分割工艺，对所述目标图像进行分割，形成多个子目标图像；
使得每个所述子目标图像中包括一个所述焊接区。
3.如权利要求1所述的图像识别芯片焊接缺陷的方法，其特征在于，所述基于所述神经网络算法，确定位于所述目标图像中的缺陷区域形状和/或位置的步骤，包括：
基于所述神经网络算法，确定所述焊接区；
基于所述神经网络算法，确定位于所述焊接区位置处的所有缺陷像素；所有缺陷像素的集合为所述缺陷区域；
基于各个所述缺陷像素的位置和共同构成的形状，确定所述缺陷区域的形状和/或位置。
4.如权利要求3所述的图像识别芯片焊接缺陷的方法，其特征在于，所述神经网络算法至少包括所述计算机视觉算法；
所述基于所述神经网络算法，确定所述焊接区的步骤，包括：
基于计算机视觉算法，对所述目标图像进行二值化处理形成二值化图像；
标识出所述二值化图像的所有连通区域；
确定所述连通区域中的最大连通区域；
依据所述最大连通区域确定所述焊接区的各个角点。
5.如权利要求4所述的图像识别芯片焊接缺陷的方法，其特征在于，所述基于所述神经网络算法，确定位于所述焊接区位置处的所有缺陷像素；所有缺陷像素的集合为所述缺陷区域的步骤，包括：
基于所述焊接区的各个角点，确定所述最大连通区域中，位置横向超出所述角点的像素点为缺陷像素；
所有所述缺陷像素的集合形成所述缺陷区域。
6.如权利要求1所述的图像识别芯片焊接缺陷的方法，其特征在于，在进行所述使得所述目标图像输入神经网络算法的步骤前，还包括：
获取多个样本图像，每个所述样本图像中包括芯片引脚焊接完成后焊接区；
基于专家知识库，标注各个所述样本图像中的缺陷区域，确定所述缺陷区域的类型；
使用标注出缺陷区域、确定缺陷类型的样本图像对神经网络算法进行训练，形成结合专家知识库的神经网络算法。
7.如权利要求6所述的图像识别芯片焊接缺陷的方法，其特征在于，所述结合专家知识库的神经网络算法至少包括结合专家知识库语义分割算法。
8.如权利要求1所述的图像识别芯片焊接缺陷的方法，其特征在于，所述基于所述神经网络算法，确定位于所述焊接区位置处的缺陷区域形状和/或位置的步骤，包括：
基于神经网络算法，确定所述目标图像中的焊点区和芯片引脚区的相对位置关系；
基于所述相对位置关系，确定延伸区域形状，所述延伸区域为所述芯片引脚区延伸超出所述焊点区的区域；
基于所述延伸区域形状的延伸长度，确定所述延伸区域是否为缺陷区域，所述延伸长度为所述延伸区域在所述芯片引脚区延伸方向上的长度，所述延伸区域的形状和/或位置为所述缺陷区域的形状和/或位置。
9.如权利要求8所述的图像识别芯片焊接缺陷的方法，其特征在于，所述基于神经网络算法，确定所述目标图像中的焊点区和芯片引脚区的相对位置关系的步骤，包括：
基于神经网络算法，在所述目标图像中生成第一检测框和第二检测框，所述第一检测框用于确定所述焊点区的形状和/或位置，所述第二检测框用于确定芯片引脚区的形状和/或位置；
使得所述第一检测框和第二检测框之间的相对位置关系，作为所述目标图像中的焊点区和芯片引脚区的相对位置关系。
10.如权利要求9所述的图像识别芯片焊接缺陷的方法，其特征在于，所述基于所述相对位置关系，确定延伸区域形状，所述延伸区域为所述芯片引脚区延伸超出所述焊点区的区域的步骤，包括：
基于所述第一检测框和第二检测框之间的相对位置关系，确定所述第二检测框延伸出所述第一检测框的延伸检测框；
所述延伸检测框用于确定所述延伸区域的形状和/或位置。
11.如权利要求10所述的图像识别芯片焊接缺陷的方法，其特征在于，基于所述延伸区域形状的延伸长度，确定所述延伸区域是否为缺陷区域，所述延伸长度为所述延伸区域在所述芯片引脚区延伸方向上的长度，所述延伸区域的形状和/或位置为所述缺陷区域的形状和/或位置的步骤，包括：
确定所述延伸检测框的长度为所述延伸区域形状的延伸长度；
基于所述延伸检测框的长度，确定所述延伸区域是否为缺陷区域。
12.如权利要求8所述的图像识别芯片焊接缺陷的方法，其特征在于，还包括在所述延伸区域形状的延伸长度，确定所述延伸区域是否为缺陷区域的步骤之后进行的：
当所述延伸长度小于延伸长度阈值，确定所述缺陷区域的缺陷类型为延伸区域过短。
13.一种图像识别芯片焊接缺陷的装置，其特征在于，所述装置包括处理器和存储器，所述存储器中存储有至少一条指令或程序，所述指令或程序由所述处理器加载并执行，以实现如权利要求1至12中任一项权利要求所述的图像识别芯片焊接缺陷的方法。
14.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令或程序，所述指令或程序由处理器加载并执行，以实现如权利要求1至12中任一项权利要求所述的图像识别芯片焊接缺陷的方法。
CN202110992821.8A 2021-08-27 2021-08-27 图像识别芯片焊接缺陷的方法、装置及存储介质 Active CN113724218B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110992821.8A CN113724218B (zh) 2021-08-27 2021-08-27 图像识别芯片焊接缺陷的方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110992821.8A CN113724218B (zh) 2021-08-27 2021-08-27 图像识别芯片焊接缺陷的方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113724218A true CN113724218A (zh) 2021-11-30
CN113724218B CN113724218B (zh) 2024-04-30

Family

ID=78678470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110992821.8A Active CN113724218B (zh) 2021-08-27 2021-08-27 图像识别芯片焊接缺陷的方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113724218B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742832A (zh) * 2022-06-13 2022-07-12 惠州威尔高电子有限公司 一种MiniLED薄板的焊接缺陷检测方法
CN115166469A (zh) * 2022-09-07 2022-10-11 江苏东海半导体股份有限公司 Mosfet器件测试方法、装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020048119A1 (en) * 2018-09-04 2020-03-12 Boe Technology Group Co., Ltd. Method and apparatus for training a convolutional neural network to detect defects
JP2020144688A (ja) * 2019-03-07 2020-09-10 株式会社Ihi 学習方法、学習装置、及び当該学習装置を備える溶接欠陥検出装置
CN111862067A (zh) * 2020-07-28 2020-10-30 中山佳维电子有限公司 一种焊接缺陷检测方法、装置、电子设备以及存储介质
CN113160204A (zh) * 2021-04-30 2021-07-23 聚时科技(上海)有限公司 基于目标检测信息生成缺陷区域的语义分割网络训练方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020048119A1 (en) * 2018-09-04 2020-03-12 Boe Technology Group Co., Ltd. Method and apparatus for training a convolutional neural network to detect defects
JP2020144688A (ja) * 2019-03-07 2020-09-10 株式会社Ihi 学習方法、学習装置、及び当該学習装置を備える溶接欠陥検出装置
CN111862067A (zh) * 2020-07-28 2020-10-30 中山佳维电子有限公司 一种焊接缺陷检测方法、装置、电子设备以及存储介质
CN113160204A (zh) * 2021-04-30 2021-07-23 聚时科技(上海)有限公司 基于目标检测信息生成缺陷区域的语义分割网络训练方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李绎铃;: "基于机器视觉的SOP芯片引脚缺陷检测研究", 科技资讯, no. 10 *
秦颖;李鹏;李居尚;: "基于深度学习的电路板焊接异常检测算法研究", 电子器件, no. 02 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742832A (zh) * 2022-06-13 2022-07-12 惠州威尔高电子有限公司 一种MiniLED薄板的焊接缺陷检测方法
CN114742832B (zh) * 2022-06-13 2022-09-09 惠州威尔高电子有限公司 一种MiniLED薄板的焊接缺陷检测方法
CN115166469A (zh) * 2022-09-07 2022-10-11 江苏东海半导体股份有限公司 Mosfet器件测试方法、装置和存储介质

Also Published As

Publication number Publication date
CN113724218B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
JP3051279B2 (ja) バンプ外観検査方法およびバンプ外観検査装置
JP3904419B2 (ja) 検査装置および検査システム
CN113724218B (zh) 图像识别芯片焊接缺陷的方法、装置及存储介质
CN109859177B (zh) 基于深度学习的工业射线影像评定方法及装置
CN112577969B (zh) 一种基于机器视觉的缺陷检测方法以及缺陷检测***
JP5168215B2 (ja) 外観検査装置
TWI669519B (zh) 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體
CN111815565B (zh) 晶圆背面的检测方法、设备和存储介质
US7634131B2 (en) Image recognition apparatus and image recognition method, and teaching apparatus and teaching method of the image recognition apparatus
CN113538341B (zh) 自动光学检测辅助方法、装置及存储介质
CN115147370A (zh) 一种电池顶盖焊接缺陷检测方法、装置、介质及电子设备
KR20170022346A (ko) Ｐｃｂ 결함 및 결함종류 분류 시스템 및 방법
CN104020222A (zh) 全自动超声波铝丝压焊机焊接质量检测***
CN113111903A (zh) 智能产线监测***及监测方法
CN113506243A (zh) Pcb焊接缺陷检测方法、装置及存储介质
CN116168218A (zh) 一种基于图像识别技术的电路板故障诊断方法
WO2014103617A1 (ja) 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム
JP5498109B2 (ja) 欠陥検出装置および欠陥検出方法
JP2000009447A (ja) テープキャリアの欠陥検出装置および欠陥検出方法
JP4828741B2 (ja) プローブ痕測定方法およびプローブ痕測定装置
JP5672918B2 (ja) 連続部品の検査方法、連続部品の検査プログラムおよび連続部品の検査装置
JPH08234226A (ja) 液晶基板製造用画像処理装置
JP2000012628A (ja) テープキャリアの欠陥検出装置および欠陥検査システム
CN117495846B (zh) 图像检测方法、装置、电子设备及存储介质
US20230077332A1 (en) Defect Inspection System and Defect Inspection Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant