CN115170497A - 一种基于ai视觉检测技术的pcba在线检测平台 - Google Patents

一种基于ai视觉检测技术的pcba在线检测平台 Download PDF

Info

Publication number
CN115170497A
CN115170497A CN202210755121.1A CN202210755121A CN115170497A CN 115170497 A CN115170497 A CN 115170497A CN 202210755121 A CN202210755121 A CN 202210755121A CN 115170497 A CN115170497 A CN 115170497A
Authority
CN
China
Prior art keywords
detection
pcba
learning
data
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210755121.1A
Other languages
English (en)
Inventor
乔景全
盛颜开
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wujiang Sigma Electronic Technology Co ltd
Original Assignee
Wujiang Sigma Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wujiang Sigma Electronic Technology Co ltd filed Critical Wujiang Sigma Electronic Technology Co ltd
Priority to CN202210755121.1A priority Critical patent/CN115170497A/zh
Publication of CN115170497A publication Critical patent/CN115170497A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20088—Trinocular vision calculations; trifocal tensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)

Abstract

本发明公开了一种基于AI视觉检测技术的PCBA在线检测平台，包括PCBA智能AI实时检测***、目标检测算法模型***、PCBA检测数据***及检测产品图像存储***，本发明所述的一种基于AI视觉检测技术的PCBA在线检测平台，基于AI的检测方式，借助PCBA相关的设计或制造资料实现快速锁定检测目标和元件重点区域并对其进行标注，然后通过现代神经网络学习和训练取得检测元件的数据集，最后通过学习迁移实现采用已有的学习数据集来检测新的PCBA产品，通过采用以上方案，提高了检测效率和检测精度、增强算法的泛化能力，缩短了生产周期和降低成本，增强了企业的竞争力，而且利用智能检测的数据，可以用来构建品质数据库，实现跟踪反馈***。

Description

一种基于AI视觉检测技术的PCBA在线检测平台
技术领域
本发明涉及PCBA在线检测领域，特别涉及一种基于AI视觉检测技术的PCBA在线检测平台。
背景技术
PCBA在线检测平台是一种进行PCBA元件检测的支撑***，在工业生产过程中，视觉检测是其中的关键一环，需要准确、快速地鉴别出有瑕疵的部件，长久以来，这一对产品进行分析检查的步骤通常需要人眼辨识，这就需要对检验人员进行***培训，合格的视觉检验员通过综合运用各种鉴别知识和技能，随着人工智能技术的不断发展，人工智能按照程序来可靠地执行任务的能力在不断发展。在人脸识别中，人工智能通过对输入图像的分析，识别人脸以及眼睛、鼻子、耳朵等器官的位置，并输出一个边界框来确定这些部分的位置以及大小。但在电子制造行业的印刷电路板(PCBA)图像检测中，其环境远比人脸识别更复杂，比如各种不同封装类型的电子元件，不同的线路线路形态，不同的标识标记，丝印文字，还有元件的焊点，以及不同颜色阻焊膜等都会对PCBA的检测产生影响。幸运的是由于PCBA是按照设计好的装配文档来进行生产，因此上述这些环境影响因素，很容易通过文档来过滤非必要因素而锁定检测目标，智能检测设备，替代人工检测效率高，精确稳定，主要检测项目有零件缺件检测、表面缺陷特征检测、引脚封装完整检测、元件破损检测、端子引脚检测等，非接触测量，对于观测者与被观测者都不会产生任何损伤，从而提高***的可靠性，长时间稳定工作，人类难以长时间对同一对象进行观察，而机器视觉则可以长时间地作测量、分析和识别任务，利用了机器视觉解决方案，可以节省大量劳动力资源，随着科技的不断发展，人们对于PCBA在线检测平台的要求也越来越高。
现有的PCBA在线检测平台在使用时存在一定的弊端，首先，人工视觉检验的错误率通常在 20%-30%，其中有些是由于操作失误产生，还有些是因为本身操作空间有限，从而无法避免产生失误，不利于人们的使用，还有，目前产线的主要AOI技术应用传统目标检测算法，与AI相比具有较多的缺陷，主流方法基于滑动窗口的区域选择没有针对性且时间复杂度高，导致传统方法的检测精度较低、泛化能力不强，严重影响了算法的普遍适用性，给人们的使用过程带来了一定的不利影响，为此，我们提出一种基于AI视觉检测技术的PCBA在线检测平台。
发明内容
（一）解决的技术问题
针对现有技术的不足，本发明提供了一种基于AI视觉检测技术的PCBA在线检测平台，基于AI的检测方式，引入到常见的、明显的元件故障检测中，大幅提高检测精度、增强算法的泛化能力，大幅提高检测效率，基于智能检测结果，构建质量跟踪反馈***，集成度更高、信息更丰富、追溯质量问题更准确、迅速，***集成了智能算法的结果与PCBA条形码等信息，可以快速追溯质量问题，可以有效解决背景技术中的问题。
（二）技术方案
为实现上述目的，本发明采取的技术方案为：一种基于AI视觉检测技术的PCBA在线检测平台，包括PCBA智能AI实时检测***、目标检测算法模型***、PCBA检测数据***及检测产品图像存储***，其特征在于：基于AI的检测方式，借助PCBA相关的设计或制造资料实现快速锁定检测目标和元件重点区域并对其进行标注，然后通过现代神经网络学习和训练取得检测元件的数据集，最后通过学习迁移实现采用已有的学习数据集来检测新的PCBA产品。
通过采用以上方案，提高了检测效率和检测精度、增强算法的泛化能力，缩短了生产周期和降低成本，增强了企业的竞争力，而且利用智能检测的数据，可以用来构建品质数据库，实现跟踪反馈***，与生产中的相关站位构成闭环持续改善，对产线的品质监控和持续改善更自动化和***化，再次，由于智能检测时，有读取PCBA条形码并进行拍照，最终通过条码ID将检测结果和产品照片关联并进行存储于资料库，并可实现快速追溯品质问题，最后，将智能检测设备集成机械臂，实现全检测流程自动化，减少人工检验，同时由于无人化作业，避免了人员接触产品的机会，降低了产品上芯片ESD破坏的风险，所述目标检测算法模型***构建完毕后输出PCBA检测平台，根据BOM及CAD资料，可以自动标注好数据，并应用于如下几种任务：用于插孔件分类的Efficient Net；用于插孔件及SMT件小样本度量学习的孪生网络，其中，所有模型使用PyTorch工具编写，NVIDIA Tesla P100 GPU训练，数据增强方案包括滤波去噪、增加对比度、灰度化、锐化等；
所述PCBA智能AI实时检测***包括以下操作步骤：
首先，利用PCBA相关的设计或制造相关资料，比如利用PCBA的CAD或者ODB++资料进行再处理来锁定检测目标，根据BOM按照元件类型和封装对元件进行分类并确定AI检测元件的区域和元件感兴趣区域（Regional of Interest, ROI），然后对其进行标注。其次，AI对已标注的元件产品进行现代神经网络学习和训练，并且将元件检测的特征参数保存在AI检测模型内。 通过这种利用资料将PCBA进行目标锁定，并且用BOM来对目标进行分类及标注，再经过AI学习和训练，实现了PCBA数据集转化为根据元件类型和封装分类的PCBA元件和焊点的数据集。最后，利用通过相关检测得到的元件和焊点数据集，在进行新的PCBA产品检测时，仅需将已学习好的元件检测特征参数迁移到新的PCBA检测上，在训练时保持卷积层参数不变，微调全连接层（比如元件的大小或者方向等，可通过微调实现），通过少量的样本学习，就可以达到精准的检测效果。此过程为迁移学习，通过此过程可以利用已学习好的元件特征参数去检测新的PCBA产品，从AI检测学习的角度来讲，不同的PCBA检测的区别就是元件种类，大小，方向和其组装元件的数量。
其中根据CAD或者ODB++文件获取元件位置和边界框， BOM元件的类型和封装对元件进行分类，并对元件进行划分边界框内重点关注区域（ROI），包括以下内容：
A.边界框中心区域用来识别元件是否缺件，以及碑文内容；
检验***需要确认元件如下要素：
（a）元件位置安装是否合适：无缺件或者元件偏移；
（b）元件型号碑文正确；
B.边界框中的焊盘或者焊接区域是用来检测焊点的品质；
C.在边界框周边对相邻的焊盘或者插件孔进行检测，拦截锡桥或者短路等不良；
D.启发于ROI的理念，在检测模型中采用空间注意力机制以给与ROI更多权重；
其中，进行元件和焊点检测模型迁移学习，包括以下内容：
A.一旦预定义元件基于位置和封装类型被标注后，AI就可以对任何标注了元件的PCBA样品进行检测训练，并且将这些元件检测的参数保存在AI检测模型内，基于对元件类型学习的能力，就无需对整个PCBA产品进行学习，仅需将已学好的元件检测参数转移到不同的PCBA产品上，在训练时保持卷积层参数不变，微调全连接层，随着AI模型训练和检测更多的PCBA产品，可以持续地将按照元件类型累积的不良数据进行存储，当不同元件类型的学习数据可以被转移，任何新的PCBA产品就可以通过少量的样本学习，达到精准的检测效果；
B.迁移学习可以使每个新的PCBA被检测时，就无需进行过多重复的训练学习，通过迁移学习功能，就可以利用大量的被标注及被学习的学习数据来检测不同的PCBA，这样就节省大量的训练学习时间，被标注的数据可以关联到元件位置编号；
C.有效的迁移学习是在于利用人工智能去检测类似性的工作，从PCBA检测标准来讲，检验员具有一定的专业技能或者采用PCBA行业的检验标准IPC-A-610进行检测，AI需进行类似的检测任务即可，即参考行业标准对被检测对象进行检测并判定，从AI检测学习的角度来讲，不同的PCBA检测的区别就是元件种类，大小，方向和其组装元件的数量。
作为本申请一种优选的技术方案，用于插孔件分类的Efficient Net中，Efficient Net为3*3卷积层+7个Mobile Net卷积块，其中包含普通1*1卷积、深度可分离卷积、SE层赋予不同通道不同权重+1*1卷积+池化+全连接，最后输出类别，得益于BOM和CAD，可轻松地标注好电子元件在PCBA上的位置及类别，自动化生成训练与测试数据集，而且标注效果较之人为更佳，因为获得的图像数据冗余信息更少，将这些数据应用于训练Efficient Net，可以减少1-2个Mobile Net卷积块，仍能够达到分类各种电子元件的效果，训练好的Efficient Net可直接用于PCBA检测，根据BOM将PCBA上的电子元件图片依次输入Efficient Net，再比对BOM上该位置的元件类别，若类别不是在该位置应该出现的元件类别，则报错。
作为本申请一种优选的技术方案，用于插孔件及SMT件小样本度量学习的孪生网络中，基本思想：输入两张图片，用同一个卷积神经网络分别提取特征，计算两个特征向量之间的距离，来决定两张图片内容是否属于同一类别；网络结构：先用一个ResBlock结构即批标准化+ReLU激活+卷积层+最大池化下采样+残差连接的卷积神经网络提取两个输入图片的特征，然后计算两个特征向量之间的距离，之后再把距离向量输入另一个卷积神经网络即卷积层+ReLU激活+最大池化下采样提取两个输入图片之间更高维的特征，最后进入全连接层得到一个标量，然后用Sigmoid激活函数输出最终结果，如果是同类则为1，异类则为0，训练时只需要在输入两个电子元件图片的基础上，输入两个元件是否属于同一类别，孪生网络可用于PCBA缺件、错件的识别，对于某一种PCBA的检测，首先有一张人工对比过无错误的“黄金标准”PCBA，根据BOM和CAD资料依次将PCBA上的元件当作孪生网络的其中一个输入，然后将需要检测的PCBA相同位置的元件同样输入进网络，网络判别是否属于同一类别，这样的网络结构可以用于小样本学习，对于一个训练好的孪生网络来说，即使输入是训练时没见过的电子元件类别，依然可以用于与黄金标准PCBA上的同位置电子元件进行比较来输出两个电子元件是否属于同一类别。
作为本申请一种优选的技术方案，所述PCBA智能AI实时检测***采用AI技术，所述AI技术利用元件类型和封装来创建检测模型并对元件进行检测，且AI技术检测每个元件，利用已有技术资料快速获得检测元件的相关信息，且利用这些已知的数据来预定义组装元件的位置和分类，结合PCBA装配文档对检测元件进行标注，将PCBA数据集转化为PCBA元件的数据集，进行识别与对比，所述AI技术重点检测以上测试工序无法拦截的不良缺陷。
作为本申请一种优选的技术方案，所述PCBA智能AI实时检测***包括以下操作步骤：
S1：利用AI技术对PCBA进行检测，PCBA检测重点是针对电路测试中覆盖不到的不良现象，检测是整个测试***中的重要环节，AI检测价值在于可以检测到现有检测方式不能完全覆盖的不良情况；
S2：根据已知元件类型对边界框内的元件进行分类，利用元件位置信息来获取边界框，采用元件类型来定义元件类别，极大地减少AI的学习流程，不仅能结合CAD资料中元件外形及其焊盘来预定义PCBA图像中该元件的边界框的大小，而且可以通过元件的类型和封装来确定边界框的类型；
S3：根据元件的类型和封装对元件分类进行预定义；
S4：划分边界框内重点关注区域，根据元件类型和其封装来预定义了边界框和重点关注区域后，就可以快速获取元件特征，将图片中的非必要的信息去除；
S5：元件和焊点检测模型迁移学习，通过迁移学习功能，可以利用大量的被标注及被学习的学习数据来检测不同的PCBA，节省大量的训练学习时间，被标注的数据可以关联到元件位置编号，利用人工智能去检测类似性的工作；
S6：模拟检验员进行在线检测，在线AI检测不仅具有可靠性的不良拦截，同时通过使用集成机械臂可避免人员接触产品，进而降低PCBA受到ESD或者人工操作不当时可能造成损害的风险。
（三）有益效果
与现有技术相比，本发明提供了一种基于AI视觉检测技术的PCBA在线检测平台，具备以下有益效果：该发明基于AI视觉检测技术的PCBA在线检测平台，基于AI的检测方式，引入到常见的、明显的元件故障检测中，大幅提高检测精度、增强算法的泛化能力，大幅提高检测效率，基于智能检测结果，构建质量跟踪反馈***，集成度更高、信息更丰富、追溯质量问题更准确、迅速，***集成了智能算法的结果与PCBA条形码等信息，可以快速追溯质量问题，通过AI视觉检测的方式，对产线上的批量检测目标进行持续、准确的测量，大幅地降低错误率、成本以及提升效率；
1、基于AI的检测方式进行PCBA智能检测
包括PCBA智能AI实时检测***、目标检测算法模型***、PCBA检测数据***及检测产品图像存储***，本发明所述的一种基于AI视觉检测技术的PCBA在线检测平台，基于AI的检测方式，借助PCBA相关的设计或制造资料实现快速锁定检测目标和元件重点区域并对其进行标注，然后通过现代神经网络学***台，根据物料表(Bill of material，BOM)及CAD资料，可以自动标注好数据，并应用于如下几种任务：用于插孔件分类的Efficient Net；用于插孔件及SMT件小样本度量学习的孪生网络。
2、构建产品数据库，实现更高的质量跟踪反馈管理***
通过基于智能技术的电路板和元件识别、存储技术，构建可以追溯生产流程、进行质量跟踪管理的产品数据库，其基本内容包括存储、查找被测产品、元件图像和检测信息、智能识别产品条码、料号信息管理等，其关键之一在于产品条形码的处理及其与产品实物的关联，在本项目中电路板上预留区域是否缺失条形码也是需要重点检测的问题，本项目将在产线复杂环境下，检测是否缺失条形码并进行准确识别，将其和产品料号信息、检测精度信息等关联，构成高质量的可回溯的产品检测信息数据库，智能检测***检测速度快，节约人工成本，彻底解决人眼产生的疲劳误判，且可24小时不停检测，精确识别细微缺陷，提高检测效率，解决了细微缺陷，肉眼检测容易漏检、误判的问题，可根据工单为不同种类的缺陷设置不同的分选条件，以满足不同批次产品的质量需求，检测数据与图片信息保存于数据库服务器，归纳及分析缺陷检测结果，实时开展产品质量追溯，引进智能检测技术来对产品外观缺陷进行检测，减少了人工成本，还大大提高了检测的精度和效率，给企业带来了更好的声誉和更大的收益，人工智能检测设备对产品外观缺陷检测效果惊人，与人工相比，它有着巨大优势，对PCBA 元件漏件测试识别率达到90%以上，准确读取每一条PCBA条形码并储存相关信息，PCBA检测数据***稳定运行，整个PCBA在线检测平台结构简单，操作方便，使用的效果相对于传统方式更好。
附图说明
图1为本发明一种基于AI视觉检测技术的PCBA在线检测平台的整体结构示意图。
图2为本发明一种基于AI视觉检测技术的PCBA在线检测平台中目标检测模型构建模块的结构示意图。
图3为本发明一种基于AI视觉检测技术的PCBA在线检测平台中PCBA产品的CAD示意图，涵盖了元件位置等信息。
图4为本发明一种基于AI视觉检测技术的PCBA在线检测平台中PCBA产品的ODB++示意图，涵盖了元件位置及元件轮廓等信息。
图5为本发明一种基于AI视觉检测技术的PCBA在线检测平台中划分边界框内重点关注区域其一的结构示意图。
图6为本发明一种基于AI视觉检测技术的PCBA在线检测平台中划分边界框内重点关注区域其二的结构示意图。
具体实施方式
下面将结合附图和具体实施方式对本发明的技术方案进行清楚、完整地描述，但是本领域技术人员将会理解，下列所描述的实施例是本发明一部分实施例，而不是全部的实施例，仅用于说明本发明，而不应视为限制本发明的范围。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。实施例中未注明具体条件者，按照常规条件或制造商建议的条件进行。所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例一：
如图1-6所示，一种基于AI视觉检测技术的PCBA在线检测平台，包括PCBA智能AI实时检测***、目标检测算法模型***、PCBA检测数据***及检测产品图像存储***，其特征在于：基于AI的检测方式，借助PCBA相关的设计或制造资料实现快速锁定检测目标和元件重点区域并对其进行标注，然后通过现代神经网络学习和训练取得检测元件的数据集，最后通过学习迁移实现采用已有的学习数据集来检测新的PCBA产品。
通过采用以上方案，提高了检测效率和检测精度、增强算法的泛化能力，缩短了生产周期和降低成本，增强了企业的竞争力，而且利用智能检测的数据，可以用来构建品质数据库，实现跟踪反馈***，与生产中的相关站位构成闭环持续改善，对产线的品质监控和持续改善更自动化和***化，再次，由于智能检测时，有读取PCBA条形码并进行拍照，最终通过条码ID将检测结果和产品照片关联并进行存储于资料库，并可实现快速追溯品质问题，最后，将智能检测设备集成机械臂，实现全检测流程自动化，减少人工检验，同时由于无人化作业，避免了人员接触产品的机会，降低了产品上芯片ESD破坏的风险，目标检测算法模型***构建完毕后输出PCBA检测平台，根据BOM及CAD资料，可以自动标注好数据，并应用于如下几种任务：用于插孔件分类的Efficient Net；用于插孔件及SMT件小样本度量学习的孪生网络；其中，所有模型使用PyTorch工具编写，NVIDIA Tesla P100 GPU训练，数据增强方案包括滤波去噪、增加对比度、灰度化、锐化等；
PCBA智能AI实时检测***包括以下操作步骤：
首先，利用PCBA相关的设计或制造相关资料，比如利用PCBA的CAD或者ODB++资料进行再处理来锁定检测目标，根据BOM按照元件类型和封装对元件进行分类并确定AI检测元件的区域和元件感兴趣区域（Regional of Interest, ROI），然后对其进行标注。其次，AI对已标注的元件产品进行现代神经网络学习和训练，并且将元件检测的特征参数保存在AI检测模型内。 通过这种利用资料将PCBA进行目标锁定，并且用BOM来对目标进行分类及标注，再经过AI学习和训练，实现了PCBA数据集转化为根据元件类型和封装分类的PCBA元件和焊点的数据集。最后，利用通过相关检测得到的元件和焊点数据集，在进行新的PCBA产品检测时，仅需将已学习好的元件检测特征参数迁移到新的PCBA检测上，在训练时保持卷积层参数不变，微调全连接层（比如元件的大小或者方向等，可通过微调实现），通过少量的样本学习，就可以达到精准的检测效果。此过程为迁移学习，通过此过程可以利用已学习好的元件特征参数去检测新的PCBA产品，从AI检测学习的角度来讲，不同的PCBA检测的区别就是元件种类，大小，方向和其组装元件的数量。
其中根据CAD或者ODB++文件获取元件位置和边界框，通过BOM元件的类型和封装对元件进行分类，并对元件进行划分边界框内重点关注区域（ROI），包括以下内容：
A.边界框中心区域用来识别元件是否缺件，以及碑文内容；
检验***需要确认元件如下要素：
（a）元件位置安装是否合适：无缺件或者元件偏移；
（b）元件型号碑文正确；
B.边界框中的焊盘或者焊接区域是用来检测焊点的品质；
C.在边界框周边对相邻的焊盘或者插件孔进行检测，拦截锡桥或者短路等不良；
D.启发于ROI的理念，在检测模型中采用空间注意力机制以给与ROI更多权重；
其中，进行元件和焊点检测模型迁移学习，包括以下内容：
A.一旦预定义元件基于位置和封装类型被标注后，AI就可以对任何标注了元件的PCBA样品进行检测训练，并且将这些元件检测的参数保存在AI检测模型内，基于对元件类型学习的能力，就无需对整个PCBA产品进行学习，仅需将已学好的元件检测参数转移到不同的PCBA产品上，在训练时保持卷积层参数不变，微调全连接层，随着AI模型训练和检测更多的PCBA产品，可以持续地将按照元件类型累积的不良数据进行存储，当不同元件类型的学习数据可以被转移，任何新的PCBA产品就可以通过少量的样本学习，达到精准的检测效果；
B.迁移学习可以使每个新的PCBA被检测时，就无需进行过多重复的训练学习，通过迁移学习功能，就可以利用大量的被标注及被学习的学习数据来检测不同的PCBA，这样就节省大量的训练学习时间，被标注的数据可以关联到元件位置编号；
C.有效的迁移学习是在于利用人工智能去检测类似性的工作，从PCBA检测标准来讲，检验员具有一定的专业技能或者采用PCBA行业的检验标准IPC-A-610进行检测，AI需进行类似的检测任务即可，即参考行业标准对被检测对象进行检测并判定，从AI检测学习的角度来讲，不同的PCBA检测的区别就是元件种类，大小，方向和其组装元件的数量。
进一步的，PCBA智能AI实时检测***采用AI技术，AI技术利用元件类型和封装来创建检测模型并对元件进行检测，且AI技术检测每个元件，利用已有技术资料快速获得检测元件的相关信息，且利用这些已知的数据来预定义组装元件的位置和分类，结合PCBA装配文档对检测元件进行标注，将PCBA数据集转化为PCBA元件的数据集，进行识别与对比，AI技术重点检测以上测试工序无法拦截的不良缺陷。
进一步的，PCBA智能AI实时检测***包括以下操作步骤：
S1：利用AI技术对PCBA进行检测，PCBA检测重点是针对电路测试中覆盖不到的不良现象，检测是整个测试***中的重要环节，AI检测价值在于可以检测到现有检测方式不能完全覆盖的不良情况；
1、PCBA缺少旁路电容，该不良通常是借助模板目视检查时发现；
2、缺少元件，可以在ICT或者目视检查时发现；
3、测试无法拦截的损件不良，可通过目视检测发现；
4、ICT/FCT 测试无法拦截的极性错误电容元件，可通过目视检测发现；
5、如果组装了封装大小错误的被动元件，可以通过目视检测发现；
6、在测试环节无法拦截到的元件组装偏移不良，可以通过目视检测发现；
7、焊接过程中的锡球，锡渣，锡桥等不良现象，可以通过目视检测发现；
8、针对在检测过程中人为接触可能造成ESD不良的风险，通过集成机械臂来辅助检测流程，降低该风险。
S2：根据已知元件类型对边界框内的元件进行分类，利用元件位置信息来获取边界框，采用元件类型来定义元件类别，极大地减少AI的学习流程，不仅能结合CAD资料中元件外形及其焊盘来预定义PCBA图像中该元件的边界框的大小，而且可以通过元件的类型和封装来确定边界框的类型；
S3：根据元件的类型和封装对元件分类进行预定义；
1、电容按照封装分类如下
a.Through hole/插孔类
i.Electrolytic/电解电容
ii.Ceramic/陶瓷电容
b.SMT/贴片类
i.Aluminum/铝质电容
ii.Tantalum/钽质电容
iii.Chip type per package size such as 0201,0402 …
片式电容，如果按照封装大小有0201,0402…
2、电阻按照封装分类如下
a.Through hole /插孔类
i.Through hole/插孔类
ii.SIP/单列直插式
b.SMT/贴片类
i.Chip type per package size such as 0201,0402 … 片式电阻，如果按照封装大小有0201,0402…
3、电感按照封装分类如下
a.Through hole/插孔类
b.SMT/贴片类
i.Chip type per package size such as 0603,0402 … 片式电感，如果按照封装大小有0603,0402…
ii.Power /功率电感
4、二极管按照封装分类如下
a.Through hole/插孔类
b.SMT/贴片类
i.SOT23/小外形晶体管
ii.SOD/小外形二级管
5、晶体管按照封装分类如下
a.Through hole /插孔类
b.SMT /贴片类
i.SOT23/小外形晶体管
ii.SOT4/小外形晶体管
6、连接器按照封装分类如下
a.Through hole/插孔类
b.SMT/贴片类
7、芯片按照封装分类如下
a.Through hole/插孔类
i.DIP /双列直插封装
b.SMT/贴片类
i.SOIC/小外形集成电路
ii.SOP/小外形封装
iii.QFP/方型扁平式封装
BGA/球栅阵列封装。
S4：划分边界框内重点关注区域，根据元件类型和其封装来预定义了边界框和重点关注区域后，就可以快速获取元件特征，将图片中的非必要的信息去除；
S5：元件和焊点检测模型迁移学习，通过迁移学习功能，可以利用大量的被标注及被学习的学习数据来检测不同的PCBA，节省大量的训练学习时间，被标注的数据可以关联到元件位置编号，利用人工智能去检测类似性的工作；
S6：模拟检验员进行在线检测，在线AI检测不仅具有可靠性的不良拦截，同时通过使用集成机械臂可避免人员接触产品，进而降低PCBA受到ESD或者人工操作不当时可能造成损害的风险。
实施例二：
在实施例一的基础上，如图1-6所示，一种基于AI视觉检测技术的PCBA在线检测平台，包括PCBA智能AI实时检测***、目标检测算法模型***、PCBA检测数据***及检测产品图像存储***，其特征在于：基于AI的检测方式，借助PCBA相关的设计或制造资料实现快速锁定检测目标和元件重点区域并对其进行标注，然后通过现代神经网络学习和训练取得检测元件的数据集，最后通过学习迁移实现采用已有的学习数据集来检测新的PCBA产品。
通过采用以上方案，提高了检测效率和检测精度、增强算法的泛化能力，缩短了生产周期和降低成本，增强了企业的竞争力，而且利用智能检测的数据，可以用来构建品质数据库，实现跟踪反馈***，与生产中的相关站位构成闭环持续改善，对产线的品质监控和持续改善更自动化和***化，再次，由于智能检测时，有读取PCBA条形码并进行拍照，最终通过条码ID将检测结果和产品照片关联并进行存储于资料库，并可实现快速追溯品质问题，最后，将智能检测设备集成机械臂，实现全检测流程自动化，减少人工检验，同时由于无人化作业，避免了人员接触产品的机会，降低了产品上芯片ESD破坏的风险，目标检测算法模型***构建完毕后输出PCBA检测平台，根据BOM及CAD资料，可以自动标注好数据，并应用于如下几种任务：用于插孔件分类的Efficient Net；用于插孔件及SMT件小样本度量学习的孪生网络；其中，所有模型使用PyTorch工具编写，NVIDIA Tesla P100 GPU训练，数据增强方案包括滤波去噪、增加对比度、灰度化、锐化等；
PCBA智能AI实时检测***包括以下操作步骤：
首先，利用PCBA相关的设计或制造相关资料，比如利用PCBA的CAD或者ODB++资料进行再处理来锁定检测目标，根据BOM按照元件类型和封装对元件进行分类并确定AI检测元件的区域和元件感兴趣区域（Regional of Interest, ROI），然后对其进行标注。其次，AI对已标注的元件产品进行现代神经网络学习和训练，并且将元件检测的特征参数保存在AI检测模型内。 通过这种利用资料将PCBA进行目标锁定，并且用BOM来对目标进行分类及标注，再经过AI学习和训练，实现了PCBA数据集转化为根据元件类型和封装分类的PCBA元件和焊点的数据集。最后，利用通过相关检测得到的元件和焊点数据集，在进行新的PCBA产品检测时，仅需将已学习好的元件检测特征参数迁移到新的PCBA检测上，在训练时保持卷积层参数不变，微调全连接层（比如元件的大小或者方向等，可通过微调实现），通过少量的样本学习，就可以达到精准的检测效果。此过程为迁移学习，通过此过程可以利用已学习好的元件特征参数去检测新的PCBA产品，从AI检测学习的角度来讲，不同的PCBA检测的区别就是元件种类，大小，方向和其组装元件的数量。
其中根据CAD或者ODB++文件获取元件位置和边界框，通过BOM元件的类型和封装对元件进行分类，并对元件进行划分边界框内重点关注区域（ROI），包括以下内容：
A.边界框中心区域用来识别元件是否缺件，以及碑文内容；
检验***需要确认元件如下要素：
（a）元件位置安装是否合适：无缺件或者元件偏移；
（b）元件型号碑文正确；
B.边界框中的焊盘或者焊接区域是用来检测焊点的品质；
C.在边界框周边对相邻的焊盘或者插件孔进行检测，拦截锡桥或者短路等不良；
D.启发于ROI的理念，在检测模型中采用空间注意力机制以给与ROI更多权重；
其中，进行元件和焊点检测模型迁移学习，包括以下内容：
A.一旦预定义元件基于位置和封装类型被标注后，AI就可以对任何标注了元件的PCBA样品进行检测训练，并且将这些元件检测的参数保存在AI检测模型内，基于对元件类型学习的能力，就无需对整个PCBA产品进行学习，仅需将已学好的元件检测参数转移到不同的PCBA产品上，在训练时保持卷积层参数不变，微调全连接层，随着AI模型训练和检测更多的PCBA产品，可以持续地将按照元件类型累积的不良数据进行存储，当不同元件类型的学习数据可以被转移，任何新的PCBA产品就可以通过少量的样本学习，达到精准的检测效果；
B.迁移学习可以使每个新的PCBA被检测时，就无需进行过多重复的训练学习，通过迁移学习功能，就可以利用大量的被标注及被学习的学习数据来检测不同的PCBA，这样就节省大量的训练学习时间，被标注的数据可以关联到元件位置编号；
C.有效的迁移学习是在于利用人工智能去检测类似性的工作，从PCBA检测标准来讲，检验员具有一定的专业技能或者采用PCBA行业的检验标准IPC-A-610进行检测，AI需进行类似的检测任务即可，即参考行业标准对被检测对象进行检测并判定，从AI检测学习的角度来讲，不同的PCBA检测的区别就是元件种类，大小，方向和其组装元件的数量。
进一步的，用于插孔件分类的Efficient Net中，Efficient net为3*3卷积层+7个Mobile Net卷积块，其中包含普通1*1卷积、深度可分离卷积、SE层赋予不同通道不同权重+1*1卷积+池化+全连接，最后输出类别，得益于BOM和CAD，可轻松地标注好电子元件在PCBA上的位置及类别，自动化生成训练与测试数据集，而且标注效果较之人为更佳，因为获得的图像数据冗余信息更少，将这些数据应用于训练Efficient Net，可以减少1-2个MobileNet卷积块，仍能够达到分类各种电子元件的效果，训练好的Efficient Net可直接用于PCBA检测，根据BOM将PCBA上的电子元件图片依次输入Efficient Net，再比对BOM上该位置的元件类别，若类别不是在该位置应该出现的元件类别，则报错。
进一步的，用于插孔件及SMT件小样本度量学习的孪生网络中，基本思想：输入两张图片，用同一个卷积神经网络分别提取特征，计算两个特征向量之间的距离，来决定两张图片内容是否属于同一类别；网络结构：先用一个ResBlock结构即批标准化+ReLU激活+卷积层+最大池化下采样+残差连接的卷积神经网络提取两个输入图片的特征，然后计算两个特征向量之间的距离，之后再把距离向量输入另一个卷积神经网络即卷积层+ReLU激活+最大池化下采样提取两个输入图片之间更高维的特征，最后进入全连接层得到一个标量，然后用Sigmoid激活函数输出最终结果，如果是同类则为1，异类则为0，训练时只需要在输入两个电子元件图片的基础上，输入两个元件是否属于同一类别，孪生网络可用于PCBA缺件、错件的识别，对于某一种PCBA的检测，首先有一张人工对比过无错误的“黄金标准”PCBA，根据BOM和CAD资料依次将PCBA上的元件当作孪生网络的其中一个输入，然后将需要检测的PCBA相同位置的元件同样输入进网络，网络判别是否属于同一类别，这样的网络结构可以用于小样本学习，对于一个训练好的孪生网络来说，即使输入是训练时没见过的电子元件类别，依然可以用于与黄金标准PCBA上的同位置电子元件进行比较来输出两个电子元件是否属于同一类别。
工作原理：包括PCBA智能AI实时检测***、目标检测算法模型***、PCBA检测数据***及检测产品图像存储***，本发明所述的一种基于AI视觉检测技术的PCBA在线检测平台，基于AI的检测方式，借助PCBA相关的设计或制造资料实现快速锁定检测目标和元件重点区域并对其进行标注，然后通过现代神经网络学***台，根据物料表(Bill of material，BOM)及CAD资料，可以自动标注好数据，并应用于如下几种任务：用于插孔件分类的Efficient Net；用于插孔件及SMT件小样本度量学***滑是相反的操作，锐化是通过增强高频分量来减少图像中的模糊，增强图像细节边缘和轮廓，增强灰度反差，便于后期对目标的识别和处理。锐化处理在增强图像边缘的同时也增加了图像的噪声，
基于项目需求，开发并使用基于深度学***台构建，AI对PCBA检测重点是针对电路测试中覆盖不到的不良现象，根据已知元件类型对边界框内的元件进行分类，根据元件的类型和封装对元件分类进行预定义，预定义元件基于位置和封装类型被标注后，AI就可以对任何标注了元件的PCBA样品进行检测训练，并且将这些元件检测的参数保存在AI检测模型内。基于对元件类型学习的能力，就无需对整个PCBA产品进行学习，仅需将已学好的元件检测参数转移到不同的PCBA产品上。我们只需要在训练时保持卷积层参数不变，微调全连接层。随着AI模型训练和检测更多的PCBA产品，就可以持续地将按照元件类型累积的不良数据进行存储。当不同元件类型的学习数据可以被转移，任何新的PCBA产品就可以通过少量的样本学习，就能够达到精准的检测效果。迁移学习可以使每个新的PCBA被检测时，就无需进行过多重复的训练学习。通过迁移学习功能，就可以利用大量的被标注及被学习的学习数据来检测不同的PCBA，这样就节省大量的训练学习时间。被标注的数据可以关联到元件位置编号。有效的迁移学习是在于利用人工智能去检测类似性的工作，从PCBA检测标准来讲，检验员具有一定的专业技能或者采用PCBA行业的检验标准IPC-A-610进行检测，AI需进行类似的检测任务即可，即参考行业标准对被检测对象进行检测并判定。从AI检测学习的角度来讲，不同的PCBA检测的区别就是PCBA大小和其组装的元件数量，在线AI检测不仅具有可靠性的不良拦截，同时通过使用集成机械臂可避免人员接触产品，进而降低PCBA受到ESD或者人工操作不当时可能造成损害的风险，在SigmaTron公司的制造过程中，人工智能用于视觉检测，该视觉检测集成了机器视觉和AI深度学习的功能。在制造业环境中，AI可以利用已有技术资料快速获得检测元件的相关信息，比如元件的位置和分类。一旦PCBA板子的元件被识别，可以按照元件类型来对元件的特征参数进行学习训练，并且将其迁移到新的PCBA板子上，这样可以减少学习样品的数量并且加快学习过程。因此通过以上的方式，能改善现有的AI技术，并应用于PCBA在线检测中，AI检测模型的功能不是用来检测整个PCBA，而是用来检测每个元件。AI是利用元件类型和封装来创建检测模型并对元件进行检测，比如缺件，位移，元件碑文，元件焊点或者短路等元件不良。
根据BOM及CAD资料，我们可以自动标注好数据，并应用于如下几种任务：（所有模型使用PyTorch工具编写，NVIDIA Tesla P100 GPU训练。数据增强方案包括滤波去噪、增加对比度、灰度化、锐化等）
1.用于插孔件分类的Efficient Net：
Efficient Net: 3*3卷积层+7个Mobile Net卷积块（包含普通1*1卷积、 深度可分离卷积、SE层赋予不同通道不同权重）+ 1*1卷积+池化+全连接，最后输出类别。
得益于BOM和CAD，我们可以轻松地标注好电子元件在PCBA上的位置及类别，自动化生成训练、测试数据集，而且标注效果较之人为更佳，因为获得的图像数据冗余信息更少。将这些数据应用于训练Efficient Net，可以减少1-2个Mobile Net卷积块，仍能够达到分类各种电子元件的效果。
训练好的Efficient Net可直接用于PCBA检测，根据BOM将PCBA上的电子元件图片依次输入Efficient Net, 再比对BOM上该位置的元件类别，若类别不是在该位置应该出现的元件类别，则报错。
2.用于插孔件及SMT件小样本度量学习的孪生网络：
基本思想：输入两张图片，用同一个卷积神经网络（共享权重）分别提取特征，计算两个特征向量之间的距离，来决定两张图片内容是否属于同一类别。
网络结构：先用一个ResBlock结构（批标准化+ReLU激活+卷积层+最大池化下采样+残差连接）的卷积神经网络提取两个输入图片的特征，然后计算两个特征向量之间的距离，之后再把距离向量输入另一个卷积神经网络（卷积层+ReLU激活+最大池化下采样）提取两个输入图片之间更高维的特征，最后进入全连接层得到一个标量，然后用Sigmoid激活函数输出最终结果，如果是同类则为1，异类则为0。
对我们来说，训练时只需要在输入两个电子元件图片的基础上，输入两个元件是否属于同一类别。
在我们的生产环境中，孪生网络可用于PCBA缺件、错件的识别。对于某一种PCBA的检测，首先有一张人工对比过无错误的“黄金标准”PCBA，根据BOM和CAD资料依次将PCBA上的元件当作孪生网络的其中一个输入，然后将需要检测的PCBA相同位置的元件同样输入进网络，网络判别是否属于同一类别。
这样的网络结构可以用于小样本学习，对于一个训练好的孪生网络来说，即使输入是训练时没见过的电子元件类别，依然可以用于与黄金标准PCBA上的同位置电子元件进行比较来输出两个电子元件是否属于同一类别。
需要说明的是，在本文中，诸如第一和第二（一号、二号）等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (5)

1.一种基于AI视觉检测技术的PCBA在线检测平台，包括PCBA智能AI实时检测***、目标检测算法模型***、PCBA检测数据***及检测产品图像存储***，其特征在于：基于AI的检测方式，借助PCBA相关的设计或制造资料实现快速锁定检测目标和元件重点区域并对其进行标注，然后通过现代神经网络学习和训练取得检测元件的数据集，最后通过学习迁移实现采用已有的学习数据集来检测新的PCBA产品；
通过采用以上方案，提高了检测效率和检测精度、增强算法的泛化能力，缩短了生产周期和降低成本，增强了企业的竞争力，而且利用智能检测的数据，可以用来构建品质数据库，实现跟踪反馈***，与生产中的相关站位构成闭环持续改善，对产线的品质监控和持续改善更自动化和***化，再次，由于智能检测时，有读取PCBA条形码并进行拍照，最终通过条码ID将检测结果和产品照片关联并进行存储于资料库，并可实现快速追溯品质问题，最后，将智能检测设备集成机械臂，实现全检测流程自动化，减少人工检验，同时由于无人化作业，避免了人员接触产品的机会，降低了产品上芯片ESD破坏的风险，所述目标检测算法模型***构建完毕后输出PCBA检测平台，根据BOM及CAD资料，可以自动标注好数据，并应用于如下几种任务：用于插孔件分类的Efficient Net；用于插孔件及SMT件小样本度量学习的孪生网络中，其中，所有模型使用PyTorch工具编写，NVIDIA Tesla P100 GPU训练，数据增强方案包括滤波去噪、增加对比度、灰度化、锐化等；
所述PCBA智能AI实时检测***包括以下操作步骤：
首先，利用PCBA相关的设计或制造相关资料，比如利用PCBA的CAD或者ODB++资料进行再处理来锁定检测目标，根据BOM（Bill of Material）按照元件类型和封装对元件进行分类并确定AI检测元件的区域和元件感兴趣区域（Regional of Interest, ROI），然后对其进行标注；
其次，AI对已标注的元件产品进行现代神经网络学习和训练，并且将元件检测的特征参数保存在AI检测模型内；
通过这种利用资料将PCBA进行目标锁定，并且用BOM来对目标进行分类及标注，再经过AI学习和训练，实现了PCBA数据集转化为根据元件类型和封装分类的PCBA元件和焊点的数据集；
最后，利用通过相关检测得到的元件和焊点数据集，在进行新的PCBA产品检测时，仅需将已学习好的元件检测特征参数迁移到新的PCBA检测上，在训练时保持卷积层参数不变，微调全连接层（比如元件的大小或者方向等，可通过微调实现），通过少量的样本学习，就可以达到精准的检测效果；
此过程为迁移学习，通过此过程可以利用已学习好的元件特征参数去检测新的PCBA产品，从AI检测学习的角度来讲，不同的PCBA检测的区别就是元件种类，大小，方向和其组装元件的数量；
其中根据CAD或者ODB++文件获取元件位置和边界框，通过BOM元件的类型和封装对元件进行分类，并对元件进行划分边界框内重点关注区域（ROI），包括以下内容：
A.边界框中心区域用来识别元件是否缺件，以及碑文内容；
检验***需要确认元件如下要素：
（a）元件位置安装是否合适：无缺件或者元件偏移；
（b）元件型号碑文正确；
B.边界框中的焊盘或者焊接区域是用来检测焊点的品质；
C.在边界框周边对相邻的焊盘或者插件孔进行检测，拦截锡桥或者短路等不良；
D.启发于ROI的理念，在检测模型中采用空间注意力机制以给与ROI更多权重；
其中，进行元件和焊点检测模型迁移学习，包括以下内容：
A.一旦预定义元件基于位置和封装类型被标注后，AI就可以对任何标注了元件的PCBA样品进行检测训练，并且将这些元件检测的参数保存在AI检测模型内，基于对元件类型学习的能力，就无需对整个PCBA产品进行学习，仅需将已学好的元件检测参数转移到不同的PCBA产品上，在训练时保持卷积层参数不变，微调全连接层，随着AI模型训练和检测更多的PCBA产品，可以持续地将按照元件类型累积的不良数据进行存储，当不同元件类型的学习数据可以被转移，任何新的PCBA产品就可以通过少量的样本学习，达到精准的检测效果；
B.迁移学习可以使每个新的PCBA被检测时，就无需进行过多重复的训练学习，通过迁移学习功能，就可以利用大量的被标注及被学习的学习数据来检测不同的PCBA，这样就节省大量的训练学习时间，被标注的数据可以关联到元件位置编号；
C.有效的迁移学习是在于利用人工智能去检测类似性的工作，从PCBA检测标准来讲，检验员具有一定的专业技能或者采用PCBA行业的检验标准IPC-A-610进行检测，AI需进行类似的检测任务即可，即参考行业标准对被检测对象进行检测并判定，从AI检测学习的角度来讲，不同的PCBA检测的区别就是元件种类，大小，方向和其组装元件的数量。
2.根据权利要求1所述的一种基于AI视觉检测技术的PCBA在线检测平台，其特征在于：用于插孔件分类的Efficient Net中，Efficient Net为3*3卷积层+7个Mobile Net卷积块，其中包含普通1*1卷积、深度可分离卷积、SE层赋予不同通道不同权重+1*1卷积+池化+全连接，最后输出类别，得益于BOM和CAD，可轻松地标注好电子元件在PCBA上的位置及类别，自动化生成训练与测试数据集，而且标注效果较之人为更佳，因为获得的图像数据冗余信息更少，将这些数据应用于训练Efficient Net，可以减少1-2个Mobile Net卷积块，仍能够达到分类各种电子元件的效果，训练好的Efficient Net可直接用于PCBA检测，根据BOM将PCBA上的电子元件图片依次输入Efficient Net，再比对BOM上该位置的元件类别，若类别不是在该位置应该出现的元件类别，则报错。
3.根据权利要求1所述的一种基于AI视觉检测技术的PCBA在线检测平台，其特征在于：用于插孔件及SMT件小样本度量学习的孪生网络中，基本思想：输入两张图片，用同一个卷积神经网络分别提取特征，计算两个特征向量之间的距离，来决定两张图片内容是否属于同一类别；网络结构：先用一个ResBlock结构即批标准化+ReLU激活+卷积层+最大池化下采样+残差连接的卷积神经网络提取两个输入图片的特征，然后计算两个特征向量之间的距离，之后再把距离向量输入另一个卷积神经网络即卷积层+ReLU激活+最大池化下采样提取两个输入图片之间更高维的特征，最后进入全连接层得到一个标量，然后用Sigmoid激活函数输出最终结果，如果是同类则为1，异类则为0，训练时只需要在输入两个电子元件图片的基础上，输入两个元件是否属于同一类别，孪生网络可用于PCBA缺件、错件的识别，对于某一种PCBA的检测，首先有一张人工对比过无错误的“黄金标准”PCBA，根据BOM和CAD资料依次将PCBA上的元件当作孪生网络的其中一个输入，然后将需要检测的PCBA相同位置的元件同样输入进网络，网络判别是否属于同一类别，这样的网络结构可以用于小样本学习，对于一个训练好的孪生网络来说，即使输入是训练时没见过的电子元件类别，依然可以用于与黄金标准PCBA上的同位置电子元件进行比较来输出两个电子元件是否属于同一类别。
4.根据权利要求1所述的一种基于AI视觉检测技术的PCBA在线检测平台，其特征在于：所述PCBA智能AI实时检测***采用AI技术，所述AI技术利用元件类型和封装来创建检测模型并对元件进行检测，且AI技术检测每个元件，利用已有技术资料快速获得检测元件的相关信息，且利用这些已知的数据来预定义组装元件的位置和分类，结合PCBA装配文档对检测元件进行标注，将PCBA数据集转化为PCBA元件的数据集，进行识别与对比，所述AI技术重点检测以上测试工序无法拦截的不良缺陷。
5.根据权利要求4所述的一种基于AI视觉检测技术的PCBA在线检测平台，其特征在于：所述PCBA智能AI实时检测***包括以下操作步骤：
S1：利用AI技术对PCBA进行检测，PCBA检测重点是针对电路测试中覆盖不到的不良现象，检测是整个测试***中的重要环节，AI检测价值在于可以检测到现有检测方式不能完全覆盖的不良情况；
S2：根据已知元件类型对边界框内的元件进行分类，利用元件位置信息来获取边界框，采用元件类型来定义元件类别，极大地减少AI的学习流程，不仅能结合CAD资料中元件外形及其焊盘来预定义PCBA图像中该元件的边界框的大小，而且可以通过元件的类型和封装来确定边界框的类型；
S3：根据元件的类型和封装对元件分类进行预定义；
S4：划分边界框内重点关注区域，根据元件类型和其封装来预定义了边界框和重点关注区域后，就可以快速获取元件特征，将图片中的非必要的信息去除；
S5：元件和焊点检测模型迁移学习，通过迁移学习功能，可以利用大量的被标注及被学习的学习数据来检测不同的PCBA，节省大量的训练学习时间，被标注的数据可以关联到元件位置编号，利用人工智能去检测类似性的工作；
S6：模拟检验员进行在线检测，在线AI检测不仅具有可靠性的不良拦截，同时通过使用集成机械臂可避免人员接触产品，进而降低PCBA受到ESD或者人工操作不当时可能造成损害的风险。
CN202210755121.1A 2022-06-30 2022-06-30 一种基于ai视觉检测技术的pcba在线检测平台 Pending CN115170497A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210755121.1A CN115170497A (zh) 2022-06-30 2022-06-30 一种基于ai视觉检测技术的pcba在线检测平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210755121.1A CN115170497A (zh) 2022-06-30 2022-06-30 一种基于ai视觉检测技术的pcba在线检测平台

Publications (1)

Publication Number Publication Date
CN115170497A true CN115170497A (zh) 2022-10-11

Family

ID=83490021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210755121.1A Pending CN115170497A (zh) 2022-06-30 2022-06-30 一种基于ai视觉检测技术的pcba在线检测平台

Country Status (1)

Country Link
CN (1) CN115170497A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116026859A (zh) * 2023-01-30 2023-04-28 讯芸电子科技(中山)有限公司 一种光电子模块的安装检测方法、装置、设备及存储介质
CN116592950A (zh) * 2023-07-14 2023-08-15 南通祥峰电子有限公司 一种基于智能模型的电器元件设计试样***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116026859A (zh) * 2023-01-30 2023-04-28 讯芸电子科技(中山)有限公司 一种光电子模块的安装检测方法、装置、设备及存储介质
CN116026859B (zh) * 2023-01-30 2023-12-12 讯芸电子科技(中山)有限公司 一种光电子模块的安装检测方法、装置、设备及存储介质
CN116592950A (zh) * 2023-07-14 2023-08-15 南通祥峰电子有限公司 一种基于智能模型的电器元件设计试样***
CN116592950B (zh) * 2023-07-14 2023-11-28 南通祥峰电子有限公司 一种基于智能模型的电器元件设计试样***

Similar Documents

Publication Publication Date Title
CN107945184B (zh) 一种基于彩色图像分割和梯度投影定位的贴装元件检测方法
Anitha et al. A survey on defect detection in bare PCB and assembled PCB using image processing techniques
CN112053318B (zh) 基于深度学习的二维pcb缺陷实时自动检测与分类装置
CN115170497A (zh) 一种基于ai视觉检测技术的pcba在线检测平台
CN111899241B (zh) 一种定量化的炉前pcb贴片缺陷在线检测方法及***
CN106501272B (zh) 机器视觉焊锡定位检测***
Fonseka et al. Implementation of an automatic optical inspection system for solder quality classification of THT solder joints
CN109584227A (zh) 一种基于深度学习目标检测算法的焊点质量检测方法及其实现***
CN108764134A (zh) 一种适用于巡检机器人的多类型仪表自动定位与识别方法
CN110473184A (zh) 一种pcb板缺陷检测方法
CN116718600B (zh) 一种用于对线束产品进行智能化检测的检测装置
CN114842275B (zh) 电路板缺陷判别方法、训练方法、装置、设备及存储介质
CN114723706A (zh) 一种基于机器视觉的焊点检测定位方法
Huang et al. Developing a machine vision inspection system for electronics failure analysis
CN116168218A (zh) 一种基于图像识别技术的电路板故障诊断方法
CN116993725B (zh) 一种柔性电路板智能贴片信息处理***
CN114092448A (zh) 一种基于深度学习的插件电解电容混合检测方法
Cao A real-time automated visual inspection system for printed circuit boards missing footprints detection
CN111307817B (zh) 一种智能产线pcb生产过程的在线检测方法及***
CN112763496A (zh) 一种手机电池表面缺陷检测装置及其检测方法
CN111310402A (zh) 一种基于面面平行的印刷电路板裸板缺陷检测方法
CN213749668U (zh) 一种柔性电路板外观测试装置
CN206470210U (zh) 机器视觉焊锡定位检测***
CN109635684A (zh) 一种食品追溯***
CN114638792A (zh) 一种用于插件电路板电解电容极性缺陷检测的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination