CN109584227A - 一种基于深度学习目标检测算法的焊点质量检测方法及其实现*** - Google Patents

一种基于深度学习目标检测算法的焊点质量检测方法及其实现*** Download PDF

Info

Publication number
CN109584227A
CN109584227A CN201811423925.1A CN201811423925A CN109584227A CN 109584227 A CN109584227 A CN 109584227A CN 201811423925 A CN201811423925 A CN 201811423925A CN 109584227 A CN109584227 A CN 109584227A
Authority
CN
China
Prior art keywords
classification
characteristic pattern
solder joint
suggestion areas
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811423925.1A
Other languages
English (en)
Inventor
李响
吴雨林
周洪超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201811423925.1A priority Critical patent/CN109584227A/zh
Publication of CN109584227A publication Critical patent/CN109584227A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习目标检测算法的焊点质量检测方法及其实现***，包括步骤如下：(1)采集数据并进行前期预处理：采集图片中每一个焊点的位置和类别，对进行标注，对图片统一尺寸大小；(2)提取特征；(3)利用RPN网络自动生成多个建议区域，并映射到深度卷积神经网络模型最后一层的特征图上；(4)筛选并生成固定尺寸的特征图；(5)送入边界回归网络及分类器，得到焊点的位置与类别，以提示检测人员是否对电路板进行重新加工。本发明完全实现自动化，无需焊点检测的专业知识，从根本上避免了工人工作效率不稳定的问题，无须雇佣大量质检员，解放大量劳动力的同时也为企业节约生产成本。

Description

一种基于深度学习目标检测算法的焊点质量检测方法及其实 现***
技术领域
本发明涉及一种基于深度学习目标检测算法的焊点质量检测方法及其实现***，属于图像处理技术领域。
背景技术
当今时代，各类电子设备成为人们生产生活的必需品，随着社会的进步和人们生活水平的提高，人们对电子设备的质量、数量都有着飞速上涨的需求。电子设备生产环节中需要大量的元器件焊接工作，与此同时，繁重的焊点质量检测工作也应运而生。目前为止，各种生产商或雇佣大量质检人员进行繁重、重复的质量检查工作，极大浪费人力财力，或购买缺乏通用性的昂贵专业检测设备，并承担设备后期保养维护费用。因此，一种全新的廉价高效的通用性焊点质量检测***的出现将极大降低企业生产成本，节省劳动力。
传统的焊点质量检测方法目前主要有两种，人工检测、传统图像处理方法或采用半人工半机器的方法。人工检测无疑要雇佣大量员工，每天进行长时间单一重复工作，不但需要进行相关培训，工作效率会受到工作时长、不良情绪、专业知识不足等因素的干扰而难以得到保障，且工人工资是企业需要无限期承担的巨大开销。使用传统图像处理方法的专业检测设备往往十分昂贵，并伴随着传统图像处理方法的弊端，例如，需针对不用生产线设计不同的算法，需专业人员人工选取阈值无法实现完全自动化，算法固定无法进行增量学习等。半人工半机器则是在这两种方法之间的折中，尽可能避免两种方法的缺陷。
图像中的目标检测是计算机视觉中重要的基本问题之一，其目的是识别出图像中每个独立实体，精确找到每个实体在图像中的位置并标明其类别，可简要概括为图像实体定位与分类。可应用于医学图像检测、行人重识别、自动驾驶、视频安全监控、人脸识别等诸多领域。随着近些年机器学习技术尤其深度神经网络技术的发展，图像的目标检测算法不断革新，在精度与速度方面均远远超过人类，因此将深度学习目标检测算法应用于工业生产中焊点检测环节迫在眉睫。
中国专利文献CN107123117A公开了一种基于深度学习的IC引脚焊点质量检测方法，该方法包括以下步骤：确定包含待检测的IC引脚焊点的目标图片；将目标图片输入到基于深度学习预先训练的第一卷积神经网络中，进行前向传播，获得IC引脚焊点的第一合格概率；确定目标图片的关键区域；将关键区域输入到基于深度学习预先训练的第二卷积神经网络中，进行前向传播，获得IC引脚焊点的第二合格概率；根据第一合格概率和第二合格概率，确定IC引脚焊点是否合格。但是，该专利存在以下缺陷或不足：1.整张目标图片和所有关键区域都将经过独立的卷积神经网络，即需调整多个网络模型的参数，***模型复杂，计算量和时间消耗大大增加；2.该专利采用滑动窗口来切割原图获得关键区域，具有一定的随机性，不能保证与目标IC引脚焊点区域完全吻合，由于定位不准确会对结果产生影响。
发明内容
针对目前工业生产中焊点质量检测存在的问题，本发明提出一种基于深度学习目标检测算法的焊点质量检测方法，能够自动化完成目标的特征提取、定位及分类。
本发明还提供了上述焊点质量检测方法的实现***。
术语解释：
1、深度神经网络模型ResNet50，深度残差网络(ResNet)在2015年由微软研究院提出，它的出现影响了深度学习在学术界和工业界的发展方向。ResNet引入了残差的概念，可极快加速神经网络的训练。它包含了两种残差模块，且有不同的网络层数，ResNet50即为50层的深度残差网络。ResNet的卷积层分为5个部分，每个部分包含的卷积层数分别为1,9,12,18,9，最后的1层全连接层负责分类，因此共有50层。
2、RPN网络，传统的通过选择性搜索目标区域的方式十分耗时，因此区域生成网络(RPN)诞生。RPN网络可由神经网络自动的找到候选区域，它的核心是在特征图上，以每个像素点为中心生成不同长宽比和不同尺度的9个矩形窗口，并将结果分别输入到回归和分类的网络中，以寻找包含目标的框且实现定位。
3、RoI池化层，RoI(Region of Interest)为感兴趣的区域，RoI池化层即针对感兴趣目标区域进行池化操作，它的特点是输入特征图尺寸不固定，但是输出特征图尺寸固定。RoI池化层是将RPN网络产生的候选框映射到特征图上，从而有利于进行接下来的分类和定位。
4、Softmax层，是神经网络中一种输出层函数，主要用于神经网络的最后一层，进行多目标的分类或回归。它可以将输入的向量转化为一个概率分布，即变为0到1之间的概率值，然后取概率值最大的作为样本的最终分类。
5、NMS算法，非极大值抑制算法(NMS)的本质是搜索局部极大值，抑制非极大值元素。物体检测中应用NMS算法的主要目的是消除多余(交叉重复)的窗口，找到最佳物体检测位置。其核心为对于有重叠的候选框：若大于规定阈值(某一提前设定的置信度)则删除，低于阈值的保留。
6、特征金字塔网络，特征金字塔网络(FPN)主要解决的是物体检测中的多尺度问题。传统的方法是自底向上采用卷积神经网络提取特征，而FPN网络除此之外还提供了具有横向连接，自顶向下的路径，基于内容较丰富的层构建分辨率较高的层，从而生成固定维度的特征图。如此可增加模型的鲁棒性，更好的表达图像信息。
7、边界回归网络，由于区域建议的边框与标注的边框存在略微差距，边界回归网络可用来微调区域建议的边框，使其更接近标注的边框，从而增加定位准确度。其核心即平移和尺度缩放。边界回归的方法是给定输入的一组特征向量，学习一组参数，使得经过线性回归后的值跟真实值非常接近。
本发明的技术方案为：
一种基于深度学习目标检测算法的焊点质量检测方法，包括步骤如下：
(1)采集数据并进行前期预处理：采集图片中每一个焊点的位置和类别，对图片中每一个焊点的位置和类别进行标注，并对图片统一尺寸大小；
(2)对步骤(1)预处理后的图片提取特征；
(3)利用RPN网络自动生成多个建议区域，并映射到深度卷积神经网络模型最后一层的特征图上；
(4)筛选并生成固定尺寸的特征图；
(5)将步骤(4)筛选并生成的固定尺寸的特征图送入边界回归网络及分类器，得到焊点的位置与类别，以提示检测人员是否对电路板进行重新加工。
根据本发明优选的，所述步骤(1)中，采集数据并进行前期预处理，包括步骤如下：
A、使用有光源的显微镜拍摄获取大量生产线上包含焊点部分的分辨率为600-1200的器件图片；
B、对于每张图片中的每一个焊点，用将焊点完全包含大小合适的方框标注其位置，每一个焊点的位置由四个参数表示，即(x,y,w,h)；以图片左下角为原点，图片的左边框为x轴，图片的下边框为y轴建立坐标系，(x,y)表示方框左上角顶点在坐标系中的坐标位置，w表示方框的宽度，h表示方框的长度；
C、标注每一个焊点所属类别，类别包括OK、DL、XH、LH四种，OK表示通过，DL表示短路，XH表示虚焊，LH表示漏焊，若出现多个焊点连在一起的短路状况，需要用一个位置框框住所有短路焊点。将每一个焊点的位置和类别保存到一个文件中，并与该焊点所在的图片对应；
D、将步骤C中得到的标注好的焊点所在的图片调整成统一尺寸大小M1×N1，M1的取值范围为600-800，N1的取值范围为800-1066，单位为像素，记录缩放比例，并按照相同比例缩放方框尺寸，以保证对应关系。
进一步优选的，M1＝600，N1＝800。
根据本发明优选的，所述步骤(2)中，对步骤(1)预处理后的图片提取特征，包括：
通过深度神经网络模型ResNet50提取图像特征，深度神经网络模型ResNet50共有50层，包括49层卷积层和1层全连接层，49层卷积层包括5个卷积部分，第4个卷积部分输出的特征图大小为38×50；深度神经网络模型ResNet50不仅网络容易优化，且可避免网络层数过深导致性能下降的问题。卷积层输出的特征图的定义如式(Ⅰ)所示：
式(Ⅰ)中，表示第l层第j个特征图，表示第l-1层第i个特征图，表示第l层的卷积核，表示第l层的偏置，表示跳过n层形成的残差块，ws为学习变量，使和维度保持一致，f为激活函数，*表示卷积运算；M为第l-1层的特征图数；
卷积层输出的特征图尺寸的定义如式(Ⅱ)所示：
式(Ⅱ)中，W为输入图像尺寸，F为卷积核尺寸，S表示步幅，P代表填充数，输出特征图的尺寸为N×N。
根据本发明优选的，所述步骤(3)中，利用RPN网络自动生成多个建议区域，并映射到深度卷积神经网络模型最后一层的特征图上，包括步骤如下：
E、将深度神经网络模型ResNet50第4个卷积部分输出的特征图送入RPN网络，RPN网络包括Anchor生成层、建议区域层，Anchor生成层：以输入的特征图每个点为中心产生9种不同尺寸及长宽比的anchor，共38×50×9＝17100个，足以覆盖图片任何部分，每个anchor为包含四个参数，即(x,y,w,h)，(x,y,w,h)表示一个方框位置信息；建议区域层：使用边界回归算法微调方框位置，产生与anchor一一对应的建议区域，计算每个建议区域与方框的交并比IoU，IoU计算方式如式(Ⅲ)所示：
式(Ⅲ)中，Sa表示每个建议区域的位置，Sb代表方框的位置；
根据交并比IoU，采用非极大值抑制(NMS)算法对建议区域进行筛选，选出每张图片交并比大于0.7和小于0.3的256个建议区域作为正负样本，并用于训练RPN网络，判断建议区域是否为目标，并进行定位；
判断一张图片中是否含有目标的损失函数定义如式(Ⅳ)所示：
式(Ⅳ)中，Lc为分类的损失函数，Lr为回归的损失函数，pi为预测每个anchor是一个物体的概率，如果建议区域为正样本，的取值为1，ti表示预测边界框的参数，为正确标记的方框，Nc为正负样本总数，Nr为特征点数，λ为平衡系数。
根据本发明优选的，所述步骤(4)中，筛选并生成固定尺寸的特征图，包括：
把RPN网络产生的建议区域送入RoI池化层进行筛选，建议区域中有大多部分都是相互重合的，但目的是保留最贴合每个焊点标注框的建议区域，因此要进行筛选。使用Softmax层计算每个建议区域针对每一种焊点类别的预测概率；Softmax的预测公式如式(Ⅴ)所示：
式(V)中，xi为第i个类别的输入特征向量，M表示分类的类别数，i表示第i个类别，y表示被分到第i个类别的概率；
根据得到的预测概率，使用NMS算法消除交叉重复的窗口，对于有重叠的候选框，阈值设为0.8，若大于阈值的删除，否则，保留；
将保留下来的建议区域映射到特征图中，并经过特征金字塔网络使所有建议区域对应的特征图尺寸相同。
根据本发明优选的，所述步骤(5)，将步骤(4)筛选并生成的固定尺寸的特征图送入边界回归网络及分类器，得到焊点的位置与类别，以提示检测人员是否对电路板进行重新加工，包括步骤如下：
F、将步骤(4)筛选并生成的固定尺寸的特征图依次送入边界回归网络及分类器；由于区域建议的边框与标注的边框存在略微差距，边界回归网络可用来微调区域建议的边框，使其更接近标注的边框，从而增加定位准确度。边界回归网络进行平移和尺度缩放，使标注的边框接近建议区域的边框，需要平移量(tx,ty)和尺度缩放(tw,th)如式(Ⅵ)-式(Ⅸ)所示：
tx＝(Gx-Px)/Pw(Ⅵ)
ty＝(Gy-Py)/Ph(Ⅶ)
tw＝log(Gw/Pw)(Ⅷ)
th＝log(Gh/Ph)(Ⅸ)
式(Ⅵ)-式(Ⅸ)中，(Px,Py)为建议区域的边框的中心点坐标，Pw为建议区域的边框的宽，Ph为建议区域的边框的高，(Gx,Gy)为标注的边框的中心点坐标，Gw为标注的边框的宽，Gh为标注的边框的高；
分类器采用Softmax对每个类别输出一个预测值，概率值最高的作为目标的分类结果；
G、目标的分类结果中，如果图片中出现任何不合格焊点，即焊点类别为DL、XH、LH中的任一种，则显示错误焊点位置及类型，提醒检测人员对该电路板进行重新加工，否则，焊点类别为OK，OK表示通过，则表示合格。
上述焊点质量检测方法的实现***，包括依次连接的：
一台配备光源且具有拍照功能的显微镜，用于：采集数据，即采集图片中每一个焊点的位置和类别；
预处理模块，用于：对图片中每一个焊点的位置和类别进行标注，并对图片统一尺寸大小；
特征提取模块，用于：提取图像数据；
建议区域生成模块，用于：自动生成多个建议区域，并映射到深度卷积神经网络模型最后一层的特征图上；
筛选模块，用于：筛选并生成固定尺寸的特征图；
结果输出模块：获取焊点的位置与类别，以提示检测人员是否对电路板进行重新加工。
进一步优选，所述特征提取模块为深度神经网络模型ResNet50；深度神经网络模型ResNet50共有50层，包括49层卷积层和1层全连接层，49层卷积层包括5个卷积部分，第4个卷积部分输出的特征图大小为38×50。
进一步优选的，所述建议区域生成模块为RPN网络，RPN网络包括Anchor生成层、建议区域层，Anchor生成层：以输入的特征图每个点为中心产生9种不同尺寸及长宽比的anchor，共38×50×9＝17100个，足以覆盖图片任何部分，每个anchor为包含四个参数，即(x,y,w,h)，(x,y,w,h)表示一个方框位置信息；建议区域层：使用边界回归算法微调方框位置，产生与anchor一一对应的建议区域。
进一步优选的，所述筛选模块为RoI池化层，采用Softmax层计算每个建议区域针对每一种焊点类别的预测概率，根据概率使用NMS算法消除交叉重复的窗口，对于有重叠的候选框，阈值设为0.8，若大于阈值的删除，低于阈值的保留下来，使用每个建议区域对卷积特征图进行裁剪，使尺寸固定为14×14×512，利用2×2的最大池化操作，得到每个建议区域最终7×7×512的特征图；
进一步优选的，所述结果输出模块边界回归网络及Softmax分类网络，得到焊点的位置和类别；基于建议区域特征图对建议区域的类别进行判断，采用Softmax分类器对每个类别输出一个预测值，概率值最高的作为目标的分类结果，同时进行边框回归，以得到准确的目标检测框位置。
上述焊点质量检测方法的实现***包括硬件设备和深度学***台软件。显微镜通过USB接口与计算机连接，负责拍摄包含被检测焊点的图片，通过计算机中的***软件操作，拍摄的图片经训练过的深度学习目标检测算法处理后得到每个焊点位置及类别，类别主要有通过、短路、虚焊、漏焊等。若所有焊点均质量合格，即检测算法输出结果为通过，则该电路板通过质检。一旦有一个焊点出现质量问题，便会通过***界面显示问题类别并提示重新加工处理。
本发明的有益效果为：
1、本发明基于深度学习目标检测算法的焊点质量检测方法及其实现***完全实现自动化，无需焊点检测的专业知识，从根本上避免了工人工作效率不稳定的问题，无须雇佣大量质检员，解放大量劳动力的同时也为企业节约生产成本。
2、与传统图像检测算法相比，本发明具有极大的优势，由于深度学习目标检测算法可精确定位焊点位置，不受电路板上其他元器件的干扰，因此，不用手动设置图片尺寸、焊点大概尺寸、位置等各种阈值，故一套***可适应于多种生产线，且后期可针对检测错误进行增量学习，不断优化检测算法，实现良性循环。
附图说明
图1为本发明基于深度学习目标检测算法的焊点质量检测方法的流程图；
图2为本发明焊点质量检测方法的实现***的流程框图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种基于深度学习目标检测算法的焊点质量检测方法，如图1所示，包括步骤如下：
(1)从海信光模块生产线采集器件ROSA或者TOSA与电路板焊接的焊点图片，该数据集共4598张图片，对所有图片进行数据标注，使用矩形框框出每个焊点，人工做出判断后记录焊点质量与矩形框位置。将所有图片进行尺寸归一化处理，使所有图片尺寸变为(600×800)，将标注好的数据集分为训练集4098张，测试集500张。将训练集中4098张标注好的图片进行数据增强，即把图片进行随机角度旋转，缩放，翻转等操作达到增强数据类型的目的。
(2)对步骤(1)预处理后的图片提取特征；
(3)利用RPN网络自动生成多个建议区域，并映射到深度卷积神经网络模型最后一层的特征图上；
(4)筛选并生成固定尺寸的特征图；
(5)将步骤(4)筛选并生成的固定尺寸的特征图送入边界回归网络及分类器，得到焊点的位置与类别，以提示检测人员是否对电路板进行重新加工。
实施例2
根据实施例1所述的一种基于深度学习目标检测算法的焊点质量检测方法，其区别在于：
所述步骤(1)中，采集数据并进行前期预处理，包括步骤如下：
A、使用有光源的显微镜拍摄获取包含焊点部分的分辨率为600-1200的器件图片；
B、对于每张图片中的每一个焊点，用将焊点完全包含大小合适的方框标注其位置，每一个焊点的位置由四个参数表示，即(x,y,w,h)；以图片左下角为原点，图片的左边框为x轴，图片的下边框为y轴建立坐标系，(x,y)表示方框左上角顶点在坐标系中的坐标位置，w表示方框的宽度，h表示方框的长度；
C、标注每一个焊点所属类别，类别包括OK、DL、XH、LH四种，OK表示通过，DL表示短路，XH表示虚焊，LH表示漏焊，若出现多个焊点连在一起的短路状况，需要用一个位置框框住所有短路焊点。将每一个焊点的位置和类别保存到一个文件中，并与该焊点所在的图片对应；
D、将步骤C中得到的标注好的焊点所在的图片调整成统一尺寸大小M1×N1，M1的取值范围为600，N1的取值范围为800，单位为像素，记录缩放比例，并按照相同比例缩放方框尺寸，以保证对应关系。
实施例3
根据实施例1所述的一种基于深度学习目标检测算法的焊点质量检测方法，其区别在于：
步骤(2)中，对步骤(1)预处理后的图片提取特征，包括：
通过深度神经网络模型ResNet50提取图像特征，深度神经网络模型ResNet50共有50层，包括49层卷积层和1层全连接层，49层卷积层包括5个卷积部分，第4个卷积部分输出的特征图大小为38×50；深度神经网络模型ResNet50不仅网络容易优化，且可避免网络层数过深导致性能下降的问题。卷积层输出的特征图的定义如式(Ⅰ)所示：
式(Ⅰ)中，表示第l层第j个特征图，表示第l-1层第i个特征图，表示第l层的卷积核，表示第l层的偏置，表示跳过n层形成的残差块，ws为学习变量，使和维度保持一致，f为激活函数，*表示卷积运算；M为第l-1层的特征图数；
卷积层输出的特征图尺寸的定义如式(Ⅱ)所示：
式(Ⅱ)中，W为输入图像尺寸，F为卷积核尺寸，S表示步幅，P代表填充数，输出特征图的尺寸为N×N。
实施例4
根据实施例1所述的一种基于深度学习目标检测算法的焊点质量检测方法，其区别在于：
步骤(3)中，利用RPN网络自动生成多个建议区域，并映射到深度卷积神经网络模型最后一层的特征图上，包括步骤如下：
E、将深度神经网络模型ResNet50第4个卷积部分输出的特征图送入RPN网络，RPN网络包括Anchor生成层、建议区域层，Anchor生成层：以输入的特征图每个点为中心产生9种不同尺寸及长宽比的anchor，共38×50×9＝17100个，足以覆盖图片任何部分，每个anchor为包含四个参数，即(x,y,w,h)，(x,y,w,h)表示一个方框位置信息；建议区域层：使用边界回归算法微调方框位置，产生与anchor一一对应的建议区域，计算每个建议区域与方框的交并比IoU，IoU计算方式如式(Ⅲ)所示：
式(Ⅲ)中，Sa表示每个建议区域的位置，Sb代表方框的位置；
根据交并比IoU，采用非极大值抑制(NMS)算法对建议区域进行筛选，选出每张图片交并比大于0.7和小于0.3的256个建议区域作为正负样本，并用于训练RPN网络，判断建议区域是否为目标，并进行定位；
判断一张图片中是否含有目标的损失函数定义如式(Ⅳ)所示：
式(Ⅳ)中，Lc为分类的损失函数，Lr为回归的损失函数，pi为预测每个anchor是一个物体的概率，如果建议区域为正样本，的取值为1，ti表示预测边界框的参数，为正确标记的方框，Nc为正负样本总数，Nr为特征点数，λ为平衡系数。
实施例5
根据实施例1所述的一种基于深度学习目标检测算法的焊点质量检测方法，其区别在于：
步骤(4)中，筛选并生成固定尺寸的特征图，包括：
把RPN网络产生的建议区域送入RoI池化层进行筛选，建议区域中有大多部分都是相互重合的，但目的是保留最贴合每个焊点标注框的建议区域，因此要进行筛选。使用Softmax层计算每个建议区域针对每一种焊点类别的预测概率；Softmax的预测公式如式(Ⅴ)所示：
式(V)中，xi为第i个类别的输入特征向量，M表示分类的类别数，i表示第i个类别，y表示被分到第i个类别的概率；
根据得到的预测概率，使用NMS算法消除交叉重复的窗口，对于有重叠的候选框，阈值设为0.8，若大于阈值的删除，否则，保留；
将保留下来的建议区域映射到特征图中，并经过特征金字塔网络使所有建议区域对应的特征图尺寸相同。
实施例6
根据实施例1所述的一种基于深度学习目标检测算法的焊点质量检测方法，其区别在于：
步骤(5)中，将步骤(4)筛选并生成的固定尺寸的特征图送入边界回归网络及分类器，得到焊点的位置与类别，以提示检测人员是否对电路板进行重新加工，包括步骤如下：
F、将步骤(4)筛选并生成的固定尺寸的特征图依次送入边界回归网络及分类器；由于区域建议的边框与标注的边框存在略微差距，边界回归网络可用来微调区域建议的边框，使其更接近标注的边框，从而增加定位准确度。边界回归网络进行平移和尺度缩放，使标注的边框接近建议区域的边框，需要平移量(tx,ty)和尺度缩放(tw,th)如式(Ⅵ)-式(Ⅸ)所示：
tx＝(Gx-Px)/Pw(Ⅵ)
ty＝(Gy-Py)/Ph(Ⅶ)
tw＝log(Gw/Pw)(Ⅷ)
th＝log(Gh/Ph)(Ⅸ)
式(Ⅵ)-式(Ⅸ)中，(Px,Py)为建议区域的边框的中心点坐标，Pw为建议区域的边框的宽，Ph为建议区域的边框的高，(Gx,Gy)为标注的边框的中心点坐标，Gw为标注的边框的宽，Gh为标注的边框的高；
分类器采用Softmax对每个类别输出一个预测值，概率值最高的作为目标的分类结果；
G、目标的分类结果中，如果图片中出现任何不合格焊点，即焊点类别为DL、XH、LH中的任一种，则显示错误焊点位置及类型，提醒检测人员对该电路板进行重新加工，否则，焊点类别为OK，OK表示通过，则表示合格。
实施例7
实施例1-6任一所述焊点质量检测方法的实现***，如图2所示，包括依次连接的：
一台配备光源且具有拍照功能的显微镜，用于：采集数据，即采集图片中每一个焊点的位置和类别；
预处理模块，用于：对图片中每一个焊点的位置和类别进行标注，并对图片统一尺寸大小；
特征提取模块，用于：提取图像数据；
建议区域生成模块，用于：自动生成多个建议区域，并映射到深度卷积神经网络模型最后一层的特征图上；
筛选模块，用于：筛选并生成固定尺寸的特征图；
结果输出模块：获取焊点的位置与类别，以提示检测人员是否对电路板进行重新加工。
特征提取模块为深度神经网络模型ResNet50；深度神经网络模型ResNet50共有50层，包括49层卷积层和1层全连接层，49层卷积层包括5个卷积部分，第4个卷积部分输出的特征图大小为38×50。
建议区域生成模块为RPN网络，RPN网络包括Anchor生成层、建议区域层，Anchor生成层：以输入的特征图每个点为中心产生9种不同尺寸及长宽比的anchor，共38×50×9＝17100个，足以覆盖图片任何部分，每个anchor为包含四个参数，即(x,y,w,h)，(x,y,w,h)表示一个方框位置信息；建议区域层：使用边界回归算法微调方框位置，产生与anchor一一对应的建议区域。
筛选模块为RoI池化层，采用Softmax层计算每个建议区域针对每一种焊点类别的预测概率，根据概率使用NMS算法消除交叉重复的窗口，对于有重叠的候选框，阈值设为0.8，若大于阈值的删除，低于阈值的保留下来，使用每个建议区域对卷积特征图进行裁剪，使尺寸固定为14×14×512，利用2×2的最大池化操作，得到每个建议区域最终7×7×512的特征图；
结果输出模块边界回归网络及Softmax分类网络，得到焊点的位置和类别；基于建议区域特征图对建议区域的类别进行判断，采用Softmax分类器对每个类别输出一个预测值，概率值最高的作为目标的分类结果，同时进行边框回归，以得到准确的目标检测框位置。
上述焊点质量检测方法的实现***包括硬件设备和深度学***台软件。显微镜通过USB接口与计算机连接，负责拍摄包含被检测焊点的图片，通过计算机中的***软件操作，拍摄的图片经训练过的深度学习目标检测算法处理后得到每个焊点位置及类别，类别主要有通过、短路、虚焊、漏焊等。若所有焊点均质量合格，即检测算法输出结果为通过，则该电路板通过质检。一旦有一个焊点出现质量问题，便会通过***界面显示问题类别并提示重新加工处理。

Claims (10)

1.一种基于深度学习目标检测算法的焊点质量检测方法，其特征在于，包括步骤如下：
(1)采集数据并进行前期预处理：采集图片中每一个焊点的位置和类别，对图片中每一个焊点的位置和类别进行标注，并对图片统一尺寸大小；
(2)对步骤(1)预处理后的图片提取特征；
(3)利用RPN网络自动生成多个建议区域，并映射到深度卷积神经网络模型最后一层的特征图上；
(4)筛选并生成固定尺寸的特征图；
(5)将步骤(4)筛选并生成的固定尺寸的特征图送入边界回归网络及分类器，得到焊点的位置与类别，以提示检测人员是否对电路板进行重新加工。
2.根据权利要求1所述的一种基于深度学习目标检测算法的焊点质量检测方法，其特征在于，所述步骤(1)中，采集数据并进行前期预处理，包括步骤如下：
A、拍摄获取大量生产线上包含焊点部分的分辨率为600-1200的器件图片；
B、对于每张图片中的每一个焊点，用将焊点完全包含大小合适的方框标注其位置，每一个焊点的位置由四个参数表示，即(x,y,w,h)；以图片左下角为原点，图片的左边框为x轴，图片的下边框为y轴建立坐标系，(x,y)表示方框左上角顶点在坐标系中的坐标位置，w表示方框的宽度，h表示方框的长度；
C、标注每一个焊点所属类别，类别包括OK、DL、XH、LH四种，OK表示通过，DL表示短路，XH表示虚焊，LH表示漏焊，将每一个焊点的位置和类别保存到一个文件中，并与该焊点所在的图片对应；
D、将步骤C中得到的标注好的焊点所在的图片调整成统一尺寸大小M1×N1，M1的取值范围为600-800，N1的取值范围为800-1066，单位为像素，记录缩放比例，并按照相同比例缩放方框尺寸，以保证对应关系；
进一步优选的，M1＝600，N1＝800。
3.根据权利要求1所述的一种基于深度学习目标检测算法的焊点质量检测方法，其特征在于，所述步骤(2)中，对步骤(1)预处理后的图片提取特征，包括：
通过深度神经网络模型ResNet50提取图像特征，深度神经网络模型ResNet50共有50层，包括49层卷积层和1层全连接层，49层卷积层包括5个卷积部分，第4个卷积部分输出的特征图大小为38×50；卷积层输出的特征图的定义如式(Ⅰ)所示：
式(Ⅰ)中，表示第l层第j个特征图，表示第l-1层第i个特征图，表示第l层的卷积核，表示第l层的偏置，表示跳过n层形成的残差块，ws为学习变量，使和维度保持一致，f为激活函数，*表示卷积运算；M为第l-1层的特征图数；
卷积层输出的特征图尺寸的定义如式(Ⅱ)所示：
式(Ⅱ)中，W为输入图像尺寸，F为卷积核尺寸，S表示步幅，P代表填充数，输出特征图的尺寸为N×N。
4.根据权利要求1所述的一种基于深度学习目标检测算法的焊点质量检测方法，其特征在于，所述步骤(3)中，利用RPN网络自动生成多个建议区域，并映射到深度卷积神经网络模型最后一层的特征图上，包括步骤如下：
E、将深度神经网络模型ResNet50第4个卷积部分输出的特征图送入RPN网络，RPN网络包括Anchor生成层、建议区域层，Anchor生成层：以输入的特征图每个点为中心产生9种不同尺寸及长宽比的anchor，共38×50×9＝17100个，每个anchor为包含四个参数，即(x,y,w,h)；建议区域层：使用边界回归算法微调方框位置，产生与anchor一一对应的建议区域，计算每个建议区域与方框的交并比IoU，IoU计算方式如式(Ⅲ)所示：
式(Ⅲ)中，Sa表示每个建议区域的位置，Sb代表方框的位置；
根据交并比IoU，采用非极大值抑制算法对建议区域进行筛选，选出每张图片交并比大于0.7和小于0.3的256个建议区域作为正负样本，并用于训练RPN网络，判断建议区域是否为目标，并进行定位；
判断一张图片中是否含有目标的损失函数定义如式(Ⅳ)所示：
式(Ⅳ)中，Lc为分类的损失函数，Lr为回归的损失函数，pi为预测每个anchor是一个物体的概率，如果建议区域为正样本，的取值为1，ti表示预测边界框的参数，为正确标记的方框，Nc为正负样本总数，Nr为特征点数，λ为平衡系数。
5.根据权利要求1所述的一种基于深度学习目标检测算法的焊点质量检测方法，其特征在于，所述步骤(4)中，筛选并生成固定尺寸的特征图，包括：
把RPN网络产生的建议区域送入RoI池化层进行筛选，使用Softmax层计算每个建议区域针对每一种焊点类别的预测概率；Softmax的预测公式如式(Ⅴ)所示：
式(V)中，xi为第i个类别的输入特征向量，M表示分类的类别数，i表示第i个类别，y表示被分到第i个类别的概率；
根据得到的预测概率，使用NMS算法消除交叉重复的窗口，对于有重叠的候选框，阈值设为0.8，若大于阈值的删除，否则，保留；
将保留下来的建议区域映射到特征图中，并经过特征金字塔网络使所有建议区域对应的特征图尺寸相同。
6.根据权利要求1所述的一种基于深度学习目标检测算法的焊点质量检测方法，其特征在于，所述步骤(5)，将步骤(4)筛选并生成的固定尺寸的特征图送入边界回归网络及分类器，得到焊点的位置与类别，以提示检测人员是否对电路板进行重新加工，包括步骤如下：
F、将步骤(4)筛选并生成的固定尺寸的特征图依次送入边界回归网络及分类器；边界回归网络进行平移和尺度缩放，使标注的边框接近建议区域的边框，需要平移量(tx,ty)和尺度缩放(tw,th)如式(Ⅵ)-式(Ⅸ)所示：
tx＝(Gx-Px)/Pw(Ⅵ)
ty＝(Gy-Py)/Ph(Ⅶ)
tw＝log(Gw/Pw)(Ⅷ)
th＝log(Gh/Ph)(Ⅸ)
式(Ⅵ)-式(Ⅸ)中，(Px,Py)为建议区域的边框的中心点坐标，Pw为建议区域的边框的宽，Ph为建议区域的边框的高，(Gx,Gy)为标注的边框的中心点坐标，Gw为标注的边框的宽，Gh为标注的边框的高；
分类器采用Softmax对每个类别输出一个预测值，概率值最高的作为目标的分类结果；
G、目标的分类结果中，如果图片中出现任何不合格焊点，即焊点类别为DL、XH、LH中的任一种，则显示错误焊点位置及类型，提醒检测人员对该电路板进行重新加工，否则，焊点类别为OK，OK表示通过，则表示合格。
7.上述权利要求1-6任一所述焊点质量检测方法的实现***，其特征在于，包括依次连接的：
显微镜，用于：采集数据，即采集图片中每一个焊点的位置和类别；
预处理模块，用于：对图片中每一个焊点的位置和类别进行标注，并对图片统一尺寸大小；
特征提取模块，用于：提取图像数据；
建议区域生成模块，用于：自动生成多个建议区域，并映射到深度卷积神经网络模型最后一层的特征图上；
筛选模块，用于：筛选并生成固定尺寸的特征图；
结果输出模块：获取焊点的位置与类别，以提示检测人员是否对电路板进行重新加工。
8.根据权利要求7所述的焊点质量检测方法的实现***，其特征在于，所述特征提取模块为深度神经网络模型ResNet50；深度神经网络模型ResNet50共有50层，包括49层卷积层和1层全连接层，49层卷积层包括5个卷积部分，第4个卷积部分输出的特征图大小为38×50。
9.根据权利要求7所述的焊点质量检测方法的实现***，其特征在于，所述建议区域生成模块为RPN网络，RPN网络包括Anchor生成层、建议区域层，Anchor生成层：以输入的特征图每个点为中心产生9种不同尺寸及长宽比的anchor，共38×50×9＝17100个，每个anchor为包含四个参数，即(x,y,w,h)；建议区域层：使用边界回归算法微调方框位置，产生与anchor一一对应的建议区域。
10.根据权利要求7所述的焊点质量检测方法的实现***，其特征在于，所述筛选模块为RoI池化层，采用Softmax层计算每个建议区域针对每一种焊点类别的预测概率，根据概率使用NMS算法消除交叉重复的窗口，对于有重叠的候选框，阈值设为0.8，若大于阈值的删除，低于阈值的保留下来，使用每个建议区域对卷积特征图进行裁剪，使尺寸固定为14×14×512，利用2×2的最大池化操作，得到每个建议区域最终7×7×512的特征图；
进一步优选的，所述结果输出模块边界回归网络及Softmax分类网络，得到焊点的位置和类别；基于建议区域特征图对建议区域的类别进行判断，采用Softmax分类器对每个类别输出一个预测值，概率值最高的作为目标的分类结果，同时进行边框回归，得到准确的目标检测框位置。
CN201811423925.1A 2018-11-27 2018-11-27 一种基于深度学习目标检测算法的焊点质量检测方法及其实现*** Withdrawn CN109584227A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811423925.1A CN109584227A (zh) 2018-11-27 2018-11-27 一种基于深度学习目标检测算法的焊点质量检测方法及其实现***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811423925.1A CN109584227A (zh) 2018-11-27 2018-11-27 一种基于深度学习目标检测算法的焊点质量检测方法及其实现***

Publications (1)

Publication Number Publication Date
CN109584227A true CN109584227A (zh) 2019-04-05

Family

ID=65924352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811423925.1A Withdrawn CN109584227A (zh) 2018-11-27 2018-11-27 一种基于深度学习目标检测算法的焊点质量检测方法及其实现***

Country Status (1)

Country Link
CN (1) CN109584227A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135430A (zh) * 2019-04-28 2019-08-16 广东技术师范大学 一种基于深度神经网络的铝材模具id自动识别***
CN110263852A (zh) * 2019-06-20 2019-09-20 北京字节跳动网络技术有限公司 数据处理方法、装置及电子设备
CN110378231A (zh) * 2019-06-19 2019-10-25 广东工业大学 基于深度学习的螺母识别定位方法
CN110497419A (zh) * 2019-07-15 2019-11-26 广州大学 建筑废弃物分拣机器人
CN110532886A (zh) * 2019-07-31 2019-12-03 国网江苏省电力有限公司 一种基于孪生神经网络的目标检测算法
CN110554052A (zh) * 2019-10-12 2019-12-10 南宁市威锐康商贸有限公司 一种人造板表面缺陷检测方法及其***
CN110837856A (zh) * 2019-10-31 2020-02-25 深圳市商汤科技有限公司 神经网络训练及目标检测方法、装置、设备和存储介质
CN110852241A (zh) * 2019-11-06 2020-02-28 西安交通大学 一种应用于护理机器人的小目标检测方法
CN110929746A (zh) * 2019-05-24 2020-03-27 南京大学 一种基于深度神经网络的电子卷宗标题定位提取与分类方法
CN110929795A (zh) * 2019-11-28 2020-03-27 桂林电子科技大学 高速焊线机焊点快速识别与定位方法
CN111069728A (zh) * 2019-12-12 2020-04-28 深圳先进技术研究院 在线软钎焊视觉伺服控制方法及***
CN111144234A (zh) * 2019-12-10 2020-05-12 南京航空航天大学 一种基于深度学习的视频sar目标检测方法
CN111242927A (zh) * 2020-01-14 2020-06-05 惠州市德赛电池有限公司 一种基于深度学习的正弦焊检测方法
CN111428712A (zh) * 2020-03-19 2020-07-17 青岛农业大学 基于人工智能识别的名优茶采摘机及采摘机用识别方法
CN111767944A (zh) * 2020-05-27 2020-10-13 重庆大学 一种基于深度学习的适用于多尺度目标检测的单阶段检测器设计方法
CN112068464A (zh) * 2020-08-10 2020-12-11 福建浩创智能科技有限公司 一种基于主动探测及视觉识别的驱鸟装置及方法
CN112149582A (zh) * 2020-09-27 2020-12-29 中国科学院空天信息创新研究院 一种高光谱图像材质识别方法及***
CN112598142A (zh) * 2020-12-16 2021-04-02 明阳智慧能源集团股份公司 一种风电机组检修工作质量审查辅助方法与***
CN112651341A (zh) * 2020-12-28 2021-04-13 长江大学 一种焊管焊缝实时检测视频的处理方法
WO2021109627A1 (zh) * 2019-12-03 2021-06-10 歌尔股份有限公司 一种小样本缺陷分类方法、装置及计算设备
CN113066056A (zh) * 2021-03-15 2021-07-02 南昌大学 一种基于深度学习的口罩耳带焊点检测方法
CN115937773A (zh) * 2022-12-06 2023-04-07 南京小网科技有限责任公司 一种基于ai识别的智能影像识别***
WO2023115409A1 (zh) * 2021-12-22 2023-06-29 深圳技术大学 一种焊盘检测方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107123117A (zh) * 2017-04-26 2017-09-01 广东工业大学 一种基于深度学习的ic引脚焊点质量检测方法及装置
CN107610111A (zh) * 2017-09-12 2018-01-19 武汉大学 一种基于深度学习的焊点图像检测方法
CN108334955A (zh) * 2018-03-01 2018-07-27 福州大学 基于Faster-RCNN的身份证复印件检测方法
CN108537120A (zh) * 2018-03-06 2018-09-14 安徽电科恒钛智能科技有限公司 一种基于深度学习的人脸识别方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107123117A (zh) * 2017-04-26 2017-09-01 广东工业大学 一种基于深度学习的ic引脚焊点质量检测方法及装置
CN107610111A (zh) * 2017-09-12 2018-01-19 武汉大学 一种基于深度学习的焊点图像检测方法
CN108334955A (zh) * 2018-03-01 2018-07-27 福州大学 基于Faster-RCNN的身份证复印件检测方法
CN108537120A (zh) * 2018-03-06 2018-09-14 安徽电科恒钛智能科技有限公司 一种基于深度学习的人脸识别方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王远: "基于区域卷积神经网络的物体检测方法的研究与改进", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
谷颀: "基于深度学习的全天车辆检测", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135430A (zh) * 2019-04-28 2019-08-16 广东技术师范大学 一种基于深度神经网络的铝材模具id自动识别***
CN110929746A (zh) * 2019-05-24 2020-03-27 南京大学 一种基于深度神经网络的电子卷宗标题定位提取与分类方法
CN110378231A (zh) * 2019-06-19 2019-10-25 广东工业大学 基于深度学习的螺母识别定位方法
CN110263852B (zh) * 2019-06-20 2021-10-08 北京字节跳动网络技术有限公司 数据处理方法、装置及电子设备
CN110263852A (zh) * 2019-06-20 2019-09-20 北京字节跳动网络技术有限公司 数据处理方法、装置及电子设备
CN110497419A (zh) * 2019-07-15 2019-11-26 广州大学 建筑废弃物分拣机器人
CN110532886A (zh) * 2019-07-31 2019-12-03 国网江苏省电力有限公司 一种基于孪生神经网络的目标检测算法
CN110554052A (zh) * 2019-10-12 2019-12-10 南宁市威锐康商贸有限公司 一种人造板表面缺陷检测方法及其***
CN110837856A (zh) * 2019-10-31 2020-02-25 深圳市商汤科技有限公司 神经网络训练及目标检测方法、装置、设备和存储介质
CN110852241B (zh) * 2019-11-06 2022-08-16 西安交通大学 一种应用于护理机器人的小目标检测方法
CN110852241A (zh) * 2019-11-06 2020-02-28 西安交通大学 一种应用于护理机器人的小目标检测方法
CN110929795A (zh) * 2019-11-28 2020-03-27 桂林电子科技大学 高速焊线机焊点快速识别与定位方法
CN110929795B (zh) * 2019-11-28 2022-09-13 桂林电子科技大学 高速焊线机焊点快速识别与定位方法
WO2021109627A1 (zh) * 2019-12-03 2021-06-10 歌尔股份有限公司 一种小样本缺陷分类方法、装置及计算设备
US11836967B2 (en) 2019-12-03 2023-12-05 Goertek, Inc. Method and device for small sample defect classification and computing equipment
CN111144234A (zh) * 2019-12-10 2020-05-12 南京航空航天大学 一种基于深度学习的视频sar目标检测方法
CN111069728B (zh) * 2019-12-12 2021-11-05 深圳先进技术研究院 在线软钎焊视觉伺服控制方法及***
CN111069728A (zh) * 2019-12-12 2020-04-28 深圳先进技术研究院 在线软钎焊视觉伺服控制方法及***
CN111242927B (zh) * 2020-01-14 2024-02-06 惠州市德赛电池有限公司 一种基于深度学习的正弦焊检测方法
CN111242927A (zh) * 2020-01-14 2020-06-05 惠州市德赛电池有限公司 一种基于深度学习的正弦焊检测方法
CN111428712A (zh) * 2020-03-19 2020-07-17 青岛农业大学 基于人工智能识别的名优茶采摘机及采摘机用识别方法
CN111428712B (zh) * 2020-03-19 2021-11-30 青岛农业大学 基于人工智能识别的名优茶采摘机及采摘机用识别方法
CN111767944B (zh) * 2020-05-27 2023-08-15 重庆大学 一种基于深度学习的适用于多尺度目标检测的单阶段检测器设计方法
CN111767944A (zh) * 2020-05-27 2020-10-13 重庆大学 一种基于深度学习的适用于多尺度目标检测的单阶段检测器设计方法
CN112068464A (zh) * 2020-08-10 2020-12-11 福建浩创智能科技有限公司 一种基于主动探测及视觉识别的驱鸟装置及方法
CN112149582A (zh) * 2020-09-27 2020-12-29 中国科学院空天信息创新研究院 一种高光谱图像材质识别方法及***
CN112598142A (zh) * 2020-12-16 2021-04-02 明阳智慧能源集团股份公司 一种风电机组检修工作质量审查辅助方法与***
CN112598142B (zh) * 2020-12-16 2024-02-02 明阳智慧能源集团股份公司 一种风电机组检修工作质量审查辅助方法与***
CN112651341A (zh) * 2020-12-28 2021-04-13 长江大学 一种焊管焊缝实时检测视频的处理方法
CN113066056A (zh) * 2021-03-15 2021-07-02 南昌大学 一种基于深度学习的口罩耳带焊点检测方法
WO2023115409A1 (zh) * 2021-12-22 2023-06-29 深圳技术大学 一种焊盘检测方法、装置、计算机设备及存储介质
CN115937773A (zh) * 2022-12-06 2023-04-07 南京小网科技有限责任公司 一种基于ai识别的智能影像识别***
CN115937773B (zh) * 2022-12-06 2023-10-24 南京小网科技有限责任公司 一种基于ai识别的智能影像识别***

Similar Documents

Publication Publication Date Title
CN109584227A (zh) 一种基于深度学习目标检测算法的焊点质量检测方法及其实现***
CN109239102B (zh) 一种基于cnn的柔性电路板外观缺陷检测方法
CN106127204B (zh) 一种全卷积神经网络的多方向水表读数区域检测算法
CN103324937B (zh) 标注目标的方法和装置
CN109859207B (zh) 一种高密度柔性基板的缺陷检测方法
CN106875373A (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN109993734A (zh) 用于输出信息的方法和装置
CN109767422A (zh) 基于深度学习的管道检测识别方法、存储介质及机器人
CN109142371A (zh) 基于深度学习的高密度柔性基板外观缺陷检测***与方法
CN111667455A (zh) 一种刷具多种缺陷的ai检测方法
CN109635875A (zh) 一种基于深度学习的端到端网口检测方法
CN107064170A (zh) 一种检测手机外壳轮廓度缺陷方法
CN108564049A (zh) 一种基于深度学习的快速人脸检测识别方法
CN108021938A (zh) 一种冷轧带钢表面缺陷在线检测方法以及检测***
CN111401419A (zh) 基于改进RetinaNet的员工着装规范检测方法
CN109033934A (zh) 一种基于YOLOv2网络的水上漂浮物检测方法
CN111340798A (zh) 深度学习在产品外观瑕疵检测中的应用
CN107305636A (zh) 目标识别方法、目标识别装置、终端设备和目标识别***
CN110009614A (zh) 用于输出信息的方法和装置
CN110136130A (zh) 一种检测产品缺陷的方法及装置
CN109978870A (zh) 用于输出信息的方法和装置
CN110186375A (zh) 智能化高铁白车身焊接装配特征检测装置及检测方法
CN112381175A (zh) 一种基于图像处理的电路板识别与分析方法
CN110503070A (zh) 基于航拍图像目标检测处理技术的交通自动化监测方法
Li et al. Automatic industry PCB board DIP process defect detection with deep ensemble method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190405