CN115587993A - 一种基于ai与机器视觉算法的口罩焊点缺陷检测方法 - Google Patents

一种基于ai与机器视觉算法的口罩焊点缺陷检测方法 Download PDF

Info

Publication number
CN115587993A
CN115587993A CN202211293216.2A CN202211293216A CN115587993A CN 115587993 A CN115587993 A CN 115587993A CN 202211293216 A CN202211293216 A CN 202211293216A CN 115587993 A CN115587993 A CN 115587993A
Authority
CN
China
Prior art keywords
roi
model
image
welding spot
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211293216.2A
Other languages
English (en)
Inventor
王志伟
朱鸿泰
朱涛
艾亚辉
陈锦宝
王小龙
杨一粟
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Key System and Integrated Circuit Co Ltd
Original Assignee
China Key System and Integrated Circuit Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Key System and Integrated Circuit Co Ltd filed Critical China Key System and Integrated Circuit Co Ltd
Priority to CN202211293216.2A priority Critical patent/CN115587993A/zh
Publication of CN115587993A publication Critical patent/CN115587993A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于AI与机器视觉算法的口罩焊点缺陷检测方法，属于口罩缺陷检测领域。在深度学习算法上，通过图像增强模型对原始相机采集的图像进行图像增强，使用目标检测模型将焊点ROI区域进行有效提取，进而输送给语义分割、分类模型进行焊点脏污、半焊点、打结等缺陷的检测；在传统机器视觉算法上，使用自主设计的SJDD1和SJDD2算法，对焊点ROI图像进行处理，检测是否存在毛刺、耳带超出、压穿等缺陷；最后综合五种算法的结果得到口罩焊点是否存在缺陷的结论，故算法具有极高的鲁棒性与准确性。本发明将深度学习算法与自主设计的传统机器视觉算法相结合，进行有效的口罩焊点缺陷检测；有效节省了算力以及耗时。

Description

一种基于AI与机器视觉算法的口罩焊点缺陷检测方法
技术领域
本发明涉及口罩缺陷检测技术领域，特别涉及一种基于AI与机器视觉算法的口罩焊点缺陷检测方法。
背景技术
近些年，人们对于口罩的需求持续不断且与日俱增。与此同时，为了有效应对病毒传播，对于口罩的质量要求也是一项重要的需求指标，这就促进了口罩生产厂家需要对口罩进行严格的缺陷检测，剔除存在缺陷的口罩。
任意规格的口罩都存在焊点，焊点是将耳带固定于成型片上所按压形成的区域，关系到口罩能否正常佩戴，以及佩戴时的整体稳定性，故焊点缺陷检测是口罩缺陷检测中极为重要的一环。目前口罩生产厂家的产线上一般是通过人工进行缺陷检测，而人工进行检测时的主观因素影响较大，标准难以统一；且人工长时间进行检测容易出现视觉疲劳，不仅影响检测结果，同时效率也较低。
发明内容
本发明的目的在于提供一种基于AI与机器视觉算法的口罩焊点缺陷检测方法，以解决背景技术中的问题。
为解决上述技术问题，本发明提供了一种基于AI与机器视觉算法的口罩焊点缺陷检测方法，包括：
步骤1：将相机直接采集的包含口罩的Ori图像传入预先训练好的深度学习图像增强改进模型CAN++进行亮度提升噪点减少处理，输出一张与 Ori图像尺寸一致的处理后的Proc图像；
步骤2：使用预先训练好的深度学习目标检测模型YOLOv5对Proc图像进行焊点ROI的识别，得到焊点ROI的中心点及长、宽数据；
步骤3：基于识别结果进行焊点个数、间距不符的缺陷检测；
步骤4：基于步骤2得到的焊点ROI中心点及长、宽数据，在Proc图像上进行提取得到焊点ROI图像；
步骤5：分别使用预先训练好的深度学习语义分割模型Mask-RCNN、深度学习分类模型Inceptionv4及设计的传统机器视觉算法对焊点ROI图像进行缺陷检测；
步骤6：综合步骤5的语义分割、分类检测结果判断口罩焊点是否存在缺陷。
在一种实施方式中，所述步骤1中深度学习图像增强改进模型CAN++ 的改进方法包括：
将CAN网络模型的第一层卷积结果通过concat的方式与第四层卷积结果拼接在一起作为第五层卷积的输入；
将CAN网络模型的第二层卷积结果通过concat的方式与第五层卷积结果拼接在一起作为第六层卷积的输入；
将CAN网络模型的第三层卷积结果通过concat的方式与第六层卷积结果拼接在一起作为第七层卷积的输入。
在一种实施方式中，所述步骤1中深度学习图像增强改进模型CAN++ 的训练过程包括：
(a)固定相机对不同的口罩样本进行图像采集，对同一个口罩样本分别在低曝光时间、低环境亮度和长曝光时间、高环境亮度下采集两张图像，分别作为模型输入和模型输出的对比，通过采集一定数量的成对图像构建起模型训练的数据集；
(b)从构建的数据集中按照8：1：1的比例划分出训练集、验证集和测试集；
(c)使用训练集对图像增强改进模型CAN++进行训练，使用验证集在训练过程中进行模型的性能评判，并基于验证集结果看是否需要调整模型训练的超参数，然后使用测试集进行测试，当测试结果在PSNR、SSIM两项指标上均满足要求时即通过测试，最终得到满足要求的深度学习增强改进模型CAN++。
在一种实施方式中，所述步骤2中深度学习目标检测模型YOLOv5的训练过程包括：
(a)对图像增强改进模型CAN++处理过的口罩Proc图像使用标注工具labelme进行焊点目标的标注，从而构建起数据集；
(b)从构建的数据集中按照8：1：1的比例划分出训练集、验证集和测试集；
(c)使用训练集对目标检测模型YOLOv5进行训练，使用验证集在训练过程中进行模型的性能评判，并基于验证集结果看是否需要调整模型训练的超参数，然后使用测试集进行测试，当测试结果能够准确识别定位出焊点区域时即通过测试，最终得到满足要求的深度学习目标检测模型 YOLOv5。
在一种实施方式中，所述步骤3中基于识别结果进行焊点个数、间距不符的缺陷检测包括：
基于深度学习目标检测模型YOLOv5对Proc图像进行处理，得到Proc 图像中所有焊点的中心点坐标和长、宽值，对此数据进行统计得到焊点的个数，同时基于各焊点中心点坐标对焊点间的距离进行测量，以此检测焊点间的距离是否满足要求。
在一种实施方式中，所述步骤5包括：
步骤5-1：基于深度学习的语义分割模型Mask-RCNN对焊点ROI图像进行语义分割，检测是否存在脏污区域，且该区域像素面积、置信度均满足预设要求；
步骤5-2：基于深度学习的分类模型Inceptionv4对焊点ROI图像进行分类，得出焊点ROI图像的OK、NG、OT分类结果；其中OK是没有缺陷， NG是有缺陷，OT是被遮挡无法判断有无缺陷；
步骤5-3：基于设计的传统机器视觉算法SJDD1对焊点ROI图像进行毛刺、耳带超出缺陷的检测；
步骤5-4：基于设计的传统机器视觉算法SJDD2对焊点ROI图像进行压穿、脏污缺陷的检测。
在一种实施方式中，所述步骤5中深度学习语义分割模型Mask-RCNN 的训练过程包括：
(a)收集包含脏污区域的焊点ROI图像，使用标注工具labelme进行焊点上脏污区域的标注，从而构建起数据集；
(b)从构建的数据集中按照8：1：1的比例划分出训练集、验证集和测试集；
(c)使用训练集对语义分割模型Mask-RCNN进行训练，使用验证集在训练过程中进行模型的性能评判，并基于验证集结果看是否需要调整模型训练的超参数，然后使用测试集进行测试，当测试结果能够准确找到焊点上的脏污区域时即通过测试，最终得到满足要求的深度学习语义分割模型 Mask-RCNN。
在一种实施方式中，所述步骤5中深度学习分类模型Inceptionv4的训练过程包括：
(a)收集提取的焊点ROI图像，并进行OK、NG、OT三种类别的分类，从而构建起数据集；
(b)从构建的数据集中按照8：1：1的比例划分出训练集、验证集和测试集；
(c)使用训练集对分类模型Inceptionv4进行训练，使用验证集在训练过程中进行模型的性能评判，并基于验证集结果看是否需要调整模型训练的超参数，然后使用测试集进行测试，当测试结果能够准确将OK、NG、 OT三种焊点进行分类时即通过测试，最终得到满足要求的深度学习分类模型Inceptionv4。
在一种实施方式中，所述步骤5中设计的传统机器视觉算法SJDD1对焊点ROI图像进行缺陷检测的处理过程包括：
(a)对彩色的焊点ROI图像进行RGB三通道分离，得到三张单通道图像分别为ROI_R、ROI_G、ROI_B；
(b)将单通道图像ROI_R、ROI_G进行相减操作，得到相减后的单通道图像ROI_SUB；
(c)对图像ROI_SUB进行阈值分割，以及腐蚀膨胀操作，得到图像 ROI_OD；
(d)对图像ROI_OD中剩余的目标区域依面积进行筛选，得到未被焊过的耳带区域；
(e)将步骤(d)筛选得到的耳带区域根据其在图像中的坐标及矩形度信息循环查找，找到位于焊点ROI区域中心位置，且面积、矩形度均满足要求的未被焊过的耳带目标OBJ_CENTER，且该目标是唯一的；
(f)将步骤(e)筛选得到的唯一耳带目标OBJ_CENTER作为基准，在步骤(d)筛选得到的所有未被焊过的耳带区域中进行查找，如果存在X轴方向位于唯一耳带目标OBJ_CENTER的右侧，且面积满足要求的目标 OBJ_RIGHT，则认为口罩中的该焊点存在缺陷。
在一种实施方式中，所述步骤5中设计的传统机器视觉算法SJDD2对焊点ROI图像进行缺陷检测的处理过程包括：
(a)对彩色的焊点ROI图像进行RGB三通道分离，得到三张单通道图像分别为ROI_R、ROI_G、ROI_B；
(b)将RGB三个单通道图像ROI_R、ROI_G、ROI_B转换为HSV通道图像，分别为ROI_H、ROI_S、ROI_V；
(c)对明度通道图像ROI_V进行阈值分割，得到明度较低的区域目标；
(d)对步骤(c)处理得到的明度较低的区域目标逐个进行平均阈值筛选，若区域目标平均阈值低于一个所设定筛选阈值，则认为该区域目标为洞穿区域，并且是发黑的洞穿情况；若区域目标的平均阈值高于所设定筛选阈值，则执行步骤(e)；
(e)对步骤(d)筛选剩下的区域目标根据其坐标，在焊点ROI图像上进行区域图像提取，然后将提取的区域图像送入预先训练好的MLP分类器进行处理，判断该区域是否存在压穿情况；
综合步骤(d)和(e)的结果，得出该焊点是否存在压穿、脏污缺陷。
本发明提供的一种基于AI与机器视觉算法的口罩焊点缺陷检测方法，在深度学习算法上，通过图像增强模型对原始相机采集的图像进行图像增强，然后使用目标检测模型将焊点ROI区域进行有效提取，进而输送给语义分割、分类模型进行焊点脏污、半焊点、打结等缺陷的检测；在传统机器视觉算法上，使用自主设计的SJDD1和SJDD2算法，对焊点ROI图像进行处理，检测是否存在毛刺、耳带超出、压穿等缺陷。最后综合五种算法的结果得到口罩焊点是否存在缺陷的结论，故算法具有极高的鲁棒性与准确性。另外将深度学习算法与自主设计的传统机器视觉算法相结合，进行有效的口罩焊点缺陷检测；通过将焊点不同种类的缺陷使用不同的算法进行检测，同时发挥了深度学习算法针对成像内容复杂且多变检测任务的优势，也发挥了传统机器视觉算法针对形态较为固定检测任务的优势，将两种算法巧妙搭配，有效节省了算力以及耗时。替代人工进行口罩缺陷检测，极大的降低了用人成本，同时也提高了生产效率。
附图说明
图1为本发明提供的一种基于AI与机器视觉算法的口罩焊点缺陷检测方法的流程图。
图2为包含口罩的Ori图像的示意图。
图3为图像增强算法处理Ori图像后所得Proc图像的示意图。
图4为目标检测算法识别焊点ROI的示意图。
图5为提取焊点ROI图像的示意图。
图6为语义分割算法对焊点ROI图像进行脏污检测的示意图。
图7为算法SJDD1对焊点ROI进行毛刺、耳带超出检测的示意图。
图8为算法SJDD2对焊点ROI进行压穿检测的示意图。
具体实施方式
以下结合附图和具体实施例对本发明提出的一种基于AI与机器视觉算法的口罩焊点缺陷检测方法作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
本发明提供一种基于AI与机器视觉算法的口罩焊点缺陷检测方法，流程图如图1所示，具体包含如下步骤：
步骤一：将相机直接采集的包含口罩的Ori图像传入预先训练好的深度学习图像增强改进模型CAN++进行处理，模型输出一张与初始Ori图像尺寸一致的处理后的Proc图像，该Proc图像在亮度得到提升的同时噪点也会有所减少，其中Ori图像如图2所示，Proc图像如图3所示；
深度学习图像增强改进模型CAN++的改进方法具体如下：
CAN网络模型共包含8个卷积层，网络模型的输入与输出是尺寸完全一致的RGB三通道图像。将CAN网络模型的第一层卷积结果通过concat的方式与第四层卷积结果拼接在一起作为第五层卷积的输入；将CAN网络模型的第二层卷积结果通过concat的方式与第五层卷积结果拼接在一起作为第六层卷积的输入；将CAN网络模型的第三层卷积结果通过concat的方式与第六层卷积结果拼接在一起作为第七层卷积的输入。
深度学习图像增强改进模型CAN++的训练过程具体如下：
(a)固定相机对不同的口罩样本进行图像采集，对同一个口罩样本分别在2000us的低曝光时间、低环境亮度和40000us的长曝光时间、高环境亮度下采集两张图像，分别作为模型输入和模型输出的对比，通过采集5000 对(即10000张)的成对图像构建起模型训练的数据集；
(b)从构建的数据集中按照8：1：1的比例划分出训练集、验证集和测试集；
(c)使用训练集对图像增强改进模型CAN++进行训练，使用验证集在训练过程中进行模型的性能评判，并基于验证集结果看是否需要调整模型训练的超参数，然后使用测试集进行测试，当测试结果在PSNR(Peak SignaltoNoiseRatio，峰值信噪比)、SSIM(structuralsimilarity，结构相似性)两项指标均大于0.91时即通过测试，最终得到满足要求的 CAN++预训练模型。
步骤二：使用预先训练好的深度学习目标检测模型YOLOv5对图像Proc 进行焊点ROI的识别，效果如图4所示，得到焊点ROI的中心点(x,y)及长l、宽w的数据；
深度学习目标检测模型YOLOv5的训练过程具体如下：
(a)对共计10000张的图像增强改进模型CAN++处理过的口罩图像使用标注工具labelme进行焊点目标(soldered_dot)的标注，从而构建起数据集；
(b)从构建的数据集中按照8：1：1的比例划分出训练集、验证集和测试集；
(c)使用训练集对目标检测模型YOLOv5进行训练，使用验证集在训练过程中进行模型的性能评判，并基于验证集结果看是否需要调整模型训练的超参数，然后使用测试集进行测试，当测试结果能够准确识别定位出焊点区域，即IOU(IntersectionoverUnion，重叠度)值满足阈值要求时即通过测试，最终得到满足要求的YOLOv5预训练模型。
步骤三：基于识别结果进行焊点个数、间距不符的缺陷检测。首先，基于目标检测模型YOLOv5对图像Proc进行处理，可以得到图像Proc中所有焊点的中心点坐标{(x0,y0),(x1,y1),....,(xn,yn)}和长{l0,l1,....,ln}、宽{w0,w1,....,wn}值，对此数据进行统计可以得到焊点的个数，即n值。同时，如果检测到的焊点目标仅有2个，即n＝1，说明焊点个数正确，然后就可以基于两个焊点中心点坐标对焊点间的距离进行测量，计算公式为
Figure BDA0003902138030000081
看Distances是否满足要求。
步骤四：基于步骤二得到的焊点ROI中心点(x,y)及长l、宽w数据，在图像Proc上进行提取得到焊点ROI图像，提取效果如图5所示，为了准确检测焊点上所焊耳带是否超出焊点区域，及超出的长度和面积，在进行焊点ROI图像提取时，可以适当增加提取区域的长、宽值，长度可增加30个像素值，宽度可以增加20个像素值；
步骤五：分别使用预先训练好的深度学习语义分割模型Mask-RCNN、分类模型Inceptionv4及设计的传统机器视觉算法对焊点ROI图像进行缺陷检测：
(5-1)基于深度学***均置信度大于0.85时，即认为该区域为焊点脏污区域，语义分割效果如图 6所示；
深度学习语义分割模型Mask-RCNN的训练过程具体如下：
(a)收集包含脏污区域的焊点ROI图像5000张，使用标注工具labelme 进行焊点上脏污区域的标注，从而构建起数据集；
(b)从构建的数据集中按照8：1：1的比例划分出训练集、验证集和测试集；
(c)使用训练集对语义分割模型Mask-RCNN进行训练，使用验证集在训练过程中进行模型的性能评判，并基于验证集结果看是否需要调整模型训练的超参数，然后使用测试集进行测试，当测试结果能够准确找到焊点上的脏污区域时即通过测试，最终得到满足要求的Mask-RCNN预训练模型。
(5-2)基于深度学习的分类模型Inceptionv4对焊点ROI图像进行分类，得出焊点ROI的OK、NG、OT分类结果，其中OK代表没有缺陷的焊点，NG代表焊点存在半焊点、月牙焊点、点偏、焊点发白、打结、焊点压超声等缺陷，OT则代表焊点存在遮挡情况，无法判断是否存在缺陷；
深度学习分类模型Inceptionv4的训练过程具体如下：
(a)收集提取的焊点ROI图像，并进行OK、NG、OT三种类别的分类，其中OK是没有缺陷的焊点，NG是有缺陷的焊点，OT是被遮挡无法判断有无缺陷的焊点，从而构建起数据集；
(b)从构建的数据集中按照8：1：1的比例划分出训练集、验证集和测试集；
(c)使用训练集对分类模型Inceptionv4进行训练，使用验证集在训练过程中进行模型的性能评判，并基于验证集结果看是否需要调整模型训练的超参数，然后使用测试集进行测试，当测试结果能够将OK、NG、OT 三种焊点进行分类的准确率达到99％时即通过测试，最终得到满足要求的 Inceptionv4预训练模型。
(5-3)基于设计的传统机器视觉算法SJDD1对焊点ROI图像进行毛刺、耳带超出等缺陷的检测；
设计的传统机器视觉算法SJDD1对焊点ROI图像进行毛刺、耳带超出等缺陷检测的处理过程具体如下：
(a)对彩色的焊点ROI图像进行RGB三通道分离，得到三张单通道图像分别为ROI_R、ROI_G、ROI_B；
(b)将单通道图像ROI_R、ROI_G进行相减操作，得到相减后的单通道图像ROI_SUB；
(c)对图像ROI_SUB进行范围为(77，255)的阈值分割，以及腐蚀膨胀操作，得到图像ROI_OD；
(d)对图像ROI_OD中剩余的目标区域依最小面积400个像素值进行筛选，得到未被焊过的耳带区域，如图7所示，筛选得到两个目标区域；
(e)将步骤(d)筛选得到的目标根据其在图像中的坐标及矩形度等信息循环查找，找到位于焊点ROI区域中心位置，且面积、矩形度均满足一定要求的未被焊过的耳带目标OBJ_CENTER，同时该目标是唯一的，具体如图7中左侧周边被包围的区域；
(f)将步骤(e)筛选得到的唯一目标OBJ_CENTER作为基准，在步骤 (d)筛选得到的所有目标中进行查找，如果存在X轴方向位于OBJ_CENTER 右侧，且面积满足一定要求的目标OBJ_RIGHT，具体如图7中右侧周边被包围的区域，则认为口罩中的该焊点存在毛刺、耳带超出缺陷。
(5-4)基于设计的传统机器视觉算法SJDD2对焊点ROI图像进行压穿、脏污等缺陷的检测；
设计的传统机器视觉算法SJDD2对焊点ROI图像进行压穿、脏污缺陷检测的处理过程具体如下：
(a)对彩色的焊点ROI图像进行RGB三通道分离，得到三张单通道图像分别为ROI_R、ROI_G、ROI_B；
(b)将RGB三个单通道图像ROI_R、ROI_G、ROI_B转换为HSV通道图像，分别为ROI_H、ROI_S、ROI_V；
(c)对明度通道图像ROI_V进行范围为(0，91)的阈值分割，得到明度较低的区域目标；
(d)对步骤(c)处理得到的区域目标逐个进行平均阈值筛选，若区域目标平均阈值低于一个所设定筛选阈值，则认为该区域目标为洞穿区域，并且是发黑的洞穿情况，具体如图8所示。若区域目标的平均阈值高于所设定筛选阈值，则执行步骤(e)；
(e)对步骤(d)筛选剩下的区域目标根据其坐标，在焊点ROI图像上进行区域图像提取，然后将提取的区域图像送入预先训练好的MLP分类器进行处理，判断该区域是否存在压穿情况；
(f)综合步骤(d)和(e)的结果，得出该焊点是否存在压穿、脏污等情况。
(6)综合步骤三、步骤五的语义分割、分类等检测算法的结果，判断口罩焊点是否存在缺陷，并将每种算法检测到的焊点缺陷进行输出。
上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (10)

1.一种基于AI与机器视觉算法的口罩焊点缺陷检测方法，其特征在于，包括：
步骤1：将相机直接采集的包含口罩的Ori图像传入预先训练好的深度学习图像增强改进模型CAN++进行亮度提升噪点减少处理，输出一张与Ori图像尺寸一致的处理后的Proc图像；
步骤2：使用预先训练好的深度学习目标检测模型YOLOv5对Proc图像进行焊点ROI的识别，得到焊点ROI的中心点及长、宽数据；
步骤3：基于识别结果进行焊点个数、间距不符的缺陷检测；
步骤4：基于步骤2得到的焊点ROI中心点及长、宽数据，在Proc图像上进行提取得到焊点ROI图像；
步骤5：分别使用预先训练好的深度学习语义分割模型Mask-RCNN、深度学习分类模型Inception v4及设计的传统机器视觉算法对焊点ROI图像进行缺陷检测；
步骤6：综合步骤5的语义分割、分类检测结果判断口罩焊点是否存在缺陷。
2.如权利要求1所述的基于AI与机器视觉算法的口罩焊点缺陷检测方法，其特征在于，所述步骤1中深度学习图像增强改进模型CAN++的改进方法包括：
将CAN网络模型的第一层卷积结果通过concat的方式与第四层卷积结果拼接在一起作为第五层卷积的输入；
将CAN网络模型的第二层卷积结果通过concat的方式与第五层卷积结果拼接在一起作为第六层卷积的输入；
将CAN网络模型的第三层卷积结果通过concat的方式与第六层卷积结果拼接在一起作为第七层卷积的输入。
3.如权利要求2所述的基于AI与机器视觉算法的口罩焊点缺陷检测方法，其特征在于，所述步骤1中深度学习图像增强改进模型CAN++的训练过程包括：
(a)固定相机对不同的口罩样本进行图像采集，对同一个口罩样本分别在低曝光时间、低环境亮度和长曝光时间、高环境亮度下采集两张图像，分别作为模型输入和模型输出的对比，通过采集一定数量的成对图像构建起模型训练的数据集；
(b)从构建的数据集中按照8：1：1的比例划分出训练集、验证集和测试集；
(c)使用训练集对图像增强改进模型CAN++进行训练，使用验证集在训练过程中进行模型的性能评判，并基于验证集结果看是否需要调整模型训练的超参数，然后使用测试集进行测试，当测试结果在PSNR、SSIM两项指标上均满足要求时即通过测试，最终得到满足要求的深度学习增强改进模型CAN++。
4.如权利要求3所述的基于AI与机器视觉算法的口罩焊点缺陷检测方法，其特征在于，所述步骤2中深度学习目标检测模型YOLOv5的训练过程包括：
(a)对图像增强改进模型CAN++处理过的口罩Proc图像使用标注工具labelme进行焊点目标的标注，从而构建起数据集；
(b)从构建的数据集中按照8：1：1的比例划分出训练集、验证集和测试集；
(c)使用训练集对目标检测模型YOLOv5进行训练，使用验证集在训练过程中进行模型的性能评判，并基于验证集结果看是否需要调整模型训练的超参数，然后使用测试集进行测试，当测试结果能够准确识别定位出焊点区域时即通过测试，最终得到满足要求的深度学习目标检测模型YOLOv5。
5.如权利要求4所述的基于AI与机器视觉算法的口罩焊点缺陷检测方法，其特征在于，所述步骤3中基于识别结果进行焊点个数、间距不符的缺陷检测包括：
基于深度学习目标检测模型YOLOv5对Proc图像进行处理，得到Proc图像中所有焊点的中心点坐标和长、宽值，对此数据进行统计得到焊点的个数，同时基于各焊点中心点坐标对焊点间的距离进行测量，以此检测焊点间的距离是否满足要求。
6.如权利要求5所述的基于AI与机器视觉算法的口罩焊点缺陷检测方法，其特征在于，所述步骤5包括：
步骤5-1：基于深度学习的语义分割模型Mask-RCNN对焊点ROI图像进行语义分割，检测是否存在脏污区域，且该区域像素面积、置信度均满足预设要求；
步骤5-2：基于深度学习的分类模型Inception v4对焊点ROI图像进行分类，得出焊点ROI图像的OK、NG、OT分类结果；其中OK是没有缺陷，NG是有缺陷，OT是被遮挡无法判断有无缺陷；
步骤5-3：基于设计的传统机器视觉算法SJDD1对焊点ROI图像进行毛刺、耳带超出缺陷的检测；
步骤5-4：基于设计的传统机器视觉算法SJDD2对焊点ROI图像进行压穿、脏污缺陷的检测。
7.如权利要求6所述的基于AI与机器视觉算法的口罩焊点缺陷检测方法，其特征在于，所述步骤5中深度学习语义分割模型Mask-RCNN的训练过程包括：
(a)收集包含脏污区域的焊点ROI图像，使用标注工具labelme进行焊点上脏污区域的标注，从而构建起数据集；
(b)从构建的数据集中按照8：1：1的比例划分出训练集、验证集和测试集；
(c)使用训练集对语义分割模型Mask-RCNN进行训练，使用验证集在训练过程中进行模型的性能评判，并基于验证集结果看是否需要调整模型训练的超参数，然后使用测试集进行测试，当测试结果能够准确找到焊点上的脏污区域时即通过测试，最终得到满足要求的深度学习语义分割模型Mask-RCNN。
8.如权利要求7所述的基于AI与机器视觉算法的口罩焊点缺陷检测方法，其特征在于，所述步骤5中深度学习分类模型Inception v4的训练过程包括：
(a)收集提取的焊点ROI图像，并进行OK、NG、OT三种类别的分类，从而构建起数据集；
(b)从构建的数据集中按照8：1：1的比例划分出训练集、验证集和测试集；
(c)使用训练集对分类模型Inception v4进行训练，使用验证集在训练过程中进行模型的性能评判，并基于验证集结果看是否需要调整模型训练的超参数，然后使用测试集进行测试，当测试结果能够准确将OK、NG、OT三种焊点进行分类时即通过测试，最终得到满足要求的深度学习分类模型Inception v4。
9.如权利要求8所述的基于AI与机器视觉算法的口罩焊点缺陷检测方法，其特征在于，所述步骤5中设计的传统机器视觉算法SJDD1对焊点ROI图像进行缺陷检测的处理过程包括：
(a)对彩色的焊点ROI图像进行RGB三通道分离，得到三张单通道图像分别为ROI_R、ROI_G、ROI_B；
(b)将单通道图像ROI_R、ROI_G进行相减操作，得到相减后的单通道图像ROI_SUB；
(c)对图像ROI_SUB进行阈值分割，以及腐蚀膨胀操作，得到图像ROI_OD；
(d)对图像ROI_OD中剩余的目标区域依面积进行筛选，得到未被焊过的耳带区域；
(e)将步骤(d)筛选得到的耳带区域根据其在图像中的坐标及矩形度信息循环查找，找到位于焊点ROI区域中心位置，且面积、矩形度均满足要求的未被焊过的耳带目标OBJ_CENTER，且该目标是唯一的；
(f)将步骤(e)筛选得到的唯一耳带目标OBJ_CENTER作为基准，在步骤(d)筛选得到的所有未被焊过的耳带区域中进行查找，如果存在X轴方向位于唯一耳带目标OBJ_CENTER的右侧，且面积满足要求的目标OBJ_RIGHT，则认为口罩中的该焊点存在缺陷。
10.如权利要求9所述的基于AI与机器视觉算法的口罩焊点缺陷检测方法，其特征在于，所述步骤5中设计的传统机器视觉算法SJDD2对焊点ROI图像进行缺陷检测的处理过程包括：
(a)对彩色的焊点ROI图像进行RGB三通道分离，得到三张单通道图像分别为ROI_R、ROI_G、ROI_B；
(b)将RGB三个单通道图像ROI_R、ROI_G、ROI_B转换为HSV通道图像，分别为ROI_H、ROI_S、ROI_V；
(c)对明度通道图像ROI_V进行阈值分割，得到明度较低的区域目标；
(d)对步骤(c)处理得到的明度较低的区域目标逐个进行平均阈值筛选，若区域目标平均阈值低于一个所设定筛选阈值，则认为该区域目标为洞穿区域，并且是发黑的洞穿情况；若区域目标的平均阈值高于所设定筛选阈值，则执行步骤(e)；
(e)对步骤(d)筛选剩下的区域目标根据其坐标，在焊点ROI图像上进行区域图像提取，然后将提取的区域图像送入预先训练好的MLP分类器进行处理，判断该区域是否存在压穿情况；
综合步骤(d)和(e)的结果，得出该焊点是否存在压穿、脏污缺陷。
CN202211293216.2A 2022-10-21 2022-10-21 一种基于ai与机器视觉算法的口罩焊点缺陷检测方法 Pending CN115587993A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211293216.2A CN115587993A (zh) 2022-10-21 2022-10-21 一种基于ai与机器视觉算法的口罩焊点缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211293216.2A CN115587993A (zh) 2022-10-21 2022-10-21 一种基于ai与机器视觉算法的口罩焊点缺陷检测方法

Publications (1)

Publication Number Publication Date
CN115587993A true CN115587993A (zh) 2023-01-10

Family

ID=84780681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211293216.2A Pending CN115587993A (zh) 2022-10-21 2022-10-21 一种基于ai与机器视觉算法的口罩焊点缺陷检测方法

Country Status (1)

Country Link
CN (1) CN115587993A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078674A (zh) * 2023-10-14 2023-11-17 中电鹏程智能装备有限公司 一种pcba外观缺陷智能检测方法和检测***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078674A (zh) * 2023-10-14 2023-11-17 中电鹏程智能装备有限公司 一种pcba外观缺陷智能检测方法和检测***
CN117078674B (zh) * 2023-10-14 2024-01-05 中电鹏程智能装备有限公司 一种pcba外观缺陷智能检测方法和检测***

Similar Documents

Publication Publication Date Title
CN113362326B (zh) 一种电池焊点缺陷的检测方法及装置
CN109859177B (zh) 基于深度学习的工业射线影像评定方法及装置
CN111982916A (zh) 一种基于机器视觉的焊缝表面缺陷检测方法及***
WO2022236876A1 (zh) 一种玻璃纸缺陷识别方法、***、装置及存储介质
TWI669519B (zh) 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體
CN115684176B (zh) 一种薄膜表面缺陷在线视觉检测***
CN117635565B (zh) 一种基于图像识别的半导体表面缺陷检测***
CN113034488B (zh) 一种喷墨印刷品的视觉检测方法
CN113077437B (zh) 工件质量检测方法及其***
CN117152161B (zh) 一种基于图像识别的刨花板质量检测方法及***
CN112862770A (zh) 一种基于人工智能的缺陷分析诊断***、方法、装置
CN112819748B (zh) 一种带钢表面缺陷识别模型的训练方法及装置
WO2022198898A1 (zh) 图像分类方法和装置及设备
CN113222938A (zh) 芯片缺陷检测方法及***与计算机可读存储介质
CN114972230A (zh) 一种生产线上电路板缺陷检测方法及***
CN115587993A (zh) 一种基于ai与机器视觉算法的口罩焊点缺陷检测方法
WO2021248599A1 (zh) 一种类型异常图斑自动识别方法及***
CN110084807B (zh) 一种焊缝探伤底片图像造假的检测方法
KR20180115645A (ko) 2d 영상 기반의 용접 비드 인식 장치 및 그것을 이용한 그을음 제거 방법
CN117036314A (zh) 一种高密度柔性ic基板氧化区域检测方法
CN114742832B (zh) 一种MiniLED薄板的焊接缺陷检测方法
CN116381053A (zh) 一种用于金属材料焊接的超声波检测方法及***
CN115861259A (zh) 一种基于模板匹配的引线框架表面缺陷检测方法及装置
CN116228682A (zh) 一种基于多支路卷积神经网络的射线图像焊缝缺陷识别方法
CN115511884A (zh) 基于计算机视觉的冲孔复合模表面质量检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination