CN116091506B - 一种基于yolov5的机器视觉缺陷质检方法 - Google Patents

一种基于yolov5的机器视觉缺陷质检方法 Download PDF

Info

Publication number
CN116091506B
CN116091506B CN202310385347.1A CN202310385347A CN116091506B CN 116091506 B CN116091506 B CN 116091506B CN 202310385347 A CN202310385347 A CN 202310385347A CN 116091506 B CN116091506 B CN 116091506B
Authority
CN
China
Prior art keywords
product
defect
quality inspection
camera
sided
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310385347.1A
Other languages
English (en)
Other versions
CN116091506A (zh
Inventor
周先军
刘航
郭旋
张�浩
张炎
廖浩成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202310385347.1A priority Critical patent/CN116091506B/zh
Publication of CN116091506A publication Critical patent/CN116091506A/zh
Application granted granted Critical
Publication of CN116091506B publication Critical patent/CN116091506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开一种基于YOLOV5的机器视觉缺陷质检方法，涉及视觉检测产品质量技术领域，步骤1，分别采集标准合格产品和不同缺陷的不合格产品多套六面照片；步骤2，分别组成合格产品六面标准图训练库和不合格产品六面图训练库；步骤3，搭建基于YOLOV5算法的质检平台；步骤4，判定待检测产品是否合格。本发明采用相同的条件通过机器视觉***采集多张样图，作为质检平台基于深度学***台经过大批量的素材训练后会大大提高质检的准确性和效率，采用四个基准特征点的模式来精简对比，在基准特征点的比对中引入了距离差异阈值的概念，对待检产品的质量管控提供反馈数据，有利于产品质量的提升。

Description

一种基于YOLOV5的机器视觉缺陷质检方法
技术领域
本发明涉及视觉检测产品质量技术领域，尤其是涉及一种基于YOLOV5的机器视觉缺陷质检方法。
背景技术
视觉检测就是用机器代替人眼来做测量和判断。视觉检测是指通过机器视觉产品，即图像摄取装置，将被摄取目标转换成图像信号，传送给专用的图像处理***，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像***对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。是用于生产、装配或包装的有价值的机制。它在检测缺陷和防止缺陷产品被配送到消费者的功能方面具有不可估量的价值。
目前，自动化生产中越来越多地采用视觉***采集产品的外观图片，再配合视觉算法来实现产品缺陷的质检，然而常规的做法一般只能实现对于产品上表面的缺陷质检，适用于上表面是主要使用面的产品质检，对于产品六面均有重要特征的产品适用性并不高，还是需要人工或者其他质检工序来完成其他面的缺陷质检。
发明内容
为了解决上述采用视觉技术对自动化中的产品进行质检时不能满足一次性对六面进行缺陷质检的技术问题，本发明提供一种基于YOLOV5的机器视觉缺陷质检方法。采用如下的技术方案：
一种基于YOLOV5的机器视觉缺陷质检方法，包括以下具体步骤：
步骤1，采集标准合格产品的多套六面照片，采集不同缺陷的不合格产品多套六面照片；
步骤2，对标准合格产品和不合格产品的六面照片分别运行图像拼接算法重新生成标准合格产品六面图和不合格产品六面图，标准合格产品六面图包含标准合格产品六个面所有外观特征，不合格产品六面图包含不合格产品六个面所有外观特征，多张标准合格产品六面图组成合格产品六面标准图训练库，多张不合格产品六面图组成不合格产品六面图训练库；
步骤3，搭建基于YOLOV5算法的质检平台，并采用步骤2中生成的合格产品六面标准图训练库和不合格产品六面图训练库训练质检平台；
步骤4，判定待检测产品是否合格，采用机器视觉***获取待检测产品的六面待检图，运行图像拼接算法将六面待检图拼接成一张产品待检图，将产品待检图输入到质检平台，质检平台采用YOLOV5算法采集产品待检图的特征，通过相似度比较，当产品待检图与标准合格产品六面图的相似度IOU值大于设定相似度阈值时，输出产品合格的判定；
当产品六面待检图与标准合格产品六面图的相似度IOU值小于或等于设定相似度阈值时，输出产品不合格的判定。
通过采用上述技术方案，传统的基于视觉检测的产品缺陷质检通常只采集顶部视图，或者立体视图来进行质检，不能适用于六面均有重要特征的待检产品，这里分别采集检测产品的六面待检图进行拼接后来一次性完成六个面的缺陷质检，一次拍摄完成六面质检，大大提高了视觉质检的效率，能够适用于六面均有重要特征的待检产品；
为了满足质检需求，首先对标准合格产品和不合格产品均采用相同的条件通过机器视觉***采集多张样图，作为质检平台基于深度学***台经过大批量的素材训练后会大大提高质检的准确性和效率；
质检平台实质上是一种视觉服务器，其中搭载了各种视觉算法，质检平台采用YOLOV5算法采集产品待检图的特征，通过相似度比较，当产品待检图与标准合格产品六面图的相似度IOU值大于设定相似度阈值时，输出产品合格的判定，这种判定方式是先对比标准合格产品六面图，也就是优先合格推定，更适合合格率大于90%的产品缺陷质检，能大大提高缺陷质检效率。
可选的，步骤2中，采用YOLOV5目标检测算法检测多套不合格产品六面照片的缺陷特征，并形成缺陷特征对比库。
可选的，YOLOV5目标检测算法模型的yolov5深度学习网络使用缺陷特征对比库数据进行迭代训练，将缺陷特征对比库中的图片宽高等比例缩放并填充灰色边缘至224×224大小输入，训练图像样本经过Focus网络结构提取三个有效特征层分别为(52,52,256)、(26,26,512)和(13,13,1024)，并基于三个有效特征层进行构建第四特征FPN层。
通过采用上述技术方案，缺陷特征对比库的中的缺陷特征经过YOLOV5目标检测算法进行抓取后，就会直接获得缺陷特征为基础的特征层，最终按照缺陷特征的大小分为三个有效特征层，其中特征层为(52,52,256)的训练图像样本对应小目标，特征层为(26,26,512)检测粒度网格对应中目标，特征层为(13,13,1024)的检测粒度网格对应大目标，对该3个初始的特征层进行卷积处理操作之后可以得到第四特征FPN层。
可选的，将三个有效特征层(52,52,256)、(26,26,512)和(13,13,1024)的特征通过3×3卷积的方式提取不同特征进行融合，在融合得到的特征图上再进行预测得到第四特征FPN层。
通过采用上述技术方案，Focus网络结构将w-h平面上的信息转换到通道维度，再通过3×3卷积的方式提取不同特征。采用这种方式可以减少下采样带来的信息损失，使第四特征FPN层代表的特征更加精准。
可选的，采样第四特征FPN层上的至少四个基准特征点，所述基准特征点是指小于3像素点的特征区域，特征区域中的明暗变化程度大于50%，将四个基准特征点分别提取并构建基于四个基准特征点的缺陷快速比对层，并采用距离检测算法测得四个基准特征点之间的相互距离，并将距离数据作为缺陷快速比对层的附加对比项。
可选的，采用明暗检测算法对第四特征FPN层进行明暗度变化检测。
通过采用上述技术方案，因为大多数不合格产品中的缺陷特征量会较多，因此我们采用四个基准特征点的模式来精简对比，四个基准特征点加上位置距离关系数据就能够准确地定位该缺陷特征，这类似于指纹特征点识别的原理，而缺陷特征最大的特征就是明暗变化，因此采用明暗检测算法来实现明暗度变化检测能快速获得四个基准特征点。
可选的，机器视觉缺陷质检方法还包括步骤41，产品缺陷特征输出，在对产品待检图与标准合格产品六面图件相似度对比前先进行缺陷特征遍历，调用缺陷特征对比库的缺陷快速比对层对产品待检图进行遍历，若匹配成功四个基准特征点的特征，匹配相似度IOU值大于0.9，且四个基准特征点之间的相互距离差异小于距离差异阈值，则质检平台直接判定产品不合格，同时将缺陷位置进行框选处理，并基于框选标示进行显示。
可选的，所述距离差异值是指产品待检图任意两个基准特征点之间距离值与缺陷快速比对层中对应两个基准特征点之间距离值做差值的绝对值计算，然后将绝对值与缺陷快速比对层中对应两个基准特征点之间距离值做比值运算，设产品待检图任意两个基准特征点之间距离值为S，缺陷快速比对层中对应两个基准特征点之间距离值S1，距离差异阈值为D，则
Figure SMS_1
，距离差异阈值设0.05～0.1。
通过采用上述技术方案，质检平台做出待检产品在不合格判断的同时需要标示出具体的缺陷位置和缺陷类型，这样的产品缺陷质检才会对产品的生产做出积极的反馈，更加有利于产品合格率的提升；
具体的，为了标示出具体的缺陷位置和缺陷类型，首先要基于缺陷快速比对层来进行缺陷特征相似度的比对，如果相似度IOU值大于0.9，则确定了缺陷种类，然后进行位置数据的比对，这里引入了距离差异阈值的概念，距离差异阈值实际上是一种缺陷位置定位的密钥，能够匹配成功则完成了缺陷位置的定位，最终质检平台输出待检产品不合格的判断，同时对不合格的区域进行框选标示，并标示缺陷类型，从而对待检产品的质量管控提供反馈数据，有利于产品质量的提升。
一种机器视觉***，用于获取待检测产品的六面待检图，包括用于支撑待检产品的透明平台、底部相机、龙门架和顶部相机模组，所述透明平台设置在待检产品生产线的出口处，所述底部相机设置在透明平台的下方，用于拍摄待检产品的底视图，所述龙门架设置在透明平台的上方，所述顶部相机模组包括前部相机、后部相机、左侧相机、右侧相机和俯视相机，所述前部相机、后部相机、左侧相机、右侧相机和俯视相机分别挂载在龙门架上，分别用于拍摄待检测产品的前部视图、后部视图、左侧视图、右侧视图和俯视图，底部相机、前部相机、后部相机、左侧相机、右侧相机和俯视相机分别与质检平台通信连接。
通过采用上述技术方案，传统的机器视觉***只能获取产品上方的画面，采用上述结构可以完成检测产品的前部视图、后部视图、左侧视图、右侧视图和俯视图的获取，为后续质检一次性提供同一状态下的六面待检图，因为是一次同时拍摄，所以光影条件一致，更加有利于后续质检平台做出质检结果判断。
综上所述，本发明包括以下至少一种有益技术效果：
本发明能提供一种基于YOLOV5的机器视觉缺陷质检方法，对标准合格产品和不合格产品均采用相同的条件通过机器视觉***采集多张样图，作为质检平台基于深度学***台经过大批量的素材训练后会大大提高质检的准确性和效率，采用四个基准特征点的模式来精简对比，四个基准特征点加上位置距离关系数据就能够准确地定位该缺陷特征，采用明暗检测算法来实现明暗度变化检测能快速获得四个基准特征点，在基准特征点的比对中引入了距离差异阈值的概念，同时对不合格的区域进行框选标示，并标示缺陷类型，对待检产品的质量管控提供反馈数据，有利于产品质量的提升。
附图说明
图1是本发明一种基于YOLOV5的机器视觉缺陷质检方法的流程示意图；
图2是本发明一种机器视觉***的电器件连接原理示意图；
图3是本发明一种基于YOLOV5的机器视觉缺陷质检方法缺陷快速比对层的效果示意图。
附图标记说明：1、底部相机；2、前部相机；3、后部相机；4、左侧相机；5、右侧相机；6、俯视相机；100、质检平台。
实施方式
以下结合附图对本发明作进一步详细说明。
本发明实施例公开一种基于YOLOV5的机器视觉缺陷质检方法。
参照图1－图3，一种基于YOLOV5的机器视觉缺陷质检方法，包括以下具体步骤：
步骤1，采集标准合格产品的多套六面照片，采集不同缺陷的不合格产品多套六面照片；
步骤2，对标准合格产品和不合格产品的六面照片分别运行图像拼接算法重新生成标准合格产品六面图和不合格产品六面图，标准合格产品六面图包含标准合格产品六个面所有外观特征，不合格产品六面图包含不合格产品六个面所有外观特征，多张标准合格产品六面图组成合格产品六面标准图训练库，多张不合格产品六面图组成不合格产品六面图训练库；
步骤3，搭建基于YOLOV5算法的质检平台100，并采用步骤2中生成的合格产品六面标准图训练库和不合格产品六面图训练库训练质检平台100；
步骤4，判定待检测产品是否合格，采用机器视觉***获取待检测产品的六面待检图，运行图像拼接算法将六面待检图拼接成一张产品待检图，将产品待检图输入到质检平台100，质检平台100采用YOLOV5算法采集产品待检图的特征，通过相似度比较，当产品待检图与标准合格产品六面图的相似度IOU值大于设定相似度阈值时，输出产品合格的判定；
当产品六面待检图与标准合格产品六面图的相似度IOU值小于或等于设定相似度阈值时，输出产品不合格的判定。
传统的基于视觉检测的产品缺陷质检通常只采集顶部视图，或者立体视图来进行质检，不能适用于六面均有重要特征的待检产品，这里分别采集检测产品的六面待检图进行拼接后来一次性完成六个面的缺陷质检，一次拍摄完成六面质检，大大提高了视觉质检的效率，能够适用于六面均有重要特征的待检产品；
为了满足质检需求，首先对标准合格产品和不合格产品均采用相同的条件通过机器视觉***采集多张样图，作为质检平台基于深度学***台经过大批量的素材训练后会大大提高质检的准确性和效率；
质检平台100实质上是一种视觉服务器，其中搭载了各种视觉算法，质检平台100采用YOLOV5算法采集产品待检图的特征，通过相似度比较，当产品待检图与标准合格产品六面图的相似度IOU值大于设定相似度阈值时，输出产品合格的判定，这种判定方式是先对比标准合格产品六面图，也就是优先合格推定，更适合合格率大于90%的产品缺陷质检，能大大提高缺陷质检效率。
步骤2中，采用YOLOV5目标检测算法检测多套不合格产品六面照片的缺陷特征，并形成缺陷特征对比库。
YOLOV5目标检测算法模型的yolov5深度学习网络使用缺陷特征对比库数据进行迭代训练，将缺陷特征对比库中的图片宽高等比例缩放并填充灰色边缘至224×224大小输入，训练图像样本经过Focus网络结构提取三个有效特征层分别为(52,52,256)、(26,26,512)和(13,13,1024)，并基于三个有效特征层进行构建第四特征FPN层。
缺陷特征对比库的中的缺陷特征经过YOLOV5目标检测算法进行抓取后，就会直接获得缺陷特征为基础的特征层，最终按照缺陷特征的大小分为三个有效特征层，其中特征层为(52,52,256)的训练图像样本对应小目标，特征层为(26,26,512)检测粒度网格对应中目标，特征层为(13,13,1024)的检测粒度网格对应大目标，对该3个初始的特征层进行卷积处理操作之后可以得到第四特征FPN层。
将三个有效特征层(52,52,256)、(26,26,512)和(13,13,1024)的特征通过3×3卷积的方式提取不同特征进行融合，在融合得到的特征图上再进行预测得到第四特征FPN层。
Focus网络结构将w-h平面上的信息转换到通道维度，再通过3×3卷积的方式提取不同特征。采用这种方式可以减少下采样带来的信息损失，使第四特征FPN层代表的特征更加精准。
采样第四特征FPN层上的至少四个基准特征点，基准特征点是指小于3像素点的特征区域，特征区域中的明暗变化程度大于50%，将四个基准特征点分别提取并构建基于四个基准特征点的缺陷快速比对层，并采用距离检测算法测得四个基准特征点之间的相互距离，并将距离数据作为缺陷快速比对层的附加对比项。
采用明暗检测算法对第四特征FPN层进行明暗度变化检测。
因为大多数不合格产品中的缺陷特征量会较多，因此我们采用四个基准特征点的模式来精简对比，四个基准特征点加上位置距离关系数据就能够准确地定位该缺陷特征，这类似于指纹特征点识别的原理，而缺陷特征最大的特征就是明暗变化，因此采用明暗检测算法来实现明暗度变化检测能快速获得四个基准特征点。
机器视觉缺陷质检方法还包括步骤41，产品缺陷特征输出，在对产品待检图与标准合格产品六面图件相似度对比前先进行缺陷特征遍历，调用缺陷特征对比库的缺陷快速比对层对产品待检图进行遍历，若匹配成功四个基准特征点的特征，匹配相似度IOU值大于0.9，且四个基准特征点之间的相互距离差异小于距离差异阈值，则质检平台100直接判定产品不合格，同时将缺陷位置进行框选处理，并基于框选标示进行显示。
距离差异值是指产品待检图任意两个基准特征点之间距离值与缺陷快速比对层中对应两个基准特征点之间距离值做差值的绝对值计算，然后将绝对值与缺陷快速比对层中对应两个基准特征点之间距离值做比值运算，设产品待检图任意两个基准特征点之间距离值为S，缺陷快速比对层中对应两个基准特征点之间距离值S1，距离差异阈值为D，则
Figure SMS_2
，距离差异阈值设0.05～0.1。
质检平台100做出待检产品在不合格判断的同时需要标示出具体的缺陷位置和缺陷类型，这样的产品缺陷质检才会对产品的生产做出积极的反馈，更加有利于产品合格率的提升；
具体的，为了标示出具体的缺陷位置和缺陷类型，首先要基于缺陷快速比对层来进行缺陷特征相似度的比对，如果相似度IOU值大于0.9，则确定了缺陷种类，然后进行位置数据的比对，这里引入了距离差异阈值的概念，距离差异阈值实际上是一种缺陷位置定位的密钥，能够匹配成功则完成了缺陷位置的定位，最终质检平台100输出待检产品不合格的判断，同时对不合格的区域进行框选标示，并标示缺陷类型，从而对待检产品的质量管控提供反馈数据，有利于产品质量的提升。
一种机器视觉***，用于获取待检测产品的六面待检图，包括用于支撑待检产品的透明平台、底部相机1、龙门架和顶部相机模组，透明平台设置在待检产品生产线的出口处，底部相机1设置在透明平台的下方，用于拍摄待检产品的底视图，龙门架设置在透明平台的上方，顶部相机模组包括前部相机2、后部相机3、左侧相机4、右侧相机5和俯视相机6，前部相机2、后部相机3、左侧相机4、右侧相机5和俯视相机6分别挂载在龙门架上，分别用于拍摄待检测产品的前部视图、后部视图、左侧视图、右侧视图和俯视图，底部相机1、前部相机2、后部相机3、左侧相机4、右侧相机5和俯视相机6分别与质检平台100通信连接。
传统的机器视觉***只能获取产品上方的画面，采用上述结构可以完成检测产品的前部视图、后部视图、左侧视图、右侧视图和俯视图的获取，为后续质检一次性提供同一状态下的六面待检图，因为是一次同时拍摄，所以光影条件一致，更加有利于后续质检平台100做出质检结果判断。
本发明实施例一种基于YOLOV5的机器视觉缺陷质检方法的实施原理为：
具体的某工业生产线的产品质检场景下，某时刻加工完成后的待检产品从工业流水线输送到透明平台指定位置，底部相机1、前部相机2、后部相机3、左侧相机4、右侧相机5和俯视相机6同时拍摄待检图片传输给质检平台100。
质检平台100运行图像拼接算法将六面待检图拼接成一张产品待检图，将产品待检图输入到质检平台100，
先进行缺陷特征遍历，调用缺陷特征对比库的缺陷快速比对层对产品待检图进行遍历，对于表面裂痕的缺陷特征匹配成功四个基准特征点的特征，匹配相似度IOU值均大于0.9，且四个基准特征点之间的相互距离差异均小于距离差异阈值0.05，则质检平台100直接判定产品不合格，同时将缺陷位置进行框选处理，质检平台100的显示器基于框选标示进行显示，同时显示缺陷种类为裂痕，工作人员发现上述不合格产品后，对缺陷进行分析，后对工艺进行调整，对产品合格率的提升起到反馈的作用。
以上均为本发明的较佳实施例，并非以此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。

Claims (7)

1.一种基于YOLOV5的机器视觉缺陷质检方法，其特征在于：包括以下具体步骤：
步骤1，采集标准合格产品的多套六面照片，采集不同缺陷的不合格产品多套六面照片；
步骤2，对标准合格产品和不合格产品的六面照片分别运行图像拼接算法重新生成标准合格产品六面图和不合格产品六面图，标准合格产品六面图包含标准合格产品六个面所有外观特征，不合格产品六面图包含不合格产品六个面所有外观特征，多张标准合格产品六面图组成合格产品六面标准图训练库，多张不合格产品六面图组成不合格产品六面图训练库；
步骤3，搭建基于YOLOV5算法的质检平台（100），并采用步骤2中生成的合格产品六面标准图训练库和不合格产品六面图训练库训练质检平台（100）；
步骤4，判定待检测产品是否合格，采用机器视觉***获取待检测产品的六面待检图，运行图像拼接算法将六面待检图拼接成一张产品待检图，将产品待检图输入到质检平台（100），质检平台（100）采用YOLOV5算法采集产品待检图的特征，通过相似度比较，当产品待检图与标准合格产品六面图的相似度IOU值大于设定相似度阈值时，输出产品合格的判定；
当产品六面待检图与标准合格产品六面图的相似度IOU值小于或等于设定相似度阈值时，输出产品不合格的判定；
步骤4还包括步骤41，产品缺陷特征输出，在对产品待检图与标准合格产品六面图件相似度对比前先进行缺陷特征遍历，调用缺陷特征对比库的缺陷快速比对层对产品待检图进行遍历，若匹配成功四个基准特征点的特征，匹配相似度IOU值大于0.9，且四个基准特征点之间的相互距离差异小于距离差异阈值，则质检平台（100）直接判定产品不合格，同时将缺陷位置进行框选处理，并基于框选标识进行显示；
所述距离差异值是指产品待检图任意两个基准特征点之间距离值与缺陷快速比对层中对应两个基准特征点之间距离值做差值的绝对值计算，然后将绝对值与缺陷快速比对层中对应两个基准特征点之间距离值做比值运算，设产品待检图任意两个基准特征点之间距离值为S，缺陷快速比对层中对应两个基准特征点之间距离值S1，距离差异阈值为D，则
Figure QLYQS_1
，距离差异阈值设0.05～0.1。
2.根据权利要求1所述的一种基于YOLOV5的机器视觉缺陷质检方法，其特征在于：步骤2中，采用YOLOV5目标检测算法检测多套不合格产品六面照片的缺陷特征，并形成缺陷特征对比库。
3.根据权利要求2所述的一种基于YOLOV5的机器视觉缺陷质检方法，其特征在于：YOLOV5目标检测算法模型的yolov5深度学习网络使用缺陷特征对比库数据进行迭代训练，将缺陷特征对比库中的图片宽高等比例缩放并填充灰色边缘至224×224大小输入，训练图像样本经过Focus网络结构提取三个有效特征层分别为(52,52,256)、(26,26,512)和(13,13,1024)，并基于三个有效特征层进行构建第四特征FPN层。
4.根据权利要求3所述的一种基于YOLOV5的机器视觉缺陷质检方法，其特征在于：将三个有效特征层(52,52,256)、(26,26,512)和(13,13,1024)的特征通过3×3卷积的方式提取不同特征进行融合，在融合得到的特征图上再进行预测得到第四特征FPN层。
5.根据权利要求4所述的一种基于YOLOV5的机器视觉缺陷质检方法，其特征在于：采样第四特征FPN层上的至少四个基准特征点，所述基准特征点是指小于3像素点的特征区域，特征区域中的明暗变化程度大于50%，将四个基准特征点分别提取并构建基于四个基准特征点的缺陷快速比对层，并采用距离检测算法测得四个基准特征点之间的相互距离，并将距离数据作为缺陷快速比对层的附加对比项。
6.根据权利要求5所述的一种基于YOLOV5的机器视觉缺陷质检方法，其特征在于：采用明暗检测算法对第四特征FPN层进行明暗度变化检测，标记出所有明暗变化程度大于50%的区域，确定明暗变化程度最大的四个特征点作为基准特征点。
7.一种机器视觉***，其特征在于：用于权利要求6所述的一种基于YOLOV5的机器视觉缺陷质检方法获取待检测产品的六面待检图，包括用于支撑待检产品的透明平台、底部相机（1）、龙门架和顶部相机模组，所述透明平台设置在待检产品生产线的出口处，所述底部相机（1）设置在透明平台的下方，用于拍摄待检产品的底视图，所述龙门架设置在透明平台的上方，所述顶部相机模组包括前部相机（2）、后部相机（3）、左侧相机（4）、右侧相机（5）和俯视相机（6），所述前部相机（2）、后部相机（3）、左侧相机（4）、右侧相机（5）和俯视相机（6）分别挂载在龙门架上，分别用于拍摄待检测产品的前部视图、后部视图、左侧视图、右侧视图和俯视图，底部相机（1）、前部相机（2）、后部相机（3）、左侧相机（4）、右侧相机（5）和俯视相机（6）分别与质检平台（100）通信连接。
CN202310385347.1A 2023-04-12 2023-04-12 一种基于yolov5的机器视觉缺陷质检方法 Active CN116091506B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310385347.1A CN116091506B (zh) 2023-04-12 2023-04-12 一种基于yolov5的机器视觉缺陷质检方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310385347.1A CN116091506B (zh) 2023-04-12 2023-04-12 一种基于yolov5的机器视觉缺陷质检方法

Publications (2)

Publication Number Publication Date
CN116091506A CN116091506A (zh) 2023-05-09
CN116091506B true CN116091506B (zh) 2023-06-16

Family

ID=86199577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310385347.1A Active CN116091506B (zh) 2023-04-12 2023-04-12 一种基于yolov5的机器视觉缺陷质检方法

Country Status (1)

Country Link
CN (1) CN116091506B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883417B (zh) * 2023-09-08 2023-12-05 武汉东方骏驰精密制造有限公司 基于机器视觉的工件质检方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019032268A (ja) * 2017-08-09 2019-02-28 日立金属株式会社 表面欠陥判定方法および表面欠陥検査装置
CN111006608A (zh) * 2019-12-17 2020-04-14 湖南科创信息技术股份有限公司 透明板材通孔视觉检测***及方法
CN114627082A (zh) * 2022-03-16 2022-06-14 东南大学 一种基于改进YOLOv5网络的光伏组件EL缺陷检测方法
CN114742818A (zh) * 2022-05-09 2022-07-12 苏州荣视软件技术有限公司 一种基于工业面阵摄像头视觉缺陷检测***及其检测方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08247962A (ja) * 1995-03-10 1996-09-27 Sumitomo Chem Co Ltd カラーフィルタの欠陥検出方法及び欠陥検出装置並びにパネルディスプレイの欠陥検出方法及び欠陥検出装置
JP4351522B2 (ja) * 2003-11-28 2009-10-28 株式会社日立ハイテクノロジーズ パターン欠陥検査装置およびパターン欠陥検査方法
JP5549364B2 (ja) * 2010-05-11 2014-07-16 株式会社Ｓｕｍｃｏ ウェーハ欠陥検査装置及びウェーハ欠陥検査方法
CN108242054A (zh) * 2018-01-09 2018-07-03 北京百度网讯科技有限公司 一种钢板缺陷检测方法、装置、设备和服务器
CN111462056B (zh) * 2020-03-20 2023-09-01 深圳科瑞技术股份有限公司 工件表面缺陷检测方法、装置、设备及存储介质
CN112345539A (zh) * 2020-11-05 2021-02-09 菲特（天津）检测技术有限公司 一种基于深度学习的铝压铸件表面缺陷检测方法
CN114705685B (zh) * 2022-01-30 2023-04-07 中信云网有限公司 基于深度学习的ai视觉检测方法、***及可读存储介质
CN115147397A (zh) * 2022-07-25 2022-10-04 南昌大学 一种输电线路耐张线夹x光图像缺陷检测方法
CN115205290B (zh) * 2022-09-15 2022-11-18 深圳市合成快捷电子科技有限公司 一种pcb板生产过程在线检测方法及***
CN115457037B (zh) * 2022-11-10 2023-03-24 澳润(山东)药业有限公司 一种用于阿胶制品生产的原材料质检方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019032268A (ja) * 2017-08-09 2019-02-28 日立金属株式会社 表面欠陥判定方法および表面欠陥検査装置
CN111006608A (zh) * 2019-12-17 2020-04-14 湖南科创信息技术股份有限公司 透明板材通孔视觉检测***及方法
CN114627082A (zh) * 2022-03-16 2022-06-14 东南大学 一种基于改进YOLOv5网络的光伏组件EL缺陷检测方法
CN114742818A (zh) * 2022-05-09 2022-07-12 苏州荣视软件技术有限公司 一种基于工业面阵摄像头视觉缺陷检测***及其检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种陶质焊接衬垫产品质量检测方法;肖书浩;《机械设计与制造》;139-142+146 *
基于电镀产品表面缺陷检测***研究;黄东阳;;建材与装饰(第36期);196-197 *

Also Published As

Publication number Publication date
CN116091506A (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN111047655B (zh) 基于卷积神经网络的高清摄像机布料疵点检测方法
CN109900711A (zh) 基于机器视觉的工件缺陷检测方法
WO2023168972A1 (zh) 一种基于线阵相机的铜表面缺陷检测方法及装置
CN114399672A (zh) 一种基于深度学习的铁路货车闸瓦故障检测方法
CN112233067A (zh) 一种热轧钢卷端面质量检测方法及***
CN102175692A (zh) 织物坯布疵点快速检测***及方法
CN106355579A (zh) 烟条表面褶皱的缺陷检测方法
CN116091506B (zh) 一种基于yolov5的机器视觉缺陷质检方法
CN105223208B (zh) 一种电路板检测模板及其制作方法、电路板检测方法
CN106872488A (zh) 一种快速大面积透明基片双表面缺陷视觉检测方法及装置
CN112819844B (zh) 一种图像边缘检测方法及装置
CN110554052A (zh) 一种人造板表面缺陷检测方法及其***
CN116465315B (zh) 一种网版质量自动化检测方法及***
CN114972177A (zh) 道路病害识别管理方法、装置及智能终端
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及***
CN110728269B (zh) 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法
CN117455917B (zh) 一种蚀刻引线框架误报库建立及误报在线判定筛选方法
CN114881987A (zh) 基于改进YOLOv5的热压导光板缺陷可视化检测方法
CN114820439A (zh) 基于aoi的pcb裸板缺陷的检测***及方法
CN116580026B (zh) 精密零部件外观缺陷自动光学检测方法、设备及存储介质
JPH08189904A (ja) 表面欠陥検出装置
CN210377552U (zh) 一种水果分类用多面图像获取装置
CN115947066B (zh) 皮带撕裂检测方法、装置及***
CN116106319A (zh) 一种合成革瑕疵自动化检测方法及***
CN115937555A (zh) 一种基于标准化流模型的工业缺陷检测算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant