CN110009617A - 一种轴类件在线质量检测方法 - Google Patents

一种轴类件在线质量检测方法 Download PDF

Info

Publication number
CN110009617A
CN110009617A CN201910261393.4A CN201910261393A CN110009617A CN 110009617 A CN110009617 A CN 110009617A CN 201910261393 A CN201910261393 A CN 201910261393A CN 110009617 A CN110009617 A CN 110009617A
Authority
CN
China
Prior art keywords
shaft forgings
image
shaft
yolo algorithm
forgings
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910261393.4A
Other languages
English (en)
Inventor
冯毅雄
王天跃
高一聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910261393.4A priority Critical patent/CN110009617A/zh
Publication of CN110009617A publication Critical patent/CN110009617A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种轴类件在线质量检测方法。通过工业相机获取轴类件的图像,根据有无缺陷及缺陷类型建立良品图像数据库和次品图像数据库,并按照一定比例抽取一部分原始图片,具体划分为训练集和测试集,进一步地人工标记质量检测信息,通过训练集对YOLO算法网络进行训练,直到测试集测试准确率符合要求,将实时获取的轴类件表面图像输入训练好的YOLO算法网络中,通过YOLO算法网络输出矩阵即可判断该轴类件的质量检测信息。本发明采用YOLO算法对轴类件在线质量检测,进而满足轴类件质量检测实时性的要求。

Description

一种轴类件在线质量检测方法
技术领域
本发明涉及零部件质量检测技术领域,具体涉及一种轴类件在线质量检测方法。
背景技术
圆柱体是工业领域中一种常见的零件几何类型,以圆柱体为几何形状的轴类工业件如机床主轴,轴承,轴套等在工业领域中扮演着举足轻重的作用,其质量影响部件乃至整个设备的使用寿命。然而在轴类件生产的过程中,难免会因为工艺或者其他偶然原因导致其表面局部区域的物理或化学性质不均匀,从而出现质量问题,对于轴类件来说,其常见的表面缺陷有斑块、划痕、锈迹等。此外,轴类件产品工艺相对成熟,生产节拍快,因此在线检测出轴类件的质量检测信息以便采取相关措施对于提高产品质量和产品经济效益具有重要的意义。传统的轴类件生产线质量检测主要依靠人工肉眼筛选出质量缺陷产品,存在着费时费力、容易误检、自动化程度低等缺点。
随着我国工业的蓬勃发展,人工智能、机器视觉等先进技术也不断的应用到工业视觉检测领域,目前以图像为基础的机器视觉技术广泛应用在各个领域。早期这类技术的核心算法主要以BP神经网络、支持向量机等机器算法为主,这种方法存在着检测速度慢,识别精度低等缺点,无法满足现代工业生产要求。
YOLO算法网络作为一种新型的深度学习算法,其核心原理为将物体检测任务当做回归问题来处理,直接通过整张图片的所有像素得到边界框的坐标、框中包含物体的置信度和分类概率,通过YOLO算法网络,每张图像只需要看一眼就能得出图像中都有哪些物体和这些物体的位置。该算法具有算法简单,识别速度快,对于小样本的学习效果好,对物体泛化能力强,避免背景错误检测等特点,非常适合工业领域的在线质量检测,尤其适合针对生产节拍相对快的轴类件质量检测。
发明内容
为了解决背景技术中的问题,本发明提供一种基于YOLO算法的轴类件在线质量检测方法。本发明针对轴类件质量人工检测费时费力、精度差等问题,引入深度学习YOLO算法网络对其质量进行检测,YOLO算法网络通过学习轴类件的各类质量缺陷信息完成训练,进而通过训练好的深度学习模型实时检测出缺陷的有无以及缺陷类型。
本发明采用以下技术方案,包括以下步骤:
(1)通过工业相机采集轴类件表面图像,首先拍摄轴类件正面图像,然后以轴类件中心轴为旋转轴将轴类件旋转180°,拍摄得到轴类件反面图像,将正面图像和反面图像以相同尺寸合并统一后得到轴类件表面图像;
(2)将步骤1)的轴类件表面图像分为有缺陷图像和无缺陷图像,有缺陷图像为有斑块、划痕或锈迹其中一种或多种缺陷的轴类件表面图像,无缺陷图像为没有斑块、划痕或锈迹的轴类件表面图像,之后将有缺陷图像和无缺陷图像分别放入次品图像数据库和良品图像数据库;
(3)从次品图像数据库和良品图像数据库中分别取出相同数量的轴类件表面图像组成原始图像,将原始图像按一定比例划分为YOLO算法网络的训练集和测试集,并对原始图像进行数据标记,标记的输出矩阵y作为YOLO算法网络检测结果用于后续训练;
(4)构建YOLO算法网络:初始化YOLO算法网络中时期Epoch、迭代次数Iteration、批尺寸Batchsize的数值,根据训练集设定学习率learning_rate、学习率调整策略policy、学习率变化迭代次数steps,scales的数值,完成对YOLO算法网络的训练;
(5)用测试集对步骤4)训练好的YOLO算法网络进行测试,若测试准确率超过规定值w,输出训练好的YOLO算法网络;反之若测试准确率未超过规定值w,重复步骤4继续训练YOLO算法网络;
(6)将实时采集的待检测轴类件的轴类件表面图像输入步骤5)输出的训练好的YOLO算法网络,实时获得待检测轴类件的质量检测信息。
所述步骤(3)的数据标记过程如下:对原始图像中的缺陷用边界框进行标注,并根据获取到的边界框中心点坐标、边界框的宽度和高度以及轴类件的具体缺陷类型,输出矩阵y=[pc,bx,by,bh,bw,c1,c2,c3]T,其中,pc表示是否存在缺陷,bx、by分别表示边界框中心点在以图像左上顶点为原点建立的坐标系上的横纵坐标,bh、bw分别表示边界框的高度和宽度,c1,c2,c3分别表示斑块、划痕、锈迹的有无。
所述步骤6)的质量检测信息包括待检测轴类件是否存在缺陷以及缺陷的类型,缺陷类型具体包括斑块、划痕或锈迹。
本发明的有益效果:
(1)轴类件作为一种工业领域常用的零部件,其生产工艺相对成熟,与以机器学习为代表的质量检测算法相比,本发明方法算法简单,实时性好,泛化能力强,比较适合生产节拍快的轴类件产品生产线。
(2)本发明方法不仅能判断出质量缺陷的有无以及类型,还能标出缺陷的位置,便于下一步工厂实际操作人员对于缺陷产品采取相应措施。
附图说明
图1为本发明流程示意图;
图2为本发明装置结构图;
图3为采集轴类件表面图像原理示意图;
图4为工业相机实时采集的轴类件表面图;
图5为本发明质量检测结果示意图。
具体实施方式
下面结合附图及实际例对本发明做详细说明。
如图2所示,本发明具体包括图像采集模块、图像训练模块、质量检测模块、质量检测信息显示模块:图像采集模块包含用于拍摄轴类件的工业相机,以及良品、次品图像数据库;图像训练模块包括构建的YOLO算法网络、训练集和测试集,根据图像采集模块中的轴类件表面图像输出得到训练集和测试集,通过调节YOLO算法网络参数,直至完成符合要求的YOLO算法网络训练;质量检测模块包含在线获取的轴类件表面图像和训练好的YOLO算法网络,通过在线获取的轴类零件表面图像,实时判断出轴类件质量检测信息;质量检测信息显示模块包含显示质量检测信息的LED大屏幕,实时显示质量检测模块输出的质量检测信息,以便工人采取相应措施。
本发明的实施例包括以下步骤(如图1所示):
步骤1:如图3所示,基于型号为CA-HL02MX的工业相机采集轴类件正面图像,其中,光源入射光线与垂直平面呈25°角,光源距离轴类件表面50毫米,相机与垂直平面呈25°角,工业相机距离轴类件表面290毫米。首先直接拍摄轴类件正面图像,然后以轴类件中心轴为旋转轴旋转180°得到轴类件反面图像,上下合并轴类件正面图像和轴类件反面图像得到如图4所示尺寸为4096×3000的图像,结合某一阶段的生产信息,共采集7533张图像;
步骤2:将工业相机拍摄的灰度图与产品的比对,根据人工经验,将图像分为有缺陷和无缺陷产品两类(有缺陷750张,无缺陷6783张),针对有缺陷图像,进一步筛选分为斑块(248张)、划痕(250张)、锈迹(252张),之后根据有缺陷图像和无缺陷图像分别建立良品图像数据库和次品图像数据库;
步骤3:按照1:1的比例分别从良品图像数据库和次品图像数据库取出1400张原始图片(其中有缺陷700张,无缺陷700张),按照7:3的比例将1400张图片划分为YOLO算法网络的训练集和测试集。进一步地,对拍摄的灰度图用边界框标注,获取所述边界框的中心点坐标,边界框的宽度和高度,以及圆柱体类零件的具体缺陷类型,输出矩阵y=[pc,bx,by,bh,bw,c1,c2,c3]T,其中,输出第一个元素pc代表是否存在缺陷。bx、by分别代表矩形框中心点的横纵坐标,bh和bw分别表示边界框的高度和宽度。通过数据标记产生输出矩阵y的标签,以文本的方式输出到同一个的txt文本文件中,标记的输出矩阵y作为YOLO算法网络检测结果用于后续训练;
步骤4:构造YOLO算法网络,初始化网络中参数Epoch=64000、Iteration=1000、Batchsize=64,根据训练集设定learning_rate=0.001、policy=steps、steps=40000,45000,scales=0.1,0.1,完成YOLO算法网络训练过程;
步骤5:设定规定值w=0.95,针对步骤4训练好的YOLO算法网络,利用测试集进行测试,若测试准确率超过规定值w,则认定所训练网络符合要求,反之则重复步骤4直到测试准确率超过规定值w;
步骤6:根据实时产生的轴类件图像数据,利用步骤5训练好的YOLO算法网络对新的轴类件图像进行实时检测,判断输出轴类件是否存在缺陷以及缺陷类型和位置信息,具体结果如图5所示。

Claims (3)

1.一种轴类件在线质量检测方法,其特征在于,包括以下步骤:
(1)通过工业相机采集轴类件表面图像,首先拍摄轴类件正面图像,然后以轴类件中心轴为旋转轴将轴类件旋转180°,拍摄得到轴类件反面图像,将正面图像和反面图像以相同尺寸合并统一后得到轴类件表面图像;
(2)将步骤1)的轴类件表面图像分为有缺陷图像和无缺陷图像,有缺陷图像为有斑块、划痕或锈迹其中一种或多种缺陷的轴类件表面图像,无缺陷图像为没有斑块、划痕或锈迹的轴类件表面图像,之后将有缺陷图像和无缺陷图像分别放入次品图像数据库和良品图像数据库;
(3)从次品图像数据库和良品图像数据库中分别取出相同数量的轴类件表面图像组成原始图像,将原始图像划分为YOLO算法网络的训练集和测试集,并对原始图像进行数据标记;
(4)构建YOLO算法网络:初始化YOLO算法网络的时期、迭代次数、批尺寸的数值,根据训练集设定学习率、学习率调整策略、学习率变化迭代次数的数值,完成对YOLO算法网络的训练;
(5)用测试集对步骤4)训练好的YOLO算法网络进行测试,若测试准确率超过规定值w,输出训练好的YOLO算法网络;反之若测试准确率未超过规定值w,重复步骤4继续训练YOLO算法网络;
(6)将实时采集的待检测轴类件的轴类件表面图像输入步骤5)输出的训练好的YOLO算法网络,实时获得待检测轴类件的质量检测信息。
2.根据权利要求1所述的一种轴类件在线质量检测方法,其特征在于,所述步骤(3)的数据标记过程如下:对原始图像中的缺陷用边界框进行标注,并根据获取到的边界框中心点坐标、边界框的宽度和高度以及轴类件的具体缺陷类型,输出矩阵y=[pc,bx,by,bh,bw,c1,c2,c3]T,其中,pc表示是否存在缺陷,bx、by分别表示边界框中心点在以图像左上顶点为原点建立的坐标系上的横纵坐标,bh、bw分别表示边界框的高度和宽度,c1,c2,c3分别表示斑块、划痕、锈迹的有无。
3.根据权利要求1所述的一种轴类件在线质量检测方法,其特征在于,所述步骤6)的质量检测信息包括待检测轴类件是否存在缺陷以及缺陷的类型,缺陷类型具体包括斑块、划痕或锈迹。
CN201910261393.4A 2019-04-02 2019-04-02 一种轴类件在线质量检测方法 Pending CN110009617A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910261393.4A CN110009617A (zh) 2019-04-02 2019-04-02 一种轴类件在线质量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910261393.4A CN110009617A (zh) 2019-04-02 2019-04-02 一种轴类件在线质量检测方法

Publications (1)

Publication Number Publication Date
CN110009617A true CN110009617A (zh) 2019-07-12

Family

ID=67169425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910261393.4A Pending CN110009617A (zh) 2019-04-02 2019-04-02 一种轴类件在线质量检测方法

Country Status (1)

Country Link
CN (1) CN110009617A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110658202A (zh) * 2019-09-30 2020-01-07 贵州航天云网科技有限公司 一种基于深度学习的工业元器件外观缺陷检测方法
CN111223081A (zh) * 2020-01-02 2020-06-02 天津瑟威兰斯科技有限公司 基于深度学习的零件开孔识别与检测方法及***
CN111242902A (zh) * 2020-01-02 2020-06-05 天津瑟威兰斯科技有限公司 基于卷积神经网络的零件识别与检测方法、***及设备
CN111784663A (zh) * 2020-06-30 2020-10-16 北京百度网讯科技有限公司 零部件的检测方法、装置、电子设备及存储介质
CN111805541A (zh) * 2020-07-08 2020-10-23 南京航空航天大学 一种基于深度学习的中药饮片净选装置及净选方法
CN111929328A (zh) * 2020-09-09 2020-11-13 深兰人工智能芯片研究院(江苏)有限公司 拉链缺陷检测方法和装置
CN113343355A (zh) * 2021-06-08 2021-09-03 四川大学 基于深度学习的飞机蒙皮型面检测路径规划方法
CN113686878A (zh) * 2021-09-03 2021-11-23 太原理工大学 一种特钢棒材表面缺陷多级联合检测方法及***
CN115082921A (zh) * 2022-08-18 2022-09-20 成都飞机工业(集团)有限责任公司 一种基于机器视觉的飞机交点镗孔角度头管理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204440490U (zh) * 2015-01-12 2015-07-01 华东交通大学 一种基于压缩感知的轴套类零件表面缺陷在线检测装置
CN106934800A (zh) * 2017-02-28 2017-07-07 北京科技大学 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置
CN107392896A (zh) * 2017-07-14 2017-11-24 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的木材缺陷检测方法和***
CN109142371A (zh) * 2018-07-31 2019-01-04 华南理工大学 基于深度学习的高密度柔性基板外观缺陷检测***与方法
JP2019002788A (ja) * 2017-06-15 2019-01-10 リョーエイ株式会社 金属加工面の検査方法、金属加工面の検査装置
CN109242825A (zh) * 2018-07-26 2019-01-18 北京首钢自动化信息技术有限公司 一种基于深度学习技术的钢铁表面缺陷识别方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204440490U (zh) * 2015-01-12 2015-07-01 华东交通大学 一种基于压缩感知的轴套类零件表面缺陷在线检测装置
CN106934800A (zh) * 2017-02-28 2017-07-07 北京科技大学 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置
JP2019002788A (ja) * 2017-06-15 2019-01-10 リョーエイ株式会社 金属加工面の検査方法、金属加工面の検査装置
CN107392896A (zh) * 2017-07-14 2017-11-24 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的木材缺陷检测方法和***
CN109242825A (zh) * 2018-07-26 2019-01-18 北京首钢自动化信息技术有限公司 一种基于深度学习技术的钢铁表面缺陷识别方法和装置
CN109142371A (zh) * 2018-07-31 2019-01-04 华南理工大学 基于深度学习的高密度柔性基板外观缺陷检测***与方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANGYUN LI 等: "Real-time Detection of Steel Strip Surface Defects Based on Improved YOLO Detection Network", 《IFAC PAPERSONLINE》 *
关日钊 等: "基于机器视觉的透明塑料件缺陷检测", 《装备制造技术》 *
李明 等: "应用 GAN 和 Faster R-CNN 的色织物缺陷识别", 《西安工程大学学报》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110658202A (zh) * 2019-09-30 2020-01-07 贵州航天云网科技有限公司 一种基于深度学习的工业元器件外观缺陷检测方法
CN111223081A (zh) * 2020-01-02 2020-06-02 天津瑟威兰斯科技有限公司 基于深度学习的零件开孔识别与检测方法及***
CN111242902A (zh) * 2020-01-02 2020-06-05 天津瑟威兰斯科技有限公司 基于卷积神经网络的零件识别与检测方法、***及设备
CN111784663A (zh) * 2020-06-30 2020-10-16 北京百度网讯科技有限公司 零部件的检测方法、装置、电子设备及存储介质
CN111784663B (zh) * 2020-06-30 2024-01-23 北京百度网讯科技有限公司 零部件的检测方法、装置、电子设备及存储介质
CN111805541B (zh) * 2020-07-08 2022-08-30 南京航空航天大学 一种基于深度学习的中药饮片净选装置及净选方法
CN111805541A (zh) * 2020-07-08 2020-10-23 南京航空航天大学 一种基于深度学习的中药饮片净选装置及净选方法
CN111929328A (zh) * 2020-09-09 2020-11-13 深兰人工智能芯片研究院(江苏)有限公司 拉链缺陷检测方法和装置
CN113343355A (zh) * 2021-06-08 2021-09-03 四川大学 基于深度学习的飞机蒙皮型面检测路径规划方法
CN113343355B (zh) * 2021-06-08 2022-10-18 四川大学 基于深度学习的飞机蒙皮型面检测路径规划方法
CN113686878A (zh) * 2021-09-03 2021-11-23 太原理工大学 一种特钢棒材表面缺陷多级联合检测方法及***
CN113686878B (zh) * 2021-09-03 2024-02-09 太原理工大学 一种特钢棒材表面缺陷多级联合检测方法及***
CN115082921A (zh) * 2022-08-18 2022-09-20 成都飞机工业(集团)有限责任公司 一种基于机器视觉的飞机交点镗孔角度头管理方法
CN115082921B (zh) * 2022-08-18 2022-12-13 成都飞机工业(集团)有限责任公司 一种基于机器视觉的飞机交点镗孔角度头管理方法

Similar Documents

Publication Publication Date Title
CN110009617A (zh) 一种轴类件在线质量检测方法
CN108363508B (zh) 一种手机触控屏Mark定位非接触式视觉检测方法
CN109840900B (zh) 一种应用于智能制造车间的故障在线检测***及检测方法
CN105548185B (zh) 基于机器视觉的汽车轮毂螺孔识别方法、遮盖方法及***
CN106934800B (zh) 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置
CN110490874A (zh) 基于yolo神经网络的纺织布匹表面瑕疵检测方法
CN110658202A (zh) 一种基于深度学习的工业元器件外观缺陷检测方法
CN104483320B (zh) 工业脱硝催化剂的数字化缺陷检测装置与检测方法
CN106373124B (zh) 基于灰度共生矩阵与ransac的工业产品表面缺陷视觉检测方法
CN103207186A (zh) 自动验布机疵点检测识别方法及其***
CN108416765A (zh) 一种字符缺陷自动检测方法和***
CN103620338B (zh) 表面测量***以及方法
CN106546263A (zh) 一种基于机器视觉的激光水平仪出射激光线检测方法
CN107024478A (zh) 一种零件加工自动缺陷识别***
CN113221889A (zh) 一种芯片字符抗干扰识别方法及装置
CN110146017A (zh) 工业机器人重复定位精度测量方法
CN116465315B (zh) 一种网版质量自动化检测方法及***
CN117649404A (zh) 一种基于图像数据分析的药品包装盒质量检测方法及***
CN106886989A (zh) 键盘按键的自动光学检测方法
CN114998308A (zh) 一种基于光度立体的缺陷检测方法及***
CN106645185A (zh) 一种智能检测工业零件表面质量的方法及装置
CN108951075A (zh) 一种带疵点裁片的筛除方法及带疵点裁片定位***
Kunze et al. Efficient deployment of deep neural networks for quality inspection of solar cells using smart labeling
CN108765391A (zh) 一种基于深度学***板玻璃异物影像分析方法
CN113034620A (zh) 校正方法、校正装置、计算机可读存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190712

WD01 Invention patent application deemed withdrawn after publication