CN113567450A - 一种发动机标签信息视觉检测***及方法 - Google Patents

一种发动机标签信息视觉检测***及方法 Download PDF

Info

Publication number
CN113567450A
CN113567450A CN202110820096.6A CN202110820096A CN113567450A CN 113567450 A CN113567450 A CN 113567450A CN 202110820096 A CN202110820096 A CN 202110820096A CN 113567450 A CN113567450 A CN 113567450A
Authority
CN
China
Prior art keywords
engine
plc
label
information
tag information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110820096.6A
Other languages
English (en)
Other versions
CN113567450B (zh
Inventor
黄成荣
凌以静
陆丹阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAIC GM Wuling Automobile Co Ltd
Original Assignee
SAIC GM Wuling Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAIC GM Wuling Automobile Co Ltd filed Critical SAIC GM Wuling Automobile Co Ltd
Priority to CN202110820096.6A priority Critical patent/CN113567450B/zh
Publication of CN113567450A publication Critical patent/CN113567450A/zh
Application granted granted Critical
Publication of CN113567450B publication Critical patent/CN113567450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • General Factory Administration (AREA)

Abstract

本发明提供一种发动机标签信息视觉***及检测方法,包括:监控PLC信号模块,用于监控PLC发送过来的触发信号;图像获取模块,根据触发信号,启动相机程序获取当前帧照片;图像处理识别模块,用于图像预处理,识别得出结果;反馈模块,用于将结果反馈给PLC。本发明的检测***的视觉识别模型采用深度学习框架,通过收集原始数据,软件深度学习得出模型,记住标签关键特征,自动定位标签位置,快速识别标签上零件号信息。

Description

一种发动机标签信息视觉检测***及方法
技术领域
本发明属于视觉检测技术领域,尤其涉及一种发动机标签信息视觉检测***及方法。
背景技术
发动机制造装配过程中,零部件较多,随着发动机机型增多,各机型间差异件也越来越多,零件防错越来越困难。例如发动机燃油导轨存在多个不同零件号,零件外观相似,仅零件标签信息不同,需靠员工目视检查标签上的零件信息来进行防错,存在较大混装风险。且该零件属于标定件,零件混装降会导致较大质量事故。
工艺流程:员工取燃油导轨并查看燃油导轨标签上信息,与发动机信息对比,确认无误后安装至发动机。
1)目视检查连续性低,员工容易疲劳导致漏检,错检;
2)目视检查数据不可追溯,无法做到品质管理及分析;
3)零件标签位置不固定且文字较小,识别困难。
发明内容
因此,本发明提供一种发动机标签信息视觉检测***,包括:
监控PLC信号模块,用于监控PLC发送过来的触发信号;
图像获取模块,根据触发信号,启动相机程序获取当前帧照片;
图像处理识别模块,用于图像预处理,识别得出结果;
反馈模块,用于将结果反馈给PLC。
本发明提供一种发动机标签信息视觉检测方法,包括如下几个步骤:
S101:预训练标签位置模型,搜集尽量多的零件的图片,每张图片用专门的标注软件标注出零件标签,通过深度学习框架,训练得到model,待后续进行调用;
S102: 预训练文字识别模型,搜集尽量多的零件的图片,每张图片用专门的标注软件标注出所需要识别的所有字符,通过深度学习框架,训练得到model,待后续进行调用;
S103:***调用相机获取照片后,照片保存到本地进行存档和识别;
S104:***读取刚刚获取到的照片,首先对照片进行一些图像处理,然后调用训练好的标签位置模型,输出零件标签在图中的上下左右坐标;
S105:根据前面输出的标签的位置坐标,调用文字识别模型,识别标签上的零件号(字符),输出零件号。
本发明采用以上技术方案,其优点在于,本发明针对目前的检测方式,软件方面基于python和深度学习框架的自主开发了视觉检测***,PLC触发软件控制相机拍照,软件识别零件标签信息后,将结果显示和保存在界面上,最终反馈PLC合格与不合格信号。该***取代传统目视检查,能够做到对零件百分百检测,无错检、漏检风险。
所述S104中,包括:预设好不同发动机机型所对应零件的零件号,根据所获取的发动机机型信息,得到该机型所匹配零件的零件号,并将识别得到的零件号和该机型对应的零件号两者进行匹配,如果一致就证明合格,则不合格。
优选的,若判定合不合格后,往PLC设备的某个保持寄存器发送合格或不合格信号,根据现场自由定义;PLC设备读取到保持寄存器返回的合不合格信号后,控制发动机放行或报警。
其中,自由定义的方式可以采取为:合格信号显示为OK,不合格信号为显示为NG。
优选的,PLC设备根据发动机到站信息,往PLC设备的某个保持寄存器发送到站信号,不同的机型发送不同的信号,可以自由定义。
如何定义:发动机到站后会发动机型号,例如GX,GZ,TL,TP,DF,TA等发动机型号。发动机离开后会自动清空寄存器。
优选的,***软件会实时去读取PLC设备上的保持寄存器上的值,如果值改变就表明发动机到站了,就启动相机拍照程序,获取一张当前发动机零件照片。
判断值如何改变的方法为:先实时去读取PLC设备上的保持寄存器上的值,***会存入本次和上次读取到的值,对这两个值进行比较看是否发生变化。
本发明的技术方案,产品质量要求规定,具有明确标识的零件应具备精确追溯能力,即追溯零件安装对应的发动机编号。传统的零件标签检查为目视检查,检查结果不记录,错检、漏检后续无法进行精确追溯。新检测***能够将检测结果自动统计并保存下来,便于后续零件精确追溯;本***能够自动储存发动机到站后的相关信息,例如时间、机型信息、***状态、零件照片和识别结果等关键信息。如果后续检测到出现错装零件的情况,可以第一时间输入发动机机型去找到***储存的信息,便于质量工程师进行分析。
本发明的整套***需要应用在现场复杂的环境,并且零部件安装位置复杂,相机自带的相机支架不能满足现场实际应用要求,因此建立了整套***的三维模型,在UG的装配路径中对发动机、相机和相机支架等部件进行动态模拟,找出最合适的拍照角度。根据动态模拟的结果设计出合适的相机支架后,通过3D打印技术打印支架,结合现场使用情况对相机支架进行多次修正,完成支架设计,以减少相机角度在视觉识别过程中的干扰,提高识别率。
本发明的检测***的视觉识别模型采用深度学习框架,通过收集原始数据,软件深度学习得出模型,记住标签关键特征,自动定位标签位置,快速识别标签上零件号信息。
本发明带来了如下有益效果:
1.该***通过机器视觉取代员工目视检查,降低了员工操作节拍,提高生产自动化率。
2.零件错装探测能力提高,从PFMEA分析,探测能力由目视检查7提高为100%后工位检查4,有效降低了由于零件错装导致的质量风险;
3.该***软件和硬件均为全自主设计开发,只需要购买工业相机的费用,在提高检测效率的同时大大降低了改造成本;
4.该***创新性的使用了深度学习框架,根据该运用场景,训练相应的模型,使得识别结果更加迅速、准确;
5.该视觉检测技术可以推广到其他区域相同的需要检测标签信息的工位使用,柔性高。
附图说明
图1是本发明一种实施例的结构示意图。
图2是本发明一种实施例的结构示意图。
图3是本发明一种实施例的结构示意图。
图4是本发明一种实施例的结构示意图。
图5 是本发明一种实施例的发动机零件号视觉检测***。
图6是本发明一种实施例的***软件界面。
具体实施方式
下面结合附图,对本发明的较优的实施例作进一步的详细说明:
实施例1
水泵零件防错运行过程和检测过程如下:
步骤A:发动机到站后,轨道上的档停装置档停发动机,RFID(射频识别)识别发动机机型信息;
步骤B:PLC设备根据发动机到站信息,往PLC设备的某个保持寄存器发送到站信号;
步骤C:***软件会通过OPC通讯协议实时去读取PLC设备上的保持寄存器上的值,如果值改变就表明发动机到站了,就启动相机拍照程序,获取一张当前发动机零件照片
步骤D:检测过程:
步骤D1:由于发动机水泵安装位置固定,且零件标识位置固定,所以可以直接从获取到的照片中找到标识上下左右坐标;
步骤D2:预训练文字识别模型,搜集尽量多的零件的图片,每张图片用专门的标注软件标注出所需要识别的所有字符,通过深度学习框架,训练得到model,待后续进行调用;
步骤D3:调用前面获取到的照片,定位到标识所在位置,对图片进行滤波、降噪和增强等处理,使得图片清晰;
步骤D4:针对图片标识所在位置,调用文字识别模型,识别上面的零件号,输出所有信息,程序对信息做筛选,保留关键信息并输出;
步骤E:***会预设好不同发动机机型所对应零件的零件号,根据前面获取得的发动机机型信息,可以知道该机型应该匹配零件的零件号。识别得到的零件号和该机型对应的零件号两者进行匹配,如果一致就证明合格,反之不合格
步骤F:***软件判定合不合格后,往PLC设备的某个保持寄存器发送合格或不合格信号,可以根据现场自由定义。PLC设备读取到保持寄存器返回的合不合格信号后,可以控制发动机放行或报警。如图1和图2所示。
图1是TL和TP机型的发动机水泵,图2是其他机型所使用的水泵。两种水泵内部结构略有不同,外观基本一样,现场目视防错困难,只能通过视觉识别水泵上零件号来进行防错。现采用本专利方法来识别两个零件的信息,并判断是否装错。
实施例2
活塞总成防错运行过程和检测过程如下:
步骤A:发动机到站后,轨道上的档停装置档停发动机,RFID(射频识别)识别发动机机型信息;
步骤B:PLC设备根据发动机到站信息,往PLC设备的某个保持寄存器发送到站信号,不同的机型发送不同的信号,可以自由定义;
步骤C:***通过OPC通讯协议去实时读取寄存器的值,如果值变换就触发拍照程序启动,自动获取一张当前发动机零件照片;
步骤D:检测过程:
步骤D1:发动机活塞总成有四个,需要2个相机拍照,并且发动机活塞总成安装位置固定,且零件标识位置固定,所以可以直接从获取到的照片中找到标识上下左右坐标;
步骤D2:预训练文字识别模型,搜集尽量多的零件的图片,每张图片用专门的标注软件标注出所需要识别的所有字符,通过深度学习框架,训练得到model,待后续进行调用
步骤D3:调用前面获取到的照片,根据上下左右坐标定位到标识所在位置
步骤D4:针对图片标识所在位置,调用文字识别模型,识别上面的零件号,输出字符信息
步骤E:***会预设好不同发动机机型所对应的活塞总成标识,根据前面获取得的发动机机型信息,可以知道该机型应该匹配的活塞总成标识。识别得到的字符和该机型的活塞总成标识两者进行匹配,如果一致就证明合格,反之不合格
步骤F:***软件判定合不合格后,往PLC设备的某个保持寄存器发送合格或不合格信号,可以根据现场自由定义。PLC设备读取到保持寄存器返回的合不合格信号后,可以控制发动机放行或报警,如图3和图4所示。
图3是B15D发动机所采用的活塞总成,图4是B15T发动机所采用的的活塞总成。两种零件易发生混装,且混装造成后果严重,所以需要杜绝发生错装情况。现采用本专利方法,识别上面的B15D和B15T字符,判断是否装错。
实施例3
图5 是本发明一种实施例的发动机零件号视觉检测***,包括发动机标签1、相机支架2、图像获取模块3、图像处理识别模块4、发动机辊道5和机型信息读取模块(RFID)6。
其中,所述图像获取模块3采用工业相机。
图6为软件界面,左侧为参数设置,右侧为零件照片显示。
此场景是用于识别零件标签上零件号信息,右下角显示出识别结果零件号,和预设值比对,结果正确,输出给PLC结果OK。软件界面上打印出识别的结果和比对结果并保存,用于后续零件质量问题追溯。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (9)

1.一种发动机标签信息视觉检测***,其特征在于,包括:
监控PLC信号模块,用于监控PLC发送过来的触发信号;
图像获取模块,根据触发信号,启动相机程序获取当前帧照片;
图像处理识别模块,用于图像预处理,识别得出结果;
反馈模块,用于将结果反馈给PLC。
2.如权利要求1所述的发动机标签信息视觉检测***,其特征在于,所述图像处理识别模块包括读取模块,用于读取PLC设备上的保持寄存器上的值。
3.一种发动机标签信息视觉检测方法,其特征在于,包括如下几个步骤:
S101:预训练标签位置模型;
S102: 预训练文字识别模型;
S103:获取并保存照片;
S104:将得到的照片进行图像处理,调用训练好的标签位置模型,输出零件标签在照片中的上下左右坐标;
S105:根据输出的标签的位置坐标,调用文字识别模型,识别并输出标签上的零件号。
4.如权利要求3所述的发动机标签信息视觉检测方法,其特征在于,所述S104中,包括:预设好不同发动机机型所对应零件的零件号,根据所获取的发动机机型信息,得到该机型所匹配零件的零件号,若识别得到的零件号和该机型对应的零件号两者进行匹配,如果一致就证明合格,则不合格。
5.如权利要求3所述的发动机标签信息视觉检测方法,其特征在于,所述S104中,还包括:若判定合不合格后,往PLC设备的某个保持寄存器发送合格或不合格信号, PLC设备读取到保持寄存器返回的合不合格信号后,控制发动机放行或报警。
6.如权利要求3所述的发动机标签信息视觉检测方法,其特征在于, PLC设备根据发动机到站信息,往PLC设备的某个保持寄存器发送到站信号。
7.如权利要求3所述的发动机标签信息视觉检测方法,其特征在于,发动机到站后会发动机型号,发动机离开后自动清空寄存器。
8.如权利要求3所述的发动机标签信息视觉检测方法,其特征在于,实时去读取PLC设备上的保持寄存器上的值,如果值改变就表明发动机到站了,就启动相机拍照程序,获取一张当前发动机零件照片。
9.如权利要求3所述的发动机标签信息视觉检测方法,其特征在于,先实时去读取PLC设备上的保持寄存器上的值,***会存入本次和上次读取到的值,对这两个值进行比较,判断是否发生变化。
CN202110820096.6A 2021-07-20 2021-07-20 一种发动机标签信息视觉检测***及方法 Active CN113567450B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110820096.6A CN113567450B (zh) 2021-07-20 2021-07-20 一种发动机标签信息视觉检测***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110820096.6A CN113567450B (zh) 2021-07-20 2021-07-20 一种发动机标签信息视觉检测***及方法

Publications (2)

Publication Number Publication Date
CN113567450A true CN113567450A (zh) 2021-10-29
CN113567450B CN113567450B (zh) 2024-07-16

Family

ID=78165700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110820096.6A Active CN113567450B (zh) 2021-07-20 2021-07-20 一种发动机标签信息视觉检测***及方法

Country Status (1)

Country Link
CN (1) CN113567450B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116499731A (zh) * 2023-06-27 2023-07-28 浙江春风动力股份有限公司 面向发动机高度柔性智能制造的活塞智能视觉检测***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103950704A (zh) * 2013-12-18 2014-07-30 柳州杰诺瑞汽车电器***制造有限公司 流水线在线视觉防错方法
CN105044538A (zh) * 2015-06-25 2015-11-11 无锡埃姆维工业控制设备有限公司 一种线束行业在线机器视觉防错***及方法
CN105068139A (zh) * 2015-08-24 2015-11-18 中国第一汽车股份有限公司 一种活塞冷却喷嘴安装状态的检测工艺
CN107169491A (zh) * 2017-05-19 2017-09-15 佛山市南海区广工大数控装备协同创新研究院 一种齿环模具编号检测方法
CN109724990A (zh) * 2019-01-08 2019-05-07 上海大学 一种包装盒标签中喷码区域的快速定位与检测方法
CN110827247A (zh) * 2019-10-28 2020-02-21 上海悦易网络信息技术有限公司 一种识别标签的方法及设备
CN113049600A (zh) * 2021-03-31 2021-06-29 上汽通用五菱汽车股份有限公司 一种基于视觉检测的发动机零件错漏装检测方法及***
CN113092479A (zh) * 2021-04-28 2021-07-09 北京安道拓汽车部件有限公司 汽车内饰通用视觉防错***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103950704A (zh) * 2013-12-18 2014-07-30 柳州杰诺瑞汽车电器***制造有限公司 流水线在线视觉防错方法
CN105044538A (zh) * 2015-06-25 2015-11-11 无锡埃姆维工业控制设备有限公司 一种线束行业在线机器视觉防错***及方法
CN105068139A (zh) * 2015-08-24 2015-11-18 中国第一汽车股份有限公司 一种活塞冷却喷嘴安装状态的检测工艺
CN107169491A (zh) * 2017-05-19 2017-09-15 佛山市南海区广工大数控装备协同创新研究院 一种齿环模具编号检测方法
CN109724990A (zh) * 2019-01-08 2019-05-07 上海大学 一种包装盒标签中喷码区域的快速定位与检测方法
CN110827247A (zh) * 2019-10-28 2020-02-21 上海悦易网络信息技术有限公司 一种识别标签的方法及设备
CN113049600A (zh) * 2021-03-31 2021-06-29 上汽通用五菱汽车股份有限公司 一种基于视觉检测的发动机零件错漏装检测方法及***
CN113092479A (zh) * 2021-04-28 2021-07-09 北京安道拓汽车部件有限公司 汽车内饰通用视觉防错***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116499731A (zh) * 2023-06-27 2023-07-28 浙江春风动力股份有限公司 面向发动机高度柔性智能制造的活塞智能视觉检测***
CN116499731B (zh) * 2023-06-27 2023-11-21 浙江春风动力股份有限公司 面向发动机高度柔性智能制造的活塞智能视觉检测***

Also Published As

Publication number Publication date
CN113567450B (zh) 2024-07-16

Similar Documents

Publication Publication Date Title
CN108872247A (zh) 一种基于机器视觉及rfid的产品自动检测***及检测方法
CN102749881B (zh) 一种汽车发动机气门组装配过程的防错监控***及方法
CN107895362A (zh) 一种微型接线端子质量检测的机器视觉方法
CN113567450B (zh) 一种发动机标签信息视觉检测***及方法
CN113723325A (zh) 一种装配式预制构件的工装缺陷检测***
CN109822344A (zh) 一种汽车仪表自动化装配检测生产线及方法
KR102198028B1 (ko) 스마트 팩토리 가상설계에 따른 설비배치에 대한 설비위치 검증방법
CN105068139A (zh) 一种活塞冷却喷嘴安装状态的检测工艺
CN111612088B (zh) 叠加字符的图像的检测方法及装置
CN113408993A (zh) 一种用于机械自动化的智能装配***
CN106312507A (zh) 多型号发动机缸盖缸体装配线的控制方法
CN112024426A (zh) 多工位视觉识别***
CN116308423A (zh) 一种对讲机产品检验数据的可追溯查验方法
CN103493081B (zh) 车辆的涂膜厚度计算***、计算方法
CN112185058B (zh) 监控报警方法、***、设备及存储介质
CN115631169A (zh) 产品检测方法、装置、电子设备及存储介质
CN115375961A (zh) 一种产品配件识别和重量评估方法、装置及相关设备
US20210390490A1 (en) Systems, devices, and methods for quality control and inspection of parts and assemblies
CN102446126A (zh) 相机模块的测试方法及相关测试***
CN115379197A (zh) 用于在生产线上检测摄像头产品的镜头表面的方法和装置
CN209247654U (zh) 检测设备
CN113723841A (zh) 一种装配式预制构件中工装缺失的在线检测方法
CN112378908A (zh) 一种电容极性安装检测装置及检测方法
CN113378810A (zh) 一种螺丝锁附检测方法、装置、设备和可读存储介质
CN112525914A (zh) 产品检测装置及方法、产品流水线

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant