CN114782406A - 一种基于resnext50深度分割网络的汽车涂胶视觉检测方法 - Google Patents

一种基于resnext50深度分割网络的汽车涂胶视觉检测方法 Download PDF

Info

Publication number
CN114782406A
CN114782406A CN202210558935.6A CN202210558935A CN114782406A CN 114782406 A CN114782406 A CN 114782406A CN 202210558935 A CN202210558935 A CN 202210558935A CN 114782406 A CN114782406 A CN 114782406A
Authority
CN
China
Prior art keywords
network
resnext50
unet
gluing
visual detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210558935.6A
Other languages
English (en)
Inventor
邵卿
陈红光
卢兴中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Betterway Automation Technology Co ltd
Original Assignee
Shanghai Betterway Automation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Betterway Automation Technology Co ltd filed Critical Shanghai Betterway Automation Technology Co ltd
Priority to CN202210558935.6A priority Critical patent/CN114782406A/zh
Publication of CN114782406A publication Critical patent/CN114782406A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于自动化视觉检测技术领域，且公开了一种基于RESNEXT50深度分割网络的汽车涂胶视觉检测方法，具体步骤如下：S1、对于Resnext50每个卷积层的重复卷积组数的调整，由32组改进为16组，使网络结构更加精简；S2、同层Unet下采样编码模块与上采样编码模块之间的连接采用了复制拼接模式；S3、Unet输入输出层处理大图像时会按照训练尺度做相应的Patch分割。本发明通过公开了一种针对汽车涂胶质量视觉检测的基于RESNEXT50深度分割网络的视觉检测算法，该项技术在汽车涂胶自动化视觉检测过程中表现出了较高的准确率，对于较差的胶条图像具有良好的识别效果；经过改进的网络有更快的运算推理速度，可以满足更加严苛的在线涂胶自动化视觉检测的检测节拍。

Description

一种基于RESNEXT50深度分割网络的汽车涂胶视觉检测方法
技术领域
本发明属于自动化视觉检测技术领域，具体为一种基于RESNEXT50深度分割网络的汽车涂胶视觉检测方法。
背景技术
随着汽车生产流程中涂胶工艺应用的增加，涂胶过程中的质量管控变得尤为重要。涂胶工艺在汽车生产过程中起到很多重要作用，例如防水防尘、焊接辅助、结构连接等。先前的涂胶质量主要依赖人工检查，但是由于涂胶工艺使用的范围越来越广，加之人工检查的准确性和效率有限，经常会有误判或漏判发生。因此，汽车生产流程中涂胶质量的自动化、智能化检测的水平越来越高。
针对汽车生产流程中涂胶质量的智能化、自动化检测，目前主流采用的是机器视觉方法，一种是胶枪带动视觉采集设备在涂胶过程中采集胶条图像同时利用视觉检测方法对所采图像进行分析从而实现在线涂胶质量检测，另外一种则是在涂胶结束后利用视觉采集设备整体拍摄所涂胶条同时利用视觉检测方法分析所采图像从而实现离线涂胶质量检测。在此过程中，对于胶条图像采用的视觉检测方法对于该自动化检测的准确性和稳定性起到至关重要的作用。目前主流的视觉检测方法大多是传统的图像分割方法或者是简单的机器学习方法，由于涂胶自动化检测较多情况下取得的图像因为光照、拍摄角度等因素会造成所采图像质量较差，主流的视觉检测方法有较高的概率产生误判，降低了自动化检测的准确性，从而影响汽车生产质量。
发明内容
本发明的目的在于提供一种基于RESNEXT50深度分割网络的汽车涂胶视觉检测方法，以解决上述背景技术中提出的问题。
为了实现上述目的，本发明提供如下技术方案：一种基于RESNEXT50深度分割网络的汽车涂胶视觉检测方法，具体步骤如下：
S1、对于Resnext50每个卷积层的重复卷积组数的调整，由32组改进为16组，使网络结构更加精简；
S2、同层Unet下采样编码模块与上采样编码模块之间的连接采用了复制拼接模式；
S3、Unet输入输出层处理大图像时会按照训练尺度做相应的Patch分割；
S4、采用Unet-L4极浅网络架构，加快训练和推理速度。
优选地，S1步骤中传统的RESNEXT50为网络32×4d形式，改进后的RESNEXT50为网络16×4d形式。
优选地，S1步骤中精简的RESNEXT50网络为BackBone生成Unet语义分割网络，此网络是一种U型语义分割网络，通过下采样编码和上采样解码两部分组成，在完成对输入图像的编码解码后，输出语义分割的结果图像本发明的有益效果如下：
本发明通过公开了一种针对汽车涂胶质量视觉检测的基于RESNEXT50深度分割网络的视觉检测算法，该算法是一种针对汽车涂胶检测改进优化的深度分割网络，其实现首先是对RESNEXT50深度网络的结构参数调整，使之在不降低准确率的情况下提高运算速度；其次是以该改进后的RESNEXT50网络为Backbone，根据Unet-L4网络模型形成一个新的语义分割U型深度网络；
该项技术在汽车涂胶自动化视觉检测过程中表现出了较高的准确率，对于较差的胶条图像具有良好的识别效果；经过改进的网络有更快的运算推理速度，可以满足更加严苛的在线涂胶自动化视觉检测的检测节拍。
附图说明
图1为本发明Unet-L4(4层U型网络)基本架构图；
图2为本发明输入胶条图像的分割识别流程图；
图3为本发明工作准确度与时间变化图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
1.RESNEXT50深度网络改进
本发明的深度分割网络对于传统的RESNEXT50(32×4d)网络针对涂胶检测用途进行网络结构参数的调整，并将调整后的网络作为Backbone融入改进的Unet结构的U型语义分割网络，从而达到识别和分割出图像中胶条部分的目的，达到最终的检测效果。如表1所示：
表1 RESNEXT50网络的结构参数调整
Figure BDA0003655731860000031
Figure BDA0003655731860000041
本发明对于RESNEXT50的改进主要在于对于每个卷积层(Conv)的重复卷积组数的调整，由32组改进为16组，使网络结构更加精简。实验表明如果该网络模型用于目前的涂胶图像分析，准确率与原RESNEXT50网络基本相同，但是由于每个卷积层的重复卷积组数减半，提升了约30％的网络推理速度，如图3所示，可以用于更快的图像分析节拍或在同样的图像分析节拍下容忍更高分辨率的图像输入以提高检测精度。
2.Unet语义分割网络改进
本发明以1中所述改进的RESNEXT50网络为BackBone生成Unet语义分割网络，此网络是一种U型语义分割网络，通过下采样编码和上采样解码两部分组成，在完成对输入图像的编码解码后，输出语义分割的结果图像。
如图1所示，该U型网络采用了Unet-L4(4层U型网络)基本架构，由于该应用的样本数量较少，所以采用了较浅的网络结构，同层下采样编码模块与上采样编码模块之间的连接(skip connection)采用了复制拼接(copy and concatenate)模式。如图1所示，为保证图像尺度一致，大图像会按照训练尺度做相应的Patch分割，保证最后的网络推理效果。
在构建好上述网络后，需要将其应用到汽车涂胶自动化视觉检测***当中，从而实现对输入胶条图像的分割识别，如图2所示，其步骤如下：
S1.在现场部署好涂胶自动化检测设备并采集胶条图像，将图像输入到训练服务器当中待用。
S2.利用图像标注软件标注输入图像，形成标注样本集。
S3.由于输入图像和对应的标注样本一般数量较少，需要对进行样本增强，包括水平竖直翻转、随机裁剪、随机旋转、变形缩放等。
S4.将经过图像增强后的输入图像和标注样本集合划分成训练集、测试集和验证集，输入本发明网络进行训练，收敛后得到网络模型。
S5.将网络模型输入到涂胶自动化检测设备的图像分析软件中。
S6.开启涂胶自动化检测设备。若为在线涂胶自动化检测设备，则在涂胶过程中拍摄胶条图像并即时分析得到判别结果；若为离线涂胶自动化检测设备，则在涂胶完成后一体拍摄胶条图像并即时分析得到判别结果。
S7.涂胶自动化检测设备在得到判别结果后，根据产线需求，通过工业通讯协议给到产品质量控制端，从而达到涂胶质量控制的目的。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.一种基于RESNEXT50深度分割网络的汽车涂胶视觉检测方法，其特征在于，具体步骤如下：
S1、对于Resnext50每个卷积层的重复卷积组数的调整，由32组改进为16组，使网络结构更加精简；
S2、同层Unet下采样编码模块与上采样编码模块之间的连接采用了复制拼接模式；
S3、Unet输入输出层处理大图像时会按照训练尺度做相应的Patch分割；
S4、采用Unet-L4极浅网络架构，加快训练和推理速度。
2.根据权利要求1所述的一种基于RESNEXT50深度分割网络的汽车涂胶视觉检测方法，其特征在于：S1步骤中传统的RESNEXT50为网络32×4d形式，改进后的RESNEXT50为网络16×4d形式。
3.根据权利要求1所述的一种基于RESNEXT50深度分割网络的汽车涂胶视觉检测方法，其特征在于：S1步骤中精简的RESNEXT50网络为BackBone生成Unet语义分割网络，此网络是一种U型语义分割网络，通过下采样编码和上采样解码两部分组成，在完成对输入图像的编码解码后，输出语义分割的结果图像。
CN202210558935.6A 2022-05-21 2022-05-21 一种基于resnext50深度分割网络的汽车涂胶视觉检测方法 Pending CN114782406A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210558935.6A CN114782406A (zh) 2022-05-21 2022-05-21 一种基于resnext50深度分割网络的汽车涂胶视觉检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210558935.6A CN114782406A (zh) 2022-05-21 2022-05-21 一种基于resnext50深度分割网络的汽车涂胶视觉检测方法

Publications (1)

Publication Number Publication Date
CN114782406A true CN114782406A (zh) 2022-07-22

Family

ID=82408105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210558935.6A Pending CN114782406A (zh) 2022-05-21 2022-05-21 一种基于resnext50深度分割网络的汽车涂胶视觉检测方法

Country Status (1)

Country Link
CN (1) CN114782406A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392053A (zh) * 2023-08-28 2024-01-12 上海贝特威自动化科技有限公司 一种基于BiSeNetV2双边分割网络的汽车涂胶视觉检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106093057A (zh) * 2016-06-14 2016-11-09 上海贝特威自动化科技有限公司 一种在线涂胶检测方法
CN108921225A (zh) * 2018-07-10 2018-11-30 深圳市商汤科技有限公司 一种图像处理方法及装置、计算机设备和存储介质
CN112037161A (zh) * 2019-05-17 2020-12-04 上海贝特威自动化科技有限公司 一种基于区域自动阈值分析的涂胶分析方法
CN112329800A (zh) * 2020-12-03 2021-02-05 河南大学 一种基于全局信息引导残差注意力的显著性目标检测方法
CN112489054A (zh) * 2020-11-27 2021-03-12 中北大学 一种基于深度学习的遥感图像语义分割方法
CN112634190A (zh) * 2019-09-24 2021-04-09 上海汽车集团股份有限公司 一种涂胶检测方法及装置
CN113344932A (zh) * 2021-06-01 2021-09-03 电子科技大学 一种半监督的单目标视频分割方法
CN113344901A (zh) * 2021-06-25 2021-09-03 北京市商汤科技开发有限公司 涂胶缺陷检测方法、装置、存储介质及电子设备
CN113449727A (zh) * 2021-07-19 2021-09-28 中国电子科技集团公司第二十八研究所 一种基于深度神经网络的伪装目标检测识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106093057A (zh) * 2016-06-14 2016-11-09 上海贝特威自动化科技有限公司 一种在线涂胶检测方法
CN108921225A (zh) * 2018-07-10 2018-11-30 深圳市商汤科技有限公司 一种图像处理方法及装置、计算机设备和存储介质
CN112037161A (zh) * 2019-05-17 2020-12-04 上海贝特威自动化科技有限公司 一种基于区域自动阈值分析的涂胶分析方法
CN112634190A (zh) * 2019-09-24 2021-04-09 上海汽车集团股份有限公司 一种涂胶检测方法及装置
CN112489054A (zh) * 2020-11-27 2021-03-12 中北大学 一种基于深度学习的遥感图像语义分割方法
CN112329800A (zh) * 2020-12-03 2021-02-05 河南大学 一种基于全局信息引导残差注意力的显著性目标检测方法
CN113344932A (zh) * 2021-06-01 2021-09-03 电子科技大学 一种半监督的单目标视频分割方法
CN113344901A (zh) * 2021-06-25 2021-09-03 北京市商汤科技开发有限公司 涂胶缺陷检测方法、装置、存储介质及电子设备
CN113449727A (zh) * 2021-07-19 2021-09-28 中国电子科技集团公司第二十八研究所 一种基于深度神经网络的伪装目标检测识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
KAIMING HE 等: "Deep Residual Learning for Image Recognition", 《ARXIV:1512.03385V1》 *
OLAF RONNEBERGER 等: "U-Net Convolutional Networks for Biomedical Image Segmentation", 《ARXIV:1505.04597》 *
SAINING XIE 等: "Aggregated Residual Transformations for Deep Neural Networks", 《ARXIV:1611.05431V2》 *
刘俊宏: "基于深度学习的X射线安检图像违禁品分割算法的研究与实现", 《中国优秀硕士学位论文全文数据库 工程科技I辑》 *
胡庄稳: "基于机器视觉的自动涂胶智能检测***研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392053A (zh) * 2023-08-28 2024-01-12 上海贝特威自动化科技有限公司 一种基于BiSeNetV2双边分割网络的汽车涂胶视觉检测方法

Similar Documents

Publication Publication Date Title
CN111553929B (zh) 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN110543878B (zh) 一种基于神经网络的指针仪表读数识别方法
US11983919B2 (en) Video anomaly detection method based on human-machine cooperation
CN110059694A (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN113469953B (zh) 一种基于改进YOLOv4算法的输电线路绝缘子缺陷检测方法
CN106296612A (zh) 一种图像质量评价和天气状况引导的分级式监控视频清晰化***及方法
CN110646425B (zh) 一种烟叶在线辅助定级方法及***
CN113486865A (zh) 一种基于深度学习的输电线路悬挂异物目标检测方法
CN108765327A (zh) 一种基于景深和稀疏编码的图像去雨方法
CN114782406A (zh) 一种基于resnext50深度分割网络的汽车涂胶视觉检测方法
CN114049305B (zh) 基于改进ALI和Faster-RCNN的配电线路销钉缺陷检测方法
CN113256602A (zh) 一种基于自编码器的无监督风机叶片缺陷检测方法及***
CN115861190A (zh) 一种基于对比学习的光伏组件无监督缺陷检测方法
CN112907562A (zh) 一种基于MobileNet的SMT缺陷分类算法
CN105389820A (zh) 一种基于倒谱的红外图像清晰度评价方法
CN115018790A (zh) 一种基于异常检测的工件表面缺陷检测方法
CN113256563A (zh) 基于空间注意力机制的精品罐表面缺陷检测方法和***
CN112669269A (zh) 一种基于图像识别的管道缺陷分类分级方法及***
CN112102236A (zh) 一种基于深度两阶段的多晶隐裂检测方法
CN111079347A (zh) 一种利用星座图的基于深度学习的信噪比估计方法
CN114821174B (zh) 一种基于内容感知的输电线路航拍图像数据清洗方法
CN111160262A (zh) 一种融合人体关键点检测的人像分割方法
CN111079528A (zh) 一种基于深度学习的图元图纸校核方法及***
CN113506259A (zh) 一种基于融合网络的图像模糊判别方法及***
CN112949385A (zh) 一种基于光视觉的水面目标检测与识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220722