CN109187549A - 一种用于后视镜后背层磨边缺损检测工位的检测方法 - Google Patents

一种用于后视镜后背层磨边缺损检测工位的检测方法 Download PDF

Info

Publication number
CN109187549A
CN109187549A CN201810830935.0A CN201810830935A CN109187549A CN 109187549 A CN109187549 A CN 109187549A CN 201810830935 A CN201810830935 A CN 201810830935A CN 109187549 A CN109187549 A CN 109187549A
Authority
CN
China
Prior art keywords
rearview mirror
detection
detected
backing layer
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810830935.0A
Other languages
English (en)
Inventor
郑尧成
赵波
张伟伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Engineering Science
Original Assignee
Shanghai University of Engineering Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Engineering Science filed Critical Shanghai University of Engineering Science
Priority to CN201810830935.0A priority Critical patent/CN109187549A/zh
Publication of CN109187549A publication Critical patent/CN109187549A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明属于智能化检测的技术领域,公开了一种用于后视镜后背层磨边缺损检测工位的检测方法,包括以下步骤:步骤一、利用吸盘吸附机构将待检测后视镜放置到检测工位,采用黑白相机获取所述待检测后视镜的图像;步骤二、对所述图像进行去噪和归一化处理,将去噪和归一化处理后的图像输入神经网络检测模型进行缺陷检测,通过显示器显示检测结果;步骤三、若检测出所述待检测后视镜为不良品,利用所述吸盘吸附机构进行剔除;步骤四,重复步骤一至三,进行下一个待检测后视镜的缺陷检测。利用本发明的方法实现对后视镜后背层磨边缺损检测的全自动化,在保证检验准确率的同时,提高检验效率,节约生产成本。

Description

一种用于后视镜后背层磨边缺损检测工位的检测方法
技术领域
本发明属于智能化检测的技术领域,具体涉及一种用于后视镜后背层磨边缺损检测工位的检测方法。
背景技术
汽车后视镜检测是汽车后视镜生产的重要环境,对于汽车后视镜的安全显得尤为重要,目前后视镜的生产已经形成了集成规模,实现机械自动化,但是关于后视镜生产中的瑕疵以及次品检测却因为没有可靠的检测技术而一直以人工检测为主。由于后视镜的瑕疵种类繁多,且瑕疵较小,人工检测多会造成漏检、误检等情况。而且由于人工检测环境的非封闭性等原因,后视镜在检测中易造成二次损坏,检测过程也容易受到灰尘、指纹等因素的干扰,使得检测正确率大大降低。
发明内容
本发明提供了一种用于后视镜后背层磨边缺损检测工位的检测方法,解决了现有人工检测方法的局限性很大,耗时长,微弱瑕疵难以检测,易受空气中灰尘和静电影响等问题。
本发明可通过以下技术方案实现:
一种用于后视镜后背层磨边缺损检测工位的检测方法,包括以下步骤:
步骤一、利用吸盘吸附机构将待检测后视镜放置到检测工位,采用黑白相机获取所述待检测后视镜的图像;
步骤二、对所述图像进行去噪和归一化处理,将去噪和归一化处理后的图像输入神经网络检测模型进行缺陷检测,通过显示器显示检测结果;
步骤三、若检测出所述待检测后视镜为不良品,利用所述吸盘吸附机构进行剔除;
步骤四,重复步骤一至三,进行下一个待检测后视镜的缺陷检测。
进一步,所述神经网络检测模型采用Alexnet网络结构,包括四个卷积层,四个最大池化层、两个全连接层和一个softmax分类层,通过用预设的后视镜图像样本集进行训练,完成分类学习。
进一步,按照缺陷形状的不同收集多个后视镜灰度图像,利用labelImg工具对所述灰度图像中的缺陷进行标注,建立预设的后视镜图像样本集。
进一步,所述后视镜灰度图像设置有三千张,所述形状包括圆弧状、多边形状、梯形状和三角状。
进一步,所述吸盘吸附机构设置在采用双层传送带的传送机构上,所述双层传送带的一条用于传送待检测后视镜,另一条用于传送不良品后视镜,所述吸盘吸附机构利用吸盘吸附不良品后视镜,放置到用于传送不良品后视镜的另一条传送带上。
进一步,所述传送机构的双层传送带采用平行设置,所述吸盘吸附机构包括吸盘、相互垂直设置的两条滑轨,所述吸盘用于吸附后视镜,所述吸盘沿其一条滑轨的移动方向与传送带的传送方向平行。
进一步,所述步骤一中的待检测后视镜张贴有SN条形码
本发明有益的技术效果在于:
本发明利用简化的AlexNet网络完成了后视镜的快速检测,通过显示屏显示检测结果,利用吸盘吸附机构和双层传送带的传送机构,完成了后视镜的检测运输和不良品的剔除,实现对后视镜后背层磨边缺损检测的全自动化,整个过程不需要人工参与,在保证检验准确率的同时,提高检验效率,节约生产成本,并且避免了对后视镜的二次污染,保证产品的质量,提高产品的可靠性。
附图说明
图1是本发明的总体流程图;
图2是本发明的神经网络的结构示意图;
图3是本发明利用labelImg工具对后视镜灰度图像中的缺陷标注示意图;
图4是本发明的去噪前后的对比示意图,标志A表示去噪前,标注B表示去噪后;
图5是本发明的检验工位的相关机构的示意图;
图6是采用训练集和测试集对本发明的神经网络检测模型进行准确率测试的对比图,其中,直线表示训练集,虚线表示测试集;
其中,1-吸盘吸附机构,2-磨边缺陷检测工位,3-传送机构,4-待检测后视镜。
具体实施方式
下面结合附图及较佳实施例详细说明本发明的具体实施方式。
参见附图1,本发明提供了一种用于后视镜后背层磨边缺损检测工位的检测方法,包括以下步骤:
步骤一、利用吸盘吸附机构1将待检测后视镜4放置到检测工位2,采用黑白相机获取该待检测后视镜的图像;
该待检测后视镜4利用采用双层传送带的传送机构3进行运输,一条传送带用于传送待检测后视镜4,另一条传送带用于传送不良品后视镜,吸盘吸附机构1设置在传送机构3上,包括吸盘和相互垂直设置的两条滑轨,该吸盘用于吸附后视镜,当该吸盘吸附待检测后视镜沿其一条滑轨,该滑轨的设置方向与传送带的传送方向平行,移动到检测工位2,通过光源补光后,利用设置在该检测工位2上方的黑白相机对后视镜的后背层进行拍照,获取其后背层的图像。为了方便对后视镜整个生产流程的追溯,可以先在其上张贴SN条形码,再放到检测工位2上,在检测的时候,先进行SN条形码扫描,这样,检测整个过程的信息都可以该SN条形码保存,便于追溯。
步骤二、对上述图像进行去噪和归一化处理,将去噪和归一化处理后的图像输入神经网络检测模型进行缺陷检测,通过显示器显示检测结果;
该神经网络检测模型采用Alexnet网络结构,由于本发明的图像为单通道即灰度图像,其特征中的低层特征如颜色、边缘较多,高层特征如纹理较少,易于学习,所以仅需要较少的卷积层就可以提取到具有辨别性的特征,故在原本的AlexNet网络及基础上进行简化操作,以加快训练和检测速度,该网络包括四个卷积层,四个最大池化层、两个全连接层和一个输出层,通过用预设的后视镜图像样本集进行训练,完成分类学习,如图2所示。
按照缺陷形状的不同,包括圆弧状、多边形状、梯形状和三角状,收集多个后视镜灰度图像,大约三千张,利用labelImg工具对这些灰度图像中的缺陷进行标注,如图3所示,建立预设的后视镜图像样本集。
该网络的激活函数仍然使用ReLu函数,根据预设的后视镜图像样本集对缺陷的分类,采用softmax分类器的输出层的输出设置为五个类别,分别为对应的四种缺陷和一个背景,这样,整个网络的参数大约为90万个,很大程度上减少了过拟合的风险,也减少了训练和检测时间,实际检测速度约为12帧,准确率可达98%。
采用英伟达型号为GTX1080、8G显存的GPU,结合前向传播和反向传播的方式,利用样本集对如上文所述的AlexNet网络进行训练,为了避免过大的数值导致内存溢出,其训练迭代设置为3000次,batch_size设置为64,其卷积核的大小与步长依然采用AlexNet前四个卷积层的数值。
该网络的训练分为两部分,即前向传播和反向传播。在前向传播过程中,后视镜图像经过网络卷积操作和池化操作之后,得到所需特征图,然后将特征图转化为一维特征矩阵,最后再通过网络的全连接层将一维向量结合进行识别;对于反向阶段:网络的实际输出与理想输出存在误差,对误差函数求各个偏置和权值的偏导数,从而使误差沿着降速最快的方向调整各个权值和偏置。但是在开始训练之前,所有的参数即权重和偏置都要用不同的随机数进行初始化。
对训练集中的缺陷标注和背景,所谓背景设置为图像中除去缺陷标注的部分,通过神经网络的前向传播过程,得到对应于原图的特征矩阵,由于缺陷以及背景在原图中具有不同的特征,其产生的特征矩阵中的特征向量必会存在一定的差异,此时根据网络的实际输出即softmax根据特征向量产生的分类和理想输出即标注的缺陷和图像背景之间的差值,利用误差反向传播,来调整网络的权值和偏执,使误差达到最小。综上,通过信号前向传播和误差反向传播的训练过程,使网络达到收敛。
在训练中,从3000张样本集中选取500张组成训练集,用于检测训练完成后的神经网络检测模型的检测准确率,由于不同批次的产品出现的不良类型可能会有差异,因此,又额外采集了1000张图像组成测试集,同样用于检测训练完成后的神经网络检测模型的检测准确率,通过检测,得到不同迭代次数对应的准确率,如图6所示,当迭代次数达到2000次之后,网络收敛变慢,当迭代3000次之后,网络收敛逐渐稳定,说明网络不需要再继续优化。
由于本发明的训练样本较少,为了增强网络的检测准确度,需要对样本进行数据增强,即通过一些变换从已有的样本集中生成一些新数据,来扩大训练的样本数量,主要采用以下几种:(1)水平翻转图像;(2)从原始图像随机平移变换出一些图像;(3)给图像增加一些随机的旋转角度。为了避免过拟合,在模型的两个全连接层中,使用掩码概率为0.4的dropout,即从神经网络中随机丢弃神经单位,让部分神经元不参与前向传播,也不参与反向传播,这样,迫使网络学习到更健壮的特征,降低网络过拟合的风险。
由于图像中存在的椒盐噪声,采用快速傅里叶变换滤除其中的噪声频段,去噪前后的图像,参见附图4,然后,进行归一化处理成244*244*1的图像,即图像的长宽各为244,单通道的灰度图像,该图像输入神经网络检测模型进行缺陷检测,经过第一个卷积层其卷积核大小为3*3完成一次卷积操作得到大小为112*112*64的子节点矩阵,再由第二层的最大池化层提取出卷积模板中的最大数值,得到新的节点矩阵,如此直到最后一个卷积层得到28*28*256的节点矩阵,将原本的低维图像特征卷积为高维的图像特征。当网络训练完成后,网络参数达到优,不同的缺陷以及背景在高维特征中将会产生较大的差异,即在28*28*256的节点矩阵的不同位置会有不同的数据值,此时经过两个全连接层之后,得到1*1*2048的节点矩阵,再进行利用Softmax分类器进行分类,从而检测出不同的缺陷类型,并将缺陷标注出来,显示在显示屏上,该显示屏设置在传送机构的上方,以便巡线人员随时查看。
步骤三、若检测出上述待检测后视镜4为不良品,利用吸盘吸附机构1进行剔除,即利用吸盘吸附该不良品,沿另一条滑轨,该滑轨的设置放向与传送带的传送方向垂直,移动到另一条传送带,将其运输至复检工位,待检验员复检核查,如图5所示。
步骤四,重复步骤一至三,进行下一个待检测后视镜4的缺陷检测。
本发明利用简化的AlexNet网络完成了后视镜的快速检测,通过显示屏显示检测结果,利用吸盘吸附机构和双层传送带的传送机构,完成了后视镜的检测运输和不良品的剔除,实现对后视镜后背层磨边缺损检测的全自动化,整个过程不需要人工参与,在保证检验准确率的同时,提高检验效率,节约生产成本,并且避免了对后视镜的二次污染,保证产品的质量,提高产品的可靠性。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这些仅是举例说明,在不背离本发明的和实质的前提下,可以对这些实施方式做出多种变更或修改,因此,本发明的保护范围由所附权利要求书限定。

Claims (7)

1.一种用于后视镜后背层磨边缺损检测工位的检测方法,其特征在于包括以下步骤:
步骤一、利用吸盘吸附机构将待检测后视镜放置到检测工位,采用黑白相机获取所述待检测后视镜的图像;
步骤二、对所述图像进行去噪和归一化处理,将去噪和归一化处理后的图像输入神经网络检测模型进行缺陷检测,通过显示器显示检测结果;
步骤三、若检测出所述待检测后视镜为不良品,利用所述吸盘吸附机构进行剔除;
步骤四,重复步骤一至三,进行下一个待检测后视镜的缺陷检测。
2.根据权利要求1所述的用于后视镜后背层磨边缺损检测工位的检测方法,其特征在于:所述神经网络检测模型采用Alexnet网络结构,包括四个卷积层,四个最大池化层、两个全连接层和一个softmax分类层,通过用预设的后视镜图像样本集进行训练,完成分类学习。
3.根据权利要求2所述的用于后视镜后背层磨边缺损检测工位的检测方法,其特征在于:按照缺陷形状的不同收集多张后视镜灰度图像,利用labelImg工具对所述灰度图像中的缺陷进行标注,建立预设的后视镜图像样本集。
4.根据权利要求3所述的用于后视镜后背层磨边缺损检测工位的检测方法,其特征在于:所述后视镜灰度图像设置有三千张,所述形状包括圆弧状、多边形状、梯形状和三角状。
5.根据权利要求1所述的用于后视镜后背层磨边缺损检测工位的检测方法,其特征在于:所述吸盘吸附机构设置在采用双层传送带的传送机构上,所述双层传送带的一条用于传送待检测后视镜,另一条用于传送不良品后视镜,所述吸盘吸附机构利用吸盘吸附不良品后视镜,放置到用于传送不良品后视镜的另一条传送带上。
6.根据权利要求5所述的用于后视镜后背层磨边缺损检测工位的检测方法,其特征在于:所述传送机构的双层传送带采用平行设置,所述吸盘吸附机构包括吸盘、相互垂直设置的两条滑轨,所述吸盘用于吸附后视镜,所述吸盘沿其一条滑轨的移动方向与传送带的传送方向平行。
7.根据权利要求1所述的用于后视镜后背层磨边缺损检测工位的检测方法,其特征在于:所述步骤一中的待检测后视镜张贴有SN条形码。
CN201810830935.0A 2018-07-26 2018-07-26 一种用于后视镜后背层磨边缺损检测工位的检测方法 Pending CN109187549A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810830935.0A CN109187549A (zh) 2018-07-26 2018-07-26 一种用于后视镜后背层磨边缺损检测工位的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810830935.0A CN109187549A (zh) 2018-07-26 2018-07-26 一种用于后视镜后背层磨边缺损检测工位的检测方法

Publications (1)

Publication Number Publication Date
CN109187549A true CN109187549A (zh) 2019-01-11

Family

ID=64937454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810830935.0A Pending CN109187549A (zh) 2018-07-26 2018-07-26 一种用于后视镜后背层磨边缺损检测工位的检测方法

Country Status (1)

Country Link
CN (1) CN109187549A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110220909A (zh) * 2019-04-28 2019-09-10 浙江大学 一种基于深度学习的地铁盾构隧道病害检测方法
CN116499920A (zh) * 2023-06-30 2023-07-28 青岛冠宝林活性炭有限公司 一种尾气活性炭吸附状态在线监测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203259481U (zh) * 2013-04-24 2013-10-30 合肥京东方光电科技有限公司 一种玻璃基板检测装置
CN105424718A (zh) * 2015-11-02 2016-03-23 东华大学 一种基于双工位的车镜瑕疵在线自动检测装置与方法
CN105938105A (zh) * 2016-06-21 2016-09-14 深圳市振华兴科技有限公司 基板检测设备
CN206223679U (zh) * 2015-11-09 2017-06-06 艾斯迈科技股份有限公司 光罩检测装置
CN107328787A (zh) * 2017-07-05 2017-11-07 北京科技大学 一种基于深度卷积神经网络的金属板带表面缺陷检测***
CN107862692A (zh) * 2017-11-30 2018-03-30 中山大学 一种基于卷积神经网络的织带断痕缺陷检测方法
CN108154508A (zh) * 2018-01-09 2018-06-12 北京百度网讯科技有限公司 产品缺陷检测定位的方法、装置、存储介质及终端设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203259481U (zh) * 2013-04-24 2013-10-30 合肥京东方光电科技有限公司 一种玻璃基板检测装置
CN105424718A (zh) * 2015-11-02 2016-03-23 东华大学 一种基于双工位的车镜瑕疵在线自动检测装置与方法
CN206223679U (zh) * 2015-11-09 2017-06-06 艾斯迈科技股份有限公司 光罩检测装置
CN105938105A (zh) * 2016-06-21 2016-09-14 深圳市振华兴科技有限公司 基板检测设备
CN107328787A (zh) * 2017-07-05 2017-11-07 北京科技大学 一种基于深度卷积神经网络的金属板带表面缺陷检测***
CN107862692A (zh) * 2017-11-30 2018-03-30 中山大学 一种基于卷积神经网络的织带断痕缺陷检测方法
CN108154508A (zh) * 2018-01-09 2018-06-12 北京百度网讯科技有限公司 产品缺陷检测定位的方法、装置、存储介质及终端设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
赵俊冉等: "基于机器视觉的玻璃磨边缺陷检测", 《烟台大学学报( 自然科学与工程版)》 *
颜伟鑫: "深度学习及其在工件缺陷自动检测中的应用研究", 《中国优秀硕士学位论文全文数据库工程科技I辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110220909A (zh) * 2019-04-28 2019-09-10 浙江大学 一种基于深度学习的地铁盾构隧道病害检测方法
CN116499920A (zh) * 2023-06-30 2023-07-28 青岛冠宝林活性炭有限公司 一种尾气活性炭吸附状态在线监测方法
CN116499920B (zh) * 2023-06-30 2023-09-12 青岛冠宝林活性炭有限公司 一种尾气活性炭吸附状态在线监测方法

Similar Documents

Publication Publication Date Title
CN109239102B (zh) 一种基于cnn的柔性电路板外观缺陷检测方法
WO2023070911A1 (zh) 一种基于自注意力的彩色纹理织物缺陷区域的检测方法
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN107330453B (zh) 基于分步识别和融合关键部位检测的色情图像识别方法
US11132786B2 (en) Board defect filtering method based on defect list and circuit layout image and device thereof and computer-readable recording medium
CN110473173A (zh) 一种基于深度学习语义分割的缺陷检测方法
CN105654121A (zh) 一种基于深度学习的复杂提花织物缺陷检测方法
CN109509172A (zh) 一种基于深度学习的液晶屏瑕疵检测方法及***
CN107944504B (zh) 木板识别及木板识别的机器学习方法、装置及电子设备
CN110490842B (zh) 一种基于深度学习的带钢表面缺陷检测方法
CN109724984A (zh) 一种基于深度学习算法的缺陷检测识别装置和方法
CN107886131A (zh) 一种基于卷积神经网络检测电路板元器件极性方法和装置
US20200402221A1 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
CN112053317A (zh) 一种基于级联神经网络的工件表面缺陷检测方法
CN103295021A (zh) 一种静态图片中车辆特征检测及识别的方法及***
CN102854194A (zh) 基于线阵ccd的物件表面缺陷检测方法及装置
CN111932511A (zh) 一种基于深度学习的电子元器件质量检测方法与***
CN104200478A (zh) 一种基于稀疏表示的低分辨率触摸屏图像缺陷检测方法
CN108672316A (zh) 一种基于卷积神经网络的微小零件质量检测***
CN109187549A (zh) 一种用于后视镜后背层磨边缺损检测工位的检测方法
US20220405586A1 (en) Model generation apparatus, estimation apparatus, model generation method, and computer-readable storage medium storing a model generation program
TW201930908A (zh) 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體
CN114742818A (zh) 一种基于工业面阵摄像头视觉缺陷检测***及其检测方法
CN109685030A (zh) 一种基于卷积神经网络的马克杯杯口缺陷检测分类方法
CN115861170A (zh) 基于改进yolo v4算法的表面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190111

RJ01 Rejection of invention patent application after publication