CN110853013A - 一种白色家电外壁喷涂质量检测方法 - Google Patents
一种白色家电外壁喷涂质量检测方法 Download PDFInfo
- Publication number
- CN110853013A CN110853013A CN201911096530.XA CN201911096530A CN110853013A CN 110853013 A CN110853013 A CN 110853013A CN 201911096530 A CN201911096530 A CN 201911096530A CN 110853013 A CN110853013 A CN 110853013A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- difference
- images
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005507 spraying Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims description 27
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 29
- 230000007547 defect Effects 0.000 claims abstract description 23
- 238000011176 pooling Methods 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract 4
- 238000000605 extraction Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- 239000011248 coating agent Substances 0.000 claims description 4
- 238000000576 coating method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims 1
- 238000013507 mapping Methods 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 5
- 238000011179 visual inspection Methods 0.000 description 4
- 239000012535 impurity Substances 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 239000003973 paint Substances 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 230000037303 wrinkles Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像相减法与CNN的白色家电外壁喷涂质量检测方法,包括以下步骤:1)收集合格图像制作数据集,然后经过预处理和模板匹配将图像校正到模板图像位置;2)用处理好的图像训练图像差异模型,差异模型包含两个图像,一是训练的均值图像,二是计算每张图片标准方差获得的记录了每个像素点灰度变化范围的比较图像;3)使用标注的缺陷图片进行目标检测网络训练;4)将待测图片送入CNN网络提取特征图,同时进行预处理和模板匹配然后与图像差分模型比较获得差异区域;5)由差异区域生成候选区域和特征图一并送入ROI Pooling,生成固定维度的特征向量送入后续网络进行分类和边框回归。
Description
技术领域
本发明涉及一种白色家电外壁喷涂质量检测方法,属于图像处理技术领域。
背景技术
在白色家电的生产中,如热水器,洗衣机,空调等,产品的外壳均需要进行喷涂作业,以达到设计的外观效果。在喷涂的过程中可能会产生流疤、皱纹、起泡、漏涂、以及集结杂质等外观缺陷。
在传统的白色家电喷涂面质量检测过程中,对喷涂的外观缺陷,人工视检是主要方法,通过人工借助辅助照明装置、肉眼查看的方式进行喷涂表面的检查。人工视检的方法主观性和随机性比较大,加之大部分白色家电为体积较大的回转体或者方体,人工有时会存在漏检的情况。
在外观缺陷检测领域,传统方法主要为手工设计特征提取+机器学习分类,比如在汽车涂装领域,《Car Body Paint Defect Inspection Using Rotation InvariantMeasure of the Local Variance and One-Against-All Support Vector Machine》一文提出利用局部变化算子的旋转不变性首先对瑕疵进行定位,并利用一对多的SVM分类器对瑕疵进行分类。使用手工特征和机器学习的这种方法在检测对象稳定的时候可以稳定的提取设计的特征,但是对于更换产品时则需要重新设计特征,鲁棒性不高。随着深度学习技术的发展,卷积神经网络在图像分类识别以及目标检测领域应用越来越广泛,卷积神经网络通过卷积自动提取特征,避免了手工设计特征,后续网络根据特征进行分类和识别,在识别效果以及鲁棒性上均有更优的表现。
深度学习中目标检测目前主要有两种技术路线:一种是two-stage的,其将检测问题分为两个阶段,首先产生候选区域(Region Proposals),然后对候选区域进行分类和边框回归,代表是R-CNN系算法,如Fast R-CNN,Faster-RCNN等;另一种是one-stage的,其不需要产生候选区域,而是直接产生物体的类别概率和位置左边,其速度要比two-stage的算法要快。但是不论是two-stage还是one-stage的通用目标检测算法直接应用到工业外观缺陷检测领域都是不合适的,在白色家电的喷涂检测方面,图像尺寸普遍在2040px×1086px以上,缺陷面积相较于整个图像,所占比例很小,因此对超分辨图片以及小目标的检测,仅仅使用通用网络是不够的。
发明内容
发明目的:针对白色家电喷涂质量检测领域目前存在的问题:人工视检检测效率低,检测精度不高;传统机器视觉使用的手工设计特征提取鲁棒性不高;通用目标检测算法不适用本场景检测任务。本发明提供了一种白色家电外壁喷涂质量检测方法,基于差异模型产生候选区域,缩短了候选区域生成时间,减少了候选区域的个数,提高了候选区域的精度,从而提高了对缺陷识别定位的精度。
总体技术思路:本发明分为训练过程和测试过程。首先,定义一个two-stage类型目标检测网络,其结构包括CNN特征提取网络,RoI池化层,全连接层以及使用差异模型代替RPN产生Region Proposals;然后,使用标注缺陷图像训练集进行模型的训练,得到一个训练好的专用目标检测网络;最后,对待检测图像滤波去噪,然后送入训练好的专用目标检测网络,得到缺陷的类别、缺陷的左侧边界左上角坐标点、缺陷右侧边界右下角坐标点。
本发明为解决其技术问题采用如下技术方案:
一种白色家电外壁喷涂质量检测方法,包括如下步骤。
步骤2:定义一个two-stage类型目标检测网络,其结构包括CNN特征提取网络,ROIPooling,全连接层以及使用差异模型代替RPN产生Region Proposals。
步骤3:差异模型训练:
步骤4:候选区域生成:
4.1首先将待测图片与差异模型对比产生差异区域:
步骤6:将区域候选框映射到特征图feature map上:
6.1首先获取缩放尺度spatial_scale:
其中round()为对浮点数进行四舍五入操作,m为保留小数位数;
映射区域左上角纵坐标:
由此。
步骤7:将映射区域及特征图feature map一起送入ROI Pooling,输出固定大小的feature map。
步骤8:将步骤7得到的特征输入全连接层进行分类和边框回归,得到分类分数以及回归后的边框。
步骤9:目标检测网络按以上步骤训练,最终得到训练好的专用检测网络。
步骤10:对待检测图像滤波去噪,然后送入训练好的专用目标检测网络,得到缺陷的类别、缺陷的左侧边界左上角坐标点、缺陷右侧边界右下角坐标点。
附图说明
图1为一种白色家电外壁喷涂质量检测方法的算法检测流程图;
图2为一种白色家电外壁喷涂质量检测方法的差分模型训练流程;
图3为通过差分模型生成区域建议的过程示意图。
具体实施方式
以下为结合具体实施例,进一步阐明本发明,此实例仅用于说明本发明而不用于限制本发明的范围。
一种白色家电外壁喷涂质量检测方法,参见图1,该方法包括以下步骤。
步骤1:获取数据集,此实例中以流疤、皱纹、起泡、漏涂、集结杂质五种喷漆表面缺陷为检测对象,图像来源于产线工业相机采图,尺寸大小2592×1944,在训练图像中使用labelImg或者其他目标检测标注工具进行标注。取数据集总量的80%为训练集,其余20%为验证集。
步骤2:定义一个two-stage类型目标检测网络,其结构包括VGG16特征提取网络,ROI Pooling,全连接层以及使用差异模型代替RPN产生Region Proposals。
步骤3:差异模型训练:
步骤4:候选区域生成,参考图3,最左侧图为原图,中间的图为差分过后的差异区域,最右侧图为通过差异区域生成的区域候选框,具体步骤如下:
4.1首先将待测图片与差异模型对比产生差异区域:
步骤5:将训练图片输入特征提取CNN中,得到最后一个feature map为conv5-3,尺寸大小为。
步骤6:将区域候选框映射到特征图feature map上:
6.1首先获取缩放尺度spatial_scale
其中round()为对浮点数进行四舍五入操作,m为保留小数位数;
步骤7:将映射区域及特征图feature map一起送入ROI Pooling,输出固定大小的feature map。
步骤8: 将步骤7得到的特征输入全连接层进行分类和边框回归,得到分类分数以及回归后的边框。
步骤9: 目标检测网络按以上步骤训练,使用Softmax损失函数,调节批处理参数(batch_size)、学习率(learning rate)、动量(momentum)等参数来获取较好的网络训练结果,训练完成保存最优权重文件。
步骤10: 加载步骤9保存的网络权重文件,对待检测图像滤波去噪,然后送入目标检测网络,得到缺陷的类别、缺陷的定位的预测框。
根据上述实施例,针对在白色家电喷涂质量检测领域,本发明设计了一种专用的目标检测网络,使用差异模型代替RPN网络可以降低模型整体复杂度,减少模型训练时间,因此可以降低工业现场部署的硬件环境要求,同时准确的区域建议框的生成提高了缺陷定位的精度,本实施例未对本发明保护范围做限定,任何在本发明基础上所做的改动都属于本发明保护范围。
Claims (5)
1.一种白色家电外壁喷涂质量检测方法,通过标注过缺陷的训练数据进行训练,实现对生产线上喷涂完毕的白色家电外壁进行质量检测,包括缺陷分类与识别定位;其特征在于,包括两个方面:图像差分模型训练和候选区域生成;
1)图像差分模型训练:首先收集一定数量的喷涂质量为合格的产品图像构成差分模型训练集,然后进行训练得到差分模型;
2)候选区域生成:测试图像经过预处理和配准后与图像差分模型比较得到差异区域,由此产生候选区域;
3)将测试图像送入目标检测网络前端的特征提取网络得到特征图,然后将候选区域和特征图一并送入RoI池化层并通过后续网络输出缺陷类别和定位框。
2.如权利要求1所述的一种白色家电外壁喷涂质量检测方法,其特征在于,所述图像差分模型的训练,图像差分模型训练包括两个步骤:
1)计算所有训练图像的均值,生成均值图像;
2)计算所有训练的图像的标准方差,生成标准差图像。
3.如权利要求1所述的一种白色家电外壁喷涂质量检测方法,其特征在于,候选区域生成:将待测图片经过预处理去噪后,与差分模型对比得出差异区域,对差异区域进行处理得到候选区域,处理方法包括但不局限于形态学开闭运算及连通域处理、机器学习聚类处理等。
4.如权利要求1所述的一种白色家电外壁喷涂质量检测方法,其特征在于,在进行差分模型训练之前首先进行图像预处理以去除噪声,平滑图像,预处理方法包括但不局限于均值滤波、中值滤波、高斯滤波等。
5.如权利要求1所述的一种白色家电外壁喷涂质量检测方法,其特征在于,图像预处理后进行配准,配准方法包括但不局限于基于形状的模板匹配、基于灰度的模板匹配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911096530.XA CN110853013A (zh) | 2019-11-11 | 2019-11-11 | 一种白色家电外壁喷涂质量检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911096530.XA CN110853013A (zh) | 2019-11-11 | 2019-11-11 | 一种白色家电外壁喷涂质量检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110853013A true CN110853013A (zh) | 2020-02-28 |
Family
ID=69601297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911096530.XA Pending CN110853013A (zh) | 2019-11-11 | 2019-11-11 | 一种白色家电外壁喷涂质量检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110853013A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111507975A (zh) * | 2020-04-23 | 2020-08-07 | 西南交通大学 | 一种牵引变电所户外绝缘子异常检测方法 |
CN111815621A (zh) * | 2020-07-27 | 2020-10-23 | 北京联想软件有限公司 | 一种数据处理方法、装置及电子设备 |
CN113538427A (zh) * | 2021-09-16 | 2021-10-22 | 深圳市信润富联数字科技有限公司 | 产品缺陷识别方法、装置、设备及可读存储介质 |
CN113657524A (zh) * | 2021-08-23 | 2021-11-16 | 北京奔驰汽车有限公司 | 一种用于涂装车间的全工艺流程质量的检测方法和装置 |
CN115641331A (zh) * | 2022-11-18 | 2023-01-24 | 山东天意装配式建筑装备研究院有限公司 | 一种墙板膜具喷涂效果的智能检测方法 |
-
2019
- 2019-11-11 CN CN201911096530.XA patent/CN110853013A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111507975A (zh) * | 2020-04-23 | 2020-08-07 | 西南交通大学 | 一种牵引变电所户外绝缘子异常检测方法 |
CN111815621A (zh) * | 2020-07-27 | 2020-10-23 | 北京联想软件有限公司 | 一种数据处理方法、装置及电子设备 |
CN113657524A (zh) * | 2021-08-23 | 2021-11-16 | 北京奔驰汽车有限公司 | 一种用于涂装车间的全工艺流程质量的检测方法和装置 |
CN113538427A (zh) * | 2021-09-16 | 2021-10-22 | 深圳市信润富联数字科技有限公司 | 产品缺陷识别方法、装置、设备及可读存储介质 |
CN113538427B (zh) * | 2021-09-16 | 2022-01-07 | 深圳市信润富联数字科技有限公司 | 产品缺陷识别方法、装置、设备及可读存储介质 |
CN115641331A (zh) * | 2022-11-18 | 2023-01-24 | 山东天意装配式建筑装备研究院有限公司 | 一种墙板膜具喷涂效果的智能检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110853013A (zh) | 一种白色家电外壁喷涂质量检测方法 | |
CN108898610B (zh) | 一种基于mask-RCNN的物体轮廓提取方法 | |
CN108776140B (zh) | 一种基于机器视觉的印刷品瑕疵检测方法及*** | |
CN108960245B (zh) | 轮胎模具字符的检测与识别方法、装置、设备及存储介质 | |
CN110175982B (zh) | 一种基于目标检测的缺陷检测方法 | |
CN115082683B (zh) | 一种基于图像处理的注塑缺陷检测方法 | |
CN102305798B (zh) | 基于机器视觉的玻璃缺陷的检测与分类方法 | |
CN105067638B (zh) | 基于机器视觉的轮胎胎膜表面字符缺陷检测方法 | |
CN108918536B (zh) | 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质 | |
CN106934800B (zh) | 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置 | |
CN111932501A (zh) | 一种基于语义分割的密封圈表面缺陷检测方法 | |
CN110853015A (zh) | 基于改进Faster-RCNN的铝型材缺陷检测方法 | |
CN111126391B (zh) | 一种印刷字符缺陷定位方法 | |
CN104568986A (zh) | 基于surf算法的遥控器面板印刷缺陷自动检测方法 | |
CN110443791B (zh) | 一种基于深度学习网络的工件检测方法及其检测装置 | |
CN114926839B (zh) | 基于rpa和ai的图像识别方法及电子设备 | |
CN106780526A (zh) | 一种铁氧体圆片表面裂痕识别方法 | |
CN109781737B (zh) | 一种软管表面缺陷的检测方法及其检测*** | |
CN108647706A (zh) | 基于机器视觉的物品识别分类与瑕疵检测方法 | |
CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
CN112345534B (zh) | 一种基于视觉的泡罩板中颗粒的缺陷检测方法及*** | |
CN115018846A (zh) | 基于ai智能相机的多目标裂纹缺陷检测方法和装置 | |
CN111814852A (zh) | 图像检测方法、装置、电子设备和计算机可读存储介质 | |
CN115311250A (zh) | 基于深度学习和时空特征融合的烟支外观检测方法 | |
CN113808104B (zh) | 一种基于分块的金属表面缺陷检测方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |