CN111539931A - 一种基于卷积神经网络和边界限定优化的外观异常检测方法 - Google Patents
一种基于卷积神经网络和边界限定优化的外观异常检测方法 Download PDFInfo
- Publication number
- CN111539931A CN111539931A CN202010318698.7A CN202010318698A CN111539931A CN 111539931 A CN111539931 A CN 111539931A CN 202010318698 A CN202010318698 A CN 202010318698A CN 111539931 A CN111539931 A CN 111539931A
- Authority
- CN
- China
- Prior art keywords
- network
- images
- image
- size
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 24
- 238000005457 optimization Methods 0.000 title claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 239000000523 sample Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 230000002950 deficient Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 239000013074 reference sample Substances 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 abstract 1
- 230000005856 abnormality Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络和边界限定优化的外观异常检测方法,本发明涉及检测技术领域,包括以下步骤:(1):建立卷积神经网络,对所拍摄的外观图像进行特征提取;(2):定义训练网络的目标函数,训练数据三元组(xa,xp,xn);(3):收集训练样本图像,根据检测目标收集大小为m×m的训练样本图像,标记属于同一类的样本以及不同类的样本,基于(2)的目标函数优化网络参数直至收敛;(4):图像对比,对两个输入图像,判断相同位置大小为m×m的子图像是否属于同一类,如果不属于同一类,则标识两张输入图像的差异区域。本发明通过建立卷积神经网络,根据目标函数对网络进行训练,再利用网络对产品外观图像进行特征提取,最后通过图像特征对比的形式找出图像差异,确定外观异常情况,有效提高外观异常检测的效率及准确性。
Description
技术领域
本发明涉及检测技术领域,特别是指一种基于卷积神经网络和边界限定优化的外观异常检测方法。
背景技术
在产品加工过程中,可能会因各种因素导致加工的出现凹凸或划痕等外观异常,如不进行监控,一旦带有较大外观异常的产品流入后续生产工序,会造成更大的经济损失。现在产品外观异常检测是通过质量工程师人工确认是否有异常,成本高、效率低、误检率高。因此,迫切需要一种满足自动化生产需求的外观异常检测方法。
发明内容
本发明提出一种基于卷积神经网络和边界限定优化的外观异常检测方法,解决了现有技术中外观异常检测手段欠缺的问题。
本发明的技术方案是这样实现的:
一种基于卷积神经网络和边界限定优化的外观异常检测方法,包括以下步骤:
步骤(1):建立卷积神经网络,所述卷积神经网络由卷积层,池化层,或者残差网络模块构成;
步骤(2):定义训练网络的目标函数,训练数据三元组(xa,xp,xn),xa,xp和xn均为大小为m×m的图像,其中,xa表示参考样本图像,xp与xa为相似的样本,属于一类的样本,即为正样本,xn与xa为不相似的样本,不属于一类的样本,即为负样本,网络学习的过程就是学习图像的特征,对于三元组,使得xp与xa的距离,小于xn与xa的距离;
步骤(3):收集训练样本图像,拍摄待检测产品的外观图像,根据检测目标收集大小为m×m训练样本图像,标记属于同一类相似的样本,不同类有差异的样本,以及外观有缺陷的样本,基于步骤(2)的目标函数优化网络参数直至收敛;
步骤(4):图像对比,对两个输入大小为m×m的图像,利用训练的卷积神经网络提取特征,根据特征判断输入图像是否属于同一类,如果不属于同一类,则标识两张输入图像存在差异。
作为优选,所述步骤(1)中,当网络的输入图像大小为m×m,通过网络的处理,最后一层输出的张量的大小为1×1×n,输出n个特征。
作为优选,对输出的n个特征进行L2范数的归一化,得到输入图像的n维特征表达,用x表示输入网络的大小为m×m的图像,用f(x)来表示网络对输入图像的映射,f(x)的输出是一个n维向量。
作为优选,所述步骤(2)中,学习的过程就是学到一种表示,对于尽可能多的三元组,使得xp与xa的距离,小于xn与xa的距离。即:
其中α和m是两个阈值参数,考虑N个三元组,训练网络最小化目标函数:
其中[v]+=max{0,v},利用不满足条件的三元组,优化网路参数。
作为优选,所述步骤(4)具体包括:
步骤(42):基于模板的图像差异比较,为比较一张图像Xc与模板图像Xr的差异,首先利用训练好的网络提取特征图,将Xc与Xr作为网络的输入图像,得到两个大小c×r×n的特征图,c和r的大小由输入图像的大小以及网络的降采样率决定,特征图中每一位置的1×1×n特征可以映射回原图像的一个大小为m×m的子图像,对两个特征图中每个位置的特征进行步骤(41)的比较,这样的到Xc与Xr哪些位置存在差异。
本发明的有益效果在于:通过建立卷积神经网络对输入图像进行特征提取,利用训练样本基于目标函数训练网络参数;检测过程,利用训练好的卷积神经网络对外观图像进行特征提取,最后通过特征对比的形式找出图像差异,确定外观异常情况,有效提高外观异常检测的效率及准确性。
附图说明
图1是本发明基于卷积神经网络和边界限定优化的外观异常检测方法的流程图。
具体实施方式
为进一步说明各实施例,本发明提供有附图。这些附图为本发明揭露内容的一部分,其主要用以说明实施例,并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容,本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制,而类似的组件符号通常用来表示类似的组件。
现结合附图和具体实施方式对本发明进一步说明。
如图1所示,一种基于卷积神经网络和边界限定优化的外观异常检测方法,包括以下步骤:
步骤(1):建立深度卷积神经网络对所拍摄的外观图像进行特征提取,深度卷积神经网络由卷积层,池化层,或者残差网络模块构成。令用于训练网络参数的图像大小为m×m,通过网络的处理,最后一层输出张量的大小为1×1×n,输出n个特征,对输出的n个特征进行L2范数的归一化,得到大小为m×m的图像的n维特征表达,用x表示输入网络的m×m图像,用f(x)来表示网络对输入图像的映射,f(x)的输出是一个n维向量。
步骤(2):定义训练网络的目标函数,训练数据三元组(xa,xp,xn),其中,xa表示参考样本图像,xp与xa为相似的样本,属于一类的样本,即为正样本,xn与xa为不相似的样本,不属于一类的样本,即为负样本,学习的过程就是学到一种表示,对于三元组,使得xp与xa的距离,小于xn与xa的距离,即:
其中α和m是两个阈值参数,考虑N个三元组,训练网络最小化目标函数:
其中[v]+=max{0,v},利用不满足条件的三元组,优化网路参数。
步骤(3):收集训练样本图像,拍摄待检测产品的外观图像,根据检测目标收集大小为m×m训练样本图像,标记属于同一类相似的样本,不同类有差异的样本,以及外观有缺陷的样本,基于步骤(2)的目标函数优化网络参数直至收敛。
步骤(4):图像对比,具体包括:
步骤(42):基于模板的图像差异比较,为比较一张图像Xc与模板图像Xr的差异,首先利用训练好的网络提取特征图,将Xc与Xr作为网络的输入图像,得到两个大小c×r×n的特征图,c和r的大小由输入图像的大小以及网络的降采样率决定,特征图中每一位置的1×1×n特征可以映射回原图像的一个大小为m×m的子图像,对两个特征图中每个位置的特征进行步骤(41)的比较,这样的到Xc与Xr哪些位置存在差异。
以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于卷积神经网络和边界限定优化的外观异常检测方法,其特征在于:包括以下步骤:
步骤(1):建立卷积神经网络,所述卷积神经网络由卷积层,池化层,或者残差网络模块构成;
步骤(2):定义训练网络的目标函数,训练数据三元组(xa,xp,xn),xa,xp和xn均为大小为m×m的图像,其中,xa表示参考样本图像,xp与xa为相似的样本,属于一类的样本,即为正样本,xn与xa为不相似的样本,不属于一类的样本,即为负样本,网络学习的过程就是学习图像的特征,对于三元组,使得xp与xa的距离,小于xn与xa的距离;
步骤(3):收集训练样本图像,拍摄待检测产品的外观图像,根据检测目标收集大小为m×m训练样本图像,标记属于同一类相似的样本,不同类有差异的样本,以及外观有缺陷的样本,基于步骤(2)的目标函数优化网络参数直至收敛;
步骤(4):图像对比,对两个输入大小为m×m的图像,利用训练的卷积神经网络提取特征,根据特征判断输入图像是否属于同一类,如果不属于同一类,则标识两张输入图像存在差异。
2.根据权利要求1所述的一种基于卷积神经网络和边界限定优化的外观异常检测方法,其特征在于:所述步骤(1)中,当网络的输入图像大小为m×m,通过网络的处理,最后一层输出的张量的大小为1×1×n,输出n个特征。
3.根据权利要求2所述的一种基于卷积神经网络和边界限定优化的外观异常检测方法,其特征在于:对输出的n个特征进行L2范数的归一化,得到输入图像的n维特征表达,用x表示输入网络的大小为m×m的图像,用f(x)来表示网络对输入图像的映射,f(x)的输出是一个n维向量。
5.根据权利要求4所述的一种基于卷积神经网络和边界限定优化的外观异常检测方法,其特征在于:所述步骤(4)具体包括:
步骤(42):基于模板的图像差异比较,为比较一张图像Xc与模板图像Xr的差异,首先利用训练好的网络提取特征图,将Xc与Xr作为网络的输入图像,得到两个大小c×r×n的特征图,c和r的大小由输入图像的大小以及网络的降采样率决定,特征图中每一位置的1×1×n特征可以映射回原图像的一个大小为m×m的子图像,对两个特征图中每个位置的特征进行步骤(41)的比较,这样的到Xc与Xr哪些位置存在差异。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010318698.7A CN111539931A (zh) | 2020-04-21 | 2020-04-21 | 一种基于卷积神经网络和边界限定优化的外观异常检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010318698.7A CN111539931A (zh) | 2020-04-21 | 2020-04-21 | 一种基于卷积神经网络和边界限定优化的外观异常检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111539931A true CN111539931A (zh) | 2020-08-14 |
Family
ID=71953505
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010318698.7A Pending CN111539931A (zh) | 2020-04-21 | 2020-04-21 | 一种基于卷积神经网络和边界限定优化的外观异常检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111539931A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113554592A (zh) * | 2021-06-10 | 2021-10-26 | 苏州芯联成软件有限公司 | 一种图像差异检测方法和装置 |
CN113716146A (zh) * | 2021-07-23 | 2021-11-30 | 武汉纺织大学 | 基于深度学习的纸巾产品包装检测方法 |
CN116842359A (zh) * | 2023-06-08 | 2023-10-03 | 东莞中科迪宏人工智能科技有限公司 | 一种基于度量学习的屏蔽罩类外观缺陷检测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109558821A (zh) * | 2018-11-21 | 2019-04-02 | 哈尔滨工业大学(深圳) | 一种视频中特定人物的服装件数计算方法 |
CN110414299A (zh) * | 2018-04-28 | 2019-11-05 | 中山大学 | 一种基于计算机视觉的猴脸亲缘关系分析方法 |
CN110532880A (zh) * | 2019-07-29 | 2019-12-03 | 深圳大学 | 样本筛选及表情识别方法、神经网络、设备及存储介质 |
WO2020048119A1 (en) * | 2018-09-04 | 2020-03-12 | Boe Technology Group Co., Ltd. | Method and apparatus for training a convolutional neural network to detect defects |
-
2020
- 2020-04-21 CN CN202010318698.7A patent/CN111539931A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110414299A (zh) * | 2018-04-28 | 2019-11-05 | 中山大学 | 一种基于计算机视觉的猴脸亲缘关系分析方法 |
WO2020048119A1 (en) * | 2018-09-04 | 2020-03-12 | Boe Technology Group Co., Ltd. | Method and apparatus for training a convolutional neural network to detect defects |
CN109558821A (zh) * | 2018-11-21 | 2019-04-02 | 哈尔滨工业大学(深圳) | 一种视频中特定人物的服装件数计算方法 |
CN110532880A (zh) * | 2019-07-29 | 2019-12-03 | 深圳大学 | 样本筛选及表情识别方法、神经网络、设备及存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113554592A (zh) * | 2021-06-10 | 2021-10-26 | 苏州芯联成软件有限公司 | 一种图像差异检测方法和装置 |
CN113716146A (zh) * | 2021-07-23 | 2021-11-30 | 武汉纺织大学 | 基于深度学习的纸巾产品包装检测方法 |
CN116842359A (zh) * | 2023-06-08 | 2023-10-03 | 东莞中科迪宏人工智能科技有限公司 | 一种基于度量学习的屏蔽罩类外观缺陷检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
CN111539931A (zh) | 一种基于卷积神经网络和边界限定优化的外观异常检测方法 | |
CN110648310B (zh) | 基于注意力机制的弱监督铸件缺陷识别方法 | |
CN112200121B (zh) | 基于evm和深度学习的高光谱未知目标检测方法 | |
CN112102229A (zh) | 一种基于深度学习的工业ct检测缺陷的智能识别方法 | |
CN109685765B (zh) | 一种基于卷积神经网络的x光片肺炎结果预测装置 | |
CN111368690A (zh) | 基于深度学习的海浪影响下视频图像船只检测方法及*** | |
CN111242026B (zh) | 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法 | |
CN112381788A (zh) | 一种基于双分支匹配网络的零部件表面缺陷增量检测方法 | |
CN111382785A (zh) | 一种gan网络模型及实现样本自动清洗、辅助标记的方法 | |
CN115147418B (zh) | 缺陷检测模型的压缩训练方法和装置 | |
CN112580657A (zh) | 一种自学习字符识别方法 | |
CN115861190A (zh) | 一种基于对比学习的光伏组件无监督缺陷检测方法 | |
CN114092478B (zh) | 一种异常检测方法 | |
CN115861210A (zh) | 一种基于孪生网络的变电站设备异常检测方法和*** | |
CN117237683B (zh) | 基于改进神经网络的芯片缺陷智慧检测*** | |
CN108932471B (zh) | 一种车辆检测方法 | |
CN114187272A (zh) | 一种基于深度学习的工业零件表面缺陷检测方法 | |
CN108960005B (zh) | 一种智能视觉物联网中对象视觉标签的建立及显示方法、*** | |
CN113989196A (zh) | 一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法 | |
CN112561885A (zh) | 基于YOLOv4-tiny的插板阀开度检测方法 | |
CN111950556A (zh) | 一种基于深度学习的号牌印刷质量检测方法 | |
CN111093140A (zh) | 检测麦克和听筒防尘网缺陷的方法、装置、设备及存储介质 | |
CN113642662B (zh) | 一种基于轻量化分类模型的分类检测方法及装置 | |
CN112699898B (zh) | 一种基于多层特征融合的图像方向识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200814 |
|
WD01 | Invention patent application deemed withdrawn after publication |