CN109242830A - 一种基于深度学习的机器视觉技术检测方法 - Google Patents

一种基于深度学习的机器视觉技术检测方法 Download PDF

Info

Publication number
CN109242830A
CN109242830A CN201810944235.4A CN201810944235A CN109242830A CN 109242830 A CN109242830 A CN 109242830A CN 201810944235 A CN201810944235 A CN 201810944235A CN 109242830 A CN109242830 A CN 109242830A
Authority
CN
China
Prior art keywords
deep learning
industrial
network model
learning network
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810944235.4A
Other languages
English (en)
Inventor
孙庆新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Xiangsheng Artificial Intelligence Technology Co ltd
Original Assignee
Suzhou Xiangsheng Artificial Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Xiangsheng Artificial Intelligence Technology Co ltd filed Critical Suzhou Xiangsheng Artificial Intelligence Technology Co ltd
Priority to CN201810944235.4A priority Critical patent/CN109242830A/zh
Publication of CN109242830A publication Critical patent/CN109242830A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度学习的机器视觉技术检测方法，本发明涉及工业检测技术领域；通过工业相机在良好工业光源下采集大量的有缺陷的产品图片作为样本；将这些样本图片通过软件进行标定，标出关心的缺陷处位置，并标出缺陷种类；利用上述标出缺陷种类的样本图片作为素材钩件深度学习网络模型，并进行深度学习网络模型的训练；将训练好的深度学习网络模型导入机器视觉***，从而识别出现场的各种缺陷，配合工业自动化设备完成缺陷产品的分拣。避免漏检误检，还可学习新的样本不断提高准确度，适应性和稳定性好，实现专家***来满足各种复杂场景的工业检测需求。

Description

一种基于深度学习的机器视觉技术检测方法
技术领域
本发明涉及工业检测技术领域，具体涉及一种基于深度学习的机器视觉技术检测方法。
背景技术
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习是机器学习中一种基于对数据进行表征学习的方法，其是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如，人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。
深度学习相对于传统的机器学习方法有两大主要优势：
1、效果优越：经过深度学习训练的模型在各类人工智能领域(计算机视觉，语音识别，自然语言处理等)的效果比原先的机器学习方法提升明显。典型例子就是ImageNet[31]2012年的竞赛，基于深度学习的方法不仅获得了第一名的成绩，更是将错误率下降了接近一半；
2、使用方便：传统的机器学习方法对模型的特征依赖较大，而这些特征往往需要由专业的人员不断的调试才能获得较好的结果；深度学习是一种特征学习方法，不需要人工编写特征，它可以自动的从原始数据(图像，音频，文本)中学习特征，而这些特征接下来又可以输入分类器中去进行预测。因此，使用深度学习方法，可以明显的降低机器学习在这些领域中应用的门槛。
深度学习的劣势是训练量大，往往需要比传统方法多得多训练时间。但这个问题随着并行化算法的优化和图形加速卡(GPU)及FPGA的普及而得以解决，训练时间不再是制约使用的瓶颈，因此更进一步地提升了深度学习使用的普适性。由于深度学习相比传统机器学习的这些显著不同，因此也把传统的机器学习方法称为“浅层学习”(ShallowLearning)，这其中包括SVM、boosting、KNN等。
目前在工业检测方面普遍采用的还是传统的机器学习方法，具有如下缺点和局限性：
1、需要人工提取特征，无法完整的表达不同类别的区分，对于缺陷种类众多，差异不明显的情况，分类准确率低，容易误检和漏检；
2、受光线，材质，背景噪声等工况的影响较大，适应性和稳定性差；
3、需要先检测到缺陷处，再进行分类，无法同时进行，效率低；
4、无法对缺陷和品质等问题进行准确的打分和评级。
发明内容
本发明的目的在于针对现有技术的缺陷和不足，提供一种结构简单，设计合理、使用方便的基于深度学习的机器视觉技术检测方法，避免漏检误检，还可学习新的样本不断提高准确度，适应性和稳定性好，实现专家***来满足各种复杂场景的工业检测需求。
为实现上述目的，本发明采用的技术方案是：它的操作步骤如下：
1、通过工业相机在良好工业光源下采集大量的有缺陷的产品图片作为样本，如孔洞、磨损、毛刺，凹陷等问题；
2、将这些样本图片通过软件进行标定，标出关心的缺陷处位置，并标出缺陷种类；
3、利用上述标出缺陷种类的样本图片作为素材钩件深度学习网络模型，并进行深度学习网络模型的训练；
4、将训练好的深度学习网络模型导入机器视觉***，从而识别出现场的各种缺陷，配合工业自动化设备完成缺陷产品的分拣。
本发明的工作原理：本发明利用深度学习的主要特色，即，逐层特征学习。通过多层的神经网络，深度学习不断从前一层的表征中抽取到更进一步的特征，从而降低了数据的维度，更易于发现本质特征，以一个四层隐藏层的深度神经网络为例，第一层从原始图像中学习到边缘(edge)的特征，第二层在第一层的边缘之上，学习到图案(motifs)的特征，第三层在图案的基础上，学习到组成(part)的特征，第四层在第三层的组成之上，学习到目标(object)的特征，最后目标的特征输入分类器，去完成识别或检测任务。在整个网络的架构中，后面的每层负责对上一层的输入进行抽象，不断学习到更高级的内容。深度学习的这种方法，易于使模型学习到数据中最凝炼的部分，从而改善分类与识别效果。
采用上述步骤后，本发明有益效果为：
1、不用人工提取特征，用高维空间的数学表达式比较完整地表达不同类别的细微特征，避免漏检误检，还可学习新的样本不断提高准确度；
2、通过对训练样本加扰的算法模拟不同光线和噪声的干扰，可以训练后的模型可以克服这些干扰问题，适应性和稳定性好；
3、可以端到端的同时完成缺陷检测和分类等多项任务，效率非常高；
4、可以学习模拟专家的经验，对缺陷和品质等问题进行准确的打分和评级，实现专家***来满足各种复杂场景的工业检测需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的工作流程图。
图2是具体实施方式中深度卷积神经网络模型图。
具体实施方式
下面结合附图对本发明作进一步的说明。
参看如图1和图2所示，本具体实施方式是将基于深度学习的机器视觉技术检测方法应用于电容缺陷的识别，其采用的技术方案是：
1、构建真实电容缺陷数据集Dataset1，尽量采用和最终的检测分拣自动化***相同的工业相机和光源拍摄电容缺陷，选取约6000个电容缺陷图像，对每一幅图像标注其电容缺陷位置及属性(电容缺陷的属性值包括电容缺陷类型和严重程度值)；
2、构建深度卷积神经网络模型，其网络模型结构由若干个卷积层、池化层、全连接层和一个输出层构成，其中主干网络的最后一个卷积层的输出经过处理得到检测出的缺陷位置及属性；网络模型网络由24个卷积层、5个池化层、2个全连接层组成；其中，卷积层采用一定数量和一定大小的卷积核进行卷积操作得到，卷积操作定义为：
其中f为卷积核，r是卷积核的尺寸大小，f(i，j)表示卷积核在坐标(i，j)处的值，I为卷积输入，一般称作特征图，g(s，t)表示在对I进行卷积操作在点(s，t)处得到的输出值；
进一步地，每个卷积层采用不同个数卷积核，卷积核的尺寸大小为3或1；有5个池化层，所谓的池化，是指对每个特征图进行下采样，在一定的邻域范围内选取一个值作为采样值，优选地，池化采用2×2邻域的最大池化法；优选地，所构建的卷积神经网络的激活函数采用Rectified Linear Units函数；
三个全连接层分别采用不同维度张量，其中最后一个全连接层对应输出一个张量，维度为：S*S*(B*5+C)S*S*(B*5+C)，其中，S为划分网格数，B为每个网格负责目标个数，C为类别个数；该表达式含义为：
(1)每个小格会对应B个边界框，边界框的宽高范围为全图，表示以该小格为中心寻找缺陷的边界框位置；
(2)每个边界框对应一个分值，代表该处是否有缺陷及定位准确度；
(3)每个小格会对应C个概率值，找出最大概率对应的缺陷类别，并认为小格中包含该缺陷或者该缺陷的一部分；
3、利用步骤1中构建的仿真电容缺陷数据集Dataset1对步骤2所构建的深度卷积神经网络模型进行训练，训练过程停止的条件为两种，一种是损失函数的值小于设定的阈值T，另一种是训练达到一定次数N，保存训练好的模型及参数，其中T取值0.01，N取值100000；最后选择合适的loss函数和分类器来最终确定缺陷位置及属性，过滤掉不合适的预测；
进一步地，整个网络的损失函数定义为Softmax Loss，并用Softmax分类器来确定最终的缺陷位置及属性；
4、利用步骤2构建的深度卷积神经网络模型和步骤3所得的参数对待识别的影像进行电容缺陷识别，输出作为电容缺陷的位置及属性。
采用上述步骤后，本具体实施方式有益效果为：本具体实施方式所述的一种基于深度学习的机器视觉技术检测方法，避免漏检误检，还可学习新的样本不断提高准确度，适应性和稳定性好，实现专家***来满足各种复杂场景的工业检测需求。
以上所述，仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种基于深度学习的机器视觉技术检测方法，其特征在于：它的操作步骤如下：
(1)、通过工业相机在良好工业光源下采集大量的有缺陷的产品图片作为样本；
(2)、将这些样本图片通过软件进行标定，标出关心的缺陷处位置，并标出缺陷种类；
(3)、利用上述标出缺陷种类的样本图片作为素材钩件深度学习网络模型，并进行深度学习网络模型的训练；
(4)、将训练好的深度学习网络模型导入机器视觉***，从而识别出现场的各种缺陷，配合工业自动化设备完成缺陷产品的分拣。
CN201810944235.4A 2018-08-18 2018-08-18 一种基于深度学习的机器视觉技术检测方法 Pending CN109242830A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810944235.4A CN109242830A (zh) 2018-08-18 2018-08-18 一种基于深度学习的机器视觉技术检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810944235.4A CN109242830A (zh) 2018-08-18 2018-08-18 一种基于深度学习的机器视觉技术检测方法

Publications (1)

Publication Number Publication Date
CN109242830A true CN109242830A (zh) 2019-01-18

Family

ID=65071431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810944235.4A Pending CN109242830A (zh) 2018-08-18 2018-08-18 一种基于深度学习的机器视觉技术检测方法

Country Status (1)

Country Link
CN (1) CN109242830A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223266A (zh) * 2019-03-08 2019-09-10 湖南工业大学 一种基于深度卷积神经网络的列车轮对踏面损伤故障诊断方法
CN110335239A (zh) * 2019-05-09 2019-10-15 菲特(天津)智能科技有限公司 基于深度学习的缺陷检测训练机器及其使用方法
CN110530875A (zh) * 2019-08-29 2019-12-03 珠海博达创意科技有限公司 一种基于深度学习的fpcb外观缺陷自动检测算法
CN111982910A (zh) * 2020-07-06 2020-11-24 华南理工大学 一种基于人工缺陷仿真的弱监督机器视觉检测方法及***
CN112083002A (zh) * 2020-08-26 2020-12-15 苏州中科全象智能科技有限公司 一种基于人工智能技术的电容外观检测装置及方法
CN113139520A (zh) * 2021-05-14 2021-07-20 杭州旭颜科技有限公司 用于工业互联网的设备膜片性能监测方法
CN113538417A (zh) * 2021-08-24 2021-10-22 安徽顺鼎阿泰克科技有限公司 基于多角度和目标检测的透明容器缺陷检测方法及装置
WO2022120665A1 (zh) * 2020-12-09 2022-06-16 电子科技大学 一种基于深度学习的电容缺陷智能检测方法
CN114994046A (zh) * 2022-04-19 2022-09-02 深圳格芯集成电路装备有限公司 基于深度学习模型的缺陷检测***
CN116580030A (zh) * 2023-07-13 2023-08-11 厦门微图软件科技有限公司 一种基于异常仿真的焊接质量异常检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875381A (zh) * 2017-01-17 2017-06-20 同济大学 一种基于深度学习的手机外壳缺陷检测方法
CN106952250A (zh) * 2017-02-28 2017-07-14 北京科技大学 一种基于Faster R‑CNN网络的金属板带表面缺陷检测方法及装置
US20170323163A1 (en) * 2016-05-06 2017-11-09 City Of Long Beach Sewer pipe inspection and diagnostic system and method
CN107833220A (zh) * 2017-11-28 2018-03-23 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170323163A1 (en) * 2016-05-06 2017-11-09 City Of Long Beach Sewer pipe inspection and diagnostic system and method
CN106875381A (zh) * 2017-01-17 2017-06-20 同济大学 一种基于深度学习的手机外壳缺陷检测方法
CN106952250A (zh) * 2017-02-28 2017-07-14 北京科技大学 一种基于Faster R‑CNN网络的金属板带表面缺陷检测方法及装置
CN107833220A (zh) * 2017-11-28 2018-03-23 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223266A (zh) * 2019-03-08 2019-09-10 湖南工业大学 一种基于深度卷积神经网络的列车轮对踏面损伤故障诊断方法
CN110335239A (zh) * 2019-05-09 2019-10-15 菲特(天津)智能科技有限公司 基于深度学习的缺陷检测训练机器及其使用方法
CN110530875A (zh) * 2019-08-29 2019-12-03 珠海博达创意科技有限公司 一种基于深度学习的fpcb外观缺陷自动检测算法
CN111982910A (zh) * 2020-07-06 2020-11-24 华南理工大学 一种基于人工缺陷仿真的弱监督机器视觉检测方法及***
CN112083002A (zh) * 2020-08-26 2020-12-15 苏州中科全象智能科技有限公司 一种基于人工智能技术的电容外观检测装置及方法
WO2022120665A1 (zh) * 2020-12-09 2022-06-16 电子科技大学 一种基于深度学习的电容缺陷智能检测方法
CN113139520A (zh) * 2021-05-14 2021-07-20 杭州旭颜科技有限公司 用于工业互联网的设备膜片性能监测方法
CN113139520B (zh) * 2021-05-14 2022-07-29 江苏中天互联科技有限公司 用于工业互联网的设备膜片性能监测方法
CN113538417A (zh) * 2021-08-24 2021-10-22 安徽顺鼎阿泰克科技有限公司 基于多角度和目标检测的透明容器缺陷检测方法及装置
CN114994046A (zh) * 2022-04-19 2022-09-02 深圳格芯集成电路装备有限公司 基于深度学习模型的缺陷检测***
CN116580030A (zh) * 2023-07-13 2023-08-11 厦门微图软件科技有限公司 一种基于异常仿真的焊接质量异常检测方法
CN116580030B (zh) * 2023-07-13 2023-10-20 厦门微图软件科技有限公司 一种基于异常仿真的焊接质量异常检测方法

Similar Documents

Publication Publication Date Title
CN109242830A (zh) 一种基于深度学习的机器视觉技术检测方法
CN106951870B (zh) 主动视觉注意的监控视频显著事件智能检测预警方法
CN108021947B (zh) 一种基于视觉的分层极限学习机目标识别方法
CN107016405A (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
CN108304826A (zh) 基于卷积神经网络的人脸表情识别方法
CN109389599A (zh) 一种基于深度学习的缺陷检测方法及装置
CN105389581B (zh) 一种胚芽米胚芽完整度智能识别***及其识别方法
CN112037219A (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
Dandavate et al. CNN and data augmentation based fruit classification model
CN106650804B (zh) 一种基于深度学习特征的人脸样本清洗方法及***
Zhu et al. The defect detection algorithm for tire x-ray images based on deep learning
CN104834941A (zh) 基于计算机输入下的稀疏自编码的脱机手写体识别方法
CN108564103A (zh) 数据处理方法与装置
CN114549507B (zh) 改进Scaled-YOLOv4的织物瑕疵检测方法
CN115035082B (zh) 一种基于YOLOv4改进算法的航空器透明件缺陷检测方法
CN107563290A (zh) 一种基于图像的行人检测方法及装置
CN110532959A (zh) 基于双通道三维卷积神经网络的实时暴力行为检测***
CN106355574A (zh) 一种基于深度学习的腹内脂肪分割方法
CN109543744A (zh) 一种基于龙芯派的多类别深度学习图像识别方法及其应用
CN115564031A (zh) 一种用于玻璃缺陷检测的检测网络
CN107742132A (zh) 基于卷积神经网络的马铃薯表面缺陷检测方法
CN108416797A (zh) 一种检测行为变化的方法、设备及存储介质
CN111897333B (zh) 一种机器人行走路径规划方法
CN109102019A (zh) 基于HP-Net卷积神经网络的图像分类方法
CN117079125A (zh) 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190118

WD01 Invention patent application deemed withdrawn after publication