CN109978844A - 一种基于深度学习模块化的智能分析方法以及*** - Google Patents

一种基于深度学习模块化的智能分析方法以及*** Download PDF

Info

Publication number
CN109978844A
CN109978844A CN201910200205.7A CN201910200205A CN109978844A CN 109978844 A CN109978844 A CN 109978844A CN 201910200205 A CN201910200205 A CN 201910200205A CN 109978844 A CN109978844 A CN 109978844A
Authority
CN
China
Prior art keywords
target
deep learning
image data
intelligent analysis
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910200205.7A
Other languages
English (en)
Inventor
林瑞滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vic (xiamen) Information Technology Co Ltd
Original Assignee
Vic (xiamen) Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vic (xiamen) Information Technology Co Ltd filed Critical Vic (xiamen) Information Technology Co Ltd
Priority to CN201910200205.7A priority Critical patent/CN109978844A/zh
Publication of CN109978844A publication Critical patent/CN109978844A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习模块化的智能分析方法，从相机或本地图片获取图像数据；根据已知的目标模板在图像数据中搜索得到目标数据；根据目标数据在图像数据中进一步检测分析目标缺陷，或者直接在图像数据中检测分析目标缺陷，本发明还提供一种基于深度学习模块化的智能分析***，提高检测效率。

Description

一种基于深度学习模块化的智能分析方法以及***
技术领域
本发明涉及一种基于深度学习模块化的智能分析方法以及***。
背景技术
机器视觉***是指通过相机将被摄取目标转化为数字图像信号，传送给图像处理***，得到目标的形态结果信息，如颜色，形状，位置等，进而根据判别的结果来控制现场的设备做出动作响应。国内机器视觉领域处于蓬勃发展阶段，应用在各行各业，随着各行各业对产品品质要求越来越高，工业生产线的检测要求也不断提升。传统机器视觉技术越来越无法满足高品质的要求。基于深度学习的新技术逐步取代传统技术，承担起复杂、高精度的检测任务。因此，基于深度学习的便捷应用和友好交互就迫切需要。
发明内容
本发明要解决的技术问题，在于提供一种基于深度学习模块化的智能分析方法以及***，提升检测效率。
本发明之一是这样实现的：一种基于深度学习模块化的智能分析方法，包括：
步骤1、从相机或本地图片获取图像数据；
步骤2、根据已知的目标模板在图像数据中搜索得到目标数据；
步骤3、根据目标数据在图像数据中进一步检测分析目标缺陷，或者直接在图像数据中检测分析目标缺陷。
进一步地，还包括步骤4、在图像数据中进行目标分类，或者在目标数据中进行目标分类，或者在目标缺陷中进行目标分类。
进一步地，所述目标分类为基于深度学习的Inception或者VGGNet网络模型来实现目标的分类。
进一步地，所述步骤2进一步具体为：采用几何匹配、模板匹配或基于深度学习的Faster-R-CNN、SSD或者YOLO算法来搜索图像数据中跟目标模板相似的目标，得到目标数据。
进一步地，所述步骤3进一步具体为：采用基于深度学习的YOLO或SSD算法并根据目标数据在图像数据中进一步检测分析目标缺陷，或者采用基于深度学习的YOLO或SSD算法直接在图像数据中检测分析目标缺陷。
本发明之二是这样实现的：一种基于深度学习模块化的智能分析***，包括：
图像获取模块，从相机或本地图片获取图像数据；
定位模块，根据已知的目标模板在图像数据中搜索得到目标数据；
检测模块，根据目标数据在图像数据中进一步检测分析目标缺陷，或者直接在图像数据中检测分析目标缺陷。
进一步地，还包括分类模块，在图像数据中进行目标分类，或者在目标数据中进行目标分类，或者在目标缺陷中进行目标分类。
进一步地，所述目标分类为基于深度学习的Inception或者VGGNet网络模型来实现目标的分类。
进一步地，所述定位模块进一步具体为：采用几何匹配、模板匹配或基于深度学习的Faster-R-CNN、SSD或者YOLO算法来搜索图像数据中跟目标模板相似的目标，得到目标数据。
进一步地，所述检测模块进一步具体为：采用基于深度学习的YOLO或SSD算法并根据目标数据在图像数据中进一步检测分析目标缺陷，或者采用基于深度学习的YOLO或SSD算法直接在图像数据中检测分析目标缺陷。
本发明具有如下优点：一种基于深度学习模块化的智能分析方法以及***，该方法可以用于一个编辑器中编辑独立的模块，并能直观的预览检测流程，提升检测实施效率。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明方法执行流程图。
具体实施方式
本发明基于深度学习模块化的智能分析方法，包括：
步骤1、从相机或本地图片获取图像数据；
步骤2、采用几何匹配、模板匹配或基于深度学习的Faster-R-CNN、SSD或者YOLO算法来搜索图像数据中跟目标模板相似的目标，得到目标数据；
步骤3、采用基于深度学习的YOLO或SSD算法并根据目标数据在图像数据中进一步检测分析目标缺陷，或者采用基于深度学习的YOLO或SSD算法直接在图像数据中检测分析目标缺陷；
步骤4、在图像数据中进行目标分类，或者在目标数据中进行目标分类，或者在目标缺陷中进行目标分类，所述目标分类为基于深度学习的Inception或者VGGNet网络模型来实现目标的分类。
本发明基于深度学习模块化的智能分析***，包括：
图像获取模块，从相机或本地图片获取图像数据；
定位模块，采用几何匹配、模板匹配或基于深度学习的Faster-R-CNN、SSD或者YOLO算法来搜索图像数据中跟目标模板相似的目标，得到目标数据；
检测模块，采用基于深度学习的YOLO或SSD算法并根据目标数据在图像数据中进一步检测分析目标缺陷，或者采用基于深度学习的YOLO或SSD算法直接在图像数据中检测分析目标缺陷。
分类模块，在图像数据中进行目标分类，或者在目标数据中进行目标分类，或者在目标缺陷中进行目标分类，所述目标分类为基于深度学习的Inception或者VGGNet网络模型来实现目标的分类。
本发明一种实施方式：
基于深度学习模块包括四部分：图像获取，定位，检测和分类；详细步骤如下：步骤1，图像获取模块从相机或本地图片获取图像数据；步骤2，定位模块根据已知的目标模板在图像数据中搜索所有的目标得到目标数据，如位置；步骤3，检测模块根据目标位置(对是步骤2的目标数据的位置，本实施例是步骤2与步骤3是关联的，如果没有步骤2就是对整张图像数据作为目标位置进行检测分析得到目标的缺陷)在图像数据进一步检测分析目标缺陷；步骤4，分类模块对检测到的目标缺陷(如果没有步骤3的目标缺陷，就是对步骤2的目标数据进行目标分类，如果再跳过步骤2，就是对步骤1的原始图像数据直接进行目标分类)进行进一步得到目标分类；其中步骤1可以与步骤2,3,4任意单独组合，也可以按1,2,3,4,的顺序全部组合。
本发明的一个较优实施例方法如下(***原理的第1列)：
进一步，步骤2，定位模块可以使用几何匹配、模板匹配或基于深度学习的Faster-R-CNN、SSD或者YOLO算法来搜索图像数据中跟目标模板相似的目标位置P1；
进一步，步骤3，检测模块可以使用基于深度学习的SSD算法来寻找局部目标位置P1所在图像内的细小目标位置，譬如：细小缺陷P11位置，细小缺陷P12位置，细小缺陷P13位置；
进一步，步骤4，分类模块可以使用基于深度学习的Inception或者VGGNet网络模型来实现细小目标的类别，譬如：细小缺陷P11是划痕，细小缺陷P12是破洞，细小缺陷P13是脏污。
现有的技术存在两个问题：1.没有自学习机制；2.需要专家通过经验知识人工给出特征；这是深度学习的两个技术优势，使得深度学习的理论识别准确率会提高到99％，普通用户可以傻瓜化地使用。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (10)

1.一种基于深度学习模块化的智能分析方法，其特征在于：包括：
步骤1、从相机或本地图片获取图像数据；
步骤2、根据已知的目标模板在图像数据中搜索得到目标数据；
步骤3、根据目标数据在图像数据中进一步检测分析目标缺陷，或者直接在图像数据中检测分析目标缺陷。
2.根据权利要求1所述的一种基于深度学习模块化的智能分析方法，其特征在于：还包括步骤4、在图像数据中进行目标分类，或者在目标数据中进行目标分类，或者在目标缺陷中进行目标分类。
3.根据权利要求2所述的一种基于深度学习模块化的智能分析方法，其特征在于：所述目标分类为基于深度学习的Inception或者VGGNet网络模型来实现目标的分类。
4.根据权利要求1所述的一种基于深度学习模块化的智能分析方法，其特征在于：所述步骤2进一步具体为：采用几何匹配、模板匹配或基于深度学习的Faster-R-CNN、SSD或者YOLO算法来搜索图像数据中跟目标模板相似的目标，得到目标数据。
5.根据权利要求1所述的一种基于深度学习模块化的智能分析方法，其特征在于：所述步骤3进一步具体为：采用基于深度学习的YOLO或SSD算法并根据目标数据在图像数据中进一步检测分析目标缺陷，或者采用基于深度学习的YOLO或SSD算法直接在图像数据中检测分析目标缺陷。
6.一种基于深度学习模块化的智能分析***，其特征在于：包括：
图像获取模块，从相机或本地图片获取图像数据；
定位模块，根据已知的目标模板在图像数据中搜索得到目标数据；
检测模块，根据目标数据在图像数据中进一步检测分析目标缺陷，或者直接在图像数据中检测分析目标缺陷。
7.根据权利要求6所述的一种基于深度学习模块化的智能分析***，其特征在于：还包括分类模块，在图像数据中进行目标分类，或者在目标数据中进行目标分类，或者在目标缺陷中进行目标分类。
8.根据权利要求7所述的一种基于深度学习模块化的智能分析***，其特征在于：所述目标分类为基于深度学习的Inception或者VGGNet网络模型来实现目标的分类。
9.根据权利要求6所述的一种基于深度学习模块化的智能分析***，其特征在于：所述定位模块进一步具体为：采用几何匹配、模板匹配或基于深度学习的Faster-R-CNN、SSD或者YOLO算法来搜索图像数据中跟目标模板相似的目标，得到目标数据。
10.根据权利要求6所述的一种基于深度学习模块化的智能分析***，其特征在于：所述检测模块进一步具体为：采用基于深度学习的YOLO或SSD算法并根据目标数据在图像数据中进一步检测分析目标缺陷，或者采用基于深度学习的YOLO或SSD算法直接在图像数据中检测分析目标缺陷。
CN201910200205.7A 2019-03-15 2019-03-15 一种基于深度学习模块化的智能分析方法以及*** Pending CN109978844A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910200205.7A CN109978844A (zh) 2019-03-15 2019-03-15 一种基于深度学习模块化的智能分析方法以及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910200205.7A CN109978844A (zh) 2019-03-15 2019-03-15 一种基于深度学习模块化的智能分析方法以及***

Publications (1)

Publication Number Publication Date
CN109978844A true CN109978844A (zh) 2019-07-05

Family

ID=67079109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910200205.7A Pending CN109978844A (zh) 2019-03-15 2019-03-15 一种基于深度学习模块化的智能分析方法以及***

Country Status (1)

Country Link
CN (1) CN109978844A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242924A (zh) * 2020-01-13 2020-06-05 浙江水利水电学院 一种产品质量管理***
CN113030121A (zh) * 2021-03-11 2021-06-25 微讯智造(广州)电子有限公司 用于电路板元器件的自动光学检测方法、***、及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107123114A (zh) * 2017-04-21 2017-09-01 佛山市南海区广工大数控装备协同创新研究院 一种基于机器学习的布匹缺陷检测方法及装置
CN107833220A (zh) * 2017-11-28 2018-03-23 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN108257114A (zh) * 2017-12-29 2018-07-06 天津市万贸科技有限公司 一种基于深度学习的输电设备缺陷自动识别方法
CN108765402A (zh) * 2018-05-30 2018-11-06 武汉理工大学 无纺布缺陷检测与分类方法
CN108932713A (zh) * 2018-07-20 2018-12-04 成都指码科技有限公司 一种基于深度学习的焊缝气孔缺陷自动检测方法
CN108982508A (zh) * 2018-05-23 2018-12-11 江苏农林职业技术学院 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法
CN109063708A (zh) * 2018-06-21 2018-12-21 歌尔股份有限公司 基于轮廓提取的工业图像特征识别方法及***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107123114A (zh) * 2017-04-21 2017-09-01 佛山市南海区广工大数控装备协同创新研究院 一种基于机器学习的布匹缺陷检测方法及装置
CN107833220A (zh) * 2017-11-28 2018-03-23 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN108257114A (zh) * 2017-12-29 2018-07-06 天津市万贸科技有限公司 一种基于深度学习的输电设备缺陷自动识别方法
CN108982508A (zh) * 2018-05-23 2018-12-11 江苏农林职业技术学院 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法
CN108765402A (zh) * 2018-05-30 2018-11-06 武汉理工大学 无纺布缺陷检测与分类方法
CN109063708A (zh) * 2018-06-21 2018-12-21 歌尔股份有限公司 基于轮廓提取的工业图像特征识别方法及***
CN108932713A (zh) * 2018-07-20 2018-12-04 成都指码科技有限公司 一种基于深度学习的焊缝气孔缺陷自动检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242924A (zh) * 2020-01-13 2020-06-05 浙江水利水电学院 一种产品质量管理***
CN113030121A (zh) * 2021-03-11 2021-06-25 微讯智造(广州)电子有限公司 用于电路板元器件的自动光学检测方法、***、及设备

Similar Documents

Publication Publication Date Title
US12020415B2 (en) Method for monitoring manufacture of assembly units
CN101576956B (zh) 基于机器视觉的在线字符检测方法和***
CN108830332A (zh) 一种视觉车辆检测方法及***
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
JP2011007800A (ja) 顕微鏡画像の自動解析法
CN109389109B (zh) 一种ocr全文本识别正确率的自动化测试方法及设备
CN110533654A (zh) 零部件的异常检测方法及装置
CN103593695A (zh) 一种dpm二维码区域定位的方法
CN104923494A (zh) 一种电子元器件规模化自动分辨合格品的方法及其***
CN113222913B (zh) 一种电路板缺陷检测定位方法、装置和存储介质
JP2013077127A (ja) 画像分類装置および画像分類方法
CN102663418B (zh) 一种基于回归模型的图像集合建模与匹配方法
CN109978844A (zh) 一种基于深度学习模块化的智能分析方法以及***
CN111103307A (zh) 一种基于深度学习的pcb板缺陷检测方法
CN116188475A (zh) 一种外观缺陷自动光学检测的智慧控制方法、***及介质
CN112288741A (zh) 一种基于语义分割的产品表面缺陷检测方法、***
CN113780342A (zh) 一种基于自监督预训练的智能检测方法、装置及机器人
CN112184679A (zh) 一种基于YOLOv3的酒瓶瑕疵自动检测方法
CN105426926B (zh) 一种对amoled进行检测分类的方法及装置
CN115019294A (zh) 一种指针式仪表读数识别方法及***
CN117114420B (zh) 一种基于图像识别的工贸安全事故风险管控***和方法
CN104459516A (zh) 一种用于smt首件检测的测试方法
CN105224941A (zh) 对象辨识与定位方法
CN110263608A (zh) 基于图像特征空间变阈值度量的电子元器件自动识别方法
CN111160374B (zh) 一种基于机器学习的颜色识别方法及***、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination