CN109063708B - 基于轮廓提取的工业图像特征识别方法及*** - Google Patents

基于轮廓提取的工业图像特征识别方法及*** Download PDF

Info

Publication number
CN109063708B
CN109063708B CN201810645620.9A CN201810645620A CN109063708B CN 109063708 B CN109063708 B CN 109063708B CN 201810645620 A CN201810645620 A CN 201810645620A CN 109063708 B CN109063708 B CN 109063708B
Authority
CN
China
Prior art keywords
detection
industrial
image
characteristic
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810645620.9A
Other languages
English (en)
Other versions
CN109063708A (zh
Inventor
王剑龙
徐相英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN201810645620.9A priority Critical patent/CN109063708B/zh
Publication of CN109063708A publication Critical patent/CN109063708A/zh
Application granted granted Critical
Publication of CN109063708B publication Critical patent/CN109063708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于轮廓提取的工业图像特征识别方法及***，其中的方法包括：提取工业原始图像的特征轮廓信息，获取工业原始图像的各部分检测区域的位置信息；对各部分检测区域进行特征识别检测；对各部分检测区域的检测结果进行整合，并将整合后的检测结果返回。利用本发明，能够解决目前难度较大的图像处理主要靠人工识别的问题。

Description

基于轮廓提取的工业图像特征识别方法及***
技术领域
本发明涉及图像特征识别技术领域，更为具体地，涉及一种基于轮廓提取的工业图像特征识别方法及***。
背景技术
近几年深度学习技术在图像信息理解方面取得了突破性进展，深度学习在图像分类准确率逐渐达到工业特征检测要求的准确率，由于工业检测中有相当一部分问题传统图像处理解决难度较大目前主要靠人工识别，因此需要考虑工业检测全自动化工厂需要替代人工识别，其中，深度学习的图像检测机制三部分：1、模型及相关参数载入；2、原始图像获取；3、算法检测结果回传。深度学习图像处理方面主要的方向有：分类、检测、分割。
深度学习图像分类模型在做图像分类(可扩展卷积神经网络做图像分类的相关技术，其中，做图像分类可采用多种方法进行分类，可扩展卷积神经网络技术是做图像分类中的一种技术)，最终的输出为图像的类别和图像类别的置信度，其中，深度学习图像检测模型在做图像检测(如：faster RCNN RFCNYOLO等技术)时，每种方法都有自己提取候选框的方式，针对候选框做筛选后对所检测的模型完成分类和位置确认，最终会返回图像类别置信度和当前框的位置信息。深度学习图像分割模型在做图像分割时返回的是：标注信息的掩码根据掩码的不同色彩值区分不同的类别；对抗神经网络(GAN)其中的一项应用是做分割的训练，返回分割训练结果(mask掩码)与深度学习图像分割模型在图像分割时标注信息的掩码一致。
发明内容
鉴于上述问题，本发明的目的是提供一种基于轮廓提取的工业图像特征识别方法及***，以解决目前难度较大的图像处理主要靠人工识别的问题。
本发明提供一种基于轮廓提取的工业图像特征识别方法，包括：
提取工业原始图像的特征轮廓信息，根据所述特征轮廓信息划分所述工业原始图像的各部分检测区域，以及确定各部分检测区域的位置；
对所述各部分检测区域进行特征识别检测；
对所述各部分检测区域的检测结果进行整合，并将整合后的检测结果返回。
此外，优选的方案是，通过深度学习模型提取工业原始图像的特征轮廓信息，所述特征轮廓信息包括：对检测区域区分定位、对检测区域裁切和缩放。
此外，优选的方案是，通过训练深度学习模型对所述各部分检测区域进行特征识别检测。
此外，优选的方案是，在通过训练深度学习模型对所述各部分检测区域进行特征识别检测的过程中，采用多个GPU运行所述各部分检测区域。
此外，优选的方案是，通过工业相机拍摄图像获取工业原始图像。
本发明还提供一种基于轮廓提取的工业图像特征识别***，包括：
特征轮廓提取模块，用于提取工业原始图像的特征轮廓信息，根据所述特征轮廓信息划分所述工业原始图像的各部分检测区域，以及确定各部分检测区域的位置；
特征识别检测模块，用于对所述各部分检测区域进行特征识别检测；
检测结果整合返回模块，用于对所述各部分检测区域的检测结果进行整合，并将整合后的检测结果返回。
此外，优选的方案是，所述特征轮廓提取模块通过深度学习模型提取工业原始图像的特征轮廓信息，所述特征轮廓信息包括：对检测区域区分定位、对检测区域裁切和缩放。
此外，优选的方案是，所述特征识别检测模块通过训练深度学习模型对所述各部分检测区域进行特征识别检测。
此外，优选的方案是，所述特征识别检测模块在通过训练深度学习模型对所述各部分检测区域进行特征识别检测的过程中，采用多个GPU运行所述各部分检测区域。
从上面的技术方案可知，本发明提供的基于轮廓提取的工业图像特征识别方法及***，通过提取原始图像的特征轮廓和对提取的特征轮廓进行特征识别检测，并将检测结果返回，采用这种图像特征识别方法，能够解决目前难度较大的图像处理主要靠人工识别的问题，从而提高识别效率，完成工业检测全自动化的目的。
为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。
附图说明
通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的基于轮廓提取的工业图像特征识别方法流程示意图；
图2为根据本发明实施例的基于轮廓提取的工业图像特征识别***框图。
在所有附图中相同的标号指示相似或相应的特征或功能。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。
工业图像检测通常是用分辨率较高的高清相机拍摄工件图像，这些分辨率很高的图像直接交给深度学习模型检测时，并不能满足深度学习模型对尺寸的要求，通常深度学习检测的图像大小在(224—768)之间，而且图像输入越大，深度学习模型的参数会越多，图像的检测时间会越长，则满足不了实际检测的效率需要。如果将高分辨率图像直接压缩为模型所需要的分辨率大小，又会损失图像细节，造成检测精度的下降。
工业图像在拍摄的时候，一个镜头所拍摄可能为工件的不同的部分，对不同部分的检测需要的训练模型不一样(分类，检测，分割，GAN，或者配合使用)，而且深度学习模型对特征的识别也有自己的特点(大小，形状，颜色等)，工业图像检测的要求是对这样一张图像，需要综合各个部分检测的结果，呈现一个最终的检测结论等，需要将各部分检测的结果呈现一个。
在完成对图像检测多区域的获取后，在将图像放入深度学习模型检测检测之前，需要将截取部分按照实际模型的输入大小尺寸，返回的结果也是在这个基础上返回的，需要将结果映射回原图中。
在实际使用本方法的过程中，工件区域轮廓的提取需要根据实际情况来决定，通常综合考虑以下几个方面：a、模型的输入，即：根据模型的实际要求输入合适的图像，b、工件的图像特征，裁切后是否破坏整体特征，即：根据实际应用，裁切后保留需要检查的区域即可；c、检测需要满足的效率，即：根据检测实际需求，选定合适的图像分辨率，以提高检测效率；d、轮廓对问题的覆盖程度。
其中，需要说明的是，轮廓之间是可以有重叠的，因为有的深度学习模型对全局特征敏感，有的深度学习模型对局部细小特征敏感，配合使用才能使最终的特征识别更加完整。
以下将结合附图对本发明的具体实施例进行详细描述。
为了说明本发明提供的基于轮廓提取的工业图像特征识别方法，图1示出了根据本发明实施例的基于轮廓提取的工业图像特征识别方法流程。
如图1所示，本发明提供的基于轮廓提取的工业图像特征识别方法，包括：S110：提取工业原始图像的特征轮廓信息，根据特征轮廓信息划分工业原始图像的各部分检测区域，以及确定各部分检测区域的位置；
S120：对各部分检测区域进行特征识别检测；
S130：对各部分检测区域的检测结果进行整合，并将整合后的检测结果返回。
在步骤S110中，通过深度学习模型提取工业原始图像的特征轮廓信息，特征轮廓信息包括：对检测区域区分定位、对检测区域裁切和缩放。
具体地，工业原始图像来源于工业相机等数据源，将这些数据源信息转换成相关的图像格式后提取图像相关轮廓信息。
其中，对图像轮廓信息的提取可以使用传统方法，也可以使用深度学习模型的方法，在图像目标提取的时候记录目标提取的位置(目标的起始点、长宽)，并将位置信息传入后续单独位置判断(检测、分割、GAN)的模型中方便他将局部结果修改为全局结果返回并展示。
在步骤S120中，通过训练深度学习模型对各部分检测区域进行特征识别检测。其中，在通过训练深度学习模型对各部分检测区域进行特征识别检测的过程中，采用多个GPU运行所述各部分检测区域。
具体地，通过根据步骤S110中传递来的图像的特征轮廓信息，完成特征的识别检测和局部结果的返回。特征的识别检测可以是由传统图像处理部分返回结果，也可由经过训练的深度学习模型返回结果，可以是单个模型，也可以是模型的组合(分类/检测/分割/GAN)，即对上述步骤S110的划分的各个区域进行检测，根据需要采用模型组合的方式。
其中，单独的特征识别检测部分可以独立执行结果的反馈，可以将检测结果在输入的图像上标出作为局部特征返回给上层直接的结果，即：获取图像信息+检测结果信息，也可以只返回检测结果信息。
此外，为了提高图像识别检测结果的效率，可以使用多GPU(模型计算单元)运行不同区域检测的方式提高效率。
在步骤S130中，主要由实际问题需求决定，比如：是对一个图像特征识别场景综合评价输出整体结论，还是对其中几个裁切的轮廓输出部分综合结论，这部分可以根据实际业务的需要进行参数的控制，比如类别置信度的选取，根据置信度选择特征标识的位置等；即：根据实际需求，对图像特征识别输出所需求的结论。
其中，根据步骤S110获取的裁切位置的起始点信息和长宽，可以将各个部分检测的结果(特征识别的位置信息)，分割/GAN生成的mask。
在步骤S130中可以根据实际需要扩充，将不同部分的特征按照业务的实际需要分发到不同的场景中，可以直接在本地原图展示，也可以将步骤S110的处理结果直接展示，也可以将信息传递的业务需要的位置展示。
在本发明一个具体的实施例中，假设一幅图片中有三个工件，这个检测场景要检测两个项，1、这副图片中必须要有三个工件，如果数量不足三个，为不合格；2.每个工件上不允许有划痕，如果有划痕，要找出划痕位置。
那么此图片检测的两个问题：
1、如果整张图片输入模型给分割算法检测划痕，达不到瑕疵检测要求，于是将工件位置裁切出来，单独送给分割算法定位划痕问题。
2、因为必须保证图像中工件必须出现三次，单独用分类模型/检测模型能解决这个问题。
采用本发明的方法进行如下检测：
第一：整体图像训练一个模型，检测必须同时三个工件的问题。
第二：单个工件训练划痕瑕疵检测模型，每个的结果都返回原图标注；
第三：最后整合四个模型的信息，作为工件是OK NG的显示。其中，具体显示内容根据实际业务需要，可以只显示整体的OK NG，也可以显示不足三个工件NG+每个工件划痕mask NG。
与上述方法相对应，本发明还提供一种基于轮廓提取的工业图像特征识别***，图2示出了根据本发明实施例的基于轮廓提取的工业图像特征识别***逻辑结构。
如图2所示，本发明提供的基于轮廓提取的工业图像特征识别***200，包括：特征轮廓提取模块210、特征识别检测模块220和检测结果整合返回模块230。
其中，特征轮廓提取模块210，用于提取工业原始图像的特征轮廓信息，根据特征轮廓信息划分工业原始图像的各部分检测区域，以及确定各部分检测区域的位置；
特征识别检测模块220，用于对各部分检测区域进行特征识别检测；
检测结果整合返回模块230，用于对各部分检测区域的检测结果进行整合，并将整合后的检测结果返回。
其中，特征轮廓提取模块210通过深度学习模型提取工业原始图像的特征轮廓信息，所述特征轮廓信息包括：对检测区域区分定位、对检测区域裁切和缩放。
其中，特征识别检测模块220通过训练深度学习模型对所述各部分检测区域进行特征识别检测。此外，征识别检测模块220在通过训练深度学习模型对所述各部分检测区域进行特征识别检测的过程中，采用多个GPU运行所述各部分检测区域。
通过上述实施方式可以看出，本发明提供的基于轮廓提取的工业图像特征识别方法及***，通过提取原始图像的特征轮廓和对提取的特征轮廓进行特征识别检测，并将检测结果返回，采用这种图像特征识别方法，能够解决目前难度较大的图像处理主要靠人工识别的问题，从而提高识别效率，完成工业检测全自动化的目的。
如上参照附图以示例的方式描述了根据本发明提出的基于轮廓提取的工业图像特征识别方法及***。但是，本领域技术人员应当理解，对于上述本发明所提出的基于轮廓提取的工业图像特征识别方法及***，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (9)

1.一种基于轮廓提取的工业图像特征识别方法，包括：
提取工业原始图像的特征轮廓信息，根据所述特征轮廓信息划分所述工业原始图像的各部分检测区域，以及确定各部分检测区域的位置；
对所述各部分检测区域进行特征识别检测；
对所述各部分检测区域的检测结果进行整合，并将整合后的检测结果返回；
其中，根据所述工业原始图像的尺寸、图像分辨率、各部分检测区域以及问题缺陷在工件区域的覆盖程度，确定所述工业原始图像的特征轮廓信息，所述特征轮廓信息包括：对检测区域区分定位、对检测区域裁切和缩放。
2.如权利要求1所述的基于轮廓提取的工业图像特征识别方法，其中，
通过深度学习模型提取工业原始图像的特征轮廓信息。
3.如权利要求1所述的基于轮廓提取的工业图像特征识别方法，其中，
通过训练深度学习模型对所述各部分检测区域进行特征识别检测。
4.如权利要求3所述的基于轮廓提取的工业图像特征识别方法，其中，
在通过训练深度学习模型对所述各部分检测区域进行特征识别检测的过程中，采用多个GPU运行所述各部分检测区域。
5.如权利要求1所述的基于轮廓提取的工业图像特征识别方法，其中，
通过工业相机拍摄图像获取工业原始图像。
6.一种基于轮廓提取的工业图像特征识别***，包括：
特征轮廓提取模块，用于提取工业原始图像的特征轮廓信息，根据所述特征轮廓信息划分所述工业原始图像的各部分检测区域，以及确定各部分检测区域的位置；
特征识别检测模块，用于对所述各部分检测区域进行特征识别检测；
检测结果整合返回模块，用于对所述各部分检测区域的检测结果进行整合，并将整合后的检测结果返回；
其中，根据所述工业原始图像的尺寸、图像分辨率、各部分检测区域以及问题缺陷在工件区域的覆盖程度，确定所述工业原始图像的特征轮廓信息，所述特征轮廓信息包括：对检测区域区分定位、对检测区域裁切和缩放。
7.如权利要求6所述的基于轮廓提取的工业图像特征识别***，其中，
所述特征轮廓提取模块通过深度学习模型提取工业原始图像的特征轮廓信息。
8.如权利要求6所述的基于轮廓提取的工业图像特征识别***，其中，
所述特征识别检测模块通过训练深度学习模型对所述各部分检测区域进行特征识别检测。
9.如权利要求8所述的基于轮廓提取的工业图像特征识别***，其中，
所述特征识别检测模块在通过训练深度学习模型对所述各部分检测区域进行特征识别检测的过程中，采用多个GPU运行所述各部分检测区域。
CN201810645620.9A 2018-06-21 2018-06-21 基于轮廓提取的工业图像特征识别方法及*** Active CN109063708B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810645620.9A CN109063708B (zh) 2018-06-21 2018-06-21 基于轮廓提取的工业图像特征识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810645620.9A CN109063708B (zh) 2018-06-21 2018-06-21 基于轮廓提取的工业图像特征识别方法及***

Publications (2)

Publication Number Publication Date
CN109063708A CN109063708A (zh) 2018-12-21
CN109063708B true CN109063708B (zh) 2022-10-28

Family

ID=64821382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810645620.9A Active CN109063708B (zh) 2018-06-21 2018-06-21 基于轮廓提取的工业图像特征识别方法及***

Country Status (1)

Country Link
CN (1) CN109063708B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978844A (zh) * 2019-03-15 2019-07-05 维库（厦门）信息技术有限公司 一种基于深度学习模块化的智能分析方法以及***
CN110443791B (zh) * 2019-08-02 2023-04-07 西安工程大学 一种基于深度学习网络的工件检测方法及其检测装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107437243A (zh) * 2017-06-19 2017-12-05 中国科学院自动化研究所 基于x光图像的轮胎杂质检测方法及装置
CN107766829A (zh) * 2017-10-27 2018-03-06 浙江大华技术股份有限公司 一种物品检测的方法和设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9196031B2 (en) * 2012-01-17 2015-11-24 SCREEN Holdings Co., Ltd. Appearance inspection apparatus and method
US8879855B2 (en) * 2012-08-17 2014-11-04 Nec Laboratories America, Inc. Image segmentation for large-scale fine-grained recognition
CN103529053B (zh) * 2013-09-27 2015-12-02 清华大学 瓶口缺陷检测方法
CN108109137A (zh) * 2017-12-13 2018-06-01 重庆越畅汽车科技有限公司 车辆部件的机器视觉检测***及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107437243A (zh) * 2017-06-19 2017-12-05 中国科学院自动化研究所 基于x光图像的轮胎杂质检测方法及装置
CN107766829A (zh) * 2017-10-27 2018-03-06 浙江大华技术股份有限公司 一种物品检测的方法和设备

Also Published As

Publication number Publication date
CN109063708A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN109829914B (zh) 检测产品缺陷的方法和装置
US11282185B2 (en) Information processing device, information processing method, and storage medium
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN111160301B (zh) 基于机器视觉的隧道病害目标智能识别及提取方法
JP2018198053A5 (zh)
CN113344857B (zh) 缺陷检测网络的训练方法、缺陷检测方法和存储介质
CN111753692B (zh) 目标对象提取方法、产品检测方法、装置、计算机和介质
CN110678901A (zh) 信息处理设备、信息处理方法和程序
CN106355579A (zh) 烟条表面褶皱的缺陷检测方法
US10726535B2 (en) Automatically generating image datasets for use in image recognition and detection
CN110992322A (zh) 基于卷积神经网络的贴片掩膜检测***及检测方法
CN113221956B (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN109063708B (zh) 基于轮廓提取的工业图像特征识别方法及***
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN111161295A (zh) 一种菜品图像背景剥离方法
CN111062919B (zh) 一种轴承套圈外观缺陷检测方法
CN115375991A (zh) 一种强/弱光照和雾环境自适应目标检测方法
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法
CN111210417A (zh) 基于卷积神经网络的布匹缺陷检测方法
CN111178445A (zh) 图像处理方法及装置
Christoff et al. Morphological crater classification via convolutional neural network with application on MOLA data
KR20200010658A (ko) 동일인 인식 방법, 이를 이용하는 컴퓨팅 시스템, 및 프로그램
CN110443306B (zh) 葡萄酒木塞的鉴伪方法
CN111950556A (zh) 一种基于深度学习的号牌印刷质量检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant