CN111105399A - 开关表面缺陷检测方法及*** - Google Patents

开关表面缺陷检测方法及*** Download PDF

Info

Publication number
CN111105399A
CN111105399A CN201911321193.XA CN201911321193A CN111105399A CN 111105399 A CN111105399 A CN 111105399A CN 201911321193 A CN201911321193 A CN 201911321193A CN 111105399 A CN111105399 A CN 111105399A
Authority
CN
China
Prior art keywords
image
switch
initial
detection model
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911321193.XA
Other languages
English (en)
Inventor
方武
朱婷
冯蓉珍
曹振华
卢爱红
张可征
李晨曦
苏冰茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Trade and Commerce
Original Assignee
Suzhou Institute of Trade and Commerce
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Trade and Commerce filed Critical Suzhou Institute of Trade and Commerce
Priority to CN201911321193.XA priority Critical patent/CN111105399A/zh
Publication of CN111105399A publication Critical patent/CN111105399A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种开关表面缺陷检测方法及***，包括：获取待检测开关表面的初始图像；对所述初始图像进行预处理，得到预处理图像；对所述预处理图像进行特征提取，得到图像特征数据；将所述图像特征数据输入目标检测模型中，由所述目标检测模型输出所述待检测开关的缺陷类型。本发明可以通过目标检测模型对开关表面的缺陷进行自动识别，极大地提升了识别效率和识别精度。

Description

开关表面缺陷检测方法及***
技术领域
本发明涉及图像检测技术领域，具体地，涉及开关表面缺陷检测方法及***。
背景技术
随着经济生活的快速发展，小家电开关表面缺陷检测在自动化生产方面扮演着更为重要的角色。现有的小家电开关表面缺陷检测方法，容易受环境变化因素的影响，识别精度低、抗干扰能力差。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种开关表面缺陷检测方法及***。
根据本发明提供的一种开关表面缺陷检测方法，包括：
获取待检测开关表面的初始图像；
对所述初始图像进行预处理，得到预处理图像；
对所述预处理图像进行特征提取，得到图像特征数据；
将所述图像特征数据输入目标检测模型中，由所述目标检测模型输出所述待检测开关的缺陷类型。
可选地，在获取待检测开关表面的初始图像之前，还包括：
构建初始检测模型；
构建训练数据集，所述训练数据集包括：标注有缺陷类型的开关表面图像；
通过所述训练数据集对所述初始检测模型进行迭代训练，得到所述目标检测模型。
可选地，所述构建初始模型，包括：
构建11层卷积神经网络分类回归模型作为初始检测模型。
可选地，所述构建训练数据集，包括：
通过摄像机采集包含开关表面的样本图像；
对所述样本图像进行预处理，得到候选图像；
通过矩形框对所述候选图像中存在缺陷的位置进行标注，并设置对应的缺陷类型标签，得到训练图像；所述训练图像的集合构成所述训练数据集。
可选地，所述矩形框包括：7行7列共49个预测框，每个预测框预测5个不同的尺寸的目标框，所述尺寸包括：24*24个像素，24*48个像素，48*48个像素，72*72个像素，72*144个像素。
可选地，在通过所述训练数据集对所述初始检测模型进行迭代训练之前，还包括：
通过已知的开源数据对所述初始检测模型进行预训练。
可选地，对所述初始图像进行预处理，得到预处理图像，包括：
对所述初始图像进行亮度调整、裁剪、旋转中的任一或任多种操作，得到预处理图像。
本发明还提供一种开关表面缺陷检测***，包括存储器和处理器，所述存储器中存储有计算机指令，所述处理器从所述存储器中调取所述计算机指令，用于执行如上述中任一项所述的开关表面缺陷检测方法。
与现有技术相比，本发明具有如下的有益效果：
本发明提供的开关表面缺陷检测方法及***，通过获取待检测开关表面的初始图像；对所述初始图像进行预处理，得到预处理图像；对所述预处理图像进行特征提取，得到图像特征数据；将所述图像特征数据输入目标检测模型中，由所述目标检测模型输出所述待检测开关的缺陷类型。从而可以通过目标检测模型对开关表面的缺陷进行自动识别，极大地提升了识别效率和识别精度。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明提供的开关表面缺陷检测方法的流程图；
图2为本发明提供的开关表面缺陷检测方法的原理示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
图1为本发明提供的开关表面缺陷检测方法的流程图，如图1所示，本发明的方法可以包括：
S101、获取待检测开关表面的初始图像。
S102、对初始图像进行预处理，得到预处理图像。
S103、对预处理图像进行特征提取，得到图像特征数据。
S104、将图像特征数据输入目标检测模型中，由目标检测模型输出待检测开关的缺陷类型。
本实施例中，可以通过摄像机等设备采集小家电开关表面的初始图像，然后对该初始图像进行预处理，预处理的方式可以包括亮度调整、裁剪、旋转等等方式。然后对图像进行特征提取，得到图像特征数据，最后将该图像特征数据输入目标检测模型中，由目标检测模型输出待检测开关的缺陷类型。
本实施例中使用的目标检测模型可以是11层卷积神经网络分类回归模型，在使用之前，先构建训练数据集，该训练数据集包括：标注有缺陷类型的开关表面图像；通过该训练数据集对初始检测模型进行迭代训练，得到目标检测模型。
示例性的，通过摄像机采集包含开关表面的样本图像；对样本图像进行预处理，得到候选图像；通过矩形框对候选图像中存在缺陷的位置进行标注，并设置对应的缺陷类型标签，得到训练图像；训练图像的集合构成训练数据集。
具体地，以小家电的开关表面检测为例进行详细说明。可以通过摄像机等设备采集小家电开关表面缺陷检测图像，并采用亮度调节、旋转、随机裁剪等经典数据增强的方法扩充数据集；对小家电开关表面缺陷检测图像数据集进行标注，构建训练样本集。可选地，标注是指图像中在一整张图像中的包含小家电开关表面缺陷大小和位置的坐标的矩形框，标签是指图像中标注的小家电开关表面缺陷的类别；设计一个定制化11层卷积神经网络分类回归模型M，采用“迁移学习”方法利用开源的表面缺陷检测目标检测数据库对模型M预训练，基于该模型设计采用目标检测网络模型；采用标注好的数据集对模型M进行训练，得到最终的目标检测识别模型；使用目标检测识别模型对图像中小家电开关表面缺陷进行检测识别。
表1测试平台参数
Figure BDA0002326357120000031
可以选择工业PC机加摄像头平台进行测试，测试平台参数如表1所示。
表2目标检测识别模型
Figure BDA0002326357120000041
表2中展示了11层卷积神经网络分类回归模型的结构参数。
具体地，y＝M(x)表示目标检测模型输入到输出的映射函数其中，x为输入图像，y为表面缺陷分类以及其位置坐标。
本实施例中，采用“迁移学习”方法利用通用开源的表面缺陷检测目标检测数据库对定制化9层的卷积神经网络(如表2所示)分类回归模型M预训练，进一步采用标注好的小家电开关表面缺陷检测图像数据对模型M进行调优。基于该模型设计采用单步目标检测网络模型，可有效提高小家电开关表面缺陷检测速度。
示例性的，图2为本发明提供的开关表面缺陷检测方法的原理示意图，如图2所示，矩形框可以包括：7行7列共49个预测框，每个预测框预测5个不同的尺寸的目标框，尺寸包括：24*24个像素，24*48个像素，48*48个像素，72*72个像素，72*144个像素。通过卷积网络识别出图像存在的缺陷类别以及位置。
本实施例中的方法解决了现有小家电开关表面缺陷目标检测方法中检测速度慢和定位准确率低的问题，具有检测速度快、检测准确率高的优点，可用于小家电开关表面缺陷自动识别检测。
需要说明的是，本发明提供的开关表面缺陷检测方法中的步骤，可以利用开关表面缺陷检测***中对应的模块、装置、单元等予以实现，本领域技术人员可以参照***的技术方案实现方法的步骤流程，即，***中的实施例可理解为实现方法的优选例，在此不予赘述。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的***及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种开关表面缺陷检测方法，其特征在于，包括：
获取待检测开关表面的初始图像；
对所述初始图像进行预处理，得到预处理图像；
对所述预处理图像进行特征提取，得到图像特征数据；
将所述图像特征数据输入目标检测模型中，由所述目标检测模型输出所述待检测开关的缺陷类型。
2.根据权利要求1所述的开关表面缺陷检测方法，其特征在于，在获取待检测开关表面的初始图像之前，还包括：
构建初始检测模型；
构建训练数据集，所述训练数据集包括：标注有缺陷类型的开关表面图像；
通过所述训练数据集对所述初始检测模型进行迭代训练，得到所述目标检测模型。
3.根据权利要求2所述的开关表面缺陷检测方法，其特征在于，所述构建初始模型，包括：
构建11层卷积神经网络分类回归模型作为初始检测模型。
4.根据权利要求2所述的开关表面缺陷检测方法，其特征在于，所述构建训练数据集，包括：
通过摄像机采集包含开关表面的样本图像；
对所述样本图像进行预处理，得到候选图像；
通过矩形框对所述候选图像中存在缺陷的位置进行标注，并设置对应的缺陷类型标签，得到训练图像；所述训练图像的集合构成所述训练数据集。
5.根据权利要求4所述的开关表面缺陷检测方法，其特征在于，所述矩形框包括：7行7列共49个预测框，每个预测框预测5个不同的尺寸的目标框，所述尺寸包括：24*24个像素，24*48个像素，48*48个像素，72*72个像素，72*144个像素。
6.根据权利要求2所述的开关表面缺陷检测方法，其特征在于，在通过所述训练数据集对所述初始检测模型进行迭代训练之前，还包括：
通过已知的开源数据对所述初始检测模型进行预训练。
7.根据权利要求1所述的开关表面缺陷检测方法，其特征在于，对所述初始图像进行预处理，得到预处理图像，包括：
对所述初始图像进行亮度调整、裁剪、旋转中的任一或任多种操作，得到预处理图像。
8.一种开关表面缺陷检测***，其特征在于，包括存储器和处理器，所述存储器中存储有计算机指令，所述处理器从所述存储器中调取所述计算机指令，用于执行如权利要求1-7中任一项所述的开关表面缺陷检测方法。
CN201911321193.XA 2019-12-19 2019-12-19 开关表面缺陷检测方法及*** Pending CN111105399A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911321193.XA CN111105399A (zh) 2019-12-19 2019-12-19 开关表面缺陷检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911321193.XA CN111105399A (zh) 2019-12-19 2019-12-19 开关表面缺陷检测方法及***

Publications (1)

Publication Number Publication Date
CN111105399A true CN111105399A (zh) 2020-05-05

Family

ID=70423117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911321193.XA Pending CN111105399A (zh) 2019-12-19 2019-12-19 开关表面缺陷检测方法及***

Country Status (1)

Country Link
CN (1) CN111105399A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640089A (zh) * 2020-05-09 2020-09-08 武汉精立电子技术有限公司 一种基于特征图中心点的缺陷检测方法及装置
CN115984268A (zh) * 2023-03-20 2023-04-18 杭州百子尖科技股份有限公司 基于机器视觉的目标检测方法、装置、电子设备以及介质
CN117218097A (zh) * 2023-09-23 2023-12-12 宁波江北骏欣密封件有限公司 一种轴套类丝网垫圈零件表面缺陷检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170177997A1 (en) * 2015-12-22 2017-06-22 Applied Materials Israel Ltd. Method of deep learining-based examination of a semiconductor specimen and system thereof
CN108520274A (zh) * 2018-03-27 2018-09-11 天津大学 基于图像处理及神经网络分类的高反光表面缺陷检测方法
CN109064454A (zh) * 2018-07-12 2018-12-21 上海蝶鱼智能科技有限公司 产品缺陷检测方法及***
CN110148130A (zh) * 2019-05-27 2019-08-20 北京百度网讯科技有限公司 用于检测零件缺陷的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170177997A1 (en) * 2015-12-22 2017-06-22 Applied Materials Israel Ltd. Method of deep learining-based examination of a semiconductor specimen and system thereof
CN108520274A (zh) * 2018-03-27 2018-09-11 天津大学 基于图像处理及神经网络分类的高反光表面缺陷检测方法
CN109064454A (zh) * 2018-07-12 2018-12-21 上海蝶鱼智能科技有限公司 产品缺陷检测方法及***
CN110148130A (zh) * 2019-05-27 2019-08-20 北京百度网讯科技有限公司 用于检测零件缺陷的方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640089A (zh) * 2020-05-09 2020-09-08 武汉精立电子技术有限公司 一种基于特征图中心点的缺陷检测方法及装置
CN111640089B (zh) * 2020-05-09 2023-08-15 武汉精立电子技术有限公司 一种基于特征图中心点的缺陷检测方法及装置
CN115984268A (zh) * 2023-03-20 2023-04-18 杭州百子尖科技股份有限公司 基于机器视觉的目标检测方法、装置、电子设备以及介质
CN117218097A (zh) * 2023-09-23 2023-12-12 宁波江北骏欣密封件有限公司 一种轴套类丝网垫圈零件表面缺陷检测方法及装置
CN117218097B (zh) * 2023-09-23 2024-04-12 宁波江北骏欣密封件有限公司 一种轴套类丝网垫圈零件表面缺陷检测方法及装置

Similar Documents

Publication Publication Date Title
Lei et al. Intelligent fault detection of high voltage line based on the Faster R-CNN
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测***及方法
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
EP3502966A1 (en) Data generation apparatus, data generation method, and data generation program
CN111105399A (zh) 开关表面缺陷检测方法及***
CN106846362B (zh) 一种目标检测跟踪方法和装置
CN107403424A (zh) 一种基于图像的车辆定损方法、装置及电子设备
TW202001795A (zh) 瑕疵分類標記系統及瑕疵分類標記方法
CN114787831B (zh) 改进分类模型的准确性
CN111008576B (zh) 行人检测及其模型训练、更新方法、设备及可读存储介质
CN115136209A (zh) 缺陷检测***
CN109034121B (zh) 商品识别处理的方法、装置、设备及计算机存储介质
CN108830850B (zh) 自动光学检测图片分析方法及设备
CN113591645A (zh) 一种基于区域卷积神经网络的电力设备红外图像识别方法
CN113222913A (zh) 一种电路板缺陷检测定位方法、装置和存储介质
CN117372424B (zh) 一种缺陷检测方法、装置、设备及存储介质
CN110766045A (zh) 一种地下排水管道病害识别方法、智能终端及存储介质
CN114299040A (zh) 瓷砖瑕疵检测方法、装置和电子设备
CN113743434A (zh) 一种目标检测网络的训练方法、图像增广方法及装置
CN113592859B (zh) 一种基于深度学习的用于显示面板缺陷的分类方法
CN114627435B (zh) 基于图像识别的智能灯光调节方法、装置、设备及介质
CN115240031A (zh) 一种基于生成对抗网络的板材表面缺陷生成方法及***
CN115601547A (zh) 样本图像获取、货物管理方法、装置、设备及存储介质
CN114742988A (zh) 多阶段检测器进行点标注到框标注转换的方法
CN113419951A (zh) 人工智能模型优化方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200505