CN113538436A - 零件缺陷的检测方法、装置、终端设备及存储介质 - Google Patents

零件缺陷的检测方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN113538436A
CN113538436A CN202111090323.0A CN202111090323A CN113538436A CN 113538436 A CN113538436 A CN 113538436A CN 202111090323 A CN202111090323 A CN 202111090323A CN 113538436 A CN113538436 A CN 113538436A
Authority
CN
China
Prior art keywords
detection
defect
segmentation
picture data
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111090323.0A
Other languages
English (en)
Inventor
于洋
熊海飞
黄雪峰
李飞
陈彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xinrun Fulian Digital Technology Co Ltd
Original Assignee
Shenzhen Xinrun Fulian Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xinrun Fulian Digital Technology Co Ltd filed Critical Shenzhen Xinrun Fulian Digital Technology Co Ltd
Priority to CN202111090323.0A priority Critical patent/CN113538436A/zh
Publication of CN113538436A publication Critical patent/CN113538436A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了零件缺陷的检测方法、装置、终端设备及存储介质，通过终端获取待检测零件的图片数据；调用预设零件缺陷检测模型针对所述图片数据型进行背景分割检测和缺陷分割检测；将进行所述背景分割检测得到的第一检测结果，与进行所述缺陷分割检测得到的第二检测结果进行比对分析，得到实际检测结果。如此，本发明提供的零件缺陷的检测方法能够通过结合缺陷分割检测结果与背景分割检测结果进行分析比对，增强了预设零件缺陷检测模型对零件结构和缺陷的辨别能力，降低了零件缺陷检测过程中漏检和误检的情况发生的概率，提高了零件缺陷检测结果的准确性。

Description

零件缺陷的检测方法、装置、终端设备及存储介质
技术领域
本发明涉及工业制造技术领域，尤其涉及一种零件缺陷的检测方法、装置、终端设备及存储介质。
背景技术
随着信息与智能化社会的到来，以及深度学习技术的出现，工业产品生产逐渐进入智能化阶段；而且，基于深度学习的人工智能还具备高精度、高效率以及升级维护简单等特点，使之在工业元器件外观缺陷检测这一领域具有广泛的应用前景。
然而，目前基于深度学习模型对零件进行缺陷检测时，经常会导致零件缺陷检测过程中漏检和误检的情况发生。其中，导致发生缺陷检测的漏检和误检的原因，主要是在针对待检测零件的图片中，背景区域的噪声和零件缺陷存在相似性，以及零件区域中零件的某些结构与缺陷存在相似性所导致，而上述两种相似性均是目前基于深度学习的零件缺陷检测模型进一步实现性能提升的瓶颈。
可见，如何降低零件缺陷检测过程中漏检和误检的情况发生的概率，从而改善零件缺陷检测结果的准确性，是目前工业制造技术领域亟需解决的难题。
发明内容
本发明的主要目的在于提供一种零件缺陷的检测方法、装置、终端设备及存储介质，旨在降低零件缺陷检测过程中漏检和误检的情况发生的概率，从而改善零件缺陷检测结果的准确性。
为实现上述目的，本发明提供一种零件缺陷的检测方法，所述零件缺陷的检测方法包括以下步骤：
获取待检测零件的图片数据；
调用预设零件缺陷检测模型针对所述图片数据型进行背景分割检测和缺陷分割检测；
将进行所述背景分割检测得到的第一检测结果，与进行所述缺陷分割检测得到的第二检测结果进行比对分析，得到实际检测结果。
进一步地，所述零件缺陷的检测方法还包括：
采集零件样本的待训练图片数据，将所述待训练图片数据和所述零件样本对应的标签值作为模型输入，并根据所述模型输入训练得到预设零件缺陷检测模型。
进一步地，所述根据所述模型输入训练得到预设零件缺陷检测模型的步骤，包括：
提取所述待训练图片数据的特征，以根据所述特征进行模型训练；
基于预设分割检测函数针对所述特征进行检测得到损失分数；
若所述损失分数收敛，则结束模型训练的过程得到所述预设零件缺陷检测模型。
进一步地，所述预设分割检测函数包括背景分割函数与缺陷分割函数，所述基于预设分割检测函数针对所述特征进行检测得到损失分数的步骤，包括：
针对所述背景分割函数与所述缺陷分割函数进行动态加权求和生成总损失函数，并基于所述总损失函数得到损失分数，其中，所述损失分数用于评价所述预设零件缺陷检测模型针对所述零件样本进行检测得到检测结果的准确性。
进一步地，在所述基于预设分割检测函数针对所述特征进行检测得到损失分数的步骤之后，还包括：
若所述损失分数不收敛，则针对未完成训练过程的预设零件缺陷检测模型进行梯度反向传播。
进一步地，所述提取所述待训练图片数据的特征的步骤，包括：
针对所述待训练图片数据进行卷积处理得到第一特征图；
针对所述第一特征图进行上采样处理得到第二特征图；
将所述第一特征图与所述第二特征图进行特征融合得到所述待训练图片数据的特征。
进一步地，在所述得到实际检测结果的步骤之后，包括：
获取预设缺陷标准，将所述预设缺陷标准与所述实际检测结果进行比对得到比对结果；
根据所述比对结果判定所述待检测零件是否达到所述预设缺陷标准。
此外，为实现上述目的，本发明还提供一种零件缺陷的检测装置，所述零件缺陷的检测装置包括：
获取模块，用于获取待检测零件的图片数据；
检测模块，用于调用预设零件缺陷检测模型针对所述图片数据型进行背景分割检测和缺陷分割检测；
分析模块，用于将进行所述背景分割检测得到的第一检测结果，与进行所述缺陷分割检测得到的第二检测结果进行比对分析，得到实际检测结果。
本发明零件缺陷的检测装置的各功能模块在运行时实现如上述中的零件缺陷的检测方法的步骤。
此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的零件缺陷的检测程序，所述零件缺陷的检测程序被所述处理器执行时实现如上述中的零件缺陷的检测方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的零件缺陷的检测方法的步骤。
此外，本发明实施例还提出一种计算机程序产品，该计算机程序产品上包括零件缺陷的检测程序，所述零件缺陷的检测程序被处理器执行时实现如上所述的零件缺陷的检测方法的步骤。
其中，在所述处理器上运行的零件缺陷的检测程序被执行时所实现的步骤可参照本发明零件缺陷的检测方法的各个实施例，此处不再赘述。
本发明提出的零件缺陷的检测方法、装置、终端设备及存储介质，通过获取待检测零件的图片数据；调用预设零件缺陷检测模型针对所述图片数据型进行背景分割检测和缺陷分割检测；将进行所述背景分割检测得到的第一检测结果，与进行所述缺陷分割检测得到的第二检测结果进行比对分析，得到实际检测结果。
本发明通过终端获取待检测零件的图片数据，然后针对待检测零件的图片数据调用预设零件缺陷检测模型进行提取特征，并对提取特征后的图片数据分别进行用于识别零件区域与背景区域的背景分割检测，得到第一检测结果，以及进行用于识别待检测零件的缺陷类型的缺陷分割检测，得到第二检测结果，并将第一检测结果与第二检测结果进行比对分析，从而得到最终用于评价分析待检测零件存在的缺陷情况的实际检测结果。
如此，本发明提供的零件缺陷的检测方法能够通过结合缺陷分割检测结果与背景分割检测结果进行分析比对，增强了预设零件缺陷检测模型对零件结构和缺陷的辨别能力，降低了零件缺陷检测过程中漏检和误检的情况发生的概率，提高了零件缺陷检测结果的准确性。
附图说明
图1是本发明实施例方案涉及的终端设备的硬件运行环境的结构示意图；
图2是本发明零件缺陷的检测方法一实施例的流程示意图；
图3是本发明零件缺陷的检测装置的模块结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及终端设备的硬件运行环境的结构示意图。
需要说明的是，图1即可为终端设备的硬件运行环境的结构示意图。本发明实施例终端设备可以是PC，便携计算机等终端设备。
如图1所示，该终端设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及分布式任务的处理程序。其中，操作***是管理和控制样本终端设备硬件和软件资源的程序，支持分布式任务的处理程序以及其它软件或程序的运行。
在图1所示的终端设备中，用户接口1003主要用于与各个终端进行数据通信；网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；而处理器1001可以用于调用存储器1005中存储的零件缺陷的检测程序，并执行以下操作：
获取待检测零件的图片数据；
调用预设零件缺陷检测模型针对所述图片数据型进行背景分割检测和缺陷分割检测；
将进行所述背景分割检测得到的第一检测结果，与进行所述缺陷分割检测得到的第二检测结果进行比对分析，得到实际检测结果。
进一步地，处理器1001可以调用存储器1005中存储的零件缺陷的检测程序，还执行以下操作：
采集零件样本的待训练图片数据，将所述待训练图片数据和所述零件样本对应的标签值作为模型输入，并根据所述模型输入训练得到预设零件缺陷检测模型。
进一步地，处理器1001可以调用存储器1005中存储的零件缺陷的检测程序，还执行以下操作：
提取所述待训练图片数据的特征，以根据所述特征进行模型训练；
基于预设分割检测函数针对所述特征进行检测得到损失分数；
若所述损失分数收敛，则结束模型训练的过程得到所述预设零件缺陷检测模型。
进一步地，所述预设分割检测函数包括背景分割函数与缺陷分割函数，处理器1001可以调用存储器1005中存储的零件缺陷的检测程序，还执行以下操作：
针对所述背景分割函数与所述缺陷分割函数进行动态加权求和生成总损失函数，并基于所述总损失函数得到损失分数，其中，所述损失分数用于评价所述预设零件缺陷检测模型针对所述零件样本进行检测得到检测结果的准确性。
进一步地，在所述基于预设分割检测函数针对所述特征进行检测得到损失分数的步骤之后，处理器1001可以调用存储器1005中存储的零件缺陷的检测程序，还执行以下操作：
若所述损失分数不收敛，则针对未完成训练过程的预设零件缺陷检测模型进行梯度反向传播。
进一步地，处理器1001可以调用存储器1005中存储的零件缺陷的检测程序，还执行以下操作：
针对所述待训练图片数据进行卷积处理得到第一特征图；
针对所述第一特征图进行上采样处理得到第二特征图；
将所述第一特征图与所述第二特征图进行特征融合得到所述待训练图片数据的特征。
进一步地，在所述得到实际检测结果的步骤之后，处理器1001可以调用存储器1005中存储的零件缺陷的检测程序，还执行以下操作：
获取预设缺陷标准，将所述预设缺陷标准与所述实际检测结果进行比对得到比对结果；
根据所述比对结果判定所述待检测零件是否达到所述预设缺陷标准。
基于上述的结构，提出本发明零件缺陷的检测方法的各个实施例。
需要说明的是，在针对零件缺陷进行检测时，通常缺陷零件的缺陷区域占零件整体面积比例较小，缺陷区域所占像素数相对于被检测图片的整体像素总数占比不足百分之一，在某些情况下甚至不足万分之一（10*10像素的缺陷在1024*1024分辨率的图片中占比小于万分之一）。基于深度学习语义分割的缺陷检测方法，在进行深度学习语义分割模型训练时会面临严重的样本不均衡问题，具体说来，正样本（处于缺陷区域内的像素点）和负样本（缺陷区域外的像素点）的比例极度不均衡的情况，会导致深度语义分割模型的模型参数难以收敛到最优解；而在现有解决方案中，通过使用数据扩充和类别不均衡损失函数的方案难以有效解决这个问题。
同时，目前基于深度学习模型对零件进行缺陷检测时，经常会导致零件缺陷检测过程中漏检和误检的情况发生。其中，导致发生缺陷检测的漏检和误检的原因，主要是在针对待检测零件的图片中，背景区域的噪声和零件缺陷存在相似性，以及零件区域中零件的某些结构与缺陷存在相似性所导致，而上述两种相似性均是目前基于深度学习的零件缺陷检测模型进一步实现性能提升的瓶颈。
可见，如何降低零件缺陷检测过程中漏检和误检的情况发生的概率，从而改善零件缺陷检测结果的准确性，是目前工业制造技术领域亟需解决的难题。
基于上述现象，提出本发明零件缺陷的检测方法的各实施例。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
第一实施例：请参照图2，图2为本发明零件缺陷的检测方法第一实施例的流程示意图。本发明提供的零件缺陷的检测方法，包括以下步骤：
步骤S100，获取待检测零件的图片数据。
终端对待检测零件进行扫描，获取与该待检测零件对应的图片数据，以使终端后续可针对该图片数据进行零件缺陷检测。
步骤S200，调用预设零件缺陷检测模型针对所述图片数据型进行背景分割检测和缺陷分割检测。
需要说明的是，在本实施例中，预设零件缺陷检测模型为用户预先通过输入零件样本的图片数据以及标签值训练得到的、用于检测零件缺陷的模型，并且该预设零件缺陷检测模型具备对待检测零件对应的图片数据分别进行背景分割检测和缺陷分割检测的功能。
终端在获取待检测零件对应的图片数据后，调用用户预先通过输入零件样本的图片数据以及标签值训练得到的、用于检测零件缺陷的模型针对该图片数据进行背景分割检测和缺陷分割检测；其中，背景分割检测用于辨别图片数据中的零件区域与背景区域，缺陷分割检测用于辨别图片数据中零件缺陷所属的缺陷种类。
具体地，例如，终端调用预设零件缺陷检测模型中的缺陷分割分支输出K个与零件样本的图片数据同等大小的矩阵，每个矩阵对应一个缺陷类型，以矩阵每个位置的值是接近0还是接近1，判断该图片数据的对应位置是否属于对应类型的缺陷；以及，终端调用预设零件缺陷检测模型中的背景分割分支输出一个与零件样本的图片数据同等大小的特征图，用来判断该图片数据的对应位置属于零件区域还是平板区域。
步骤S300，将进行所述背景分割检测得到的第一检测结果，与进行所述缺陷分割检测得到的第二检测结果进行比对分析，得到实际检测结果。
终端在得到用于辨别图片数据中的零件区域与背景区域的第一检测结果，以及用于辨别图片数据中零件缺陷所属的缺陷种类的第二检测结果后，将第一检测结果和第二检测结果结合并进行比对分析，以对第二检测结果中将背景区域的特征误检为零件缺陷的检测情况进行改善，从而得到针对该图片数据进行零件缺陷检测的实际检测结果。
在本实施例中，通过终端对待检测零件进行扫描，获取与该待检测零件对应的图片数据，以使终端后续可针对该图片数据进行零件缺陷检测；终端在获取待检测零件对应的图片数据后，调用用户预先通过输入零件样本的图片数据以及标签值训练得到的、用于检测零件缺陷的模型针对该图片数据进行背景分割检测和缺陷分割检测；其中，背景分割检测用于辨别图片数据中的零件区域与背景区域，缺陷分割检测用于辨别图片数据中零件缺陷所属的缺陷种类；终端在得到用于辨别图片数据中的零件区域与背景区域的第一检测结果，以及用于辨别图片数据中零件缺陷所属的缺陷种类的第二检测结果后，将第一检测结果和第二检测结果结合并进行比对分析，以对第二检测结果中将背景区域的特征误检为零件缺陷的检测情况进行改善，从而得到针对该图片数据进行零件缺陷检测的实际检测结果。
本发明通过终端获取待检测零件的图片数据，然后针对待检测零件的图片数据调用预设零件缺陷检测模型进行提取特征，并对提取特征后的图片数据分别进行用于识别零件区域与背景区域的背景分割检测，得到第一检测结果，以及进行用于识别待检测零件的缺陷类型的缺陷分割检测，得到第二检测结果，并将第一检测结果与第二检测结果进行比对分析，从而得到最终用于评价分析待检测零件存在的缺陷情况的实际检测结果。
如此，本发明提供的零件缺陷的检测方法能够通过结合缺陷分割检测结果与背景分割检测结果进行分析比对，增强了预设零件缺陷检测模型对零件结构和缺陷的辨别能力，降低了零件缺陷检测过程中漏检和误检的情况发生的概率，提高了零件缺陷检测结果的准确性。
进一步地，基于上述零件缺陷的检测方法第一实施例，提出本发明零件缺陷的检测方法的第二实施例。
在本发明零件缺陷的检测方法的第二实施例中，所述零件缺陷的检测方法还包括：
步骤S400，采集零件样本的待训练图片数据，将所述待训练图片数据和所述零件样本对应的标签值作为模型输入，并根据所述模型输入训练得到预设零件缺陷检测模型。
需要说明的是，在本实施例中，零件样本为用户用于训练预设零件缺陷检测模型的零件，该零件样本对应的标签值为用户根据该零件样本的实际缺陷情况在待训练图像数据中提前标注的缺陷种类。
终端采集零件样本的待训练图片数据，将该用于训练零件缺陷检测模型的待训练图片数据，以及该零件样本对应的标签值作为模型输入，从而训练得到对应的预设零件缺陷检测模型。
进一步地，在一种可行的实施例中，上述步骤S400，包括：
步骤S401，提取所述待训练图片数据的特征，以根据所述特征进行模型训练。
终端针对用于训练零件缺陷检测模型的待训练图片数据进行特征提取，以供后续根据该特征进行模型训练。
具体地，例如，终端在采集用于训练零件缺陷检测模型的待训练图片数据后，针对该待训练图片数据提取包括色彩和纹理等特征，以供进一步针对该特征进行模型训练。
步骤S402，基于预设分割检测函数针对所述特征进行检测得到损失分数。
需要说明的是，在本实施例中，预设分割检测函数为零件缺陷检测模型针对图片数据进行零件缺陷检测时所使用的函数。
终端在对待训练图片数据进行特征提取后，基于用户预先设定的、零件缺陷检测模型针对图片数据进行零件缺陷检测时所使用的函数针对经过特征提取的待训练图片数据进行缺陷检测，以获取用于评价缺陷检测结果与实际缺陷相符程度的损失分数。
具体地，例如，终端使用背景分割函数，具体为：
Figure 119671DEST_PATH_IMAGE001
其中，网络在像素点x处的预测值为
Figure 606147DEST_PATH_IMAGE002
像素点x的真实标签为yb（x），常数平衡因子为β；
以及，缺陷分割函数，具体为：
Figure 428610DEST_PATH_IMAGE003
其中，网络在像素点x处第i通道的预测值为
Figure 695643DEST_PATH_IMAGE004
像素点x在第i通道对应的真实标签为yd，i（x），类别平衡因子为αi；
终端基于上述背景分割函数和上述缺陷分割函数得到总损失函数，具体为：
Figure 596341DEST_PATH_IMAGE005
其中，N为像素点总数，λ为动态权重系数，随着训练迭代次数的增加，逐渐变小，筛选分割分支的损失，去除位于背景区域样本的损失；
上述总损失函数涉及的动态权重系数λ的更新公式具体为：
Figure 265219DEST_PATH_IMAGE006
其中，I表示总迭代次数，iter代表当前迭代次数。
如此，终端基于该总损失分数得到用于评价缺陷检测结果与实际缺陷相符程度的损失分数。
步骤S403，若所述损失分数收敛，则结束模型训练的过程得到所述预设零件缺陷检测模型。
终端在获取用于评价缺陷检测结果与实际缺陷相符程度的损失分数后，若该损失分数收敛至固定值，则终端结束模型的训练过程，并且保存得到该训练过程对应的预设零件缺陷检测模型。
进一步地，在一种可行的实施例中，在上述步骤S402之后，还包括：
步骤S404，若所述损失分数不收敛，则针对未完成训练过程的预设零件缺陷检测模型进行梯度反向传播。
终端在对背景分割函数和缺陷分割函数进行动态加权求和后，若得到的损失分数并未收敛趋于固定值，则终端判定针对所述预设零件缺陷检测模型的训练过程存在缺陷，并基于零件样本对应的标签值针对该预设零件缺陷检测模型进行梯度反向传播，以更新训练模型的训练参数，然后重新对该预设零件缺陷检测模型进行训练，直至最终得到的损失分数收敛趋于固定值。
在本实施例中，通过终端终端针对用于训练零件缺陷检测模型的待训练图片数据进行特征提取，以供后续根据该特征进行模型训练；终端在对待训练图片数据进行特征提取后，基于用户预先设定的、零件缺陷检测模型针对图片数据进行零件缺陷检测时所使用的函数针对经过特征提取的待训练图片数据进行缺陷检测，以获取用于评价缺陷检测结果与实际缺陷相符程度的损失分数；终端在获取用于评价缺陷检测结果与实际缺陷相符程度的损失分数后，若该损失分数收敛至固定值，则终端结束模型的训练过程，并且保存得到该训练过程对应的预设零件缺陷检测模型；终端在对背景分割函数和缺陷分割函数进行动态加权求和后，若得到的损失分数并未收敛趋于固定值，则终端判定针对所述预设零件缺陷检测模型的训练过程存在缺陷，并基于零件样本对应的标签值针对该预设零件缺陷检测模型进行梯度反向传播，以更新训练模型的训练参数，然后重新对该预设零件缺陷检测模型进行训练，直至最终得到的损失分数收敛趋于固定值。
如此，本实施例实现了用户自主训练零件缺陷检测模型，并且由于在对预设零件缺陷检测模型的训练过程中，针对背景分割函数和缺陷分割函数进行了动态加权求和，优化了神经网络的学习顺序，使得神经网络在前期着重学习零件的全局和结构特征，中后期在对零件的语义理解基础上更好地进行缺陷分割学习，并达到更优的收敛结果，从而改善了零件缺陷检测模型的性能，克服了现有技术中基于深度学习语义分割的缺陷检测方法，在进行深度学习语义分割模型训练时由于存在严重的样本不均衡，而导致的深度语义分割模型的模型参数难以收敛到最优解的问题。
进一步地，基于上述零件缺陷的检测方法第一实施例，提出本发明零件缺陷的检测方法的第三实施例。
在本发明零件缺陷的检测方法的第三实施例中，上述步骤S401，可以包括：
步骤S4011，针对所述待训练图片数据进行卷积处理得到第一特征图。
需要说明的是，在本实施例中，卷积处理包括普通卷积处理和空洞卷积处理，其中，普通卷积处理是在对待训练图片数据缩放后进行特征提取，而空洞卷积处理则在不涉及对对待训练图片数据缩放的基础上扩大感受野，并进行特征提取。
终端针对待训练图片数据进行普通卷积处理，然后针对经过普通卷积处理的待训练图片数据进行空洞卷积处理，从而完成针对该待训练图片数据的局部特征提取过程，得到第一特征图。
步骤S4012，针对所述第一特征图进行上采样处理得到第二特征图。
需要说明的是，在本实施例中，由于卷积处理用于在对图片进行缩放后提取局部特征，而上采样处理则是将缩放后的图片的尺寸重新还原为原图大小，从而提取全局特征。
终端在获得第一特征图后，针对该第一特征图进行上采样处理，针对该第一特征图还原为缩放前的原图尺寸并进行全局特征提取，得到第二特征图。
步骤S4013，将所述第一特征图与所述第二特征图进行特征融合得到所述待训练图片数据的特征。
终端在获得第一特征图和第二特征图后，针对第一特征图与第二特征图进行特征融合得到待训练图片数据的特征，以供后续针对该特征进行模型训练，强化神经网络对待训练图片数据的特征提取能力，从而完成终端对待训练图片数据的特征提取过程。
在本实施例中，通过终端针对待训练图片数据进行普通卷积处理，然后针对经过普通卷积处理的待训练图片数据进行空洞卷积处理，从而完成针对该待训练图片数据的局部特征提取过程，得到第一特征图；终端在获得第一特征图后，针对该第一特征图进行上采样处理，针对该第一特征图还原为缩放前的原图尺寸并进行全局特征提取，得到第二特征图；终端在获得第一特征图和第二特征图后，针对第一特征图与第二特征图进行特征融合得到待训练图片数据的特征，以供后续针对该特征进行模型训练，强化神经网络对待训练图片数据的特征提取能力，从而完成终端对待训练图片数据的特征提取过程。
如此，本实施例实现了针对待训练图片数据在进行局部特征提取和全局特征提取后，进一步进行特征融合，强化了神经网络对待训练图片数据的特征提取能力，从而改善了预设零件缺陷检测模型的性能。
进一步地，基于上述零件缺陷的检测方法第一实施例，提出本发明零件缺陷的检测方法的第四实施例。
在本发明零件缺陷的检测方法的第四实施例中，在上述步骤S300之后，可以包括：
步骤S500，获取预设缺陷标准，将所述预设缺陷标准与所述实际检测结果进行比对，以判定所述待检测零件是否达到所述预设缺陷标准。
需要说明的是，在本实施例中，预设缺陷标准为用户根据实际需求制定、用于衡量待检测零件是否达到生产合格水平的标准。
终端获取用户根据实际需求制定、用于衡量待检测零件是否达到生产合格水平的标准，并将该标准与实际检测结果进行比对。
具体地，例如，终端获取预设缺陷标准，该预设缺陷标准规定“零件A的气孔缺陷直径必须小于5mm”，而关于零件A的实际检测结果显示：零件A存在直径为7mm的气孔缺陷，则终端判定零件A未能达到该预设缺陷标准，即零件A属于生产不合格水平。
在本实施例中，通过终端获取用户根据实际需求制定、用于衡量待检测零件是否达到生产合格水平的标准，并将该标准与实际检测结果进行比对。
如此，本实施例实现了基于用户的实际生产需求以及实际检测结果，针对待检测零件的生产水平进行判定，进一步提高了本发明零件缺陷的检测方法的实用性。
此外，请参照图3，本发明实施例还提出一种零件缺陷的检测装置，本发明零件缺陷的检测装置包括：
获取模块，用于获取待检测零件的图片数据；
检测模块，用于调用预设零件缺陷检测模型针对所述图片数据型进行背景分割检测和缺陷分割检测；
分析模块，用于将进行所述背景分割检测得到的第一检测结果，与进行所述缺陷分割检测得到的第二检测结果进行比对分析，得到实际检测结果。
优选地，零件缺陷的检测装置，还包括：
训练模块，用于采集零件样本的待训练图片数据，将所述待训练图片数据和所述零件样本对应的标签值作为模型输入，并根据所述模型输入训练得到预设零件缺陷检测模型。
优选地，训练模块，包括：
提取单元，用于提取所述待训练图片数据的特征，以根据所述特征进行模型训练；
分析单元，用于基于预设分割检测函数针对所述特征进行检测得到损失分数。
生成单元，用于若所述损失分数收敛，则结束模型训练的过程得到所述预设零件缺陷检测模型。
优选地，分析单元，包括：
求和单元，用于针对所述背景分割函数与所述缺陷分割函数进行动态加权求和生成总损失函数，并基于所述总损失函数得到损失分数，其中，所述损失分数用于评价所述预设零件缺陷检测模型针对所述零件样本进行检测得到检测结果的准确性。
优选地，训练模块，还包括：
反向传播单元，用于若所述损失分数不收敛，则针对未完成训练过程的预设零件缺陷检测模型进行梯度反向传播。
优选地，提取单元，包括：
卷积单元，用于针对所述待训练图片数据进行卷积处理得到第一特征图；
上采样单元，用于针对所述第一特征图进行上采样处理得到第二特征图；
特征融合单元，用于将所述第一特征图与所述第二特征图进行特征融合得到所述待训练图片数据的特征。
优选地，零件缺陷的检测装置，还包括：
比对模块，用于获取预设缺陷标准，将所述预设缺陷标准与所述实际检测结果进行比对得到比对结果；以及，根据所述比对结果判定所述待检测零件是否达到所述预设缺陷标准。
此外，本发明实施例还提出一种终端设备，该终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的零件缺陷的检测程序，该零件缺陷的检测程序被所述处理器执行时实现如上述中的零件缺陷的检测方法的步骤。
其中，在所述处理器上运行的零件缺陷的检测程序被执行时所实现的步骤可参照本发明零件缺陷的检测方法的各个实施例，此处不再赘述。
此外，本发明实施例还提出一种存储介质，应用于计算机，该存储介质可以为非易失性计算机可读存储介质，该存储介质上存储有零件缺陷的检测程序，所述零件缺陷的检测程序被处理器执行时实现如上所述的零件缺陷的检测方法的步骤。
其中，在所述处理器上运行的零件缺陷的检测程序被执行时所实现的步骤可参照本发明零件缺陷的检测方法的各个实施例，此处不再赘述。
此外，本发明实施例还提出一种计算机程序产品，该计算机程序产品上包括零件缺陷的检测程序，所述零件缺陷的检测程序被处理器执行时实现如上所述的零件缺陷的检测方法的步骤。
其中，在所述处理器上运行的零件缺陷的检测程序被执行时所实现的步骤可参照本发明零件缺陷的检测方法的各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台用于检测零件缺陷的终端设备执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种零件缺陷的检测方法，其特征在于，所述零件缺陷的检测方法包括以下步骤：
获取待检测零件的图片数据；
调用预设零件缺陷检测模型针对所述图片数据型进行背景分割检测和缺陷分割检测；
将进行所述背景分割检测得到的第一检测结果，与进行所述缺陷分割检测得到的第二检测结果进行比对分析，得到实际检测结果。
2.如权利要求1所述的零件缺陷的检测方法，其特征在于，所述零件缺陷的检测方法还包括：
采集零件样本的待训练图片数据，将所述待训练图片数据和所述零件样本对应的标签值作为模型输入，并根据所述模型输入训练得到预设零件缺陷检测模型。
3.如权利要求2所述的零件缺陷的检测方法，其特征在于，所述根据所述模型输入训练得到预设零件缺陷检测模型的步骤，包括：
提取所述待训练图片数据的特征，以根据所述特征进行模型训练；
基于预设分割检测函数针对所述特征进行检测得到损失分数；
若所述损失分数收敛，则结束模型训练的过程得到所述预设零件缺陷检测模型。
4.如权利要求3所述的零件缺陷的检测方法，其特征在于，所述预设分割检测函数包括背景分割函数与缺陷分割函数，
所述基于预设分割检测函数针对所述特征进行检测得到损失分数的步骤，包括：
针对所述背景分割函数与所述缺陷分割函数进行动态加权求和生成总损失函数，并基于所述总损失函数得到损失分数，其中，所述损失分数用于评价所述预设零件缺陷检测模型针对所述零件样本进行检测得到检测结果的准确性。
5.如权利要求4所述的零件缺陷的检测方法，其特征在于，在所述基于预设分割检测函数针对所述特征进行检测得到损失分数的步骤之后，还包括：
若所述损失分数不收敛，则针对未完成训练过程的预设零件缺陷检测模型进行梯度反向传播。
6.如权利要求3所述的零件缺陷的检测方法，其特征在于，所述提取所述待训练图片数据的特征的步骤，包括：
针对所述待训练图片数据进行卷积处理得到第一特征图；
针对所述第一特征图进行上采样处理得到第二特征图；
将所述第一特征图与所述第二特征图进行特征融合得到所述待训练图片数据的特征。
7.如权利要求1所述的零件缺陷的检测方法，其特征在于，在所述得到实际检测结果的步骤之后，包括：
获取预设缺陷标准，将所述预设缺陷标准与所述实际检测结果进行比对得到比对结果；
根据所述比对结果判定所述待检测零件是否达到所述预设缺陷标准。
8.一种零件缺陷的检测装置，其特征在于，所述零件缺陷的检测装置包括：
获取模块，用于获取待检测零件的图片数据；
检测模块，用于调用预设零件缺陷检测模型针对所述图片数据型进行背景分割检测和缺陷分割检测；
分析模块，用于将进行所述背景分割检测得到的第一检测结果，与进行所述缺陷分割检测得到的第二检测结果进行比对分析，得到实际检测结果。
9.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的零件缺陷的检测程序，所述零件缺陷的检测程序被所述处理器执行时实现如权利要求1至7中任一项所述的零件缺陷的检测方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的零件缺陷的检测方法的步骤。
CN202111090323.0A 2021-09-17 2021-09-17 零件缺陷的检测方法、装置、终端设备及存储介质 Pending CN113538436A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111090323.0A CN113538436A (zh) 2021-09-17 2021-09-17 零件缺陷的检测方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111090323.0A CN113538436A (zh) 2021-09-17 2021-09-17 零件缺陷的检测方法、装置、终端设备及存储介质

Publications (1)

Publication Number Publication Date
CN113538436A true CN113538436A (zh) 2021-10-22

Family

ID=78093362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111090323.0A Pending CN113538436A (zh) 2021-09-17 2021-09-17 零件缺陷的检测方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN113538436A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463284A (zh) * 2022-01-14 2022-05-10 阿丘机器人科技(苏州)有限公司 Pcb缺陷检测方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232675A (zh) * 2019-03-28 2019-09-13 昆明理工大学 一种工业环境下的纹理表面缺陷检测与分割装置及方法
CN110390228A (zh) * 2018-04-20 2019-10-29 北京四维图新科技股份有限公司 基于神经网络的交通标志图片识别方法、装置及存储介质
CN110400315A (zh) * 2019-08-01 2019-11-01 北京迈格威科技有限公司 一种缺陷检测方法、装置及***
CN111127571A (zh) * 2019-12-03 2020-05-08 歌尔股份有限公司 一种小样本缺陷分类方法和装置
CN111340796A (zh) * 2020-03-10 2020-06-26 创新奇智(成都)科技有限公司 一种缺陷检测方法、装置、电子设备及存储介质
CN111754513A (zh) * 2020-08-07 2020-10-09 腾讯科技（深圳）有限公司 产品表面缺陷分割方法、缺陷分割模型学习方法及装置
CN112734690A (zh) * 2020-12-17 2021-04-30 郑州金惠计算机***工程有限公司 一种表面缺陷检测方法、装置及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390228A (zh) * 2018-04-20 2019-10-29 北京四维图新科技股份有限公司 基于神经网络的交通标志图片识别方法、装置及存储介质
CN110232675A (zh) * 2019-03-28 2019-09-13 昆明理工大学 一种工业环境下的纹理表面缺陷检测与分割装置及方法
CN110400315A (zh) * 2019-08-01 2019-11-01 北京迈格威科技有限公司 一种缺陷检测方法、装置及***
CN111127571A (zh) * 2019-12-03 2020-05-08 歌尔股份有限公司 一种小样本缺陷分类方法和装置
CN111340796A (zh) * 2020-03-10 2020-06-26 创新奇智(成都)科技有限公司 一种缺陷检测方法、装置、电子设备及存储介质
CN111754513A (zh) * 2020-08-07 2020-10-09 腾讯科技（深圳）有限公司 产品表面缺陷分割方法、缺陷分割模型学习方法及装置
CN112734690A (zh) * 2020-12-17 2021-04-30 郑州金惠计算机***工程有限公司 一种表面缺陷检测方法、装置及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
沈晓海 等: "基于多任务深度学习的铝材表面缺陷检测", 《激光与光电子学进展》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463284A (zh) * 2022-01-14 2022-05-10 阿丘机器人科技(苏州)有限公司 Pcb缺陷检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN113743514B (zh) 一种基于知识蒸馏的目标检测方法及目标检测终端
CN109993102B (zh) 相似人脸检索方法、装置及存储介质
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN112949783B (zh) 一种基于改进U-Net神经网络的道路裂缝检测方法
CN111797326A (zh) 一种融合多尺度视觉信息的虚假新闻检测方法及***
CN114155244B (zh) 缺陷检测方法、装置、设备及存储介质
CN108304328B (zh) 一种众包测试报告的文本描述生成方法、***及装置
CN111651361A (zh) 一种基于可视化页面的无脚本自动化测试方法
CN116052193B (zh) Rpa界面动态表格的拾取和匹配方法及***
KR102313215B1 (ko) 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법
CN113780423A (zh) 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型
CN113487610A (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN113538436A (zh) 零件缺陷的检测方法、装置、终端设备及存储介质
CN114429577B (zh) 一种基于高置信标注策略的旗帜检测方法及***及设备
CN115063664A (zh) 用于工业视觉检测的模型学习方法、训练方法及***
CN113658108A (zh) 一种基于深度学习的玻璃缺陷检测方法
CN112966964A (zh) 基于设计需求的产品匹配方法、装置、设备及存储介质
CN113743443A (zh) 一种图像证据分类和识别方法及装置
CN117058716A (zh) 基于图像预融合的跨域行为识别方法及装置
CN111860601A (zh) 预测大型真菌种类的方法及装置
CN109445306B (zh) 一种基于规则配置解析的关联参数自动判读方法及***
CN110879821A (zh) 评分卡模型衍生标签生成方法、装置、设备及存储介质
CN114359300B (zh) 一种图像分割模型的优化方法、装置、***及存储介质
CN115661542A (zh) 一种基于特征关系迁移的小样本目标检测方法
Tang et al. Design and implementation of improved CNN activation function

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211022