CN116563641A - 一种基于小目标检测的表面缺陷识别方法及*** - Google Patents

一种基于小目标检测的表面缺陷识别方法及*** Download PDF

Info

Publication number
CN116563641A
CN116563641A CN202310624084.5A CN202310624084A CN116563641A CN 116563641 A CN116563641 A CN 116563641A CN 202310624084 A CN202310624084 A CN 202310624084A CN 116563641 A CN116563641 A CN 116563641A
Authority
CN
China
Prior art keywords
defect
module
sets
recognition
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310624084.5A
Other languages
English (en)
Inventor
蒋淦华
郭宏
李志翔
甘仿
吴阳建
李超前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi University Of Software Technology
Original Assignee
Jiangxi University Of Software Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi University Of Software Technology filed Critical Jiangxi University Of Software Technology
Priority to CN202310624084.5A priority Critical patent/CN116563641A/zh
Publication of CN116563641A publication Critical patent/CN116563641A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于小目标检测的表面缺陷识别方法及***，涉及缺陷识别技术领域，该方法包括：获得实时图像集合；进行特征提取，获得图像特征集合；进行小目标识别，根据识别结果获得多个识别区域集合；使用softmax损失函数对所述多个识别区域集合进行损失分析，根据损失分析结果中的损失值判断是否满足预设阈值，若满足，将所述多个识别区域集合设为目标区域集合；获得多个目标区域视频；输出多个表面缺陷集合；获得表面缺陷识别结果集合，解决了现有技术中存在由于对缺陷图像的处理效果不佳，进而导致微小缺陷难以被检出，缺陷识别准确性不佳的技术问题，达到提高缺陷识别准确率的技术效果。

Description

一种基于小目标检测的表面缺陷识别方法及***
技术领域
本发明涉及缺陷识别技术领域，具体涉及一种基于小目标检测的表面缺陷识别方法及***。
背景技术
缺陷检测是生产制造业中非常重要的一个程序，也可用于设备的维护管理，通过进行缺陷识别，可以有效防止不合格产品的输出，同时对于设备保养维护具有重要参考意义。绝大部分的缺陷识别依赖于图像处理，但是，有时候缺陷区域面积过小，导致进行图像处理后，缺陷难以被检测出来。
综上，现有技术中存在由于对缺陷图像的处理效果不佳，进而导致微小缺陷难以被检出，缺陷识别准确性不佳的技术问题。
发明内容
本发明提供了一种基于小目标检测的表面缺陷识别方法及***，用以解决现有技术中存在由于对缺陷图像的处理效果不佳，进而导致微小缺陷难以被检出，缺陷识别准确性不佳的技术问题。
根据本发明的第一方面，提供了一种基于小目标检测的表面缺陷识别方法，包括：对目标检测对象的实时图像进行采集，获得实时图像集合；将所述实时图像集合进行预处理，并使用特征提取模型对预处理后的实时图像集合进行特征提取，获得图像特征集合；使用二分类器对所述图像特征集合进行小目标识别，根据识别结果获得多个识别区域集合；使用softmax损失函数对所述多个识别区域集合进行损失分析，根据损失分析结果中的损失值判断是否满足预设阈值，若满足，将所述多个识别区域集合设为目标区域集合；在预设时间窗口内对目标区域集合进行视频采集，获得多个目标区域视频；将所述多个目标区域视频输入缺陷识别模型中的缺陷识别模块中，输出多个表面缺陷集合，其中，所述缺陷识别模块基于slowfast网络构建；并将所述多个表面缺陷集合输入缺陷识别模型中的缺陷匹配模块，获得表面缺陷识别结果集合。
根据本发明的第二方面，提供了一种基于小目标检测的表面缺陷识别***，包括：实时图像采集模块，所述实时图像采集模块用于对目标检测对象的实时图像进行采集，获得实时图像集合；特征提取模块，所述特征提取模块用于将所述实时图像集合进行预处理，并使用特征提取模型对预处理后的实时图像集合进行特征提取，获得图像特征集合；小目标识别模块，所述小目标识别模块用于使用二分类器对所述图像特征集合进行小目标识别，根据识别结果获得多个识别区域集合；损失分析模块，所述损失分析模块用于使用softmax损失函数对所述多个识别区域集合进行损失分析，根据损失分析结果中的损失值判断是否满足预设阈值，若满足，将所述多个识别区域集合设为目标区域集合；视频采集模块，所述视频采集模块用于在预设时间窗口内对目标区域集合进行视频采集，获得多个目标区域视频；表面缺陷集合输出模块，所述表面缺陷集合输出模块用于将所述多个目标区域视频输入缺陷识别模型中的缺陷识别模块中，输出多个表面缺陷集合，其中，所述缺陷识别模块基于slowfast网络构建；缺陷识别结果获取模块，所述缺陷识别结果获取模块用于并将所述多个表面缺陷集合输入缺陷识别模型中的缺陷匹配模块，获得表面缺陷识别结果集合。
根据本发明采用的一种基于小目标检测的表面缺陷识别方法，本发明对目标检测对象的实时图像进行采集，获得实时图像集合；将所述实时图像集合进行预处理，并使用特征提取模型对预处理后的实时图像集合进行特征提取，获得图像特征集合；使用二分类器对所述图像特征集合进行小目标识别，根据识别结果获得多个识别区域集合；使用softmax损失函数对所述多个识别区域集合进行损失分析，根据损失分析结果中的损失值判断是否满足预设阈值，若满足，将所述多个识别区域集合设为目标区域集合；在预设时间窗口内对目标区域集合进行视频采集，获得多个目标区域视频；将所述多个目标区域视频输入缺陷识别模型中的缺陷识别模块中，输出多个表面缺陷集合，其中，所述缺陷识别模块基于slowfast网络构建；并将所述多个表面缺陷集合输入缺陷识别模型中的缺陷匹配模块，获得表面缺陷识别结果集合，达到提高图像处理效果，进而提高缺陷识别准确性的技术效果。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其他特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种基于小目标检测的表面缺陷识别方法的流程示意图；
图2为本发明实施例中获得图像特征集合的流程示意图；
图3为本发明实施例中获得缺陷识别层输出的表面缺陷集合的流程示意图；
图4为本发明实施例提供的一种基于小目标检测的表面缺陷识别***的结构示意图。
附图标记说明：实时图像采集模块11，特征提取模块12，小目标识别模块13，损失分析模块14，视频采集模块15，表面缺陷集合输出模块16，缺陷识别结果获取模块17。
具体实施方式
以下结合附图对本发明的示范性实施例作出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
为了解决现有技术中存在由于对缺陷图像的处理效果不佳，进而导致微小缺陷难以被检出，缺陷识别准确性不佳的技术问题，本发明的发明人经过创造性的劳动，得到了本发明的一种基于小目标检测的表面缺陷识别方法及***。
实施例一
图1为本发明实施例提供的一种基于小目标检测的表面缺陷识别方法图，如图1所示，所述方法包括：
步骤S100：对目标检测对象的实时图像进行采集，获得实时图像集合；
具体而言，目标检测对象是指待进行表面缺陷检测的任一类型的元件，比如汽车零部件、钢材、管道等，通过智能摄像头等设备对目标检测对象的实时图像进行采集，获得实时图像集合。
步骤S200：将所述实时图像集合进行预处理，并使用特征提取模型对预处理后的实时图像集合进行特征提取，获得图像特征集合；
其中，如图2所示，本发明实施例步骤S200包括：
步骤S210：基于卷积神经网络构建所述特征提取模型，所述特征提取模型包含输入层、纹理特征分析层、形状特征分析层和输出层；
步骤S220：将所述预处理后的实时图像集合输入所述特征提取模型中的纹理特征分析层获得纹理特征向量集合；
步骤S230：将所述预处理后的实时图像集合输入所述特征提取模型中的形状特征分析层获得形状特征向量集合；
步骤S240：根据所述纹理特征向量集合和所述形状特征向量集合获得图像特征集合。
具体而言，将所述实时图像集合进行预处理，预处理包括去噪、平滑和增强等操作，比如中值滤波、均值滤波等。进而使用特征提取模型对预处理后的实时图像集合进行特征提取，获得图像特征集合，特征提取模型是机器学习中的卷积神经网络模型，通过获得历史数据进行监督训练、验证获得。特征是指图像中具有的可识别物，对可识别物进行特征提取，得到图像特征集合。
具体地，基于卷积神经网络构建所述特征提取模型，具体可以通过对历史数据中的特征进行标记，从而作为训练数据对特征提取模型进行训练、测试，获得符合要求的特征提取模型。所述特征提取模型包含输入层、纹理特征分析层、形状特征分析层和输出层，纹理特征分析层和形状特征分析层并行连接，也就是说，需要将所述预处理后的实时图像集合分别输入所述特征提取模型中的纹理特征分析层和形状特征分析层，获得纹理特征向量集合和形状特征向量集合，纹理特征是一种全局特征，反映的是图像中同质现象的视觉特征，体现物体表面的具有缓慢变换或周期性变化的表面组织结构排列属性，纹理特征向量可通过像素及其周围空间邻域的灰度或者像素分布来表现；形状特征向量可以用可识别物的轮廓来表示，实时图像集合中包含多幅图像，且每一幅图像中可能有多个可识别物，由此可以得到多个纹理特征向量组成纹理特征向量集合，得到多个形状特征向量组成形状特征向量集合。根据所述纹理特征向量集合和所述形状特征向量集合获得图像特征集合，图像特征集合包含形状和外观纹理，通过获取图像特征集合为后续的缺陷识别提供数据支持。
步骤S300：使用二分类器对所述图像特征集合进行小目标识别，根据识别结果获得多个识别区域集合；
具体而言，二分类器只能输出两种结果，如只能输出0和1，在本实施例中，用于识别小目标和大目标，具体地，可以根据所述图像特征集合中的形状特征向量集合，对特征的形状轮廓面积设置阈值，轮廓面积超过阈值的图像特征即为大目标，轮廓面积小于等于该阈值的图像特征即为小目标。小目标是指图像中的细小的物体，在将细小的图像放大时可能会导致图像变模糊，分辨率不高，因此小目标的图像灰度值或者像素值的分布与大目标不同，基于此，设置一个像素阈值或者灰度阈值，通过像素阈值或者灰度阈值作为二分类器的分类标准，对所述图像特征集合进行小目标识别，根据识别结果获得多个识别区域集合，多个识别区域集合包括多个小目标和多个大目标。
步骤S400：使用softmax损失函数对所述多个识别区域集合进行损失分析，根据损失分析结果中的损失值判断是否满足预设阈值，若满足，将所述多个识别区域集合设为目标区域集合；
具体而言，softmax损失函数是基于过函数-log构建的，若正确分类的概率值越接近于1，则说明分类效果很好，对应的损失函数-log是接近于0的；若正确分类的概率越接近于0，则说明分类效果很差，对应的损失函数-log就越大。也就是说，如果所述多个识别区域集合中识别正确的区域越多，对应的损失值应该越小，越接近0越好。
其中，Softmax损失函数为：
其中，G(X)为损失值，xi为识别区域，n为第i个识别区域集合中识别区域的个数，n为大于等于1的整数，p(xi)为第i个识别区域中识别成功的区域数量与第i个识别区域集合中识别区域的总数的比值。
通俗地讲，所述多个识别区域集合代表多个小目标，G(X)即损失值越接近于0，说明小目标的识别准确率越高，可以设定一个阈值，该阈值即为预设阈值，也就是说，进行小目标识别时，难以做到完全准确地识别出所有小目标，或者识别出的小目标可能存在错误，但是只要保证准确率达到一定高度，不影响后续的缺陷识别准确度。进而根据损失分析结果，判断损失值G(X)是否满足预设阈值，若满足，说明小目标识别准确率符合要求，将所述多个识别区域集合设为目标区域集合，如果不满足，需要重新进行识别，直到损失值满足预设阈值。
步骤S500：在预设时间窗口内对目标区域集合进行视频采集，获得多个目标区域视频；
具体而言，预设时间窗口指预设的一段时间，可以自行设置，在该段时间内对目标区域集合中的每一个识别区域进行视频采集，获得多个目标区域视频。
步骤S600：将所述多个目标区域视频输入缺陷识别模型中的缺陷识别模块中，输出多个表面缺陷集合，其中，所述缺陷识别模块基于slowfast网络构建；
其中，如图3所示，本发明实施例步骤S600包括：
步骤S610：对所述多个目标区域视频按照第一预设步长进行一次画面提取，获得第一画面集合，所述第一预设步长是预先设置进行一次画面提取时每秒提取的画面帧数；
步骤S620：对所述多个目标区域视频按照第二预设步长进行二次画面提取，并进行池化处理，获得第二画面集合，其中，所述第二预设步长是预先设置进行二次画面提取时每秒提取的画面帧数，所述第二预设步长大于第一预设步长；
步骤S630：以slowfast网络为基础框架，构建所述缺陷识别模块，其中，所述缺陷识别模块包括slow分析通道、fast分析通道和缺陷识别层；
步骤S640：将所述第一画面集合输入所述slow分析通道，将所述第二画面集合输入所述fast分析通道，并获得所述缺陷识别层输出的所述表面缺陷集合。
其中，本发明实施例步骤S630包括：
骤S631：基于多个目标检测对象在过去一段时间内的图像，获得多个样本第一画面集合和多个样本第二画面集合；
骤S632：遍历所述多个样本第一画面集合和多个样本第二画面集合识别每个样本对应的表面缺陷，从而获得多个样本表面缺陷集合；
骤S633：以所述多个样本第一画面集合和多个样本第二画面集合和多个样本表面缺陷集合作为模块样本数据，基于所述模块样本数据获得所述缺陷识别模块。
其中，本发明实施例步骤S633包括：
步骤S6331：以所述slowfast网络为基础框架，生成slow分析通道、fast分析通道和缺陷识别层，其中，所述slow分析通道和fast分析通道为全卷积层，所述缺陷识别层是全连接层，缺陷识别层与slow分析通道和fast分析通道进行连接；
步骤S6332：通过按照预设划分比例对所述模块样本数据进行划分标注，从而获得模块训练数据、模块验证数据和模块测试数据；
步骤S6333：使用模块训练数据对slow分析通道、fast分析通道和缺陷识别层进行监督训练，使用模块验证数据和模块测试数据分别对slow分析通道、fast分析通道和缺陷识别层进行验证测试，当满足预设条件后，获得所述缺陷识别模块。
具体而言，将所述多个目标区域视频输入缺陷识别模型中的缺陷识别模块中，输出多个表面缺陷集合，其中，所述缺陷识别模块基于slowfast网络构建，slowfast网络使用了一个慢速高分辨率CNN(slow通道)来分析视频中的静态内容，同时使用一个快速低分辨率CNN(fast通道)来分析视频中的动态内容，也就是说，随着时间的变化，缺陷可能发生变化，但是短时间内很难看到变化，因此需要采集视频进行表面缺陷的识别。
具体地，将所述多个目标区域视频输入缺陷识别模型中的缺陷识别模块中，输出多个表面缺陷集合的过程如下：对所述多个目标区域视频按照第一预设步长进行一次画面提取，获得第一画面集合，所述第一预设步长是预先设置进行一次画面提取时每秒提取的画面帧数，第一预设步长设置较小，例如为每秒提取3帧的图像，第一画面集合内的图像较少，分辨率比较高，里面包含的细节较多，可以分辨小目标。
对所述多个目标区域视频按照第二预设步长进行二次画面提取，并进行池化处理，获得第二画面集合，其中，所述第二预设步长是预先设置进行二次画面提取时每秒提取的画面帧数，所述第二预设步长大于第一预设步长，根据所述第二预设步长对所述多个目标区域视频进行图像提取处理，并对图像提取结果进行下采样处理，所述下采样处理用于降低图像分辨率，生成对应图像的缩略图，其操作方法可利用现有技术实现，获得第二画面集合。第二预设步长相较于第一预设步长，适当提高一些，例如为提取每秒15帧的图像，第二画面集合内的图像较多，但经过池化处理，分辨率比较低，里面包含的细节较少，可以有效识别出大目标。
以slowfast网络为基础框架，构建所述缺陷识别模块，所述SlowFast神经网络由Slow通道和Fast通道构成，其中将Fast通道的结果进行数据变换后，可通过侧向连接送入Slow通道，并与Slow通道的数据相融合，由此构建所述缺陷识别模块，述缺陷识别模块包括slow分析通道、fast分析通道和缺陷识别层。将所述第一画面集合输入所述slow分析通道，将所述第二画面集合输入所述fast分析通道，并获得所述缺陷识别层输出的所述表面缺陷集合。slow分析通道用于根据第一画面集合内分辨率较高的图像，识别图像内缺陷区域的细节，例如缺陷的位置等，fast分析通道用于根据第二画面集合内分辨率较低，但数量较多的图像，识别缺陷转移的情况，例如目标检测对象内的缺陷是否接近，如此，输出当前缺陷位置的识别结果，提高缺陷识别准确度。
具体地，构建所述缺陷识别模块的过程如下：基于多个目标检测对象在过去一段时间内的图像，获得多个样本第一画面集合和多个样本第二画面集合，所述多个目标检测对象与步骤S100中的目标检测对象的型号相同。遍历所述多个样本第一画面集合和多个样本第二画面集合识别每个样本对应的表面缺陷，从而获得多个样本表面缺陷集合，以所述多个样本第一画面集合和多个样本第二画面集合和多个样本表面缺陷集合作为模块样本数据，基于所述模块样本数据训练所述缺陷识别模块。
基于所述模块样本数据获得所述缺陷识别模块的过程如下：以所述slowfast网络为基础框架，生成slow分析通道、fast分析通道和缺陷识别层，其中，所述slow分析通道和fast分析通道为全卷积层，所述缺陷识别层是全连接层，缺陷识别层与slow分析通道和fast分析通道进行连接，其中将fast分析通道的结果进行数据变换后，可通过侧向连接送入slow分析通道，并与slow分析通道的数据相融合。并按照预设划分比例将所述模块样本数据划分为训练数据集、测试数据集和验证数据集，并对划分结果进行标注，例如可将所述模块样本数据按照70％、20％、10％的比例划分为模块训练数据、模块验证数据和模块测试数据。通过所述模块训练数据对slow分析通道、fast分析通道和缺陷识别层进行监督训练，首先将所述模块训练数据分为多个批次的样本数据，通过每一批次的样本数据对模型进行监督训练后，然后对模型参数进行更新，利用下一批次的训练数据对模型进行监督训练，预设训练准确率指标，训练准确率指标即为预设条件，当模型输出结果准确率大于训练准确率指标时，停止迭代训练，通过模块测试数据对slow分析通道、fast分析通道和缺陷识别层进行测试训练，当模型输出结果准确率大于预设条件时，通过所述模块验证数据对模型进行验证训练，当模型输出结果准确率大于预设条件时，获得slow分析通道、fast分析通道和缺陷识别层。
步骤S700：并将所述多个表面缺陷集合输入缺陷识别模型中的缺陷匹配模块，获得表面缺陷识别结果集合。
其中，本发明实施例步骤S700包括：
步骤S710：获取目标区域检测的历史表面缺陷集合和历史表面缺陷识别结果集合，并构建表面缺陷与表面缺陷识别结果之间的映射关系；
步骤S720：基于所述映射关系构建所述缺陷匹配模块，将所述多个表面缺陷集合输入所述缺陷匹配模块后，获得所述表面缺陷识别结果集合。
具体而言，缺陷匹配模块中包含多组一一对应的历史表面缺陷集合和历史表面缺陷识别结果集合，将所述多个表面缺陷集合输入缺陷识别模型中的缺陷匹配模块，在缺陷匹配模块中匹配相同的历史表面缺陷集合，基于历史表面缺陷集合和历史表面缺陷识别结果集合之间的一一对应关系，匹配对应的历史表面缺陷识别结果集合，以此作为表面缺陷识别结果集合，表面缺陷识别结果集合包含缺陷类型和缺陷位置等信息。
具体地，获取目标区域检测的历史表面缺陷集合和历史表面缺陷识别结果集合，并构建表面缺陷与表面缺陷识别结果之间的映射关系，基于所述映射关系构建所述缺陷匹配模块，将所述多个表面缺陷集合输入所述缺陷匹配模块后，通过缺陷匹配模块计算多个表面缺陷集合与历史表面缺陷集合之间的相似度，获取相似度最高的历史表面缺陷集合，以相似度最高的历史表面缺陷集合对应的历史表面缺陷识别结果集合作为所述表面缺陷识别结果集合，提高缺陷识别准确度。
基于上述分析可知，本发明提供了一种基于小目标检测的表面缺陷识别方法，在本实施例中，对目标检测对象的实时图像进行采集，获得实时图像集合；将所述实时图像集合进行预处理，并使用特征提取模型对预处理后的实时图像集合进行特征提取，获得图像特征集合；使用二分类器对所述图像特征集合进行小目标识别，根据识别结果获得多个识别区域集合；使用softmax损失函数对所述多个识别区域集合进行损失分析，根据损失分析结果中的损失值判断是否满足预设阈值，若满足，将所述多个识别区域集合设为目标区域集合；在预设时间窗口内对目标区域集合进行视频采集，获得多个目标区域视频；将所述多个目标区域视频输入缺陷识别模型中的缺陷识别模块中，输出多个表面缺陷集合，其中，所述缺陷识别模块基于slowfast网络构建；并将所述多个表面缺陷集合输入缺陷识别模型中的缺陷匹配模块，获得表面缺陷识别结果集合，达到提高图像处理效果，进而提高表面缺陷识别准确度的技术效果。
实施例二
基于与前述实施例中一种基于小目标检测的表面缺陷识别方法同样的发明构思，如图4所示，本发明还提供了一种基于小目标检测的表面缺陷识别***，所述***包括：
实时图像采集模块11，所述实时图像采集模块11用于对目标检测对象的实时图像进行采集，获得实时图像集合；
特征提取模块12，所述特征提取模块12用于将所述实时图像集合进行预处理，并使用特征提取模型对预处理后的实时图像集合进行特征提取，获得图像特征集合；
小目标识别模块13，所述小目标识别模块13用于使用二分类器对所述图像特征集合进行小目标识别，根据识别结果获得多个识别区域集合；
损失分析模块14，所述损失分析模块14用于使用softmax损失函数对所述多个识别区域集合进行损失分析，根据损失分析结果中的损失值判断是否满足预设阈值，若满足，将所述多个识别区域集合设为目标区域集合；
视频采集模块15，所述视频采集模块15用于在预设时间窗口内对目标区域集合进行视频采集，获得多个目标区域视频；
表面缺陷集合输出模块16，所述表面缺陷集合输出模块16用于将所述多个目标区域视频输入缺陷识别模型中的缺陷识别模块中，输出多个表面缺陷集合，其中，所述缺陷识别模块基于slowfast网络构建；
缺陷识别结果获取模块17，所述缺陷识别结果获取模块17用于并将所述多个表面缺陷集合输入缺陷识别模型中的缺陷匹配模块，获得表面缺陷识别结果集合。
进一步而言，所述***还包括：
特征提取模型构建模块，所述特征提取模型构建模块用于基于卷积神经网络构建所述特征提取模型，所述特征提取模型包含输入层、纹理特征分析层、形状特征分析层和输出层；
纹理特征分析模块，所述纹理特征分析模块用于将所述预处理后的实时图像集合输入所述特征提取模型中的纹理特征分析层获得纹理特征向量集合；
形状特征分析模块，所述形状特征分析模块用于将所述预处理后的实时图像集合输入所述特征提取模型中的形状特征分析层获得形状特征向量集合；
数据整合模块，所述数据整合模块用于根据所述纹理特征向量集合和所述形状特征向量集合获得图像特征集合。
进一步而言，所述***还包括：
Softmax损失函数为：
其中，G(X)为损失值，xi为识别区域，n为第i个识别区域集合中识别区域的个数，n为大于等于1的整数，p(xi)为第i个识别区域中识别成功的区域数量与第i个识别区域集合中识别区域的总数的比值。
进一步而言，所述***还包括：
一次画面提取模块，所述一次画面提取模块用于对所述多个目标区域视频按照第一预设步长进行一次画面提取，获得第一画面集合，所述第一预设步长是预先设置进行一次画面提取时每秒提取的画面帧数；
二次画面提取模块，所述二次画面提取模块用于对所述多个目标区域视频按照第二预设步长进行二次画面提取，并进行池化处理，获得第二画面集合，其中，所述第二预设步长是预先设置进行二次画面提取时每秒提取的画面帧数，所述第二预设步长大于第一预设步长；
基础框架搭建模块，所述基础框架搭建模块用于以slowfast网络为基础框架，构建所述缺陷识别模块，其中，所述缺陷识别模块包括slow分析通道、fast分析通道和缺陷识别层；
缺陷输出模块，所述缺陷输出模块用于将所述第一画面集合输入所述slow分析通道，将所述第二画面集合输入所述fast分析通道，并获得所述缺陷识别层输出的所述表面缺陷集合。
进一步而言，所述***还包括：
第一样本获取模块，所述第一样本获取模块用于基于多个目标检测对象在过去一段时间内的图像，获得多个样本第一画面集合和多个样本第二画面集合；
第二样本获取模块，所述第二样本获取模块用于遍历所述多个样本第一画面集合和多个样本第二画面集合识别每个样本对应的表面缺陷，从而获得多个样本表面缺陷集合；
模块样本数据获取模块，所述模块样本数据获取模块用于以所述多个样本第一画面集合和多个样本第二画面集合和多个样本表面缺陷集合作为模块样本数据，基于所述模块样本数据获得所述缺陷识别模块。
进一步而言，所述***还包括：
通道搭建模块，所述通道搭建模块用于以所述slowfast网络为基础框架，生成slow分析通道、fast分析通道和缺陷识别层，其中，所述slow分析通道和fast分析通道为全卷积层，所述缺陷识别层是全连接层，缺陷识别层与slow分析通道和fast分析通道进行连接；
数据划分标注模块，所述数据划分标注模块用于通过按照预设划分比例对所述模块样本数据进行划分标注，从而获得模块训练数据、模块验证数据和模块测试数据；
验证测试模块，所述验证测试模块用于使用模块训练数据对slow分析通道、fast分析通道和缺陷识别层进行监督训练，使用模块验证数据和模块测试数据分别对slow分析通道、fast分析通道和缺陷识别层进行验证测试，当满足预设条件后，获得所述缺陷识别模块。
进一步而言，所述***还包括：
映射关系构建模块，所述映射关系构建模块用于获取目标区域检测的历史表面缺陷集合和历史表面缺陷识别结果集合，并构建表面缺陷与表面缺陷识别结果之间的映射关系；
缺陷识别结果获取模块，所述缺陷识别结果获取模块用于基于所述映射关系构建所述缺陷匹配模块，将所述多个表面缺陷集合输入所述缺陷匹配模块后，获得所述表面缺陷识别结果集合。
前述实施例一中的一种基于小目标检测的表面缺陷识别方法具体实例同样适用于本实施例的一种基于小目标检测的表面缺陷识别***，通过前述对一种基于小目标检测的表面缺陷识别方法的详细描述，本领域技术人员可以清楚地知道本实施例中一种基于小目标检测的表面缺陷识别***，所以为了说明书的简洁，在此不再详述。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行的执行，也可以顺序地执行也可以不同的次序执行，只要能够实现本发明公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所做的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (8)

1.一种基于小目标检测的表面缺陷识别方法，其特征在于，所述方法包括：
对目标检测对象的实时图像进行采集，获得实时图像集合；
将所述实时图像集合进行预处理，并使用特征提取模型对预处理后的实时图像集合进行特征提取，获得图像特征集合；
使用二分类器对所述图像特征集合进行小目标识别，根据识别结果获得多个识别区域集合；
使用softmax损失函数对所述多个识别区域集合进行损失分析，根据损失分析结果中的损失值判断是否满足预设阈值，若满足，将所述多个识别区域集合设为目标区域集合；
在预设时间窗口内对目标区域集合进行视频采集，获得多个目标区域视频；
将所述多个目标区域视频输入缺陷识别模型中的缺陷识别模块中，输出多个表面缺陷集合，其中，所述缺陷识别模块基于slowfast网络构建；
并将所述多个表面缺陷集合输入缺陷识别模型中的缺陷匹配模块，获得表面缺陷识别结果集合。
2.如权利要求1所述的方法，其特征在于，所述方法包括：
基于卷积神经网络构建所述特征提取模型，所述特征提取模型包含输入层、纹理特征分析层、形状特征分析层和输出层；
将所述预处理后的实时图像集合输入所述特征提取模型中的纹理特征分析层获得纹理特征向量集合；
将所述预处理后的实时图像集合输入所述特征提取模型中的形状特征分析层获得形状特征向量集合；
根据所述纹理特征向量集合和所述形状特征向量集合获得图像特征集合。
3.如权利要求1所述的方法，其特征在于，所述方法包括：
Softmax损失函数为：
其中，G(X)为损失值，xi为识别区域，n为第i个识别区域集合中识别区域的个数，n为大于等于1的整数，p(xi)为第i个识别区域中识别成功的区域数量与第i个识别区域集合中识别区域的总数的比值。
4.如权利要求1所述的方法，其特征在于，所述方法包括：
对所述多个目标区域视频按照第一预设步长进行一次画面提取，获得第一画面集合，所述第一预设步长是预先设置进行一次画面提取时每秒提取的画面帧数；
对所述多个目标区域视频按照第二预设步长进行二次画面提取，并进行池化处理，获得第二画面集合，其中，所述第二预设步长是预先设置进行二次画面提取时每秒提取的画面帧数，所述第二预设步长大于第一预设步长；
以slowfast网络为基础框架，构建所述缺陷识别模块，其中，所述缺陷识别模块包括slow分析通道、fast分析通道和缺陷识别层；
将所述第一画面集合输入所述slow分析通道，将所述第二画面集合输入所述fast分析通道，并获得所述缺陷识别层输出的所述表面缺陷集合。
5.根据权利要求4所述的方法，其特征在于，构建所述缺陷识别模块，包括：
基于多个目标检测对象在过去一段时间内的图像，获得多个样本第一画面集合和多个样本第二画面集合；
遍历所述多个样本第一画面集合和多个样本第二画面集合识别每个样本对应的表面缺陷，从而获得多个样本表面缺陷集合；
以所述多个样本第一画面集合和多个样本第二画面集合和多个样本表面缺陷集合作为模块样本数据，基于所述模块样本数据获得所述缺陷识别模块。
6.根据权利要求5所述的方法，其特征在于，包括：
以所述slowfast网络为基础框架，生成slow分析通道、fast分析通道和缺陷识别层，其中，所述slow分析通道和fast分析通道为全卷积层，所述缺陷识别层是全连接层，缺陷识别层与slow分析通道和fast分析通道进行连接；
通过按照预设划分比例对所述模块样本数据进行划分标注，从而获得模块训练数据、模块验证数据和模块测试数据；
使用模块训练数据对slow分析通道、fast分析通道和缺陷识别层进行监督训练，使用模块验证数据和模块测试数据分别对slow分析通道、fast分析通道和缺陷识别层进行验证测试，当满足预设条件后，获得所述缺陷识别模块。
7.如权利要求1所述的方法，其特征在于，所述方法包括：
获取目标区域检测的历史表面缺陷集合和历史表面缺陷识别结果集合，并构建表面缺陷与表面缺陷识别结果之间的映射关系；
基于所述映射关系构建所述缺陷匹配模块，将所述多个表面缺陷集合输入所述缺陷匹配模块后，获得所述表面缺陷识别结果集合。
8.一种基于小目标检测的表面缺陷识别***，其特征在于，所述***包括：
实时图像采集模块，所述实时图像采集模块用于对目标检测对象的实时图像进行采集，获得实时图像集合；
特征提取模块，所述特征提取模块用于将所述实时图像集合进行预处理，并使用特征提取模型对预处理后的实时图像集合进行特征提取，获得图像特征集合；
小目标识别模块，所述小目标识别模块用于使用二分类器对所述图像特征集合进行小目标识别，根据识别结果获得多个识别区域集合；
损失分析模块，所述损失分析模块用于使用softmax损失函数对所述多个识别区域集合进行损失分析，根据损失分析结果中的损失值判断是否满足预设阈值，若满足，将所述多个识别区域集合设为目标区域集合；
视频采集模块，所述视频采集模块用于在预设时间窗口内对目标区域集合进行视频采集，获得多个目标区域视频；
表面缺陷集合输出模块，所述表面缺陷集合输出模块用于将所述多个目标区域视频输入缺陷识别模型中的缺陷识别模块中，输出多个表面缺陷集合，其中，所述缺陷识别模块基于slowfast网络构建；
缺陷识别结果获取模块，所述缺陷识别结果获取模块用于并将所述多个表面缺陷集合输入缺陷识别模型中的缺陷匹配模块，获得表面缺陷识别结果集合。
CN202310624084.5A 2023-05-30 2023-05-30 一种基于小目标检测的表面缺陷识别方法及*** Pending CN116563641A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310624084.5A CN116563641A (zh) 2023-05-30 2023-05-30 一种基于小目标检测的表面缺陷识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310624084.5A CN116563641A (zh) 2023-05-30 2023-05-30 一种基于小目标检测的表面缺陷识别方法及***

Publications (1)

Publication Number Publication Date
CN116563641A true CN116563641A (zh) 2023-08-08

Family

ID=87492963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310624084.5A Pending CN116563641A (zh) 2023-05-30 2023-05-30 一种基于小目标检测的表面缺陷识别方法及***

Country Status (1)

Country Link
CN (1) CN116563641A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116990229A (zh) * 2023-09-26 2023-11-03 南通赛可特电子有限公司 一种产品镀铜层表面的缺陷检测方法及***
CN117078689A (zh) * 2023-10-17 2023-11-17 沈阳宏远电磁线股份有限公司 一种基于机器视觉的线缆缺陷识别方法及***
CN117115148A (zh) * 2023-10-19 2023-11-24 苏州弘皓光电科技有限公司 基于5g技术的芯片表面缺陷智能识别方法
CN117151551A (zh) * 2023-10-31 2023-12-01 江苏富松模具科技有限公司 一种定转子矽钢片的冲压质量管理方法及***
CN117274239A (zh) * 2023-11-13 2023-12-22 江苏永鼎股份有限公司 芯片封装工艺缺陷快速检测方法
CN117351001A (zh) * 2023-11-16 2024-01-05 肇庆市大正铝业有限公司 一种再生铝合金模板表面缺陷识别方法
CN117654907A (zh) * 2023-11-29 2024-03-08 嘉兴嘉视自动化科技有限公司 用于带料检测机的自动剔除方法及***

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116990229B (zh) * 2023-09-26 2023-12-08 南通赛可特电子有限公司 一种产品镀铜层表面的缺陷检测方法及***
CN116990229A (zh) * 2023-09-26 2023-11-03 南通赛可特电子有限公司 一种产品镀铜层表面的缺陷检测方法及***
CN117078689A (zh) * 2023-10-17 2023-11-17 沈阳宏远电磁线股份有限公司 一种基于机器视觉的线缆缺陷识别方法及***
CN117078689B (zh) * 2023-10-17 2024-01-30 沈阳宏远电磁线股份有限公司 一种基于机器视觉的线缆缺陷识别方法及***
CN117115148A (zh) * 2023-10-19 2023-11-24 苏州弘皓光电科技有限公司 基于5g技术的芯片表面缺陷智能识别方法
CN117115148B (zh) * 2023-10-19 2024-05-14 苏州弘皓光电科技有限公司 基于5g技术的芯片表面缺陷智能识别方法
CN117151551B (zh) * 2023-10-31 2024-02-06 江苏富松模具科技有限公司 一种定转子矽钢片的冲压质量管理方法及***
CN117151551A (zh) * 2023-10-31 2023-12-01 江苏富松模具科技有限公司 一种定转子矽钢片的冲压质量管理方法及***
CN117274239B (zh) * 2023-11-13 2024-02-20 江苏永鼎股份有限公司 芯片封装工艺缺陷快速检测方法
CN117274239A (zh) * 2023-11-13 2023-12-22 江苏永鼎股份有限公司 芯片封装工艺缺陷快速检测方法
CN117351001A (zh) * 2023-11-16 2024-01-05 肇庆市大正铝业有限公司 一种再生铝合金模板表面缺陷识别方法
CN117351001B (zh) * 2023-11-16 2024-05-28 肇庆市大正铝业有限公司 一种再生铝合金模板表面缺陷识别方法
CN117654907A (zh) * 2023-11-29 2024-03-08 嘉兴嘉视自动化科技有限公司 用于带料检测机的自动剔除方法及***

Similar Documents

Publication Publication Date Title
CN116563641A (zh) 一种基于小目标检测的表面缺陷识别方法及***
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN109583489B (zh) 缺陷分类识别方法、装置、计算机设备和存储介质
CN111681240B (zh) 一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法
CN109033950B (zh) 基于多特征融合级联深度模型的车辆违停检测方法
CN111784633B (zh) 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN111652098B (zh) 产品表面缺陷检测方法及装置
CN110033431B (zh) 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN111724376B (zh) 一种基于纹理特征分析的纸病检测方法
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN111461010B (zh) 一种基于模板跟踪的电力设备识别效率优化方法
CN112837308A (zh) 一种建筑裂缝检测方法、装置、设备及存储介质
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN111652846A (zh) 一种基于特征金字塔卷积神经网络的半导体缺陷识别方法
CN117455917B (zh) 一种蚀刻引线框架误报库建立及误报在线判定筛选方法
CN113421223B (zh) 基于深度学习和高斯混合的工业产品表面缺陷检测方法
CN117475327A (zh) 一种城市中基于遥感图像的多目标检测定位方法和***
CN112784494A (zh) 假阳性识别模型的训练方法、目标识别方法及装置
CN115082449A (zh) 一种电子元器件缺陷检测方法
CN111046876B (zh) 基于纹理检测技术的车牌字符快速识别方法及其***
Xia et al. A multi-target detection based framework for defect analysis of electrical equipment
CN111696070A (zh) 基于深度学习的多光谱图像融合电力物联网故障点检测方法
CN113673534A (zh) 一种基于Faster RCNN的RGB-D图像果实检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination