CN116664533A - 一种缝合缺陷检测方法、装置、设备及存储介质 - Google Patents

一种缝合缺陷检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116664533A
CN116664533A CN202310665137.8A CN202310665137A CN116664533A CN 116664533 A CN116664533 A CN 116664533A CN 202310665137 A CN202310665137 A CN 202310665137A CN 116664533 A CN116664533 A CN 116664533A
Authority
CN
China
Prior art keywords
defect
stitching
image
detection
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310665137.8A
Other languages
English (en)
Inventor
崔玉君
焦任直
何宇洋
梁潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Boguan Intelligent Technology Co Ltd
Original Assignee
Jinan Boguan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Boguan Intelligent Technology Co Ltd filed Critical Jinan Boguan Intelligent Technology Co Ltd
Priority to CN202310665137.8A priority Critical patent/CN116664533A/zh
Publication of CN116664533A publication Critical patent/CN116664533A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请公开了一种缝合缺陷检测方法、装置、设备及存储介质，涉及人工智能技术领域。该方法包括：获取待检测缝制品的初始图像，利用关键点检测模型对所述初始图像进行关键点检测；根据检测出的关键点从所述初始图像中提取出ROI区域图像；将所述ROI区域图像输入至缝合缺陷检测模型，得到所述缝合缺陷检测模型内每个缺陷检测子模型输出的检测结果，并基于所述检测结果判断所述待检测缝制品是否存在缝合缺陷；所述缺陷检测子模型为根据缝合缺陷类型构建的检测子模型。通过关键点定位缝制品提升定位精度以及泛化性能，并从多种角度分析不同缺陷类型，提升缝制品缝合缺陷检测的鲁棒性。

Description

一种缝合缺陷检测方法、装置、设备及存储介质
技术领域
本发明涉及人工智能技术领域，特别涉及一种缝合缺陷检测方法、装置、设备及存储介质。
背景技术
目前，生产和生活中常常使用到缝制品，如编织袋，其主要作用是封装或存放物体，极大的方便了人们的生活，在工农业产品的包装上被广泛使用。在工业生产线上，封装设备在批量封装编织袋时，需要对其封装的结果进行监督，但由于封装设备工艺本身的一些不足，容易造成编织袋无线、断线、搭线、开口等缺陷。目前，封装设备针对上述缺陷只能对部分缺陷进行停机处理且无法做到高精度检测，漏检的缺陷样本会造成极大的物品损失，此外还需要额外的人力进一步筛选，浪费人力物力。并且，由于缝制品缝合后的类型较为复杂，除了常见的光照、粉尘等外部环境影响外，还有非刚性的缝制品极其容易发生形变产生各种各样的褶皱纹理，因此，如何提高缝制品缝合缺陷检测的鲁棒性是目前亟需解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种缝合缺陷检测方法、装置、设备及介质，能够提升缝制品缝合缺陷检测的鲁棒性。其具体方案如下：
第一方面，本申请公开了一种缝合缺陷检测方法，包括：
获取待检测缝制品的初始图像，利用关键点检测模型对所述初始图像进行关键点检测；
根据检测出的关键点从所述初始图像中提取出ROI区域图像；
将所述ROI区域图像输入至缝合缺陷检测模型，得到所述缝合缺陷检测模型内每个缺陷检测子模型输出的检测结果，并基于所述检测结果判断所述待检测缝制品是否存在缝合缺陷；所述缺陷检测子模型为根据缝合缺陷类型构建的检测子模型。
可选的，所述关键点检测模型构建过程，包括：
获取多张包含缝制品的历史图像，按照缝制品关键点标记规则和缝线关键点标记规则在所述历史图像上添加对应的关键点，以得到关键点标记图像；所述关键点包括缝制品关键点和缝线关键点；
利用所述关键点标记图像训练得到所述关键点检测模型。
可选的，所述利用关键点检测模型对所述初始图像进行关键点检测之后，还包括：
根据每个缝制品关键点与原点坐标之间的距离结合第一预设阈值，判断当前图像是否为空拍；
根据缝制品左上角关键点与缝制品右上角关键点之间的水平距离结合第二预设阈值，判断当前图像是否为抓拍不全；
根据每个缝线关键点与原点坐标之间的距离结合第三预设阈值，判断编织品是否存在无线缺陷；
根据缝线左边界关键点与缝线右边界关键点之间的水平距离结合第四预设阈值，判断编织品是否存在搭线缺陷或断线缺陷；
根据缝线左边界关键点与缝线右边界关键点之间的倾斜角度和预设角度范围，判断缝制品的倾斜程度；
若倾斜程度为可调节程度，则对所述初始图像进行图像矫正；
若倾斜程度为严重倾斜，则判定所述初始图像内待检测缝制品存在严重倾斜缺陷。
可选的，所述缺陷检测子模型构建过程，包括：
获取缝制品在正常缝合下的正常图像，以及在不同缝合缺陷类型下的缺陷图像；所述缝合缺陷类型包括开口缺陷、无线缺陷、断线缺陷和搭线缺陷中的任意两项或多项；
针对每种缝合缺陷类型构建对应的缺陷检测初始子模型；
基于所述正常图像和缺陷图像生成不同缝合缺陷类型对应的训练数据；
利用不同缝合缺陷类型对应的训练数据对相应类型的缺陷检测初始子模型进行模型训练，以得到不同缝合缺陷类型对应的缺陷检测子模型。
可选的，所述利用不同缝合缺陷类型对应的训练数据对相应类型的缺陷检测初始子模型进行模型训练，以得到不同缝合缺陷类型对应的缺陷检测子模型，包括：
若缝合缺陷类型为无线缺陷，则根据正常图像对应的ROI区域图像上的缝线关键点，确定出每两个相邻缝线关键点之间的缝线区间段；
选取与所述缝线区间段相邻的相同大小的非缝线像素区域，并利用非缝线像素区域替换所述缝线区间段，直至所有所述缝线区间段替换完成后得到模拟无线缺陷图像；
将所述正常图像、所述模拟无线缺陷图像和无线缺陷图像作为所述无线缺陷对应的训练数据。
可选的，所述利用不同缝合缺陷类型对应的训练数据对相应类型的缺陷检测初始子模型进行模型训练，以得到不同缝合缺陷类型对应的缺陷检测子模型，包括：
若缝合缺陷类型为断线缺陷，则根据正常图像对应的ROI区域图像上的缝线关键点确定出每两个相邻缝线关键点之间的缝线区间段，并从所有所述缝线区间段中随机选取部分缝线区间段作为目标缝线区间段；
选取与所述目标缝线区间段相邻的相同大小的非缝线像素区域，并利用非缝线像素区域替换所述目标缝线区间段，直至所有所述目标缝线区间段替换完成后得到模拟断线缺陷图像；
将所述正常图像、所述模拟断线缺陷图像和断线缺陷图像作为所述断线缺陷对应的训练数据。
可选的，所述基于所述正常图像和缺陷图像生成不同缝合缺陷类型对应的训练数据，包括：
根据水印信息库中水印，随机在所述正常图像的ROI区域图像上添加水印，并随机在所述缺陷图像的ROI区域图像上添加水印；
基于随机添加水印后的正常图像和缺陷图像生成不同缝合缺陷类型对应的训练数据。
第二方面，本申请公开了一种缝合缺陷检测装置，包括：
关键点检测模块，用于获取待检测缝制品的初始图像，利用关键点检测模型对所述初始图像进行关键点检测；
区域提取模块，用于根据检测出的关键点从所述初始图像中提取出ROI区域图像；
缺陷检测模块，用于将所述ROI区域图像输入至缝合缺陷检测模型，得到所述缝合缺陷检测模型内每个缺陷检测子模型输出的检测结果，并基于所述检测结果判断所述待检测缝制品是否存在缝合缺陷；所述缺陷检测子模型为根据缝合缺陷类型构建的检测子模型。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述的缝合缺陷检测方法。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中计算机程序被处理器执行时实现前述的缝合缺陷检测方法。
本申请中，获取待检测缝制品的初始图像，利用关键点检测模型对所述初始图像进行关键点检测；根据检测出的关键点从所述初始图像中提取出ROI区域图像；将所述ROI区域图像输入至缝合缺陷检测模型，得到所述缝合缺陷检测模型内每个缺陷检测子模型输出的检测结果，并基于所述检测结果判断所述待检测缝制品是否存在缝合缺陷；所述缺陷检测子模型为根据缝合缺陷类型构建的检测子模型。可见，针对缝制品的缝合缺陷检测从整体上集成了缝线关键点检测和多种缺陷类型的缺陷检测子模型，通过关键点定位缝制品提升定位精度以及泛化性能，并从多种角度分析不同缺陷类型，提升缝制品缝合缺陷检测的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种缝合缺陷检测方法流程图；
图2为本申请提供的一种具体的缝制品初始图像示意图；
图3为本申请提供的一种具体的正常图像和缺陷图像示意图；
图4为本申请提供的一种具体的编织袋缝合缺陷检测流程图；
图5为本申请提供的一种具体的缝合缺陷检测方法流程图；
图6为本申请提供的一种缝合缺陷检测装置结构示意图；
图7为本申请提供的一种电子设备结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中，封装设备针对上述缺陷只能对部分缺陷进行停机处理且无法做到高精度检测，漏检的缺陷样本会造成极大的物品损失，此外还需要额外的人力进一步筛选，浪费人力物力。为克服上述技术问题，本申请提出一种缝合缺陷检测方法，能够提升定位精度以及泛化性能，提升缝制品缝合缺陷检测的鲁棒性。
本申请实施例公开了一种缝合缺陷检测方法，参见图1所示，该方法可以包括以下步骤：
步骤S11：获取待检测缝制品的初始图像，利用关键点检测模型对所述初始图像进行关键点检测。
本实施例中，首先获取待检测缝制品的初始图像，例如缝制品制作流水线上摄像机拍摄的缝制品的照片，上述缝制品可以为编织袋，然后利用关键点检测模型对初始图像进行关键点检测，检测得到初始图像上的关键点，关键点包括缝制品关键点和缝线关键点。可以理解的是，编织袋缝线关键点检测主要是用于精确定位编织袋和缝线的位置。
本实施例中，所述关键点检测模型构建过程，可以包括：获取多张包含缝制品的历史图像，按照缝制品关键点标记规则和缝线关键点标记规则在所述历史图像上添加对应的关键点，以得到关键点标记图像；所述关键点包括缝制品关键点和缝线关键点；利用所述关键点标记图像训练得到所述关键点检测模型。即根据缝制品和缝线在图像中的外观特征设计缝制品和缝线的关键点，缝制品关键点主要是指缝制品左上角点、右上角点、左下角点、右下角点以及缝制品上边界的若干等分点；缝线关键点主要是指缝线左边界点、右边界点以及缝线上的若干等分点。显然，缝制品和缝线的关键点在图像中具有对应的轮廓边界，该轮廓边界由图像中一系列的像素点所组成。因此，上述一系列像素点中关键的像素点即视为缝制品和缝线在图像中的关键点。通过上述描述可知，至少需要4个点(即缝制品左上角点、缝制品右上角点、缝线左边界点和缝线右边界点)可以定位缝制品和缝线的位置，关键点越多，定位效果越好。
为了形象展示，这里以缝制品缝线的20个关键点进行举例说明，如图2所示，具体包括：缝制品上边界在图像中的9个关键点0～8，缝线边界在图像中的9个关键点9～17，缝制品左下角点在图像中的关键点18，缝制品右下角点在图像中的关键点19，特别地，缝制品左上角点在图像中的关键点0，缝制品右上角点在图像中的关键点8，缝线左边界点在图像中的关键点9，缝线右边界点在图像中的关键点17。进一步说明，若缝制品和缝线的关键点存在，图像中所有的关键点由不同的坐标(x,y)进行唯一表示的，若缝制品或者缝线的关键点不存在，图像中相应的关键点由原点坐标(0,0)进行表示，即图像中非缝制品关键点和风险关键点的关键点由原点坐标(0,0)表示。
本实施例中，在获取到充足且精确标注的缝制品缝线关键点数据后，可以利用AlphaPose训练该数据，得到用于检测缝制品关键点和缝线关键点的关键点检测模型，为后续操作提供缝制品和缝线的精确定位功能。可见，针对缝制品检测，现有技术多采用的传统边缘检测算法，存在受背景和图案的影响会导致较大的定位偏差的问题，而本申请通过使用缝制品缝线的AlphaPose关键点检测来取代传统算法以提升编织袋和缝线的定位精度以及泛化性能。
步骤S12：根据检测出的关键点从所述初始图像中提取出ROI区域图像。
本实施例中，根据检测出的关键点从初始图像中定位出缝制品，以便提取出缝制品对应的ROI区域(region of interest，感兴趣区域)图像。即在进行缺陷检测之前，可以先把编织袋的感兴趣区域图像截取出来，这样做是因为初始图像中包含了一部分背景信息，背景对于算法判断是冗余信息。如图2中的样例展示，在图像中有编织袋的情况下，冗余的背景信息位于图像的上面部分，编织袋位于图像的中下部分，因此图像中下部分的缝制品区域即为ROI区域图像的所在区域。
本实施例中，所述根据检测出的关键点从所述初始图像中提取出ROI区域图像，可以包括：按照区域选取规则从所述初始图像中提取出ROI区域；所述区域选取规则为以缝制品边界为起始向缝制品方向选取目标高度作为区域高度，以初始图像宽度作为区域宽度；所述缝制品边界为根据缝制品关键点确定的。可以理解的是，在关键点检测模型可以提供缝制品和缝线的精确定位前提条件下，ROI区域一定包含于从缝制品边界开始向缝制品方向到图像下边界，宽度即为图像宽度，因此通过以缝制品边界为起始向缝制品方向选取目标高度作为区域高度，以初始图像宽度作为区域宽度，得到ROI区域图像的长宽。
以图2通常采集的缝制品图像为例，缝制品ROI区域一定包含于编织袋上边界的最高点到图像的最下面部分，即ROI区域的上下选择范围可以是从编织袋上边界的最高点开始向下选取目标高度H的部分图像，左右选择范围是图像宽度的全部。特别说明，目标高度H一定要大于缝线边界最低点与编织袋上边界的最高点的差，且小于图像高度与编织袋上边界的最高点的差。目标高度H可以是结合历史样本图像的数据分布情况选定的一个合理的值，目标高度H一旦确定，在推理过程中也要对应确定。目标高度H的合理选择有助于去除冗余的背景信息。另外需要注意的是，ROI图像截取后需要对应地校正关键点的坐标位置信息。
步骤S13：将所述ROI区域图像输入至缝合缺陷检测模型，得到所述缝合缺陷检测模型内每个缺陷检测子模型输出的检测结果，并基于所述检测结果判断所述待检测缝制品是否存在缝合缺陷；所述缺陷检测子模型为根据缝合缺陷类型构建的检测子模型。
本实施例中，将提取的ROI区域图像输入至缝合缺陷检测模型，得到缝合缺陷检测模型内每个缺陷检测子模型输出的检测结果，其中，缺陷检测子模型为根据缝合缺陷类型构建的检测子模型，即缝合缺陷检测模型是由至少两个缺陷检测子模型组成的，且每个缺陷检测子模型针对不同的缺陷类型。得到每个缺陷检测子模型输出的检测结果后，基于得到的所有检测结果判断缝制品是否存在缝合缺陷，以及若存在的情况下缺陷的类型。
在本实施例中，缺陷检测子模型可以均由深度学***均池化层构成，分类网络层由若干全连接层和Softmax函数构成。训练过程中至少使用一种分类损失函数，例如采用交叉熵损失LossCE：
其中，p为样本的预测矩阵，y为样本真实的onehot标签矩阵，m为样本个数，k为类别个数，pij为第i个样本第j个类别对应的预测值，yij为第i个样本第j个类别对应的真实onehot标签值。根据上述的数据增强方式和损失函数依次训练每个缺陷检测子模型，直到满足算法停止条件结束训练过程。
本实施例中，所述缺陷检测子模型构建过程，可以包括：获取缝制品在正常缝合下的正常图像，以及在不同缝合缺陷类型下的缺陷图像；所述缝合缺陷类型包括开口缺陷、无线缺陷、断线缺陷和搭线缺陷中的任意两项或多项；针对每种缝合缺陷类型构建对应的缺陷检测初始子模型；基于所述正常图像和缺陷图像生成不同缝合缺陷类型对应的训练数据；利用不同缝合缺陷类型对应的训练数据对相应类型的缺陷检测初始子模型进行模型训练，以得到不同缝合缺陷类型对应的缺陷检测子模型。
也就是说，在进行缺陷检测子模型的训练之前，首先需要获取需训练数据包括训练样本和测试样本。本实施例中训练样本和测试样本是经过了“获取待检测缝制品的初始图像，利用关键点检测模型对所述初始图像进行关键点检测；根据检测出的关键点从所述初始图像中提取出ROI区域图像”的步骤得到的ROI区域图像。缝合缺陷检测模型的训练过程其实是个分类任务。训练数据可以简单分为正常样本(即正常图像)和缺陷样本(即缺陷图像)两大类。但为了提高模型的鲁棒性，对目前已有的缺陷样本类型进行了细分，共N类缺陷类型，N为大于或等于2的整数。N类缺陷类型至少包括开口、无线、断线、搭线等在内的两个以上类型。开口是指缝制品前层表面的部分内侧和后层表面非下弯折部分的内侧同时裸露在外面；无线是指在缝制品规定的缝线处几乎没有缝线；断线是指在缝制品规定缝线处缝合的缝线不完整，包括缝线中断、缝脱等；搭线是指缝线只搭在缝制品表面，未进行缝合。无线、断线和搭线是针对不正常缝线的细分，两两互斥；而开口缺陷与不正常缝线缺陷并不互斥。图3中分别为正常样本、形变的正常样本、开口且有线样本、不开口有线样本、不开口断线样本和开口搭线样本。
在获取到N种缺陷类型数据后，基于缺陷类型训练N种缺陷检测初始子模型。为形象展示，以N＝4为例进行说明，若第一类缺陷图像为开口图像，第二类缺陷图像为无线图像，第三类缺陷图像为断线图像，第四类缺陷图像为搭线图像。正常图像与第一类缺陷图像、第二类缺陷图像、第三类缺陷图像、第四类缺陷图像均互斥。在本实施例中利用训练集中的正常图像分别和训练集中的上述四类缺陷图像训练四个缺陷检测初始子模型。即利用正常图像和第一类缺陷图像训练开口缺陷对应的缺陷检测初始子模型，利用正常图像和第二类缺陷图像训练无线缺陷对应的缺陷检测初始子模型，利用正常图像和第三类缺陷图像训练断线缺陷对应的缺陷检测初始子模型，利用正常图像和第四类缺陷图像训练搭线缺陷对应的缺陷检测初始子模型。然后，利用第一个子模型对第一类缺陷图像进行判别，得到第一判别子结果；利用第二个子模型对第二类缺陷图像进行判别，得到第二判别子结果；利用第三个子模型对第三类缺陷图像进行判别，得到第三判别子结果；利用第四个子模型对第四类缺陷图像进行判别，得到第四判别子结果。综合第一判别子结果、第二判别子结果、第三判别子结果、第四判别子结果判定所判别的缝制品缝合图像是否为正常样本。
例如图4所示为编织袋缝合缺陷检测模型集成推理流程，包括获取待检测对象的初始图像；基于关键点检测的功能模块；获取编织袋的ROI图像；集成N种缺陷类型检测的缝合缺陷检测模型综合判断；确定图像为正常样本还是缺陷样本。以N＝4为例进行说明，即现在有4类缺陷检测子模型。假定第一子模型、第二子模型、第三子模型、第四子模型对正常样本的判别结果分别为c1，c2，c3，c4。假定第一子模型、第二子模型、第三子模型、第四子模型对正常样本的指定阈值分别为T1，T2，T3，T4。最终决策方式为:若c1≥T1且c2≥T2且c3≥T3且c4≥T4，则正常样本；否则，为缺陷样本。
本实施例中，所述利用不同缝合缺陷类型对应的训练数据对相应类型的缺陷检测初始子模型进行模型训练，以得到不同缝合缺陷类型对应的缺陷检测子模型，可以包括：若缝合缺陷类型为无线缺陷，则根据正常图像对应的ROI区域图像上的缝线关键点，确定出每两个相邻缝线关键点之间的缝线区间段；选取与所述缝线区间段相邻的相同大小的非缝线像素区域，并利用非缝线像素区域替换所述缝线区间段，直至所有所述缝线区间段替换完成后得到模拟无线缺陷图像；将所述正常图像、所述模拟无线缺陷图像和无线缺陷图像作为所述无线缺陷对应的训练数据。可以理解的是，为了提高正常样本和缺陷样本的多样性，通过数据增强设计丰富样本。在对缝合数据的实际采集过程中发现，缺陷样本的占比较少，因此通过对无线缺陷和断线缺陷的模拟来提高负样本的多样性。其中，对无线缺陷和断线缺陷进行模拟的核心思想是先通过关键点检测的定位正常样本的缝线位置，再利用剪切粘贴从缝线相邻的且非缝线区域选取合适的像素区域复制并粘贴到缝线区域，完成对缺陷的模拟。
无线缺陷模拟的详细执行步骤可以如下：(1)输入正常样本的ROI图像和对应的缝线边界从左往右关键点的坐标位置。(2)从左往右依次遍历每两个相邻缝线关键点之间的区间段，对每个缝线区间段，将该缝线区间段下方临近的相同大小的像素区域复制并粘贴到该缝线区间段，覆盖掉原有的缝线像素信息，直到遍历完所有区间段。(3)输出模拟的无线缺陷图像以及对应的类别标签。通过上面的操作就可以利用正常样本模拟出至少与正常样本等量的无线缺陷样本，另外，由于覆盖缝线的像素值取自该缝线附近的像素值，所以覆盖后纵向纹理基本一致，而且通过根据缝线的定位点对缝线进行了横向分段处理，也保证了覆盖后横向纹理基本一致，非常接近于真实情况。上述过程可由计算机程序在线或离线执行，效率较高高，当然也可以人为手动处理，缺陷模拟效果会更加逼真，但是人为手动处理，效率低，时间成本高。
本实施例中，所述利用不同缝合缺陷类型对应的训练数据对相应类型的缺陷检测初始子模型进行模型训练，以得到不同缝合缺陷类型对应的缺陷检测子模型，可以包括：若缝合缺陷类型为断线缺陷，则根据正常图像对应的ROI区域图像上的缝线关键点确定出每两个相邻缝线关键点之间的缝线区间段，并从所有所述缝线区间段中随机选取部分缝线区间段作为目标缝线区间段；选取与所述目标缝线区间段相邻的相同大小的非缝线像素区域，并利用非缝线像素区域替换所述目标缝线区间段，直至所有所述目标缝线区间段替换完成后得到模拟断线缺陷图像；将所述正常图像、所述模拟断线缺陷图像和断线缺陷图像作为所述断线缺陷对应的训练数据。即通过替换部分缝线区间段，实现断线模拟，通过上面的操作就可以利用正常样本模拟出至少与正常样本等量的断线缺陷样本。
断线缺陷模拟的详细执行步骤可以如下：(1)输入正常样本的ROI图像和对应的缝线边界从左往右关键点的坐标位置。(2)每两个相邻的缝线关键点可以形成一个缝线区间段，从所有的缝线区间段中随机选定若干区间段，对选定的缝线区间段进行遍历，对每个选定的缝线区间段，将该缝线区间段下方临近的相同大小的像素区域复制并粘贴到该缝线区间段，覆盖掉原有的缝线像素信息，直到遍历完选定的区间段。(3)输出模拟的断线缺陷图像以及对应的类别标签。
本实施例中，所述基于所述正常图像和缺陷图像生成不同缝合缺陷类型对应的训练数据，可以包括：根据水印信息库中水印，随机在所述正常图像的ROI区域图像上添加水印，并随机在所述缺陷图像的ROI区域图像上添加水印；基于随机添加水印后的正常图像和缺陷图像生成不同缝合缺陷类型对应的训练数据。可以理解的是，除缺陷样本外，在解决缝合缺陷检测的过程中，发现一旦有缝制品表面图案的新增，这些正常样本就会有很高的过检。为了缓解这个问题，通过随机水印增强模拟缝制品表面的随机图案，基于随机添加水印后的正常图像中一部分图像有水印一部分图像没有水印，缺陷图像同理，由此扩充正常样本和缺陷样本的表面图案的多样性。水印增强不改变图像对应的类别标签。
水印增强的详细执行步骤可以如下：(1)构建水印信息库，包括***数字符号、英文字母符号、汉字符号及其他文字符号、标点符号、数学符号、以及其他可打印的符号等。(2)输入样本的ROI图像和对应的缝制品和缝线坐标。(3)从水印信息库中随机选择若干符号。若选择在ROI图像的上面部分添加水印，则设定一个较小的合适字体大小，并根据缝制品和缝线坐标选择水印合适的起始位置；若选择在ROI图像的下面部分添加水印，则依据设定概率选择较大或较小的合适字体大小，并根据缝制品和缝线选择水印的合适起始位置。再选择随机旋转角度以及透明度。根据上述参数进行水印和ROI图像的融合。(4)输出融合后的水印增强图像。对每种缝合缺陷类型对应的缺陷检测初始子模型都可以采用水印增强的方式增加样本量，且正常样本和缺陷样本都可以依概率随机使用水印增强。
由上可见，本实施例中获取待检测缝制品的初始图像，利用关键点检测模型对所述初始图像进行关键点检测；根据检测出的关键点从所述初始图像中提取出ROI区域图像；将所述ROI区域图像输入至缝合缺陷检测模型，得到所述缝合缺陷检测模型内每个缺陷检测子模型输出的检测结果，并基于所述检测结果判断所述待检测缝制品是否存在缝合缺陷；所述缺陷检测子模型为根据缝合缺陷类型构建的检测子模型。可见，针对缝制品的缝合缺陷检测从整体上集成了缝线关键点检测和多种缺陷类型的缺陷检测子模型，通过关键点定位缝制品提升定位精度以及泛化性能，并从多种角度分析不同缺陷类型，提升缝制品缝合缺陷检测的鲁棒性。
本申请实施例公开了一种具体的缝合缺陷检测方法，参见图5所示，该方法可以包括以下步骤：
步骤S21：获取待检测缝制品的初始图像，利用关键点检测模型对所述初始图像进行关键点检测。
步骤S22：根据每个缝制品关键点与原点坐标之间的距离结合第一预设阈值，判断当前图像是否为空拍。
步骤S23：根据缝制品左上角关键点与缝制品右上角关键点之间的水平距离结合第二预设阈值，判断当前图像是否为抓拍不全。
本实施例中，确定关键点后，基于缝制品关键点进行空拍及抓拍不全过滤，可以理解的是，在缝制品的封装产线上，相机在抓拍缝制品图像的时候，有可能发生空拍或抓拍不全，这种情况无需停止产线运行，而是应该继续抓拍下一帧图像进行分析判断。基于缝制品关键点的空拍及抓拍不全过滤的详细执行步骤如下：判断缝制品的所有关键点与原点坐标(0,0)的距离是否都小于指定阈值，若满足该条件，则判定为空拍，图像中非缝制品关键点和风险关键点的关键点由原点坐标(0,0)表示；否则，判断缝制品左上角点和缝制品右上角点的水平距离是否大于等于指定阈值，若不满足该条件，则判定抓拍不全。
步骤S24：根据每个缝线关键点与原点坐标之间的距离结合第三预设阈值，判断编织品是否存在无线缺陷。
步骤S25：根据缝线左边界关键点与缝线右边界关键点之间的水平距离结合第四预设阈值，判断编织品是否存在搭线缺陷或断线缺陷。
本实施例中，还可以基于缝线关键点进行粗缺陷检测，即针对明显的缝线缺陷可以通过缝线关键点进行检测。即通过对缝线关键点的初步分析，可以上报一些相对容易判别的无线缺陷、断线缺陷或搭线缺陷。但是，对于一些两边正常中途断线、从左到右整体搭线等缺陷无法做出精确判断。另外，由于缝制品在封装过程中存在工艺不足的问题，所以有时会因为某些外力的拉扯导致缝制品发生倾斜的情况，这时候就需要通过捕获缝线的位置对严重倾斜的缝制品进行上报。上述过程的详细执行步骤如下：(1)判断缝线的关键点与坐标(0,0)的距离是否都小于指定阈值，若满足该条件，则判定为缝制品无线；否则，判断缝线左边界点和缝线右边界点的水平距离是否大于等于指定阈值，若不满足该条件，则判定为缝制品断线或搭线；若满足该条件，则通过缝线左边界点和缝线右边界点计算缝线的倾斜角度，若缝线的倾斜角度大于设定区间的最大值，则判定为严重倾斜缺陷；否则，进入下一阶段。
本实施例中，所述利用关键点检测模型对所述初始图像进行关键点检测之后，还可以包括：根据缝线左边界关键点与缝线右边界关键点之间的倾斜角度和预设角度范围，判断缝制品的倾斜程度；若倾斜程度为可调节程度，则对所述初始图像进行图像矫正；若倾斜程度为严重倾斜，则判定所述初始图像内待检测缝制品存在严重倾斜缺陷。即对于倾斜但并不严重倾斜的编织袋，可以进行图像校正，具体的，通过缝线左边界点和缝线右边界点计算缝线的倾斜角度，若缝线的倾斜角度在设定区间，则对图像旋转相应的倾斜角度进行校正；若缝线的倾斜角度小于设定区间的最小值，则不进行图像校正处理。
步骤S26：根据检测出的关键点从所述初始图像中提取出ROI区域图像。
步骤S27：将所述ROI区域图像输入至缝合缺陷检测模型，得到所述缝合缺陷检测模型内每个缺陷检测子模型输出的检测结果，并基于所述检测结果判断所述待检测缝制品是否存在缝合缺陷；所述缺陷检测子模型为根据缝合缺陷类型构建的检测子模型。
本实施例中，结合基于关键点的缺陷分析和缝合缺陷检测模型的缺陷分析，在提高缺陷判断准确性、避免遗漏的基础上，提高了缺陷检测效率。其中，上述经过关键点检测出的缺陷图像可以不再输入至缝合缺陷检测模型。
其中，关于上述步骤S21、步骤S22、步骤S26的具体过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
由上可见，本实施例中根据每个缝制品关键点与原点坐标之间的距离结合第一预设阈值，判断当前图像是否为空拍；根据缝制品左上角关键点与缝制品右上角关键点之间的水平距离结合第二预设阈值，判断当前图像是否为抓拍不全。根据每个缝线关键点与原点坐标之间的距离结合第三预设阈值，判断编织品是否存在无线缺陷；根据缝线左边界关键点与缝线右边界关键点之间的水平距离结合第四预设阈值，判断编织品是否存在搭线缺陷或断线缺陷。结合基于关键点的缺陷分析和缝合缺陷检测模型的缺陷分析，在提高缺陷判断准确性、避免遗漏的基础上，提高了缺陷检测效率。
相应的，本申请实施例还公开了一种缝合缺陷检测装置，参见图6所示，该装置包括：
关键点检测模块11，用于获取待检测缝制品的初始图像，利用关键点检测模型对所述初始图像进行关键点检测；
区域提取模块12，用于根据检测出的关键点从所述初始图像中提取出ROI区域图像；
缺陷检测模块13，用于将所述ROI区域图像输入至缝合缺陷检测模型，得到所述缝合缺陷检测模型内每个缺陷检测子模型输出的检测结果，并基于所述检测结果判断所述待检测缝制品是否存在缝合缺陷；所述缺陷检测子模型为根据缝合缺陷类型构建的检测子模型。
由上可见，本实施例中获取待检测缝制品的初始图像，利用关键点检测模型对所述初始图像进行关键点检测；根据检测出的关键点从所述初始图像中提取出ROI区域图像；将所述ROI区域图像输入至缝合缺陷检测模型，得到所述缝合缺陷检测模型内每个缺陷检测子模型输出的检测结果，并基于所述检测结果判断所述待检测缝制品是否存在缝合缺陷；所述缺陷检测子模型为根据缝合缺陷类型构建的检测子模型。可见，针对缝制品的缝合缺陷检测从整体上集成了缝线关键点检测和多种缺陷类型的缺陷检测子模型，通过关键点定位缝制品提升定位精度以及泛化性能，并从多种角度分析不同缺陷类型，提升缝制品缝合缺陷检测的鲁棒性。
在一些具体实施例中，所述缝合缺陷检测装置具体可以包括：
关键点标记单元，用于获取多张包含缝制品的历史图像，按照缝制品关键点标记规则和缝线关键点标记规则在所述历史图像上添加对应的关键点，以得到关键点标记图像；所述关键点包括缝制品关键点和缝线关键点；
关键点检测模型获取单元，用于利用所述关键点标记图像训练得到所述关键点检测模型。
在一些具体实施例中，所述缝合缺陷检测装置具体可以包括：
空拍判断单元，用于根据每个缝制品关键点与原点坐标之间的距离结合第一预设阈值，判断当前图像是否为空拍；
抓拍不全判断单元，用于根据缝制品左上角关键点与缝制品右上角关键点之间的水平距离结合第二预设阈值，判断当前图像是否为抓拍不全；
无线缺陷判断单元，用于根据每个缝线关键点与原点坐标之间的距离结合第三预设阈值，判断编织品是否存在无线缺陷；
断线缺陷判断单元，用于根据缝线左边界关键点与缝线右边界关键点之间的水平距离结合第四预设阈值，判断编织品是否存在搭线缺陷或断线缺陷；
倾斜程度确定单元，用于根据缝线左边界关键点与缝线右边界关键点之间的倾斜角度和预设角度范围，判断缝制品的倾斜程度；
图像矫正单元，用于若倾斜程度为可调节程度，则对所述初始图像进行图像矫正；
倾斜缺陷判定单元，用于若倾斜程度为严重倾斜，则判定所述初始图像内待检测缝制品存在严重倾斜缺陷。
在一些具体实施例中，所述缝合缺陷检测装置具体可以包括：
图像获取单元，用于获取缝制品在正常缝合下的正常图像，以及在不同缝合缺陷类型下的缺陷图像；所述缝合缺陷类型包括开口缺陷、无线缺陷、断线缺陷和搭线缺陷中的任意两项或多项；
初始子模型构建单元，用于针对每种缝合缺陷类型构建对应的缺陷检测初始子模型；
训练数据生成单元，用于基于所述正常图像和缺陷图像生成不同缝合缺陷类型对应的训练数据；
子模型训练单元，用于利用不同缝合缺陷类型对应的训练数据对相应类型的缺陷检测初始子模型进行模型训练，以得到不同缝合缺陷类型对应的缺陷检测子模型。
在一些具体实施例中，所述子模型训练单元具体可以包括：
缝线区间段确定单元，用于若缝合缺陷类型为无线缺陷，则根据正常图像对应的ROI区域图像上的缝线关键点，确定出每两个相邻缝线关键点之间的缝线区间段；
替换单元，用于选取与所述缝线区间段相邻的相同大小的非缝线像素区域，并利用非缝线像素区域替换所述缝线区间段，直至所有所述缝线区间段替换完成后得到模拟无线缺陷图像；
训练数据确定单元，用于将所述正常图像、所述模拟无线缺陷图像和无线缺陷图像作为所述无线缺陷对应的训练数据。
在一些具体实施例中，所述子模型训练单元具体可以包括：
目标缝线区间段确定单元，用于若缝合缺陷类型为断线缺陷，则根据正常图像对应的ROI区域图像上的缝线关键点确定出每两个相邻缝线关键点之间的缝线区间段，并从所有所述缝线区间段中随机选取部分缝线区间段作为目标缝线区间段；
替换单元，用于选取与所述目标缝线区间段相邻的相同大小的非缝线像素区域，并利用非缝线像素区域替换所述目标缝线区间段，直至所有所述目标缝线区间段替换完成后得到模拟断线缺陷图像；
训练数据确定单元，用于将所述正常图像、所述模拟断线缺陷图像和断线缺陷图像作为所述断线缺陷对应的训练数据。
在一些具体实施例中，所述训练数据生成单元具体可以包括：
水印添加单元，用于根据水印信息库中水印，随机在所述正常图像的ROI区域图像上添加水印，并随机在所述缺陷图像的ROI区域图像上添加水印；
训练数据确定单元，用于基于随机添加水印后的正常图像和缺陷图像生成不同缝合缺陷类型对应的训练数据。
进一步的，本申请实施例还公开了一种电子设备，参见图7所示，图中的内容不能被认为是对本申请的使用范围的任何限制。
图7为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的缝合缺陷检测方法中的相关步骤。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作***221、计算机程序222及包括初始图像在内的数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作***221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的缝合缺陷检测方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请实施例还公开了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述任一实施例公开的缝合缺陷检测方法步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种缝合缺陷检测方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种缝合缺陷检测方法，其特征在于，包括：
获取待检测缝制品的初始图像，利用关键点检测模型对所述初始图像进行关键点检测；
根据检测出的关键点从所述初始图像中提取出ROI区域图像；
将所述ROI区域图像输入至缝合缺陷检测模型，得到所述缝合缺陷检测模型内每个缺陷检测子模型输出的检测结果，并基于所述检测结果判断所述待检测缝制品是否存在缝合缺陷；所述缺陷检测子模型为根据缝合缺陷类型构建的检测子模型。
2.根据权利要求1所述的缝合缺陷检测方法，其特征在于，所述关键点检测模型构建过程，包括：
获取多张包含缝制品的历史图像，按照缝制品关键点标记规则和缝线关键点标记规则在所述历史图像上添加对应的关键点，以得到关键点标记图像；所述关键点包括缝制品关键点和缝线关键点；
利用所述关键点标记图像训练得到所述关键点检测模型。
3.根据权利要求1所述的缝合缺陷检测方法，其特征在于，所述利用关键点检测模型对所述初始图像进行关键点检测之后，还包括：
根据每个缝制品关键点与原点坐标之间的距离结合第一预设阈值，判断当前图像是否为空拍；
根据缝制品左上角关键点与缝制品右上角关键点之间的水平距离结合第二预设阈值，判断当前图像是否为抓拍不全；
根据每个缝线关键点与原点坐标之间的距离结合第三预设阈值，判断编织品是否存在无线缺陷；
根据缝线左边界关键点与缝线右边界关键点之间的水平距离结合第四预设阈值，判断编织品是否存在搭线缺陷或断线缺陷；
根据缝线左边界关键点与缝线右边界关键点之间的倾斜角度和预设角度范围，判断缝制品的倾斜程度；
若倾斜程度为可调节程度，则对所述初始图像进行图像矫正；
若倾斜程度为严重倾斜，则判定所述初始图像内待检测缝制品存在严重倾斜缺陷。
4.根据权利要求1所述的缝合缺陷检测方法，其特征在于，所述缺陷检测子模型构建过程，包括：
获取缝制品在正常缝合下的正常图像，以及在不同缝合缺陷类型下的缺陷图像；所述缝合缺陷类型包括开口缺陷、无线缺陷、断线缺陷和搭线缺陷中的任意两项或多项；
针对每种缝合缺陷类型构建对应的缺陷检测初始子模型；
基于所述正常图像和缺陷图像生成不同缝合缺陷类型对应的训练数据；
利用不同缝合缺陷类型对应的训练数据对相应类型的缺陷检测初始子模型进行模型训练，以得到不同缝合缺陷类型对应的缺陷检测子模型。
5.根据权利要求4所述的缝合缺陷检测方法，其特征在于，所述利用不同缝合缺陷类型对应的训练数据对相应类型的缺陷检测初始子模型进行模型训练，以得到不同缝合缺陷类型对应的缺陷检测子模型，包括：
若缝合缺陷类型为无线缺陷，则根据正常图像对应的ROI区域图像上的缝线关键点，确定出每两个相邻缝线关键点之间的缝线区间段；
选取与所述缝线区间段相邻的相同大小的非缝线像素区域，并利用非缝线像素区域替换所述缝线区间段，直至所有所述缝线区间段替换完成后得到模拟无线缺陷图像；
将所述正常图像、所述模拟无线缺陷图像和无线缺陷图像作为所述无线缺陷对应的训练数据。
6.根据权利要求4所述的缝合缺陷检测方法，其特征在于，所述利用不同缝合缺陷类型对应的训练数据对相应类型的缺陷检测初始子模型进行模型训练，以得到不同缝合缺陷类型对应的缺陷检测子模型，包括：
若缝合缺陷类型为断线缺陷，则根据正常图像对应的ROI区域图像上的缝线关键点确定出每两个相邻缝线关键点之间的缝线区间段，并从所有所述缝线区间段中随机选取部分缝线区间段作为目标缝线区间段；
选取与所述目标缝线区间段相邻的相同大小的非缝线像素区域，并利用非缝线像素区域替换所述目标缝线区间段，直至所有所述目标缝线区间段替换完成后得到模拟断线缺陷图像；
将所述正常图像、所述模拟断线缺陷图像和断线缺陷图像作为所述断线缺陷对应的训练数据。
7.根据权利要求4所述的缝合缺陷检测方法，其特征在于，所述基于所述正常图像和缺陷图像生成不同缝合缺陷类型对应的训练数据，包括：
根据水印信息库中水印，随机在所述正常图像的ROI区域图像上添加水印，并随机在所述缺陷图像的ROI区域图像上添加水印；
基于随机添加水印后的正常图像和缺陷图像生成不同缝合缺陷类型对应的训练数据。
8.一种缝合缺陷检测装置，其特征在于，包括：
关键点检测模块，用于获取待检测缝制品的初始图像，利用关键点检测模型对所述初始图像进行关键点检测；
区域提取模块，用于根据检测出的关键点从所述初始图像中提取出ROI区域图像；
缺陷检测模块，用于将所述ROI区域图像输入至缝合缺陷检测模型，得到所述缝合缺陷检测模型内每个缺陷检测子模型输出的检测结果，并基于所述检测结果判断所述待检测缝制品是否存在缝合缺陷；所述缺陷检测子模型为根据缝合缺陷类型构建的检测子模型。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的缝合缺陷检测方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中计算机程序被处理器执行时实现如权利要求1至7任一项所述的缝合缺陷检测方法。
CN202310665137.8A 2023-06-05 2023-06-05 一种缝合缺陷检测方法、装置、设备及存储介质 Pending CN116664533A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310665137.8A CN116664533A (zh) 2023-06-05 2023-06-05 一种缝合缺陷检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310665137.8A CN116664533A (zh) 2023-06-05 2023-06-05 一种缝合缺陷检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116664533A true CN116664533A (zh) 2023-08-29

Family

ID=87722129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310665137.8A Pending CN116664533A (zh) 2023-06-05 2023-06-05 一种缝合缺陷检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116664533A (zh)

Similar Documents

Publication Publication Date Title
CN109767418B (zh) 检査装置、数据生成装置、数据生成方法及存储介质
CN111474184B (zh) 基于工业机器视觉的aoi字符缺陷检测方法和装置
CN108898047B (zh) 基于分块遮挡感知的行人检测方法及***
CN109767419B (zh) 数据生成装置、数据生成方法及存储介质
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
CN111080622B (zh) 神经网络训练方法、工件表面缺陷分类与检测方法及装置
CN110992329A (zh) 一种产品表面缺陷检测方法、电子设备及可读存储介质
CN110852316A (zh) 一种采用密集结构卷积网络的图像篡改检测和定位方法
CN116843999B (zh) 一种基于深度学习的动火作业中气瓶检测方法
CN109918523B (zh) 一种基于yolo9000算法的电路板元器件检测方法
CN109934847A (zh) 弱纹理三维物体姿态估计的方法和装置
CN111310826B (zh) 样本集的标注异常检测方法、装置及电子设备
CN113222913B (zh) 一种电路板缺陷检测定位方法、装置和存储介质
CN113538603B (zh) 一种基于阵列产品的光学检测方法、***和可读存储介质
CN113780484B (zh) 工业产品缺陷检测方法和装置
CN113850749A (zh) 训练缺陷侦测器的方法
CN112330594A (zh) 一种纸筒缺陷检测方法、装置、电子设备及存储介质
CN111915593A (zh) 模型建立方法、装置、电子设备及存储介质
CN116245882A (zh) 电路板电子元件检测方法、装置及计算机设备
CN113505808B (zh) 基于深度学习用于配电类设施开关检测识别算法
CN113822836B (zh) 标记图像的方法
CN117788444A (zh) Smt贴片偏移检测方法、装置及视觉检测***
CN116664533A (zh) 一种缝合缺陷检测方法、装置、设备及存储介质
CN114078106A (zh) 基于改进Faster R-CNN的疵点检测方法
CN115830599A (zh) 工业字符识别方法、模型训练方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination