CN116977265A - 缺陷检测模型的训练方法、装置、计算机设备和存储介质 - Google Patents

缺陷检测模型的训练方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN116977265A
CN116977265A CN202310365963.0A CN202310365963A CN116977265A CN 116977265 A CN116977265 A CN 116977265A CN 202310365963 A CN202310365963 A CN 202310365963A CN 116977265 A CN116977265 A CN 116977265A
Authority
CN
China
Prior art keywords
image
good
sample
feature
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310365963.0A
Other languages
English (en)
Inventor
张博深
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310365963.0A priority Critical patent/CN116977265A/zh
Publication of CN116977265A publication Critical patent/CN116977265A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种缺陷检测模型的训练方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取多个良品图像样本，并对各良品图像样本进行数据增强处理，生成各良品图像样本分别对应的良品子图样本；确定各良品子图样本对应的待处理良品图像样本；对各良品子图样本对进行插值变化，并将各插值变化后的良品子图样本置于所对应的待处理良品图像样本中，以生成各良品子图样本对应的缺陷图像样本；通过各良品图像样本以及各缺陷图像样本，对初始缺陷检测模型进行训练，以得到缺陷检测模型。采用本方法能够通过准确度以及可靠性较高的缺陷检测模型进行缺陷检测，以提升对工业产品进行缺陷检测的准确性。

Description

缺陷检测模型的训练方法、装置、计算机设备和存储介质
技术领域
本申请涉及人工智能技术领域，特别是涉及一种缺陷检测模型的训练方法、装置、计算机设备和存储介质。
背景技术
在工业数据的处理中，工业缺陷图像检测(即工业质检)是指对生产制造过程中的工业产品进行质量检测、找到产品中可能存在的不同种类的缺陷，以保证工业产品制程的良率。
目前，可以基于机器视觉的人工智能(Artificial Intelligence，AI)质检对工业产品进行缺陷检测，如对输入图像进行梯度特征以及纹理特征的提取等，随后根据提取到的梯度特征以及纹理特征确定输入图片是否为存在缺陷的图像。然而，由于提取到的梯度特征以及纹理特征通常泛化性比较差，即梯度特征以及纹理特征中包括容易产生混淆的冗余特征，从而影响对工业产品进行缺陷检测的准确性。因此，如何提升对工业产品进行缺陷检测的准确性的亟需解决的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升对工业产品进行缺陷检测的准确性的缺陷检测模型的训练方法、装置、计算机设备和存储介质。
第一方面，本申请提供了一种缺陷检测模型的训练方法。所述方法包括：
获取多个良品图像样本，并对各良品图像样本进行数据增强处理，生成各良品图像样本分别对应的良品子图样本，数据增强处理至少包括：子图裁剪处理以及赋噪处理，良品图像样本为所对应的工业产品为良品工业产品的图像；
确定各良品子图样本对应的待处理良品图像样本，待处理良品图像样本为：多个良品图像样本中，除良品子图样本对应的良品图像样本外的任一良品图像样本；
对各良品子图样本对进行插值变化，并将各插值变化后的良品子图样本置于所对应的待处理良品图像样本中，以生成各良品子图样本对应的缺陷图像样本；
通过各良品图像样本以及各缺陷图像样本，对初始缺陷检测模型进行训练，以得到缺陷检测模型，缺陷检测模型用于检测工业产品图像的图像类型。
第二方面，本申请还提供了一种缺陷检测模型的训练装置。所述装置包括：
良品图像样本获取处理模块，用于获取多个良品图像样本，并对各良品图像样本进行数据增强处理，生成各良品图像样本分别对应的良品子图样本，数据增强处理至少包括：子图裁剪处理以及赋噪处理，良品图像样本为所对应的工业产品为良品工业产品的图像；
确定模块，用于确定各良品子图样本对应的待处理良品图像样本，待处理良品图像样本为：多个良品图像样本中，除良品子图样本对应的良品图像样本外的任一良品图像样本；
缺陷图像样本获取模块，用于对各良品子图样本对进行插值变化，并将各插值变化后的良品子图样本置于所对应的待处理良品图像样本中，以生成各良品子图样本对应的缺陷图像样本；
模型训练模块，用于通过各良品图像样本以及各缺陷图像样本，对初始缺陷检测模型进行训练，以得到缺陷检测模型，缺陷检测模型用于检测工业产品图像的图像类型。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取多个良品图像样本，并对各良品图像样本进行数据增强处理，生成各良品图像样本分别对应的良品子图样本，数据增强处理至少包括：子图裁剪处理以及赋噪处理，良品图像样本为所对应的工业产品为良品工业产品的图像；
确定各良品子图样本对应的待处理良品图像样本，待处理良品图像样本为：多个良品图像样本中，除良品子图样本对应的良品图像样本外的任一良品图像样本；
对各良品子图样本对进行插值变化，并将各插值变化后的良品子图样本置于所对应的待处理良品图像样本中，以生成各良品子图样本对应的缺陷图像样本；
通过各良品图像样本以及各缺陷图像样本，对初始缺陷检测模型进行训练，以得到缺陷检测模型，缺陷检测模型用于检测工业产品图像的图像类型。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取多个良品图像样本，并对各良品图像样本进行数据增强处理，生成各良品图像样本分别对应的良品子图样本，数据增强处理至少包括：子图裁剪处理以及赋噪处理，良品图像样本为所对应的工业产品为良品工业产品的图像；
确定各良品子图样本对应的待处理良品图像样本，待处理良品图像样本为：多个良品图像样本中，除良品子图样本对应的良品图像样本外的任一良品图像样本；
对各良品子图样本对进行插值变化，并将各插值变化后的良品子图样本置于所对应的待处理良品图像样本中，以生成各良品子图样本对应的缺陷图像样本；
通过各良品图像样本以及各缺陷图像样本，对初始缺陷检测模型进行训练，以得到缺陷检测模型，缺陷检测模型用于检测工业产品图像的图像类型。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取多个良品图像样本，并对各良品图像样本进行数据增强处理，生成各良品图像样本分别对应的良品子图样本，数据增强处理至少包括：子图裁剪处理以及赋噪处理，良品图像样本为所对应的工业产品为良品工业产品的图像；
确定各良品子图样本对应的待处理良品图像样本，待处理良品图像样本为：多个良品图像样本中，除良品子图样本对应的良品图像样本外的任一良品图像样本；
对各良品子图样本对进行插值变化，并将各插值变化后的良品子图样本置于所对应的待处理良品图像样本中，以生成各良品子图样本对应的缺陷图像样本；
通过各良品图像样本以及各缺陷图像样本，对初始缺陷检测模型进行训练，以得到缺陷检测模型，缺陷检测模型用于检测工业产品图像的图像类型。
上述缺陷检测模型的训练方法、装置、计算机设备、存储介质和计算机程序产品，获取多个良品图像样本，并对各良品图像样本进行数据增强处理，生成各良品图像样本分别对应的良品子图样本，数据增强处理至少包括：子图裁剪处理以及赋噪处理，良品图像样本为所对应的工业产品为良品工业产品的图像，再确定各良品子图样本对应的待处理良品图像样本，待处理良品图像样本为：多个良品图像样本中，除良品子图样本对应的良品图像样本外的任一良品图像样本，并对各良品子图样本对进行插值变化，并将各插值变化后的良品子图样本置于所对应的待处理良品图像样本中，以生成各良品子图样本对应的缺陷图像样本，最后通过各良品图像样本以及各缺陷图像样本，对初始缺陷检测模型进行训练，以得到缺陷检测模型，以及所得到的缺陷检测模型用于检测工业产品图像的图像类型。
通过前述缺陷检测模型的训练方法，由于通过缺陷检测模型确定检测工业产品图像的图像类型，首先不需要进行梯度特征以及纹理特征的设计以及提取，在缺陷检测模型的训练过程中能够学习到对当前分类任务最适合的特征，从而保证检测工业产品图像的图像类型的准确度，且具体考虑到实际应用中工业产品所处产线的良率通常较高，导致缺陷图像样本的获取较困难的问题，从而具体通过对良品图像样本进行处理以得到缺陷图像样本，能够保证足够的数据样本使得缺陷检测模型通过模型训练能够具备区分良品图像以及缺陷图像的能力，以保证缺陷检测模型的鲁棒性以及可靠性，进一地保证检测工业产品图像的图像类型的可靠性。
附图说明
图1为一个实施例中缺陷检测模型的训练方法的应用环境图；
图2为一个实施例中缺陷检测模型的训练方法的流程示意图；
图3为一个实施例中缺陷图像样本的示意图；
图4为一个实施例中获取缺陷图像样本的部分流程示意图；
图5为一个实施例中通过各良品图像样本以及各缺陷图像样本，对初始缺陷检测模型进行训练的部分流程示意图；
图6为一个实施例中对初始缺陷检测模型的模型参数进行更新的部分流程示意图；
图7为一个实施例中通过特征相似度矩阵计算特征排序损的流程示意图；
图8为另一个实施例中对初始缺陷检测模型的模型参数进行更新的部分流程示意图；
图9为一个实施例中获取良品子图样本的流程示意图；
图10为一个实施例中进行子图裁剪处理以获取待处理良品子图样本的流程示意图；
图11为一个实施例中基于缺陷检测模型进行工业产品的缺陷检测的流程示意图；
图12为一个实施例中确定图像分类结果的流程示意图；
图13为一个实施例中对初始缺陷检测模型进行训练的完整流程示意图；
图14为一个实施例中缺陷检测模型的训练方法的完整流程示意图；
图15为一个实施例中缺陷检测模型的训练装置的结构框图；
图16为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在工业数据的处理中，工业缺陷图像检测(即工业质检)是指对生产制造过程中的工业产品进行质量检测、找到产品中可能存在的不同种类的缺陷，以保证工业产品制程的良率。目前，可以基于机器视觉的人工智能质检对工业产品进行缺陷检测，如对输入图像进行梯度特征以及纹理特征的提取等，随后根据提取到的梯度特征以及纹理特征确定输入图片是否为存在缺陷的图像。然而，由于提取到的梯度特征以及纹理特征通常泛化性比较差，即梯度特征以及纹理特征中包括容易产生混淆的冗余特征，从而影响对工业产品进行缺陷检测的准确性。
基于此，近年来出现的卷积神经网络(Convolutional Neural Network，CNN)能够提升特征提取的泛化性，也就是直接将带有标注信息的图像送入到一个CNN网络结构中进行特征提取，随后使用全连接层进行分类。然而，训练CNN的时候需要大量的缺陷图像并进行人工标注，而由于目前科技发展以及工厂自动化的大规模部署，导致工业产品所处产线的良率通常较高，因此导致缺陷图像样本的获取较困难的问题，此时CNN的训练基本条件在可能无法得到满足。基于此，本申请实施例提供的缺陷检测模型的训练方法，具体通过对良品图像样本进行处理以得到缺陷图像样本，能够保证足够的数据样本使得缺陷检测模型通过模型训练能够具备区分良品图像以及缺陷图像的能力，以保证缺陷检测模型的鲁棒性以及可靠性，进一地保证检测工业产品图像的图像类型的可靠性。
云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络***的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台***进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的***后盾支撑，只能通过云计算来实现。
本申请实施例提供的方案涉及云技术中的人工智能云服务，所谓人工智能云服务，一般也被称作是AI即服务(AI as a Service，AIaaS)。这是目前主流的一种人工智能平台的服务方式，具体来说AIaaS平台会把几类常见的AI服务进行拆分，并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城：所有的开发者都可以通过API接口的方式来接入使用平台提供的一种或者是多种人工智能服务，部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自已专属的云人工智能服务。因此本申请实施例提供的缺陷检测模型的训练方法中，可以通过AIaaS获取训练所得到的缺陷检测模型，检测工业产品图像的图像类型。下面详细对本申请实施例进行具体介绍：
本申请实施例提供的缺陷检测模型的训练方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储***可以存储服务器104需要处理的数据。数据存储***可以集成在服务器104上，也可以放在云上或其他服务器上。
具体地，以应用于服务器104为例进行说明，服务器104先获取多个良品图像样本，并对各良品图像样本进行数据增强处理，生成各良品图像样本分别对应的良品子图样本，数据增强处理至少包括：子图裁剪处理以及赋噪处理，良品图像样本为所对应的工业产品为良品工业产品的图像，再确定各良品子图样本对应的待处理良品图像样本，待处理良品图像样本为：多个良品图像样本中，除良品子图样本对应的良品图像样本外的任一良品图像样本，并对各良品子图样本对进行插值变化，并将各插值变化后的良品子图样本置于所对应的待处理良品图像样本中，以生成各良品子图样本对应的缺陷图像样本，最后通过各良品图像样本以及各缺陷图像样本，对初始缺陷检测模型进行训练，以得到缺陷检测模型，缺陷检测模型用于检测工业产品图像的图像类型。
因此，在需要检测工业产品是否存在缺陷时，服务器104可以先获取待检测工业产品对应的待检测图像，再基于通过本申请提供的的训练方法所得到的缺陷检测模型对待检测图像进行图像分类，得到待检测图像的图像分类结果，最后根据图像分类结果确定工业产品的缺陷检测结果，从而完成工业质检。
其中，终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本申请实施例提供的缺陷检测模型的训练方法可应用于各种场景，包括但不限于云技术、以及人工智能等。
进一步地，由于本申请实施例提供的缺陷检测模型的训练方法还涉及AI技术，下面将对AI技术进行简述。AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟随和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的缺陷检测模型的训练方法涉及AI技术中的计算机视觉技术以及机器学习，下面进行详细介绍：
在一个实施例中，如图2所示，提供了一种缺陷检测模型的训练方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的***，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤202，获取多个良品图像样本，并对各良品图像样本进行数据增强处理，生成各良品图像样本分别对应的良品子图样本，数据增强处理至少包括：子图裁剪处理以及赋噪处理，良品图像样本为所对应的工业产品为良品工业产品的图像。
其中，良品图像样本是所对应的工业产品为良品工业产品的图像，也就是良品图像样本可以为通过图像获取装置对确定为良品工业产品进行图像获取所得到的图像，或者，良品图像样本也可以为将已检测为良品图像的图像样本。其次，前述数据增强处理至少包括：子图裁剪处理、以及赋噪处理。
具体地，服务器先获取多个良品图像样本。服务器可以通过与终端之间的实时通信连接，获取终端传输的已检测为良品图像的良品图像样本。或者，服务器将所接收到的良品图像样本保存至本地存储中，在需要进行缺陷检测模型训练时从本地存储中获取良品图像样本。因此，获取多个良品图像样本的方式此处不做具体限定。
进一步地，服务器在获取到多个良品图像样本后，分别对各良品图像样本进行数据增强处理，生成各良品图像样本分别对应的良品子图样本。例如，存在良品图像样本A1、良品图像样本A2、以及良品图像样本A3，分别对良品图像样本A1至良品图像样本A3进行数据增强处理，可以得到良品图像样本A1对应的良品子图样本B1、良品图像样本A2对应的良品子图样本B2、以及良品图像样本A3对应的良品子图样本B3。且可以理解的是，不同良品图像样本的尺寸相同，但是不同良品图像样本对应的良品子图样本的尺寸可以不同。
基于此，数据增强处理至少包括：子图裁剪处理、以及赋噪处理，也就是服务器可以对各良品图像样本进行子图裁剪处理，再对子图裁剪处理后的各子图进行赋噪处理，以得到各良品图像样本分别对应的良品子图样本。或者，服务器也可以先对各良品图像样本进行赋噪处理，再对赋噪处理后的各良品图像样本进行子图裁剪处理，以得到各良品图像样本分别对应的良品子图样本。本实施例中不对数据增强处理的具体方式的时序顺序进行限定。
步骤204，确定各良品子图样本对应的待处理良品图像样本，待处理良品图像样本为：多个良品图像样本中，除良品子图样本对应的良品图像样本外的任一良品图像样本。
其中，待处理良品图像样本为：多个良品图像样本中，除良品子图样本对应的良品图像样本外的任一良品图像样本。
具体地，服务器先确定各良品子图样本对应的待处理良品图像样本。例如，存在良品图像样本A1、良品图像样本A2、以及良品图像样本A3，以及得到良品图像样本A1对应的良品子图样本B1、良品图像样本A2对应的良品子图样本B2、以及良品图像样本A3对应的良品子图样本B3。
因此，对于良品子图样本B1而言，待处理良品图像样本可以为除良品子图样本B1对应的良品图像样本A1外的任一良品图像样本，即待处理良品图像样本可以为良品图像样本A2、以及良品图像样本A3中任一良品图像样本。同理可知，对于良品子图样本B2而言，待处理良品图像样本可以为良品图像样本A1、以及良品图像样本A3中任一良品图像样本。以及对于子图样本B3而言，待处理良品图像样本可以为良品图像样本A1、以及良品图像样本A2中任一良品图像样本。
步骤206，对各良品子图样本对进行插值变化，并将各插值变化后的良品子图样本置于所对应的待处理良品图像样本中，以生成各良品子图样本对应的缺陷图像样本。
其中，插值变化可以为最近邻插值法(Nearest Neighbour Interpolation)、双线性插值以及双三次插值等各类插值变化算法，此处不做具体限定。其次，缺陷图像样本为包括良品子图样本的待处理良品图像样本，为便于理解，如图3所示出的缺陷图像样本。
具体地，考虑所得到的良品子图样本可能存在子图裁剪处理后，数据量太小的问题，因此需要增加每一良品子图样本的数据量来提升算法的执行效果，由此需要对各良品子图样本对进行插值变化。因此，服务器具体通过最近邻插值法、双线性插值以及双三次插值等各类插值变化算法对各良品子图样本对进行插值变化，并将各插值变化后的良品子图样本置于所对应的待处理良品图像样本中，以及服务器具体将各插值变化后的良品子图样本置于对应的待处理良品图像样本中的任一位置上，此处不做限定。例如，对于良品子图样本B1而言，若确定待处理良品图像样本为良品图像样本A2，那么将良品子图样本B1置于良品图像样本A2的任一位置上，即可得到良品子图样本B1对应的缺陷图像样本C1。
同理可知，对于良品子图样本B2而言，若确定待处理良品图像样本为良品图像样本A3，那么将良品子图样本B2置于良品图像样本A3的任一位置上，即可得到良品子图样本B2对应的缺陷图像样本C2。以及对于良品子图样本B3而言，若确定待处理良品图像样本为良品图像样本A1，那么将良品子图样本B3置于良品图像样本A1的任一位置上，即可得到良品子图样本B3对应的缺陷图像样本C3。
为便于理解，如图4所示，图4中(A)图中存在良品图像样本401以及良品图像样本402，然后对良品图像样本401以及良品图像样本402分别进行数据增强处理，以得到图4中(B)图示出的：良品图像样本401对应的良品子图样本403，以及良品图像样本402对应的良品子图样本404。然后将插值变化后的良品子图样本403置于良品图像样本402中的任一位置上，以及将将插值变化后的良品子图样本404置于良品图像样本401中的任一位置上，即可得到图4中(C)图示出的：良品子图样本403对应的缺陷图像样本403，以及良品子图样本404对应的缺陷图像样本403。
可以理解的是，前述示例均用于理解本方案，但不应该理解为对本方案的具体限定。
步骤208，通过各良品图像样本以及各缺陷图像样本，对初始缺陷检测模型进行训练，以得到缺陷检测模型，缺陷检测模型用于检测工业产品图像的图像类型。
其中，缺陷检测模型用于检测工业产品图像的图像类型，也就是用于检测工业产品图像为良品图像还是缺陷图像。
具体地，服务器通过各良品图像样本以及各缺陷图像样本，对初始缺陷检测模型进行训练，以得到缺陷检测模型。也就是服务器通过各良品图像样本与各缺陷图像样本构建损失函数，通过损失函数所得到的损失值对初始缺陷检测模型的模型参数进行更新，由此，服务器可以根据损失值判断初始缺陷检测模型的损失函数是否达到收敛条件，若未达到收敛条件，则利用损失值调整初始缺陷检测模型的模型参数。基于此，直至初始缺陷检测模型的损失函数达到收敛条件，则根据最后一次对初始缺陷检测模型的模型参数进行调整后，所获得的模型参数得到缺陷检测模型。并且在实际应用中通过训练得到的缺陷检测模型对待检测图像进行图像分类，以待检测图像的图像分类结果。
上述缺陷检测模型的训练方法中，由于通过缺陷检测模型确定检测工业产品图像的图像类型，首先不需要进行梯度特征以及纹理特征的设计以及提取，在缺陷检测模型的训练过程中能够学习到对当前分类任务最适合的特征，从而保证检测工业产品图像的图像类型的准确度，且具体考虑到实际应用中工业产品所处产线的良率通常较高，导致缺陷图像样本的获取较困难的问题，从而具体通过对良品图像样本进行处理以得到缺陷图像样本，能够保证足够的数据样本使得缺陷检测模型通过模型训练能够具备区分良品图像以及缺陷图像的能力，以保证缺陷检测模型的鲁棒性以及可靠性，进一地保证检测工业产品图像的图像类型的可靠性。
在一个实施例中，如图5所示，通过各良品图像样本以及各缺陷图像样本，对初始缺陷检测模型进行训练，包括：
步骤502，通过初始缺陷检测模型对各良品图像样本以及各缺陷图像样本进行特征提取，获取各良品图像样本分别对应的良品图像特征，以及各缺陷图像样本分别对应的缺陷图像特征。
其中，良品图像特征为良品图像样本的深度特征，以及缺陷图像样本为良品图像样本的深度特征。具体地，服务器将各良品图像样本(x)以及各缺陷图像样本(x′＝aug(x))均输入至初始缺陷检测模型(f(·；θ))，初始缺陷检测模型会对所输入得所有图像样本进行深度特征提取，从而获取各良品图像样本(x)分别对应的良品图像特征(h(x)＝f(x；θ))，以及各缺陷图像样本(x′)分别对应的缺陷图像特征(h′(x)＝f(x′；θ))。前述θ即为初始缺陷检测模型的模型参数。
例如，以获取到良品图像样本A1以及良品图像样本A2，且基于前述实施例的类似方式确定良品图像样本A1匹配的缺陷图像样本C1，以及良品图像样本A2匹配的缺陷图像样本C2进行说明。基于此，服务器可以将良品图像样本A1以及良品图像样本A2、与缺陷图像样本C1以及缺陷图像样本C2共同输入至初始缺陷检测模型中，初始缺陷检测模型可以得到良品图像样本A1对应的特征向量h1、良品图像样本A2对应的特征向量h2、缺陷图像样本C1对应的特征向量h3、以及缺陷图像样本C2对应的特征向量h4。前述特征向量h1即为良品图像样本A1对应的良品图像特征，特征向量h2即为良品图像样本A2对应的良品图像特征。以及特征向量h3即为缺陷图像样本C1对应的缺陷图像特征、以及特征向量h4即为缺陷图像样本C2对应的缺陷图像特征。
步骤504，通过初始缺陷检测模型，对各良品图像特征与各缺陷图像特征之间进行特征相似度计算，以生成特征相似度矩阵。
其中，特征相似度矩阵可以包括：每一良品图像特征与每一缺陷图像特征之间的所有相似度，而特征相似度矩阵也可以仅包括：不同的良品图像特征之间的特征相似度，以及各良品图像特征与各缺陷图像特征之间的特征相似度。其次，相似度计算方式可以为余弦距离以及欧式距离等，或者基于实际情况以及需求确定具体相似度计算方式。
具体地，服务器通过初始缺陷检测模型，计算所有良品图像特征与所有缺陷图像特征之间的相似度，并通过计算所得到的相似度生成特征相似度矩阵。为便于理解，以前述示例进一步说明，可以得到良品图像样本A1对应的良品图像特征h1，良品图像样本A2对应的良品图像特征h2，缺陷图像样本C1对应的缺陷图像特征h3、以及缺陷图像样本C2对应的缺陷图像特征h4，那么特征相似度矩阵可以为一个4×4的相似度向量，此时4×4的相似度向量可以包括图像特征与图像特征自身之间的相似度。具体如下式(1)：
其中，Sij表示图像特征hi和图像特征hj之间的相似度。S11表示良品图像特征h1和良品图像特征h1之间的相似度，S12表示良品图像特征h1和良品图像特征h2之间的相似度，S13表示良品图像特征h1和缺陷图像特征h3之间的相似度，依次类推，此处不再赘述。
基于此，以相似度计算方式为余弦距离为例，那么服务器会计算图像特征hi和图像特征hj之间的余弦距离，具体基于如下公式(2)进行：
Sij＝cos(hi,hj)； (2)
其中，Sij具体用于表示图像特征hi和图像特征hj之间的余弦距离。
可以理解的是，前述示例仅用于理解本方案，而不应理解为具体限定。
步骤506，基于各良品图像特征与各缺陷图像特征，通过初始缺陷检测模型获取各图像样本分别对应的预测图像分类结果。
具体地，服务器再基于各良品图像特征与各缺陷图像特征，通过初始缺陷检测模型获取各图像样本分别对应的预测图像分类结果。也就是服务器将各良品图像特征与各缺陷图像特征输入至初始缺陷检测模型，通过初始缺陷检测模型由此输出各良品图像样本分别对应的预测图像分类结果，以及各缺陷图像样本分别对应的预测图像分类结果。
即服务器先使用全连接层和层对得到的各良品图像特征与各缺陷图像特征进行计算，所得到的二维的概率分布即为预测图像分类结果，可以通过公式(3)计算前述二维概率分布：
p＝softmax(FC(h；θ2))； (3)
其中，p表述预测图像分类结果，h表示图像特征(即良品图像特征或缺陷图像特征)，θ2表示全连接层FC的可训练参数。
步骤508，通过特征相似度矩阵、各预测图像分类结果、各良品图像样本以及各缺陷图像样本，对初始缺陷检测模型的模型参数进行更新。
具体地，服务器通过特征相似度矩阵计算特征排序损失，并通过良品图像样本与各良品图像样本分别对应的预测图像分类结果，以及缺陷图像样本与各缺陷图像样本分别对应的预测图像分类结果，计算分类损失，最后通过特征排序损失与分类损失对初始缺陷检测模型的模型参数进行更新。
本实施例中，通过特征相似度矩阵能够描述各特征之间的相似性以及差异性，并通过预测图像分类结果能够反映所提取特征是否能够准确描述图像的特征信息，从而分别考虑特征之间的相似度与特征描述的准确性的角度，从特征排序损失以及分类损失两个维度对模型参数进行更新，以保证模型能够准确学习到良品图像以及缺陷图像的能力，以进一步地提升缺陷检测模型的可靠性。
在一个实施例中，如图6所示，通过特征相似度矩阵、各预测图像分类结果、各良品图像样本以及各缺陷图像样本，对初始缺陷检测模型的模型参数进行更新，包括：
步骤602，通过特征相似度矩阵计算特征排序损失，特征排序损失用于描述各图像特征之间的相似度差异。
其中，特征排序损失用于描述各图像特征之间的相似度差异。具体地，服务器通过特征相似度矩阵计算特征排序损失。即服务器从特征相似度矩阵中获取各良品图像特征之间的特征相似度，以及从特征相似度矩阵中获取各良品图像特征与各缺陷图像特征之间的特征相似度，通过前述两个特征相似度计算特征排序损失。
可选地，由于存在图像特征重复计算的问题，如前述实施例中S12描述的良品图像特征h1与良品图像特征h2之间的相似度，与S21所描述的良品图像特征h2与良品图像特征h1之间的相似度实质上是一致的，因此考虑到计算资源，可以仅前述图像特征仅计算一次相似，即所得到的特征相似度矩阵具体为上三角矩阵，具体如下式(4)：
其中，Sij表示图像特征hi和图像特征hj之间的相似度。其中，S11表示良品图像特征h1和良品图像特征h1之间的相似度，S12表示良品图像特征h1和良品图像特征h2之间的相似度，S13表示良品图像特征h1和缺陷图像特征h3之间的相似度，依次类推，此处不再赘述。
其次，考虑到相同图像特征之间的相似度为1，如S11和S22等于1，以及S33和S44也等于1，即特征相似度矩阵可以表示为如下式(5)：
基于此，特征排序损失的优化目标在于：不同的良品图像特征之间的特征相似度，大于各良品图像特征与各缺陷图像特征之间的特征相似度。
步骤604，通过良品图像样本、各缺陷图像样本以及各预测图像分类结果，计算分类损失，分类损失用于描述图像样本与所对应的预测图像分类结果之间的差异。
其中，分类损失用于描述图像样本与所对应的预测图像分类结果之间的差异。具体地，服务器通过良品图像样本、各缺陷图像样本以及各预测图像分类结果，计算分类损失。即服务器具体计算每一图像样本，与各图像样本分别对应的预测图像分类结果之间的差异，以确定分类损失。
进一步地，服务器计算各良品图像样本与各良品图像样本对应的预测图像分类结果之间的差异，以及计算各缺陷图像样本与各缺陷图像样本对应的预测图像分类结果之间的差异，即可得到分类损失。本实施例中具体使用交叉熵衡量图像样本与所对应的预测图像分类结果之间的差异作为分类损失，具体如下式(6)：
Lsup＝CE(p,y)； (6)
其中，Lsup表示分类损失，p表示预测图像分类结果，y表示图像样本对应的图像类型，以及CE(·)表示交叉熵损失函数。即良品图像样本的图像类型为良品图像，以及缺陷图像样本的图像类型为缺陷图像。
步骤606，通过特征排序损失以及分类损失，对初始缺陷检测模型的模型参数进行更新。
具体地，服务器通过特征排序损失以及分类损失，共同对初始缺陷检测模型的模型参数进行更新。即服务器特征排序损失以及分类损失进行梯度下降的方式迭代更新初始缺陷检测模型的模型参数，因此在训练结束之后，得到优化完成的模型参数，并基于模型参数生成实际应用中所需的缺陷检测模型。
本实施例中，由于特征排序损失用于描述各图像特征之间的相似度差异，且特征排序损失的优化目标为，各良品图像特征之间的特征相似度大于各良品图像特征与各缺陷图像特征之间的特征相似度，以及分类损失用于描述图像样本与所对应的预测图像分类结果之间的差异，因此通过特征排序损失以及分类损失共同对初始缺陷检测模型的模型参数进行更新，能够考虑到特征的实质特征以及特征描述的准确性，进一步地保证模型能够准确学习到良品图像以及缺陷图像的能力，以提升缺陷检测模型的可靠性。
在一个实施例中，如图7所示，通过特征相似度矩阵计算特征排序损失，包括：
步骤702，对特征相似度矩阵中，不同的良品图像特征之间的特征相似度进行均值处理，以得到第一相似度。
其中，第一相似度为各良品图像特征之间的特征相似度的特征平均值。
具体地，服务器先从特征相似度矩阵中选择各良品图像特征之间的特征相似度，然后对各良品图像特征之间的特征相似度进行均值计算，以得到第一相似度。由于相同的良品图像特征之间的特征相似度实质为1，因此服务器具体从特征相似度矩阵中选择不同的良品图像特征之间的特征相似度进行均值计算，从而得到第一相似度。
为便于理解，基于前述示例进行介绍，良品图像样本A1对应的特征向量h1、良品图像样本A2对应的特征向量h2、缺陷图像样本C1对应的特征向量h3、以及缺陷图像样本C2对应的特征向量h4，可以得到前述公式(4)，而基于公式(4)可知，S11、S12以及S22均为各良品图像特征之间的特征相似度，而S11和S22实质为相同的良品图像特征之间的特征相似度，因此S11和S22为1，因此实际应用中只对S12进行均值计算，即基于前述公式(5)计算第一相似度，且第一相似度聚义为为
步骤704，对特征相似度矩阵中，各良品图像特征与各缺陷图像特征之间的特征相似度进行均值处理，以得到第二相似度。
其中，第二相似度为各良品图像特征与各缺陷图像特征之间的特征平均值。
具体地，服务器先从特征相似度矩阵中选择各良品图像特征与各缺陷图像特征之间，然后对各良品图像特征与各缺陷图像特征之间进行均值计算，以得到第二相似度。为便于理解，基于前述示例进行介绍，良品图像样本A1对应的特征向量h1、良品图像样本A2对应的特征向量h2、缺陷图像样本C1对应的特征向量h3、以及缺陷图像样本C2对应的特征向量h4，，可以得到前述公式(5)，基于公式(5)可知，S13、S14、S23以及S24均为各良品图像特征与各缺陷图像特征之间的特征相似度，此时第二相似度为：
步骤706，通过第一相似度以及第二相似度，计算特征排序损失。
具体地，通过第一相似度以及第二相似度，计算特征排序损失。特征排序损失进行模型参数调整时，希望良品图像样本的各良品图像特征之间的相似度尽量大，以及良品图像样本的良品图像特征与缺陷图像样本的缺陷图像特征之间的相似度尽量低，也就是通过特征排序损失进行模型参数调整时候的优化目标在于第一相似度大于第二相似度。基于此。特征排序损失的计算方式具体如公式(7)：
其中，Lsort表示特征排序损失，表示第二相似度，/>表示第一相似度。以及m为超参数，m具体用于控制模型的学习难度。
本实施例中，由于第一相似度为各良品图像特征之间的特征相似度的特征平均值，以及第二相似度为各良品图像特征与各缺陷图像特征之间的特征平均值，因此通过特征排序损失能够描述各良品图像特征之间的相似度，以及良品图像特征与缺陷图像特征之间的相似度之间的差距，因此通过特征排序损失对初始缺陷检测模型的模型参数进行更新，能够考虑到良品图像特征与缺陷图像特征之间的差距，进一步地保证模型能够准确提取良品图像特征与缺陷图像特征，进一步地学习到良品图像以及缺陷图像的能力，从而提升缺陷检测模型的鲁棒性以及可靠性。
在一个实施例中，如图8所示，通过特征排序损失以及分类损失，对初始缺陷检测模型的模型参数进行更新，包括：
步骤802，配置权重超参数，并对权重超参数、特征排序损失以及分类损失进行加权求和处理，得到综合损失。
其中，权重超参数用于调节特征排序损失以及分类损失之间的贡献程度。具体地，服务器配置权重超参数，并通过权重超参数、特征排序损失以及分类损失进行加权处理，得到综合损失。也就是服务器可以对权重超参数与特征排序损失进行乘积计算，并将乘积计算后的损失与分类损失进行求和处理以得到综合损失。或，服务器也可以对权重超参数与分类损失进行乘积计算，并将乘积计算后的损失与特征排序损失进行求和处理以得到综合损失。
例如，以服务器对权重超参数与分类损失进行乘积计算，并将乘积计算后的损失与特征排序损失进行求和处理以得到综合损失为例，如公式(8)：
L＝Lsup+β*Lsort； (8)
其中，L表示综合损失，Lsup表示分类损失，Lsort表示特征排序损失，β表示权重超参数。
或者，以服务器对权重超参数与特征排序损失进行乘积计算，并将乘积计算后的损失与分类损失进行求和处理以得到综合损失为例，如公式(9)：
L＝β*Lsup+Lsort； (9)
其中，L表示综合损失，Lsup表示分类损失，Lsort表示特征排序损失，β表示权重超参数。
步骤804，通过综合损失对初始缺陷检测模型的模型参数进行更新。
具体地，服务器通过综合损失对初始缺陷检测模型的模型参数进行更新，即服务器具体通过综合损失对初始缺陷检测模型的模型参数进行梯度下降的方式迭代更新初始缺陷检测模型的模型参数，因此在训练结束之后，得到优化完成的模型参数，并基于模型参数生成实际应用中所需的缺陷检测模型。
本实施例中，通过权重超参数调节特征排序损失以及分类损失之间的贡献程度，因此可以结合实际需求灵活调整权重超参数，从而使得特征排序损失以及分类损失在对初始缺陷检测模型的模型参数进行更新中做出不同权重的贡献，以提升缺陷检测模型的灵活性以及可靠性。
在一个实施例中，如图9所示，对各良品图像样本进行数据增强处理，生成各良品图像样本分别对应的良品子图样本，包括：
步骤902，对各良品图像样本进行子图裁剪处理，得到各良品图像样本分别对应的待处理良品子图样本，子图裁剪处理用于：对良品图像样本进行随机坐标以及随机大小的目标框截取。
其中，子图裁剪处理用于：对良品图像样本进行随机坐标以及随机大小的目标框截取。且所截取的目标框尺寸小于良品图像样本的尺寸。也就是对每一良品图像样本进行子图裁剪处理所得到待处理良品子图样本的尺寸可以相同或不同。例如，存在良品图像样本A1以及良品图像样本A2，且良品图像样本A1的尺寸为10*10、以及良品图像样本A2的尺寸为10*10，若以1.5*1.5的目标框对良品图像样本A1进行截取，那么良品图像样本A1对应的待处理良品子图样本D1的尺寸具体为1.5*1.5。同理，若以1*1的目标框对良品图像样本A2进行截取，那么良品图像样本A2对应的待处理良品子图样本D2的尺寸具体为1*1。
具体地，服务器对各良品图像样本进行子图裁剪处理，得到各良品图像样本分别对应的待处理良品子图样本。即对于每一良品图像样本而言，服务器以随机大小的目标框在良品图像样本的随机坐标进行截取，从而得到该良品图像样本分别对应的待处理良品子图样本。为便于理解，如图10所示，在图10的(A)图中，以随机大小的目标框1002在良品图像样本1004的随机坐标进行截取，即可得到图10的(B)图所示出的待处理良品子图样本。
步骤904，对各待处理良品子图样本进行赋噪处理，生成各待处理良品子图样本分别对应的良品子图样本。
其中，赋噪处理至少包括：高斯噪声添加、赋0值、赋255值等。
具体地，服务器对各待处理良品子图样本进行赋噪处理，从而得到各待处理良品子图样本分别对应的良品子图样本。以及服务器可以对不同待处理良品子图样本所进行的赋噪处理可以相同或不同。
例如，存在良品图像样本A1、良品图像样本A2、以及良品图像样本A3，对良品图像样本A1至良品图像样本A3进行子图裁剪处理后得到良品图像样本A1对应的待处理良品子图样本D1，良品图像样本A2对应的待处理良品子图样本D2，以及良品图像样本A3对应的待处理良品子图样本D3，此时服务器可以对待处理良品子图样本D1进行高斯噪声添加，由此得到待处理良品子图样本D1对应的良品子图样本B1。
同理可知，服务器还可以对待处理良品子图样本D2赋0值，由此得到待处理良品子图样本D2对应的良品子图样本B2。以及对待处理良品子图样本D3赋255值，由此得到待处理良品子图样本D3对应的良品子图样本B3。
可以理解的是，服务器还可以先对各良品图像样本进行赋噪处理，得到各良品图像样本分别对应的待处理良品图像样本，再对各待处理良品图像样本进行子图裁剪处理，以生成各良品图像样本分别对应的良品子图样本，具体实施方式与前述类似，此处做具体限定。以及本实施例中的全部示例均用于理解本方案，但不应该理解为对本方案的具体限定。
本实施例中，通过对原有的良品图像样本赋噪处理以及子图剪裁处理能够得到具有噪声的子图，因此在后续流程中在良品图像中放置具有噪声的子图，能够保证所构建缺陷图像样本中存在噪声缺陷，即保证缺陷图像样本中存在实质缺陷，以保证缺陷图像样本的可靠性，从而为训练缺陷检测模型提供可靠样本依据，也能够进一步地保证缺陷检测模型的鲁棒性以及可靠性，从而通过缺陷检测模型进行图像分类所得到结果的可靠性以及准确性。
由于本方案具体应用于工业缺陷图像检测(即工业质检)的场景下，且缺陷检测模型用于检测工业产品图像的图像类型，因此下面将介绍如何基于缺陷检测模型进行工业产品的缺陷检测的方法。具体如图11所示，提供了一种基于缺陷检测模型进行工业产品的缺陷检测的方法，且本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的***，并通过终端和服务器的交互实现。本实施例中，基于缺陷检测模型进行工业产品的缺陷检测的方法包括以下步骤：
步骤1102，获取待检测工业产品对应的待检测图像。
其中，待检测工业产品为待检测是否存在缺陷的工业产品，前述工业产品可以为产品零部件或者为整装产品，此处不做限定。其次，待检测图像可以为待检测工业产品的全景图像，或待检测工业产品的产品部分区域的图像，此处不做限定。
具体地，服务器获取待检测工业产品对应的待检测图像。服务器可以通过与终端之间的通信连接，获取终端通过图像获取装置对待检测工业产品进行图像获取所得到的待检测图像。或者，也可以是终端通过图像获取装置对待检测工业产品进行图像获取得到待检测图像后，通过与服务器之间的通信连接向服务器传输待检测图像，服务器将所接收到的待检测图像保存至本地存储中，如保存至与服务器连接的数据存储***中，在需要进行缺陷检测模型的训练时从本地存储中获取待检测工业产品的待检测图像。以及前述图像获取装置可以为外接于终端，可以内置于终端。因此，获取待检测工业产品对应的待检测图像的方式此处不做具体限定。
步骤1104，基于缺陷检测模型对待检测图像进行图像分类，得到待检测图像的图像分类结果，图像分类结果用于描述待检测图像的图像类型。
其中，图像分类结果用于描述待检测图像的图像类型，如图像分类结果用于描述待检测图像为缺陷图像，或者图像分类结果用于描述待检测图像为良品图像。其次，缺陷检测模型是基于前述方法所得到的
具体地，服务器基于缺陷检测模型对待检测图像进行图像分类，确定待检测图像的图像分类结果。服务器通过训练得到的缺陷检测模型对待检测图像进行特征提取，获取待检测图像对应的图像特征，进一步通过待检测图像对应的图像特征确定待检测图像的图像分类结果。
进一步地，基于缺陷检测模型对待检测图像进行图像分类，得到待检测图像的图像分类结果，具体包括：基于缺陷检测模型对待检测图像进行图像分类，确定待检测图像为缺陷图像的概率；通过待检测图像为缺陷图像的概率确定图像分类结果。
即服务器服务器通过训练得到的缺陷检测模型对待检测图像进行特征提取，获取待检测图像对应的图像特征，得到的是待检测图像为缺陷图像的概率。如待检测图像为缺陷图像的概率为60％，或待检测图像为缺陷图像的概率为40％，然后再通过待检测图像为缺陷图像的概率确定图像分类结果。
通过待检测图像为缺陷图像的概率确定图像分类结果具体为：服务器将待检测图像为缺陷图像的概率与缺陷图像概率阈值进行比对，若待检测图像为缺陷图像的概率大于缺陷图像概率阈值，待检测图像为缺陷图像。反之，若待检测图像为缺陷图像的概率小于或等于缺陷图像概率阈值，待检测图像为良品图像。例如，以缺陷图像概率阈值为110％为例进行说明，若待检测图像为缺陷图像的概率为60％，即待检测图像为缺陷图像的概率大于缺陷图像概率阈值，此时确定待检测图像为缺陷图像。反之，若待检测图像为缺陷图像的概率为40％，即待检测图像为缺陷图像的概率小于缺陷图像概率阈值，此时确定待检测图像为良品图像。前述缺陷图像概率阈值还可以为55％、60％等小于1的数值，具体需要基于实际情况灵活确定。
为便于理解前述流程，具体如图12所示，将待检测图像1202输入至缺陷检测模型1204，缺陷检测模型对1204对待检测图像1202进行特征提取，获取待检测图像1202对应的图像特征1206，并基于图像特征1206确定待检测图像1202为缺陷图像的概率1208，最后通过缺陷图像的概率1208与缺陷图像概率阈值进行比对，以确定待检测图像1202的图像分类结果1210。
可以理解的是，前述示例均用于理解本方案，但不应该理解为对本方案的具体限定。
步骤1106，根据图像分类结果确定待检测工业产品的缺陷检测结果。
其中，缺陷检测结果用于描述待检测工业产品的产品类型，如缺陷检测结果用于描述待检测工业产品为缺陷工业产品，或者缺陷检测结果用于描述待检测工业产品为良品工业产品。
具体地，服务器根据图像分类结果确定待检测工业产品的缺陷检测结果。前述方式具体包括：若图像分类结果描述待检测图像为缺陷图像，缺陷检测结果为待检测工业产品为缺陷工业产品。反之若图像分类结果描述待检测图像为良品图像，缺陷检测结果为待检测工业产品为良品工业产品。
基于此，为便于理解缺陷检测模型训练的完整流程，如图13所示，服务器先获取多个良品图像样本1301，然后对多个良品图像样本1301分别进行数据增强处理，以生成多个良品图像样本1301分别对应的良品子图样本，再确定各良品子图样本对应的待处理良品图像样本，并对各良品子图样本对进行插值变化，由此将各插值变化后的良品子图样本置于所对应的待处理良品图像样本中，以生成各良品子图样本对应的缺陷图像样本1302。基于此，服务器再将多个良品图像样本1301以及多个缺陷图像样本1302输入至初始缺陷检测模型1303中，初始缺陷检测模型1303对多个良品图像样本1301以及多个缺陷图像样本1302进行特征提取，获取各良品图像样本分别对应的良品图像特征1304，以及各缺陷图像样本分别对应的缺陷图像特征1305。
再对各良品图像特征1304与缺陷图像特征1305之间进行特征相似度计算，以生成特征相似度矩阵1306，并通过特征相似度矩阵计算特征排序损失1307。以及基于各良品图像特征1304与缺陷图像特征1305还可以获取各图像样本分别对应的预测图像分类结果1308，从而计算每一图像样本，与各图像样本分别对应的预测图像分类结果1308之间的差异，以确定分类损失1309。最后配置权重超参数，并基于权重超参数、特征排序损失以及分类损失进行加权求和处理，得到综合损失1310，以及通过综合损失1310对初始缺陷检测模型1303的模型参数进行更新，并在训练结束之后，得到优化完成的模型参数，并基于模型参数生成实际应用中所需的缺陷检测模型。
基于前述实施例的详细介绍，下面将介绍本申请实施例中缺陷检测模型的训练方法的完整流程，在一个实施例中，如图14所示，提供了一种缺陷检测模型的训练方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的***，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤1401，获取多个良品图像样本，并对各良品图像样本进行子图裁剪处理，得到各良品图像样本分别对应的待处理良品子图样本。
其中，良品图像样本是所对应的工业产品为良品工业产品的图像，也就是良品图像样本可以为通过图像获取装置对确定为良品工业产品进行图像获取所得到的图像，或者，良品图像样本也可以为将已检测为良品图像的图像样本。其次，子图剪裁处理即为图像进行随机坐标以及随机大小的目标框截取，所截取的目标框尺寸小于被截图图像的尺寸。也就是对每一良品图像样本进行子图裁剪处理所得到待处理良品子图样本的尺寸可以相同或不同。
具体地，服务器先获取多个良品图像样本。服务器可以通过与终端之间的实时通信连接，获取终端传输的已检测为良品图像的良品图像样本。或者，服务器将所接收到的良品图像样本保存至本地存储中，在需要进行缺陷检测模型训练时从本地存储中获取良品图像样本。因此，获取多个良品图像样本的方式此处不做具体限定。
进一步地，服务器在获取到多个良品图像样本后，对各良品图像样本进行子图裁剪处理，得到各良品图像样本分别对应的待处理良品子图样本。即对于每一良品图像样本而言，服务器以随机大小的目标框在良品图像样本的随机坐标进行截取，从而得到该良品图像样本分别对应的待处理良品子图样本。
步骤1402，对各待处理良品子图样本进行赋噪处理，生成各待处理良品子图样本分别对应的良品子图样本。
其中，赋噪处理至少包括：高斯噪声添加、赋0值、赋255值等。
具体地，服务器对各待处理良品子图样本进行赋噪处理，从而得到各待处理良品子图样本分别对应的良品子图样本。以及服务器可以对不同待处理良品子图样本所进行的赋噪处理可以相同或不同。
可以理解的是，服务器还可以先对各良品图像样本进行赋噪处理，得到各良品图像样本分别对应的待处理良品图像样本，再对各待处理良品图像样本进行子图裁剪处理，以生成各良品图像样本分别对应的良品子图样本，具体实施方式与前述类似，此处做具体限定。以及本实施例中的全部示例均用于理解本方案，但不应该理解为对本方案的具体限定。
步骤1403，确定各良品子图样本对应的待处理良品图像样本。
其中，待处理良品图像样本为：多个良品图像样本中，除良品子图样本对应的良品图像样本外的任一良品图像样本。具体地，服务器先确定各良品子图样本对应的待处理良品图像样本。例如，存在良品图像样本A1、良品图像样本A2、以及良品图像样本A3，以及得到良品图像样本A1对应的良品子图样本B1、良品图像样本A2对应的良品子图样本B2、以及良品图像样本A3对应的良品子图样本B3。
步骤1404，对各良品子图样本对进行插值变化，并将各插值变化后的良品子图样本置于所对应的待处理良品图像样本中，以生成各良品子图样本对应的缺陷图像样本。
其中，插值变化可以为最近邻插值法、双线性插值以及双三次插值等各类插值变化算法，此处不做具体限定。其次，缺陷图像样本为包括良品子图样本的待处理良品图像样本。
具体地，考虑所得到的良品子图样本可能存在子图裁剪处理后，数据量太小的问题，因此需要增加每一良品子图样本的数据量来提升算法的执行效果，由此需要对各良品子图样本对进行插值变化。因此，服务器具体通过最近邻插值法、双线性插值以及双三次插值等各类插值变化算法对各良品子图样本对进行插值变化，并将各插值变化后的良品子图样本置于所对应的待处理良品图像样本中，以及服务器具体将各插值变化后的良品子图样本置于对应的待处理良品图像样本中的任一位置上，此处不做限定。
步骤1405，通过初始缺陷检测模型对各良品图像样本以及各缺陷图像样本进行特征提取，获取各良品图像样本分别对应的良品图像特征，以及各缺陷图像样本分别对应的缺陷图像特征。
其中，良品图像特征为良品图像样本的深度特征，以及缺陷图像样本为良品图像样本的深度特征。具体地，服务器将各良品图像样本(x)以及各缺陷图像样本(x′＝aug(x))均输入至初始缺陷检测模型(f(·；θ))，初始缺陷检测模型会对所输入得所有图像样本进行深度特征提取，从而获取各良品图像样本(x)分别对应的良品图像特征(h(x)＝f(x；θ))，以及各缺陷图像样本(x′)分别对应的缺陷图像特征(h′(x)＝f(x′；θ))。前述θ即为初始缺陷检测模型的模型参数。
步骤1406，通过初始缺陷检测模型，对各良品图像特征与各缺陷图像特征之间进行特征相似度计算，以生成特征相似度矩阵。
其中，特征相似度矩阵可以包括：每一良品图像特征与每一缺陷图像特征之间的所有相似度，而特征相似度矩阵也可以仅包括：不同的良品图像特征之间的特征相似度，以及各良品图像特征与各缺陷图像特征之间的特征相似度。其次，相似度计算方式可以为余弦距离以及欧式距离等，或者基于实际情况以及需求确定具体相似度计算方式。具体地，服务器通过初始缺陷检测模型，计算所有良品图像特征与所有缺陷图像特征之间的相似度，并通过计算所得到的相似度生成特征相似度矩阵。
步骤1407，对特征相似度矩阵中，不同的良品图像特征之间的特征相似度进行均值处理，以得到第一相似度。
其中，第一相似度为各良品图像特征之间的特征相似度的特征平均值。具体地，服务器先从特征相似度矩阵中选择各良品图像特征之间的特征相似度，然后对各良品图像特征之间的特征相似度进行均值计算，以得到第一相似度。由于相同的良品图像特征之间的特征相似度实质为1，因此服务器具体从特征相似度矩阵中选择不同的良品图像特征之间的特征相似度进行均值计算，从而得到第一相似度。
步骤1408，对特征相似度矩阵中，各良品图像特征与各缺陷图像特征之间的特征相似度进行均值处理，以得到第二相似度。
其中，第二相似度为各良品图像特征与各缺陷图像特征之间的特征平均值。具体地，服务器先从特征相似度矩阵中选择各良品图像特征与各缺陷图像特征之间，然后对各良品图像特征与各缺陷图像特征之间进行均值计算，以得到第二相似度。
步骤1409，通过第一相似度以及第二相似度，计算特征排序损失。
其中，特征排序损失用于描述各图像特征之间的相似度差异。具体地，通过第一相似度以及第二相似度，计算特征排序损失。特征排序损失进行模型参数调整时，希望良品图像样本的各良品图像特征之间的相似度尽量大，以及良品图像样本的良品图像特征与缺陷图像样本的缺陷图像特征之间的相似度尽量低，也就是通过特征排序损失进行模型参数调整时候的优化目标在于第一相似度大于第二相似度。
步骤1410，基于各良品图像特征与各缺陷图像特征，通过初始缺陷检测模型获取各图像样本分别对应的预测图像分类结果。
具体地，服务器再基于各良品图像特征与各缺陷图像特征，通过初始缺陷检测模型获取各图像样本分别对应的预测图像分类结果。也就是服务器将各良品图像特征与各缺陷图像特征输入至初始缺陷检测模型，通过初始缺陷检测模型由此输出各良品图像样本分别对应的预测图像分类结果，以及各缺陷图像样本分别对应的预测图像分类结果。即服务器先使用全连接层和层对得到的各良品图像特征与各缺陷图像特征进行计算，所得到的二维的概率分布即为预测图像分类结果。
步骤1411，通过良品图像样本、各缺陷图像样本以及各预测图像分类结果，计算分类损失。
其中，分类损失用于描述图像样本与所对应的预测图像分类结果之间的差异。具体地，服务器通过良品图像样本、各缺陷图像样本以及各预测图像分类结果，计算分类损失。即服务器具体计算每一图像样本，与各图像样本分别对应的预测图像分类结果之间的差异，以确定分类损失。
进一步地，服务器计算各良品图像样本与各良品图像样本对应的预测图像分类结果之间的差异，以及计算各缺陷图像样本与各缺陷图像样本对应的预测图像分类结果之间的差异，即可得到分类损失。本实施例中具体使用交叉熵衡量图像样本与所对应的预测图像分类结果之间的差异作为分类损失。
步骤1412，配置权重超参数，并对权重超参数、特征排序损失以及分类损失进行加权求和处理，得到综合损失。
其中，权重超参数用于调节特征排序损失以及分类损失之间的贡献程度。具体地，服务器配置权重超参数，并通过权重超参数、特征排序损失以及分类损失进行加权处理，得到综合损失。也就是服务器可以对权重超参数与特征排序损失进行乘积计算，并将乘积计算后的损失与分类损失进行求和处理以得到综合损失。或，服务器也可以对权重超参数与分类损失进行乘积计算，并将乘积计算后的损失与特征排序损失进行求和处理以得到综合损失。
步骤1413，通过综合损失对初始缺陷检测模型的模型参数进行更新，以得到缺陷检测模型。
其中，缺陷检测模型用于检测工业产品图像的图像类型，也就是用于检测工业产品图像为良品图像还是缺陷图像。具体地，服务器通过综合损失对初始缺陷检测模型的模型参数进行更新，即服务器具体通过综合损失对初始缺陷检测模型的模型参数进行梯度下降的方式迭代更新初始缺陷检测模型的模型参数，因此在训练结束之后，得到优化完成的模型参数，并基于模型参数生成实际应用中所需的缺陷检测模型。
应理解，步骤1401至步骤1413的具体实施方式与前述实施例均类似，此处不再赘述。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的缺陷检测模型的训练方法的缺陷检测模型的训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个缺陷检测模型的训练装置实施例中的具体限定可以参见上文中对于缺陷检测模型的训练方法的限定，在此不再赘述。
在一个实施例中，如图15所示，提供了一种缺陷检测模型的训练装置，包括：良品图像样本获取处理模块1502、确定模块1504、缺陷图像样本获取模块1506和模型训练模块1508，其中：
良品图像样本获取处理模块1502，用于获取多个良品图像样本，并对各良品图像样本进行数据增强处理，生成各良品图像样本分别对应的良品子图样本，数据增强处理至少包括：子图裁剪处理以及赋噪处理，良品图像样本为所对应的工业产品为良品工业产品的图像；
确定模块1504，用于确定各良品子图样本对应的待处理良品图像样本，待处理良品图像样本为：多个良品图像样本中，除良品子图样本对应的良品图像样本外的任一良品图像样本；
缺陷图像样本获取模块1506，用于对各良品子图样本对进行插值变化，并将各插值变化后的良品子图样本置于所对应的待处理良品图像样本中，以生成各良品子图样本对应的缺陷图像样本；
模型训练模块1508，用于通过各良品图像样本以及各缺陷图像样本，对初始缺陷检测模型进行训练，以得到缺陷检测模型，缺陷检测模型用于检测工业产品图像的图像类型。
在一个实施例中，模型训练模块1508，具体用于通过初始缺陷检测模型对各良品图像样本以及各缺陷图像样本进行特征提取，获取各良品图像样本分别对应的良品图像特征，以及各缺陷图像样本分别对应的缺陷图像特征；通过初始缺陷检测模型，对各良品图像特征与各缺陷图像特征之间进行特征相似度计算，以生成特征相似度矩阵；基于各良品图像特征与各缺陷图像特征，通过初始缺陷检测模型获取各图像样本分别对应的预测图像分类结果；通过特征相似度矩阵、各预测图像分类结果、各良品图像样本以及各缺陷图像样本，对初始缺陷检测模型的模型参数进行更新。
在一个实施例中，模型训练模块1508，具体用于通过特征相似度矩阵计算特征排序损失，特征排序损失用于描述各图像特征之间的相似度差异；通过良品图像样本、各缺陷图像样本以及各预测图像分类结果，计算分类损失，分类损失用于描述图像样本与所对应的预测图像分类结果之间的差异；通过特征排序损失以及分类损失，对初始缺陷检测模型的模型参数进行更新。
在一个实施例中，模型训练模块1508，具体用于对特征相似度矩阵中，不同的良品图像特征之间的特征相似度进行均值处理，以得到第一相似度；对特征相似度矩阵中，各良品图像特征与各缺陷图像特征之间的特征相似度进行均值处理，以得到第二相似度；通过第一相似度以及第二相似度，计算特征排序损失。
在一个实施例中，特征相似度矩阵为上三角矩阵，且特征相似度矩阵具体包括：不同的良品图像特征之间的特征相似度，以及各良品图像特征与各缺陷图像特征之间的特征相似度；
特征排序损失的优化目标在于：不同的良品图像特征之间的特征相似度，大于各良品图像特征与各缺陷图像特征之间的特征相似度。
在一个实施例中，模型训练模块1508，具体用于配置权重超参数，并对权重超参数、特征排序损失以及分类损失进行加权求和处理，得到综合损失；通过综合损失对初始缺陷检测模型的模型参数进行更新。
在一个实施例中，良品图像样本获取处理模块1502，具体用于对各良品图像样本进行子图裁剪处理，得到各良品图像样本分别对应的待处理良品子图样本，子图裁剪处理用于：对良品图像样本进行随机坐标以及随机大小的目标框截取；对各待处理良品子图样本进行赋噪处理，生成各待处理良品子图样本分别对应的良品子图样本。
上述缺陷检测模型的训练装置中的各模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端也可以是服务器，以计算机设备是服务器为例进行说明，其内部结构图可以如图16所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过***总线连接，通信接口通过输入/输出接口连接到***总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像样本等相关数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种缺陷检测模型的训练方法。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征信息可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征信息所有可能的组合都进行描述，然而，只要这些技术特征信息的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种缺陷检测模型的训练方法，其特征在于，包括：
获取多个良品图像样本，并对各所述良品图像样本进行数据增强处理，生成各所述良品图像样本分别对应的良品子图样本，所述数据增强处理至少包括：子图裁剪处理以及赋噪处理，所述良品图像样本为所对应的工业产品为良品工业产品的图像；
确定各所述良品子图样本对应的待处理良品图像样本，所述待处理良品图像样本为：所述多个良品图像样本中，除所述良品子图样本对应的良品图像样本外的任一良品图像样本；
对各所述良品子图样本对进行插值变化，并将各插值变化后的良品子图样本置于所对应的待处理良品图像样本中，以生成各所述良品子图样本对应的缺陷图像样本；
通过各所述良品图像样本以及各所述缺陷图像样本，对初始缺陷检测模型进行训练，以得到缺陷检测模型，所述缺陷检测模型用于检测工业产品图像的图像类型。
2.根据权利要求1所述的方法，其特征在于，所述通过各所述良品图像样本以及各所述缺陷图像样本，对初始缺陷检测模型进行训练，包括：
通过所述初始缺陷检测模型对各所述良品图像样本以及各所述缺陷图像样本进行特征提取，获取各所述良品图像样本分别对应的良品图像特征，以及各所述缺陷图像样本分别对应的缺陷图像特征；
通过所述初始缺陷检测模型，对各所述良品图像特征与各所述缺陷图像特征之间进行特征相似度计算，以生成特征相似度矩阵；
基于各所述良品图像特征与各所述缺陷图像特征，通过所述初始缺陷检测模型获取各图像样本分别对应的预测图像分类结果；
通过所述特征相似度矩阵、各所述预测图像分类结果、各所述良品图像样本以及各所述缺陷图像样本，对所述初始缺陷检测模型的模型参数进行更新。
3.根据权利要求2所述的方法，其特征在于，所述通过所述特征相似度矩阵、各所述预测图像分类结果、各所述良品图像样本以及各所述缺陷图像样本，对所述初始缺陷检测模型的模型参数进行更新，包括：
通过所述特征相似度矩阵计算特征排序损失，所述特征排序损失用于描述各图像特征之间的相似度差异；
通过所述良品图像样本、各所述缺陷图像样本以及各所述预测图像分类结果，计算分类损失，所述分类损失用于描述图像样本与所对应的预测图像分类结果之间的差异；
通过所述特征排序损失以及所述分类损失，对所述初始缺陷检测模型的模型参数进行更新。
4.根据权利要求3所述的方法，其特征在于，所述通过所述特征相似度矩阵计算特征排序损失，包括：
对所述特征相似度矩阵中，不同的所述良品图像特征之间的特征相似度进行均值处理，以得到第一相似度；
对所述特征相似度矩阵中，各所述良品图像特征与各所述缺陷图像特征之间的特征相似度进行均值处理，以得到第二相似度；
通过所述第一相似度以及所述第二相似度，计算所述特征排序损失。
5.根据权利要求3所述的方法，其特征在于，所述特征相似度矩阵为上三角矩阵，且所述特征相似度矩阵具体包括：不同的所述良品图像特征之间的特征相似度，以及各所述良品图像特征与各所述缺陷图像特征之间的特征相似度；
所述特征排序损失的优化目标在于：不同的所述良品图像特征之间的特征相似度，大于各所述良品图像特征与各所述缺陷图像特征之间的特征相似度。
6.根据权利要求3所述的方法，其特征在于，所述通过所述特征排序损失以及所述分类损失，对所述初始缺陷检测模型的模型参数进行更新，包括：
配置权重超参数，并对所述权重超参数、所述特征排序损失以及所述分类损失进行加权求和处理，得到综合损失；
通过所述综合损失对所述初始缺陷检测模型的模型参数进行更新。
7.根据权利要求1所述的方法，其特征在于，所述对各所述良品图像样本进行数据增强处理，生成各所述良品图像样本分别对应的良品子图样本，包括：
对各所述良品图像样本进行所述子图裁剪处理，得到各所述良品图像样本分别对应的待处理良品子图样本，所述子图裁剪处理用于：对所述所述良品图像样本进行随机坐标以及随机大小的目标框截取；
对各所述待处理良品子图样本进行所述赋噪处理，生成各待处理良品子图样本分别对应的所述良品子图样本。
8.一种缺陷检测模型的训练装置，其特征在于，所述装置包括：
良品图像样本获取处理模块，用于获取多个良品图像样本，并对各所述良品图像样本进行数据增强处理，生成各所述良品图像样本分别对应的良品子图样本，所述数据增强处理至少包括：子图裁剪处理以及赋噪处理，所述良品图像样本为所对应的工业产品为良品工业产品的图像；
确定模块，用于确定各所述良品子图样本对应的待处理良品图像样本，所述待处理良品图像样本为：所述多个良品图像样本中，除所述良品子图样本对应的良品图像样本外的任一良品图像样本；
缺陷图像样本获取模块，用于对各所述良品子图样本对进行插值变化，并将各插值变化后的良品子图样本置于所对应的待处理良品图像样本中，以生成各所述良品子图样本对应的缺陷图像样本；
模型训练模块，用于通过各所述良品图像样本以及各所述缺陷图像样本，对初始缺陷检测模型进行训练，以得到缺陷检测模型，所述缺陷检测模型用于检测工业产品图像的图像类型。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202310365963.0A 2023-03-30 2023-03-30 缺陷检测模型的训练方法、装置、计算机设备和存储介质 Pending CN116977265A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310365963.0A CN116977265A (zh) 2023-03-30 2023-03-30 缺陷检测模型的训练方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310365963.0A CN116977265A (zh) 2023-03-30 2023-03-30 缺陷检测模型的训练方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN116977265A true CN116977265A (zh) 2023-10-31

Family

ID=88473813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310365963.0A Pending CN116977265A (zh) 2023-03-30 2023-03-30 缺陷检测模型的训练方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN116977265A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118035496A (zh) * 2024-04-15 2024-05-14 腾讯科技（深圳）有限公司 视频推荐方法、装置、电子设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118035496A (zh) * 2024-04-15 2024-05-14 腾讯科技（深圳）有限公司 视频推荐方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
Li et al. Deepsaliency: Multi-task deep neural network model for salient object detection
CN111738231B (zh) 目标对象检测方法、装置、计算机设备和存储介质
CN111583263B (zh) 一种基于联合动态图卷积的点云分割方法
WO2021227726A1 (zh) 面部检测、图像检测神经网络训练方法、装置和设备
Xie et al. Point clouds learning with attention-based graph convolution networks
CN109993102B (zh) 相似人脸检索方法、装置及存储介质
CN110569901A (zh) 一种基于通道选择的对抗消除弱监督目标检测方法
CN113011568B (zh) 一种模型的训练方法、数据处理方法及设备
CN111339343A (zh) 图像检索方法、装置、存储介质及设备
CN113807399A (zh) 一种神经网络训练方法、检测方法以及装置
Ning et al. Conditional generative adversarial networks based on the principle of homologycontinuity for face aging
JP2023131117A (ja) 結合感知モデルのトレーニング、結合感知方法、装置、機器および媒体
CN116310318A (zh) 交互式的图像分割方法、装置、计算机设备和存储介质
CN116977265A (zh) 缺陷检测模型的训练方法、装置、计算机设备和存储介质
JP7225731B2 (ja) 多変数データシーケンスの画像化
Ouadiay et al. Simultaneous object detection and localization using convolutional neural networks
CN112529025A (zh) 一种数据处理方法及装置
Bode et al. Bounded: Neural boundary and edge detection in 3d point clouds via local neighborhood statistics
CN113569081A (zh) 图像识别方法、装置、设备及存储介质
Peng et al. Mwformer: mesh understanding with window-based transformer
CN116958624A (zh) 指定材质的识别方法、装置、设备、介质及程序产品
US20220180548A1 (en) Method and apparatus with object pose estimation
CN117011219A (zh) 物品质量检测方法、装置、设备、存储介质和程序产品
CN115049833A (zh) 一种基于局部特征增强和相似性度量的点云部件分割方法
Zhang et al. A spatial–spectral adaptive learning model for textile defect images recognition with few labeled data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination