CN116977255A - 缺陷检测方法、装置、设备以及存储介质装置 - Google Patents

缺陷检测方法、装置、设备以及存储介质装置 Download PDF

Info

Publication number
CN116977255A
CN116977255A CN202310092571.1A CN202310092571A CN116977255A CN 116977255 A CN116977255 A CN 116977255A CN 202310092571 A CN202310092571 A CN 202310092571A CN 116977255 A CN116977255 A CN 116977255A
Authority
CN
China
Prior art keywords
determining
feature
offset
standard
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310092571.1A
Other languages
English (en)
Inventor
王昌安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310092571.1A priority Critical patent/CN116977255A/zh
Publication of CN116977255A publication Critical patent/CN116977255A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种缺陷检测方法、装置、设备以及存储介质，可应用于人工智能和区块链等领域，该方法包括：确定待检测对象的初始图像和标准对象的标准图像；确定初始图像的初始图像特征以及标准图像的标准图像特征；确定初始图像特征的每个像素点相较于标准图像特征中相同位置的像素点的偏移特征值，基于初始图像特征以及初始图像特征的每个像素点对应的偏移特征值确定第一融合图像特征；基于第一融合图像特征确定待检测对象所属的对象类型，待检测对象属于第一类型时，待检测对象相较于标准对象存在缺陷，待检测对象属于第一类型时，待检测对象相较于标准对象不存在缺陷。采用本申请实施例，可高效准确地确定待检测对象是否存在缺陷。

Description

缺陷检测方法、装置、设备以及存储介质装置
技术领域
本申请涉及人工智能领域，尤其涉及一种缺陷检测方法、装置、设备以及存储介质。
背景技术
随着生活水平的不断进步，各行各业都需要对产品对象进行缺陷检测以减少产品对象的瑕疵，从而满足人们日益正常的物质需求。
现有的缺陷检测方法主要是依靠人工通过肉眼发现缺陷，或者通过将产品对象的图像与标准图像进行比对来确定缺陷。现有技术虽然可以在一定程度上发现产品对象中的缺陷，但是准确性较低并且效率有限，因此如何高效准确确定产品对象是否存在缺陷成为亟需解决的问题。
发明内容
本申请实施例提供一种缺陷检测方法、装置、设备以及存储介质，可高效准确地确定待检测对象是否存在缺陷，适用性高。
一方面，本申请实施例提供一种缺陷检测方法，该方法包括：
确定待检测对象的初始图像和标准对象的标准图像，上述初始图像和上述标准图像是基于相同拍摄条件得到的；
确定上述初始图像的初始图像特征以及上述标准图像的标准图像特征；
确定上述初始图像特征的每个像素点相较于上述标准图像特征中相同位置的像素点的偏移特征值，基于上述初始图像特征以及上述初始图像特征的每个像素点对应的偏移特征值确定第一融合图像特征；
基于上述第一融合图像特征确定上述待检测对象所属的对象类型，上述对象类型包括第一类型和第二类型，上述待检测对象属于第一类型时，上述待检测对象相较于上述标准对象存在缺陷，上述待检测对象属于第一类型时，上述待检测对象相较于上述标准对象不存在缺陷。
另一方面，本申请实施例提供了一种缺陷检测装置，该装置包括：
图像确定模块，用于确定待检测对象的初始图像和标准对象的标准图像，上述初始图像和上述标准图像是基于相同拍摄条件得到的；
特征提取模块，用于确定上述初始图像的初始图像特征以及上述标准图像的标准图像特征；
特征处理模块，用于确定上述初始图像特征的每个像素点相较于上述标准图像特征中相同位置的像素点的偏移特征值，基于上述初始图像特征以及上述初始图像特征的每个像素点对应的偏移特征值确定第一融合图像特征；
类型确定模块，用于基于上述第一融合图像特征确定上述待检测对象所属的对象类型，上述对象类型包括第一类型和第二类型，上述待检测对象属于第一类型时，上述待检测对象相较于上述标准对象存在缺陷，上述待检测对象属于第一类型时，上述待检测对象相较于上述标准对象不存在缺陷。
另一方面，本申请实施例提供了一种电子设备，包括处理器和存储器，该处理器和存储器相互连接；
上述存储器用于存储计算机程序；
上述处理器被配置用于在调用上述计算机程序时，执行本申请实施例提供的缺陷检测方法。
另一方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行以实现本申请实施例提供的缺陷检测方法。
另一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，上述计算机程序被处理器执行时实现本申请实施例提供的缺陷检测方法。
在本申请实施例中，在确定待检测对象的初始图像的初始图像特征以及标准对象的标准图像的标准图像特征之后，通过初始图像特征的每个像素点相较于标准图像特征中相同位置的像素点的偏移特征值、以及初始图像特征，可确定包括待检测对象自身形变导致的与标准对象之间的差异以及待检测对象自身存在的缺陷与标准对象之间的差异的第一融合图像特征，从而可在充分考虑待检测对象自身形变导致的差异的情况下，基于第一融合图像特征可高效准确地确定待检测图像是否存在缺陷，适用性高。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的缺陷检测方法的网络结构示意图；
图2是本申请实施例提供的缺陷检测方法的流程示意图；
图3是本申请实施例提供的确定图像特征的场景示意图；
图4是本申请实施例提供的残差单元的结构示意图；
图5是本申请实施例提供的确定第一偏移特征的场景示意图；
图6是本申请实施例提供的确定第二偏移特征的场景示意图；
图7是本申请实施例提供的确定第一融合图像特征的场景示意图；
图8是本申请实施例提供的确定连通域的场景示意图；
图9a-9d是本申请实施例提供的缺陷检测的场景示意图；
图10a是本申请实施例提供的面料缺陷检测的一场景示意图；
图10b是本申请实施例提供的面料缺陷检测的另一场景示意图；
图11是本申请实施例提供的缺陷检测模型的训练方法的流程示意图；
图12是本申请实施例提供的初始模型的结构示意图；
图13是本申请实施例提供的缺陷检测装置的结构示意图；
图14是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的缺陷检测方法可对任何领域中的待检测对象进行缺陷检测。例如，在工业生产领域中，基于本申请实施例提供的缺陷检测方法可确定流水线生产的产品是否存在产品缺陷，如确定纺织面料是否存在图案错乱、横裆疵、坏地、斑点疵、破损等瑕疵。再例如，在地图交通等领域中智能交通***(Intelligent Traffic System，ITS)或智能车路协同***(Intelligent Vehicle Infrastructure Cooperative Systems，IVICS)中，基于本申请实施例提供的缺陷检测方法可确定路网中是否存在交通指示灯、路面等交通元素损毁的情况，以确定路网中各道路在各时刻的道路通行状态，从而为精准导航提供技术支持。
其中，智能交通***又称智能运输***(Intelligent Transportation System)，是将先进的科学技术(信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等)有效地综合运用于交通运输、服务控制和车辆制造，加强车辆、道路、使用者三者之间的联系，从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输***。
其中，智能车路协同***简称车路协同***，是智能交通***(ITS)的一个发展方向。车路协同***是采用先进的无线通信和新一代互联网等技术，全方位实施车车、车路动态实时信息交互，并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理，充分实现人车路的有效协同，保证交通安全，提高通行效率，从而形成的安全、高效和环保的道路交通***。
参见图1，图1是本申请实施例提供的缺陷检测方法的网络结构示意图。如图1所示，对于任一待检测对象的初始图像11，可确定待检测对象对应的标准对象的标准图像12。其中，待检测对象对应的标准对象为不存在缺陷的基准对象。
在确定出待检测对象的初始图像11以及标准对象的标准图像12之后，基于终端13可确定待检测对象的对象类型。
其中，对象类型包括第一类型和第二类型，当待检测对象的对象类型属于第一类型时，说明待检测对象相较于标准对象存在缺陷，当待检测对象的对象类型属于第二类型时，说明待检测对相较于标准对象不存在缺陷。
其中，在本申请实施例中，设备13可以终端设备，也可以是服务器，具体可基于实际应用场景需求确定，在此不做限制。
其中，服务器可以是车联网服务器或其他独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器，如车联网边缘云平台、云计算平台等。
其中，终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互设备(例如智能音箱)、可穿戴电子设备(例如智能手表)、车载终端、智能家电(例如智能电视)、AR/VR设备等，但并不局限于此。
参见图2，图2是本申请实施例提供的缺陷检测方法的流程示意图。如图2所示，本申请实施例提供的缺陷检测方法具体可包括如下步骤：
步骤S21、确定待检测对象的初始图像和标准对象的标准图像。
在本申请实施例中，标准对象为不存在缺陷的基准对象，待检测对象为与标准对象相同且需要进行缺陷检测的对象。例如，在纺织面料生产过程中，从生产线新生产出的纺织面料为待检测对象，该种纺织面料对应的样板面料即为标准对象。
在本申请实施例中，待检测对象的初始图像和标准对象的标准图像是基于相同拍摄条件得到的。
其中，上述拍摄条件包括但不限于拍摄角度、拍摄设备、拍摄设备的设备参数、拍摄背景、拍摄距离或者光照条件中的一项或者多项，具体可基于实际应用场景需求确定，在此不做限制。
步骤S22、确定初始图像的初始图像特征以及标准图像的标准图像特征。
在一些可行的实施方式中，在确定初始图像的初始图像特征以及标准图像的标准图像特征时，可基于预训练的特征提取网络分别对初始图像和标准图像进行处理，得到初始图像的初始图像特征以及标准图像的标准图像特征。
可选地，由于确定待检测对象的初始图像时待检测对象可能由于外力因素或者自身材料原因，待检测对象自身会产生一定的形变，此时基于相同的特征提取网络确定初始图像的初始图像特征时，上述形变会对初始图像的初始图像特征的提取产生较大影响，使得在发生形变的情况下得到的初始图像的初始图像特征相较于不发生形变的情况得到的初始图像特征具有较大差异，从而影响针对待检测对象的缺陷检测效果。
基于此，在确定初始图像的初始图像特征时，可基于第一特征提取网络对初始图像进行处理得到初始图像的初始图像特征。在确定标准图像的标准图像特征时，可基于第二特征提取网络对标准图像进行处理得到标准图像的表征图像特征。
其中，第一特征提取网络和第二特征提取网络的网络结构相同。
其中，第一特征提取网络的网络权重是基于第二特征提取网络的网络权重和预设权重分量确定的。
其中，第二特征提取网络的网络权重是在网络训练过程中最终确定出的网络权重，预设权重也可以在对第一特征提取网络和第二特征提取网络同时进行训练过程中所确定出的权重分量，也可以是预先设置的权重分量，具体可基于实际应用场景需求确定，在此不做限制。
作为一示例，第一特征提取网络的网络权重和第二特征提取网络的网络权重具有如下关系：
ω1＝ω2+Δω
其中，ω1为第一特征提取网络的网络权重，ω2为第二特征提取网络的网络权重，Δω为预设权重分量。
其中，第一特征提取网络中每一网络层或结构的网络权重与第二特征提取网络中对应的网络层或结构的网络权重均具有上述关系。
参见图3，图3是本申请实施例提供的确定图像特征的场景示意图。在待检测对象的初始图像以及标准对象的标准图像如图3所示的情况下，可将待检测对象的初始图像输入第一特征提取网络得到待检测对象的初始图像特征，将标准对象的标准图像输入第二特征提取网络，得到标准对象的标准图像特征。
其中，在第一特征提取网络的网络权重为ω1、第二特征提取网络的网络权重为ω2的情况下，第一特提取网络的网络权重和第二特征提取网络的网络权重的关系为ω1＝ω2+Δω，Δω为预设权重分量。
基于第一特征提取网络和第二特征提取网络在存在上述网络权重的关系的情况下，第一特征提取网络和第二特征提取网络不仅可以相近的方式对图像特征进行提取，同时可以保持各自网络学习的自由度以获得更好的特征表达能力，并且在另一方面可以弱化初始图像中非缺陷区域与标准图像可能存在的差异对缺陷检测所带来的影响，提升缺陷检测准确性。
在本申请实施例中，用于对初始图像以及标准图像特征进行处理的特征提取网络包括但不限于残差网络(Residual Network，ResNet)、视觉几何组(visual geometrygroup，VGG)网络等，具体可基于实际应用场景需求确定，在此不做限制。
其中，残差网络包括但不限于ResNet18、ResNet34、ResNet50、ResNet101等网络，具体可基于实际应用场景需求确定，在此不做限制。
以ResNet50网络为例，ResNet50包括多个串连的残差块，串连是指上一个残差块的输出作为当前残差块的输入，在每个残差块中都包括多个卷积层，这些卷积层中相邻的卷积层之间串连，不相邻的卷积层之间存在跳跃连接(Skip Connections)，从而能够构成一个具有残差结构的残差块。并且每个残差块由前后相连的残差单元构成，对于每个残差单元，首先进行通道下采样，然后使用3x3的卷积进行特征变换，再通过通道上采样恢复到原始通道大小，最后通过与输入的残差连接来获取输出特征。其中，每个残差单元通过最大池化层或者步长为2的卷积蹭实现空间下采样，增加了网络感受野同时保持局部平移不变形。同时每个残差单元的基准通道数也随着网络层次的加深而变大，从而可以抽取出更丰富的语义信息。
例如，ResNet50网络中某个残差块中包含6个卷积层，其中除了6个卷积层互相串连之外，还存在由上一个残差块的输出(即第1个卷积层的输入)指向第4个卷积层的输入的跳跃连接，即，上一个残差块的输出在与第3个卷积层的输出融合之后，将融合所得的特征图输入到第4个卷积层，此外，还存在由第4个卷积层的输入指向第6个卷积层的输出的跳跃连接，即第4个卷积层的输入(指将第3个卷积层的输出与上一个残差块的输出融合所得的特征图)在与第6个卷积层的输出融合之后，将融合所得的特征图作为当前残差块的输出，输入到下一个残差块中，ResNet50网络中其他残差块的内部结构与上述举例类似，这里不做赘述。
参见图4，图4是本申请实施例提供的残差单元的结构示意图。如图4所示，假设x为输入特征图，则残差单元的输出为H(x)＝F(x)+x。其中，F(x)是残差，图中weight layer代表着卷积操作，一般一个残差部分包含2-3个卷积操作，将卷积后的特征图F(x)与x相加得到新的特征图H(x)，relu表示激活函数。
步骤S23、确定初始图像特征的每个像素点相较于标准图像特征中相同位置的像素点的偏移特征值，基于初始图像特征以及初始图像特征的每个像素点对应的偏移特征值确定第一融合图像特征。
在一些可行的实施方式中，对于待检测对象对应的初始图像特征以及标准对象对应的标准图像特征，两个特征图像特征之间的差异可能包括待检测对象自身形变导致的与标准对象之间的差异、以及待检测对象自身存在的缺陷与标准对象之间的差异。
例如，对于不存在缺陷的标准纺织面料的标准图像、以及以标准纺织面料为参照所生产的初始纺织面料的初始图像，标准图像的标准图像特征与初始图像的初始图像特征之间的差异，可以包括拍摄标准纺织面料和初始纺织面料对应的图像时，由于纺织面料的柔性形变导致的面料不平整、褶皱等原因所造成的特征差异，还可以包括初始纺织面料的自身缺陷(如破洞)等造成的特征差异。
基于此，在对待检测对象进行缺陷检测时，需要进一步考虑待检测对象自身形变导致的与标准对象之间的差异对待检测对象进行缺陷检测。
具体地，可确定初始图像特征的每个像素点相较于标准图像特征中相同位置的像素点的偏移特征值，该偏移特征值表征了在待检测对象发生形变情况下，初始图像特征的每个像素点相较于标准图像特征中相同位置的像素点之间的特征偏移。
进一步地，基于初始图像特征以及初始图像特征的每个像素点对应的偏移特征值可确定第一融合图像特征，第一融合图像特征也即在考虑待检测对象发生形变情况之后得到的待检测对象对应的特征信息，也即消除待检测对象自身发生形变所带来的特征差异之后待检测对象对应的特征信息。
例如，同样对于不存在缺陷的标准纺织面料的标准图像、以及以标准纺织面料为参照所生产的初始纺织面料的初始图像，可确定初始纺织面料的初始图像特征的每个像素点相较于标准纺织面料的标准图像特征中相同位置的像素点的偏移特征值，该偏移特征值表征了初始纺织面料在发生柔性形变的情况下，对应的初始图像特征的每个像素点相较于对应标准图像特征中相同位置的像素点之间的特征偏移。
基于此，基于初始纺织面料的初始图像特征以及初始图像特征的每个像素点对应的偏移特征值所确定出的第一融合图像特征，此时第一融合图像特征即为在考虑初始纺织面料发生柔性形变的情况下所得到的特征信息，也即消除初始纺织面料自身发生柔性形变所带来与标准图像特征之间的差异之后初始纺织面料的特征信息。
在一些可行的实施方式中，在确定初始图像特征的每个像素点相较于标准图像特征中相同位置的像素点的偏移特征值时，可先基于初始图像特征和标准图像特征，确定初始图像特征的每个像素点相较于标准图像特征中相同位置的像素点的偏移位置，进而确定初始图像特征的每个像素点的偏移位置在标准图像特征中对应的目标特征值，将初始图像特征的每个像素点对应的目标特征值确定为相较于标准图像特征中相同位置的像素点的偏移特征值。
具体地，可基于初始图像特征和标准图像特征确定第二融合图像特征，如将初始图像特征和标准图像特征进行通道拼接，将拼接后的特征作为第二融合图像特征。进一步可基于偏移预测网络对第二融合图像特征进行处理，以预测得到初始图像特征中每个像素点相较于标准图像特征中相同位置的像素点的偏移位置。
可选地，可先基于初始图像特征和标准图像特征确定第二融合图像特征，进而基于第二融合图像特征确定初始图像特征的每个像素点相较于标准图像特征中相同位置的像素点的偏移信息。
其中，对于初始图像特征的每个像素点，该像素点的偏移信息包括横向偏移量、横向偏移方向、纵向偏移方向以及纵向偏移量。该像素点的横向偏移方向表示该像素点向左偏移还是向右偏移，该像素点的纵向偏移方向表示该像素点向上偏移还是向下偏移，该像素点的横向偏移量表示该像素点向左或向右偏移的距离，该像素点的纵向偏移量表示该像素点向上或者向下偏移的距离。
进一步地，对于初始图像特征的每个像素点，在确定出该像素点的偏移信息之后，可基于该像素点的偏移信息确定该像素点相较于标准图像特征中相同位置的像素点的偏移位置。
在一些可行的实施方式中，在基于第二融合图像特征确定初始图像特征的每个像素点相较于标准图像特征中相同位置的像素点的偏移信息时，可先基于第二融合图像特征确定第一偏移特征，第一偏移特征的每个像素点用于表征初始图像特征中相同位置的像素点的横向偏移参考值。对于初始图像特征的每个像素点，可基于该像素点的横向偏移参考值确定该像素点相较于标准图像特征中相同位置的像素点的横向偏移量和横向偏移方向。
参见图5，图5是本申请实施例提供的确定第一偏移特征的场景示意图。如图5所示，在确定第一偏移特征时，可基于第一卷积网络对第二融合图像特征进行卷积处理得到第一初始偏移特征，进而对第一初始偏移特征的每个像素点的特征值进行归一化处理得到第一偏移特征。
其中，第一卷积网络包括至少一个依次级联的卷积层，且各卷积层的配置信息可基于实际应用场景需求确定，在此不做限制。
基于此，第一偏移特征的每个像素点的特征值即为初始图像特征中相同位置的像素点的横向偏移参考值，且第一偏移特征的每个像素点的特征值大于或者等于0，且小于或者等于1。
同理，可基于第二融合图像特征确定第二偏移特征，第二偏移特征的每个像素点用于表征初始图像特征中相同位置的像素点的纵向偏移参考值。对于初始图像特征的每个像素点，可基于该像素点的纵向偏移参考值确定该像素点相较于标准图像特征中相同位置的像素点的纵向偏移量和纵向偏移方向。
参见图6，图6是本申请实施例提供的确定第二偏移特征的场景示意图。如图6所示，在确定第二偏移特征时，可基于第二卷积网络对第二融合图像特征进行卷积处理得到第二初始偏移特征，进而对第二初始偏移特征的每个像素点的特征值进行归一化处理得到第二偏移特征。
其中，第二卷积网络包括至少一个依次级联的卷积层，且各卷积层的参数信息可基于实际应用场景需求确定，在此不做限制。
其中，上述第一卷积网络和第二卷积网络的网络参数并不相同，在此不做限制。
基于此，第二偏移特征的每个像素点的特征值即为初始图像特征中相同位置的像素点的纵向偏移参考值，且第二偏移特征的每个像素点的特征值大于或者等于0，且小于或者等于1。
对于初始图像特征的每个像素点，基于该像素点的横向偏移参考值确定该像素点相较于标准图像特征中相同位置的像素点的横向偏移量和横向偏移方向时，可将该像素点的横向偏移参考值与第一阈值进行比较。若该像素点的横向偏移参考值小于第一阈值，则确定该像素点的横向偏移方向为向左偏移，若该像素点的横向偏移参考值大于第一阈值，则确定该像素点的横向偏移方向为向右偏移，若该像素点的横向偏移参考值大于第一阈值，则该像素点在横向不做偏移。
其中，第一阈值具体可基于实际应用场景需求确定，如可以为0.5，在此不做限制。
对于初始图像特征的每个像素点，在确定该像素点的横向偏移量时，可确定该像素点的横向偏移参考值与第一阈值的差值的绝对值，为方便描述，以下将横向偏移参考值与第一阈值的差值的绝对值称为第一绝对值。基于此，可基于第一绝对值和横向偏移系数确定该像素点的横向偏移量，如将第一绝对值和横向偏移系数的乘积确定为该像素点的横向偏移量。
其中，横向偏移系数用于表征第一偏移特征的每个像素点与标准图像的感受野在横向上的映射关系。
基于上述实现方式，可确定初始图像特征的每个像素点需要向左还是向右移动，以及向左移动的横向偏移量或者向右移动的横向偏移量。
对于初始图像特征的每个像素点，基于该像素点的纵向偏移参考值确定该像素点相较于标准图像特征中相同位置的像素点的纵向偏移量和纵向偏移方向时，可将该像素点的纵向偏移参考值与第二阈值进行比较。若该像素点的纵向偏移参考值小于第二阈值，则确定该像素点的纵向偏移方向为向上偏移，若该像素点的纵向偏移参考值大于第二阈值，则确定该像素点的纵向偏移方向为向下偏移，若该像素点的纵向偏移参考值大于第二阈值，则该像素点在纵向不做偏移。
其中，第二阈值具体可基于实际应用场景需求确定，如可以为0.5，在此不做限制。
对于初始图像特征的每个像素点，在确定该像素点的纵向偏移量时，可确定该像素点的纵向偏移参考值与第二阈值的差值的绝对值，为方便描述，以下将纵向偏移参考值与第二阈值的差值的绝对值称为第二绝对值。基于此，可基于第二绝对值和纵向偏移系数确定该像素点的纵向偏移量，如将第二绝对值和纵向偏移系数的乘积确定为该像素点的纵向偏移量。
其中，纵向偏移系数用于表征第二偏移特征的每个像素点与标准图像的感受野在纵向上的映射关系。
基于上述实现方式，可确定初始图像特征的每个像素点需要向上还是向下移动，以及向上移动的纵向偏移量或者向下移动的纵向偏移量。
其中，对于初始图像特征的每个像素点，在确定出该像素点相较于标准图像特征中相同位置的像素点的特征值时，可基于标准图像特征对标准图像特征中该像素点的偏移位置进行双线性差值，得到标准图像特征中该像素点的偏移位置的目标特征值，并将该目标特征值确定为该像素点相较于标准图像特征中相同位置的像素点的偏移特征值。
在一些可行的实施方式中，在确定出初始图像特征的每个像素点对应的偏移特征值之后，可将初始图像特征的每个像素点对应的特征值和对应的偏移特征值进行融合得到第三融合图像特征。
具体可将初始图像特征的每个像素点和对应的偏移特征值进行拼接得到第三融合图像特征，或者可基于卷积网络分别对初始图像特征和有各偏移特征值得到特征图进行卷积处理，并将相同位置的像素点的特征值进行拼接或者相加得到第三融合图像特征。
或者，对于初始图像特征中的每个像素点，可将该像素点的特征值和对应的偏移特征值进行相加得到该像素点的实际采样偏差，进而对初始图像特征进行卷积操作并且将每个像素点的实际采样偏差作为卷积偏置，最终得到第三融合图像特征。
其中，第三融合图像特征为将标准对象和待检测对象在相同对象位置的特征进行对齐后的特征。
进一步地，在确定出第三融合图像特征之后，可基于第三融合图像特征和初始图像特征确定第一融合图像特征，如可将第三融合图像特征与初始图像特征的每个像素点的特征值之差确定为第一融合图像特征的每个像素点的特征值以得到第一融合图像特征，或者基于至少一个级联的卷积网络对第三融合图像特征进行卷积之后，将卷积后的特征图的每个像素点的特征值与初始图像特征中对应位置的像素点的特征值之差确定为第一融合图像特征的每个像素点的特征值以得到第一融合图像特征。
下面结合图7对确定第一融合图像特征的流程进行进一步说明。图7是本申请实施例提供的确定第一融合图像特征的场景示意图。图X所示的标准图像为标准纺织面料(标准对象)的图像，初始图像为新生产的以标准图像为参照的初始纺织面料(待检测对象)的图像。
将初始图像输入第一特征提取网络得到初始纺织面料的初始图像特征，将标准图像输入第二特征提取网络得到标准纺织面料的标准图像特征。其中，第一特征提取网络和第二特征提取网络的网络权重关系为ω1＝ω2+Δω，Δω为预设权重分量，第一特征提取网络的网络权重为ω1、第二特征提取网络的网络权重为ω2。
基于柔性对齐模块可根据初始图像特征和标准图像特征，确定出将初始纺织面料和标准纺织面料在相同面料位置的特征进行柔性对齐之后的第三融合图像特征。
进一步地，基于第三融合图像特征和初始图像特征可确定出第一融合图像特征，第一融合图像特征为消除初始纺织面料自身发生柔性形变所带来与标准图像之间的差异之后的初始纺织面料的特征信息。
其中，柔性对齐模块确定第三融合特征的实现方式可参见前述各实施例所示的实现方式，在此不再赘述。
步骤S24、基于第一融合图像特征确定待检测对象所属的对象类型。
本申请实施例中的对象类型包括第一类型和第二类型，当任一对象的属于第一类型时，表示该对象相较于对应的标准对象存在缺陷，当任一对象属于第二类型时，表示该对象相较于对应的标准对象不存在缺陷，即与对应的标准对象保持一致。
在一些可行的实施方式中，在根据待检测对象的初始图像特征和标准对象的标准图像特征确定出第一融合图像特征之后，可基于第一融合图像特征确定待检测对象对应的类型特征。
具体地，可基于池化层对第一融合图像特征进行池化处理，并基于全连接层对池化特征进行进一步处理之后得到待检测对象对应的类型特征。
其中，基于池化层对第一融合图像特征进行池化处理包括但不限于全局池化、平均池化等，具体可基于实际应用场景需求确定，在此不做限制。
进一步地，基于待检测对象对应的类型特征可确定待检测对象的类型概率，当待检测对象的类型概率大于或者等于概率阈值时，确定待检测对象的所属的对象类型为第一类型，即待检测对象相较于标准对象而言存在缺陷。当待检测对象的类型概率小于概率阈值时，可确定待检测对象的对象类型为第二类型，即待检测对象相较于标准对象而言不存在缺陷，也即待检测对象与标准对象保持一致。
其中，需要强调的是，本申请实施例中任一待检测对象存在缺陷，即表明待检测对象存在与标准对象不一致的地方，也即待检测对象存在的缺陷即为与标准对象不一致的地方，如产品污渍、缝隙、损坏处或者面料瑕疵等等，在此不做限制。
在一些可行的实施方式中，在确定出待检测对象所属的对象类型之后，若待检测对象属于第一类型，即确定待检测对象相较于标准对象存在缺陷的情况下，可基于待检测对象的初始图像确定待检测图像中的目标缺陷，并对目标缺陷进行分类。
具体地，可确定待检测对象的初始图像的热力图，并对热力图进行二值化处理得到目标灰度图。
其中，待检测对象的初始图像的热力图可基于类别激活映射图(ClassActivation Mapping，CAM)模型进行确定。
其中，图像的二值化处理就是将图像上的点的灰度值确定为0或255，也就是将整个图像呈现出明显的黑白效果。即将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。
进一步地，如图8所示，图8是本申请实施例提供的确定连通域的场景示意图。如图8所示，在确定出目标灰度图之后，可确定目标灰度图中的各个连通域，也即确定出目标灰度图中具有相同像素值且位置相邻的像素点组成的图像区域，并将每个连通域定为候选缺陷区域，每个候选缺陷区域即为待检测对象的初始图像可能存在缺陷的区域。
基于此，可从待检测对象的初始图像对应于各连通域的图像区域中确定出待检测对象中的目标缺陷。对于每个连通域，可将待检测对象的初始图像对应于该连通域的图像区域、与标准图像中对应于该连通域的图像区域进行比较，若二者相同或者图像相似度大于相似度阈值，则说明待检测对象的初始图像对应于该连通域的图像区域中不包括目标缺陷。若二者相同或者图像相似度小于或者等于相似度阈值，则说明待检测对象的初始图像对应于该连通域的图像区域中包括目标缺陷。
其中，在确定初始图像的热力图并通过二值化处理方式或者其他灰度图转换方式将热力图转换为灰度图之后，可基于灰度图中的各个连通域确定出初始图像中可能存在缺陷的区域。对于图9a-9d所示的任意一个灰度图像而言，可基于该灰度图像确定多个连通域，从而各连通域中最终确定出该灰度图像对应的初始图像中最终包括缺陷的图像区域。
对于任意一个待检测对象的初始图像，基于热力图可确定出该待检测对象所包括的缺陷所在区域，从而在确定出待检测对象包括缺陷的情况下使得缺陷所在区域可视化，实现对缺陷的可视化呈现和有效定位。
在本申请实施例中，通过第一特征提取网络和第二特征提取网络分别确定待检测对象的初始图像的初始图像特征以及标准对象的标准图像的标准图像特征，可准确提取各图像的图像特征的同时适应检测对象自身发生的形变等特征点。通过初始图像特征的每个像素点相较于标准图像特征中相同位置的像素点的偏移特征值、以及初始图像特征，可确定包括待检测对象自身形变导致的与标准对象之间的差异以及待检测对象自身存在的缺陷与标准对象之间的差异的第一融合图像特征，以实现待检测对象和标准对象的特征对齐，从而基于第一融合图像特征可在消除待检测对象自身形变导致的差异的情况下，高效准确地确定待检测图像是否存在缺陷，适用性高。
例如对于纺织面料而言，在待检测纺织面料对应的初始图像是在待检测纺织面料发生柔性形变的情况下所拍摄的情况下，基于本申请实施例提供的缺陷检测方法可消除待检测发生柔性形变所带来的与标准面料之间的差异，从而无论在待检测面料是否发生柔性形变的情况下均可准确高效地确定待检测面料是否存在缺陷。
如图10a所示，图10a是本申请实施例提供的面料缺陷检测的一示意图。在图10a中的待检测面料存在磨损纱线的情况下，无论在拍摄待检测面料的图像时待检测面料是否发生柔性形变，基于本申请实施例提供的缺陷检测方法均可准确检测出待检测面料相较于标准面料中出现磨损纱线的相关区域，有效检测出待检测面料中的缺陷。
如图10b所示，图10b是本申请实施例提供的面料缺陷检测的另一示意图。在图10b中的待检测面料存在破洞疵(未被染上色或者破损的瑕疵)的情况下，无论在拍摄待检测面料的图像时待检测面料是否发生柔性形变，基于本申请实施例提供的缺陷检测方法可检测出待检测面料相较于标准面料中出现微小不易观察到的破洞疵。
在一些可行的实施方式中，本申请实施例提供的缺陷检测方法可由缺陷检测模型实现，也即图2中任一项缺陷检测方法均可由缺陷检测模型实现。其中，缺陷检测模型是基于图11所示的训练方法训练得到的。
参见图11，图11是本申请实施例提供的缺陷检测模型的训练方法的流程示意图。如图11所示，本申请实施例提供的缺陷检测模型的训练方法具体可包括如下步骤：
步骤S111、确定训练样本集，训练样本集包括多组训练样本，每组训练样本包括一个样本对象的初始图像、以及该样本对象对应的标准对象的标准图像。
在一些可行的实施方式，在确定训练样本集时，可确定至少一个标准对象的标准图像。进一步地，对于每个标准对象，可为该标准对象添加不同的缺陷得到该标准对象对应的至少一个具有缺陷的样本对象，并同时确定每个样本对象的初始图像。
基于此，对于每个标准对象，可将该标准对象的标准图像以及该标准对象对应的一个样本对象的初始图像确定为一组训练样本，或者将该标准对象的两幅标准图像确定为一组训练样本，其中一幅标准图像作为一个样本对象的初始图像。
其中，每个标准对象可以为纺织面料、皮革、海报、画以及纸张等等任意物体，具体可基于实际应用场景需求确定，在此不做限制。
其中，上述预设存储空间可以是远程字典服务(Redis)***、数据库(Database)、云存储(cloud storage)或者区块链(Blockchain)中，具体可基于实际应用场景需求确定，在此不做限制。
在确定出训练样本集之后，可对训练样本集中的各组训练样本存储至指定存储空间，该指定存储空间包括但不限于云存储、数据库、区块链以及执行模型训练任务的设备自身的存储空间等，具体可基于实际应用场景需求确定，在此不做限制。
其中，数据库简而言之可视为电子化的文件柜——存储电子文件的处所，其可以为关系型数据库(SQL数据库)也可以为非关系型数据库(NoSQL数据库)，在此不做限制。在本申请中可用于存储训练样本集中的各组训练样本。区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块。在本申请实施例中，区块链中的每一个数据块均可存储训练样本集中的各组训练样本。云存储是在云计算概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术以及分布存储文件***等功能，将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作，共同存储训练样本集中的各组训练样本。
步骤S112、将每组训练样本输入初始模型以基于初始模型预测得到每组训练样本中的样本对象所述的对象类型。
在一些可行的实施方式中，对于每组训练样本，预测得到的该训练样本中的样本对象所属的对象类型同样包括第一类型和第二类型，当预测该样本对象属于第一类型时表示该样本对象相较于对应的标准对象存在缺陷，当预测该样本对象属于第二类型时表示该样本对象相较于对应的标准对象不存在缺陷。
在基于训练样本集对初始模型进行训练时，可将每组训练样本输入初始模型，由初始模型对每组训练样本中的初始图像和标准图像进行处理，预测得到每组训练样本中的样本对象所属的对象类型。
其中，初始模型可包括特征处理网络、特征对齐网络以及类型预测网络，参见图12，图12是本申请实施例提供的初始模型的结构示意图。
如图12所示，特征处理网络可以包括第一特征提取网络和第二特征提取网络，对于每组训练样本，特征处理网络通过第一特征提取网络确定该训练样本中的样本对象的初始图像特征，通过第二特征提取网络确定该训练样本对应的标准对象的标准图像特征，并且第一特征提取网络的网络权重ω1和第二特征提取网络的网络权重ω2之间的关系为ω1＝ω2+Δω，Δω为预设权重分量。
其中，特征处理网络的具体实现方式可参见图2中步骤S22所示的实现方式，在此不再赘述。
如图12所示，对于每组训练样本，特征对齐网络用于确定该训练样本对应的初始图像特征的每个像素点相较于对应标准图像特征中相同位置的像素点的偏移特征值，并基于该训练样本对应的初始图像特征以及初始图像特征的每个像素点对应的偏移特征值确定第一融合图像特征，如实现前述柔性对齐模块的特征处理过程，具体可参见图2中步骤S23所示的实现方式，在此不再赘述。
如图12所示，对于每组训练样本，类型预测网络用于基于该训练样本对应的第一融合图像特征预测该训练样本中的样本对象所属的对象类型，具体可参见图2中步骤S24所示的实现方式，在此不再赘述。
步骤S113、确定每组训练样本中的样本对象所属的实际对象类型，基于每组训练样本中的样本对象所属的实际对象类型、以及预测所属的对象类型确定总训练损失，基于训练样本集对初始模型进行迭代训练，直至总训练损失符合训练结束条件时停止训练，并将停止训练时的模型确定为缺陷检测模型。
在一些可行的实施方式中，在确定每组训练样本的过程中，若该训练样本中的两副图像均为一个标准对象的标准图像，则将该训练样本中的样本对象所属的实际对象类型确定为第二类型，反之则将该训练样本中的样本对象所属的实际对象类型确定为第一类型。
进一步地，在对初始模型进行训练的过程中，可基于每组训练样本中的样本对象所属的实际对象类型、以及预测所属的对象类型确定总训练损失。基于此，可在基于训练样本集对初始模型进行训练的过程中，在总训练损失符合训练结束条件时停止训练并将停止训练时的模型确定为最终的缺陷检测模型。
其中，上述训练结束条件可以为总训练损失达到收敛，也可以为总训练损失小于损失阈值，具体可基于实际应用场景需求确定，在此不做限制。
其中，上述总训练损失可以交叉熵损失，可以基于其他损失函数确定，在此不做限制。
在本申请实施例中，上述缺陷检测模型的训练方式以及缺陷检测方法可基于人工智能中的机器学习技术实现。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。其中，机器学习是专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能，以实现上述隐马尔可夫模型的训练过程。
其中，本申请实施例中涉及到的特征处理过程可基于云技术(Cloud Technology)领域中的云计算(Cloud Computing)技术实现，以提升计算效率。
其中，云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云计算是一种计算模式，是网格计算(Grid computing)、分布式计算(Distributed Computing)、并行计算(ParallelComputing)、效用计算(Utility Computing)、网络存储(Network StorageTechnologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。云计算将计算任务分布在大量计算机构成的资源池上，使各种应用***能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”，“云”中的资源是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。
参见图13，图13是本申请实施例提供的缺陷检测装置的结构示意图。本申请实施例提供的缺陷检测装置包括：
图像确定模块131，用于确定待检测对象的初始图像和标准对象的标准图像，上述初始图像和上述标准图像是基于相同拍摄条件得到的；
特征提取模块132，用于确定上述初始图像的初始图像特征以及上述标准图像的标准图像特征；
特征处理模块133，用于确定上述初始图像特征的每个像素点相较于上述标准图像特征中相同位置的像素点的偏移特征值，基于上述初始图像特征以及上述初始图像特征的每个像素点对应的偏移特征值确定第一融合图像特征；
类型确定模块134，用于基于上述第一融合图像特征确定上述待检测对象所属的对象类型，上述对象类型包括第一类型和第二类型，上述待检测对象属于第一类型时，上述待检测对象相较于上述标准对象存在缺陷，上述待检测对象属于第一类型时，上述待检测对象相较于上述标准对象不存在缺陷。
在一些可行的实施方式中，上述特征提取模块132，用于：
基于第一特征提取网络确定上述初始图像的初始图像特征；
基于第二特征提取网络确定上述标准图像的标准图像特征；
上述第一特征提取网络和上述第二特征提取网络的网络结构相同，上述第一特征提取网络的网络权重是基于上述第二特征提取网络的网络权重和预设权重分量确定的。
在一些可行的实施方式中，上述特征处理模块133，用于：
基于上述初始图像特征和上述标准图像特征，确定上述初始图像特征的每个像素点相较于上述标准图像特征中相同位置的像素点的偏移位置；
确定上述初始图像特征的每个像素点的偏移位置在上述标准图像特征中对应的目标特征值，将上述初始图像特征的每个像素点对应的目标特征值确定为相较于上述标准图像特征中相同位置的像素点的偏移特征值。
在一些可行的实施方式中，上述特征处理模块133，用于：
基于上述初始图像特征和上述标准图像特征确定第二融合图像特征；
基于上述第二融合图像特征确定上述初始图像特征的每个像素点相较于上述标准图像特征中相同位置的像素点的偏移信息，上述初始图像特征的每个像素点的偏移信息包括横向偏移量、横向偏移方向、纵向偏移量以及纵向偏移方向；
对于上述初始图像特征的每个像素点，基于该像素点的偏移信息确定该像素点相较于上述标准图像中相同位置的像素点的偏移位置。
在一些可行的实施方式中，上述特征处理模块133，用于：
基于上述第二融合图像特征确定第一偏移特征和第二偏移特征，上述第一偏移特征的每个像素点用于表征上述初始图像特征中相同位置的像素点的横向偏移参考值，上述第二偏移特征的每个像素点用于表征上述初始图像特征中相同位置的像素点的纵向偏移参考值；
对于上述初始图像特征的每个像素点，基于该像素点的横向偏移参考值确定该像素点相较于上述标准图像特征中相同位置的像素点的横向偏移量和横向偏移方向，基于该像素点的纵向偏移参考值确定该像素点相较于上述标准图像特征中相同位置的像素点的纵向偏移量和纵向偏移方向。
在一些可行的实施方式中，对于上述初始图像特征的每个像素点，上述特征处理模块133，用于：
响应于该像素点的横向偏移参考值小于第一阈值，确定该像素点的横向偏移方向为向左偏移，响应于该像素点的横向偏移参考值大于上述第一阈值，确定该像素点的横向偏移方向为向右偏移，基于该像素点的横向偏移参考值、上述第一阈值以及横向偏移系数确定该像素点的横向偏移量；
上述特征处理模块133，用于：
响应于该像素点的纵向偏移参考值小于第二阈值，确定该像素点的纵向偏移方向为向上偏移，响应于该像素点的纵向偏移参考值大于上述第二阈值，确定该像素点的纵向偏移方向为向下偏移，基于该像素点的纵向偏移参考值、上述第二阈值以及纵向偏移系数确定该像素点的纵向偏移量。
在一些可行的实施方式中，上述特征处理模块133，用于：
将上述初始图像特征的每个像素点的特征值和对应的偏移特征值进行融合得到第三融合图像特征；
基于上述第三融合图像特征和上述初始图像特征确定第一融合图像特征。
在一些可行的实施方式中，上述类型确定模块134，还用于：
响应于上述待检测对象属于上述第一类型，基于上述待检测对象的初始图像确定上述待检测对象中的目标缺陷，并对上述目标缺陷进行分类。
在一些可行的实施方式中，上述类型确定模块134，还用于：
确定上述待检测对象的初始图像的热力图，对上述热力图进行二值化处理得到目标灰度图；
确定上述目标灰度图中的各个连通域，并从上述待检测对象的初始图像对应于各上述连通域的图像区域中确定出上述待检测对象中的目标缺陷。
在一些可行的实施方式中，确定上述初始图像特征以及上述标准图像特征、确定上述初始图像特征的每个像素点的偏移特征值、确定上述第一融合图像特征、以及确定上述待检测对象所属的对象类型是基于缺陷检测模型实现的，上述缺陷检测模型是基于训练模块训练得到的，上述训练模块，用于：
确定训练样本集，上述训练样本集包括多组训练样本，每组上述训练样本包括一个样本对象的初始图像、以及该样本对象对应的标准对象的标准图像
将每组上述训练样本输入初始模型以基于上述初始模型预测得到每组上述训练样本中的样本对象所属的对象类型；
确定每组上述训练样本中的样本对象所属的实际对象类型，基于每组上述训练样本中的样本对象所属的实际对象类型、以及预测所属的对象类型确定总训练损失，基于训练样本集对上述初始模型进行迭代训练，直至上述总训练损失符合训练结束条件时停止训练，并将停止训练时的模型确定为上述缺陷检测模型。
具体实现中，上述装置可通过其内置的各个功能模块执行如上述图2和/或图11中各个步骤所提供的实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。
参见图14，图14是本申请实施例提供的电子设备的结构示意图。如图14所示，本实施例中的电子设备1400可以包括：处理器1401，网络接口1404和存储器1405，此外，上述电子设备1400还可以包括：对象接口1403，和至少一个通信总线1402。其中，通信总线1402用于实现这些组件之间的连接通信。其中，对象接口1403可以包括显示屏(Display)、键盘(Keyboard)，可选对象接口1403还可以包括标准的有线接口、无线接口。网络接口1404可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1405可以是高速RAM存储器，也可以是非易失性存储器(non-volatile memory，NVM)，例如至少一个磁盘存储器。存储器1405可选的还可以是至少一个位于远离前述处理器1401的存储装置。如图14所示，作为一种计算机可读存储介质的存储器1405中可以包括操作***、网络通信模块、对象接口模块以及设备控制应用程序。
在图14所示的电子设备1400中，网络接口1404可提供网络通讯功能；而对象接口1403主要用于为对象提供输入的接口；而处理器1401可以用于调用存储器1405中存储的设备控制应用程序，以实现：
确定待检测对象的初始图像和标准对象的标准图像，上述初始图像和上述标准图像是基于相同拍摄条件得到的；
确定上述初始图像的初始图像特征以及上述标准图像的标准图像特征；
确定上述初始图像特征的每个像素点相较于上述标准图像特征中相同位置的像素点的偏移特征值，基于上述初始图像特征以及上述初始图像特征的每个像素点对应的偏移特征值确定第一融合图像特征；
基于上述第一融合图像特征确定上述待检测对象所属的对象类型，上述对象类型包括第一类型和第二类型，上述待检测对象属于第一类型时，上述待检测对象相较于上述标准对象存在缺陷，上述待检测对象属于第一类型时，上述待检测对象相较于上述标准对象不存在缺陷。
在一些可行的实施方式中，上述处理器1401用于：
基于第一特征提取网络确定上述初始图像的初始图像特征；
基于第二特征提取网络确定上述标准图像的标准图像特征；
上述第一特征提取网络和上述第二特征提取网络的网络结构相同，上述第一特征提取网络的网络权重是基于上述第二特征提取网络的网络权重和预设权重分量确定的。
在一些可行的实施方式中，上述处理器1401用于：
基于上述初始图像特征和上述标准图像特征，确定上述初始图像特征的每个像素点相较于上述标准图像特征中相同位置的像素点的偏移位置；
确定上述初始图像特征的每个像素点的偏移位置在上述标准图像特征中对应的目标特征值，将上述初始图像特征的每个像素点对应的目标特征值确定为相较于上述标准图像特征中相同位置的像素点的偏移特征值。
在一些可行的实施方式中，上述处理器1401用于：
基于上述初始图像特征和上述标准图像特征确定第二融合图像特征；
基于上述第二融合图像特征确定上述初始图像特征的每个像素点相较于上述标准图像特征中相同位置的像素点的偏移信息，上述初始图像特征的每个像素点的偏移信息包括横向偏移量、横向偏移方向、纵向偏移量以及纵向偏移方向；
对于上述初始图像特征的每个像素点，基于该像素点的偏移信息确定该像素点相较于上述标准图像中相同位置的像素点的偏移位置。
在一些可行的实施方式中，上述处理器1401用于：
基于上述第二融合图像特征确定第一偏移特征和第二偏移特征，上述第一偏移特征的每个像素点用于表征上述初始图像特征中相同位置的像素点的横向偏移参考值，上述第二偏移特征的每个像素点用于表征上述初始图像特征中相同位置的像素点的纵向偏移参考值；
对于上述初始图像特征的每个像素点，基于该像素点的横向偏移参考值确定该像素点相较于上述标准图像特征中相同位置的像素点的横向偏移量和横向偏移方向，基于该像素点的纵向偏移参考值确定该像素点相较于上述标准图像特征中相同位置的像素点的纵向偏移量和纵向偏移方向。
在一些可行的实施方式中，对于上述初始图像特征的每个像素点，上述处理器1401用于：
响应于该像素点的横向偏移参考值小于第一阈值，确定该像素点的横向偏移方向为向左偏移，响应于该像素点的横向偏移参考值大于上述第一阈值，确定该像素点的横向偏移方向为向右偏移，基于该像素点的横向偏移参考值、上述第一阈值以及横向偏移系数确定该像素点的横向偏移量；
上述基于该像素点的纵向偏移参考值确定该像素点相较于上述标准图像特征中相同位置的像素点的纵向偏移量和纵向偏移方向，包括：
响应于该像素点的纵向偏移参考值小于第二阈值，确定该像素点的纵向偏移方向为向上偏移，响应于该像素点的纵向偏移参考值大于上述第二阈值，确定该像素点的纵向偏移方向为向下偏移，基于该像素点的纵向偏移参考值、上述第二阈值以及纵向偏移系数确定该像素点的纵向偏移量。
在一些可行的实施方式中，上述处理器1401用于：
将上述初始图像特征的每个像素点的特征值和对应的偏移特征值进行融合得到第三融合图像特征；
基于上述第三融合图像特征和上述初始图像特征确定第一融合图像特征。
在一些可行的实施方式中，上述处理器1401还用于：
响应于上述待检测对象属于上述第一类型，基于上述待检测对象的初始图像确定上述待检测对象中的目标缺陷，并对上述目标缺陷进行分类。
在一些可行的实施方式中，上述处理器1401用于：
确定上述待检测对象的初始图像的热力图，对上述热力图进行二值化处理得到目标灰度图；
确定上述目标灰度图中的各个连通域，并从上述待检测对象的初始图像对应于各上述连通域的图像区域中确定出上述待检测对象中的目标缺陷。
在一些可行的实施方式中，确定上述初始图像特征以及上述标准图像特征、确定上述初始图像特征的每个像素点的偏移特征值、确定上述第一融合图像特征、以及确定上述待检测对象所属的对象类型是基于缺陷检测模型实现的，上述缺陷检测模型是上述处理器1401基于以下方式训练得到的：
确定训练样本集，上述训练样本集包括多组训练样本，每组上述训练样本包括一个样本对象的初始图像、以及该样本对象对应的标准对象的标准图像
将每组上述训练样本输入初始模型以基于上述初始模型预测得到每组上述训练样本中的样本对象所属的对象类型；
确定每组上述训练样本中的样本对象所属的实际对象类型，基于每组上述训练样本中的样本对象所属的实际对象类型、以及预测所属的对象类型确定总训练损失，基于训练样本集对上述初始模型进行迭代训练，直至上述总训练损失符合训练结束条件时停止训练，并将停止训练时的模型确定为上述缺陷检测模型。
应当理解，在一些可行的实施方式中，上述处理器1401可以是中央处理单元(central processing unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integratedcircuit，ASIC)、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
具体实现中，上述电子设备1400可通过其内置的各个功能模块执行如上述图2和/或图11中各个步骤所提供的实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，被处理器执行以实现图2和/或图11中各个步骤所提供的方法，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。
上述计算机可读存储介质可以是前述任一实施例提供的装置或电子设备的内部存储单元，例如电子设备的硬盘或内存。该计算机可读存储介质也可以是该电子设备的外部存储设备，例如该电子设备上配备的插接式硬盘，智能存储卡(smart media card,SMC)，安全数字(secure digital,SD)卡，闪存卡(flash card)等。上述计算机可读存储介质还可以包括磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(randomaccess memory，RAM)等。进一步地，该计算机可读存储介质还可以既包括该电子设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该电子设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，上述计算机程序被处理器执行图2和/或图11中各个步骤所提供的方法。
本申请的权利要求书和说明书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或电子设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或电子设备固有的其它步骤或单元。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所揭露的仅为本申请较佳实施例而已，不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (14)

1.一种缺陷检测方法，其特征在于，所述方法包括：
确定待检测对象的初始图像和标准对象的标准图像，所述初始图像和所述标准图像是基于相同拍摄条件得到的；
确定所述初始图像的初始图像特征以及所述标准图像的标准图像特征；
确定所述初始图像特征的每个像素点相较于所述标准图像特征中相同位置的像素点的偏移特征值，基于所述初始图像特征以及所述初始图像特征的每个像素点对应的偏移特征值确定第一融合图像特征；
基于所述第一融合图像特征确定所述待检测对象所属的对象类型，所述对象类型包括第一类型和第二类型，所述待检测对象属于第一类型时，所述待检测对象相较于所述标准对象存在缺陷，所述待检测对象属于第一类型时，所述待检测对象相较于所述标准对象不存在缺陷。
2.根据权利要求1所述的方法，其特征在于，所述确定所述初始图像的初始图像特征以及所述标准图像的标准图像特征，包括：
基于第一特征提取网络确定所述初始图像的初始图像特征；
基于第二特征提取网络确定所述标准图像的标准图像特征；
所述第一特征提取网络和所述第二特征提取网络的网络结构相同，所述第一特征提取网络的网络权重是基于所述第二特征提取网络的网络权重和预设权重分量确定的。
3.根据权利要求1所述的方法，其特征在于，所述确定所述初始图像特征的每个像素点相较于所述标准图像特征中相同位置的像素点的偏移特征值，包括：
基于所述初始图像特征和所述标准图像特征，确定所述初始图像特征的每个像素点相较于所述标准图像特征中相同位置的像素点的偏移位置；
确定所述初始图像特征的每个像素点的偏移位置在所述标准图像特征中对应的目标特征值，将所述初始图像特征的每个像素点对应的目标特征值确定为相较于所述标准图像特征中相同位置的像素点的偏移特征值。
4.根据权利要求3所述的方法，其特征在于，所述基于所述初始图像特征和所述标准图像特征，确定所述初始图像特征的每个像素点相较于所述标准图像特征中相同位置的像素点的偏移位置，包括：
基于所述初始图像特征和所述标准图像特征确定第二融合图像特征；
基于所述第二融合图像特征确定所述初始图像特征的每个像素点相较于所述标准图像特征中相同位置的像素点的偏移信息，所述初始图像特征的每个像素点的偏移信息包括横向偏移量、横向偏移方向、纵向偏移量以及纵向偏移方向；
对于所述初始图像特征的每个像素点，基于该像素点的偏移信息确定该像素点相较于所述标准图像中相同位置的像素点的偏移位置。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第二融合图像特征确定所述初始图像特征的每个像素点相较于所述标准图像特征中相同位置的像素点的偏移信息，包括：
基于所述第二融合图像特征确定第一偏移特征和第二偏移特征，所述第一偏移特征的每个像素点用于表征所述初始图像特征中相同位置的像素点的横向偏移参考值，所述第二偏移特征的每个像素点用于表征所述初始图像特征中相同位置的像素点的纵向偏移参考值；
对于所述初始图像特征的每个像素点，基于该像素点的横向偏移参考值确定该像素点相较于所述标准图像特征中相同位置的像素点的横向偏移量和横向偏移方向，基于该像素点的纵向偏移参考值确定该像素点相较于所述标准图像特征中相同位置的像素点的纵向偏移量和纵向偏移方向。
6.根据权利要求5所述的方法，其特征在于，对于所述初始图像特征的每个像素点，所述基于该像素点的横向偏移参考值确定该像素点相较于所述标准图像特征中相同位置的像素点的横向偏移量和横向偏移方向，包括：
响应于该像素点的横向偏移参考值小于第一阈值，确定该像素点的横向偏移方向为向左偏移，响应于该像素点的横向偏移参考值大于所述第一阈值，确定该像素点的横向偏移方向为向右偏移，基于该像素点的横向偏移参考值、所述第一阈值以及横向偏移系数确定该像素点的横向偏移量；
所述基于该像素点的纵向偏移参考值确定该像素点相较于所述标准图像特征中相同位置的像素点的纵向偏移量和纵向偏移方向，包括：
响应于该像素点的纵向偏移参考值小于第二阈值，确定该像素点的纵向偏移方向为向上偏移，响应于该像素点的纵向偏移参考值大于所述第二阈值，确定该像素点的纵向偏移方向为向下偏移，基于该像素点的纵向偏移参考值、所述第二阈值以及纵向偏移系数确定该像素点的纵向偏移量。
7.根据权利要求1所述的方法，其特征在于，所述基于所述初始图像特征以及所述初始图像特征的每个像素点对应的偏移特征值确定第一融合图像特征，包括：
将所述初始图像特征的每个像素点的特征值和对应的偏移特征值进行融合得到第三融合图像特征；
基于所述第三融合图像特征和所述初始图像特征确定第一融合图像特征。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于所述待检测对象属于所述第一类型，基于所述待检测对象的初始图像确定所述待检测对象中的目标缺陷，并对所述目标缺陷进行分类。
9.根据权利要求8所述的方法，其特征在于，所述基于所述待检测对象的初始图像确定所述待检测对象中的目标缺陷，包括：
确定所述待检测对象的初始图像的热力图，对所述热力图进行二值化处理得到目标灰度图；
确定所述目标灰度图中的各个连通域，并从所述待检测对象的初始图像对应于各所述连通域的图像区域中确定出所述待检测对象中的目标缺陷。
10.根据权利要求1所述的方法，其特征在于，确定所述初始图像特征以及所述标准图像特征、确定所述初始图像特征的每个像素点的偏移特征值、确定所述第一融合图像特征、以及确定所述待检测对象所属的对象类型是基于缺陷检测模型实现的，所述缺陷检测模型是基于以下方式训练得到的：
确定训练样本集，所述训练样本集包括多组训练样本，每组所述训练样本包括一个样本对象的初始图像、以及该样本对象对应的标准对象的标准图像
将每组所述训练样本输入初始模型以基于所述初始模型预测得到每组所述训练样本中的样本对象所属的对象类型；
确定每组所述训练样本中的样本对象所属的实际对象类型，基于每组所述训练样本中的样本对象所属的实际对象类型、以及预测所属的对象类型确定总训练损失，基于训练样本集对所述初始模型进行迭代训练，直至所述总训练损失符合训练结束条件时停止训练，并将停止训练时的模型确定为所述缺陷检测模型。
11.一种缺陷检测装置，其特征在于，所述装置包括：
图像确定模块，用于确定待检测对象的初始图像和标准对象的标准图像，所述初始图像和所述标准图像是基于相同拍摄条件得到的；
特征提取模块，用于确定所述初始图像的初始图像特征以及所述标准图像的标准图像特征；
特征处理模块，用于确定所述初始图像特征的每个像素点相较于所述标准图像特征中相同位置的像素点的偏移特征值，基于所述初始图像特征以及所述初始图像特征的每个像素点对应的偏移特征值确定第一融合图像特征；
类型确定模块，用于基于所述第一融合图像特征确定所述待检测对象所属的对象类型，所述对象类型包括第一类型和第二类型，所述待检测对象属于第一类型时，所述待检测对象相较于所述标准对象存在缺陷，所述待检测对象属于第一类型时，所述待检测对象相较于所述标准对象不存在缺陷。
12.一种电子设备，其特征在于，包括处理器和存储器，所述处理器和存储器相互连接；
所述存储器用于存储计算机程序；
所述处理器被配置用于在调用所述计算机程序时，执行如权利要求1至10任一项所述的方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1至10任一项所述的方法。
14.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至10任一项所述的方法。
CN202310092571.1A 2023-01-16 2023-01-16 缺陷检测方法、装置、设备以及存储介质装置 Pending CN116977255A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310092571.1A CN116977255A (zh) 2023-01-16 2023-01-16 缺陷检测方法、装置、设备以及存储介质装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310092571.1A CN116977255A (zh) 2023-01-16 2023-01-16 缺陷检测方法、装置、设备以及存储介质装置

Publications (1)

Publication Number Publication Date
CN116977255A true CN116977255A (zh) 2023-10-31

Family

ID=88473740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310092571.1A Pending CN116977255A (zh) 2023-01-16 2023-01-16 缺陷检测方法、装置、设备以及存储介质装置

Country Status (1)

Country Link
CN (1) CN116977255A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117665006A (zh) * 2023-12-20 2024-03-08 皆利士多层线路版(中山)有限公司 绿油塞孔缺陷检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117665006A (zh) * 2023-12-20 2024-03-08 皆利士多层线路版(中山)有限公司 绿油塞孔缺陷检测方法

Similar Documents

Publication Publication Date Title
CN112232293B (zh) 图像处理模型训练、图像处理方法及相关设备
CN112052787B (zh) 基于人工智能的目标检测方法、装置及电子设备
CN111723732B (zh) 一种光学遥感图像变化检测方法、存储介质及计算设备
CN108229343B (zh) 目标对象关键点检测方法、深度学习神经网络及装置
EP4053718A1 (en) Watermark information embedding method and apparatus
CN106779057B (zh) 基于gpu的计算二值神经网络卷积的方法及装置
CN111738231A (zh) 目标对象检测方法、装置、计算机设备和存储介质
CN111274994B (zh) 漫画人脸检测方法、装置、电子设备及计算机可读介质
CN110796029B (zh) 人脸校正及模型训练方法、装置、电子设备及存储介质
CN112801047B (zh) 缺陷检测方法、装置、电子设备及可读存储介质
JP2023527615A (ja) 目標対象検出モデルのトレーニング方法、目標対象検出方法、機器、電子機器、記憶媒体及びコンピュータプログラム
CN110210480A (zh) 文字识别方法、装置、电子设备和计算机可读存储介质
CN117237808A (zh) 基于odc-yolo网络的遥感图像目标检测方法及***
CN116977255A (zh) 缺陷检测方法、装置、设备以及存储介质装置
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
KR102468718B1 (ko) 심층신경망을 이용하여 3차원 디지털 트윈 공간을 제공하기 위한 장치 및 방법
CN113723515B (zh) 基于图像识别的摩尔纹识别方法、装置、设备及介质
CN115439726A (zh) 一种图像检测方法、装置、设备及存储介质
CN115205496A (zh) 一种数字孪生模型轻量化方法及***
KR101772818B1 (ko) Mb-lbp에 기반한 머리 방향 추정 방법
Yu et al. Construction of garden landscape design system based on multimodal intelligent computing and deep neural network
Boby et al. A Practical Use for AI-Generated Images
CN118052998B (zh) 特征处理方法、装置、设备、存储介质及计算机程序产品
KR102408186B1 (ko) 구조화된 학습 데이터의 전처리 방법
Bae et al. Architecture for fast object detection supporting CPU-GPU hybrid and distributed computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination