CN112801047B - 缺陷检测方法、装置、电子设备及可读存储介质 - Google Patents

缺陷检测方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN112801047B
CN112801047B CN202110293621.3A CN202110293621A CN112801047B CN 112801047 B CN112801047 B CN 112801047B CN 202110293621 A CN202110293621 A CN 202110293621A CN 112801047 B CN112801047 B CN 112801047B
Authority
CN
China
Prior art keywords
feature
detected
region
fusion
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110293621.3A
Other languages
English (en)
Other versions
CN112801047A (zh
Inventor
刘文龙
高斌斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110293621.3A priority Critical patent/CN112801047B/zh
Publication of CN112801047A publication Critical patent/CN112801047A/zh
Application granted granted Critical
Publication of CN112801047B publication Critical patent/CN112801047B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及图像处理技术领域，公开了一种基于计算机视觉技术的缺陷检测方法、装置、电子设备及可读存储介质，缺陷检测方法包括：获取待检测目标的待检测图像和标准图像，提取所述待检测图像的待检测特征，并提取所述标准图像的标准特征；将所述待检测特征与所述标准特征融合，得到第一融合特征；确定所述第一融合特征中的感兴趣区域特征；基于所述感兴趣区域特征和所述第一融合特征检测所述待检测图像中的缺陷信息。本申请提供的缺陷检测方法可以有效提高物品图像缺陷信息的检测精度。

Description

缺陷检测方法、装置、电子设备及可读存储介质
技术领域
本申请涉及缺陷检测技术领域，具体而言，本申请涉及一种缺陷检测方法、装置、电子设备及可读存储介质。
背景技术
随着人工智能和计算机视觉技术的发展，机器视觉技术在工业场景的应用越来越多，其所占据的地位也越来越高。例如，机器视觉技术可以应用于工业生产过程中的质量控制环节，通过图像识别的方式进行物品图像缺陷检测的方式应运而生。
目前对于物品图像缺陷检测的方式，是先确定待检测目标的图像中可能存在缺陷的感兴趣区域特征，然后进一步确定感兴趣区域特征中的缺陷信息，这种方式对于物品图像缺陷信息的检测准确率较低。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一，特提出以下技术方案：
第一方面，提供了一种缺陷检测方法，包括：
获取待检测目标的待检测图像和标准图像，提取待检测图像的待检测特征，并提取标准图像的标准特征；
将待检测特征与标准特征融合，得到第一融合特征；
确定第一融合特征中的感兴趣区域特征；
基于感兴趣区域特征和第一融合特征检测待检测图像中的缺陷信息。
在第一方面的可选实施例中，将待检测特征与标准特征融合，得到第一融合特征，包括：
将每一通道对应的待检测特征分别与每一通道对应的标准特征均进行融合，得到第一融合特征。
在第一方面的可选实施例中，将每一通道对应的待检测特征分别与每一通道对应的标准特征均进行融合，得到第一融合特征，包括：
基于融合网络确定每一通道对应的待检测特征的第一权值，并确定每一通道对应的标准特征的第二权值；
基于各个通道分别对应的第一权值和第二权值，确定各个通道分别对应的待检测特征与标准特征的加权和，得到第一融合特征。
在第一方面的可选实施例中，确定第一融合特征中的感兴趣区域特征，包括：
提取第一融合特征中的至少一个候选区域；
对至少一个候选区域进行区域特征聚集得到感兴趣区域特征。
在第一方面的可选实施例中，对至少一个候选区域进行区域特征聚集得到感兴趣区域特征，包括：
遍历至少一个候选区域，将每一候选区域分割为至少一个单元；
通过双线性内插确定每一单元的坐标位置并进行最大池化操作，得到感兴趣区域特征。
在第一方面的可选实施例中，基于感兴趣区域特征和第一融合特征检测待检测图像中的缺陷信息，包括：
将感兴趣区域特征和第一融合特征进行融合，得到第二融合特征；
对第二融合特征进行目标检测得到针对待检测目标的缺陷信息。
在第一方面的可选实施例中，将感兴趣区域特征和第一融合特征进行融合，得到第二融合特征，包括：
将第一融合特征进行维度转换得到转换特征；转换特征与感兴趣区域特征的维度相同；
对转换特征进行池化，得到池化特征；池化特征的尺度与感兴趣区域特征的尺度相同；
基于池化特征和感兴趣区域特征确定第二融合特征。
在第一方面的可选实施例中，对转换特征进行池化，得到池化特征，包括：
基于预设的特征块和特征图，对转换特征进行积分式池化，得到池化特征。
在第一方面的可选实施例中，缺陷信息包括缺陷位置和缺陷类别；对第二融合特征进行目标检测得到针对待检测目标的缺陷信息，包括：
通过卷积层预测多点集合的方式对第二融合特征进行稠密局部回归，得到针对待检测目标的缺陷位置和缺陷类别。
第二方面，提供了一种缺陷检测装置，包括：
提取模块，用于获取待检测目标的待检测图像和标准图像，提取待检测图像的待检测特征，并提取标准图像的标准特征；
融合模块，用于将待检测特征与标准特征融合，得到第一融合特征；
确定模块，用于确定第一融合特征中的感兴趣区域特征；
检测模块，用于基于感兴趣区域特征和第一融合特征检测待检测图像中的缺陷信息。
在第二方面的可选实施例中，融合模块在将待检测特征与标准特征融合，得到第一融合特征时，具体用于：
将每一通道对应的待检测特征分别与每一通道对应的标准特征均进行融合，得到第一融合特征。
在第二方面的可选实施例中，融合模块在将每一通道对应的待检测特征分别与每一通道对应的标准特征均进行融合，得到第一融合特征时，具体用于：
基于融合网络确定每一通道对应的待检测特征的第一权值，并确定每一通道对应的标准特征的第二权值；
基于各个通道分别对应的第一权值和第二权值，确定各个通道分别对应的待检测特征与标准特征的加权和，得到第一融合特征。
在第二方面的可选实施例中，确定模块在确定第一融合特征中的感兴趣区域特征时，具体用于：
提取第一融合特征中的至少一个候选区域；
对至少一个候选区域进行区域特征聚集得到感兴趣区域特征。
在第二方面的可选实施例中，确定模块在对至少一个候选区域进行区域特征聚集得到感兴趣区域特征时，具体用于：
遍历至少一个候选区域，将每一候选区域分割为至少一个单元；
通过双线性内插确定每一单元的坐标位置并进行最大池化操作，得到感兴趣区域特征。
在第二方面的可选实施例中，检测模块在基于感兴趣区域特征和第一融合特征检测待检测图像中的缺陷信息时，具体用于：
将感兴趣区域特征和第一融合特征进行融合，得到第二融合特征；
对第二融合特征进行目标检测得到针对待检测目标的缺陷信息。
在第二方面的可选实施例中，检测模块在将感兴趣区域特征和第一融合特征进行融合，得到第二融合特征时，具体用于：
将第一融合特征进行维度转换得到转换特征；转换特征与感兴趣区域特征的维度相同；
对转换特征进行池化，得到池化特征；池化特征的尺度与感兴趣区域特征的尺度相同；
基于池化特征和感兴趣区域特征确定第二融合特征。
在第二方面的可选实施例中，检测模块在对转换特征进行池化，得到池化特征时，具体用于：
基于预设的特征块和特征图，对转换特征进行积分式池化，得到池化特征。
在第二方面的可选实施例中，缺陷信息包括缺陷位置和缺陷类别；检测模块在对第二融合特征进行目标检测得到针对待检测目标的缺陷信息时，具体用于：
通过卷积层预测多点集合的方式对第二融合特征进行稠密局部回归，得到针对待检测目标的缺陷位置和缺陷类别。
第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现本申请第一方面所示的缺陷检测方法。
第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本申请第一方面所示的缺陷检测方法。
本申请提供的技术方案带来的有益效果是：
通过将待检测特征和标准特征融合得到第一融合特征，可以得到待检测图像和标准图像之间的对比信息，即便图片上缺陷大小分布不规则也可以体现于第一融合特征中，再基于第一融合特征检测缺陷信息，可以有效提高缺陷检测的准确率。
进一步的，通过先确定第一融合特征中的感兴趣区域特征，可以先确定缺陷信息所在的大致局部范围，提高检测效率。
进一步的，感兴趣区域特征可以表示局部特征，第一融合特征可以表示全局特征，结合感兴趣区域特征和第一融合特征，可以有效结合局部特征与全局特征，进一步提高缺陷检测的准确率。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为现有技术进行缺陷检测的方案的流程示意图；
图2为本申请实施例提供的一种缺陷检测方法的应用场景图；
图3为本申请实施例提供的一种缺陷检测方法的流程示意图；
图4为本申请实施例提供的缺陷检测方案的示意图；
图5为实施例提供的一种缺陷检测方法的流程示意图；
图6为本申请实施例提供的缺陷检测方案的示意图；
图7为本申请实施例提供的示例中的缺陷检测方法的流程示意图；
图8a为采用现有技术进行缺陷检测的效果示意图；
图8b为本申请进行缺陷检测的效果示意图；
图9a为采用现有技术进行缺陷检测的效果示意图；
图9b为本申请进行缺陷检测的效果示意图；
图10a为采用现有技术进行缺陷检测的效果示意图；
图10b为本申请进行缺陷检测的效果示意图；
图11为本申请实施例提供的一种缺陷检测装置的结构示意图；
图12为本申请实施例提供的一种缺陷检测的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化，区块链等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
其中，计算机视觉技术(Computer Vision, CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的方案涉及人工智能的缺陷检测技术，具体通过如下实施例进行说明。
在现代工业制造中，通过引进流水线使得生产效率得以提高。但复杂的工艺也不可避免的导致了产品缺陷的产生。而这些缺陷多依赖于环境条件，概率性发生，需要在后期，对于缺陷进行统计分析。因此对于成品的缺陷检测和诊断，是现代生产工艺中必不可少的一个环节。
在传统方法中，企业多采用人工观察的方式对产品进行缺陷检测。在本例中，对于企业而言，存在检测成本大（人员成本）的问题；对于员工而言，由于缺陷区域小（检测困难），存在工作强度大与工作内容单一问题，导致员工流失率大；对于算法而言，缺陷形态大小不一，缺陷过大、过小都可能导致一定程度漏检，从而影响实际产线良率。
目前通常采用Mask R-CNN（Mask Region-Convolutional Neural Networks，掩膜区域卷积神经网络）来进行物品图像的缺陷检测。
如图1所示，Mask R-CNN对于待检测图像上的每个像素点经过神经网络模型（backbone）提取待检测特征之后，选出可能具有缺陷的ROI（region of interest，感兴趣）区域，然后再对具体的区域做选框的微调和缺陷具体细节（如缺陷类型）的判断，最终得到一个精确的缺陷检测框。
上述方式以端到端的方式生成检测结果，但该方法的提出是以ImageNet（用于视觉对象识别软件研究的大型可视化数据库）中的图像为背景进行设计的。而本申请中的识别对象（缺陷区域）表现形式丰富，在每张图片上缺陷大小分布也是不规则。不同于ImageNet中的对象主体明确，区域单一的特点。因此直接使用该方法会导致识别精度低，不符合要求。
本申请提供的缺陷检测方法、装置、电子设备及计算机可读存储介质，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
如图2所示，本申请的缺陷检测方法，可以应用于图2所示的场景中，具体的，图像采集设备201采集待检测目标的待检测图像，将待检测图像发送至服务器202，服务器202中存储有待检测目标的标准图像，服务器202提取待检测图像的待检测特征，并提取标准图像的标准特征；服务器202将待检测特征与标准特征融合，得到第一融合特征；服务器202确定第一融合特征中的感兴趣区域特征，基于感兴趣区域特征和第一融合特征检测待检测图像中的缺陷信息，并将缺陷信息发送至终端203。
图2所示的场景中，上述缺陷检测方法可以在服务器中进行，在其他的场景中，也可以在终端中进行。例如，终端可以兼具图像采集、缺陷检测功能，终端采集待检测图像和标准图像，基于待检测图像和标准图像进行缺陷检测。
本技术领域技术人员可以理解，这里所使用的“终端”可以是手机、平板电脑、PDA（Personal Digital Assistant，个人数字助理）、MID（Mobile Internet Device，移动互联网设备）等；“服务器”可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
本申请实施例中提供了一种可能的实现方式，如图3所示，提供了一种缺陷检测方法，该方法可以应用于终端或服务器，可以包括以下步骤：
步骤S301，获取待检测目标的待检测图像和标准图像，提取待检测图像的待检测特征，并提取标准图像的标准特征。
其中，待检测图像可以是采集到的针对待检测目标的实时图像，待检测图像中可能包含有针对待检测目标的缺陷信息。
以待检测目标为手机摄像头支架配件为例，待检测图像中可能包含有手机摄像头支架配件的压伤、粘料、缺料或脏污等等缺陷信息。
其中，标准图像是针对待检测目标的不包含有缺陷信息的图像。
具体的，用于进行缺陷检测的服务器或终端可以从图像采集设备中获取到待检测目标的待检测图像，用于进行缺陷检测的服务器或终端中可以预存有针对待检测目标的标准图像。
具体的，提取待检测图像的待检测特征，并提取标准图像的标准特征的过程，可以理解为提取图像的深度语义特征的过程。
在本实施例中，可以采用HRNet（高分辨率保持网络）提取待检测图像的待检测特征，以及提取标准图像的标准特征，即将待检测图像和标准图像均输入到HRNet中进行特征提取，得到待检测特征和标准特征。
具体的，通过HRNet进行特征提取，可以保持较高分辨率，有利于小目标检测。
在其他实施方式中，也可以采用其他网络进行特征提取，例如采用残差网络（Residual Network, ResNet）进行特征提取，残差网络的内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题，可以提高特征提取的准确率；还可以采用Inception网络进行特征提取，Inception网络同样可以避免网络过拟合、并且当网络有很深的深度的时候所造成梯度消失现象。
步骤S302，将待检测特征与标准特征融合，得到第一融合特征。
具体的，可以比较待检测特征与标准特征之间的差异，得到第一融合特征，也可以采用将待检测特征与标准特征之间进行加权求和的方式，得到第一融合特征，还可以按照分通道的方式，对待检测特征与标准特征进行加权求和，得到第一融合特征。
具体的确定第一融合特征的过程，将在下文进行详细阐述。
步骤S303，确定第一融合特征中的感兴趣区域特征。
其中，感兴趣区域是从图像特征中选择的一个区域，这个区域是图像特征分析所关注的重点，圈定该区域以便进行进一步处理，使用ROI圈定重点区域，可以减少处理时间，增加精度。
具体的，感兴趣区域特征中可能包括针对待检测目标的缺陷信息，可以先确定感兴趣区域特征，再根据感兴趣区域特征进一步检测缺陷信息，具体确定感兴趣区域特征的过程将在下文进行详细阐述。
步骤S304，基于感兴趣区域特征和第一融合特征检测待检测图像中的缺陷信息。
在一些实施方式中，可以直接基于感兴趣区域特征检测待检测图像中的缺陷信息。
在另一些实施方式中，感兴趣区域特征为局部信息，可以将感兴趣区域特征和第一融合特征进行进一步融合，结合局部信息和全局信息，再基于融合后的特征检测缺陷信息。
具体针对缺陷信息的检测方式将在下文进行详细阐述。
如图4所示，提取待检测图像的待检测特征，提取标准图像的标准特征，将待检测特征与标准特征融合，得到第一融合特征；确定第一融合特征中的感兴趣区域特征；基于感兴趣区域特征和第一融合特征检测待检测图像中的缺陷信息。
上述实施例中，通过将待检测特征和标准特征融合得到第一融合特征，可以得到待检测图像和标准图像之间的对比信息，即便图片上缺陷大小分布不规则也可以体现于第一融合特征中，再基于第一融合特征检测缺陷信息，可以有效提高缺陷检测的准确率。
此外，通过先确定第一融合特征中的感兴趣区域特征，可以先确定缺陷信息所在的大致局部范围，提高检测效率；感兴趣区域特征可以表示局部特征，第一融合特征可以表示全局特征，结合感兴趣区域特征和第一融合特征，可以有效结合局部特征与全局特征，进一步提高缺陷检测的准确率。
以下将结合具体实施例阐述获取第一融合特征的具体过程。
本申请实施例中提供了一种可能的实现方式，步骤S302的将待检测特征与标准特征融合，得到第一融合特征，可以包括：
将每一通道对应的待检测特征分别与每一通道对应的标准特征均进行融合，得到第一融合特征。
在本实施例中，可以采用分通道的方式将待检测特征与标准特征进行融合。
具体的，将每一通道对应的待检测特征分别与每一通道对应的标准特征均进行融合，得到第一融合特征，可以包括：
（1）基于融合网络确定每一通道对应的待检测特征的第一权值，并确定每一通道对应的标准特征的第二权值；
（2）基于各个通道分别对应的第一权值和第二权值，确定各个通道分别对应的待检测特征与标准特征的加权和，得到第一融合特征。
具体的，融合网络可以采用如下公式进行融合：
Figure 135690DEST_PATH_IMAGE001
（1）
上式中，
Figure 44740DEST_PATH_IMAGE002
表示第一融合特征；
Figure 19387DEST_PATH_IMAGE003
表示待检测特征；
Figure 13888DEST_PATH_IMAGE004
表示标准特征；N表示待检测特征和标准特征的通道数；例如，N可以为256；
Figure 358281DEST_PATH_IMAGE005
为第一权值；
Figure 121838DEST_PATH_IMAGE006
为第二权值；
Figure 34430DEST_PATH_IMAGE005
和
Figure 516227DEST_PATH_IMAGE006
的特征维度与待检测特征和标准特征的维度相等；此外，
Figure 664312DEST_PATH_IMAGE005
和
Figure 157741DEST_PATH_IMAGE006
均为融合网络的可学习参数。使用该方式融合的优势在于，融合网络可以自主学习特征融合方式，同时，加权特征融合的方式可以达到自动筛选特征的目的。
在具体实施过程中，可以先训练得到融合网络，将待检测特征和标准特征输入到融合网络中，融合网络分别确定待检测特征的第一权值和标准特征的第二权值，并基于第一权值和第二权值对待检测特征和标准特征进行融合，得到第二融合特征。
上述实施例阐述了获取第一融合特征的具体过程，以下将结合附图和实施例进一步阐述感兴趣区域特征的具体确定过程。
本申请实施例中提供了一种可能的实现方式，步骤S303的确定第一融合特征中的感兴趣区域特征，可以包括：
（1）提取第一融合特征中的至少一个候选区域。
具体的，可以采用RPN（Region Proposal Network，区域选取网络）提取可能具有缺陷的ROI区域。
（2）对至少一个候选区域进行区域特征聚集得到感兴趣区域特征。
具体的，对至少一个候选区域进行区域特征聚集得到感兴趣区域特征，可以包括：
a、遍历至少一个候选区域，将每一候选区域分割为至少一个单元；
b、通过双线性内插确定每一单元的坐标位置并进行最大池化操作，得到感兴趣区域特征。
具体的，可以采用ROI Align（一种区域特征聚集算法）操作得到ROI特征。ROIAlign的思路包括：取消量化操作，使用双线性内插的方法获得坐标为浮点数的像素点上的图像数值，从而将整个特征聚集过程转化为一个连续的操作。在具体的算法操作上， ROIAlign并不是简单地补充出候选区域边界上的坐标点，然后将这些坐标点进行池化，而是重新设计了如下流程：
1）遍历每一个候选区域，保持浮点数边界不做量化。
2）将候选区域分割成k x k个单元，每个单元的边界不做量化。
3）在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，然后进行最大池化操作。
这里对上述步骤的第三点作一些说明：这个固定位置是指在每一个矩形单元（bin）中按照固定规则确定的位置。
比如，如果采样点数是1，那么就是这个单元的中心点。如果采样点数是4，那么就是把这个单元平均分割成4个小方块以后他们分别的中心点。显然这些采样点的坐标通常是浮点数，所以需要使用插值的方法得到它的像素值。
上述实施例中，通过先确定第一融合特征中的感兴趣区域特征，可以先确定缺陷信息所在的大致局部范围，再基于感兴趣区域特征和第一融合特征检测缺陷信息，可以有效提高缺陷检测效率。
上述实施例阐述了感兴趣区域特征的具体确定过程，以下将结合附图和实施例进一步阐述检测缺陷信息的具体过程。
本申请实施例中提供了一种可能的实现方式，如图5所示，步骤S304的基于感兴趣区域特征和第一融合特征检测待检测图像中的缺陷信息，可以包括：
步骤S410，将感兴趣区域特征和第一融合特征进行融合，得到第二融合特征。
具体的，步骤S410的将感兴趣区域特征和第一融合特征进行融合，得到第二融合特征，可以包括：
（1）将第一融合特征进行维度转换得到转换特征；转换特征与感兴趣区域特征的维度相同。
具体的，可以采用卷积操作，即conv操作，将第一融合特征进行维度转换。
（2）对转换特征进行池化，得到池化特征；池化特征的尺度与感兴趣区域特征的尺度相同。
具体的，对转换特征进行池化，得到池化特征，可以包括：
基于预设的特征块和特征图，对转换特征进行积分式池化，得到池化特征。
（3）基于池化特征和感兴趣区域特征确定第二融合特征。
具体的，可以将池化特征和感兴趣区域特征相乘得到第二融合特征。
在本实施例中，可以采用如下公式确定第二融合特征：
Figure 631448DEST_PATH_IMAGE007
（2）
上式中，conv操作（卷积操作）的目的是将第一融合特征维度进行转换，以保证第一融合特征维度和感兴趣区域特征维度相等；
Figure 334962DEST_PATH_IMAGE008
函数的目的是将第一融合特征特征分块全局池化，使得第一融合特征和感兴趣区域特征尺度大小保持相同；
Figure 896524DEST_PATH_IMAGE009
表示感兴趣特征；
Figure 900252DEST_PATH_IMAGE002
表示第一融合特征。
具体的，
Figure 279281DEST_PATH_IMAGE008
函数实现可以是RoiPool（感兴趣池化）或者是RoiAlign，在本申请中，可以采用积分式RoiPool，相比前两者通过全局池化或线性插值方式进行池化，积分式池化准确性更高。给定特征块bin和特征图
Figure 838133DEST_PATH_IMAGE010
，通过计算二阶积分来执行池化操作，具体计算如下：
Figure 328020DEST_PATH_IMAGE011
（3）
上式中，（x 1 ,y 1 ）（x 2 ，y 2 ）分别表示bin的左上角坐标和右下角坐标。
步骤S420，对第二融合特征进行目标检测得到针对待检测目标的缺陷信息。
其中，缺陷信息可以包括缺陷位置和缺陷类别；
具体的，步骤S420对第二融合特征进行目标检测得到针对待检测目标的缺陷信息，可以包括：
通过卷积层预测多点集合的方式对第二融合特征进行稠密局部回归，得到针对待检测目标的缺陷位置和缺陷类别。
具体的，可以对每个第二融合特征预测至少一个缺陷类别，从而确定待检测目标的缺陷类别；并同时预测缺陷位置对应的候选位置框，从而确定待检测目标的缺陷位置。
如图6所示，在本实施例中，提取待检测图像的待检测特征，提取标准图像的标准特征，将待检测特征与标准特征融合，得到第一融合特征；确定第一融合特征中的感兴趣区域特征；将感兴趣区域特征和第一融合特征融合得到第二融合特征；基于第二融合特征检测待检测图像中的缺陷信息。
为了更好地理解上述缺陷检测方法，如图7所示，以下详细阐述一个本发明的缺陷检测方法的示例：
在一个示例中，本申请提供的缺陷检测方法，可以包括如下步骤：
1）进行成对输入：将待检测图像和标准图像输入到backbone（神经网络模型）中；
2）基于backbone提取待检测图像的待检测特征，并提取标准图像的标准特征；
3）对比特征融合：基于融合网络确定待检测特征的第一权值，并确定标准特征的第二权值；基于第一权值和第二权值对待检测特征和标准特征进行分通道融合得到第一融合特征；
5）自适应全局特征融合：确定第一融合特征中的感兴趣区域特征；可以采用RPN网络提取感兴趣特征；针对感兴趣区域特征和第一融合特征进行ROI Align操作进行融合，得到第二融合特征；
7）稠密局部回归：结合mask分支和bbox分支得到针对待检测目标的缺陷位置和缺陷类别；具体的，图中的mask分支用于对每个第二融合特征预测至少一个缺陷类别，bbox分支用于预测缺陷位置对应的候选位置框。
上述的缺陷检测方法，通过将待检测特征和标准特征融合得到第一融合特征，可以得到待检测图像和标准图像之间的对比信息，即便图片上缺陷大小分布不规则也可以体现于第一融合特征中，再基于第一融合特征检测缺陷信息，可以有效提高缺陷检测的准确率。
进一步的，通过先确定第一融合特征中的感兴趣区域特征，可以先确定缺陷信息所在的大致局部范围，提高检测效率。
进一步的，感兴趣区域特征可以表示局部特征，第一融合特征可以表示全局特征，结合感兴趣区域特征和第一融合特征，可以有效结合局部特征与全局特征，进一步提高缺陷检测的准确率。
为了进一步阐述本申请的缺陷检测方法的效果，以下将结合试验数据和附图进行进一步说明。
如图8a和图8b所示，图8a中是采用现有的Mask R-CNN方式进行的缺陷检测，图8b采用的是本申请的缺陷检测方式，对比图8a和图8b可知，本申请的缺陷检测方式对比现有技术，对于微小缺陷具有更强的检测识别能力。
如图9a和图9b所示，图9a中是采用现有的Mask R-CNN方式进行的缺陷检测，图9b采用的是本申请的缺陷检测方式，对比图9a和图9b可知，本申请的缺陷检测方式对比现有技术，对于缺陷边界拟合效果更优。
如图10a和图10b所示，图10a中是采用现有的Mask R-CNN方式进行的缺陷检测，图10b采用的是本申请的缺陷检测方式，对比图10a和图10b可知，本申请的缺陷检测方式对比现有技术，对于大型缺陷（如缺料）等缺陷具有更强的检测识别能力。
本申请的缺陷检测方法，与相加、相减、定值加权等融合方式相比，采用融合网络自主学习参数的融合方式具有更强的泛化能力；能够提取主要缺陷区域进行分析判别，减小运算量，提升精确度；可以较好地将实际产线中无缺陷的配件图片数据应用起来，提高模型性能。
本申请实施例中提供了一种可能的实现方式，如图11所示，提供了一种缺陷检测装置110，该缺陷检测装置110可以包括：提取模块1101、融合模块1102、确定模块1103和检测模块1104，其中，
提取模块1101，用于获取待检测目标的待检测图像和标准图像，提取待检测图像的待检测特征，并提取标准图像的标准特征；
融合模块1102，用于将待检测特征与标准特征融合，得到第一融合特征；
确定模块1103，用于确定第一融合特征中的感兴趣区域特征；
检测模块1104，用于基于感兴趣区域特征和第一融合特征检测待检测图像中的缺陷信息。
本申请实施例中提供了一种可能的实现方式，融合模块1102在将待检测特征与标准特征融合，得到第一融合特征时，具体用于：
将每一通道对应的待检测特征分别与每一通道对应的标准特征均进行融合，得到第一融合特征。
本申请实施例中提供了一种可能的实现方式，融合模块1102在将每一通道对应的待检测特征分别与每一通道对应的标准特征均进行融合，得到第一融合特征时，具体用于：
基于融合网络确定每一通道对应的待检测特征的第一权值，并确定每一通道对应的标准特征的第二权值；
基于各个通道分别对应的第一权值和第二权值，确定各个通道分别对应的待检测特征与标准特征的加权和，得到第一融合特征。
本申请实施例中提供了一种可能的实现方式，确定模块1103在确定第一融合特征中的感兴趣区域特征时，具体用于：
提取第一融合特征中的至少一个候选区域；
对至少一个候选区域进行区域特征聚集得到感兴趣区域特征。
本申请实施例中提供了一种可能的实现方式，确定模块1103在对至少一个候选区域进行区域特征聚集得到感兴趣区域特征时，具体用于：
遍历至少一个候选区域，将每一候选区域分割为至少一个单元；
通过双线性内插确定每一单元的坐标位置并进行最大池化操作，得到感兴趣区域特征。
本申请实施例中提供了一种可能的实现方式，检测模块1104在基于感兴趣区域特征和第一融合特征检测待检测图像中的缺陷信息时，具体用于：
将感兴趣区域特征和第一融合特征进行融合，得到第二融合特征；
对第二融合特征进行目标检测得到针对待检测目标的缺陷信息。
本申请实施例中提供了一种可能的实现方式，检测模块1104在将感兴趣区域特征和第一融合特征进行融合，得到第二融合特征时，具体用于：
将第一融合特征进行维度转换得到转换特征；转换特征与感兴趣区域特征的维度相同；
对转换特征进行池化，得到池化特征；池化特征的尺度与感兴趣区域特征的尺度相同；
基于池化特征和感兴趣区域特征确定第二融合特征。
本申请实施例中提供了一种可能的实现方式，检测模块1104在对转换特征进行池化，得到池化特征时，具体用于：
基于预设的特征块和特征图，对转换特征进行积分式池化，得到池化特征。
本申请实施例中提供了一种可能的实现方式，缺陷信息包括缺陷位置和缺陷类别；检测模块1104在对第二融合特征进行目标检测得到针对待检测目标的缺陷信息时，具体用于：
通过卷积层预测多点集合的方式对第二融合特征进行稠密局部回归，得到针对待检测目标的缺陷位置和缺陷类别。
上述的缺陷检测装置，通过将待检测特征和标准特征融合得到第一融合特征，可以得到待检测图像和标准图像之间的对比信息，即便图片上缺陷大小分布不规则也可以体现于第一融合特征中，再基于第一融合特征检测缺陷信息，可以有效提高缺陷检测的准确率。
进一步的，通过先确定第一融合特征中的感兴趣区域特征，可以先确定缺陷信息所在的大致局部范围，提高检测效率。
进一步的，感兴趣区域特征可以表示局部特征，第一融合特征可以表示全局特征，结合感兴趣区域特征和第一融合特征，可以有效结合局部特征与全局特征，进一步提高缺陷检测的准确率。
本公开实施例的图片的缺陷检测装置可执行本公开的实施例所提供的一种图片的缺陷检测方法，其实现原理相类似，本公开各实施例中的图片的缺陷检测装置中的各模块所执行的动作是与本公开各实施例中的图片的缺陷检测方法中的步骤相对应的，对于图片的缺陷检测装置的各模块的详细功能描述具体可以参见前文中所示的对应的图片的缺陷检测方法中的描述，此处不再赘述。
基于与本公开的实施例中所示的方法相同的原理，本公开的实施例中还提供了一种电子设备，该电子设备可以包括但不限于：处理器和存储器；存储器，用于存储计算机操作指令；处理器，用于通过调用计算机操作指令执行实施例所示的缺陷检测方法。与现有技术相比，本申请中的缺陷检测方法可以有效提高缺陷检测的准确率。
在一个可选实施例中提供了一种电子设备，如图12所示，图12所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器4003用于存储执行本申请方案的应用程序代码，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图12示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与现有技术相比，本申请中的缺陷检测方法可以有效提高缺陷检测的准确率。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行时实现如下情况：
获取待检测目标的待检测图像和标准图像，提取待检测图像的待检测特征，并提取标准图像的标准特征；
将待检测特征与标准特征融合，得到第一融合特征；
确定第一融合特征中的感兴趣区域特征；
基于感兴趣区域特征和第一融合特征检测待检测图像中的缺陷信息。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，检测模块还可以被描述为“用于检测缺陷信息的模块”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (13)

1.一种缺陷检测方法，其特征在于，包括：
获取待检测目标的待检测图像和标准图像，提取所述待检测图像的待检测特征，并提取所述标准图像的标准特征；
将所述待检测特征与所述标准特征融合，得到第一融合特征；
确定所述第一融合特征中的感兴趣区域特征；所述感兴趣区域特征用于表示所述待检测图像和所述标准图像之间的对比信息的局部特征，所述感兴趣区域是从所述第一融合特征中圈定的一个可能包括针对待检测目标的缺陷信息的一个区域；
将所述感兴趣区域特征和所述第一融合特征进行融合，得到第二融合特征；
对所述第二融合特征进行目标检测得到针对所述待检测目标的缺陷信息；
其中，所述将所述感兴趣区域特征和所述第一融合特征进行融合，得到第二融合特征，包括：
将所述第一融合特征进行维度转换得到转换特征；所述转换特征与所述感兴趣区域特征的维度相同；
对所述转换特征进行池化，得到池化特征；所述池化特征的尺度与所述感兴趣区域特征的尺度相同；
基于所述池化特征和所述感兴趣区域特征确定所述第二融合特征。
2.根据权利要求1所述的缺陷检测方法，其特征在于，所述将所述待检测特征与所述标准特征融合，得到第一融合特征，包括：
将每一通道对应的待检测特征分别与每一通道对应的标准特征均进行融合，得到所述第一融合特征。
3.根据权利要求2所述的缺陷检测方法，其特征在于，所述将每一通道对应的待检测特征分别与每一通道对应的标准特征均进行融合，得到所述第一融合特征，包括：
基于融合网络确定每一通道对应的待检测特征的第一权值，并确定每一通道对应的标准特征的第二权值；
基于各个通道分别对应的第一权值和第二权值，确定各个通道分别对应的待检测特征与标准特征的加权和，得到所述第一融合特征。
4.根据权利要求1所述的缺陷检测方法，其特征在于，所述确定所述第一融合特征中的感兴趣区域特征，包括：
提取所述第一融合特征中的至少一个候选区域；
对所述至少一个候选区域进行区域特征聚集得到所述感兴趣区域特征。
5.根据权利要求4所述的缺陷检测方法，其特征在于，所述对所述至少一个候选区域进行区域特征聚集得到所述感兴趣区域特征，包括：
遍历所述至少一个候选区域，将每一候选区域分割为至少一个单元；
通过双线性内插确定每一单元的坐标位置并进行最大池化操作，得到所述感兴趣区域特征。
6.根据权利要求1所述的缺陷检测方法，其特征在于，所述对所述转换特征进行池化，得到池化特征，包括：
基于预设的特征块和特征图，对所述转换特征进行积分式池化，得到所述池化特征。
7.根据权利要求1所述的缺陷检测方法，其特征在于，所述缺陷信息包括缺陷位置和缺陷类别；所述对所述第二融合特征进行目标检测得到针对所述待检测目标的缺陷信息，包括：
通过卷积层预测多点集合的方式对所述第二融合特征进行稠密局部回归，得到针对所述待检测目标的缺陷位置和缺陷类别。
8.一种缺陷检测装置，其特征在于，包括：
提取模块，用于获取待检测目标的待检测图像和标准图像，提取所述待检测图像的待检测特征，并提取所述标准图像的标准特征；
融合模块，用于将所述待检测特征与所述标准特征融合，得到第一融合特征；
确定模块，用于确定所述第一融合特征中的感兴趣区域特征；所述感兴趣区域特征用于表示所述待检测图像和所述标准图像之间的对比信息的局部特征，所述感兴趣区域是从所述第一融合特征中圈定的一个可能包括针对待检测目标的缺陷信息的一个区域；
检测模块，用于将所述感兴趣区域特征和所述第一融合特征进行融合，得到第二融合特征；对所述第二融合特征进行目标检测得到针对所述待检测目标的缺陷信息；
其中，所述检测模块在将所述感兴趣区域特征和所述第一融合特征进行融合，得到第二融合特征时，具体用于：
将所述第一融合特征进行维度转换得到转换特征；所述转换特征与所述感兴趣区域特征的维度相同；
对所述转换特征进行池化，得到池化特征；所述池化特征的尺度与所述感兴趣区域特征的尺度相同；
基于所述池化特征和所述感兴趣区域特征确定所述第二融合特征。
9.根据权利要求8所述的缺陷检测装置，其特征在于，所述融合模块在将所述待检测特征与所述标准特征融合，得到第一融合特征时，具体用于：
将每一通道对应的待检测特征分别与每一通道对应的标准特征均进行融合，得到所述第一融合特征。
10.根据权利要求9所述的缺陷检测装置，其特征在于，所述融合模块在将每一通道对应的待检测特征分别与每一通道对应的标准特征均进行融合，得到所述第一融合特征时，具体用于：
基于融合网络确定每一通道对应的待检测特征的第一权值，并确定每一通道对应的标准特征的第二权值；
基于各个通道分别对应的第一权值和第二权值，确定各个通道分别对应的待检测特征与标准特征的加权和，得到所述第一融合特征。
11.根据权利要求8所述的缺陷检测装置，其特征在于，所述确定模块在确定所述第一融合特征中的感兴趣区域特征时，具体用于：
提取所述第一融合特征中的至少一个候选区域；
对所述至少一个候选区域进行区域特征聚集得到所述感兴趣区域特征。
12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任一项所述的缺陷检测方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1-7任一项所述的缺陷检测方法。
CN202110293621.3A 2021-03-19 2021-03-19 缺陷检测方法、装置、电子设备及可读存储介质 Active CN112801047B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110293621.3A CN112801047B (zh) 2021-03-19 2021-03-19 缺陷检测方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110293621.3A CN112801047B (zh) 2021-03-19 2021-03-19 缺陷检测方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112801047A CN112801047A (zh) 2021-05-14
CN112801047B true CN112801047B (zh) 2021-08-17

Family

ID=75817202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110293621.3A Active CN112801047B (zh) 2021-03-19 2021-03-19 缺陷检测方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112801047B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408527B (zh) * 2021-06-21 2024-01-12 中国科学院大气物理研究所 一种基于图像融合特征的高效pm2.5浓度预测方法
CN115880192A (zh) * 2021-09-27 2023-03-31 北京字跳网络技术有限公司 一种特征融合方法、图像去雾方法及装置
CN114782756B (zh) * 2022-06-20 2022-10-04 深圳新视智科技术有限公司 基于特征融合的缺陷检测方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644428A (zh) * 2017-09-29 2018-01-30 广东电网有限责任公司中山供电局 一种基于多域度重映射的输电线路漂浮物图像分割方法
CN111178197A (zh) * 2019-12-19 2020-05-19 华南农业大学 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
CN111681273A (zh) * 2020-06-10 2020-09-18 创新奇智(青岛)科技有限公司 图像分割方法、装置、电子设备及可读存储介质
CN112288723A (zh) * 2020-10-30 2021-01-29 北京市商汤科技开发有限公司 缺陷检测方法、装置、计算机设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117876B (zh) * 2018-07-26 2022-11-04 成都快眼科技有限公司 一种稠密小目标检测模型构建方法、模型及检测方法
CN110852987B (zh) * 2019-09-24 2022-04-22 西安交通大学 基于深形态学的血管斑块检测方法、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644428A (zh) * 2017-09-29 2018-01-30 广东电网有限责任公司中山供电局 一种基于多域度重映射的输电线路漂浮物图像分割方法
CN111178197A (zh) * 2019-12-19 2020-05-19 华南农业大学 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
CN111681273A (zh) * 2020-06-10 2020-09-18 创新奇智(青岛)科技有限公司 图像分割方法、装置、电子设备及可读存储介质
CN112288723A (zh) * 2020-10-30 2021-01-29 北京市商汤科技开发有限公司 缺陷检测方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN112801047A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN112766244B (zh) 目标对象检测方法、装置、计算机设备和存储介质
CN112801047B (zh) 缺陷检测方法、装置、电子设备及可读存储介质
CN110246181B (zh) 基于锚点的姿态估计模型训练方法、姿态估计方法和***
CN113704531A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112434618B (zh) 基于稀疏前景先验的视频目标检测方法、存储介质及设备
CN112036381B (zh) 视觉跟踪方法、视频监控方法及终端设备
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
JP2023131117A (ja) 結合感知モデルのトレーニング、結合感知方法、装置、機器および媒体
CN116977674A (zh) 图像匹配方法、相关设备、存储介质及程序产品
CN116805387B (zh) 基于知识蒸馏的模型训练方法、质检方法和相关设备
CN116958267B (zh) 位姿处理方法、装置、电子设备及存储介质
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
Akhyar et al. A beneficial dual transformation approach for deep learning networks used in steel surface defect detection
CN113592015A (zh) 定位以及训练特征匹配网络的方法和装置
CN112651294A (zh) 基于多尺度融合的遮挡人体姿势识别方法
CN117132649A (zh) 人工智能融合北斗卫星导航的船舶视频定位方法及装置
CN113139540B (zh) 背板检测方法及设备
CN114820755A (zh) 一种深度图估计方法及***
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
CN114943834A (zh) 一种少标注样本下基于原型队列学习的全场景语义分割方法
CN114841870A (zh) 图像处理方法、相关装置和***
CN112862002A (zh) 多尺度目标检测模型的训练方法、目标检测方法和装置
CN117576489B (zh) 智能机器人鲁棒实时目标感知方法、装置、设备及介质
CN116030347B (zh) 一种基于注意力网络的高分辨率遥感影像建筑物提取方法
CN112818965B (zh) 多尺度影像目标检测方法、***、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40044516

Country of ref document: HK