CN114937027B - 风机叶片缺陷检测的方法、装置、电子设备及存储介质 - Google Patents

风机叶片缺陷检测的方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114937027B
CN114937027B CN202210700976.4A CN202210700976A CN114937027B CN 114937027 B CN114937027 B CN 114937027B CN 202210700976 A CN202210700976 A CN 202210700976A CN 114937027 B CN114937027 B CN 114937027B
Authority
CN
China
Prior art keywords
image
fan blade
structural similarity
mean
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210700976.4A
Other languages
English (en)
Other versions
CN114937027A (zh
Inventor
刘海莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Wisdom Shanghai Technology Co ltd
Original Assignee
Innovation Wisdom Shanghai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Wisdom Shanghai Technology Co ltd filed Critical Innovation Wisdom Shanghai Technology Co ltd
Priority to CN202210700976.4A priority Critical patent/CN114937027B/zh
Publication of CN114937027A publication Critical patent/CN114937027A/zh
Application granted granted Critical
Publication of CN114937027B publication Critical patent/CN114937027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请属于图像处理技术领域，公开了风机叶片缺陷检测的方法、装置、电子设备及存储介质，该方法包括，从待检测图像中，分割出风机叶片局部图像；将风机叶片局部图像输入到图像复原模型中，获得风机叶片复原图像，图像复原模型用于填充风机叶片的缺失部分；确定风机叶片局部图像以及风机叶片复原图像之间的结构相似性；根据结构相似性，确定风机叶片缺陷检测结果。这样，简化了检测的繁琐步骤，减少了耗费的人力成本和时间成本，提高了检测效率和准确度。

Description

风机叶片缺陷检测的方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及风机叶片缺陷检测的方法、装置、电子设备及存储介质。
背景技术
传统的风电叶片故障巡检方式主要为目测检查方式，主要分为高倍望远镜检查、高空绕行下降目测检查、叶片维修平台检查，存在检测时间长、费用高、操作步骤繁杂以及效率低等特点，不适合进行日常巡检。
由此，需要一种风机叶片缺陷检测的方法，以降低风机叶片检测的复杂度以及成本，提高检测效率。
发明内容
本申请实施例的目的在于提供风机叶片缺陷检测的方法、装置、电子设备及存储介质，用以在进行风机叶片检测时，可以降低风机叶片检测的复杂度以及成本，提高检测效率。
一方面，提供一种风机叶片缺陷检测的方法，包括：
从待检测图像中，分割出风机叶片局部图像；
将风机叶片局部图像输入到图像复原模型中，获得风机叶片复原图像，图像复原模型用于填充风机叶片的缺失部分；
确定风机叶片局部图像以及风机叶片复原图像之间的结构相似性；
根据结构相似性，确定风机叶片缺陷检测结果。
在上述实现过程中，通过图像复原模型获得风机叶片复原图像，以及通过图像之间的结构相似性，获得检测结果，简化了检测的繁琐步骤，减少了耗费的人力成本和时间成本，提高了检测效率和准确度。
一种实施方式中，从待检测图像中，分割出风机叶片局部图像，包括：
基于待检测图像中各像素与目标位置之间的距离，生成待检测图像的前景深度图；
从前景深度图中，低于距离阈值的距离调整为设定距离，获得背景深度图；
基于待检测图像的背景中各像素与目标位置之间的距离，生成待检测图像的背景深度图；
基于背景深度图与前景深度图之间的差值，获得减法图像；
基于减法图像，提取风机叶片局部图像。
在上述实现过程中，通过深度图，提取风机叶片的局部图像，减少了检测的数据处理量。
一种实施方式中，基于减法图像，提取风机叶片局部图像，包括：
对减法图像进行二值化，获得二值化图像；
从二值化图像中，分割出风机叶片局部图像。
在上述实现过程中，通过二值化，优化了边缘提取效果。
一种实施方式中，从二值化图像中，分割出风机叶片局部图像，包括：
采用粒子滤波，对二值化图像进行粒子过滤，获得过滤图像；
从过滤图像中分割出风机叶片局部图像。
在上述实现过程中，通过粒子滤波，可以填充部分粒子和去除干扰。
一种实施方式中，确定风机叶片局部图像以及风机叶片复原图像之间的结构相似性，包括：
确定风机叶片局部图像中各像素的第一像素值的第一均值以及第一方差；
确定风机叶片复原图像中各像素的第二像素值的第二均值以及第二方差；
确定各第一像素值和各第二像素值之间的协方差；
确定第一均值与第二均值之间的乘积，获得均值乘积；
基于均值乘积、协方差，第一方差、第二方差、第一均值以及第二均值，获得结构相似性，结构相似性与均值乘积以及协方差均呈正相关，与第一方差、第二方差、第一均值的平方以及第二均值的平方均呈负相关。
在上述实现过程中，可以通过风机叶片的结构，确定图像之间的相似性。
一种实施方式中，根据结构相似性，确定风机叶片缺陷检测结果，包括：
若确定结构相似性高于结构相似性阈值，则获得表征风机叶片正常的风机叶片缺陷检测结果；
若确定结构相似性不高于结构相似性阈值，则获得表征风机叶片存在缺陷的风机叶片缺陷检测结果。
在上述实现过程中，通过图像之间的结构相似性，判断是否存在缺陷，提高了检测准确度。
一种实施方式中，方法还包括：
若基于风机叶片缺陷检测结果确定风机叶片存在缺陷，则将风机叶片局部图像与风机叶片复原图像进行比对，获得风机叶片的缺陷区域。
在上述实现过程中，可以获得准确的缺陷区域。
一方面，提供一种风机叶片缺陷检测的装置，包括：
分割单元，用于从待检测图像中，分割出风机叶片局部图像；
复原单元，用于将风机叶片局部图像输入到图像复原模型中，获得风机叶片复原图像，图像复原模型用于填充风机叶片的缺失部分；
匹配单元，用于确定风机叶片局部图像以及风机叶片复原图像之间的结构相似性；
检测单元，用于根据结构相似性，确定风机叶片缺陷检测结果。
一种实施方式中，分割单元用于：
基于待检测图像中各像素与目标位置之间的距离，生成待检测图像的前景深度图；
从前景深度图中，低于距离阈值的距离调整为设定距离，获得背景深度图；
基于待检测图像的背景中各像素与目标位置之间的距离，生成待检测图像的背景深度图；
基于背景深度图与前景深度图之间的差值，获得减法图像；
基于减法图像，提取风机叶片局部图像。
一种实施方式中，分割单元用于：
对减法图像进行二值化，获得二值化图像；
从二值化图像中，分割出风机叶片局部图像。
一种实施方式中，分割单元用于：
采用粒子滤波，对二值化图像进行粒子过滤，获得过滤图像；
从过滤图像中分割出风机叶片局部图像。
一种实施方式中，匹配单元用于：
确定风机叶片局部图像中各像素的第一像素值的第一均值以及第一方差；
确定风机叶片复原图像中各像素的第二像素值的第二均值以及第二方差；
确定各第一像素值和各第二像素值之间的协方差；
确定第一均值与第二均值之间的乘积，获得均值乘积；
基于均值乘积、协方差，第一方差、第二方差、第一均值以及第二均值，获得结构相似性，结构相似性与均值乘积以及协方差均呈正相关，与第一方差、第二方差、第一均值的平方以及第二均值的平方均呈负相关。
一种实施方式中，检测单元用于：
若确定结构相似性高于结构相似性阈值，则获得表征风机叶片正常的风机叶片缺陷检测结果；
若确定结构相似性不高于结构相似性阈值，则获得表征风机叶片存在缺陷的风机叶片缺陷检测结果。
一种实施方式中，检测单元还用于：
若基于风机叶片缺陷检测结果确定风机叶片存在缺陷，则将风机叶片局部图像与风机叶片复原图像进行比对，获得风机叶片的缺陷区域。
一方面，提供了一种电子设备，包括处理器以及存储器，存储器存储有计算机可读取指令，当计算机可读取指令由处理器执行时，运行如上述任一种风机叶片缺陷检测的各种可选实现方式中提供的方法的步骤。
一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时运行如上述任一种风机叶片缺陷检测的各种可选实现方式中提供的方法的步骤。
一方面，提供了一种计算机程序产品，计算机程序产品在计算机上运行时，使得计算机执行如上述任一种风机叶片缺陷检测的各种可选实现方式中提供的方法的步骤。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种风机叶片缺陷检测的方法的流程图；
图2为本申请实施例提供的一种前景深度图的示例图；
图3为本申请实施例提供的一种背景深度图的示例图；
图4为本申请实施例提供的一种缺陷图像的示例图；
图5为本申请实施例提供的一种复原图像的示例；
图6为本申请实施例提供的一种风机叶片缺陷示例图；
图7为本申请实施例提供的一种图像分割方法的实施流程图；
图8为本申请实施例提供的一种风机叶片缺陷检测的装置的结构框图；
图9为本申请实施方式中一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
首先对本申请实施例中涉及的部分用语进行说明，以便于本领域技术人员理解。
终端设备：可以是移动终端、固定终端或便携式终端，例如移动手机、站点、单元、设备、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信***设备、个人导航设备、个人数字助理、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合，包括这些设备的配件和外设或者其任意组合。还可预见到的是，终端设备能够支持任意类型的针对用户的接口(例如可穿戴设备)等。
服务器：可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务以及大数据和人工智能平台等基础云计算服务的云服务器。
为了在进行风机叶片检测时，可以降低风机叶片检测的复杂度以及成本，提高检测效率，本申请实施例提供了风机叶片缺陷检测的方法、装置、电子设备及存储介质。
参阅图1所示，为本申请实施例提供的一种风机叶片缺陷检测的方法的流程图，可以应用于电子设备，电子设备可以为服务器，也可以为终端设备。该方法的具体实施流程如下：
步骤100：从待检测图像中，分割出风机叶片局部图像；步骤101：将风机叶片局部图像输入到图像复原模型中，获得风机叶片复原图像，图像复原模型用于填充风机叶片的缺失部分；步骤102：确定风机叶片局部图像以及风机叶片复原图像之间的结构相似性；步骤103：根据结构相似性，确定风机叶片缺陷检测结果。
可选的，待检测图像可以是电子设备本地存储的，也可以是其它设备发送的，还可以是从视频中选取的视频帧。
一种实施方式中，对风机叶片进行监控，获得监控视频，并从监控视频中截取当前时刻的视频帧，作为待检测图像。
为减小后续的数据处理量，步骤100中的从待检测图像中，分割出风机叶片局部图像的实现过程可以包括：S1001：基于待检测图像中各像素与目标位置之间的距离，生成待检测图像的前景深度图；S1002：从前景深度图中，低于距离阈值(可选的，距离阈值可以根据实际应用场景进行设置，在此不作限制)的距离调整为设定距离(可选的，设定距离可以根据实际应用场景进行设置，在此不作限制)，获得背景深度图；S1003：基于背景深度图与前景深度图之间的差值，获得减法图像；S1004：基于减法图像，提取风机叶片局部图像。
一种实施方式中，S1001的实现过程可以包括：确定待检测图像中各像素分别与摄像机(即目标位置)之间距离，并基于各像素的距离，生成前景深度图。
需要说明的是，深度图用于表示图像的每一个像素值表示场景中某点与摄像机的距离。
参阅图2所示，为一种前景深度图的示例图。参阅图3所示，为一种背景深度图的示例图。图2和图3的不同在于前景部分(如，风机叶片)的像素值不同。需要说明的是，图2和图3仅用于说明不同区域的深度，若图2和图3中存在线条不清晰，不影响说明书的清楚性。
进一步的，为优化边缘提取效果，S1004中基于减法图像，提取风机叶片局部图像的实现过程，可以包括：对减法图像进行二值化，获得二值化图像；从二值化图像中，分割出风机叶片局部图像。
进一步的，为填充部分粒子和去除干扰，S1004中从二值化图像中，分割出风机叶片局部图像的实现过程，可以包括：采用粒子滤波，对二值化图像进行粒子过滤，获得过滤图像；从过滤图像中分割出风机叶片局部图像。
作为一个示例，步骤101中的图像复原模型可以为基于部分卷积图像修复(Partial Convolutional，PConv)方法。
需要说明的是，图像复原方法是指将图像中目标对象中的缺失部分填满，使其在视觉和语义上都具有吸引力。作为一个示例，参阅图4所示，为一种缺陷图像的示例图。参阅图5所示为一种复原图像的示例。图4中图像中存在缺失部分，通过图像复原方法将图4中的缺失部分进行修复，获得图5所示的修复后的复原图像。需要说明的是，图4和图5仅用于说明存在缺陷的图像和恢复后的图像，若图4和图5中存在线条不清晰，不影响说明书的清楚性。
本申请实施例中，通过大量正常的风机叶片样本对图像复原模型进行训练，使得图像复原模型捕捉大量正常风机叶片样本的特征，并通过图像比对的方式，捕捉风机叶片的像素点异常(即叶片碳化)，以及对含有缺陷的风机叶片图像的复原。在风机叶片实际部署的时候，只需要收集大量易获取的风机叶片的正常状态样本即可训练获得图像复原模型。
为提高结构相似性确定的准确度，步骤102中确定风机叶片局部图像以及风机叶片复原图像之间的结构相似性的实现过程，可以包括：S1021：确定风机叶片局部图像中各像素的第一像素值的第一均值以及第一方差；S1022：确定风机叶片复原图像中各像素的第二像素值的第二均值以及第二方差；S1023：确定各第一像素值和各第二像素值之间的协方差；S1024：确定第一均值与第二均值之间的乘积，获得均值乘积；S1025：基于均值乘积、协方差，第一方差、第二方差、第一均值以及第二均值，获得结构相似性，结构相似性与均值乘积以及协方差均呈正相关，与第一方差、第二方差、第一均值的平方以及第二均值的平方均呈负相关。
一种实施方式中，确定结构相似性SSIM时，可以采用以下公式：
其中，x为风机叶片局部图像的第一像素值，y为风机叶片复原图像的第二像素值，ux为第一平均值，uy为第二平均值，为第一方差，/>为第二方差，δxy为协方差，c1＝(k1*L)^2，c2＝(k2*L)^2是用来维持稳定的常数。L是像素值的动态范围(如，255)，k1和k2均为常数，如，k1＝0.01，k2＝0.03。结构相似性SSIM的范围为-1到+1，即SSIM∈(-1,0]。当两张图像一模一样时，SSIM的值等于1。
需要说明的是，自然图像通常具有极高的结构性，会在图像的像素间存在着很强的相关性，尤其是在空间相似的情况下。这些相关性在视觉场景中携带着关于物体结构的重要信息。人类视觉***主要从可视区域内获取结构信息，因此，可以通过探测结构信息是否改变来感知图像失真的近似信息。SSIM即是通过比较失真图像和参考图像的结构，以获得结构相似性。将与物体结构相关的亮度(即像素值的平均值)和对比度(即像素值的方差)作为图像中结构信息的定义。因为一个场景中的亮度和对比度总是在变化的，因此，可以通过分别对局部的处理来得到更精确的结果。
为获得准确的风机叶片缺陷检测结果，步骤103中的根据结构相似性，确定风机叶片缺陷检测结果实现过程，可以包括：S1031：若确定结构相似性高于结构相似性阈值(如，0.5)，则获得表征风机叶片正常的风机叶片缺陷检测结果；S1032：若确定结构相似性不高于结构相似性阈值，则获得表征风机叶片存在缺陷的风机叶片缺陷检测结果。
实际应用中，结构相似性阈值可以根据实际应用场景进行设置，在此不作限制。
进一步的，确定风机叶片存在缺陷时，还可以获得风机叶片存在缺陷的区域。
一种实施方式中，若基于风机叶片缺陷检测结果确定风机叶片存在缺陷，则将风机叶片局部图像与风机叶片复原图像进行比对，获得风机叶片的缺陷区域。
进一步的，确定获得表征风机叶片存在缺陷的风机叶片缺陷检测结果时，还可以向管理设备发送包含风机叶片缺陷检测结果以及风机叶片的缺陷区域的异常告警信息。
参阅图6所示，为一种风机叶片缺陷示例图。图6中黑色区域为风机叶片中的缺陷区域。需要说明的是，图6仅用于说明图像中存在缺陷区域，若图6中存在线条不清晰，不影响说明书的清楚性。
参阅图7所示，为一种图像分割方法的实施流程图。结合图7，对图1中分割出风机叶片局部图像的步骤进行示例说明。该方法的具体实施流程如下：
步骤701：基于待检测图像中各像素与目标位置之间的距离，生成待检测图像的前景深度图。
步骤702：从前景深度图中，低于距离阈值的距离调整为设定距离，获得背景深度图。
步骤703：基于背景深度图与前景深度图之间的差值，获得减法图像。
步骤704：对减法图像进行二值化，获得二值化图像。
步骤705：采用粒子滤波，对二值化图像进行粒子过滤，获得过滤图像。
步骤706：从过滤图像中分割出风机叶片局部图像。
具体的，执行步骤701-步骤706时，具体步骤参见上述步骤100，在此不做赘述。
本申请实施例中，从待检测图像中分割出风机叶片局部图像，减少了后续检测数据处理量，通过二值化以及粒子滤波，优化了边缘提取效果，且可以填充部分粒子和去除干扰，以及，只需要收集大量易获取的风机叶片的正常状态样本即可训练获得图像复原模型，进而通过图像复原模型进行图像复原，简化了检测的繁琐步骤，以及通过结构相似性进行比对，提高了检测准确度。
基于同一发明构思，本申请实施例中还提供了一种风机叶片缺陷检测的装置，由于上述装置及设备解决问题的原理与一种风机叶片缺陷检测的方法相似，因此，上述装置的实施可以参见方法的实施，重复之处不再赘述。
如图8所示，其为本申请实施例提供的一种风机叶片缺陷检测的装置的结构示意图，包括：
分割单元801，用于从待检测图像中，分割出风机叶片局部图像；
复原单元802，用于将风机叶片局部图像输入到图像复原模型中，获得风机叶片复原图像，图像复原模型用于填充风机叶片的缺失部分；
匹配单元803，用于确定风机叶片局部图像以及风机叶片复原图像之间的结构相似性；
检测单元804，用于根据结构相似性，确定风机叶片缺陷检测结果。
一种实施方式中，分割单元801用于：
基于待检测图像中各像素与目标位置之间的距离，生成待检测图像的前景深度图；
从前景深度图中，低于距离阈值的距离调整为设定距离，获得背景深度图；
基于待检测图像的背景中各像素与目标位置之间的距离，生成待检测图像的背景深度图；
基于背景深度图与前景深度图之间的差值，获得减法图像；
基于减法图像，提取风机叶片局部图像。
一种实施方式中，分割单元801用于：
对减法图像进行二值化，获得二值化图像；
从二值化图像中，分割出风机叶片局部图像。
一种实施方式中，分割单元801用于：
采用粒子滤波，对二值化图像进行粒子过滤，获得过滤图像；
从过滤图像中分割出风机叶片局部图像。
一种实施方式中，匹配单元803用于：
确定风机叶片局部图像中各像素的第一像素值的第一均值以及第一方差；
确定风机叶片复原图像中各像素的第二像素值的第二均值以及第二方差；
确定各第一像素值和各第二像素值之间的协方差；
确定第一均值与第二均值之间的乘积，获得均值乘积；
基于均值乘积、协方差，第一方差、第二方差、第一均值以及第二均值，获得结构相似性，结构相似性与均值乘积以及协方差均呈正相关，与第一方差、第二方差、第一均值的平方以及第二均值的平方均呈负相关。
一种实施方式中，检测单元804用于：
若确定结构相似性高于结构相似性阈值，则获得表征风机叶片正常的风机叶片缺陷检测结果；
若确定结构相似性不高于结构相似性阈值，则获得表征风机叶片存在缺陷的风机叶片缺陷检测结果。
一种实施方式中，检测单元804还用于：
若基于风机叶片缺陷检测结果确定风机叶片存在缺陷，则将风机叶片局部图像与风机叶片复原图像进行比对，获得风机叶片的缺陷区域。
本申请实施例提供的风机叶片缺陷检测的方法、装置、电子设备及存储介质中，从待检测图像中，分割出风机叶片局部图像；将风机叶片局部图像输入到图像复原模型中，获得风机叶片复原图像，图像复原模型用于填充风机叶片的缺失部分；确定风机叶片局部图像以及风机叶片复原图像之间的结构相似性；根据结构相似性，确定风机叶片缺陷检测结果。这样，通过图像复原模型获得风机叶片复原图像，以及通过图像之间的结构相似性，获得检测结果，简化了检测的繁琐步骤，减少了耗费的人力成本和时间成本，提高了检测效率和准确度。
图9示出了一种电子设备9000的结构示意图。参阅图9所示，电子设备9000包括：处理器9010以及存储器9020，可选的，还可以包括电源9030、显示单元9040、输入单元9050。
处理器9010是电子设备9000的控制中心，利用各种接口和线路连接各个部件，通过运行或执行存储在存储器9020内的软件程序和/或数据，执行电子设备9000的各种功能，从而对电子设备9000进行整体监控。
本申请实施例中，处理器9010调用存储器9020中存储的计算机程序时执行上述实施例中的各个步骤。
可选的，处理器9010可包括一个或多个处理单元；优选的，处理器9010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器9010中。在一些实施例中，处理器、存储器、可以在单一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
存储器9020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、各种应用等；存储数据区可存储根据电子设备9000的使用所创建的数据等。此外，存储器9020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。
电子设备9000还包括给各个部件供电的电源9030(比如电池)，电源可以通过电源管理***与处理器9010逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗等功能。
显示单元9040可用于显示由用户输入的信息或提供给用户的信息以及电子设备9000的各种菜单等，本发明实施例中主要用于显示电子设备9000中各应用的显示界面以及显示界面中显示的文本、图片等对象。显示单元9040可以包括显示面板9041。显示面板9041可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置。
输入单元9050可用于接收用户输入的数字或字符等信息。输入单元9050可包括触控面板9051以及其他输入设备9052。其中，触控面板9051，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触摸笔等任何适合的物体或附件在触控面板9051上或在触控面板9051附近的操作)。
具体的，触控面板9051可以检测用户的触摸操作，并检测触摸操作带来的信号，将这些信号转换成触点坐标，发送给处理器9010，并接收处理器9010发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板9051。其他输入设备9052可以包括但不限于物理键盘、功能键(比如音量控制按键、开关机按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
当然，触控面板9051可覆盖显示面板9041，当触控面板9051检测到在其上或附近的触摸操作后，传送给处理器9010以确定触摸事件的类型，随后处理器9010根据触摸事件的类型在显示面板9041上提供相应的视觉输出。虽然在图9中，触控面板9051与显示面板9041是作为两个独立的部件来实现电子设备9000的输入和输出功能，但是在某些实施例中，可以将触控面板9051与显示面板9041集成而实现电子设备9000的输入和输出功能。
电子设备9000还可包括一个或多个传感器，例如压力传感器、重力加速度传感器、接近光传感器等。当然，根据具体应用中的需要，上述电子设备9000还可以包括摄像头等其它部件，由于这些部件不是本申请实施例中重点使用的部件，因此，在图9中没有示出，且不再详述。
本领域技术人员可以理解，图9仅仅是电子设备的举例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
本申请实施例中，一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，使得通信设备可以执行上述实施例中的各个步骤。
为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本申请时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (11)

1.一种风机叶片缺陷检测的方法，其特征在于，包括：
从待检测图像中，分割出风机叶片局部图像；
将所述风机叶片局部图像输入到图像复原模型中，获得风机叶片复原图像，所述图像复原模型用于填充风机叶片的缺失部分；
确定所述风机叶片局部图像以及所述风机叶片复原图像之间的结构相似性；
根据所述结构相似性，确定风机叶片缺陷检测结果；
所述从所述待检测图像中，分割出风机叶片局部图像，包括：
基于所述待检测图像中各像素与目标位置之间的距离，生成所述待检测图像的前景深度图；
从所述前景深度图中，低于距离阈值的距离调整为设定距离，获得背景深度图；
基于所述待检测图像的背景中各像素与目标位置之间的距离，生成所述待检测图像的背景深度图；
基于所述背景深度图与所述前景深度图之间的差值，获得减法图像；
基于所述减法图像，提取所述风机叶片局部图像；
所述确定所述风机叶片局部图像以及所述风机叶片复原图像之间的结构相似性，包括：
确定所述风机叶片局部图像中各像素的第一像素值的第一均值以及第一方差；
确定所述风机叶片复原图像中各像素的第二像素值的第二均值以及第二方差；
确定各第一像素值和各第二像素值之间的协方差；
确定所述第一均值与第二均值之间的乘积，获得均值乘积；
基于所述均值乘积、所述协方差，所述第一方差、所述第二方差、所述第一均值以及所述第二均值，获得所述结构相似性，所述结构相似性与所述均值乘积以及所述协方差均呈正相关，与所述第一方差、所述第二方差、所述第一均值的平方以及所述第二均值的平方均呈负相关。
2.如权利要求1所述的方法，其特征在于，所述基于所述减法图像，提取所述风机叶片局部图像，包括：
对所述减法图像进行二值化，获得二值化图像；
从所述二值化图像中，分割出所述风机叶片局部图像。
3.如权利要求2所述的方法，其特征在于，所述从所述二值化图像中，分割出所述风机叶片局部图像，包括：
采用粒子滤波，对所述二值化图像进行粒子过滤，获得过滤图像；
从所述过滤图像中分割出所述风机叶片局部图像。
4.如权利要求1-3任一项所述的方法，其特征在于，所述根据所述结构相似性，确定风机叶片缺陷检测结果，包括：
若确定所述结构相似性高于结构相似性阈值，则获得表征风机叶片正常的风机叶片缺陷检测结果；
若确定所述结构相似性不高于结构相似性阈值，则获得表征风机叶片存在缺陷的风机叶片缺陷检测结果。
5.如权利要求4所述的方法，其特征在于，所述方法还包括：
若基于所述风机叶片缺陷检测结果确定所述风机叶片存在缺陷，则将所述风机叶片局部图像与所述风机叶片复原图像进行比对，获得所述风机叶片的缺陷区域。
6.一种风机叶片缺陷检测的装置，其特征在于，包括：
分割单元，用于从待检测图像中，分割出风机叶片局部图像；
复原单元，用于将所述风机叶片局部图像输入到图像复原模型中，获得风机叶片复原图像，所述图像复原模型用于填充风机叶片的缺失部分；
匹配单元，用于确定所述风机叶片局部图像以及所述风机叶片复原图像之间的结构相似性；
检测单元，用于根据所述结构相似性，确定风机叶片缺陷检测结果；
所述分割单元用于：
基于所述待检测图像中各像素与目标位置之间的距离，生成所述待检测图像的前景深度图；
从所述前景深度图中，低于距离阈值的距离调整为设定距离，获得背景深度图；
基于所述待检测图像的背景中各像素与目标位置之间的距离，生成所述待检测图像的背景深度图；
基于所述背景深度图与所述前景深度图之间的差值，获得减法图像；
基于所述减法图像，提取所述风机叶片局部图像；
所述匹配单元用于：
确定所述风机叶片局部图像中各像素的第一像素值的第一均值以及第一方差；
确定所述风机叶片复原图像中各像素的第二像素值的第二均值以及第二方差；
确定各第一像素值和各第二像素值之间的协方差；
确定所述第一均值与第二均值之间的乘积，获得均值乘积；
基于所述均值乘积、所述协方差，所述第一方差、所述第二方差、所述第一均值以及所述第二均值，获得所述结构相似性，所述结构相似性与所述均值乘积以及所述协方差均呈正相关，与所述第一方差、所述第二方差、所述第一均值的平方以及所述第二均值的平方均呈负相关。
7.如权利要求6所述的装置，其特征在于，所述分割单元用于：
对所述减法图像进行二值化，获得二值化图像；
从所述二值化图像中，分割出所述风机叶片局部图像。
8.如权利要求7所述的装置，其特征在于，所述分割单元用于：
采用粒子滤波，对所述二值化图像进行粒子过滤，获得过滤图像；
从所述过滤图像中分割出所述风机叶片局部图像。
9.如权利要求6-8任一项所述的装置，其特征在于，所述检测单元用于：
若确定所述结构相似性高于结构相似性阈值，则获得表征风机叶片正常的风机叶片缺陷检测结果；
若确定所述结构相似性不高于结构相似性阈值，则获得表征风机叶片存在缺陷的风机叶片缺陷检测结果。
10.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-5任一所述方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-5任一所述方法。
CN202210700976.4A 2022-06-20 2022-06-20 风机叶片缺陷检测的方法、装置、电子设备及存储介质 Active CN114937027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210700976.4A CN114937027B (zh) 2022-06-20 2022-06-20 风机叶片缺陷检测的方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210700976.4A CN114937027B (zh) 2022-06-20 2022-06-20 风机叶片缺陷检测的方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114937027A CN114937027A (zh) 2022-08-23
CN114937027B true CN114937027B (zh) 2024-03-15

Family

ID=82867678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210700976.4A Active CN114937027B (zh) 2022-06-20 2022-06-20 风机叶片缺陷检测的方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114937027B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315368B (zh) * 2023-10-23 2024-04-23 龙坤(无锡)智慧科技有限公司 一种大规模数据中心智能运维巡检方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200033822A (ko) * 2018-03-15 2020-03-30 (주)니어스랩 풍력 발전기 블레이드 결함 인식/분석 장치 및 방법
CN111489348A (zh) * 2020-04-16 2020-08-04 创新奇智(重庆)科技有限公司 一种磁性材料产品表面缺陷模拟方法及装置
CN112419318A (zh) * 2020-12-17 2021-02-26 深圳市华汉伟业科技有限公司 一种基于多路级联反馈的异常检测方法及装置、存储介质
CN113240673A (zh) * 2021-07-09 2021-08-10 武汉Tcl集团工业研究院有限公司 缺陷检测方法、装置、电子设备及存储介质
CN113393430A (zh) * 2021-06-09 2021-09-14 东方电气集团科学技术研究院有限公司 用于风机叶片缺陷检测的热成像图像增强训练方法和装置
CN114219762A (zh) * 2021-11-16 2022-03-22 杭州三米明德科技有限公司 基于图像修复的缺陷检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200033822A (ko) * 2018-03-15 2020-03-30 (주)니어스랩 풍력 발전기 블레이드 결함 인식/분석 장치 및 방법
CN111489348A (zh) * 2020-04-16 2020-08-04 创新奇智(重庆)科技有限公司 一种磁性材料产品表面缺陷模拟方法及装置
CN112419318A (zh) * 2020-12-17 2021-02-26 深圳市华汉伟业科技有限公司 一种基于多路级联反馈的异常检测方法及装置、存储介质
CN113393430A (zh) * 2021-06-09 2021-09-14 东方电气集团科学技术研究院有限公司 用于风机叶片缺陷检测的热成像图像增强训练方法和装置
CN113240673A (zh) * 2021-07-09 2021-08-10 武汉Tcl集团工业研究院有限公司 缺陷检测方法、装置、电子设备及存储介质
CN114219762A (zh) * 2021-11-16 2022-03-22 杭州三米明德科技有限公司 基于图像修复的缺陷检测方法

Also Published As

Publication number Publication date
CN114937027A (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN110889379B (zh) 表情包生成方法、装置及终端设备
CN108108731B (zh) 基于合成数据的文本检测方法及装置
CN111325271B (zh) 图像分类方法及装置
CN111124888B (zh) 录制脚本的生成方法和装置及电子装置
CN116168038B (zh) 一种图像翻拍检测的方法、装置、电子设备及存储介质
CN116168351B (zh) 电力设备巡检方法及装置
CN111797288A (zh) 数据筛选方法、装置、存储介质及电子设备
CN111062854A (zh) 检测水印的方法、装置、终端及存储介质
CN114937027B (zh) 风机叶片缺陷检测的方法、装置、电子设备及存储介质
CN112668577A (zh) 大尺度图像中目标物体的检测方法、终端及装置
CN114489561A (zh) 音频音量智能调节方法、装置、电子设备及存储介质
CN112995757B (zh) 视频剪裁方法及装置
CN108062405B (zh) 图片分类方法、装置、存储介质及电子设备
CN103093213A (zh) 视频文件分类方法及终端
CN113706506B (zh) 一种装配状态检测的方法、装置、电子设备及存储介质
CN108052506B (zh) 自然语言处理方法、装置、存储介质及电子设备
CN115601684A (zh) 突发事件预警方法、装置、电子设备及存储介质
CN112966272B (zh) 一种基于对抗式网络的物联网Android恶意软件检测方法
CN114757945A (zh) 一种金属基体腐蚀和涂层老化的原位识别方法及装置
CN114943978A (zh) 一种表格重建的方法及电子设备
CN111062388B (zh) 基于深度学习的广告文字的识别方法、***、介质及设备
CN110490084B (zh) 目标物体的检测方法、装置、网络设备及存储介质
CN114238223A (zh) 图片移除方法、装置、计算机设备及计算机可读存储介质
CN103164504A (zh) 一种智能手机精细化图片搜索***及方法
CN115147856B (zh) 一种表格信息提取的方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant