CN112801951A - 目标部件的损伤检测方法、装置、设备及存储介质 - Google Patents

目标部件的损伤检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112801951A
CN112801951A CN202110057033.XA CN202110057033A CN112801951A CN 112801951 A CN112801951 A CN 112801951A CN 202110057033 A CN202110057033 A CN 202110057033A CN 112801951 A CN112801951 A CN 112801951A
Authority
CN
China
Prior art keywords
component
target
damage detection
target component
damage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110057033.XA
Other languages
English (en)
Inventor
吴强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202110057033.XA priority Critical patent/CN112801951A/zh
Publication of CN112801951A publication Critical patent/CN112801951A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本公开关于一种目标部件的损伤检测方法、装置、设备及存储介质,其中,该方法包括在目标部件处于工作状态的情况下,获取目标部件的目标运动图像;将目标运动图像输入部件损伤检测网络,利用部件损伤检测网络对目标运动图像中的目标部件进行损伤检测,得到目标部件的损伤检测结果。利用本公开实施例提供的技术方案可以在目标部件所在设备运行过程中,对目标部件进行实时的损伤检测,进而可以及时掌握部件损伤情况,以便提前规避因部件伤损带来的意外,且在目标部件不存在损伤的情况下,无需暂停设备运行,避免了不必要的生产中断所带来的损失。

Description

目标部件的损伤检测方法、装置、设备及存储介质
技术领域
本公开涉及人工智能技术领域,尤其涉及目标部件的损伤检测方法、装置、设备及存储介质。
背景技术
目前很多设备运行过程中,其上工作的部件往往是在出厂时或者使用前会进行一系列质量检测。但在长时间使用后,这些部件可能存在损伤。相关技术中,会定时暂停设备运行,以进行部件的损伤检测。但上述损伤检测方案往往是部件使用了很长一段时间后,才进行损伤检测,无法及时掌握部件损伤情况,从而无法提前规避检测前的使用过程中,因部件伤损带来的意外,且会存在因需要定时对部件进行损伤检测,造成部件未损伤情况下的生产中断,带来不必要的损失。
发明内容
本公开提供一种目标部件的损伤检测方法、装置、设备及存储介质。本公开的技术方案如下:
根据本公开实施例的一方面,提供一种目标部件的损伤检测方法,包括:
在目标部件处于工作状态的情况下,获取所述目标部件的目标运动图像;
将所述目标运动图像输入部件损伤检测网络,利用所述部件损伤检测网络对所述目标运动图像中的目标部件进行损伤检测,得到所述目标部件的损伤检测结果。
采用上述实施例提供的技术方案,可以在目标部件所在设备运行过程中,对目标部件进行实时的损伤检测,进而可以及时掌握部件损伤情况,以便提前规避因部件伤损带来的意外,且在目标部件不存在损伤的情况下,无需暂停设备运行,避免了不必要的生产中断所带来的损失。
在一个可选的实施例中,所述方法还包括:
获取样本部件的运动图像训练集,所述运动图像训练集包括所述样本部件的至少两个运动图像和所述至少两个运动图像各自对应的损伤标注信息;
将所述至少两个运动图像输入预设深度学习网络,利用所述预设深度学习网络对所述至少两个运动图像中的样本部件进行损伤检测,得到所述至少两个运动图像各自对应的预测损伤检测结果;
利用所述至少两个运动图像各自对应的预测损伤检测结果和损伤标注信息,确定所述至少两个运动图像各自对应的损失信息;
根据所述损失信息训练所述预设深度学习网络,得到所述部件损伤检测网络。
上述实施例中,基于与目标部件相同部件类型的样本部件的运动图像训练集对预设深度学习网络进行部件损伤检测训练得到部件损伤检测网络,可以大大提高部件损伤检测的处理效率和准确性。
在一个可选的实施例中,所述获取所述目标部件的目标运动图像包括:
利用摄像装置采集所述目标部件的目标运动图像。
在一个可选的实施例中,所述摄像装置包括全局曝光的图像传感器和补光灯;所述利用摄像装置采集所述目标部件的目标运动图像包括:
控制所述全局曝光的图像传感器采集所述目标部件的目标运动图像和控制所述补光灯在所述全局曝光的图像传感器采集目标运动图像时对所述目标部件进行补光。
上述实施例中,采用包括全局曝光的图像传感器和补光灯的摄像装置进行目标部件在运动过程中的目标运动图像的采集,可以提高处于高速运动状态下的目标部件的目标运动图像的清晰度。
在一个可选的实施例中,所述方法还包括:
根据所述损伤检测结果控制所述目标部件。
在一个可选的实施例中,所述根据所述损伤检测结果控制所述目标部件包括:
在所述损伤检测结果指示所述目标部件存在损伤的情况下,对所述目标部件进行制动控制;
和/或,
在所述损伤检测结果指示所述目标部件存在损伤的情况下,对所述目标部件进行报警控制。
上述实施例中,在目标部件存在损伤的情况下,对目标部件进行制动控制或报警控制,以便相关人员及时的进行损伤修复,或更换存在损伤的目标部件,进而可以提前规避因部件伤损带来的意外。
在一个可选的实施例中,所述根据所述损伤检测结果控制所述目标部件包括:
在所述损伤检测结果指示所述目标部件未存在损伤的情况下,控制所述目标部件保持运动状态。
上述实施例中,在目标部件未存在损伤的情况下,控制目标部件保持运动状态,避免了不必要的生产中断所带来的损失。
在一个可选的实施例中,在将所述目标运动图像输入部件损伤检测网络之前,所述方法还包括:
确定所述目标部件的部件类型;
调用与所述部件类型对应的至少一个部件损伤检测网络;
所述将所述目标运动图像输入部件损伤检测网络包括将所述目标运动图像输入所述至少一个部件损伤检测网络。
上述实施例中,通过对目标部件的部件类型的确定,并调用该部件类型的对应的至少一个部件损伤检测网络,可以实现同时对某一目标部件进行多种损伤类型的损伤检测,提高对目标部件损伤检测的全面性。
根据本公开实施例的另一方面,提供一种别引擎的监控装置,包括:
目标运动图像获取模块,被配置为执行在目标部件处于工作状态的情况下,获取所述目标部件的目标运动图像;
第一损伤检测模块,被配置为执行将所述目标运动图像输入部件损伤检测网络,利用所述部件损伤检测网络对所述目标运动图像中的目标部件进行损伤检测,得到所述目标部件的损伤检测结果。
在一个可选的实施例中,所述装置还包括:
运动图像训练集获取模块,被配置为执行获取样本部件的运动图像训练集,所述运动图像训练集包括所述样本部件的至少两个运动图像和所述至少两个运动图像各自对应的损伤标注信息;
第二损伤检测模块,被配置为执行将所述至少两个运动图像输入预设深度学习网络,利用所述预设深度学习网络对所述至少两个运动图像中的样本部件进行损伤检测,得到所述至少两个运动图像各自对应的预测损伤检测结果;
损失信息确定模块,被配置为执行利用所述至少两个运动图像各自对应的预测损伤检测结果和损伤标注信息,确定所述至少两个运动图像各自对应的损失信息;
预设深度学习网络训练模块,被配置为执行根据所述损失信息训练所述预设深度学习网络,得到所述部件损伤检测网络。
在一个可选的实施例中,所述目标运动图像获取模块具体被配置为执行利用摄像装置采集所述目标部件的目标运动图像。
在一个可选的实施例中,所述摄像装置包括全局曝光的图像传感器和补光灯;所述目标运动图像获取模块包括:
图像采集控制单元,被配置为执行控制所述全局曝光的图像传感器采集所述目标部件的目标运动图像;
补光控制单元,被配置为执行控制所述补光灯在所述全局曝光的图像传感器采集目标运动图像时对所述目标部件进行补光。
在一个可选的实施例中,所述装置还包括:
目标部件控制模块,被配置为执行根据所述损伤检测结果控制所述目标部件。
在一个可选的实施例中,所述目标部件控制模块包括:
制动控制单元,被配置为执行在所述损伤检测结果指示所述目标部件存在损伤的情况下,对所述目标部件进行制动控制;
和/或,
报警控制单元,被配置为执行在所述损伤检测结果指示所述目标部件存在损伤的情况下,对所述目标部件进行报警控制。
在一个可选的实施例中,所述目标部件控制模块包括:
运动保持控制单元,被配置为执行在所述损伤检测结果指示所述目标部件未存在损伤的情况下,控制所述目标部件保持运动状态。
在一个可选的实施例中,所述装置还包括:
部件类型确定模块,被配置为执行确定所述目标部件的部件类型;
部件损伤检测网络调用模块,被配置为执行调用与所述部件类型对应的至少一个部件损伤检测网络;
所述第一损伤检测模块还被配置为包括将所述目标运动图像输入所述至少一个部件损伤检测网络,利用所述至少一个部件损伤检测网络对所述目标运动图像中的目标部件进行损伤检测,得到所述目标部件的损伤检测结果。
根据本公开实施例的另一方面,提供一种目标部件的损伤检测设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如上述任一项所述的方法。
根据本公开实施例的另一方面,提供一种计算机可读存储介质,当所述存储介质中的指令由目标部件的损伤检测设备的处理器执行时,使得所述目标部件的损伤检测设备能够执行本公开实施例的上述任一所述方法。
根据本公开实施例的另一方面,提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行本公开实施例的上述任一项所述的方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
可以在目标部件处于工作状态的情况下,对目标部件进行实时的损伤检测,进而可以及时掌握部件损伤情况,以便提前规避因部件伤损带来的意外,且在目标部件不存在损伤的情况下,无需暂停设备运行,避免了不必要的生产中断所带来的损失。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种目标部件的损伤检测方法的应用环境示意图;
图2是根据一示例性实施例示出的一种目标部件的损伤检测方法的流程示意图;
图3是根据一示例性实施例示出的一种部件损伤检测网络训练方法的流程示意图;
图4是根据一示例性实施例示出的一种目标部件的损伤检测方法的流程示意图;
图5是根据一示例性实施例示出的一种目标部件的损伤检测方法的流程示意图;
图6是根据一示例性实施例示出的一种目标部件的损伤检测装置框图;
图7是根据一示例性实施例示出的一种目标部件的损伤检测装置框图;
图8是根据一示例性实施例示出的一种目标部件的损伤检测装置框图;
图9是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本公开实施例提供的方案主要涉及机器学习/深度学习技术。
请参阅图1,图1是根据一示例性实施例示出的一种目标部件的损伤检测方法的应用环境示意图,如图1所示,该应用环境可以包括服务器01和目标部件的损伤检测装置02。
在一些实施例中,服务器01可以用于预先训练部件损伤检测网络。可选的,服务器01可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一些实施例中,目标部件的损伤检测装置02可以在目标部件处于工作状态的情况下,获取目标部件的目标运动图像,并结合服务器01训练好的部件损伤检测网络,对正在运动的目标部件进行损伤检测。在一些实施例中,目标部件的损伤检测装置02可以设置在车辆、飞机、磨床等运行过程中具有运动部件(处于运动状态的部件)的设备上。
上述实施例中,通过在服务器01上预先训练部件损伤检测网络,可以有效降低目标部件的损伤检测装置02的资源消耗,提高目标部件的损伤检测装置02的运行速度。
此外,需要说明的是,在实际应用中,部件损伤检测网络的训练,也可以在目标部件的损伤检测装置02上实现。
本说明书实施例中,上述服务器01以及目标部件的损伤检测设备02可以通过有线或无线通信方式进行直接或间接地连接,本公开在此不做限制。
以下介绍本公开一种目标部件的损伤检测方法的实施例,图2是根据一示例性实施例示出的一种目标部件的损伤检测方法的流程图,本说明书提供了如实施例或流程图的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的***或设备产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示,可以包括:
S201:在目标部件处于工作状态的情况下,获取目标部件的目标运动图像。
在一些实施例中,目标部件可以为设备上各个部件中会随着设备的运行进行工作的部件。具体的,可以结合部件所在设备的不同用途,目标部件的工作状态可以不同,在一个具体的实施例中,目标部件的工作状态可以包括但不限于转体运动、往复运动等。相应的,目标部件可以包括转体部件、往复部件中的至少一种。
在一个可选的实施例中,在目标部件为转体部件的情况下,该目标部件可以为风叶、齿轮等;在另一个可选的实施例中,在目标部件为往复部件的情况下,该目标部件可以为活塞、曲柄滑块机构等。
在一些实施例中,上述获取目标部件的目标运动图像可以包括:利用摄像装置采集目标部件的目标运动图像。本说明书实施例中,目标运动图像可以包括目标部件在运动过程中的图像。
在一些实施例中,在目标部件处于高速运动的情况下,为了保证拍摄到的图像中目标部件的清晰度,上述摄像装置可以包括全局曝光的图像传感器和补光灯;相应的,上述利用摄像装置采集目标部件的目标运动图像可以包括:
控制全局曝光的图像传感器采集目标部件的目标运动图像和控制补光灯在全局曝光的图像传感器采集目标运动图像时对目标部件进行补光。
在一个可选的实施例中,图像传感器可以为CMOS(Complementary Metal OxideSemiconductor,互补金属氧化物半导体)传感器。
在实际应用中,全局曝光指的是图像的所有的像素曝光时间都是同步开始和结束。这样的曝光可以保证拍摄运动物体时图像不会出现偏移和歪斜。本说明书实施例中,在控制全局曝光的图像传感器采集目标部件的目标运动图像时,通过控制补光灯对目标补检进行补光,可以缩短整个图像的曝光时间,避免拍摄到的目标运动图像中目标部件出现拖影的现象,有效保证了拍摄到的处于高速运动状态下的目标部件的目标运动图像的清晰度。
S203:将目标运动图像输入部件损伤检测网络,利用部件损伤检测网络对目标运动图像中的目标部件进行损伤检测,得到目标部件的损伤检测结果。
在一些实施例中,部件损伤检测网络可以为基于与目标部件相同部件类型的样本部件的运动图像训练集对预设深度学习网络进行部件损伤检测训练得到的网络。相应的,上述方法还可以包括训练出部件损伤检测网络的步骤。在一个具体的实施例中,如图3所示,训练出部件损伤检测网络步骤可以包括:
S301:获取样本部件的运动图像训练集,运动图像训练集包括样本部件的至少两个运动图像和至少两个运动图像各自对应的损伤标注信息。
在一些实施例中,样本部件可以为与目标部件相同类型的部件,例如目标部件为风叶;相应的,该样本部件也为风叶;样本部件的至少两个运动图像可以为在样本部件运动过程中采集的图像。
在一些实施例中,至少两个运动图像可以包括具有损伤的运动图像,也可以包括不具有损伤的运动图像。在实际应用中,部件的损伤类型可以包括一种或多种;在一些具体的实施例中,损伤的类型可以包括但不限于下述之一:开裂、破损、变形等。
在一些实施例中,可以针对不同类型部件的不同损伤类型分别训练相应的部件损伤检测网络;相应的,上述至少两个运动图像各自对应的损伤标注信息可以包括具有损伤或不具有损伤。
S303:将至少两个运动图像输入预设深度学习网络,利用预设深度学习网络对至少两个运动图像中的样本部件进行损伤检测,得到至少两个运动图像各自对应的预测损伤检测结果。
在一些实施例中,预设深度学习网络可以包括但不限于卷积神经网络、递归神经网络、逻辑回归神经网络等。
在一个具体的实施例中,在针对不同类型部件的不同损伤类型分别训练相应的部件损伤检测网络的情况下,以结合逻辑回归神经网络进行某一类型部件的部件损伤检测网络训练为例,可以将上述至少两个运动图像(其中具有损伤的运动图像为正样本和不具有损伤的运动图像为负样本)输入到逻辑回归神经网络,逻辑回归神经网络的输出为运动图像为正样本的概率(预测损伤检测结果)p(p为0-1之间的数字),而有损伤的运动图像和不具有损伤的运动图像的损伤标注信息分别为y是1和0。
S305:利用至少两个运动图像各自对应的预测损伤检测结果和损伤标注信息,确定至少两个运动图像各自对应的损失信息。
本说明书实施例中,每一运动图像对应的损失信息可以表征该运动图像对应的预测损伤检测结果和损伤标注信息间的差异程度,该损失信息的数值大小与预设深度学习网络的鲁棒性成反比。
在一个具体的实施例中,利用至少两个运动图像各自对应的预测损伤检测结果和损伤标注信息,确定至少两个运动图像各自对应的损失信息可以包括:基于预设损失函数分别计算至少两个运动图像各自对应的预测损伤检测结果和损伤标注信息间的损失值,将上述至少两个运动图像各自对应的损失值作为这至少两个运动图像各自对应的损失信息。
在一个可选的实施例中,预设损失函数可以包括但不限于下述之一:交叉熵损失函数L2损失函数(均方误差)、L1(损失函数平均绝对误差)、Hinge(铰链)损失函数、指数损失函数等。
S307:根据损失信息训练预设深度学习网络,得到部件损伤检测网络。
在一个可选的实施例中,根据损失信息训练预设深度学习网络,得到部件损伤检测网络可以包括:判断损失信息是否满足预设条件;当损失信息未满足预设条件时,基于梯度下降法调整上述预设深度学习网络中的网络参数,基于调整网络参数后的预设深度学习网络重复上述S303和S305的步骤,以更新损失信息,直到当前更新得到的损失信息满足预设条件,将损失信息满足预设条件时的预设深度学习网络作为部件损伤检测网络。
在一个可选的实施例中,损失信息满足预设条件可以为输入预设深度学习网络的运动图像中预设百分比的运动图像对应的损失信息小于等于指定阈值;在另一个可选的实施例中,损失信息满足预设条件可以为前后两次训练过程中对应的损失信息总量(即损失值总和)与上一次训练学习后对应的损失信息总量间的差值小于一定阈值。
本实施例中,预设百分比和指定阈值可以为结合实际训练需求进行设置。
上述实施例中,基于某一类型样本部件对应的针对某一类型损伤的运动图像训练集训练得到部件损伤检测网络,可以用于对该类型的目标部件相应类型损伤进行损伤检测。采用上述基于与目标部件相同部件类型的样本部件的运动图像训练集对预设深度学习网络进行部件损伤检测训练得到的部件损伤检测网络,可以大大提高部件损伤检测的处理效率和准确性。
在一些实施例中,将目标运动图像输入部件损伤检测网络,利用部件损伤检测网络对目标运动图像中的目标部件进行损伤检测,得到的目标部件的损伤检测结果可以包括指示目标部件存在损伤的结果,也可以包括指示目标部件未存在损伤的结果。
由以上本说明书提供的技术方案可见,本说明书实施例中通过在目标部件处于工作状态的情况下,实时的获取目标部件运动过程中的目标运动图像,并结合部件损伤检测网络对目标运动图像中的目标部件进行损伤检测,可以在目标部件所在设备运行过程中,对目标部件进行实时的损伤检测,进而可以及时掌握部件损伤情况,以便提前规避因部件伤损带来的意外,且在目标部件不存在损伤的情况下,无需暂停设备运行,避免了不必要的生产中断所带来的损失,且部件损伤检测网络为基于与目标部件相同部件类型的样本部件的运动图像训练集对预设深度学习网络进行部件损伤检测训练得到的网络,可以大大提高部件损伤检测的处理效率和准确性。
在一些实施例中,考虑到当需要对多种类型部件的多种损伤进行损伤检测的情况,在将目标运动图像输入部件损伤检测网络之前,如图4所示,上述方法还可以包括:
S205:确定目标部件的部件类型。
S207:调用与部件类型对应的至少一个部件损伤检测网络。
上述步骤S203可以包括将目标运动图像输入至少一个部件损伤检测网络,利用至少一个部件损伤检测网络对目标运动图像中的目标部件进行损伤检测,得到目标部件的损伤检测结果。
在一些实施例中,部件类型对应的至少一个部件损伤检测网络可以包括用于检测这一部件类型对应的至少一种损伤的部件损伤检测网络。
上述实施例中,在将目标运动图像输入部件损伤检测网络之前,通过对目标部件的部件类型的确定,并调用该部件类型的对应的至少一个部件损伤检测网络,可以实现同时对某一目标部件进行多种损伤类型的损伤检测,提高对目标部件损伤检测的全面性。
在一些实施例中,如图5所示,上述方法还可以包括:
S209:根据损伤检测结果控制目标部件。
在一些实施例中,上述根据损伤检测结果控制目标部件可以包括:
在损伤检测结果指示目标部件存在损伤的情况下,对目标部件进行制动控制;
和/或,
在损伤检测结果指示目标部件存在损伤的情况下,对目标部件进行报警控制。
在一些实施例中,目标部件存在损伤可以包括目标部件具有某种损伤,也可以为目标部件具有某种损伤且损伤达到一定程度。例如在一些场景中,风叶破损不严重,不会影响其正常工作,相应的,可以预先设置一个破损阈值(可选的,该破损阈值可以为风叶破损部分的面积占风叶总面积的比例上限值),用于判断风叶是否存在损伤。假设风叶破损部分的面积占风叶总面积的比例上限值为10%;且假设损伤检测结果为风叶具有破损部分的面积占风叶总面积的比例为5%;相应的,该损伤检测结果指示目标部件不存在损伤。
此外,在目标部件存在损伤为目标部件具有某种损伤且损伤达到一定程度情况下,在部件损伤检测网络训练的过程中,损伤标注信息也可以为目标部件具有某种损伤且损伤达到某种程度,一般的,该程度可以通过一定规则进行量化,例如上述风叶的示例中,可以通过风叶破损部分的面积占风叶总面积的比例来量化损伤达到的程度。
在另一些实施例中,上述根据损伤检测结果控制目标部件可以包括:
在损伤检测结果指示目标部件未存在损伤的情况下,控制目标部件保持运动状态。
在一些实施例中,对目标部件进行制动控制可以包括通过制动***停止目标部件所在设备的运行,以便相关人员及时的进行损伤修复,或更换存在损伤的目标部件,进而可以提前规避因部件伤损带来的意外。
在一些实施例中,对目标部件进行报警控制可以包括向该目标部件对应的报警装置发出报警信息,以通知及时的进行损伤修复,或更换存在损伤的目标部件,进而可以提前规避因部件伤损带来的意外。
在一些实施例中,在利用多种损伤类型对应的部件损伤检测网络进行目标部件的损伤检测的场景中,在多种损伤类型对应的部件损伤检测网络对应的损伤检测结果均指示目标部件未存在损伤的情况下,可以控制目标部件保持运动状态;反之,若任一部件损伤检测网络对应的损伤检测结果指示目标部件存在损伤的情况下,可以对目标部件进行制动和/或报警控制。
上述实施例中,结合目标部件的损伤检测结果,在目标部件存在损伤的情况下,可以进行制动和/或报警控制,可以及时对目标部件的损伤进行修复,或更换存在损伤的目标部件,进而可以提前规避因部件伤损带来的意外。在目标部件未存在损伤的情况下,控制目标部件保持运动状态,避免了不必要的生产中断所带来的损失。
图6是根据一示例性实施例示出的一种目标部件的损伤检测装置框图。参照图6,该装置可以包括:
目标运动图像获取模块610,被配置为执行在目标部件处于工作状态的情况下,获取目标部件的目标运动图像;
第一损伤检测模块620,被配置为执行将目标运动图像输入部件损伤检测网络,利用部件损伤检测网络对目标运动图像中的目标部件进行损伤检测,得到目标部件的损伤检测结果。
在一个可选的实施例中,上述装置还包括:
运动图像训练集获取模块,被配置为执行获取样本部件的运动图像训练集,运动图像训练集包括样本部件的至少两个运动图像和至少两个运动图像各自对应的损伤标注信息;
第二损伤检测模块,被配置为执行将至少两个运动图像输入预设深度学习网络,利用预设深度学习网络对至少两个运动图像中的样本部件进行损伤检测,得到至少两个运动图像各自对应的预测损伤检测结果;
损失信息确定模块,被配置为执行利用至少两个运动图像各自对应的预测损伤检测结果和损伤标注信息,确定至少两个运动图像各自对应的损失信息;
预设深度学习网络训练模块,被配置为执行根据损失信息训练预设深度学习网络,得到部件损伤检测网络。
在一个可选的实施例中,目标运动图像获取模块具体被配置为执行利用摄像装置采集目标部件的目标运动图像。
在一个可选的实施例中,摄像装置包括全局曝光的图像传感器和补光灯;目标运动图像获取模块包括:
图像采集控制单元,被配置为执行控制全局曝光的图像传感器采集目标部件的目标运动图像;
补光控制单元,被配置为执行控制补光灯在全局曝光的图像传感器采集目标运动图像时对目标部件进行补光。
在一个可选的实施例中,如图7所示,上述装置还包括:
目标部件控制模块630,被配置为执行根据损伤检测结果控制目标部件
在一个可选的实施例中,目标部件控制模块包括:
制动控制单元,被配置为执行在损伤检测结果指示目标部件存在损伤的情况下,对目标部件进行制动控制;
和/或,
报警控制单元,被配置为执行在损伤检测结果指示目标部件存在损伤的情况下,对目标部件进行报警控制。
在一个可选的实施例中,目标部件控制模块包括:
运动保持控制单元,被配置为执行在损伤检测结果指示目标部件未存在损伤的情况下,控制目标部件保持运动状态。
在一个可选的实施例中,如图8所示,上述装置还包括:
部件类型确定模块640,被配置为执行确定目标部件的部件类型;
部件损伤检测网络调用模块650,被配置为执行调用与部件类型对应的至少一个部件损伤检测网络;
第一损伤检测模块还被配置为包括将目标运动图像输入至少一个部件损伤检测网络,利用至少一个部件损伤检测网络对目标运动图像中的目标部件进行损伤检测,得到目标部件的损伤检测结果。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开实施例所提供的方法实施例可以在电子设备中执行。图9是根据一示例性实施例示出的一种电子设备的结构示意图,如图9所示,该电子设备可以用于实施上述实施例中提供的目标部件的损伤检测方法。具体来讲:
上述电子设备可以包括摄像装置910、包括有一个或一个以上计算机可读存储介质的存储器920、制动***930、显示单元940、报警装置950、音频电路960、WiFi(wirelessfidelity,无线保真)模块970、包括有一个或者一个以上处理核心的处理器980、以及电源990等部件。本领域技术人员可以理解,图9中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
摄像装置910可用于采集目标部件在运动过程中的图像。通常,存储器920可用于存储软件程序以及模块,处理器980通过运行存储在存储器920的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器920可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、功能所需的应用程序等;存储数据区可存储根据上述电子设备的使用所创建的数据等。此外,存储器920可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器920还可以包括存储器控制器,以提供处理器980对存储器920的访问。
制动***930可用于控制设备停止运行。显示单元940可用于显示报警信息等。显示单元940可包括显示面板,可选的,可以采用LCD(Liquid Crystal Display,液晶显示器)、O LED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板。报警装置950可结合音频电路960、扬声器961、传声器962进行报警处理,音频电路960可将接收到的音频数据转换后的电信号,传输到扬声器961,由扬声器961转换为声音信号输出;另一方面,传声器962将收集的声音信号转换为电信号,由音频电路960接收后转换为音频数据,再将音频数据输出处理器980处理后,将音频数据输出至存储器920以便进一步处理。
WiFi属于短距离无线传输技术,上述电子设备通过WiFi模块970可以帮助用户收发数据,例如部件损失检测网络等,它为用户提供了无线的宽带互联网访问。
处理器980是上述电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器920内的软件程序和/或,模块,以及调用存储在存储器920内的数据,执行上述电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器980可包括一个或多个处理核心;可选的,处理器980可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器980中。
上述电子设备还包括给各个部件供电的电源990(比如电池),可选的,电源可以通过电源管理***与处理器980逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源990还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,上述电子设备还可以包括蓝牙模块、输入装置等,在此不再赘述。
在示例性实施例中,还提供了一种目标部件的损伤检测设备,包括:处理器;用于存储该处理器可执行指令的存储器;其中,该处理器被配置为执行该指令,以实现如本公开实施例中的目标部件的损伤检测方法。
在示例性实施例中,还提供了一种计算机可读存储介质,当该存储介质中的指令由目标部件的损伤检测设备的处理器执行时,使得目标部件的损伤检测设备能够执行本公开实施例中的目标部件的损伤检测方法。
在示例性实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行本公开实施例中的目标部件的损伤检测方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本公开所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或,易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (11)

1.一种目标部件的损伤检测方法,其特征在于,包括:
在目标部件处于工作状态的情况下,获取所述目标部件的目标运动图像;
将所述目标运动图像输入部件损伤检测网络,利用所述部件损伤检测网络对所述目标运动图像中的目标部件进行损伤检测,得到所述目标部件的损伤检测结果。
2.根据权利要求1所述的目标部件的损伤检测方法,其特征在于,所述方法还包括:
获取样本部件的运动图像训练集,所述运动图像训练集包括所述样本部件的至少两个运动图像和所述至少两个运动图像各自对应的损伤标注信息;
将所述至少两个运动图像输入预设深度学习网络,利用所述预设深度学习网络对所述至少两个运动图像中的样本部件进行损伤检测,得到所述至少两个运动图像各自对应的预测损伤检测结果;
利用所述至少两个运动图像各自对应的预测损伤检测结果和损伤标注信息,确定所述至少两个运动图像各自对应的损失信息;
根据所述损失信息训练所述预设深度学习网络,得到所述部件损伤检测网络。
3.根据权利要求1或2所述的目标部件的损伤检测方法,其特征在于,所述获取所述目标部件的目标运动图像包括:
利用摄像装置采集所述目标部件的目标运动图像。
4.根据权利要求3所述的目标部件的损伤检测方法,其特征在于,所述摄像装置包括全局曝光的图像传感器和补光灯;所述利用摄像装置采集所述目标部件的目标运动图像包括:
控制所述全局曝光的图像传感器采集所述目标部件的目标运动图像和控制所述补光灯在所述全局曝光的图像传感器采集目标运动图像时对所述目标部件进行补光。
5.根据权利要求1或2所述的目标部件的损伤检测方法,其特征在于,所述方法还包括:
根据所述损伤检测结果控制所述目标部件。
6.根据权利要求5所述的目标部件的损伤检测方法,其特征在于,所述根据所述损伤检测结果控制所述目标部件包括:
在所述损伤检测结果指示所述目标部件存在损伤的情况下,对所述目标部件进行制动控制;
和/或,
在所述损伤检测结果指示所述目标部件存在损伤的情况下,对所述目标部件进行报警控制。
7.根据权利要求5所述的目标部件的损伤检测方法,其特征在于,所述根据所述损伤检测结果控制所述目标部件包括:
在所述损伤检测结果指示所述目标部件未存在损伤的情况下,控制所述目标部件保持运动状态。
8.根据权利要求1或2所述的目标部件的损伤检测方法,其特征在于,在将所述目标运动图像输入部件损伤检测网络之前,所述方法还包括:
确定所述目标部件的部件类型;
调用与所述部件类型对应的至少一个部件损伤检测网络;
所述将所述目标运动图像输入部件损伤检测网络包括将所述目标运动图像输入所述至少一个部件损伤检测网络。
9.一种目标部件的损伤检测装置,其特征在于,包括:
目标运动图像获取模块,被配置为执行在目标部件处于工作状态的情况下,获取所述目标部件的目标运动图像;
第一损伤检测模块,被配置为执行将所述目标运动图像输入部件损伤检测网络,利用所述部件损伤检测网络对所述目标运动图像中的目标部件进行损伤检测,得到所述目标部件的损伤检测结果。
10.一种目标部件的损伤检测设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至8中任一项所述的目标部件的损伤检测方法。
11.一种计算机可读存储介质,其特征在于,当所述存储介质中的指令由目标部件的损伤检测设备的处理器执行时,使得目标部件的损伤检测设备能够执行如权利要求1至8中任一项所述的目标部件的损伤检测方法。
CN202110057033.XA 2021-01-15 2021-01-15 目标部件的损伤检测方法、装置、设备及存储介质 Pending CN112801951A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110057033.XA CN112801951A (zh) 2021-01-15 2021-01-15 目标部件的损伤检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110057033.XA CN112801951A (zh) 2021-01-15 2021-01-15 目标部件的损伤检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112801951A true CN112801951A (zh) 2021-05-14

Family

ID=75809817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110057033.XA Pending CN112801951A (zh) 2021-01-15 2021-01-15 目标部件的损伤检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112801951A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104134352A (zh) * 2014-08-15 2014-11-05 青岛比特信息技术有限公司 基于长短曝光结合的视频车辆特征检测***及其检测方法
CN106528975A (zh) * 2016-11-01 2017-03-22 电子科技大学 一种应用于电路与***的故障预测与健康管理方法
CN107358596A (zh) * 2017-04-11 2017-11-17 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置、电子设备及***
CN108921068A (zh) * 2018-06-22 2018-11-30 深源恒际科技有限公司 一种基于深度神经网络的汽车外观自动定损方法及***
CN110135437A (zh) * 2019-05-06 2019-08-16 北京百度网讯科技有限公司 用于车辆的定损方法、装置、电子设备和计算机存储介质
CN110208022A (zh) * 2019-06-12 2019-09-06 济南雷森科技有限公司 基于机器学习的电力设备多特征音频指纹故障诊断方法及***
CN111652209A (zh) * 2020-04-30 2020-09-11 平安科技(深圳)有限公司 损伤检测方法、装置、电子设备及介质
CN111666995A (zh) * 2020-05-29 2020-09-15 平安科技(深圳)有限公司 基于深度学习模型的车辆定损方法、装置、设备及介质
CN111667011A (zh) * 2020-06-08 2020-09-15 平安科技(深圳)有限公司 损伤检测模型训练、车损检测方法、装置、设备及介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104134352A (zh) * 2014-08-15 2014-11-05 青岛比特信息技术有限公司 基于长短曝光结合的视频车辆特征检测***及其检测方法
CN106528975A (zh) * 2016-11-01 2017-03-22 电子科技大学 一种应用于电路与***的故障预测与健康管理方法
CN107358596A (zh) * 2017-04-11 2017-11-17 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置、电子设备及***
CN108921068A (zh) * 2018-06-22 2018-11-30 深源恒际科技有限公司 一种基于深度神经网络的汽车外观自动定损方法及***
CN110135437A (zh) * 2019-05-06 2019-08-16 北京百度网讯科技有限公司 用于车辆的定损方法、装置、电子设备和计算机存储介质
CN110208022A (zh) * 2019-06-12 2019-09-06 济南雷森科技有限公司 基于机器学习的电力设备多特征音频指纹故障诊断方法及***
CN111652209A (zh) * 2020-04-30 2020-09-11 平安科技(深圳)有限公司 损伤检测方法、装置、电子设备及介质
CN111666995A (zh) * 2020-05-29 2020-09-15 平安科技(深圳)有限公司 基于深度学习模型的车辆定损方法、装置、设备及介质
CN111667011A (zh) * 2020-06-08 2020-09-15 平安科技(深圳)有限公司 损伤检测模型训练、车损检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
JP6931402B2 (ja) ディスプレイの品質検出方法、装置、電子機器及び記憶媒体
JP6921241B2 (ja) ディスプレイスクリーン品質検査方法、装置、電子機器及び記憶媒体
US10901834B2 (en) Interactive troubleshooting assistant
KR20200004822A (ko) 디스플레이 스크린 주변 회로 검출 방법, 장치, 전자기기 및 저장매체
US20230315062A1 (en) Industrial internet of things, mthods and mediums for early warning of descending function fault of equipment
CN112950400A (zh) 数据处理平台
CN113888514A (zh) 导地线缺陷检测方法、装置、边缘计算设备和存储介质
CN114881989A (zh) 基于小样本目标对象缺陷检测的方法、装置、电子设备
CN117389742B (zh) 一种用于机器视觉的边缘计算方法、装置及存储介质
CN112025703B (zh) 机器人自诊断的方法、装置及***
CN112270429A (zh) 基于云边协同的动力电池极片制造设备维护方法和***
CN109087281A (zh) 显示屏***电路检测方法、装置、电子设备及存储介质
US11562227B2 (en) Interactive assistant
CN110751055A (zh) 一种智能制造***
CN112801951A (zh) 目标部件的损伤检测方法、装置、设备及存储介质
CN109740191B (zh) 风传感器剩余使用寿命的预测方法、装置及设备
Lee et al. Development of edge-based deep learning prediction model for defect prediction in manufacturing process
CN115294047A (zh) 一种缺陷检测方法、装置、检测设备和存储介质
CN110413482B (zh) 检测方法和装置
CN114039279A (zh) 轨道交通站内的控制柜监控方法及***
US20210183035A1 (en) Method for manufacturing a product
US20200074828A1 (en) Technologies for managing safety at industrial sites
CN114661003A (zh) 基于边缘计算的生产方法、边缘计算设备、工站及***
CN110287640B (zh) 照明设备的寿命预估方法、装置、存储介质及电子设备
Kotov et al. Hardware and information system for the recording of the working time of universal metal-working machines

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination