CN111325735A - 基于深度学习的航空发动机保险状态检测方法 - Google Patents

基于深度学习的航空发动机保险状态检测方法 Download PDF

Info

Publication number
CN111325735A
CN111325735A CN202010117406.3A CN202010117406A CN111325735A CN 111325735 A CN111325735 A CN 111325735A CN 202010117406 A CN202010117406 A CN 202010117406A CN 111325735 A CN111325735 A CN 111325735A
Authority
CN
China
Prior art keywords
deep learning
insurance state
engine
insurance
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010117406.3A
Other languages
English (en)
Inventor
郑会龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Cezhicheng Technology Co ltd
Original Assignee
Hangzhou Cezhicheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Cezhicheng Technology Co ltd filed Critical Hangzhou Cezhicheng Technology Co ltd
Priority to CN202010117406.3A priority Critical patent/CN111325735A/zh
Publication of CN111325735A publication Critical patent/CN111325735A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的航空发动机保险状态检测方法，本发明提供了一种基于深度学习的航空发动机保险状态检测方法，即识别图片中的保险丝、签封、螺母，并判断螺母受保险丝牵引受力方向等属性，判断保险状态是否合格。在获取图片后，通过深度学习模型，进行特征提取、目标定位和分类、目标轮廓切割、属性特征提取、属性判断，并定制化输出结果。本发明改变了传统的依靠人工进行检测并手动进行记录的方法，能够大幅度提高航空保险状态检测的准确率和效率，同时能够将是识别照片进行集中保存，便于后期对其进行查证。

Description

基于深度学习的航空发动机保险状态检测方法
技术领域
本发明属于计算机视觉领域，具体地设计一种基于深度学习的航空发动机保险状态检测方法。
背景技术
航空发动机保险状态的检测记录过程是航空飞机组装过程中必不可少的一部分，航空制造领域对安全，可靠性有极高要求。航空发动机是航空飞行设备的关键性部件，必须做好检测和记录工作。现有的检测过程中，一般采用工人人工检测的方式。传统的识别过程有如下几个方面弊端：
(1)、依靠工人检测的方式，操作非常繁琐、存在错误判断的隐患，且无法保证记录信息的可靠性。
(2)、人工记录只有关于航空发动机保险状态的文字信息，并不能在不测量的情况下获得具体的角度、方向、位置等参数，难以给检测提供精确数据。
(3)、传统的检测过程效率较低。
发明内容
本发明的目的是为了解决以上现有技术的不足，提出了一种基于深度学习的航空发动机保险状态检测方法，包括夹持摄像机的机械臂设备、摄像机和运行着深度学习算法模型的电子设备，具体包含如下的步骤：
S1:模型预训练
利用大量航空发动机保险状态图片和针对图片进行的标注内容，对深度学习模型进行训练；
S2:获取航空发动机保险状态图片
通过机械臂夹持的摄像装备进行发动机保险状态图片拍摄；
S3:特征提取
利用深度学习网络在整体图片上进行特征提取；
S4:目标定位和分类
根据提取出来的特征，用长方形框确定出目标物体(包括保险丝、签封、螺母等)的大致位置，并且判断出类别；
S5:目标轮廓切割
根据提取出来的特征，位置和类别信息，提取出目标物体的轮廓信息；
S6:属性特征提取
根据目标物体的类别、轮廓信息，结合原图片进行属性特征的提取；
S7:属性判断
根据属性特征，综合物***置、缠绕方向、物体排列空间顺序等多种因素，对目标物体的具体属性，比如螺母受保险丝牵引的受力方向判断等，进行判断；
S8:定制化输出结果
综合所有信息，归纳出保险状态结果，对结果处理之后输出到终端设备。
进一步地，利用机械臂夹持的摄影设备对航天发动机保险状态进行拍照。
更进一步地，使用所述检测模型返回多种不同尺度的特征图数据。
更进一步地，使用训练好的深度学习目标检测模型检测航空发动机上目标物体的坐标、类别和轮廓。
更进一步地，在使用所述检测模型中，提取属性特征，并进行属性特征判断。
更进一步地，在使用所述检测模型中，会根据图片上目标物体的多重属性判断保险状态，并定制化输出结果。
有益效果：1、本发明通过摄影设备采集图片，通过深度学习算法进行识别判断，并对图像数据和识别数据进行集中保存，改变了传统的依靠人工进行识别并手动进行记录的方法，能够大幅度提高航空保险状态检测的准确率和效率，便于后期对其进行查证，进一步保证数据的准确性；2、相比传统的网络，本发明中用局部特征和整体特征相结合进行属性判断，对于保险状态类的属性判断是极其特异化的，它综合物***置、缠绕方向、物体排列空间顺序等多种因素进行判断识别，判断的可靠性较高。3、本发明中无需大量调整参数，只需要工程人员去维护一个通过深度学习技术训练出来的模型文件，增加新数据时，只需将新增的数据加入模型重新训练模型，然后更新模型文件即可
附图说明
图1是本发明方法流程图；
图2是带有FPN结构的Resnet整体结构图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种基于深度学习的航空发动机保险状态检测方法，包括以下步骤：
在本发明实例中，需要进行模型预训练。在模型预训练时期，通过摄像机设备进行发动机保险状态图片拍摄，收集大量航空发动机保险状态数据。利用大量航空发动机保险状态图片和针对图片制作的样本描述文件，对深度学习模型进行训练，构建起保险状态检测识别模型。将数据送入神经网络训练之前，进行数据预处理操作，即数据审核、筛选、数据增强，和归一化等必要操作。
在本发明实例中，在应用过程中，需要先获取航空发动机保险状态图片，通过摄像机设备进行发动机保险状态图片拍摄。
在本发明实例中，选用Mask-RCNN作为识别目标物***置、分类和轮廓的基本检测框架。所述Mask-RCNN检测框架，其中特征提取部分的卷积层采用带有FPN结构的Resnet-101网络。共有卷积层112层，Batch-Normalization层104层。带有FPN结构的Resnet-101网络会对文字图片进行卷积运算，生成五层特征图，流程图见图2。
选用带有FPN结构的Resnet-101，因为它具有优秀的残差网络结构，可以在很小计算量下得到更好的准确率。同时FPN结构，保证了面积过大或过小的目标物体都能够被检测到，不会遗漏。
在本发明实例中，Region Proposal Networks(RPN)生成检测框anchor，遍历检测框内的特征图，产生目标物体的大致位置信息。
在本发明实例中，box网络和mask网络，用来生成目标物体的具***置和轮廓信息，并判断。
在本发明实例中，航空发动机保险状态检测模型，属性网络用于综合以上获得的检测物体类别、位置、掩码等信息，和全图特征信息相结合，形成局部信息和全图信息两个数据流，进入深度学习属性判断网络，最终获得属性判断信息。其中属性网络是为保险状态检测，而定制化构建的网络。
在本发明实例中，航空发动机保险状态检测模型，用smooth_l1_loss作为回归损失函数，用cross_entropy作为分类损失函数。
获取识别结果，对结果处理之后输出到终端设备。
本实例引进深度学习AI算法到图象处理中进行航空发动机保险状态检测，大幅度提高了航空发动机保险状态检测的效率，降低了识别的错误率。无需大量调参。只需要工程人员去维护一个通过深度学习技术训练出来的模型文件，增加新数据时，只需将新增的数据加入模型重新训练模型，然后更新模型文件即可。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于深度学习的航空发动机保险状态检测方法，其特征在于，包括夹持摄像机的机械臂设备、摄像机和运行着深度学习算法模型的电子设备，具体包含如下的步骤：
S1:模型预训练
利用大量航空发动机保险状态图片和针对图片进行的标注内容，对深度学习模型进行训练；
S2:获取航空发动机保险状态图片
通过机械臂夹持的摄像装备进行发动机保险状态图片拍摄；
S3:特征提取
利用深度学习网络在整体图片上进行特征提取；
S4:目标定位和分类
根据提取出来的特征，用长方形框确定出目标物体(包括保险丝、签封、螺母等)的大致位置，并且判断出类别；
S5:目标轮廓切割
根据提取出来的特征，位置和类别信息，提取出目标物体的轮廓信息；
S6:属性特征提取
根据目标物体的类别、轮廓信息，结合原图片进行属性特征的提取；
S7:属性判断
根据属性特征，综合物***置、缠绕方向、物体排列空间顺序等多种因素，对目标物体的具体属性，比如螺母受保险丝牵引的受力方向判断等，进行判断；
S8:定制化输出结果
综合所有信息，归纳出保险状态结果，对结果处理之后输出到终端设备。
2.根据权利要求1所述的一种基于深度学习的航空发动机保险状态检测方法，其特征在于，利用机械臂夹持的摄影设备对航天发动机保险状态进行拍照。
3.根据权利要求1所述的基于深度学习的航空发动机保险状态检测方法，其特征在于，使用所述检测模型返回多种不同尺度的特征图数据。
4.根据权利要求1所述的基于深度学习的航空发动机保险状态检测方法，其特征在于，使用训练好的深度学习目标检测模型检测航空发动机上目标物体的坐标、类别和轮廓。
5.根据权利要求1所述的基于深度学习的航空发动机保险状态检测方法，其特征在于，在使用所述检测模型中，提取属性特征，并进行属性特征判断。
6.根据权利要求1所述的基于深度学习的航空发动机保险状态检测方法，其特征在于，在使用所述检测模型中，会根据图片上目标物体的多重属性判断保险状态，并定制化输出结果。
CN202010117406.3A 2020-02-25 2020-02-25 基于深度学习的航空发动机保险状态检测方法 Pending CN111325735A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010117406.3A CN111325735A (zh) 2020-02-25 2020-02-25 基于深度学习的航空发动机保险状态检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010117406.3A CN111325735A (zh) 2020-02-25 2020-02-25 基于深度学习的航空发动机保险状态检测方法

Publications (1)

Publication Number Publication Date
CN111325735A true CN111325735A (zh) 2020-06-23

Family

ID=71171112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010117406.3A Pending CN111325735A (zh) 2020-02-25 2020-02-25 基于深度学习的航空发动机保险状态检测方法

Country Status (1)

Country Link
CN (1) CN111325735A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576635A (zh) * 2024-01-17 2024-02-20 中国石油集团川庆钻探工程有限公司 一种视频识别中线状目标张紧状态的判定方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070031207A1 (en) * 2005-08-04 2007-02-08 Amir Rosenbaum Lockwire header bolts
CN101263499A (zh) * 2005-07-11 2008-09-10 布鲁克斯自动化公司 智能状态监测和故障诊断***
CN101619683A (zh) * 2008-07-03 2010-01-06 通用汽车环球科技运作公司 点火线圈模块熔丝诊断
CN109086656A (zh) * 2018-06-06 2018-12-25 平安科技（深圳）有限公司 机场异物检测方法、装置、计算机设备及存储介质
CN109767497A (zh) * 2018-12-21 2019-05-17 杭州测质成科技有限公司 一种自动检测航空叶片表面质量的检测方法
WO2019144337A1 (zh) * 2018-01-25 2019-08-01 大连理工大学 一种基于深度学习算法的航空发动机全包线模型自适应修正方法
CN110243405A (zh) * 2019-06-25 2019-09-17 东北大学 一种基于深度学习的航空发动机传感器故障诊断方法
CN110716520A (zh) * 2019-10-29 2020-01-21 中国航空工业集团公司西安飞行自动控制研究所 基于多源信息融合的飞控伺服作动器可靠性评估建模方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101263499A (zh) * 2005-07-11 2008-09-10 布鲁克斯自动化公司 智能状态监测和故障诊断***
US20070031207A1 (en) * 2005-08-04 2007-02-08 Amir Rosenbaum Lockwire header bolts
CN101619683A (zh) * 2008-07-03 2010-01-06 通用汽车环球科技运作公司 点火线圈模块熔丝诊断
WO2019144337A1 (zh) * 2018-01-25 2019-08-01 大连理工大学 一种基于深度学习算法的航空发动机全包线模型自适应修正方法
CN109086656A (zh) * 2018-06-06 2018-12-25 平安科技（深圳）有限公司 机场异物检测方法、装置、计算机设备及存储介质
CN109767497A (zh) * 2018-12-21 2019-05-17 杭州测质成科技有限公司 一种自动检测航空叶片表面质量的检测方法
CN110243405A (zh) * 2019-06-25 2019-09-17 东北大学 一种基于深度学习的航空发动机传感器故障诊断方法
CN110716520A (zh) * 2019-10-29 2020-01-21 中国航空工业集团公司西安飞行自动控制研究所 基于多源信息融合的飞控伺服作动器可靠性评估建模方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙军华 等: "Automatic Twining Direction Recognition of Lockwire on Engine" *
罗毅等: "基于多摄像头的汽车保险丝盒检测与装配方法" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576635A (zh) * 2024-01-17 2024-02-20 中国石油集团川庆钻探工程有限公司 一种视频识别中线状目标张紧状态的判定方法
CN117576635B (zh) * 2024-01-17 2024-03-29 中国石油集团川庆钻探工程有限公司 一种视频识别中线状目标张紧状态的判定方法

Similar Documents

Publication Publication Date Title
CN110197146B (zh) 基于深度学习的人脸图像分析方法、电子装置及存储介质
CN112581430A (zh) 一种基于深度学习的航空发动机无损检测方法、装置、设备及存储介质
CN112926405A (zh) 一种安全帽佩戴检测方法、***、设备及存储介质
CN113361354B (zh) 轨道部件巡检方法、装置、计算机设备和存储介质
CN111860277B (zh) 基于颜色直方图特征的民航飞机空速管套安全警示方法
CN112613569B (zh) 图像识别方法、图像分类模型的训练方法及装置
CN116071836B (zh) 基于深度学习的船员异常行为检测与身份识别方法
CN116503318A (zh) 一种融合CAT-BiFPN与注意力机制的航拍绝缘子多缺陷检测方法、***及设备
CN111815576B (zh) 金属部件腐蚀状况检测方法、装置、设备和存储介质
CN115063584A (zh) 基于深度学习的管道蒸汽泄漏检测方法及检测***
CN113906436A (zh) 用于探测烟雾的方法和设备
CN115019294A (zh) 一种指针式仪表读数识别方法及***
CN111832616A (zh) 利用多类深度表示图的遥感图像飞机型号识别方法及***
CN111325735A (zh) 基于深度学习的航空发动机保险状态检测方法
CN114565780A (zh) 一种目标识别方法、装置、电子设备及存储介质
CN116758493B (zh) 基于图像处理的隧道施工监测方法、装置及可读存储介质
CN116934696A (zh) 一种基于YOLOv7-Tiny模型改进的工业PCB缺陷检测方法及其装置
CN110826473A (zh) 一种基于神经网络的绝缘子图像自动识别方法
CN111401142A (zh) 基于深度学习的航空发动机叶片金属表面蚀刻字符识别方法
CN106846527B (zh) 一种基于人脸识别的考勤***
CN115719428A (zh) 基于分类模型的人脸图像聚类方法、装置、设备及介质
CN114708582A (zh) 基于ai和rpa的电力数据智慧稽查方法及装置
CN115620083A (zh) 模型训练方法、人脸图像质量评价方法、设备及介质
CN115410035A (zh) 基于监控视频的空中交通管制员不安全行为分类方法
CN113326951A (zh) 一种飞行器外表口盖螺钉辅助检测装置及其使用方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination