CN114104334B - 一种基于运动小车自动图像识别方式的飞机检查方法 - Google Patents

Abstract

一种基于运动小车自动图像识别方式的飞机检查方法。其包括构建飞机检查***；运动小车环绕待检测飞机移动360°；确定数据采集点位；采集点位图像信息源；排查故障或安全隐患；直至全部数据采集点位检查完毕等步骤。本发明提供的基于运动小车自动图像识别方式的飞机检查方法具有如下有益效果：运动小车负载能力较强，可承载所需的机载巡检设备且所需成本较低。因此可满足机场净空保护区要求，自地面完成所需的飞机巡检任务。利用自动图像识别技术结合大数据分析技术，可提高维护巡视人员发现、分析设备异常问题的水平。

Description

一种基于运动小车自动图像识别方式的飞机检查方法

技术领域

本发明属于飞机维护巡检和维修检查技术领域，特别是涉及一种基于运动小车自动图像识别方式的飞机检查方法。

背景技术

随着航空产业的高速发展，飞机维护巡检与维修检查方法日益完善，巡检设备专业化、自动化水平逐步提高，自动化逐渐代替了传统的人工作业方式，更加智能便捷的自动化维护巡检与维修检查方法成为当前主要发展方向。智能巡检从早期的信息提取和人工分析判断，已逐步迈向智能化***分析辅助人工判断的阶段，凭借大量的数据分析与深度学习，能帮助巡检人员做出更加及时、准确、***的判断。其中，自动图像识别技术就是一种极为便捷的有效手段，是人工智能的一个重要领域。

日常巡检可及时准确地掌握设备运行状况，尽早发现设备所存在的故障及安全隐患，有效保证设备安全可靠运行。

目前，现有维护巡检与维修检查方法所用设备多为无人机，由技术人员根据经验规划巡检航线，并使无人机通过机载巡检设备按照所规划的巡检航线进行巡检，及时解决巡检发现的问题，并同步上传到后台服务器或数据终端进行备份。

但上述技术存在如下技术问题：

无人机普遍负载能力较弱，承载过重的机载巡检设备所需成本过高。且机场附近是限制区域，机场跑道每端延长线15公里和机场跑道每侧6公里范围是净空保护区，严禁升放“低慢小”飞行器，因此在检修飞机时不宜使用无人机等飞行器类型设备。

发明内容

为了解决上述问题，本发明的目的在于提供一种基于运动小车自动图像识别方式的飞机检查方法。

为了达到上述目的，本发明提供的基于运动小车自动图像识别方式的飞机检查方法包括按顺序进行的下列步骤：

1)构建飞机检查***，所述飞机检查***包括用于飞机维护巡检与维修检查的管理平台、运动小车、自动升降导轨、二自由度云台、运动轨迹记录仪和图像记录仪；其中自动升降导轨的下端固定在运动小车上；二自由度云台安装在自动升降导轨的上端；运动轨迹记录仪和图像记录仪分别安装在运动小车和二自由度云台上；管理平台分别与运动小车、自动升降导轨、二自由度云台、运动轨迹记录仪和图像记录仪无线连接；

2)在管理平台的控制下，运动小车环绕待检测飞机的外轮廓移动360°，移动同时利用运动轨迹记录仪实时记录运动小车的行驶轨迹，并上传至管理平台；

3)技术人员在管理平台上根据任务需求在上述行驶轨迹上确定出多个用于维修/维护检查的数据采集点位，然后管理平台自动规划出运动小车的运动轨迹并发送运动轨迹指令给运动小车；

4)运动小车依据上述运动轨迹指令先移动到起始数据采集点位，然后通过自动升降导轨和二自由度云台调整图像记录仪的高度和角度，之后利用图像记录仪从不同高度和角度采集待检测飞机的图像，获得起始数据采集点位的图像信息源并上传至管理平台；

5)管理平台自动或采用人工方式依据上述起始数据采集点位的图像信息源排查从该点位观测到的待检测飞机上的故障或安全隐患；

6)运动小车依据所规划的运动轨迹，依次移动到剩余数据采集点位，然后重复步骤4)—步骤5)，获得剩余数据采集点位的图像信息源，直至全部数据采集点位检查完毕。

在步骤1)中，所述管理平台采用AT89C52单片机作为控制芯片,电路主要包括：单片机电源电路、时钟电路、复位电路、降压模块、步进电机驱动器。

在步骤3)中，所述管理平台自动规划出运动小车的运动轨迹的方法是：

将行驶轨迹上的飞机巡检维修数据存入管理平台的数据库，建立飞机个体的维护巡检与维修检查模型，之后将飞机巡检维修数据输入维护巡检与维修检查模型，维护巡检与维修检查模型的输出即为故障及安全隐患高发的维修点位、重要部位，最后将这些维修点位、重要部位作为数据采集点位。

在步骤4)中，所述运动小车依据上述运动轨迹指令先移动到起始数据采集点位，然后通过自动升降导轨和二自由度云台调整图像记录仪的高度和角度，之后利用图像记录仪从不同高度和角度采集待检测飞机的图像，获得起始数据采集点位的图像信息源的方法是：

4.1)运动小车依据运动轨迹指令，利用运动轨迹记录仪自带的导航运动功能，移动到起始数据采集点位，停止运动小车的移动；

4.2)在管理平台的控制下，自动升降导轨进行升降运动，直至图像记录仪达到预先设定的低位、中位和高位中的某一高度位置，停止自动升降导轨的运行；

4.3)在管理平台的控制下，二自由度云台进行水平转动和垂直翻转，当图像记录仪处于低位、中位和高位时，二自由度云台分别转动至仰视、平视和俯视状态，并且图像记录仪上的镜头对准待检测飞机，停止二自由度云台的运行；

4.4)利用图像记录仪从所处高度及角度采集待检测飞机的多张低位仰拍、中位平拍或高位俯拍图像，并传送管理平台；

4.5)在管理平台的控制下，自动升降导轨进行升降运动，直至图像记录仪达到另一个高度位置，重复步骤4.3)—4.4)；

4.6)在管理平台的控制下，自动升降导轨进行升降运动，直至图像记录仪达到最后一个高度位置，重复步骤4.3)—4.4)；

4.7)由所有低位仰拍、中位平拍和高位俯拍图像构成起始数据采集点位的图像信息源。

在步骤5)中，管理平台自动或采用人工方式依据上述起始数据采集点位的图像信息源排查从该点位观测到的待检测飞机上的故障或安全隐患的方法是：

5.1)管理平台自动或采用人工方式对起始数据采集点位的图像信息源中所含信息进行信度和效度分析，以判断该图像信息源的可靠性和正确性；

5.2)将图像信息源中的相关参数与预先设定的阈值进行比对，如果超过阈值，判定为从该点位所观测到的飞机零部件存在故障或安全隐患，及时通过管理平台向机务组报备进行检修；

5.3)如果不存在故障或安全隐患，则该点位巡检维修工作完成。

本发明提供的基于运动小车自动图像识别方式的飞机检查方法具有如下有益效果：运动小车负载能力较强，可承载所需的机载巡检设备且所需成本较低。因此可满足机场净空保护区要求，自地面完成所需的飞机巡检任务。利用自动图像识别技术结合大数据分析技术，可提高维护巡视人员发现、分析设备异常问题的水平。

附图说明

图1为本发明提供的基于运动小车自动图像识别方式的飞机检查方法流程图。

图2为采用本发明提供的基于运动小车自动图像识别方式的飞机检查方法时工作流程示意图；

图3为采用本发明提供的基于运动小车自动图像识别方式的飞机检查方法时某一数据采集点位低位仰拍、中位平拍、高位俯拍效果示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

如图1至图3所示，本发明提供的基于运动小车自动图像识别方式的飞机检查方法包括按顺序进行的下列步骤：

1)构建飞机检查***，所述飞机检查***包括用于飞机维护巡检与维修检查的管理平台、运动小车1、自动升降导轨2、二自由度云台3、运动轨迹记录仪4和图像记录仪5；其中自动升降导轨2的下端固定在运动小车1上；二自由度云台3安装在自动升降导轨2的上端；运动轨迹记录仪4和图像记录仪5分别安装在运动小车1和二自由度云台3上；管理平台分别与运动小车1、自动升降导轨2、二自由度云台3、运动轨迹记录仪4和图像记录仪5无线连接。

所述管理平台采用AT89C52单片机作为控制芯片,电路主要包括：单片机电源电路、时钟电路、复位电路、降压模块、步进电机驱动器。其中各部分的功能如下：(1)单片机电源电路：给单片机提供5V电源、为电路提供逻辑电压；(2)时钟电路：给单片机提供一个12.0592MHz的晶振；(3)复位电路：用于手动复位；(4)降压模块：24V转6V为舵机提供电压；(5)步进电机驱动器：驱动57步进电机。舵机的驱动方式是PWM，单片机输出不同脉冲宽度的PWM信号来控制舵机的位置，DS3230舵机脉宽范围是0.5ms—2.5ms,当输入的脉宽为0.5ms、1.5ms、2.5ms时，舵机位置分别为0、90、180度。单片机通过端口P0.6，PO.7输出PWM信号，分别用于控制舵机1(水平旋转舵机)，舵机2上下翻转舵机。57两相四线步进电机采用DM542驱动器进行驱动。单片机的P2.3提供脉冲信号，占空比50％，频率1000Hz。P2.4提供方向信号，高低电平分别对应正反转。

2)在管理平台的控制下，运动小车1环绕待检测飞机6的外轮廓移动360°，移动同时利用运动轨迹记录仪4实时记录运动小车1的行驶轨迹，并上传至管理平台；

如图2所示，本发明中，所述待检测飞机6为波音747飞机。

3)技术人员在管理平台上根据任务需求在上述行驶轨迹上确定出多个用于维修/维护检查的数据采集点位，然后管理平台自动规划出运动小车1的运动轨迹并发送运动轨迹指令给运动小车1；

所述管理平台自动规划出运动小车1的运动轨迹的方法是：

将大量的飞机巡检维修数据存入管理平台的数据库，建立飞机个体的维护巡检与维修检查模型，所述维护巡检与维修检查模型基于神经网络构建而成并利用上述飞机巡检维修数据进行训练，之后将行驶轨迹上的飞机巡检维修数据输入训练后的维护巡检与维修检查模型，该维护巡检与维修检查模型的输出即为故障及安全隐患高发的维修点位、重要部位，最后将这些维修点位、重要部位作为数据采集点位。

所述数据采集点位的数量可变，本发明中共选择六个，分别为1号至6号数据采集点位。

4)运动小车1依据上述运动轨迹指令先移动到起始数据采集点位，然后通过自动升降导轨2和二自由度云台3调整图像记录仪5的高度和角度，之后利用图像记录仪5从不同高度和角度采集待检测飞机6的图像，获得起始数据采集点位的图像信息源并上传至管理平台；

本发明中将1号数据采集点位作为起始数据采集点位。图2中深色箭头表示运动小车1沿运动轨迹的移动方向，浅色箭头表示运动小车1在相应数据采集点位采集的图像效果。

具体方法是：

4.1)运动小车1依据运动轨迹指令，利用运动轨迹记录仪4自带的导航运动功能，移动到起始数据采集点位，停止运动小车1的移动；

4.2)如图3所示，在管理平台的控制下，自动升降导轨2进行升降运动，直至图像记录仪5达到预先设定的低位、中位和高位中的某一高度位置，停止自动升降导轨2的运行；

图3中位于上侧的自动升降导轨2处于低位，位于中间的自动升降导轨2处于中位，位于下侧的自动升降导轨2处于高位；

4.3)在管理平台的控制下，二自由度云台3进行水平转动和垂直翻转，当图像记录仪5处于低位、中位和高位时，二自由度云台3分别转动至仰视、平视和俯视状态，并且图像记录仪5上的镜头对准待检测飞机6，停止二自由度云台3的运行；

图3中位于上侧的自动升降导轨2处于仰视状态，位于中间的自动升降导轨2处于平视状态，位于下侧的自动升降导轨2处于俯视状态。

4.4)利用图像记录仪5采集该高度位置的待检测飞机6的多张低位仰拍、中位平拍或高位俯拍图像，并传送管理平台；

4.5)在管理平台的控制下，自动升降导轨2进行升降运动，直至图像记录仪5达到另一个高度位置，重复步骤4.3)—4.4)；

4.6)在管理平台的控制下，自动升降导轨2进行升降运动，直至图像记录仪5达到最后一个高度位置，重复步骤4.3)—4.4)；

4.7)由所有低位仰拍、中位平拍和高位俯拍图像构成起始数据采集点位的图像信息源。

5)管理平台自动或采用人工方式依据上述起始数据采集点位的图像信息源排查从该点位观测到的待检测飞机6上的故障或安全隐患；

具体方法是：

5.1)管理平台自动或采用人工方式对起始数据采集点位的图像信息源中所含信息进行信度和效度分析，以判断该图像信息源的可靠性和正确性；

所述信度是检测采集样本是否在预定对于样本要求范围区间内的值，即它反映了采集样本的可靠度、可信度。所述效度是指采集样本的准确度，即测量值与实际值的误差大小。根据管理平台对所需图像的需求，设定一预定信度与效度阈值，对所述起始数据采集点位所采集的图像信息源进行信度和效度评估，获得所述图像信息源的信度和效度信息。

所述信度和效度的评判标准包括图像亮度时，则设定一亮度预定阈值，当所述图像记录仪5采集的图像亮度不能满足所述亮度预定阈值时，则表明所述起始数据采集点位的图像信息源的信度和效度信息不能满足所述预定阈值，需要重新进行图像采集。当所述起始数据采集点位的图像信息源的信度和效度信息大于所述预定阈值时，则表明所述图像样本可作为进一步评判所述设备的图像，则继续对所述图像信息源进行巡检维修检测。通过图像的信度和效度进行检测，保证了采集图像的信息有效性，为后续图像的分析处理的准确性奠定了坚实的基础。当所述起始数据采集点位的图像信息源的信度和效度小于等于所述预定阈值时，表明所述采集的图像存在一定的问题，则此时所采集的图像不能作为评判所述起始数据采集点位的样本图像，此时需获得采集指令，调整上述不符合样本采集置信度部分的采集参数，重新对所述起始数据采集点位进行图像采集，以保证后续对于所述起始数据采集点位的准确的析。

5.2)将图像信息源中的相关参数与预先设定的阈值进行比对，如果超过阈值，判定为从该点位所观测到的飞机零部件存在故障或安全隐患，及时通过管理平台向机务组报备进行检修；

所述判定是否存在故障或安全隐患，通过提取图像记录仪5在起始数据采集点位所获得的相关巡检情况信息，借助管理平台所具备的机器学***台的使用人员以平台所存储的过往维修内容作为参考资料，以平台人工智能根据大数据测算出的处理结果为参考意见，对可疑目标进行人工检查，机器辅助巡检人员进行所述起始数据采集点位的隐患排查和维护，将确认的故障处报备至维修中心，由维修中心指派专业机务人员进行维修。利用图像识别技术结合大数据分析处理技术，可提高飞机维护巡检与维修检查的效率和准确度，提高巡检维修人员发现、解决异常问题的能力。

5.3)如果不存在故障或安全隐患，则该点位巡检维修工作完成。

6)运动小车1依据所规划的运动轨迹，依次移动到剩余数据采集点位，然后重复步骤4)—步骤5)，获得剩余数据采集点位的图像信息源，直至全部数据采集点位检查完毕。

Claims (2)

1.一种基于运动小车自动图像识别方式的飞机检查方法，其特征在于：所述飞机检查方法包括按顺序进行的下列步骤：

1)构建飞机检查***，所述飞机检查***包括用于飞机维护巡检与维修检查的管理平台、运动小车(1)、自动升降导轨(2)、二自由度云台(3)、运动轨迹记录仪(4)和图像记录仪(5)；其中自动升降导轨(2)的下端固定在运动小车(1)上；二自由度云台(3)安装在自动升降导轨(2)的上端；运动轨迹记录仪(4)和图像记录仪(5)分别安装在运动小车(1)和二自由度云台(3)上；管理平台分别与运动小车(1)、自动升降导轨(2)、二自由度云台(3)、运动轨迹记录仪(4)和图像记录仪(5)无线连接；

2)在管理平台的控制下，运动小车(1)环绕待检测飞机(6)的外轮廓移动360°，移动同时利用运动轨迹记录仪(4)实时记录运动小车(1)的行驶轨迹，并上传至管理平台；

3)技术人员在管理平台上根据任务需求在上述行驶轨迹上确定出多个用于维修/维护检查的数据采集点位，然后管理平台自动规划出运动小车(1)的运动轨迹并发送运动轨迹指令给运动小车(1)；

4)运动小车(1)依据上述运动轨迹指令先移动到起始数据采集点位，然后通过自动升降导轨(2)和二自由度云台(3)调整图像记录仪(5)的高度和角度，之后利用图像记录仪(5)从不同高度和角度采集待检测飞机(6)的图像，获得起始数据采集点位的图像信息源并上传至管理平台；

5)管理平台自动或采用人工方式依据上述起始数据采集点位的图像信息源排查从该点位观测到的待检测飞机(6)上的故障或安全隐患；

6)运动小车(1)依据所规划的运动轨迹，依次移动到剩余数据采集点位，然后重复步骤4)—步骤5)，获得剩余数据采集点位的图像信息源，直至全部数据采集点位检查完毕；

在步骤3)中，所述管理平台自动规划出运动小车(1)的运动轨迹的方法是：

将行驶轨迹上的飞机巡检维修数据存入管理平台的数据库，建立飞机个体的维护巡检与维修检查模型，之后将飞机巡检维修数据输入维护巡检与维修检查模型，维护巡检与维修检查模型的输出即为故障及安全隐患高发的维修点位、重要部位，最后将这些维修点位、重要部位作为数据采集点位；

在步骤4)中，所述运动小车(1)依据上述运动轨迹指令先移动到起始数据采集点位，然后通过自动升降导轨(2)和二自由度云台(3)调整图像记录仪(5)的高度和角度，之后利用图像记录仪(5)从不同高度和角度采集待检测飞机(6)的图像，获得起始数据采集点位的图像信息源的方法是：

4.1)运动小车(1)依据运动轨迹指令，利用运动轨迹记录仪(4)自带的导航运动功能，移动到起始数据采集点位，停止运动小车(1)的移动；

4.2)在管理平台的控制下，自动升降导轨(2)进行升降运动，直至图像记录仪(5)达到预先设定的低位、中位和高位中的某一高度位置，停止自动升降导轨(2)的运行；

4.3)在管理平台的控制下，二自由度云台(3)进行水平转动和垂直翻转，当图像记录仪(5)处于低位、中位和高位时，二自由度云台(3)分别转动至仰视、平视和俯视状态，并且图像记录仪(5)上的镜头对准待检测飞机(6)，停止二自由度云台(3)的运行；

4.4)利用图像记录仪(5)从所处高度及角度采集待检测飞机(6)的多张低位仰拍、中位平拍或高位俯拍图像，并传送管理平台；

4.5)在管理平台的控制下，自动升降导轨(2)进行升降运动，直至图像记录仪(5)达到另一个高度位置，重复步骤4.3)—4.4)；

4.6)在管理平台的控制下，自动升降导轨(2)进行升降运动，直至图像记录仪(5)达到最后一个高度位置，重复步骤4.3)—4.4)；

4.7)由所有低位仰拍、中位平拍和高位俯拍图像构成起始数据采集点位的图像信息源；

在步骤5)中，管理平台自动或采用人工方式依据上述起始数据采集点位的图像信息源排查从该点位观测到的待检测飞机(6)上的故障或安全隐患的方法是：

5.1)管理平台自动或采用人工方式对起始数据采集点位的图像信息源中所含信息进行信度和效度分析，以判断该图像信息源的可靠性和正确性；

5.2)将图像信息源中的相关参数与预先设定的阈值进行比对，如果超过阈值，判定为从该点位所观测到的飞机零部件存在故障或安全隐患，及时通过管理平台向机务组报备进行检修；

5.3)如果不存在故障或安全隐患，则该点位巡检维修工作完成。

2.根据权利要求1所述的基于运动小车自动图像识别方式的飞机检查方法，其特征在于：在步骤1)中，所述管理平台采用AT89C52单片机作为控制芯片,电路主要包括：单片机电源电路、时钟电路、复位电路、降压模块、步进电机驱动器。