CN113111704B - 基于深度学习的机场道面病害异物检测方法及*** - Google Patents

基于深度学习的机场道面病害异物检测方法及*** Download PDF

Info

Publication number
CN113111704B
CN113111704B CN202110228059.6A CN202110228059A CN113111704B CN 113111704 B CN113111704 B CN 113111704B CN 202110228059 A CN202110228059 A CN 202110228059A CN 113111704 B CN113111704 B CN 113111704B
Authority
CN
China
Prior art keywords
detection
vehicle
image
workstation
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110228059.6A
Other languages
English (en)
Other versions
CN113111704A (zh
Inventor
郭文彤
方宏远
王念念
钟山
朱锐
陈家将
曹顺林
张高翼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University
Original Assignee
Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University filed Critical Zhengzhou University
Priority to CN202110228059.6A priority Critical patent/CN113111704B/zh
Publication of CN113111704A publication Critical patent/CN113111704A/zh
Application granted granted Critical
Publication of CN113111704B publication Critical patent/CN113111704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的机场道面病害异物检测方法及***，其中方法包括：搭建YOLOv3和Mask RCNN卷积神经网络并设置超参数进行训练；将训练好后的YOLOv3、Mask R‑CNN卷积神经网络分别部署在检测车辆图像识别***和工作站服务器上；第一阶段启用检测车辆图像识别***中YOLOv3目标检测模型对原始采集图像进行初步检测，第二阶段启用工作站中Mask R‑CNN语义分割模型对图像进行二次检测并提取分割后的语义信息，获得图像病害与FOD的详细信息；工作站将最终检测结果上传至用户终端***。本发明提出的基于深度学习的多阶段机场道面病害异物检测方法及***，既能够同时智能检测机场道面病害与异物，又能保证检测精度和效率。

Description

基于深度学习的机场道面病害异物检测方法及***
技术领域
本发明属于机场道面病害异物无损检测技术领域，尤其涉及一种基于深度学习的机场道面病害异物检测方法及***。
背景技术
随着航空科学技术的发展，机场、乘客数量以及飞机班次大幅度增加。由于荷载和环境因素的反复作用，机场道面逐渐出现大量结构病害，严重影响机场的安全运营。裂缝和坑槽作为大多数结构病害的早期表现形式对飞机起降构成极大的安全隐患。FOD(ForeignObject Debris)，是指所有出现在机场跑道上可能损伤飞机，对运行安全造成危害的外来物体。异物一旦被吸入机械装置内，不仅会影响飞机正常运行，更严重的是导致发动机受损，造成重大经济损失，严重危害机上人员的生命安全。
目前机场仍采用以人工巡检为主的道面病害异物检测方法，耗时费力、主观性强且成本高，无法满足机场快速发展的需求。受机场运行要求的制约，只能在夜间进行道面检测，使得机场道面病害异物检测更加困难。
为了弥补人工巡检的不足，雷达探测技术与视频图像识别技术在机场道面病害与FOD检测领域被广泛使用。基于雷达技术的检测方法往往操作困难，而且造价高、精度较低，中小机场难以负担。如今一些特殊的机场对异物检测精度要求达到5mm及以下，主流的毫米波雷达技术完全不能达到这样的精度要求。而目前视频图像技术容易受到夜晚检测环境的影响，且提取的图像数据信息少，容易产生误判。随着计算机视觉技术与深度学习的开发运用，一些学者们基于此开发了各种检测***用于机场道面病害异物检测领域。其中基于传统机器学习的目标检测方法难以保证充分提取图像数据信息，通用性与精度较低；而基于深度学习的目标检测方法又难以同时保证检测精度和检测效率。目前针对机场道面病害和异物检测的方法及***存在智能化与可靠度低、精度低、易造成误判，亦或是难以满足机场实际需求、检测精度与检测效率难以两全，并且不能实现病害与异物同时检测的缺陷与问题。
因此，亟需一种基于深度学习的机场道面病害异物检测方法，既能够按照实际需求同时智能检测机场道面病害与异物，又能保证检测的精度和效率，进而保障机场的正常运行和飞机、乘客的安全。
发明内容
为了解决上述问题，本发明提供一种基于深度学习的机场道面病害异物检测方法及***，既能够按照实际需求同时智能检测机场道面病害与异物，又能保证检测的精度和效率，进而保障机场的正常运行和飞机、乘客的安全。
为了实现上述目的，本发明提供一种基于深度学习的机场道面病害异物检测方法，其步骤包括：
S1：分别优化改进YOLOv3算法和Mask R-CNN算法，搭建YOLOv3和Mask RCNN卷积神经网络并设置超参数进行训练；
S2：将训练好后的YOLOv3、Mask R-CNN卷积神经网络分别部署在检测车辆图像识别***和工作站服务器上；
S3：依据待检测区域环境部署检测车辆，并通过导航定位***规划巡检路径，向检测车辆下发巡检任务；
S4：检测车辆依据规划路径进入待检测区域执行巡检任务；
S5：检测车辆通过图像采集***采集机场道面图像并启用图像识别***上的YOLOv3目标检测模型进行第一阶段检测，并将原采集图像与第一阶段检测结果上传至工作站；
S6：搭载在工作站上的Mask R-CNN语义分割模型对采集图像进行第二阶段检测并提取分割后的语义信息，获得图像病害与FOD的详细信息；
S7：所述车载控制***依据检测车辆任务完成情况判定后续工作；
S8：工作站将最终检测结果上传至用户终端***。
作为上述方案进一步的改进，步骤S5中，检测处理图像方法的步骤包括：
S5.1：所述图像识别***接收检测车辆采集的机场道面和异物图像；
S5.2：所述YOLOv3目标检测模型对步骤S5.1采集的图像进行第一阶段检测；
S5.3：将第一阶段检测结果上传至工作站。
作为上述方案进一步的改进，步骤S6中，检测处理图像的方法步骤包括：
S6.1：工作站接收检测车辆上传的原采集图像以及第一阶段检测结果；
S6.2：工作站上搭建的Mask R-CNN语义分割模型对采集图像进行第二阶段检测；
S6.3：工作站对第二阶段检测结果进行评价，若平均准确度及误差损失值满足要求，则将最终检测结果上传至用户终端***；若不满足要求，则通过所述后台控制***调整并继续进行巡检任务。
作为上述方案进一步的改进，所述YOLOv3目标检测模型采用K-Means算法对机场道面病害和FOD样本进行聚类分析并在原有特征层基础上增加一个尺度特征层，通过对图像识别***中的原采集图像进行第一阶段检测，得到病害与异物的类型，然后通过信息传输***将第一阶段检测结果上传至工作站；所述MaskR-CNN语义分割模型将IoU坐标损失函数替换为DIoU坐标损失函数，采用DIoU-NMS代替非极大值抑制算法对网络进行改进、优化，通过对工作站中第一阶段检测结果和原采集图像进行第二阶段检测，得到病害与异物的详细信息。
本发明还提供一种基于深度学习的多阶段机场道面病害异物检测***，包括：
搭载在检测车辆上的图像采集***、图像识别***、信息传输***和车载控制***；所述图像采集***、图像识别***、信息传输***依次通讯连接；所述图像采集***用于采集机场道面图像；所述图像识别***包括YOLOv3目标检测模型，用于第一阶段检测；信息传输***，用于上传第一阶段检测结果；所述车载控制***与所述图像采集***，用于检测车辆的运动控制、图像采集、初步检测、任务评估和结果传输；
搭载在工作站上的Mask R-CNN语义分割模型，所述Mask R-CNN语义分割模型用于对采集图像进行第二阶段检测并提取分割后的语义信息，获得图像病害与FOD的详细信息；
用户终端***，所述工作站与所述用户终端通讯连接，所述工作站将最终检测结果上传至用户终端***；
后台控制***，用于规划检测车辆巡检任务、实时监控检测车辆运行状况。
作为上述方案进一步的改进，所述检测车辆包括支撑平台、动力平台和移动平台，所述动力平台为移动平台提供动力源，所述支撑平台设置在所述移动平台上，具体的，所述支撑平台由Caesar TSD200金属底盘作为支撑板，所述动力平台由25mm直流碳刷电机提供行车动力，所述移动平台包括行车驾驶仪和中央控制枢纽，具体的，优选ATMEGA2560行车驾驶仪负责检测车辆行驶移动。
作为上述方案进一步的改进，所述图像采集***包括若干高清无缝混合矩阵摄像头。
作为上述方案进一步的改进，所述车载控制***设置在在支撑平台上，并与动力平台、移动平台、图像采集***、图像识别***和信息传输***通信连接。
作为上述方案进一步的改进，所述车载控制***还包括：
导航定位***，用于实现移动平台定位和检测车辆运动控制；
任务评估***，用于判定巡航任务是否完成，决定检测车辆后续工作。
作为上述方案进一步的改进，所述导航定位***包括厘米级高精度差分GPS定位模块，用于获取车辆以及机场道面病害异物的位置信息。
作为上述方案进一步的改进，所述后台控制***包括：
任务管理器，用于规划检测车辆巡检任务，划定作业区域、设定检测车辆速度以及检测时间；
远程控制管理***，与检测车辆、工作站通信连接，用于实时监控检测车辆和所述***运行状况，同时可管理工作站工作并发布任务指令。
作为上述方案进一步的改进，所述后台控制***还包括手持式控制器，所述手持式控制器与检测车辆通信连接，用于远程实时控制检测车辆的运动，以应对突发紧急事件并实现检测人员在特定时刻对于巡航任务的精细化要求。
由于本发明采用了以上技术方案，使本申请具备的有益效果在于：
(1)本发明的一种基于深度学习的多阶段机场道面病害异物检测***，包括：搭载在检测车辆上的图像采集***、图像识别***、信息传输***和车载控制***；所述图像采集***、图像识别***、信息传输***依次通讯连接；所述图像采集***用于采集机场道面图像；所述图像识别***包括YOLOv3目标检测模型，用于第一阶段检测；信息传输***，用于上传第一阶段检测结果；所述车载控制***与所述图像采集***，用于检测车辆的运动控制、图像采集、初步检测、任务评估和结果传输；搭载在工作站上的Mask R-CNN语义分割模型，所述Mask R-CNN语义分割模型用于对采集图像进行第二阶段检测并提取分割后的语义信息，获得图像病害与FOD的详细信息；用户终端***，所述工作站与所述用户终端通讯连接，所述工作站将最终检测结果上传至用户终端***；后台控制***，用于规划检测车辆巡检任务、实时监控检测车辆运行状况，本发明的机场道面病害异物检测***智能便捷，操作简单；适用于以机场道面病害和FOD检测为主的多种工程类型检测，通用性强。
(2)本发明的一种基于深度学习的机场道面病害异物检测方法，第一阶段启用检测车辆图像识别***中YOLOv3目标检测模型对原始采集图像进行初步检测，第二阶段启用工作站中Mask R-CNN语义分割模型对图像进行二次检测，这样既保证了检测的速度，又极大提高了识别的精度。
(4)本发明的一种基于深度学习的机场道面病害异物检测方法，将检测结果汇总上传至用户终端，有利于工作人员全面地把握被检测路径的整体情况，制定更加科学合理的应对措施。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图；
图1为本发明的基于深度学习的机场道面病害异物检测方法的流程图；
图2为本发明的深度学习检测模型原理示意图；
图3为本发明第一阶段YOLOv3目标检测模型原理示意图；
图4为本发明第二阶段Mask R-CNN语义分割模型原理示意图；
图5为本发明的基于深度学习的多阶段机场道面病害异物检测***的整体结构示意图；
图6为本发明检测车辆结构示意图。
具体实施例
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示诸如第一、第二、上、下、左、右、前、后……仅用于解释在某一特定姿态如附图所示下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
以下面结合附图以对本发明作进一步描述:
实施例1：
参照图1，本发明提供一种基于深度学习的机场道面病害异物检测方法，其步骤包括：
S1：分别优化改进YOLOv3算法和Mask R-CNN算法，搭建YOLOv3和Mask RCNN卷积神经网络并设置超参数进行训练；在本实施例中，优化改进算法YOLOv3为采用K-Means算法进行聚类分析并增加尺度特征层数量，优化改进算法MaskR-CNN将IoU坐标损失函数替换为DIoU坐标损失函数，采用DIoU-NMS代替非极大值抑制算法(NMS)。YOLOv3、Mask R-CNN卷积神经网络的构建、训练及测试均是采用8G主内存的服务器，配置有Intel i9的CPU，为了提高网络模型的训练效率，还配置有6G内存的Nvidia 2080TiGPU进行加速。
S2：将训练好后的YOLOv3、Mask R-CNN卷积神经网络分别部署在检测车辆图像识别***和工作站服务器上；在本实施例中，将训练好后的YOLOv3目标检测模型部署在检测车辆树莓派***上，作为检测车辆图像识别***；将训练好后的Mask R-CNN语义分割模型部署在工作站的检测平台上。
S3：依据待检测区域环境部署检测车辆，并通过导航定位***规划巡检路径，向检测车辆下发巡检任务；在本实施例中，根据实际情况部署一定数量的检测车辆，为了实现***规划路径，向检测车辆下发巡检任务，采用基于MAVLink传输协议将检测车辆和上位机软件Mission Planner进行无线连接，进入导航定位***界面进行GPS航线规划，将设置好的航线以JSON格式进行保存，随后将保存的航点数据传入检测车辆中，由遥控装置发送指令即可进行车辆自动巡检。
具体的，工作人员通过所述步骤S3中后台控制***中任务管理器向检测车辆下发巡检任务，并结合导航定位***规划巡检路径、划定作业区域并设定检测车辆行驶速度和检测时间。
S4：检测车辆依据规划路径进入待检测区域执行巡检任务；
S5：检测车辆通过图像采集***采集机场道面图像并启用图像识别***上的YOLOv3目标检测模型进行第一阶段检测，并将原采集图像与第一阶段检测结果上传至工作站；在本实施例中，所述图像识别***接收检测车辆采集的机场道面病害和异物图像，图像识别***上的YOLOv3目标检测模型对采集图像进行第一阶段检测将第一阶段检测结果通过4G LTE模块传输给工作站。
S6：搭载在工作站上的Mask R-CNN语义分割模型对采集图像进行第二阶段检测并提取分割后的语义信息，获得图像病害与FOD的详细信息；在本实施例中，工作站接收检测车辆上传的原采集图像以及第一阶段检测结果，并将其储存在工作站上的MySQL数据库，工作站上搭建的Mask R-CNN语义分割模型对采集图像进行第二阶段检测，工作站对第二阶段检测结果进行评价，若平均准确度及误差损失值满足要求，则将最终检测结果上传至用户终端***；若不满足要求，则通过所述后台控制***调整并继续进行巡检任务。
S7：所述车载控制***依据检测车辆任务完成情况判定后续工作；在本实施例中，所述车载控制***依据检测车辆任务完成情况判定后续工作，若已完成，则检测车辆退出作业区域；若未完成，则继续执行巡检任务；
S8：工作站将最终检测结果上传至用户终端***；在本实施例中，工作站将最终检测结果上传至用户终端***，工作人员可通过用户终端***查看，指导进行下一步维修养护工作；本发明将检测结果汇总上传至用户终端，有利于工作人员全面地把握被检测路径的整体情况，制定更加科学合理的应对措施。
本发明所采用的深度学习检测模型原理参照图2所示：分为YOLOv3目标检测模型和Mask R-CNN语义分割模型。所述YOLOv3目标检测模型采用K-Means算法对机场道面病害和FOD样本进行聚类分析并在原有特征层基础上增加一个104×104尺度特征层，通过对图像识别***中的原采集图像进行第一阶段检测，得到病害与异物的类型，然后通过信息传输***将第一阶段检测结果上传至工作站；所述Mask R-CNN语义分割模型将IoU坐标损失函数替换为DIoU坐标损失函数，采用DIoU-NMS代替非极大值抑制算法对网络进行改进、优化，通过对工作站中第一阶段检测结果和原采集图像进行第二阶段检测，得到病害与异物的详细信息，然后将最终检测结果上传至用户终端***供工作人员查看，这样既保证了检测的速度，又极大提高了识别的精度。
作为优选的实施例，步骤S5中，检测处理图像方法的步骤包括：
S5.1：所述图像识别***接收检测车辆采集的机场道面和异物图像；
S5.2：所述YOLOv3目标检测模型对步骤S5.1采集的图像进行第一阶段检测；所述第一阶段YOLOv3目标检测模型原理参照图3所示，首先将图像采集***采集的病害与异物原图像进行图像裁剪、图像增强、图像标注等预处理措施制作而成训练集；然后使用训练集训练得到YOLOv3目标检测模型，若模型检测精度满足实际要求，则用于机场道面病害异物检测；若不满足要求，则调整模型与图像预处理方式，重新进行训练；
S5.3：将第一阶段检测结果上传至工作站。
作为优选的实施例，步骤S6中，检测处理图像的方法步骤包括：
S6.1：工作站接收检测车辆上传的原采集图像以及第一阶段检测结果；
S6.2：工作站上搭建的Mask R-CNN语义分割模型对采集图像进行第二阶段检测；所述第二阶段Mask R-CNN语义分割模型原理参照图4所示：首先将图像采集***采集的病害与异物原图像进行图像裁剪、图像增强、图像标注等预处理措施制作而成训练集；然后使用训练集训练得到Mask R-CNN语义分割模型，若模型检测精度满足实际要求，则用于机场道面病害异物检测；若不满足要求，则调整模型与图像预处理方式，重新进行训练。
S6.3：工作站对第二阶段检测结果进行评价，若平均准确度及误差损失值满足要求，则将最终检测结果上传至用户终端***；若不满足要求，则通过所述后台控制***调整并继续进行巡检任务。
实施例2：
参照图5，本发明还提供一种基于深度学习的多阶段机场道面病害异物检测***，包括：
搭载在检测车辆上的图像采集***、图像识别***、信息传输***和车载控制***；所述图像采集***、图像识别***、信息传输***依次通讯连接；所述图像采集***用于采集机场道面图像；所述图像识别***包括YOLOv3目标检测模型，用于第一阶段检测；信息传输***，用于上传第一阶段检测结果；所述车载控制***与所述图像采集***，用于检测车辆的运动控制、图像采集、初步检测、任务评估和结果传输；
搭载在工作站上的Mask R-CNN语义分割模型，所述Mask R-CNN语义分割模型用于对采集图像进行第二阶段检测并提取分割后的语义信息，获得图像病害与FOD的详细信息；
用户终端***，所述工作站与所述用户终端通讯连接，所述工作站将最终检测结果上传至用户终端***；
后台控制***，用于规划检测车辆巡检任务、实时监控检测车辆运行状况；
在本实施例中，所述图像采集***包括若干高清无缝混合矩阵摄像头，用于采集图像信息；所述信息传输***包括4G LTE模块，用于上传第一阶段检测结果；所述用户终端***包括网页用户终端***和app用户终端***；
所述图像识别***接收检测车辆采集的机场道面病害和异物图像，图像识别***上的YOLOv3目标检测模型对采集图像进行第一阶段检测将第一阶段检测结果通过4G LTE模块传输给工作站；工作站接收检测车辆上传的原采集图像以及第一阶段检测结果，并将其储存在工作站上的MySQL数据库，工作站上搭建的Mask R-CNN语义分割模型对采集图像进行第二阶段检测，工作站对第二阶段检测结果进行评价，若平均准确度及误差损失值满足要求，则将最终检测结果上传至用户终端***；若不满足要求，则通过所述后台控制***调整并继续进行巡检任务。
作为优选的实施例，参照图6所示，所述检测车辆包括多个硬件模块和软件***，硬件模块包括检测车辆本体，所述检测车辆本体包括支撑平台，动力平台和移动平台。所述支撑平台由Caesar TSD200金属底盘作为支撑板；所述动力平台由25mm直流碳刷电机提供行车动力；所述移动平台由ATMEGA2560行车驾驶仪负责检测车辆行驶移动，由英伟达JETSON NANO作为中央控制枢纽。软件***包括图像采集***，图像识别***和车载控制***；所述车载控制***包括导航定位***和任务评估***，所述任务评估***，用于判定巡航任务是否完成，决定检测车辆后续工作。
作为优选的实施例，所述车载控制***还包括：
导航定位***，用于实现移动平台定位和检测车辆运动控制；
任务评估***，用于判定巡航任务是否完成，决定检测车辆后续工作；
在本实施例中，车载控制***还包括激光雷达，电机驱动板，核心控制器，GPS导航定位装置。
作为优选的实施例，所述导航定位***包括厘米级高精度差分GPS定位模块，用于获取车辆以及机场道面病害异物的位置信息，用于实现移动平台定位和检测车辆运动控制；
作为优选的实施例，所述后台控制***包括：
任务管理器，用于规划检测车辆巡检任务，划定作业区域、设定检测车辆速度以及检测时间；
远程控制管理***，与检测车辆、工作站通信连接，用于实时监控检测车辆和所述***运行状况，同时可管理工作站工作并发布任务指令。
作为优选的实施例，所述后台控制***还包括手持式控制器，所述手持式控制器与检测车辆通信连接，用于远程实时控制检测车辆的运动，以应对突发紧急事件并实现检测人员在特定时刻对于巡航任务的精细化要求。
以上是本发明的详细的介绍，本文中应用了具体个例对本发明的原理以及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法以及核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (6)

1.一种基于深度学习的机场道面病害异物检测方法，其特征在于，其步骤包括：
S1：分别优化改进YOLOv3算法和Mask R-CNN算法，搭建YOLOv3和Mask RCNN卷积神经网络并设置超参数进行训练；
S2：将训练好后的YOLOv3、Mask R-CNN卷积神经网络分别部署在检测车辆图像识别***和工作站服务器上；
S3：依据待检测区域环境部署检测车辆，并通过导航定位***规划巡检路径，向检测车辆下发巡检任务；
S4：检测车辆依据规划路径进入待检测区域执行巡检任务；
S5：检测车辆通过图像采集***采集机场道面图像并启用图像识别***上的YOLOv3目标检测模型进行第一阶段检测，得到病害与异物的类型，并将原采集图像与第一阶段检测结果上传至工作站，所述YOLOv3目标检测模型采用K-Means算法对机场道面病害和FOD样本进行聚类分析并在原有特征层基础上增加一个104×104尺度特征层；
S6：搭载在工作站上的Mask R-CNN语义分割模型对采集图像进行第二阶段检测并提取分割后的语义信息，获得图像病害与FOD的详细信息，所述Mask R-CNN语义分割模型的坐标损失函数采用DIoU坐标损失函数，并采用DIoU-NMS算法对网络进行改进、优化；
S7：车载控制***依据检测车辆任务完成情况判定后续工作；
S8：工作站将最终检测结果上传至用户终端***。
2.根据权利要求1所述的一种基于深度学习的机场道面病害异物检测方法，其特征在于，步骤S5中，检测处理图像方法的步骤包括：
S5.1：所述图像识别***接收检测车辆采集的机场道面和异物图像；
S5.2：所述YOLOv3目标检测模型对步骤S5.1采集的图像进行第一阶段检测；
S5.3：将第一阶段检测结果上传至工作站。
3.根据权利要求1或2所述的一种基于深度学习的机场道面病害异物检测方法，其特征在于，步骤S6中，检测处理图像的方法步骤包括：
S6.1：工作站接收检测车辆上传的原采集图像以及第一阶段检测结果；
S6.2：工作站上搭建的Mask R-CNN语义分割模型对采集图像进行第二阶段检测；
S6.3：工作站对第二阶段检测结果进行评价，若平均准确度及误差损失值满足要求，则将最终检测结果上传至用户终端***；若不满足要求，则通过后台控制***调整并继续进行巡检任务。
4.一种基于深度学习的多阶段机场道面病害异物检测***，其特征在于，包括：
搭载在检测车辆上的图像采集***、图像识别***、信息传输***和车载控制***；所述图像采集***、图像识别***、信息传输***依次通讯连接；所述图像采集***用于采集机场道面图像；所述图像识别***包括YOLOv3目标检测模型，用于第一阶段检测以得到病害与异物的类型；所述信息传输***，用于上传第一阶段检测结果；所述车载控制***与所述图像采集***，用于检测车辆的运动控制、图像采集、初步检测、任务评估和结果传输；
搭载在工作站上的Mask R-CNN语义分割模型，所述Mask R-CNN语义分割模型用于对采集图像进行第二阶段检测并提取分割后的语义信息，获得图像病害与FOD的详细信息；
用户终端***，所述工作站与所述用户终端通讯连接，所述工作站用于将最终检测结果上传至用户终端***；
后台控制***，用于规划检测车辆巡检任务以及实时监控检测车辆运行状况；
所述车载控制***还包括：
导航定位***，用于实现移动平台定位和检测车辆运动控制；
任务评估***，用于判定巡航任务是否完成，决定检测车辆后续工作；
所述后台控制***包括：
任务管理器，用于规划检测车辆巡检任务，划定作业区域、设定检测车辆速度以及检测时间；
远程控制管理***，与检测车辆、工作站通信连接，用于实时监控检测车辆和所述***运行状况，同时可管理工作站工作并发布任务指令。
5.根据权利要求4所述的一种基于深度学***台、动力平台和移动平台，所述动力平台为移动平台提供动力源，所述支撑平台设置在所述移动平台上，所述车载控制***设置在在支撑平台上，并与动力平台、移动平台、图像采集***、图像识别***和信息传输***通信连接。
6.根据权利要求4或5所述的一种基于深度学习的机场道面病害异物检测***，其特征在于，所述后台控制***还包括手持式控制器，所述手持式控制器与检测车辆通信连接，用于远程实时控制检测车辆的运动。
CN202110228059.6A 2021-03-02 2021-03-02 基于深度学习的机场道面病害异物检测方法及*** Active CN113111704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110228059.6A CN113111704B (zh) 2021-03-02 2021-03-02 基于深度学习的机场道面病害异物检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110228059.6A CN113111704B (zh) 2021-03-02 2021-03-02 基于深度学习的机场道面病害异物检测方法及***

Publications (2)

Publication Number Publication Date
CN113111704A CN113111704A (zh) 2021-07-13
CN113111704B true CN113111704B (zh) 2023-05-12

Family

ID=76709580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110228059.6A Active CN113111704B (zh) 2021-03-02 2021-03-02 基于深度学习的机场道面病害异物检测方法及***

Country Status (1)

Country Link
CN (1) CN113111704B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711330A (zh) * 2018-12-25 2019-05-03 山东雷诚电子科技有限公司 一种主动毫米波人体成像威胁物检测方法
CN114782828B (zh) * 2022-06-22 2022-09-09 国网山东省电力公司高青县供电公司 一种基于深度学习的异物检测***
CN115861958B (zh) * 2023-02-23 2023-06-13 中科大路(青岛)科技有限公司 车载fod识别方法、电子设备和存储介质
CN116596861B (zh) * 2023-04-28 2024-02-23 中山大学 一种牙面病灶的识别方法、***、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898085A (zh) * 2018-06-20 2018-11-27 安徽大学 一种基于手机视频的道路病害智能检测方法
JP2020126432A (ja) * 2019-02-04 2020-08-20 パナソニックＩｐマネジメント株式会社 画像処理システム、画像処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491758B (zh) * 2018-02-08 2020-11-20 深圳市睿灵创新科技开发有限公司 一种轨道检测方法及机器人
CN111563557B (zh) * 2020-05-12 2023-01-17 山东科华电力技术有限公司 一种电力电缆隧道内目标检测的方法
CN112258529A (zh) * 2020-11-02 2021-01-22 郑州大学 一种基于实例分割算法的路面裂缝像素级别检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898085A (zh) * 2018-06-20 2018-11-27 安徽大学 一种基于手机视频的道路病害智能检测方法
JP2020126432A (ja) * 2019-02-04 2020-08-20 パナソニックＩｐマネジメント株式会社 画像処理システム、画像処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Xi Yang.CNN with spatio-temporal information for fast suspicious object detection and recognition in THz security images.《Signal Processing》.2019,全文. *
孔英会 ; 王维维 ; 张珂 ; 戚银城 ; .基于改进Mask R-CNN模型的电力场景目标检测方法.科学技术与工程.2020,(08),全文. *

Also Published As

Publication number Publication date
CN113111704A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN113111704B (zh) 基于深度学习的机场道面病害异物检测方法及***
WO2023279695A1 (zh) 一种基于bim和点云测量的输变电工程验收方法
CN107703944B (zh) 一种机场地面飞机自动智能牵引***及方法
US9836661B2 (en) System and method for collision avoidance
CN111123964B (zh) 一种无人机降落方法、设备以及计算机可读介质
CN110530374B (zh) 一种无人机天钩回收阶段航迹偏差显示方法
CN110598637A (zh) 一种基于视觉及深度学习的无人驾驶***及方法
CN109491380A (zh) 一种智能汽车用无人驾驶***及使用方法
WO2022142839A1 (zh) 一种图像处理方法、装置以及智能汽车
CN110673141A (zh) 一种移动式机场道面异物检测方法及***
CN110908399A (zh) 一种基于轻量型神经网络的无人机自主避障方法及***
CN112382131A (zh) 一种机场场面安全避撞预警***和方法
CN111062644A (zh) 一种基于高精导航定位的机场地勤车辆管控***和方法
US20160163209A1 (en) System and method for aircraft fleet management
Minghui et al. Deep learning enabled localization for UAV autolanding
CN112700070A (zh) 用于机场的自动驾驶车辆的管控方法及***
CN113495569A (zh) 一种基于自主识别的无人机精准降落方法
EP4307251A1 (en) Mapping method, vehicle, computer readable storage medium, and chip
CN110989642A (zh) 基于三维路径跟踪的航空器地面牵引智能辅助方法及***
CN110825099B (zh) 一种智慧公路的巡检无人机控制方法和装置
CN113674355A (zh) 一种基于相机与激光雷达的目标识别与定位方法
CN210377164U (zh) 一种空地协同作业***
Saifutdinov et al. Time and space discretization in the digital twin of the airport transport network
CN112767726A (zh) 用于机场的有人驾驶、自动驾驶车辆的管控方法及***
CN117392641A (zh) 一种飞机牵引车的碰撞预警、导航预警方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant