CN112232200A - 一种基于Yolact目标分割模型的停机坪状态监管方法 - Google Patents

一种基于Yolact目标分割模型的停机坪状态监管方法 Download PDF

Info

Publication number
CN112232200A
CN112232200A CN202011104921.4A CN202011104921A CN112232200A CN 112232200 A CN112232200 A CN 112232200A CN 202011104921 A CN202011104921 A CN 202011104921A CN 112232200 A CN112232200 A CN 112232200A
Authority
CN
China
Prior art keywords
apron
target segmentation
yoract
state
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011104921.4A
Other languages
English (en)
Inventor
黄文丽
高子昂
胡鹏
杨省
程金平
解伟荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lingtu Technology Co ltd
Original Assignee
Zhejiang Lingtu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lingtu Technology Co ltd filed Critical Zhejiang Lingtu Technology Co ltd
Priority to CN202011104921.4A priority Critical patent/CN112232200A/zh
Publication of CN112232200A publication Critical patent/CN112232200A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于Yolact目标分割模型的停机坪状态监管方法，包括步骤：制作停机坪目标分割数据集；在pytorch框架下构建基于Yolact网络作为对停机坪各物体检测分割的模型；使用训练集训练Yolact网络；利用训练好的Yolact网络处理停机坪监控视频并输出停机坪实时状态。本发明具有检测分割区域准确、可以自动化处理机场监控视频便于机场智能化升级等优点，旨在解决停机坪场景下值机状态的自动监控问题，为机场管理提供可视化，信息化，智能化的数据支撑。

Description

一种基于Yolact目标分割模型的停机坪状态监管方法
技术领域
本发明属于计算机视觉、深度学习卷积神经网络领域，具体涉及一种基于Yolact目标分割模型的停机坪状态监管方法。
背景技术
现有机场的停机坪调度管理需要大量机务人员协同工作，保证飞机在停机坪期间的一系列机务正常运行。停机坪机务的情况关系着航班的顺利执行，因此对飞机在停机坪的机务情况进行有效监管十分必要。现有管理技术是依赖于现场机务人员的信息反馈，人工输入数据库再进行***管理。因此其效率和准确的受人为因素干扰，信息传递不畅会导致机务时间延长影响机场运行效率。
随着计算机硬件的升级，其处理大数据的能力显著提升。同时得益于计算机视觉、深度学习卷积神经网络领域的技术发展，使得利用计算机大规模自动化处理实时监控视频得以实现。因此，利用计算机自动地实时处理机场监控视频分析停机坪状态并将可视化结果返回，可以方提升停机坪管理效率且极大减少人工资源，优化机场管理的成本和质量。
发明内容
本发明所要解决的技术问题在于提高现有机场管理的效率，提供一种基于Yolact目标分割模型的停机坪状态监管方法，该方法能够自动化分析停机坪各部门状态，并可视化以方便机场调度管理。
本发明采用如下技术方案来实现的：
一种基于Yolact目标分割模型的停机坪状态监管方法，包括以下步骤：
(1)制作停机坪目标分割数据集；
采集在停机坪场景下机场监控视频并转化成帧图像作为原始图像数据，对原始图像进行目标分割的人工标注形成停机坪目标分割数据集，将数据集划分成训练集和测试集；
(2)在pytorch框架下构建基于Yolact网络作为对停机坪各物体检测分割的模型；
(3)使用训练集训练Yolact网络；
(4)构建停机坪状态管理***，并实时分析停机坪状态。
本发明进一步的改进在于，步骤(3)的具体实现步骤为：
具体步骤为：
301)设置网络的训练参数；
302)利用停机坪目标分割数据集的训练集训练Yolact网络。
本发明进一步的改进在于，步骤301)中，计算停机坪目标分割数据集3个颜色通道的均值和方差并设置为的训练参数，将检测分割的分类数目修改为停机坪场景下的物体种类数；最大迭代次数设为100000，学习率下降步长设为(35000,70000,87500,93750)。
本发明进一步的改进在于，均值设为(126.48,126.23,124.44)，方差设为(62.73,62.17,61.71)。
本发明进一步的改进在于，物体种类数设为19。
本发明进一步的改进在于，步骤(4)的具体实现步骤为：
401)利用训练好的Yolact网络处理停机坪监控视频自动识别分割出画面中不同的物体；
402)根据物体之间的位置关系和前后帧的位移变化等信息判断停机坪内各机务作业状态；
403)将实时的分析结果可视化，以供监管人员查看处理。
本发明至少具有如下有益的技术效果：
首先，从时间效率上，采用本发明可以使计算机自动实时判断飞机的值机状态，比人工确认再反馈的流程更加迅速。
同时由于计算机自动化的监控，可以节省相对应的人力成本，简化机场调度流程。
从管理角度上，采用本发明不仅降低了运营成本，而且管理者可以在监控室方便地查看机场各个停机坪的状况。通过屏幕上返回的停机坪值机状态实时画面，管理者能够快速直观地掌握停机坪实时动态，并根据实际情况做出快速反应。
从产品部署角度，相比于需要额外加装传感器等硬件设备的监控方法，本发明使用计算机视觉结合深度学习技术，可以最大程度利用机场已有的监控设备，减少额外施工及带来的游客出行不便。本发明的部署，只需在后台增加服务器并安装相应软件即可，方便机场快速实现智能化升级。
此外，使用本发明可以使值机状态的记录，从文字表格形式升级为图像视频等多媒体形式，从而得到更加丰富且更具信赖的档案资料，有助于机场在需要时进行调查取证。
附图说明
图1是本发明实施例的基于Yolact网络的停机坪状态监管方法的流程图。
图2是本发明实施例的基于Yolact网络的停机坪状态监管方法的输入图像。
图3是本发明实施例的基于Yolact网络的停机坪状态监管方法的输出结果。
具体实施方式
下面结合附图和实施例对本发明进行进一步的说明，但本发明不限于下述实施例。
如图1所示，本发明提供的一种基于Yolact目标分割模型的停机坪状态监管方法，包括以下步骤：
(1)制作停机坪目标分割数据集
采集在停机坪场景下机场监控视频并转化成帧图像作为原始图像数据，对原始图像进行目标分割的人工标注形成停机坪目标分割数据集，将数据集划分成训练集和测试集；
(2)在pytorch框架下构建基于Yolact网络作为对停机坪各物体检测分割的模型；
(3)使用训练集训练Yolact网络，具体步骤为：
(a)设置网络的训练参数；
(b)利用停机坪目标分割数据集的训练集训练Yolact网络。
(4)构建停机坪状态管理***，并实时分析停机坪状态，具体步骤为：
(a)利用训练好的Yolact网络处理停机坪监控视频自动识别分割出画面中不同的物体；
(b)根据物体之间的位置关系和前后帧的位移变化等信息判断停机坪内各机务作业状态；
(c)将实时的分析结果可视化，以供监管人员查看处理。
实施例
图1给出了本实施例的流程图。本实施例在测试集中选择一幅编号为0004的彩色图像，其机务状态为加油车、已连接廊桥已连接，如图2所示，该图像的一种基于Yolact目标分割模型的停机坪状态监管方法，由以下步骤组成：
(1)制作学习者行为描述数据集
采集4200幅像素为1920×1080的停机坪场景下监控视频的单帧图像作为原始图像集，对原始图像中的各个物体进行人工标注多边形分割区域形成停机坪目标分割数据集，随机将数据集划分训练集和测试集且训练与测试集互相不重叠，训练集包括4050幅图像，测试集包括150幅图像；
(2)在pytorch框架下构建基于Yolact网络作为对停机坪各物体检测分割的模型；
(3)使用训练集训练Yolact网络，具体步骤为：
(a)计算停机坪目标分割数据集3个颜色通道的均值和方差并设置为的训练参数，具体地，均值设为(126.48,126.23,124.44)，方差设为(62.73,62.17,61.71)；
(b)将检测分割的分类数目修改为停机坪场景下的物体种类数，这里设为19；最大迭代次数设为100000，学习率下降步长设为(35000,70000,87500,93750)；
(c)将训练集作为输入，按照设置的参数训练Yolact网络模型至最大迭代次数结束。
(4)构建停机坪状态管理***，并实时分析停机坪状态，具体步骤为：
(a)利用训练好的Yolact网络处理停机坪监控视频自动识别分割出画面中不同的物体；
(b)根据物体之间的位置关系和前后帧的位移变化等信息判断停机坪内各机务作业状态；
(c)将实时的分析结果可视化，以供监管人员查看处理。
将测试集中编号为0004的图像输入并返回可视化图像，该测试图像的检测结果及机务状态由图3可见，其中机务相关的是廊桥已连接(Jet_Bridge_connected)和加油车已连接(Fueler_connected)，处理速度可达15帧/秒。可见，本发明可以准确并实时地检测停机坪场景下的各物体及机务状态并返回可视化结果。

Claims (6)

1.一种基于Yolact目标分割模型的停机坪状态监管方法，其特征在于，包括以下步骤：
(1)制作停机坪目标分割数据集；
采集在停机坪场景下机场监控视频并转化成帧图像作为原始图像数据，对原始图像进行目标分割的人工标注形成停机坪目标分割数据集，将数据集划分成训练集和测试集；
(2)在pytorch框架下构建基于Yolact网络作为对停机坪各物体检测分割的模型；
(3)使用训练集训练Yolact网络；
(4)构建停机坪状态管理***，并实时分析停机坪状态。
2.根据权利要求1所述的一种基于Yolact目标分割模型的停机坪状态监管方法，其特征在于，步骤(3)的具体实现步骤为：
具体步骤为：
301)设置网络的训练参数；
302)利用停机坪目标分割数据集的训练集训练Yolact网络。
3.根据权利要求2所述的一种基于Yolact目标分割模型的停机坪状态监管方法，其特征在于，步骤301)中，计算停机坪目标分割数据集3个颜色通道的均值和方差并设置为的训练参数，将检测分割的分类数目修改为停机坪场景下的物体种类数；最大迭代次数设为100000，学习率下降步长设为(35000,70000,87500,93750)。
4.根据权利要求3所述的一种基于Yolact目标分割模型的停机坪状态监管方法，其特征在于，均值设为(126.48,126.23,124.44)，方差设为(62.73,62.17,61.71)。
5.根据权利要求3所述的一种基于Yolact目标分割模型的停机坪状态监管方法，其特征在于，物体种类数设为19。
6.根据权利要求2所述的一种基于Yolact目标分割模型的停机坪状态监管方法，其特征在于，步骤(4)的具体实现步骤为：
401)利用训练好的Yolact网络处理停机坪监控视频自动识别分割出画面中不同的物体；
402)根据物体之间的位置关系和前后帧的位移变化等信息判断停机坪内各机务作业状态；
403)将实时的分析结果可视化，以供监管人员查看处理。
CN202011104921.4A 2020-10-15 2020-10-15 一种基于Yolact目标分割模型的停机坪状态监管方法 Pending CN112232200A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011104921.4A CN112232200A (zh) 2020-10-15 2020-10-15 一种基于Yolact目标分割模型的停机坪状态监管方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011104921.4A CN112232200A (zh) 2020-10-15 2020-10-15 一种基于Yolact目标分割模型的停机坪状态监管方法

Publications (1)

Publication Number Publication Date
CN112232200A true CN112232200A (zh) 2021-01-15

Family

ID=74118330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011104921.4A Pending CN112232200A (zh) 2020-10-15 2020-10-15 一种基于Yolact目标分割模型的停机坪状态监管方法

Country Status (1)

Country Link
CN (1) CN112232200A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871786A (zh) * 2019-01-30 2019-06-11 浙江大学 一种航班地面保障作业规范流程检测***
CN111597920A (zh) * 2020-04-27 2020-08-28 东南大学 一种自然场景下的全卷积单阶段的人体实例分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871786A (zh) * 2019-01-30 2019-06-11 浙江大学 一种航班地面保障作业规范流程检测***
CN111597920A (zh) * 2020-04-27 2020-08-28 东南大学 一种自然场景下的全卷积单阶段的人体实例分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MING-CHING CHANG等: "《Railcar Detection, Identification and Tracking for Rail Yard Management》", 《2020 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *

Similar Documents

Publication Publication Date Title
CN112966772A (zh) 一种多人在线的图像半自动标注方法及***
CN111967313B (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
CN110308346B (zh) 基于图像识别的座舱显示***自动测试方法及***
CN109886431B (zh) 一种机场航显终端自动巡检***
KR20160018944A (ko) 차량의 사고부위를 인식하여 가견적 리스트를 모바일 장치에서 생성하는 방법
CN115686280A (zh) 深度学习模型管理***、方法、计算机设备及存储介质
CN113723300A (zh) 基于人工智能的火情监测方法、装置及存储介质
CN115424265A (zh) 一种点云语义分割标注方法及***
CN114913129A (zh) 一种针对复合材料铺放缺陷识别定位***
CN114138741A (zh) 一种历史数据分析平台
CN111830920B (zh) 一种基于物联网的工厂智慧监测共享云平台
CN106022311A (zh) 基于城市监控视频识别的应急事件发现方法及***
CN116403162B (zh) 一种机场场面目标行为识别方法、***及电子设备
CN112232200A (zh) 一种基于Yolact目标分割模型的停机坪状态监管方法
CN114034260B (zh) 一种基于流媒体与bim的深基坑围护结构变形诊断***
CN115829234A (zh) 基于课堂检测的自动化督导***及其工作方法
CN116109857A (zh) 基于多源信息融合的环卫事件自动分类方法及***
CN115083212A (zh) 一种基于三维建模的无人机定位智能管理***
CN114155421A (zh) 一种深度学习算法模型自动迭代方法
CN113326951A (zh) 一种飞行器外表口盖螺钉辅助检测装置及其使用方法
Viharos et al. Vision based, statistical learning system for fault recognition in industrial assembly environment
CN113657261A (zh) 基于机场远程塔台全景视频的实时目标检测方法及装置
Praganingrum et al. Image Processing Applications in Construction Projects: Challenges and Opportunities
CN110688413A (zh) 一种基于大数据的建筑数据分析***及其方法
Yao et al. Check for updates An Aircraft Assembly System Based on Improved YOLOv5

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 215000 unit 5-b602, creative industry park, No. 328, Xinghu street, Suzhou Industrial Park, Suzhou area, China (Jiangsu) pilot Free Trade Zone, Suzhou, Jiangsu

Applicant after: Suzhou Lingtu Technology Co.,Ltd.

Address before: No.15, Hualou lane, Ningbo City, Zhejiang Province, 315099

Applicant before: Zhejiang Lingtu Technology Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20210115

RJ01 Rejection of invention patent application after publication