CN109697426A - 基于多检测器融合的航班停机泊位检测方法 - Google Patents

基于多检测器融合的航班停机泊位检测方法 Download PDF

Info

Publication number
CN109697426A
CN109697426A CN201811584147.4A CN201811584147A CN109697426A CN 109697426 A CN109697426 A CN 109697426A CN 201811584147 A CN201811584147 A CN 201811584147A CN 109697426 A CN109697426 A CN 109697426A
Authority
CN
China
Prior art keywords
berth
aircraft
detection
shut down
ranging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811584147.4A
Other languages
English (en)
Other versions
CN109697426B (zh
Inventor
李飞
林姝含
郑文涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Terravision Technology Co Ltd
Original Assignee
Beijing Terravision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Terravision Technology Co Ltd filed Critical Beijing Terravision Technology Co Ltd
Priority to CN201811584147.4A priority Critical patent/CN109697426B/zh
Publication of CN109697426A publication Critical patent/CN109697426A/zh
Application granted granted Critical
Publication of CN109697426B publication Critical patent/CN109697426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明涉及一种基于多检测器融合的航班停机泊位检测方法，包括：进行停机泊位的物体测距，对测距结果进行计算，获得测距检测下停机泊位上有飞机的置信度；进行停机泊位的实景拍摄，对拍摄图像进行分析，获得图像检测下停机泊位上有飞机的置信度；依据图像检测的先验准确率、测距检测的先验准确率、测距检测下停机泊位上有飞机的置信度和图像检测下停机泊位上有飞机的置信度计算停机泊位上有飞机的目标置信度，当目标置信度大于设定的判断阈值时，确认停机泊位上有飞机，当目标置信度小于设定的判断阈值时，确认停机泊位上没有飞机。本发明采用概率建模方法，融合测距检测和图像检测结果，避免单一方法存在的缺点，从而得到更为理想的检测效果。

Description

基于多检测器融合的航班停机泊位检测方法
技术领域
本发明涉及一种基于多检测器融合的航班停机泊位检测方法。
背景技术
飞机停机泊位是机场管制中尤为重要的一项，航班停机泊位状态影响机位的利用率，进而直接影响机场的吞吐量。目前主要的方式是人工检测，此外有基于激光测距的检测和基于视频分析的检测。
目前大多数机场飞机停机泊位时间的统计仍然采用人工的方式，不仅成本高且效率低。少数机场为停机泊位安装激光测距装置进行检测，其原理是通过测量光源点和前方物体的距离来判断飞机的有无，这种方法有实时性强、不受天气变化影响、设备便宜等优点，但误报率严重，对架设位置要求苛刻，很多机场早期布置了此设备作为辅助检测，但因误报率高只投入到实际应用的辅助***中，依然需要人工干预。另一方面，机场中几乎每个机位都安装监控摄像机，通过视频来观测飞机停靠情况。近来，该视频也用于停机泊位自动检测，利用视频分析方法检测飞机停泊状态，例如基于运动目标检测的算法，该算法速度较快，在良好成像条件下检测效果较好，但存在以下缺点：无法判别所检测的目标是否为飞机，当图像中出现其它运动目标(如大型车辆)，可能导致误报；只能检测运动目标，当飞机处于静止状态下，无法判断其停泊状态；算法参数的设置对天气、光照等条件较敏感，对飞机停泊识别的准确率依然无法达到智能化要求，还需要人工辅助检查。
发明内容
为解决上述技术问题，本发明提供了一种基于多检测器融合的航班停机泊位检测方法，以期得到精确度更高的目标检测结果。
本发明的技术方案是：一种基于多检测器融合的航班停机泊位检测方法，包括
进行停机泊位的物体测距，对测距结果进行计算，获得测距检测下停机泊位上有飞机的置信度,
进行停机泊位的实景拍摄，对拍摄图像进行分析，获得图像检测下停机泊位上有飞机的置信度,
依据下列公式计算停机泊位上有飞机的目标置信度：
当目标置信度大于设定的判断阈值时，确认停机泊位上有飞机，当目标置信度小于设定的判断阈值时，确认停机泊位上没有飞机，
其中，
Pfuse为停机泊位上有飞机的目标置信度，Pridl为图像检测的先验准确率， Prila为测距检测的先验准确率，Pla为测距检测下停机泊位上有飞机的置信度，Pdl为图像检测下停机泊位上有飞机的置信度。
可以采用激光测距装置进行停机泊位的物体测距。
可以依据下列公式计算测距检测下停机泊位上有飞机的置信度：
其中，L为当前测距检测获得的物体距离，Ls为停机泊位上有飞机停靠时的检测距离标准值，Lm为停机泊位上没有飞机停靠时的检测距离标准值。
所述Ls和Lm可预先确定。
所述Ls和Lm可以在良好测距检测条件下通过实验获得。将飞机停靠在停机泊位上的常见位置、距测距检测装置最近位置和最远位置等多种状态下进行测距，获得相应的实测物体距离，以实测物体距离的平均值或最小值为Ls；在停机泊位上没有飞机及其他影响测距结果的物体的状态下进行测距，获得相应的实测物体距离，以实测物体距离的平均值或最大值为 Lm。
也可以根据测距检测装置距停机泊位的实际距离以及距前方相关物体 (没有飞机停靠时间距检测到的物体)的实际距离确定Ls和Lm。
可以通过实验确定测距检测的先验准确率。
例如，在停机泊位上有飞机和没有飞机的两种状态下进行多次实验，以与实际测距检测相同的方式进行测距检测，人工核对测距检测结果的正确性，以检测结果正确的次数除以检测的总次数，获得的商为测距检测的先验准确率。
优选采用YOLO算法对拍摄图像进行分析，获得图像检测下停机泊位上有飞机的置信度。
当多个单元格和/或边界框检测到目标飞机时，优选采用非极大值抑制算法获得其中最大的边界框，以所获得的最大的边界框的相应置信度作为图像检测下停机泊位上有飞机的置信度。
可以通过实验确定图像检测的先验准确率。
例如，在停机泊位上有飞机和没有飞机的两种状态下进行多次实验，以与实际图像检测相同的方式进行图像检测，人工核对图像检测结果的正确性，以检测结果正确的次数除以检测的总次数，获得的商为图像检测的先验准确率。
本发明的有益效果是：通过采用了概率建模方法，分别用两种方法得到目标存在置信度，然后利用概率公式进行融合，得到最终判断算法，由此避免单一方法存在的缺点。对于视觉方法的选取，考虑到运动目标检测算法的缺陷，将目前主流的深度学习方法应用于飞机停泊检测，能够较为鲁棒地检测用户感兴趣的飞机(航空器)这种特定目标，无论飞机处于运动或静止状态都可被检测，同时还结合了激光测距方法不受天气、光照等因素影响的优点，从而最终得到更为理想的检测效果。
附图说明
图1是本发明的一种流程示意图。
具体实施方式
参见图1，本发明将物理方法与视觉方法相融合，旨在避免单一方法存在的缺点。对于视觉方法的选取，考虑到运动目标检测算法的缺陷，将目前主流的深度学习方法应用于飞机停泊检测，一方面该方法能够较为鲁棒地检测用户感兴趣的特定目标—飞机，无论飞机处于运动或静止状态都可被检测，另一方面结合了激光测距方法不受天气、光照等因素影响的优点，从而最终得到更为理想的检测效果。
本发明要解决的主要问题是两种方法的融合。采用概率建模方法，分别用两种方法得到目标存在的置信度，然后利用概率公式进行融合，得到能够最终判断停机泊位上是否有飞机的目标置信度。
本发明包括下列步骤：
1)激光检测
激光测距设备是由光接收器，光发射器和计时器组成，工作过程是由光发射器发射激光，遇到反光物体被光接收器接收到，将计时器的时间与光速求积得到目标距离激光发射器的距离，这种激光测距设备的性价比高、速度快，具有很高的实用价值。
本发明涉及的空间激光测距与合作式卫星激光测距不同，因为作为被测目标的飞机上没有安装使激光原路返回的角反射器，只能依靠目标本身的漫反射特性将入射激光反射到接收器上，也因此降低了激光设备的准确性。
本发明利用激光测距的特性设计关于激光检测的概率模型。设Ls为有飞机停靠在机位时飞机距激光接收器的距离阈值，Lm为没有飞机停靠时激光探测到的距离阈值，二者的值事先设定。设当前激光测距得到的物体探测距离为L，定义激光检测下机位上有飞机的置信度Pla如下：
Pla的取值在0和1之间，其值越大，代表停机泊位上存在飞机的可信度越高。
2)深度学习算法的图像识别
深度学习的算法是近几年才开始兴起，目前机场绝大部分都采用传统方法，基于深度学习算法的机场目标识别的研究比较少。深度学习是一种具有多层次模型的算法，采用反向传播算法自动调节模型参数，自动从大量数据中学习出数据的抽象表达，经过训练的模型可以自动从输入图像中识别出飞机在图像中的位置，相比传统方法更稳定。
本发明采用Joseph Redmon和Ali Farhadi提出的YOLOv3算法[1]作为基础框架，有速度快、多尺度预测、背景误检率低、通用性强等优点。目标检测器通过微软COCO数据集[2]训练得到，能够检测飞机、行人等常见目标。
YOLO将输入图像分割成若干个单元格，然后每个单元格负责去检测那些中心点落在该格子内的目标。每个单元格会预测若干个边界框以及边界框的置信度。置信度主要包含两个方面，一是这个边界框含有目标的可能性；二是这个边界框的准确度。前者边界框含有目标的可能性记为Pr，当该边界框是背景，即不包含目标时Pr＝0；而当该边界框包含目标时Pr＝1。边界框的准确度可以用预测框与实际框的交并比IOU(Intersection OverUnion)来表征，记为因此相应的置信度可以定义如下[1]：
由于YOLO将图像分为了若干个单元格，检测目标可能会因此被切分成很多块，恰好其中有几个单元格检测到了该目标，这就会出现一个目标有多个边界框，即有多个置信度。本发明采用非极大值抑制算法NMS(Non Maximum Suppression)主要解决的是一个目标被多次检测的问题。首先选定某一框作为起始框，然后与剩余框分别做交并比，若交并比值大于一定阈值(重合度过高)，那么就将该框剔除，反之将最大框选项替换。对所有检测框重复上述过程，直至得到唯一最大框，并将该框的置信度Pdl作为是否存在目标的置信度。
同样，Pdl的取值在0和1之间，其值越大，代表飞机存在的可信度越高。
3)多检测器融合
多检测器融合模型将激光测距与深度学习两种方法得到的目标置信度进行融合，首先需要估计两种方法的先验准确率，再利用混合模型公式融合两种方法的目标置信度，得到最终的飞机停泊判定结果。
(1)先验准确率估计
(a)估计激光测距方法的先验准确率，可进行N次试验，人工核对N 次试验中正确检测到目标的次数M，得到该方法的先验准确率 N应该足够大以保证先验准确度的数值的精度。
(b)以同样方法估计深度学习算法的先验准确率Pridl。
(2)多检测器融合检测
(a)对当前检测，分别用激光测距方法和深度学习方法计算目标置信度Pla和Pdl。
(b)利用如下公式得到融合的目标置信度。
(5)判断航班停泊状态判断。当Pfuse>Thr时，机位有飞机，被占用；否则无飞机，机位空闲，其中阈值Thr一般情况下应设为0.5。
本发明所称飞机、航班均泛指各种航空器，包括通常所称的飞机和航班。
本发明公开的各优选和可选的技术手段，除特别说明外及一个优选或可选技术手段为另一技术手段的进一步限定外，均可以任意组合，形成若干不同的技术方案。
参考文献
[1]Joseph Redmon and Ali Farhadi,“YOLOv3:An Incremental Improvement”,Technical report 2018.
[2]Tsungyi Lin et al.,“Microsoft COCO:Common Objects in Context”,ECCV2015.

Claims (10)

1.一种基于多检测器融合的航班停机泊位检测方法，包括
进行停机泊位的物体测距，对测距结果进行计算，获得测距检测下停机泊位上有飞机的置信度,
进行停机泊位的实景拍摄，对拍摄图像进行分析，获得图像检测下停机泊位上有飞机的置信度,
依据下列公式计算停机泊位上有飞机的目标置信度：
当目标置信度大于设定的判断阈值时，确认停机泊位上有飞机，当目标置信度小于设定的判断阈值时，确认停机泊位上没有飞机，
其中，
Pfuse为停机泊位上有飞机的目标置信度，Pridl为图像检测的先验准确率，Prila为测距检测的先验准确率，Pla为测距检测下停机泊位上有飞机的置信度，Pdl为图像检测下停机泊位上有飞机的置信度。
2.如权利要求1所述的方法，其特征在于采用激光测距装置进行停机泊位的物体测距。
3.如权利要求1所述的方法，其特征在于依据下列公式计算测距检测下停机泊位上有飞机的置信度：
其中，L为当前测距检测获得的物体距离，Ls为停机泊位上有飞机停靠时的检测距离标准值，Lm为停机泊位上没有飞机停靠时的检测距离标准值。
4.如权利要求3所述的方法，其特征在于所述Ls和Lm在良好测距检测条件下通过实验获得，或者根据测距检测装置距停机泊位的实际距离以及距前方相关物体的实际距离确定。
5.如权利要求1所述的方法，其特征在于通过实验确定测距检测的先验准确率。
6.如权利要求5所述的方法，其特征在于在停机泊位上有飞机和没有飞机的两种状态下进行多次实验，以与实际测距检测相同的方式进行测距检测，人工核对测距检测结果的正确性，以检测结果正确的次数除以检测的总次数，获得的商为测距检测的先验准确率。
7.如权利要求1-6任一所述的方法，其特征在于采用YOLO算法对拍摄图像进行分析，获得图像检测下停机泊位上有飞机的置信度。
8.如权利要求7所述的方法，其特征在于当多个单元格和/或边界框检测到目标飞机时，采用非极大值抑制算法获得其中最大的边界框，以所获得的最大的边界框的相应置信度作为图像检测下停机泊位上有飞机的置信度。
9.如权利要求7所述的方法，其特征在于通过实验确定图像检测的先验准确率。
10.如权利要求9所述的方法，其特征在于在停机泊位上有飞机和没有飞机的两种状态下进行多次实验，以与实际图像检测相同的方式进行图像检测，人工核对图像检测结果的正确性，以检测结果正确的次数除以检测的总次数，获得的商为图像检测的先验准确率。
CN201811584147.4A 2018-12-24 2018-12-24 基于多检测器融合的航班停机泊位检测方法 Active CN109697426B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811584147.4A CN109697426B (zh) 2018-12-24 2018-12-24 基于多检测器融合的航班停机泊位检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811584147.4A CN109697426B (zh) 2018-12-24 2018-12-24 基于多检测器融合的航班停机泊位检测方法

Publications (2)

Publication Number Publication Date
CN109697426A true CN109697426A (zh) 2019-04-30
CN109697426B CN109697426B (zh) 2019-10-18

Family

ID=66232766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811584147.4A Active CN109697426B (zh) 2018-12-24 2018-12-24 基于多检测器融合的航班停机泊位检测方法

Country Status (1)

Country Link
CN (1) CN109697426B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309735A (zh) * 2019-06-14 2019-10-08 平安科技（深圳）有限公司 异常侦测方法、装置、服务器及存储介质
CN110544396A (zh) * 2019-08-12 2019-12-06 南京莱斯信息技术股份有限公司 一种飞机泊位引导设备
CN111427374A (zh) * 2020-02-25 2020-07-17 深圳市镭神智能***有限公司 飞机泊位引导方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120155712A1 (en) * 2010-12-17 2012-06-21 Xerox Corporation Method for automatic license plate recognition using adaptive feature set
CN103076877A (zh) * 2011-12-16 2013-05-01 微软公司 使用姿势与车辆内的移动装置进行交互
CN103390173A (zh) * 2013-07-24 2013-11-13 佳都新太科技股份有限公司 一种基于svm置信度的车牌字符投票算法
CN104290730A (zh) * 2014-06-20 2015-01-21 郑州宇通客车股份有限公司 一种应用于高级紧急制动***的雷达与视频信息融合方法
CN107850895A (zh) * 2015-05-13 2018-03-27 优步技术公司 通过引导协助操作的自动驾驶车辆
CN108009494A (zh) * 2017-11-30 2018-05-08 中山大学 一种基于无人机的道路交叉口车辆跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120155712A1 (en) * 2010-12-17 2012-06-21 Xerox Corporation Method for automatic license plate recognition using adaptive feature set
CN103076877A (zh) * 2011-12-16 2013-05-01 微软公司 使用姿势与车辆内的移动装置进行交互
CN103390173A (zh) * 2013-07-24 2013-11-13 佳都新太科技股份有限公司 一种基于svm置信度的车牌字符投票算法
CN104290730A (zh) * 2014-06-20 2015-01-21 郑州宇通客车股份有限公司 一种应用于高级紧急制动***的雷达与视频信息融合方法
CN107850895A (zh) * 2015-05-13 2018-03-27 优步技术公司 通过引导协助操作的自动驾驶车辆
CN108009494A (zh) * 2017-11-30 2018-05-08 中山大学 一种基于无人机的道路交叉口车辆跟踪方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309735A (zh) * 2019-06-14 2019-10-08 平安科技（深圳）有限公司 异常侦测方法、装置、服务器及存储介质
CN110544396A (zh) * 2019-08-12 2019-12-06 南京莱斯信息技术股份有限公司 一种飞机泊位引导设备
CN111427374A (zh) * 2020-02-25 2020-07-17 深圳市镭神智能***有限公司 飞机泊位引导方法、装置及设备

Also Published As

Publication number Publication date
CN109697426B (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN109697426B (zh) 基于多检测器融合的航班停机泊位检测方法
González et al. Automatic traffic signs and panels inspection system using computer vision
WO2023124383A1 (zh) 一种车辆速度检测、撞车预警方法及电子设备
CN105512720A (zh) 一种公交车辆客流统计方法和***
CN110501700A (zh) 一种基于毫米波雷达的人员数量计数方法
CN108389421B (zh) 基于图像再识别的停车场精确诱导***及方法
CN109635666A (zh) 一种基于深度学习的图像目标快速检测方法
CN110443196A (zh) 基于ssim算法的消防占道检测方法
CN110490125A (zh) 一种基于手势自动检测的加油区服务质量检测***
CN104183142A (zh) 一种基于图像视觉处理技术的车流量统计方法
WO2019198076A1 (en) Real-time raw data- and sensor fusion
CN112927565B (zh) 提升机坪综合航迹监视数据精度的方法、装置及***
CN109426800A (zh) 一种车道线检测方法和装置
CN107909601A (zh) 一种适用于航标的船舶防撞预警视频检测***及检测方法
WO2023240805A1 (zh) 一种基于滤波校正的网联车超速预警方法及***
CN115797736B (zh) 目标检测模型的训练和目标检测方法、装置、设备和介质
CN112541403B (zh) 一种利用红外摄像头的室内人员跌倒检测方法
CN115965655A (zh) 一种基于雷视一体的交通目标跟踪方法
CN108229473A (zh) 车辆年检标签检测方法及装置
CN116573017A (zh) 城市轨道列车行驶限界异物感知方法、***、装置和介质
CN108344997A (zh) 一种基于点迹特征的道路护栏快速检测方法
CN114170487A (zh) 一种基于视觉的水面油污检测方法
CN112699748B (zh) 基于yolo及rgb图像的人车距离估计方法
CN108288383A (zh) 一种检测率高的交通违法检测***
KR102616571B1 (ko) 인공지능을 이용한 영상 분석 기반의 도로 교통정보 제공 방법 및 그를 위한 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant