CN111814721A - 基于无人机高低空联合扫描的机场跑道异物检测分类方法 - Google Patents

基于无人机高低空联合扫描的机场跑道异物检测分类方法 Download PDF

Info

Publication number
CN111814721A
CN111814721A CN202010694200.7A CN202010694200A CN111814721A CN 111814721 A CN111814721 A CN 111814721A CN 202010694200 A CN202010694200 A CN 202010694200A CN 111814721 A CN111814721 A CN 111814721A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
detection
foreign
foreign object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010694200.7A
Other languages
English (en)
Other versions
CN111814721B (zh
Inventor
杨帆
裴彤
李韬
陈实
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010694200.7A priority Critical patent/CN111814721B/zh
Publication of CN111814721A publication Critical patent/CN111814721A/zh
Application granted granted Critical
Publication of CN111814721B publication Critical patent/CN111814721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于无人机高低空联合扫描的机场跑道异物检测分类方法通过对Yolo神经网络模型进行训练，并采用两轮高低空粗细检测相结合的方法去获得精细的检测区域，再对精细的检测区域进行拍照，并将图片输入训练完成的Yolo神经网络模型中进行检测异物和分类，实现对异物的准确检测和分类。

Description

基于无人机高低空联合扫描的机场跑道异物检测分类方法
技术领域
本发明涉及图像识别领域，具体涉及一种基于无人机高低空联合扫描的机场跑道异物检测分类方法。
背景技术
在目前机场跑道异物检测方法中，有两种检测平台，即固定式平台与移动端平台。
前者是基于固定铺设的检测传感装置进行异常检测，特点是通过机场跑道两侧根据机场跑道的形状布置大量诸如雷达，摄像头等传感器，从而使得机场跑道能够被全部覆盖感知。但大量布置会导致检测成本高昂，并且灵活度不够，一旦***完成布置后，要进行修改需要大量额外成本。
后者，是通过一台或多台可移动单位搭载摄像头，以特定的路径巡检机场跑道，拍摄照片覆盖跑道全部区域，进行检测。近年来，无人机技术进展迅猛，无人机定位精度，操控性能，无线通信能力以及航拍图像质量的长足发展，为无人机实现可靠的异物检测提高了坚实的技术基础，而无人机凭借相对于固定摄像头的低成本，高度灵活可定制性，并且比起地面无人车，拥有更大的拍摄视野，越来越受到青睐。
在异物检测所运用的传感器上，目前主要是有雷达与摄像头两种。雷达是目前主流的异物检测***所运用的传感器，其具有精度高，技术成熟的特点，但也有很多缺点，首先，是高精度雷达成本很大，并且，若要雷达能够实现较远的探测距离，需要雷达具备较大的发射功率，这样会使雷达的体积较大，难以部署在移动端平台。其次，雷达无法获取异物的深层次的语义信息，即雷达能够感知异物是否存在，但无法感知异物具体是什么，即无法给异物分类。
而运用摄像头的异物检测***则可以有效弥补雷达的不足。首先，摄像头成本比雷达要低，并且摄像头易于小型化，可以在更广范围的平台部署。其次，随着深度学***台需要移动更多距离，才能使得全部机场得到扫描，从而降低了***的实用性。在无人机平台上，这一矛盾体现在，无人机以一个较高的高度飞行巡检时，无人机摄像头的视野较广，可以更快的速度与更多的路径扫描整个跑道，但会使得异物目标尺寸变小，深度学习算法难以正确识别。而无人机在一个较低的高度飞行时，则会使得拍摄视野较小，检测效率很低。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于无人机高低空联合扫描的机场跑道异物检测分类方法解决了无人机低空巡检效率慢，高空巡检时，异物在图像中过小不易异物分类的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种基于无人机高低空联合扫描的机场跑道异物检测分类方法，包括以下步骤：
S1、采用机场跑道的训练图像集对Yolo神经网络模型进行训练，并将训练完成的Yolo神经网络模型部署在无人机的机载计算机中；
S2、采用无人机对机场跑道进行粗检测，得到无人机跑道上所有疑似异物点的坐标；
S3、根据无人机跑道上所有疑似异物点的坐标，得到无人机在每个细检测异物区域上拍摄照片时的三维空间位置；
S4、根据无人机在每个细检测异物区域上拍摄照片时的三维空间位置，采用现代启发式算法训练得到无人机遍历的细检测异物区域的顺序，使损失函数近似得到全局最小值；
S5、根据无人机遍历的细检测异物区域的顺序，依次沿直线飞行至细检测异物区域的中心坐标处，进行拍摄，得到细检测图像集；
S6、将细检测图像集输入训练完成的Yolo神经网络模型中，得到检测异物及其分类结果。
进一步地，步骤S1包括以下步骤：
S11、从俯视角度拍摄带有异物的机场跑道，得到原始图像集；
S12、对原始图像集中异物在跑道中的位置和类型进行标注，得到训练图像集；
S13、采用训练图像集训练Yolo神经网络模型，得到训练完成的Yolo神经网络模型；
S14、将训练完成的Yolo神经网络模型部署到无人机的机载计算机中。
进一步地，所述步骤S2包括以下步骤：
S21、根据机场跑道的宽度W和无人机的相机参数，得到无人机的粗检测拍摄高度h1：
Figure BDA0002590454840000042
其中，F为相机等效焦距，FW为相机的水平拉伸系数，CW为相机靶面宽度；
S22、构建无人机飞行线路，并以速度v和高度h1匀速飞行；
S23、在匀速飞行过程中，通过无人机以间隔
Figure BDA0002590454840000041
的时间俯视拍摄照片，其中，Fl为相机竖直拉伸系数，Cl为相机靶面长度；
S24、通过机载GPS，记录每张照片对应的坐标；
S25、采用ITTI算法对每张照片进行显著性检测，得到一组异物疑似点相对坐标；
S26、将该组异物疑似点相对坐标与每张照片对应的坐标相加，得到异物疑似点绝对坐标；
S27、将所有照片中的异物疑似点绝对坐标进行合并，得到无人机跑道上所有疑似异物点的坐标。
上述进一步方案的有益效果为：无人机以一个较高的高度拍摄，可以增大拍摄的覆盖范围，在相同的跑道面积下，可以减少拍摄次数。无人机飞行线路简单，为两条往返高度固定的直线飞行路线，分别巡检一半的跑道区域，相比与“弓”字型巡检线路，简单的飞行路线使得无人机飞行更加稳定，使得无人机的成像质量更高，可以减少无人机转向带来的速度，时间损耗，可以一直以一个稳定速度飞行，使得无人机更快的巡检跑道；并且无人机在相机像素有限，异物在拍摄照片中非常小的情况下，能够确认疑似异物点的绝对坐标。
ITTI算法相比卷积神经网络，虽然无法获取异物的详细信息，但在物体尺寸非常小的情况，卷积神经网络露警率极高，无法有效检测异物，运用对尺寸相对不敏感的ITTI算法检测，根据巡检异物秉承的低漏警率优先的原则，增大虚警率，从而使得异物检测的漏警率显著降低。
无人机进行快速粗检测，得到一组疑似点的坐标，并根据疑似点的坐标，可以排除一大片没有异物的区域，从而使得细检测不需要遍历整个跑道，从而极大地增加了巡检效率。
进一步地，所述步骤S3包括以下步骤：
S31、根据无人机跑道上所有疑似异物点的坐标，确定无人机的最大飞行高度和最小飞行高度；
S32、根据无人机的最大飞行高度和最小飞行高度，得到无人机在最大飞行高度时照片的最大覆盖范围和无人机在最小飞行高度时照片的最小覆盖范围；
S33、判断当前跑道范围内是否存在异物疑似点，若是，则跳转至步骤S34，若否，则跳转至步骤S36；
S34、找到一个异物疑似点，将该异物疑似点作为无人机视距的中心，记其坐标为中心坐标，并上升至照片的最大覆盖范围对应的高度，得到覆盖最多异物疑似点的检测区域；
S35、记录覆盖最多异物疑似点的检测区域，并删除该检测区域的所有异物疑似点，得到异物检测区域，并跳转至步骤S33；
S36、对每个异物检测区域，保持中心坐标不变，将每个异物检测区域按比例缩小，直到异物检测区域缩小为照片的最小覆盖范围或者异物疑似点处于异物检测区域的边界上，得到细检测异物区域的长度和宽度；
S37、根据细检测异物区域的长度和宽度，得到无人机细检测拍摄高度h2：
S38、根据细检测异物区域对应的中心坐标和无人机细检测拍摄高度h2，得到无人机在每个细检测异物区域上拍摄照片时的三维空间位置。
上述进一步方案的有益效果为：根据疑似点的分布，来设计无人机的检测位置，从而使得无人机以尽可能少的拍摄次数，检测所有疑似点。同时，根据异物分布的疏密，来调节无人机的拍摄高度，从而使得异物疑似点在照片的尺寸尽可能地大，从而使得细检测获得更好的效果。
进一步地，所述步骤S37中无人机细检测拍摄高度h2为：
Figure BDA0002590454840000061
其中，F为相机等效焦距，Ls为细检测异物区域的长度，hr为修正参数，Fl为相机竖直拉伸系数，Cl为相机靶面长度。
进一步地，所述步骤S37中无人机细检测拍摄高度h2为：
Figure BDA0002590454840000062
其中，F为相机等效焦距，Ws为细检测异物区域的宽度，hr为修正参数，FW为相机的水平拉伸系数，CW为相机靶面宽度。
进一步地，根据前面得到各个检测区域的无人机拍摄时的三维空间位置，将问题转化为3维TSP问题进行求解，根据无人机检测跑道的实际飞行情况，即无人机从一个点，飞行到另一个点是先保持高度不变水平飞行到另一个点的横纵坐标位置，然后爬升/降低到另一个点的高度，并且，无人机的水平飞行的速度与稳定性与高度爬升/降低有所不同，改进了3维TSP的损失函数，得到步骤S4中损失函数为：
Figure BDA0002590454840000063
其中，
Figure BDA0002590454840000064
为无人机起点的横坐标，
Figure BDA0002590454840000065
为无人机起点的纵坐标，
Figure BDA0002590454840000066
为无人机起点的竖坐标，
Figure BDA0002590454840000067
为无人机终点的横坐标，
Figure BDA0002590454840000068
为无人机终点的纵坐标，
Figure BDA0002590454840000069
为无人机终点的竖坐标，l1,…,li,…,lN为细检测异物区域的序号，li为第i个细检测异物区域，f为损失函数，N为总的细检测异物区域数量，
Figure BDA0002590454840000071
为对第i个细检测异物区域进行拍摄时无人机的横坐标，
Figure BDA0002590454840000072
为第i个细检测异物区域进行拍摄时无人机的纵坐标，
Figure BDA0002590454840000073
为对第i个细检测异物区域进行拍摄时无人机的竖坐标，λ为高度惩罚因子。
上述进一步方案的有益效果为：将问题转换成经典的TSP问题，可以运用大量的已有的诸如遗传算法，蚁群算法等现代启发式算法求解。将无人机从一个三维空间位置飞行到另外一个三维空间位置的路径，拆分为无人机先保持高度不变，水平直线飞行到另一个位置的横纵坐标处，然后，爬升/降低到另一个位置的竖坐标。这样更有利于无人机的稳定快速飞行。考虑到无人机的水平飞行的速度与稳定性与高度爬升/降低的速度与稳定性有所不同，改进了TSP的损失函数，将高度差与水平位置差分离，并设置高度惩罚因子λ这个超参数，可根据不同无人机高度/降低实际的速度与稳定性的快慢高低来自由灵活地降低或调高这个超参数。
综上，本发明的有益效果为：
(1)、采用两轮高低空粗细检测相结合的方法，先通过高空快速粗检测，确定疑似点，使得低空细检测不需要检查整个跑道，而只需要检测指定的区域，从而在保证检测率的基础上，极大地提高了检测效率。
(2)、通过对Yolo神经网络模型进行训练，并采用两轮高低空粗细检测相结合的方法去获得精细的检测区域，再对精细的检测区域进行拍照，并将图片输入训练完成的Yolo神经网络模型中进行检测异物和分类，实现对异物的准确检测和分类。
(3)、根据待检测点的分布的疏密，自适应设置细检测时无人机的飞行高度。
附图说明
图1为一种基于无人机高低空联合扫描的机场跑道异物检测分类方法的流程图；
图2为无人机飞行线路图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，一种基于无人机高低空联合扫描的机场跑道异物检测分类方法，包括以下步骤：
S1、采用机场跑道的训练图像集对Yolo神经网络模型进行训练，并将训练完成的Yolo神经网络模型部署在无人机的机载计算机中；
步骤S1包括以下步骤：
S11、从俯视角度拍摄带有异物的机场跑道，得到原始图像集；
S12、对原始图像集中异物在跑道中的位置和类型进行标注，得到训练图像集；
S13、采用训练图像集训练Yolo神经网络模型，得到训练完成的Yolo神经网络模型；
S14、将训练完成的Yolo神经网络模型部署到无人机的机载计算机中。
S2、采用无人机对机场跑道进行粗检测，得到无人机跑道上所有疑似异物点的坐标；
所述步骤S2包括以下步骤：
S21、根据机场跑道的宽度W和无人机的相机参数，得到无人机的粗检测拍摄高度h1：
Figure BDA0002590454840000091
其中，F为相机等效焦距，FW为相机的水平拉伸系数，CW为相机靶面宽度；
S22、构建无人机飞行线路，并以速度v和高度h1匀速飞行；
图2为无人机飞行线路图，从跑道起点靠左侧
Figure BDA0002590454840000092
初起飞，直线飞至跑道终点靠左侧
Figure BDA0002590454840000093
处，然后向右飞至终点靠右侧
Figure BDA0002590454840000094
最后飞回起点靠右侧
Figure BDA0002590454840000095
处。
S23、在匀速飞行过程中，通过无人机以间隔
Figure BDA0002590454840000096
的时间俯视拍摄照片，其中，Fl为相机竖直拉伸系数，Cl为相机靶面长度；
S24、通过机载GPS，记录每张照片对应的坐标；
S25、采用ITTI算法对每张照片进行显著性检测，得到一组异物疑似点相对坐标；
S26、将该组异物疑似点相对坐标与每张照片对应的坐标相加，得到异物疑似点绝对坐标；
S27、将所有照片中的异物疑似点绝对坐标进行合并，得到无人机跑道上所有疑似异物点的坐标。
S3、根据无人机跑道上所有疑似异物点的坐标，得到无人机在每个细检测异物区域上拍摄照片时的三维空间位置；
所述步骤S3包括以下步骤：
S31、根据无人机跑道上所有疑似异物点的坐标，确定无人机的最大飞行高度和最小飞行高度；
S32、根据无人机的最大飞行高度和最小飞行高度，得到无人机在最大飞行高度时照片的最大覆盖范围和无人机在最小飞行高度时照片的最小覆盖范围；
S33、判断当前跑道范围内是否存在异物疑似点，若是，则跳转至步骤S34，若否，则跳转至步骤S36；
S34、找到一个异物疑似点，将该异物疑似点作为无人机视距的中心，记其坐标为中心坐标，并上升至照片的最大覆盖范围对应的高度，得到覆盖最多异物疑似点的检测区域；
S35、记录覆盖最多异物疑似点的检测区域，并删除该检测区域的所有异物疑似点，得到异物检测区域，并跳转至步骤S33；
S36、对每个异物检测区域，保持中心坐标不变，将每个异物检测区域按比例缩小，直到异物检测区域缩小为照片的最小覆盖范围或者异物疑似点处于异物检测区域的边界上，得到细检测异物区域的长度和宽度；
S37、根据细检测异物区域的长度和宽度，得到无人机细检测拍摄高度h2：
无人机细检测拍摄高度h2包括以下两种计算方式：
第一种：所述步骤S37中无人机细检测拍摄高度h2为：
Figure BDA0002590454840000101
其中，F为相机等效焦距，Ls为细检测异物区域的长度，hr为修正参数，Fl为相机竖直拉伸系数，Cl为相机靶面长度。
第二种：所述步骤S37中无人机细检测拍摄高度h2为：
Figure BDA0002590454840000102
其中，F为相机等效焦距，Ws为细检测异物区域的宽度，hr为修正参数，FW为相机的水平拉伸系数，CW为相机靶面宽度。
S38、根据细检测异物区域对应的中心坐标和无人机细检测拍摄高度h2，得到无人机在每个细检测异物区域上拍摄照片时的三维空间位置。
S4、根据无人机在每个细检测异物区域上拍摄照片时的三维空间位置，采用现代启发式算法训练得到无人机遍历的细检测异物区域的顺序，使损失函数近似得到全局最小值；
根据前面得到各个检测区域的无人机拍摄时的三维空间位置，将问题转化为3维TSP问题进行求解，根据无人机检测跑道的实际飞行情况，即无人机从一个点，飞行到另一个点是先保持高度不变水平飞行到另一个点的横纵坐标位置，然后爬升/降低到另一个点的高度，并且，无人机的水平飞行的速度与稳定性与高度爬升/降低有所不同，改进了3维TSP的损失函数，得到步骤S4中损失函数为：
Figure BDA0002590454840000111
其中，
Figure BDA0002590454840000112
为无人机起点的横坐标，
Figure BDA0002590454840000113
为无人机起点的纵坐标，
Figure BDA0002590454840000114
为无人机起点的竖坐标，
Figure BDA0002590454840000115
为无人机终点的横坐标，
Figure BDA0002590454840000116
为无人机终点的纵坐标，
Figure BDA0002590454840000117
为无人机终点的竖坐标，l1,…,li,…,lN为细检测异物区域的序号，li为第i个细检测异物区域，f为损失函数，N为总的细检测异物区域数量，
Figure BDA0002590454840000118
为对第i个细检测异物区域进行拍摄时无人机的横坐标，
Figure BDA0002590454840000119
为第i个细检测异物区域进行拍摄时无人机的纵坐标，
Figure BDA00025904548400001110
为对第i个细检测异物区域进行拍摄时无人机的竖坐标，λ为高度惩罚因子。
S5、根据无人机遍历的细检测异物区域的顺序，依次沿直线飞行至细检测异物区域的中心坐标处，进行拍摄，得到细检测图像集；
S6、将细检测图像集输入训练完成的Yolo神经网络模型中，得到检测异物及其分类结果。
综上，本发明的有益效果为：
(1)、采用两轮高低空粗细检测相结合的方法，先通过高空快速粗检测，确定疑似点，使得低空细检测不需要检查整个跑道，而只需要检测指定的区域，从而在保证检测率的基础上，极大地提高了检测效率。
(2)、通过对Yolo神经网络模型进行训练，并采用两轮高低空粗细检测相结合的方法去获得精细的检测区域，再对精细的检测区域进行拍照，并将图片输入训练完成的Yolo神经网络模型中进行检测异物和分类，实现对异物的准确检测和分类。
(3)、根据待检测点的分布的疏密，自适应设置细检测时无人机的飞行高度。

Claims (7)

1.一种基于无人机高低空联合扫描的机场跑道异物检测分类方法，其特征在于，包括以下步骤：
S1、采用机场跑道的训练图像集对Yolo神经网络模型进行训练，并将训练完成的Yolo神经网络模型部署在无人机的机载计算机中；
S2、采用无人机对机场跑道进行粗检测，得到无人机跑道上所有疑似异物点的坐标；
S3、根据无人机跑道上所有疑似异物点的坐标，得到无人机在每个细检测异物区域上拍摄照片时的三维空间位置；
S4、根据无人机在每个细检测异物区域上拍摄照片时的三维空间位置，采用现代启发式算法训练得到无人机遍历的细检测异物区域的顺序，使损失函数近似得到全局最小值；
S5、根据无人机遍历的细检测异物区域的顺序，依次沿直线飞行至细检测异物区域的中心坐标处，进行拍摄，得到细检测图像集；
S6、将细检测图像集输入训练完成的Yolo神经网络模型中，得到检测异物及其分类结果。
2.根据权利要求1所述的基于无人机高低空联合扫描的机场跑道异物检测分类方法，其特征在于，所述步骤S1包括以下步骤：
S11、从俯视角度拍摄带有异物的机场跑道，得到原始图像集；
S12、对原始图像集中异物在跑道中的位置和类型进行标注，得到训练图像集；
S13、采用训练图像集训练Yolo神经网络模型，得到训练完成的Yolo神经网络模型；
S14、将训练完成的Yolo神经网络模型部署到无人机的机载计算机中。
3.根据权利要求1所述的基于无人机高低空联合扫描的机场跑道异物检测分类方法，其特征在于，所述步骤S2包括以下步骤：
S21、根据机场跑道的宽度W和无人机的相机参数，得到无人机的粗检测拍摄高度h1：
Figure FDA0002590454830000021
其中，F为相机等效焦距，FW为相机的水平拉伸系数，CW为相机靶面宽度；
S22、构建无人机飞行线路，并以速度v和高度h1匀速飞行；
S23、在匀速飞行过程中，通过无人机以间隔
Figure FDA0002590454830000022
的时间俯视拍摄照片，其中，Fl为相机竖直拉伸系数，Cl为相机靶面长度；
S24、通过机载GPS，记录每张照片对应的坐标；
S25、采用ITTI算法对每张照片进行显著性检测，得到一组异物疑似点相对坐标；
S26、将该组异物疑似点相对坐标与每张照片对应的坐标相加，得到异物疑似点绝对坐标；
S27、将所有照片中的异物疑似点绝对坐标进行合并，得到无人机跑道上所有疑似异物点的坐标。
4.根据权利要求1所述的基于无人机高低空联合扫描的机场跑道异物检测分类方法，其特征在于，所述步骤S3包括以下步骤：
S31、根据无人机跑道上所有疑似异物点的坐标，确定无人机的最大飞行高度和最小飞行高度；
S32、根据无人机的最大飞行高度和最小飞行高度，得到无人机在最大飞行高度时照片的最大覆盖范围和无人机在最小飞行高度时照片的最小覆盖范围；
S33、判断当前跑道范围内是否存在异物疑似点，若是，则跳转至步骤S34，若否，则跳转至步骤S36；
S34、找到一个异物疑似点，将该异物疑似点作为无人机视距的中心，记其坐标为中心坐标，并上升至照片的最大覆盖范围对应的高度，得到覆盖最多异物疑似点的检测区域；
S35、记录覆盖最多异物疑似点的检测区域，并删除该检测区域的所有异物疑似点，得到异物检测区域，并跳转至步骤S33；
S36、对每个异物检测区域，保持中心坐标不变，将每个异物检测区域按比例缩小，直到异物检测区域缩小为照片的最小覆盖范围或者异物疑似点处于异物检测区域的边界上，得到细检测异物区域的长度和宽度；
S37、根据细检测异物区域的长度和宽度，得到无人机细检测拍摄高度h2：
S38、根据细检测异物区域对应的中心坐标和无人机细检测拍摄高度h2，得到无人机在每个细检测异物区域上拍摄照片时的三维空间位置。
5.根据权利要求4所述的基于无人机高低空联合扫描的机场跑道异物检测分类方法，其特征在于，所述步骤S37中无人机细检测拍摄高度h2为：
Figure FDA0002590454830000031
其中，F为相机等效焦距，Ls为细检测异物区域的长度，hr为修正参数，Fl为相机竖直拉伸系数，Cl为相机靶面长度。
6.根据权利要求4所述的基于无人机高低空联合扫描的机场跑道异物检测分类方法，其特征在于，所述步骤S37中无人机细检测拍摄高度h2为：
Figure FDA0002590454830000032
其中，F为相机等效焦距，Ws为细检测异物区域的宽度，hr为修正参数，FW为相机的水平拉伸系数，CW为相机靶面宽度。
7.根据权利要求1所述的基于无人机高低空联合扫描的机场跑道异物检测分类方法，其特征在于，所述步骤S4中损失函数为：
Figure FDA0002590454830000041
其中，l1,…,li,…,lN为细检测异物区域的序号，li为第i个细检测异物区域，f为损失函数，N为总的细检测异物区域数量，
Figure FDA0002590454830000042
为对第i个细检测异物区域进行拍摄时无人机的横坐标，
Figure FDA0002590454830000043
为第i个细检测异物区域进行拍摄时无人机的纵坐标，
Figure FDA0002590454830000044
为对第i个细检测异物区域进行拍摄时无人机的竖坐标，λ为高度惩罚因子。
CN202010694200.7A 2020-07-17 2020-07-17 基于无人机高低空联合扫描的机场跑道异物检测分类方法 Active CN111814721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010694200.7A CN111814721B (zh) 2020-07-17 2020-07-17 基于无人机高低空联合扫描的机场跑道异物检测分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010694200.7A CN111814721B (zh) 2020-07-17 2020-07-17 基于无人机高低空联合扫描的机场跑道异物检测分类方法

Publications (2)

Publication Number Publication Date
CN111814721A true CN111814721A (zh) 2020-10-23
CN111814721B CN111814721B (zh) 2022-05-24

Family

ID=72866026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010694200.7A Active CN111814721B (zh) 2020-07-17 2020-07-17 基于无人机高低空联合扫描的机场跑道异物检测分类方法

Country Status (1)

Country Link
CN (1) CN111814721B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112379349A (zh) * 2020-11-26 2021-02-19 中国科学院空天信息创新研究院 一种机场道面异物分类方法、装置、设备和存储介质
CN112990146A (zh) * 2021-05-06 2021-06-18 成都理工大学 一种基于无人机的石油管线巡检异常隐患智能识别方法
CN113326752A (zh) * 2021-05-20 2021-08-31 淮阴工学院 一种基于无人机的光伏电站识别方法及***
CN114035604A (zh) * 2021-09-27 2022-02-11 广州市赋安电子科技有限公司 一种视频监控和无人机空地联动的异常目标检测方法
CN114167891A (zh) * 2021-11-29 2022-03-11 湖南汽车工程职业学院 一种基于无人机的地面数据采集处理***
CN115063679A (zh) * 2022-06-15 2022-09-16 电子科技大学 一种基于深度学习的路面质量评估方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5892855A (en) * 1995-09-29 1999-04-06 Aisin Seiki Kabushiki Kaisha Apparatus for detecting an object located ahead of a vehicle using plural cameras with different fields of view
CN106708084A (zh) * 2016-11-24 2017-05-24 中国科学院自动化研究所 复杂环境下无人机自动障碍物检测和避障方法
CN107783544A (zh) * 2016-08-25 2018-03-09 大连楼兰科技股份有限公司 一种控制单旋翼植保无人机避障飞行的方法
US20180085792A1 (en) * 2015-02-04 2018-03-29 The Boeing Company System and method for high speed fod detection
CN110244760A (zh) * 2019-06-06 2019-09-17 深圳市道通智能航空技术有限公司 一种避障方法、装置和电子设备
US20190354772A1 (en) * 2016-12-26 2019-11-21 Argosai Teknoloji Anonim Sirketi A method for foreign object debris detection
CN110503070A (zh) * 2019-08-29 2019-11-26 电子科技大学 基于航拍图像目标检测处理技术的交通自动化监测方法
CN110781757A (zh) * 2019-09-29 2020-02-11 中国航空无线电电子研究所 一种机场道面异物识别定位方法及***
CN110866483A (zh) * 2019-11-11 2020-03-06 南京航空航天大学 一种动静结合的机场跑道异物视觉检测与定位方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5892855A (en) * 1995-09-29 1999-04-06 Aisin Seiki Kabushiki Kaisha Apparatus for detecting an object located ahead of a vehicle using plural cameras with different fields of view
US20180085792A1 (en) * 2015-02-04 2018-03-29 The Boeing Company System and method for high speed fod detection
CN107783544A (zh) * 2016-08-25 2018-03-09 大连楼兰科技股份有限公司 一种控制单旋翼植保无人机避障飞行的方法
CN106708084A (zh) * 2016-11-24 2017-05-24 中国科学院自动化研究所 复杂环境下无人机自动障碍物检测和避障方法
US20190354772A1 (en) * 2016-12-26 2019-11-21 Argosai Teknoloji Anonim Sirketi A method for foreign object debris detection
CN110244760A (zh) * 2019-06-06 2019-09-17 深圳市道通智能航空技术有限公司 一种避障方法、装置和电子设备
CN110503070A (zh) * 2019-08-29 2019-11-26 电子科技大学 基于航拍图像目标检测处理技术的交通自动化监测方法
CN110781757A (zh) * 2019-09-29 2020-02-11 中国航空无线电电子研究所 一种机场道面异物识别定位方法及***
CN110866483A (zh) * 2019-11-11 2020-03-06 南京航空航天大学 一种动静结合的机场跑道异物视觉检测与定位方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112379349A (zh) * 2020-11-26 2021-02-19 中国科学院空天信息创新研究院 一种机场道面异物分类方法、装置、设备和存储介质
CN112379349B (zh) * 2020-11-26 2023-08-01 中国科学院空天信息创新研究院 一种机场道面异物分类方法、装置、设备和存储介质
CN112990146A (zh) * 2021-05-06 2021-06-18 成都理工大学 一种基于无人机的石油管线巡检异常隐患智能识别方法
US11353162B1 (en) 2021-05-06 2022-06-07 Chengdu University Of Technology Unmanned aerial vehicle (UAV)-based intelligent anomaly identification method for petroleum pipeline inspection
CN113326752A (zh) * 2021-05-20 2021-08-31 淮阴工学院 一种基于无人机的光伏电站识别方法及***
CN113326752B (zh) * 2021-05-20 2024-04-30 淮阴工学院 一种基于无人机的光伏电站识别方法及***
CN114035604A (zh) * 2021-09-27 2022-02-11 广州市赋安电子科技有限公司 一种视频监控和无人机空地联动的异常目标检测方法
CN114035604B (zh) * 2021-09-27 2022-06-17 广州赋安数字科技有限公司 一种视频监控和无人机空地联动的异常目标检测方法
CN114167891A (zh) * 2021-11-29 2022-03-11 湖南汽车工程职业学院 一种基于无人机的地面数据采集处理***
CN114167891B (zh) * 2021-11-29 2022-08-16 湖南汽车工程职业学院 一种基于无人机的地面数据采集处理***
CN115063679A (zh) * 2022-06-15 2022-09-16 电子科技大学 一种基于深度学习的路面质量评估方法
CN115063679B (zh) * 2022-06-15 2024-04-26 电子科技大学 一种基于深度学习的路面质量评估方法

Also Published As

Publication number Publication date
CN111814721B (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN111814721B (zh) 基于无人机高低空联合扫描的机场跑道异物检测分类方法
CN111814720B (zh) 一种基于无人机视觉的机场跑道异物检测与分类方法
CN109765930B (zh) 一种无人机视觉导航***
CN107358796B (zh) 一种基于无人机的车辆检测方法
CN108919838B (zh) 一种基于双目视觉的无人机输电线路自动跟踪方法
CN104215239B (zh) 基于视觉的无人机自主着陆导引装置实现的导引方法
Rudol et al. Human body detection and geolocalization for UAV search and rescue missions using color and thermal imagery
CN108827297B (zh) 一种基于图像的无人机农业巡检轨迹实时规划方法
CN103822635B (zh) 基于视觉信息的无人机飞行中空间位置实时计算方法
CN111213155A (zh) 图像处理方法、设备、可移动平台、无人机及存储介质
CN113494913A (zh) 无人机电力巡检规划方法、装置、计算机设备和存储介质
CN109683629B (zh) 基于组合导航和计算机视觉的无人机电力架线***
KR102195179B1 (ko) 항공사진을 이용한 정사영상 구축방법
CN105527969B (zh) 一种基于无人机的山地植被垂直带调查监测方法
CN115797873B (zh) 一种人群密度检测方法、***、设备、存储介质及机器人
CN113298035A (zh) 基于图像识别的无人机电力杆塔检测及自主巡航方法
CN112132144A (zh) 一种基于遥感图像的无人机航线撞地风险评估方法
CN107221006A (zh) 一种基于无人机成像平台的通信单管塔倾斜检测方法
CN107820585A (zh) 飞行器降落方法、飞行器和计算机可读存储介质
US20230222642A1 (en) Inundation damage determination device, inundation damage determination method, and program
CN115854912A (zh) 基于三维激光扫描技术的大坝渗水面积识别装置及方法
Chiu et al. Vision-only automatic flight control for small UAVs
CN114729804A (zh) 用于导航的多光谱成像***和方法
CN112119428A (zh) 获取降落位置的方法、设备、无人机、***及存储介质
KR102349818B1 (ko) 개선된 cnn 기반으로 한 도로 균열 감지 자율 비행 드론

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant