CN112686172A - 机场跑道异物检测方法、装置及存储介质 - Google Patents

Abstract

本发明提供了一种机场跑道异物检测方法、装置及存储介质，其中，机场跑道异物检测方法，包括：获取第一图像，所述目标图像为初始图像流中非第一帧的图像；对所述第一图像进行超分辨处理，得到第二图像；将所述第二图像输入到训练完成的机场跑道异物检测模型中，得到第一检测结果。本发明实施例可以有效解决在一些情况下图像模糊导致FOD难以识别、FOD误检率高及实时性低的问题，提高FOD检测的速度和准确率，有效提高了模糊图像帧下检测FOD目标的能力。

Description

机场跑道异物检测方法、装置及存储介质

技术领域

本发明涉及深度学习技术领域，具体地，涉及一种机场跑道异物检测方法、装置及存储介质。

背景技术

机场跑道异物(Foreign Object Debris，FOD)通常指能够损坏航空器或***的某些外来物体。典型的FOD目标有：混凝土沥青碎块、金属器件、橡胶碎片、塑料制品、鸟尸等。近年来，由于FOD造成的机场飞机起降事故屡见不鲜，人员伤亡惨重。保障机场飞机的起降安全一直以来是机场安全管理的核心部分，而针对FOD的快速精确检测已经成为保障飞机飞行安全的一项重要且有效的技术。

一般来说，FOD可以基于图像进行检测，然而由于对机场跑道进行图像采集的环境可能比较复杂，例如，可能会在大风、黑夜或者背光等条件下对图像进行采集，如此，可能导致采集的图像比较模糊，进而导致FOD的检测效果较差。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种机场跑道异物检测方法、装置及存储介质。

根据本发明实施例提供的机场跑道异物检测方法，包括获取第一图像，所述目标图像为初始图像流中非第一帧的图像；

对所述第一图像进行超分辨处理，得到第二图像；

将所述第二图像输入到训练完成的机场跑道异物检测模型中，得到第一检测结果。

本发明实施例还提供了一种机场跑道异物检测装置，包括：

第一获取模块，用于获取第一图像，所述目标图像为初始图像流中非第一帧的图像；

处理模块，用于对所述第一图像进行超分辨处理，得到第二图像；

检测模块，用于将所述第二图像输入到训练完成的机场跑道异物检测模型中，得到第一检测结果。

本发明实施例还提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现上述的机场跑道异物检测方法的步骤。

本申请实施例中，获取第一图像，并针对第一图像进行超分辨处理，得到第二图像，将第二图像输入到训练完成的机场跑道异物检测模型中，得到第一检测结果。本申请实施例中，结合超分辨处理与机场跑道异物检测模型实现对第一图像中的FOD的检测，可以有效解决在一些情况下图像模糊导致FOD难以识别、FOD误检率高及实时性低的问题，提高FOD检测的速度和准确率，有效提高了模糊图像帧下检测FOD目标的能力。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例提供的机场跑道异物检测方法的流程示意图；

图2为本发明实施例中对第一图像进行超分辨处理的流程示意图；

图3为本发明实施例中得到训练完成的机场跑道异物检测模型的过程的流程示意图；

图4为本发明实施例中初始机场跑道异物检测模型的一个举例的模型框架图；

图5为本发明实施例提供的机场跑道异物检测方法在一具体应用例中的流程示意图；

图6为本发明实施例提供的机场跑道异物检测装置的结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

如图1所示，本发明实施例提供的机场跑道异物检测方法，包括：

步骤101，获取第一图像，所述目标图像为初始图像流中非第一帧的图像；

步骤102，对所述第一图像进行超分辨处理，得到第二图像；

步骤103，将所述第二图像输入到训练完成的机场跑道异物检测模型中，得到第一检测结果。

初始图像流可以是通过摄像头等类型的光学视频图像采集设备采集得到的视频，结合一实际应用场景，光学视频图像采集设备通常设置在机场跑道不远的室外环境，范围大约在300米以内，由于风、飞机起飞降落等会引起光学视频图像采集设备的振动，会造成光学视频图像在最长焦距情况下抖动大，产生模糊。换而言之，针对机场跑道异物(ForeignObject Debris，FOD)进行拍摄得到初始图像流中，往往可能会存在模糊图像。

本实施例中，第一图像可以是初始图像流中非第一帧的图像，考虑到第一图像可能会比较模糊，可以对第一图像进行超分辨处理，得到第二图像。对于超分辨处理，可以是基于深度学习模型进行的，总的来说，通过超分辨处理，可以将低清晰度或者模糊的图像，重建成高清晰度的图像，从而有助于提高后续针对模糊图像帧中的FOD的检测准确性。

本实施例可以针对第二图像中的FOD的检测，具体可以通过训练完成的机场跑道异物检测模型进行实现；而机场跑道异物检测模型，同样可以是深度学习模型，例如神经网络、支持向量机、随机森林等等，此处不做具体限定。而为了简化描述，以下主要以深度学习模型为神经网络为例进行说明。

将第二图像输入到训练完成的机场跑道异物检测模型中，得到第一检测结果，第一检测结果可以是第二图像中的FOD的位置与类型；例如，从可视化的角度来说，可以是在第二图像中显示用于框选FOD的预测框，并针对预测框中的FOD预测具体的类型，比如混凝土沥青碎块、金属器件或者塑料制品等。

本申请实施例中，获取第一图像，并针对第一图像进行超分辨处理，得到第二图像，将第二图像输入到训练完成的机场跑道异物检测模型中，得到第一检测结果。本申请实施例中，结合超分辨处理与机场跑道异物检测模型实现对第一图像中的FOD的检测，可以有效解决在一些情况下图像模糊导致FOD难以识别、FOD误检率高及实时性低的问题，提高FOD检测的速度和准确率，有效提高了模糊图像帧下检测FOD目标的能力。

可选地，如图2所示，上述步骤102，对所述第一图像进行超分辨处理，得到第二图像，包括：

步骤201，获取所述第一图像的构造(Structure)信息与细节(Details)信息，以及第三图像的Structure信息与Details信息；所述第三图像为所述初始图像流中所述第一图像的前一帧图像；

步骤202，依据所述第一图像的Structure信息与Details信息，以及所述第三图像的Structure信息与Details信息，确定目标Structure信息与目标Details信息；

步骤203，对所述目标Structure信息与所述目标Details信息进行拼接，得到所述第二图像。

具体来说，对于步骤201中构建模糊视频帧的Structure信息和Details信息；视频每一帧分解为Structure信息和Details信息两个部分，其中Structure信息部分对图像中的低频信息以及帧之间的运动进行建模，而Details信息部分则捕获了精细的高频信息并且外观会有略微变化。

在步骤202中，可以对Structure信息和Details信息进行相关处理并进行特征融合，输出相应的Structure和Details高分辨率结果，也就是上述的目标Structure信息与目标Details信息。举例来说，可以将Structure信息与前一帧估计的Structure信息，前一帧估计的隐状态信息按通道维度进行拼接，然后送入一个3x3卷积层和多个SD(Structure-Detail)模块进行特征融合，此时的输出再通过一个3x3卷积和一个上采样层，最终输出当前帧的高分辨率Structure结果；Details信息部分和Structure分支的处理过程一样，只不过其输入是Details信息与前一帧估计的Details信息，前一帧估计的隐状态信息,输出是当前帧的高分辨率Details结果。

而在步骤203中，可以将Structure和Details高分辨结果进行拼接，输出最终超分辨结果。例如，在步骤202的基础之上，可以对Structure和Details高分辨结果进行求和，接着将求和后的输出再通过一个3x3卷积得到当前帧的隐状态，与此同时，将Structure和Details高分辨结果经过一个3x3卷积后按通道维数拼接，再馈入另一个3x3卷积和上采样层，就得到当前帧的超分辨结果。

总的来说，本实施例中，可以基于视频帧超分辨技术，利用视频帧多帧之间的相关性来进行低分辨率图像的超分辨重建，从而有效提高输入到训练完成的机场跑道异物检测模型中的图像的质量，提高对FOD的识别准确性。

可选地，如图3所示，上述步骤101，将所述第二图像输入到训练完成的机场跑道异物检测模型中，得到第一检测结果之前，上述机场跑道异物检测方法还包括：

步骤301，建立初始机场跑道异物检测模型；

步骤302，将训练样本输入到所述初始机场跑道异物检测模型中，得到初始检测结果，所述训练样本包括样本图像以及对所述样本图像的标注信息；

步骤303，根据所述标注信息与所述初始检测结果，对所述初始机场跑道异物检测模型的网络参数进行调整，直至所述初始机场跑道异物检测模型中的损失函数的损失值满足预设条件时，获得所述训练完成的机场跑道异物检测模型。

初始机场跑道异物检测模型可以是一种深度学习模型，本实施例中，初始机场跑道异物检测模型可以认为是为得到充分训练的深度学习模型，通过训练样本对初始机场跑道异物检测模型，可以对其网络参数进行调整，例如对权重，或者在训练效果不佳的情况下，也可以对其中的超参数进行调整等，此处不做具体限定。

初始机场跑道异物检测模型训练完成的依据，可以是基于损失函数的损失值进行确定，例如，训练样本中可以包括样本图像以及对样本图像进行标注得到的标注信息，而将训练样本输入到初始机场跑道异物检测模型中后，可以输出初始检测结果，例如FOD对应的预测框与预测类型等，通常来说，初始机场跑道异物检测模型输出的初始检测结果可能与标注信息之间存在一定的差异，该部分差异可以最终反映到损失函数的损失值中。因此，当损失函数的损失值越小时，代表初始检测结果越接近真实的结果。

本实施例中，当初始机场跑道异物检测模型中的损失函数的损失值满足预设条件时，可以认为初始机场跑道异物检测模型已经得到比较充分的训练，进而可以得到训练完成的机场跑道异物检测模型。这里的预设条件，可以是损失值小于某一损失阈值，或者，在训练样本数量有效的情况下，当损失值处于一比较能够接受的范围内时，也可以认为满足了预设条件。

在一个示例中，上述步骤301，将训练样本输入到所述初始机场跑道异物检测模型中，得到初始检测结果之前，机场跑道异物检测方法还包括：

对获取的第一样本图像进行自动标注，得到第一训练样本；

对所述第一训练样本进行图像增强处理，得到第二训练样本；

其中，所述训练样本包括所述第一训练样本与所述第二训练样本，所述图像增强处理包括以下至少一种处理方式：马赛克Mosaic、旋转、调整饱和度、调整曝光度以及调整色调。

结合一具体应用场景对本示例进行说明，第一样本图像可以是包括了FOD样本的图像，以下可以称为原始FOD图像。具体来说，可以先采集不同FOD样本，包括清晰图像的FOD样本，以及模糊图像的FOD样本，其中采集的FOD样本种类包括高尔夫球、螺丝钉、灯具以及不同尺寸大小的标准物件(例如：直径为10mm、高度为10mm的金属圆柱体，直径为15mm、高度为10mm的金属圆柱体，直径为20mm、高度为20mm的金属圆柱体)，从而有助于提高后续训练样本的数据量以及多样性。

本示例中，训练样本可以包括两方面的内容，一是对原始FOD图像的标注得到的第一训练样本，二是对第一训练样本进行增强处理得到第二训练样本。以下针对各类训练样本的获取方式进行具体说明。

对于第一训练样本，可以是通过对原始FOD图像自动标注得到，例如，可以是现有的labelImg或者labelme等专业的图像标注工具进行自动标注的，当然，也可以是基于已有的经过一定程度训练的深度学习模型进行标注得到。容易理解的是，第一训练样本可以认为是对原始拍摄的图片直接进行标注得到，而第二训练样本则可以是针对第一训练样本进行一定的处理后得到，例如，可以将第一训练样本进行旋转、裁剪、像素参数调整等增强处理，得到第二训练样本，从而增加了样本量且丰富了多样性。

此外，本示例中，图像增强处理的方式还可以包括马赛克Mosaic，对于Mosaic处理方式，可以指从图像中随机选取多张(一般为四张)进行拼接为一张图像，拼接方式为随机缩放、随机裁剪和随机排布，极大地丰富了样本集的数量，均衡了不同尺寸FOD的数量。

在得到第一训练样本与第二训练样本后，可以将全部训练样本用于对初始机场跑道异物检测模型进行训练，得到训练完成的机场跑道异物检测模型；由于训练样本在经过增强处理后，样本量和多样性均得到了提升，训练样本的质量较高，有助于使得训练完成的机场跑道异物检测模型的鲁棒性更好。此外，本实施例中，针对FOD图像的标注、增强处理均可以自动进行，也就是说，从原始FOD图像被获取，到机场跑道异物检测模型的训练，可以认为是端到端(end-to-end)的训练过程，有助于适应因FOD类型与尺寸的多样带来的训练样本需求量大的情况，保证训练完成的机场跑道异物检测模型的检测准确度。

在实际应用中，原始FOD图像可以是在不同的环境下采集得到，例如，可以采集沥青跑道和水泥跑道背景下图像、白天和黑夜环境下图像、各种极端天气下图像、摄像机距离跑道不同距离以及不同高度下的图像等等。如此，有助于提升后续得到的机场跑道异物检测模型的泛化性能，提高FOD检测的准确度。

结合上述自动标注以及对初始机场跑道异物检测模型进行训练的过程可见，本申请实施例中，可以实现端到端(end-to-end)的训练过程，有助于适应因FOD类型与尺寸的多样带来的训练样本需求量大的情况，保证训练完成的机场跑道异物检测模型的检测准确度。

进一步可选地，上述步骤301，建立初始机场跑道异物检测模型，可以包括：

搭建基于YOLOv4的端到端神经网络，设置引导文件CFG，以及机场跑道异物类别标签。

具体来说，本实施例中，针对初始机场跑道异物检测模型的训练过程可以总结为：

步骤S11：采集不同FOD样本，包括清晰图像的FOD样本，以及模糊图像的FOD样本，其中采集的FOD样本种类包括高尔夫球、螺丝钉、灯具以及不同尺寸大小的标准物件(直径为10mm、高度为10mm的金属圆柱体，直径为15mm、高度为10mm的金属圆柱体，直径为20mm、高度为20mm的金属圆柱体)；

步骤S12：制作FOD图像混合数据集，具体包括：使用专业的图像标注工具LabelImg对FOD图像中FOD的位置坐标以及类别进行标注，标注后的数据格式选择保存为YOLO格式；

步骤S13：搭建端到端的FOD检测神经网络，具体包括：搭建相应的端到端算法框架，设置CFG文件相关参数，设置相应的FOD类别标签；

步骤S14：进行端到端神经网络模型训练，首先加载预训练模型用于初始化参数，有利于加速模型收敛速度，接着对输入混合数据集图像进行预处理，其中预处理具体包括：旋转、调节饱和度、曝光量、色调，最后开始模型训练，不断调整超参数进行优化，多轮迭代之后得出最优模型，即获取到训练完成的机场跑道异物检测模型。

可选地，所述初始机场跑道异物检测模型，包括：输入模块、主干网络、融合特征提取模块以及检测分类模块；

其中，所述输入模块的输入端用于接收所述第二训练样本，所述输入模块、所述主干网络、所述融合特征提取模块以及所述检测分类模块依次连接，所述检测分类模块用于输出预测框与分类标签。

以下针对上述初始机场跑道异物检测模型中的各个模块的具体实现方式以及功能进行举例说明：

1)输入模块：这里的创新主要是训练时对输入端的改进，主要包括Mosaic图像增强、跨小批量归一化(Cross mini-Batch Normalization，CmBN)、自对抗训练(Self-Adversarial Training，SAT)。Mosaic图像增强方式指的是使用四张FOD图像，采用随机缩放、随机裁剪以及随机排布的方式进行拼接，这大大丰富了检测数据集，特别是随机缩放增加了很多小目标，让网络的鲁棒性更好；除此之外，还减少了GPU的数量，使得Mini-batch大小并不需要很大，一个GPU就可以达到比较好的效果；跨小批量归一化只收集单个批次中的小批次之间的统计信息，其优点是可以在Batch-size比较小的情况下维持精度在一个合理的范围下，同时也为了适合单卡GPU训练；自对抗训练是一种数据扩充技术，对抗样本是指在原样本的基础上加入一些轻微的扰动，使得在人眼分辨不出差别的情况下，诱导模型进行错误分类，该技术分为前后两个阶段进行：在第一阶段，神经网络改变原始图像而不是网络权值，通过这种方式，神经网络对自身执行一种对抗性攻击，改变原始图像，从而造成图像上没有目标的假象；在第二阶段，训练神经网络对修改后的图像进行正常的目标检测。

2)主干网络：可以将CSPDarknet53、Mish激活函数、Dropblock进行结合在一起。CSPDarknet53是将Darknet53和CSPNet(Cross Stage Paritial Network)进行结合，CSP模块先将基础层的特征映射划分为两部分，然后通过跨阶段层次结构将它们合并，在减少了计算量的同时保证了准确率，CSPNet很好地解决了推理中计算量很大的问题；Mish激活函数公式如式(1)所示。

f(x)＝xtanh(ln(1+e^x)) (1)

优化模型采用Dropblock方式，将特征图的整个局部区域进行删减丢弃，使得网络变得更加简单，但是又不影响整体的检测准确率。

在一个示例中，主干网络可以采用BackBone主干网络。

3)融合特征提取模块Neck：在主干网络和最后的输出层之间***层，比如SPP模块、FPN+PAN结构。SPP模块是使用k＝{1*1,5*5,9*9,13*13}的最大池化方式，然后再将不同尺度的特征图进行组合，更有效的增加主干特征的接收范围，显著的分离了最重要的上下文特征；FPN层自顶向下传达强语义特征，而特征金字塔则自底向上传达强定位特征，两两结合，从不同的主干层对不同的检测层进行参数聚合，进一步提高特征提取的能力。

4)检测分类模块Prediction：改进的是训练时的损失函数CIOU_Loss，以及预测框筛选的nms变为DIOU_nms。CIOU_Loss损失函数的公式如式(2)所示。

其中，IOU是预测框和真实框之间的交并比；b和b^gt分别表示预测框和真实框的中心点，ρ(·)表示欧氏距离，c表示预测框和真实框的最小外接矩形对角线距离，v是衡量长宽比一致性的参数，表达式如式(3)所示。

其中，h^gt和w^gt分别表示真实框的长和宽，h^p和w^p分别表示预测框的长和宽。

根据FOD数据集的特点，在进行模型训练之前对网络相关参数以及配置文件进行更改。将训练NAMES格式文件中的类别分别修改为对应的四个FOD类别标签，DATA格式文件分别修改类别数和训练、测试的txt文件路径。接着对CFG文件中的batch、subdivision、steps等均根据实验配置进行相应改进。在对yolo层的anchors进行改进时，首先使用k-means算法计算出适合数据集的anchors值，再将计算出的anchors值应用到模型配置文件中。图4表示了在一个举例中模型训练阶段的模型框架图。

可选地，上述步骤103，将所述第二图像输入到训练完成的机场跑道异物检测模型中，得到第一检测结果之后，机场跑道异物检测方法还包括：

基于所述第一检测结果与第二检测结果，获得机场跑道异物检测结果；所述第二检测结果为通过雷达对机场跑道异物进行检测得到的检测结果。

本实施例中，机场跑道异物检测结果可以是基于雷达探测到FOD与摄像机进行联动得到的。结合一实际应用场景，雷达探测到FOD后，摄像机联动到FOD所在区域，客调用训练好的机场跑道异物检测模型，解析模型中的参数，然后对图像画面中的FOD进行目标检测与分类，检测结果能够精确地框出图像画面中的FOD且显示出所框出的FOD的标签。通过雷达探测与视频监控复合探测方法能够有效提高检测准确率和实时性，降低虚警率。

参见图5，在一个具体应用例中，本发明实施例提供的机场跑道异物检测方法可以具体包括：

步骤1：对基于模糊图像的端到端神经网络进行训练和部署；

步骤2：对模糊视频帧进行超分辨重建；

步骤3：利用训练好的端到端神经网络模型进行重建后的视频帧FOD检测与分类。

在步骤1中，具体包括：

步骤1.1：采集不同FOD样本，包括清晰图像的FOD样本，以及模糊图像的FOD样本，其中采集的FOD样本种类包括高尔夫球、螺丝钉、灯具以及不同尺寸大小的标准物件(直径为10mm、高度为10mm的金属圆柱体，直径为15mm、高度为10mm的金属圆柱体，直径为20mm、高度为20mm的金属圆柱体)；

步骤1.2：制作FOD图像数据集，具体包括：使用专业的图像标注工具LabelImg对FOD图像中FOD的位置坐标以及类别进行标注，标注后的数据格式选择保存为YOLO格式；图2为标注后的标签样式。

步骤1.3：搭建端到端的FOD检测神经网络，具体包括：搭建相应的端到端算法框架，设置CFG文件相关参数，设置相应的FOD类别标签；

步骤1.4：进行端到端神经网络模型训练，首先加载预训练模型用于初始化参数，有利于加速模型收敛速度，接着对输入数据集图像进行预处理，其中预处理具体包括：旋转、调节饱和度、曝光量、色调，最后开始模型训练，不断调整超参数进行优化，多轮迭代之后得出最优模型。

在步骤2中，具体包括：

步骤2.1：构建模糊视频帧的Structure信息和Details信息。

步骤2.2：对Structure信息和Details信息进行相关处理并进行特征融合，输出相应的Structure和Details高分辨率结果。

步骤2.3：将Structure和Details高分辨结果进行拼接，输出最终超分辨结果。

在步骤3中，具体包括：

步骤3.1：输入待检测FOD图像或视频帧。

步骤3.2：基于该图像或视频帧构建超分辨图像。

步骤3.3：调用检测模型进行检测。

步骤3.4：检测分类并输出结果，对检测的FOD的坐标位置进行画图框出位置，并将预测的FOD标签显示在框的上面。

本发明通过端到端学习和模糊视频帧超分辨，可以应用在不同类型的跑道及夜间，进行FOD小目标检测与分类，以及同一跑道的不同时段进行FOD检测与分类，并且仅需单个GPU就可以进行模型训练与测试，解决了长焦距情况下FOD模糊图像难以识别、FOD***误检率高及实时性低的问题，提高了FOD检测的速度和准确率，有效提高了模糊视频帧下检测小目标的能力。

如图6所示，本发明实施例还提供了一种机场跑道异物检测装置，包括：

第一获取模块601，用于获取第一图像，所述目标图像为初始图像流中非第一帧的图像；

处理模块602，用于对所述第一图像进行超分辨处理，得到第二图像；

检测模块603，用于将所述第二图像输入到训练完成的机场跑道异物检测模型中，得到第一检测结果。

可选地，所述处理模块602，包括：

第一获取单元，用于获取所述第一图像的构造Structure信息与细节Details信息，以及第三图像的Structure信息与Details信息；所述第三图像为所述初始图像流中所述第一图像的前一帧图像；

确定单元，用于依据所述第一图像的Structure信息与Details信息，以及所述第三图像的Structure信息与Details信息，确定目标Structure信息与目标Details信息；

第二获取单元，用于对所述目标Structure信息与所述目标Details信息进行拼接，得到所述第二图像。

可选地，机场跑道异物检测装置还包括：

建立模块，用于建立初始机场跑道异物检测模型；

第二获取模块，用于将训练样本输入到所述初始机场跑道异物检测模型中，得到初始检测结果，所述训练样本包括样本图像以及对所述样本图像的标注信息；

调整获取模块，用于根据所述标注信息与所述初始检测结果，对所述初始机场跑道异物检测模型的网络参数进行调整，直至所述初始机场跑道异物检测模型中的损失函数的损失值满足预设条件时，获得所述训练完成的机场跑道异物检测模型。

可选地，机场跑道异物检测装置还包括：

第三获取模块，用于对获取的第一样本图像进行自动标注，得到第一训练样本；

第四获取模块，用于对所述第一训练样本进行图像增强处理，得到第二训练样本；

其中，所述训练样本包括所述第一训练样本与所述第二训练样本，所述图像增强处理包括以下至少一种处理方式：马赛克Mosaic、旋转、调整饱和度、调整曝光度以及调整色调。

可选地，建立模块可具体用于：

搭建基于YOLOv4的端到端神经网络，设置引导文件CFG，以及机场跑道异物类别标签。

可选地，所述初始机场跑道异物检测模型，包括：输入模块、主干网络、融合特征提取模块以及检测分类模块；

其中，所述输入模块的输入端用于接收所述第二训练样本，所述输入模块、所述主干网络、所述融合特征提取模块以及所述检测分类模块依次连接，所述检测分类模块用于输出预测框与分类标签。

可选地，所述输入模块采用cmBN和SAT自对抗进行训练；

所述主干网络包括BackBone主干网络，所述BackBone主干网络中融合了Mish激活函数以及Dropblock方式；

所述融合特征提取模块包括SPP模块与FPN+PAN结构；

所述检测分类模块使用CIOU_Loss损失函数，且所述检测分类模块在预测框筛选时选择DIOU_nms方式。

可选地，机场跑道异物检测装置还包括：

第五获取模块，用于基于所述第一检测结果与第二检测结果，获得机场跑道异物检测结果；所述第二检测结果为通过雷达对机场跑道异物进行检测得到的检测结果。

需要说明的是，本发明实施例提供的机场跑道异物检测装置是与上述机场跑道异物检测方法对应的装置，上述方法实施例中所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。

本发明实施例还提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现上述的机场跑道异物检测方法的步骤。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种机场跑道异物检测方法，其特征在于，包括：

获取第一图像，所述目标图像为初始图像流中非第一帧的图像；

对所述第一图像进行超分辨处理，得到第二图像；

将所述第二图像输入到训练完成的机场跑道异物检测模型中，得到第一检测结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行超分辨处理，得到第二图像，包括：

获取所述第一图像的构造Structure信息与细节Details信息，以及第三图像的Structure信息与Details信息；所述第三图像为所述初始图像流中所述第一图像的前一帧图像；

依据所述第一图像的Structure信息与Details信息，以及所述第三图像的Structure信息与Details信息，确定目标Structure信息与目标Details信息；

对所述目标Structure信息与所述目标Details信息进行拼接，得到所述第二图像。

3.根据权利要求1所述的方法，其特征在于，所述将所述第二图像输入到训练完成的机场跑道异物检测模型中，得到第一检测结果之前，所述方法还包括：

建立初始机场跑道异物检测模型；

将训练样本输入到所述初始机场跑道异物检测模型中，得到初始检测结果，所述训练样本包括样本图像以及对所述样本图像的标注信息；

根据所述标注信息与所述初始检测结果，对所述初始机场跑道异物检测模型的网络参数进行调整，直至所述初始机场跑道异物检测模型中的损失函数的损失值满足预设条件时，获得所述训练完成的机场跑道异物检测模型。

4.根据权利要求3所述的方法，其特征在于，所述将训练样本输入到所述初始机场跑道异物检测模型中，得到初始检测结果之前，所述方法还包括：

对获取的第一样本图像进行自动标注，得到第一训练样本；

对所述第一训练样本进行图像增强处理，得到第二训练样本；

其中，所述训练样本包括所述第一训练样本与所述第二训练样本，所述图像增强处理包括以下至少一种处理方式：马赛克Mosaic、旋转、调整饱和度、调整曝光度以及调整色调。

5.根据权利要求3所述的方法，其特征在于，所述建立初始机场跑道异物检测模型，包括：

搭建基于YOLOv4的端到端神经网络，设置引导文件CFG，以及机场跑道异物类别标签。

6.根据权利要求3所述的方法，其特征在于，所述初始机场跑道异物检测模型，包括：输入模块、主干网络、融合特征提取模块以及检测分类模块；

其中，所述输入模块的输入端用于接收所述第二训练样本，所述输入模块、所述主干网络、所述融合特征提取模块以及所述检测分类模块依次连接，所述检测分类模块用于输出预测框与分类标签。

7.根据权利要求6所述的方法，其特征在于，所述输入模块采用cmBN和SAT自对抗进行训练；

所述主干网络包括BackBone主干网络，所述BackBone主干网络中融合了Mish激活函数以及Dropblock方式；

所述融合特征提取模块包括SPP模块与FPN+PAN结构；

所述检测分类模块使用CIOU_Loss损失函数，且所述检测分类模块在预测框筛选时选择DIOU_nms方式。

8.根据权利要求1所述的方法，其特征在于，所述将所述第二图像输入到训练完成的机场跑道异物检测模型中，得到第一检测结果之后，所述方法还包括：

基于所述第一检测结果与第二检测结果，获得机场跑道异物检测结果；所述第二检测结果为通过雷达对机场跑道异物进行检测得到的检测结果。

9.一种机场跑道异物检测装置，其特征在于，包括：

第一获取模块，用于获取第一图像，所述目标图像为初始图像流中非第一帧的图像；

处理模块，用于对所述第一图像进行超分辨处理，得到第二图像；

检测模块，用于将所述第二图像输入到训练完成的机场跑道异物检测模型中，得到第一检测结果。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至8任一项所述的机场跑道异物检测方法的步骤。

Images