CN114783211A - 一种基于视频数据融合的场面目标监视增强***及方法 - Google Patents

Abstract

本发明公开了一种基于视频数据融合的场面目标监视增强***及方法，包括：高级场面活动引导与控制***，用于进行监视数据融合处理，接收视频检测对比***输出的识别对比结果数据并进行综合航迹与视频对比数据关联融合处理；视频检测对比***，接收全景视频***输出的视频流数据，识别出机场场面目标，并与接收到的高级场面活动引导与控制***输出的综合航迹数据进行初次、二次对比处理，得到视频识别对比结果数据。本发明采用视频识别技术识别场面目标，并对存疑目标做云台相机二次识别确认，然后与A‑SMGCS***中传统监视数据融合对比处理，自动对场面目标做真伪、增减处理，实现剔除虚假目标、弥补丢失目标，增加场面目标监视的可信度、可靠性。

Description

一种基于视频数据融合的场面目标监视增强***及方法

技术领域

本发明属于机场场面目标监视技术领域，具体涉及一种基于视频数据融合的场面目标监视增强***及方法。

背景技术

目前机场场面目标监视依靠场面监视雷达、多点定位***(MLAT)、广播式自动相关监视(ADS-B)等场面监视传感器探测机场场面航空器、车辆；因机场场面电磁环境复杂、监视信号多径传播导致出现监视目标虚假、***、跳变等问题，影响高级场面活动引导与控制***(A-SMGCS)等场面管理***处理生成目标航迹的稳定性、可靠性。目前，国内外A-SMGCS***研究开发者为提高监视目标的稳定性、可靠性，采用多源监视数据融合、卡尔曼滤波算法提高航迹稳定性和平滑度、设置假目标抑制区等方法，努力提供场面目标监视可靠性。也有研究者采用视频识别技术识别机场场面目标，与场面监视***结合场面目标识别和可视化。

采用多源监视数据融合、卡尔曼滤波算法提高航迹稳定性和平滑度、设置假目标抑制区等方法的A-SMGCS***，在实际机场***运行中，仍然出现大量目标虚假、***、跳变等问题。这是因为目前场面监视雷达、MLAT、ADS-B等场面监视传感器，因复杂的机场场面电磁环境、监视信号多径反射传播、GNSS定位可靠性干扰ADS-B监视等多方面原因，导致监视源头数据偏差很大，只依靠单纯的多源监视融合、算法处理不能很好拟合航迹解决目标监视稳定、可靠性问题，需要探索在机场场面环境下新型可靠的监视源信号，替代或融合补充增强现有监视源。目前也有研究者采用视频识别技术识别机场场面航空器目标，与场面监视***结合提供场面目标识别和可视化，但是这种方法只采用若干独立的摄像机探测，且未采用智能视频识别技术，识别准确率不高，也未进行多次检测确认，识别可靠性低，同时没有与场面监视***监视航迹做充分的数据融合对比处理，不能自动的对场面目标做真伪、增减处理，不能全面的、正确的增强场面目标监视的可靠性。

发明内容

针对于上述现有技术的不足，本发明的目的在于提供一种基于视频数据融合的场面目标监视增强***及方法，以解决现有A-SMGCS***引接融汇处理场面监视雷达、MLAT、ADS-B等传统场面监视传感器信号，因场面电磁环境复杂、监视信号多径传播导致监视目标虚假、***、跳变的问题；本发明采用智能视频识别技术识别场面航空器、车辆、行人目标，并对存疑目标做云台相机二次识别确认，然后与A-SMGCS***中传统监视数据融合对比处理，自动对场面目标做真伪、增减处理，实现剔除虚假目标、弥补丢失目标，增加场面目标监视的可信度、可靠性。

为达到上述目的，本发明采用的技术方案如下：

本发明提供了一种基于视频数据融合的场面目标监视增强***，包括：高级场面活动引导与控制***、视频检测对比***；

所述高级场面活动引导与控制***，用于进行监视数据融合处理，接收视频检测对比***输出的识别对比结果数据并进行综合航迹与视频对比数据关联融合处理，提高场面目标监视可靠性；

所述视频检测对比***，接收全景视频***输出的视频流数据，识别出机场场面目标，并与接收到的高级场面活动引导与控制***输出的综合航迹数据进行初次、二次对比处理，向高级场面活动引导与控制***输出视频识别对比结果数据。

进一步地，所述高级场面活动引导与控制***包括：第一输入输出接口模块、监视数据处理模块、综合航迹与视频对比数据关联处理模块、态势人机界面模块；

所述第一输入输出接口模块，接收输入场面监视雷达、多点定位(MLAT)、广播式自动相关监视(ADS-B)的监视数据，输出综合航迹数据；

所述监视数据处理模块，对上述接收到的监视数据进行融合处理，形成场面目标监视的综合航迹数据；

所述综合航迹与视频对比数据关联处理模块，接收视频检测对比***输出的初次、二次视频识别对比结果数据并进行综合航迹与视频对比数据关联融合处理，且对关联融合处理结果进行分别标记；关联融合处理结果包括以下几类：目标已确认、目标不存在、目标待确认、目标丢失；

所述态势人机界面显示模块，根据关联融合处理结果不同类别，进行区分显示；其中，对目标已确认、目标不存在、目标待确认类别，在态势界面的航迹标牌上用标记或颜色区分显示；对目标丢失类别，采用接收视频识别的目标位置，以1秒为周期在态势界面上显示目标运动航迹，实现场面监视方式探测目标丢失的补充。

进一步地，所述视频检测对比***包括：第二输入输出接口模块、全景视频识别模块、融合对比模块、云台相机检测模块；

所述第二输入输出接口模块，接收全景视频***输出的视频流数据和高级场面活动引导与控制***输出的综合航迹数据，输出视频识别对比结果数据；

所述全景视频识别模块，基于YOLO v5网络模型的深度学习的视频识别检测方法对全景视频***输出的视频流数据进行识别，输出全景视频目标识别数据，包括目标标识、类别、位置、置信度数据；

所述融合对比模块，将高级场面活动引导与控制***输出的综合航迹数据与全景视频目标识别数据进行初次融合比对处理，判断目标对比是否一致；若一致，则向高级场面活动引导与控制***输出初次融合比对处理结果；若不一致，则向云台相机检测模块发送初次对比不一致目标的位置信息，经过云台相机检测模块进行二次检测确认分析后，根据二次检测目标确认信息与综合航迹数据、初次融合比对处理结果进行关联匹配处理，向高级场面活动引导与控制***输出二次检测目标相关匹配结果；

所述云台相机检测模块，根据所述初次对比不一致目标的位置信息，控制云台相机对准目标区域，使用基于YOLO v5网络模型的深度学习的视频识别检测方法，对云台视角下的目标进行二次检测确认分析，并向融合对比模块输出二次检测确认信息。

本发明还提供了一种基于视频数据融合的场面目标监视增强方法，基于上述***，步骤如下：

1)获取全景视频***的视频流数据，识别出机场场面目标；并接收高级场面活动引导与控制***的综合航迹数据；

2)将高级场面活动引导与控制***的综合航迹数据与所述步骤1)中识别出的机场场面目标数据进行初次融合比对处理，判断目标对比是否一致；若一致则进入步骤4)；若不一致则发送初次对比不一致目标的位置信息并进入步骤3)；

3)进行二次检测确认分析，将二次检测确认分析结果和高级场面活动引导与控制***的综合航迹数据、步骤2)中初次融合比对处理结果进行关联匹配处理，输出二次检测及目标相关匹配结果；

4)将步骤2)中的初次融合比对处理结果、步骤3)中的二次检测及目标相关匹配结果数据与高级场面活动引导与控制***的综合航迹数据进行关联融合处理并显示。

进一步地，所述步骤1)具体包括：采用若干个摄像机，并利用全景拼接方法实现覆盖机场场面全景视频画面的获取；采集全景视频***的视频流数据，基于YOLO v5网络模型的深度学习的视频识别检测方法识别检测机场场面目标，输出目标标识、类别、位置、置信度数据；并接收高级场面活动引导与控制***融汇处理场面监视雷达、多点定位***(MLAT)、广播式自动相关监视***(ADS-B)形成的综合航迹数据。

进一步地，所述机场场面目标为航空器、车辆或行人。

进一步地，所述步骤1)具体还包括：

11)获取全景视频***的覆盖机场场面检测区域的全景视频流数据，采用视频流RTSP接口协议输入；

12)使用基于YOLO v5网络模型的深度学习的视频识别检测方法对全景视频流数据进行识别，识别出机场场面航空器、车辆、行人目标，并进行目标跟踪、置信度计算赋值，输出目标标识、类别、位置、置信度数据。

进一步地，所述步骤12)具体包括如下步骤：

121)从全景视频流数据中对机场场面起飞、降落、滑行、机坪保障各运行场景的航空器、车辆、行人目标进行数据采集、标注，形成数据集，数据集中场景包含白天、阴天、夜间、雨天、雾天、强曝光；对数据集进行进一步的数据增强处理；

122)对YOLO v5网络模型进行学习训练，训练过程使用梯度下降法更新权重参数，经过多轮迭代训练后，网络模型权重参数趋于收敛，完成训练得到权重文件；

123)YOLO v5网络模型使用所述权重文件对全景视频流数据进行实时推理，识别出画面中航空器、车辆、行人目标，并进一步对目标采用卡尔曼滤波算法和匈牙利算法进行跟踪，以使各个目标在时间序列上完成关联并分配唯一的视频目标识别ID号，保证目标唯一性；

124)对识别的目标进行置信度计算赋值；置信度取三个全景视频流数据周期(40ms/周期)的目标识别置信度平均值，分别为当前帧、前第一帧、前第二帧中的目标的置信度，置信度平均值为conf＝(conf(t-2)+conf(t-1)+conf(t))/3；

125)向融合对比模块输出全景视频场面目标识别数据，包括ID号、类别、位置坐标、置信度；

126)接收高级场面活动引导与控制***融汇处理场面监视雷达、多点定位***(MLAT)、广播式自动相关监视***(ADS-B)形成的综合航迹数据。

进一步地，所述步骤2)具体包括：将高级场面活动引导与控制***的综合航迹数据与全景视频目标识别数据转换在同一坐标系上，采用匈牙利算法进行融合筛选比对；若对比结果在一致性阈值范围内，则设置检测目标一致标记，并反馈给高级场面活动引导与控制***；若对比结果未在一致性阈值范围内，则为不一致的目标，发送初次对比不一致目标的位置信息给云台相机检测模块，进行进一步确认。

进一步地，所述步骤2)具体还包括：

21)将高级场面活动引导与控制***、视频检测对比***使用的数据的坐标转换为同一坐标系；

22)采用匈牙利算法对高级场面活动引导与控制***的综合航迹数据与全景视频目标识别数据在同一坐标系中进行融合筛选比对(较采用逐一比较匹配方式大幅降低重复计算量以及计算复杂度，实现目标实时快速匹配)；若对比结果在一致性阈值范围内，则设置检测目标一致标记；对于检测结果不一致的目标，则发送初次对比不一致目标的位置信息给云台相机检测***，进行进一步确认。

进一步地，所述高级场面活动引导与控制***的综合航迹数据与全景视频目标识别数据对比匹配具体为：在全景视频检测识别的n个目标，需要匹配到高级场面活动引导与控制***的综合航迹数据的m个目标中，根据对应匹配目标之间的类别、置信度、距离的匹配差值程度，即权重，采用匈牙利算法进行求解总权重最小时的匹配组合，即为最优的机场场面高级场面活动引导与控制***的综合航迹目标与全景视频目标识别数据融合对比匹配组合结果。

进一步地，所述检测结果不一致的目标存在三种情况：高级场面活动引导与控制***的综合航迹目标存在而对全景视频识别未检出；对全景视频识别检出而高级场面活动引导与控制***的综合航迹目标不存在；两种监视源中该目标均存在但目标位置存在偏移不一致。

进一步地，所述步骤22)具体包括如下步骤：

221)从类别、置信度、位置三个属性，逐个对高级场面活动引导与控制***的综合航迹目标与全景视频目标识别数据进行对比，得出二者之间的差距；定义高级场面活动引导与控制***的综合航迹目标为S(类别、置信度、位置坐标)，全景视频识别目标为V(类别、置信度、位置坐标)；

222)对类别、置信度、位置三个属性比较结果进行综合权重赋值，综合权重＝类别差×权重系数1+置信度差×权重系数2+目标之间距离×权重系数3；

223)建立各目标之间差距程度的权重矩阵；

224)采用匈牙利算法进行求解总权重最小时的匹配组合，即为最优的机场场面高级场面活动引导与控制***的综合航迹目标与全景视频目标识别数据融合对比匹配组合结果；

225)根据匹配组合中目标之间的位置关系、类型、置信度，将对比结果进行分类，分为匹配组合中目标一致、不一致两类；

226)对目标不一致的匹配组合，将目标的位置数据发送至云台相机检测模块。

进一步地，所述步骤221)具体包括如下步骤：

2211)对目标类别、置信度两个属性做差值计算并取绝对值，即abs(S-V)；

2212)对目标位置属性做之间的距离计算，即

式中，(x₁,y₁,z₁)，(x₂,y₂,z₂)为两个目标的坐标。

进一步地，所述步骤224)具体包括如下步骤：

2241)每一行减去该行最小值；

2242)通过寻找增广路径的方式，进行不带权重的匹配，仅值为0的项为可匹配项；

2243)如果最大匹配数为n，则结束，当前匹配为最优匹配；否则执行步骤2244)；

2244)用最少的横线和竖线覆盖所有零值，取mv＝未被覆盖的矩阵块的最小元素，所有未被覆盖的矩阵块的元素减mv，所有被横线和竖线覆盖的矩阵块的元素加mv，返回步骤2242)，循环直到所有目标完成对应的匹配；

2245)得到最后结果为总权重最小时的匹配组合为(S1，V1)，(S2，V3)，(S3，V2)，……，(Sm，Vn)。

进一步地，所述步骤225)具体包括：

当匹配组合中目标同时满足目标之间的距离小于阈值，类型相同，置信度差值的绝对值小于阈值时，则判断匹配组合中目标一致，为同一目标，其他匹配组合为目标不一致。

进一步地，所述步骤226)具体包括：

对目标一致的匹配组合，设置检测目标一致标记，将目标(航空器、车辆)标识(ID)、目标一致标记、是否进行二次检测标志，发送至高级场面活动引导与控制***参与后续关联处理；

对目标不一致的匹配组合，根据目标与检测框(在全景视频识别目标检测结果中心点设置矩形框作为检测框)的位置关系，区分出三类：检测框内仅全景视频识别目标存在；高级场面活动引导与控制***的综合航迹目标在检测框外独立存在；检测框内高级场面活动引导与控制***的综合航迹目标、全景视频识别目标都存在；将三类目标位置数据发送至云台相机检测模块，为调用云台相机进行二次对比确认提供位置信息。

进一步地，所述步骤3)具体包括如下步骤：

31)计算出云台的角度，驱动云台相机转动对准目标区域，使待确认目标位于云台相机的画面中心；当出现多目标待确认时，目标确认的次序，按照以下规律选取：依次从左上至右下或右下至左上(方向取决于当前相机位置)，优先选择与上次确认位置最近的目标；

32)使用基于YOLO v5网络模型的深度学习的视频识别检测方法，对云台视角下的目标进行二次检测确认分析，此过程同步进行视频录制；

33)云台相机完成目标的二次检测确认分析后，采用匈牙利算法将云台相机的目标确认信息与高级场面活动引导与控制***的综合航迹、全景视频目标识别数据初次对比检测结果进行关联匹配处理，得到目标相关匹配结果数据；

34)将步骤33)的目标相关匹配结果数据，以及云台相机录制的视频流输出至高级场面活动引导与控制***；将步骤33)目标相关匹配结果数据发送至全景视频识别模块；

35)当全景视频识别模块检测到目标相关匹配结果数据中有视频检测出多出目标标志时，调用云台相机对该目标进行持续的识别、跟踪，每40ms形成一帧图像，提取目标的位置、类型数据，并以40ms为一周期将视频检测出多出目标标志、目标位置、类型数据发送至高级场面活动引导与控制***。

进一步地，所述步骤32)具体包括如下步骤：

321)采用基于YOLO v5网络模型的深度学习的视频识别检测方法对目标进行云台相机视角下的目标识别检测，并对检测结果目标类型、置信度赋值；

322)若检测到目标，且置信度在阈值范围内，则判定目标存在；若未检测到目标，或置信度低于阈值，则使用云台相机光学变倍进行放大图像倍率再次检测，进行置信度赋值，若置信度仍低于阈值，则判定目标不存在。

进一步地，所述步骤33)具体包括：

所述目标相关匹配结果数据为：目标标识(ID)、视频检测出多出目标标志、目标的图像位置数据、置信度、目标存在标志(若存在置为1，若不存在置为0)、目标类别、时间戳、是否进行二次检测标志。

进一步地，所述步骤4)具体包括：

41)当高级场面活动引导与控制***接收到步骤226)输出的目标标识(ID)、目标一致标记、是否进行二次检测标志时(此时值为否)，与高级场面活动引导与控制***的综合航迹的目标标识(ID)关联匹配处理，确认为同一目标，在该目标高级场面活动引导与控制***的综合航迹数据上设置目标已确认标志，并在高级场面活动引导与控制***态势界面的航迹标牌用标记或颜色区分该目标已确认；

42)当高级场面活动引导与控制***接收到步骤34)输出的数据时，采用数据中目标标识(ID)、置信度、目标存在标志(若存在置为1，若不存在置为0)、是否进行二次检测标志(此时值为是)与高级场面活动引导与控制***的综合航迹的目标标识(ID)关联匹配处理；

当目标存在标志值为0，表示经视频检测目标不存在，则在该目标高级场面活动引导与控制***的综合航迹数据上设置目标不存在标志，并在高级场面活动引导与控制***的态势界面的航迹标牌用标记或颜色区分该目标不存在，或在高级场面活动引导与控制***的态势界面上不显示该目标，实现剔除场面虚假目标；

当目标存在标志值为1，且置信度在设定的阈值范围内，则判断视频检测目标与高级场面活动引导与控制***的综合航迹目标为同一目标，在该目标高级场面活动引导与控制***的综合航迹数据上设置目标已确认标志，并在高级场面活动引导与控制***的态势界面的航迹标牌用标记或颜色区分该目标已确认；如果置信度不在设定的阈值范围内，则在该目标A-SMGCS综合航迹数据上设置目标待确认标志，并在高级场面活动引导与控制***的态势界面的航迹标牌用标记或颜色区分该目标待确认；

43)当高级场面活动引导与控制***接收到步骤35)输出的数据时，将视频跟踪输出的40ms为一周期目标位置点迹，进行跟踪、拟合、平滑处理，形成航迹，并与目标类型数据关联，以1秒为周期在高级场面活动引导与控制***的态势界面显示目标运动航迹，实现场面监视方式探测目标丢失的补充。

本发明的有益效果：

本发明通过采用基于深度学习的智能视频识别技术，识别机场场面目标，实现航空器、车辆、行人的高正确率识别，然后与A-SMGCS***中传统监视数据初次融合对比，对存疑目标采用云台相机做二次识别确认，提高识别准确性、可靠性；然后与A-SMGCS***中传统监视数据再次融合对比处理，自动对场面目标做真伪、增减处理，实现剔除虚假目标、弥补丢失目标，增强场面目标监视的准确性、可靠性、全面性。解决了现有A-SMGCS***引接融汇处理场面监视雷达、MLAT、ADS-B等传统场面监视传感器信号，因场面电磁环境复杂、监视信号多径传播导致监视目标虚假、***、跳变等问题。为机场塔台管制员提供正确、稳定、可靠、全面的机场场面目标监视航迹。

附图说明

图1为本发明***的结构原理图。

图2为本发明方法的流程图。

图3为权重矩阵示意图。

图4为权重矩阵计算结果示意图。

图5为目标检测分类示意图。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

参照图1所示，本发明提供了一种基于视频数据融合的场面目标监视增强***，包括：高级场面活动引导与控制***、视频检测对比***；

所述高级场面活动引导与控制***，用于进行监视数据融合处理，接收视频检测对比***输出的识别对比结果数据并进行综合航迹与视频对比数据关联融合处理，提高场面目标监视可靠性；

其中，所述高级场面活动引导与控制***包括：第一输入输出接口模块、监视数据处理模块、综合航迹与视频对比数据关联处理模块、态势人机界面模块；

所述第一输入输出接口模块，接收输入场面监视雷达、多点定位(MLAT)、广播式自动相关监视(ADS-B)的监视数据，输出综合航迹数据；

所述监视数据处理模块，对上述接收到的监视数据进行融合处理，形成场面目标监视的综合航迹数据；

所述综合航迹与视频对比数据关联处理模块，接收视频检测对比***输出的初次、二次视频识别对比结果数据并进行综合航迹与视频对比数据关联融合处理，且对关联融合处理结果进行分别标记；关联融合处理结果包括以下几类：目标已确认、目标不存在、目标待确认、目标丢失；

所述态势人机界面显示模块，根据关联融合处理结果不同类别，进行区分显示；其中，对目标已确认、目标不存在、目标待确认类别，在态势界面的航迹标牌上用标记或颜色区分显示；对目标丢失类别，采用接收视频识别的目标位置，以1秒为周期在态势界面上显示目标运动航迹，实现场面监视方式探测目标丢失的补充。

所述视频检测对比***，接收全景视频***输出的视频流数据，识别出机场场面目标，并与接收到的高级场面活动引导与控制***输出的综合航迹数据进行初次、二次对比处理，向高级场面活动引导与控制***输出视频识别对比结果数据。

其中，所述视频检测对比***包括：第二输入输出接口模块、全景视频识别模块、融合对比模块、云台相机检测模块；

所述第二输入输出接口模块，接收全景视频***输出的视频流数据和高级场面活动引导与控制***输出的综合航迹数据，输出视频识别对比结果数据；

所述全景视频识别模块，基于YOLO v5网络模型的深度学习的视频识别检测方法对全景视频***输出的视频流数据进行识别，输出全景视频目标识别数据，包括目标标识、类别、位置、置信度数据；

所述融合对比模块，将高级场面活动引导与控制***输出的综合航迹数据与全景视频目标识别数据进行初次融合比对处理，判断目标对比是否一致；若一致，则向高级场面活动引导与控制***输出初次融合比对处理结果；若不一致，则向云台相机检测模块发送初次对比不一致目标的位置信息，经过云台相机检测模块进行二次检测确认分析后，根据二次检测目标确认信息与综合航迹数据、初次融合比对处理结果进行关联匹配处理，向高级场面活动引导与控制***输出二次检测目标相关匹配结果；

所述云台相机检测模块，根据所述初次对比不一致目标的位置信息，控制云台相机对准目标区域，使用基于YOLO v5网络模型的深度学习的视频识别检测方法，对云台视角下的目标进行二次检测确认分析，并向融合对比模块输出二次检测确认信息。

参照图2所示，本发明还提供了一种基于视频数据融合的场面目标监视增强方法，基于上述***，步骤如下：

1)获取全景视频***的视频流数据，识别出机场场面目标；并接收高级场面活动引导与控制***的综合航迹数据；

其中，所述步骤1)具体包括：采用若干个摄像机，并利用全景拼接方法实现覆盖机场场面全景视频画面的获取；采集全景视频***的视频流数据，基于YOLO v5网络模型的深度学习的视频识别检测方法识别检测机场场面目标，输出目标标识、类别、位置、置信度数据；并接收高级场面活动引导与控制***融汇处理场面监视雷达、多点定位***(MLAT)、广播式自动相关监视***(ADS-B)形成的综合航迹数据。

具体地，所述机场场面目标为航空器、车辆或行人。

11)获取全景视频***的覆盖机场场面检测区域的全景视频流数据，采用视频流RTSP接口协议输入；

12)使用基于YOLO v5网络模型的深度学习的视频识别检测方法对全景视频流数据进行识别，识别出机场场面航空器、车辆、行人目标，并进行目标跟踪、置信度计算赋值，输出目标标识、类别、位置、置信度数据。

具体地，所述步骤12)具体包括如下步骤：

121)从全景视频流数据中对机场场面起飞、降落、滑行、机坪保障各运行场景的航空器、车辆、行人目标进行数据采集、标注，形成数据集，数据集中场景包含白天、阴天、夜间、雨天、雾天、强曝光；对数据集进行进一步的数据增强处理；

122)对YOLO v5网络模型进行学习训练，训练过程使用梯度下降法更新权重参数，经过多轮迭代训练后，网络模型权重参数趋于收敛，完成训练得到权重文件；

123)YOLO v5网络模型使用所述权重文件对全景视频流数据进行实时推理，识别出画面中航空器、车辆、行人目标，并进一步对目标采用卡尔曼滤波算法和匈牙利算法进行跟踪，以使各个目标在时间序列上完成关联并分配唯一的视频目标识别ID号，保证目标唯一性；

124)对识别的目标进行置信度计算赋值；置信度取三个全景视频流数据周期(40ms/周期)的目标识别置信度平均值，分别为当前帧、前第一帧、前第二帧中的目标的置信度，置信度平均值为conf＝(conf(t-2)+conf(t-1)+conf(t))/3；

125)向融合对比模块输出全景视频场面目标识别数据，包括ID号、类别、位置坐标、置信度。

126)接收高级场面活动引导与控制***融汇处理场面监视雷达、多点定位***(MLAT)、广播式自动相关监视***(ADS-B)形成的综合航迹数据。

2)将高级场面活动引导与控制***的综合航迹数据与所述步骤1)中识别出的机场场面目标数据进行初次融合比对处理，判断目标对比是否一致；若一致则进入步骤4)；若不一致则发送初次对比不一致目标的位置信息并进入步骤3)；

其中，所述步骤2)具体包括：将高级场面活动引导与控制***的综合航迹数据与全景视频目标识别数据转换在同一坐标系上，采用匈牙利算法进行融合筛选比对；若对比结果在一致性阈值范围内，则设置检测目标一致标记，并反馈给高级场面活动引导与控制***；若对比结果未在一致性阈值范围内，则为不一致的目标，发送初次对比不一致目标的位置信息给云台相机检测模块，进行进一步确认；

21)将高级场面活动引导与控制***、视频检测对比***使用的数据的坐标转换为同一坐标系；

22)采用匈牙利算法对高级场面活动引导与控制***的综合航迹数据与全景视频目标识别数据在同一坐标系中进行融合筛选比对(较采用逐一比较匹配方式大幅降低重复计算量以及计算复杂度，实现目标实时快速匹配)；若对比结果在一致性阈值范围内，则设置检测目标一致标记；对于检测结果不一致的目标，则发送初次对比不一致目标的位置信息给云台相机检测***，进行进一步确认。

所述高级场面活动引导与控制***的综合航迹数据与全景视频目标识别数据对比匹配具体为：在全景视频检测识别的n个目标，需要匹配到高级场面活动引导与控制***的综合航迹数据的m个目标中，根据对应匹配目标之间的类别、置信度、距离的匹配差值程度，即权重，采用匈牙利算法进行求解总权重最小时的匹配组合，即为最优的机场场面高级场面活动引导与控制***的综合航迹目标与全景视频目标识别数据融合对比匹配组合结果。

所述检测结果不一致的目标存在三种情况：高级场面活动引导与控制***的综合航迹目标存在而对全景视频识别未检出；对全景视频识别检出而高级场面活动引导与控制***的综合航迹目标不存在；两种监视源中该目标均存在但目标位置存在偏移不一致。

具体地，所述步骤22)具体包括如下步骤：

221)从类别、置信度、位置三个属性，逐个对高级场面活动引导与控制***的综合航迹目标与全景视频目标识别数据进行对比，得出二者之间的差距；定义高级场面活动引导与控制***的综合航迹目标为S(类别、置信度、位置坐标)，全景视频识别目标为V(类别、置信度、位置坐标)；

222)对类别、置信度、位置三个属性比较结果进行综合权重赋值，综合权重＝类别差×权重系数1+置信度差×权重系数2+目标之间距离×权重系数3；

223)建立各目标之间差距程度的权重矩阵，如图3所示；

224)采用匈牙利算法进行求解总权重最小时的匹配组合，即为最优的机场场面高级场面活动引导与控制***的综合航迹目标与全景视频目标识别数据融合对比匹配组合结果；

225)根据匹配组合中目标之间的位置关系、类型、置信度，将对比结果进行分类，分为匹配组合中目标一致、不一致两类；

226)对目标不一致的匹配组合，将目标的位置数据发送至云台相机检测模块。

其中，所述步骤221)具体包括如下步骤：

2211)对目标类别、置信度两个属性做差值计算并取绝对值，即abs(S-V)；

2212)对目标位置属性做之间的距离计算，即

式中，(x₁,y₁,z₁)，(x₂,y₂,z₂)为两个目标的坐标。

所述步骤224)具体包括如下步骤：

2241)每一行减去该行最小值；

2242)通过寻找增广路径的方式，进行不带权重的匹配，仅值为0的项为可匹配项；

2243)如果最大匹配数为n，则结束，当前匹配为最优匹配；否则执行步骤2244)；

2244)用最少的横线和竖线覆盖所有零值，取mv＝未被覆盖的矩阵块的最小元素，所有未被覆盖的矩阵块的元素减mv，所有被横线和竖线覆盖的矩阵块的元素加mv，返回步骤2242)，循环直到所有目标完成对应的匹配；

2245)得到最后结果为总权重最小时的匹配组合为(S1，V1)，(S2，V3)，(S3，V2)，……，(Sm，Vn)，参见图4所示。

所述步骤225)具体包括：

当匹配组合中目标同时满足目标之间的距离小于阈值，类型相同，置信度差值的绝对值小于阈值时，则判断匹配组合中目标一致，为同一目标，其他匹配组合为目标不一致。

所述步骤226)具体包括：

对目标一致的匹配组合，设置检测目标一致标记，将目标(航空器、车辆)标识(ID)、目标一致标记、是否进行二次检测标志，发送至高级场面活动引导与控制***参与后续关联处理；

对目标不一致的匹配组合，根据目标与检测框(在全景视频识别目标检测结果中心点设置矩形框作为检测框)的位置关系，区分出三类：①检测框内仅全景视频识别目标存在；②高级场面活动引导与控制***的综合航迹目标在检测框外独立存在；③检测框内高级场面活动引导与控制***的综合航迹目标、全景视频识别目标都存在；将三类目标位置数据发送至云台相机检测模块，为调用云台相机进行二次对比确认提供位置信息；参见图5所示。

3)进行二次检测确认分析，将二次检测确认分析结果和高级场面活动引导与控制***的综合航迹数据、步骤2)中初次融合比对处理结果进行关联匹配处理，输出二次检测及目标相关匹配结果；

31)计算出云台的角度，驱动云台相机转动对准目标区域，使待确认目标位于云台相机的画面中心；当出现多目标待确认时，目标确认的次序，按照以下规律选取：依次从左上至右下或右下至左上(方向取决于当前相机位置)，优先选择与上次确认位置最近的目标；

32)使用基于YOLO v5网络模型的深度学习的视频识别检测方法，对云台视角下的目标进行二次检测确认分析，此过程同步进行视频录制；

33)云台相机完成目标的二次检测确认分析后，采用匈牙利算法将云台相机的目标确认信息与高级场面活动引导与控制***的综合航迹、全景视频目标识别数据初次对比检测结果进行关联匹配处理，得到目标相关匹配结果数据；

34)将步骤33)的目标相关匹配结果数据，以及云台相机录制的视频流输出至高级场面活动引导与控制***；将步骤33)目标相关匹配结果数据发送至全景视频识别模块；

35)当全景视频识别模块检测到目标相关匹配结果数据中有视频检测出多出目标标志时，调用云台相机对该目标进行持续的识别、跟踪，每40ms形成一帧图像，提取目标的位置、类型数据，并以40ms为一周期将视频检测出多出目标标志、目标位置、类型数据发送至高级场面活动引导与控制***。

具体地，所述步骤32)具体包括如下步骤：

321)采用基于YOLO v5网络模型的深度学习的视频识别检测方法对目标进行云台相机视角下的目标识别检测，并对检测结果目标类型、置信度赋值；

322)若检测到目标，且置信度在阈值范围内，则判定目标存在；若未检测到目标，或置信度低于阈值，则使用云台相机光学变倍进行放大图像倍率再次检测，进行置信度赋值，若置信度仍低于阈值，则判定目标不存在。

所述步骤33)具体包括：

所述目标相关匹配结果数据为：目标标识(ID)、视频检测出多出目标标志、目标的图像位置数据、置信度、目标存在标志(若存在置为1，若不存在置为0)、目标类别、时间戳、是否进行二次检测标志。

4)将步骤2)中的初次融合比对处理结果、步骤3)中的二次检测及目标相关匹配结果数据与高级场面活动引导与控制***的综合航迹数据进行关联融合处理并显示；

41)当高级场面活动引导与控制***接收到步骤226)输出的目标标识(ID)、目标一致标记、是否进行二次检测标志时(此时值为否)，与高级场面活动引导与控制***的综合航迹的目标标识(ID)关联匹配处理，确认为同一目标，在该目标高级场面活动引导与控制***的综合航迹数据上设置目标已确认标志，并在高级场面活动引导与控制***态势界面的航迹标牌用标记或颜色区分该目标已确认；

42)当高级场面活动引导与控制***接收到步骤34)输出的数据时，采用数据中目标标识(ID)、置信度、目标存在标志(若存在置为1，若不存在置为0)、是否进行二次检测标志(此时值为是)与高级场面活动引导与控制***的综合航迹的目标标识(ID)关联匹配处理；

当目标存在标志值为0，表示经视频检测目标不存在，则在该目标高级场面活动引导与控制***的综合航迹数据上设置目标不存在标志，并在高级场面活动引导与控制***的态势界面的航迹标牌用标记或颜色区分该目标不存在，或在高级场面活动引导与控制***的态势界面上不显示该目标，实现剔除场面虚假目标；

当目标存在标志值为1，且置信度在设定的阈值范围内，则判断视频检测目标与高级场面活动引导与控制***的综合航迹目标为同一目标，在该目标高级场面活动引导与控制***的综合航迹数据上设置目标已确认标志，并在高级场面活动引导与控制***的态势界面的航迹标牌用标记或颜色区分该目标已确认；如果置信度不在设定的阈值范围内，则在该目标A-SMGCS综合航迹数据上设置目标待确认标志，并在高级场面活动引导与控制***的态势界面的航迹标牌用标记或颜色区分该目标待确认；

43)当高级场面活动引导与控制***接收到步骤35)输出的数据时，将视频跟踪输出的40ms为一周期目标位置点迹，进行跟踪、拟合、平滑处理，形成航迹，并与目标类型数据关联，以1秒为周期在高级场面活动引导与控制***的态势界面显示目标运动航迹，实现场面监视方式探测目标丢失的补充。

本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (10)

1.一种基于视频数据融合的场面目标监视增强***，其特征在于，包括：高级场面活动引导与控制***、视频检测对比***；

所述高级场面活动引导与控制***，用于进行监视数据融合处理，接收视频检测对比***输出的识别对比结果数据并进行综合航迹与视频对比数据关联融合处理；

所述视频检测对比***，接收全景视频***输出的视频流数据，识别出机场场面目标，并与接收到的高级场面活动引导与控制***输出的综合航迹数据进行初次、二次对比处理，向高级场面活动引导与控制***输出视频识别对比结果数据。

2.根据权利要求1所述的基于视频数据融合的场面目标监视增强***，其特征在于，所述高级场面活动引导与控制***包括：第一输入输出接口模块、监视数据处理模块、综合航迹与视频对比数据关联处理模块、态势人机界面模块；

所述第一输入输出接口模块，接收输入场面监视雷达、多点定位、广播式自动相关监视的监视数据，输出综合航迹数据；

所述监视数据处理模块，对上述接收到的监视数据进行融合处理，形成场面目标监视的综合航迹数据；

所述综合航迹与视频对比数据关联处理模块，接收视频检测对比***输出的初次、二次视频识别对比结果数据并进行综合航迹与视频对比数据关联融合处理，且对关联融合处理结果进行分别标记；关联融合处理结果包括以下几类：目标已确认、目标不存在、目标待确认、目标丢失；

所述态势人机界面显示模块，根据关联融合处理结果不同类别，进行区分显示；其中，对目标已确认、目标不存在、目标待确认类别，在态势界面的航迹标牌上用标记或颜色区分显示；对目标丢失类别，采用接收视频识别的目标位置，以1秒为周期在态势界面上显示目标运动航迹，实现场面监视方式探测目标丢失的补充。

3.根据权利要求1所述的基于视频数据融合的场面目标监视增强***，其特征在于，所述视频检测对比***包括：第二输入输出接口模块、全景视频识别模块、融合对比模块、云台相机检测模块；

所述第二输入输出接口模块，接收全景视频***输出的视频流数据和高级场面活动引导与控制***输出的综合航迹数据，输出视频识别对比结果数据；

所述全景视频识别模块，基于YOLO v5网络模型的深度学习的视频识别检测方法对全景视频***输出的视频流数据进行识别，输出全景视频目标识别数据，包括目标标识、类别、位置、置信度数据；

所述融合对比模块，将高级场面活动引导与控制***输出的综合航迹数据与全景视频目标识别数据进行初次融合比对处理，判断目标对比是否一致；若一致，则向高级场面活动引导与控制***输出初次融合比对处理结果；若不一致，则向云台相机检测模块发送初次对比不一致目标的位置信息，经过云台相机检测模块进行二次检测确认分析后，根据二次检测目标确认信息与综合航迹数据、初次融合比对处理结果进行关联匹配处理，向高级场面活动引导与控制***输出二次检测目标相关匹配结果；

所述云台相机检测模块，根据所述初次对比不一致目标的位置信息，控制云台相机对准目标区域，使用基于YOLO v5网络模型的深度学习的视频识别检测方法，对云台视角下的目标进行二次检测确认分析，并向融合对比模块输出二次检测确认信息。

4.一种基于视频数据融合的场面目标监视增强方法，基于权利要求1-3中任意一项所述***，其特征在于，步骤如下：

1)获取全景视频***的视频流数据，识别出机场场面目标；并接收高级场面活动引导与控制***的综合航迹数据；

2)将高级场面活动引导与控制***的综合航迹数据与所述步骤1)中识别出的机场场面目标数据进行初次融合比对处理，判断目标对比是否一致；若一致则进入步骤4)；若不一致则发送初次对比不一致目标的位置信息并进入步骤3)；

3)进行二次检测确认分析，将二次检测确认分析结果和高级场面活动引导与控制***的综合航迹数据、步骤2)中初次融合比对处理结果进行关联匹配处理，输出二次检测及目标相关匹配结果；

4)将步骤2)中的初次融合比对处理结果、步骤3)中的二次检测及目标相关匹配结果数据与高级场面活动引导与控制***的综合航迹数据进行关联融合处理并显示。

5.根据权利要求4所述的基于视频数据融合的场面目标监视增强方法，其特征在于，所述步骤1)具体包括：采用若干个摄像机，并利用全景拼接方法实现覆盖机场场面全景视频画面的获取；采集全景视频***的视频流数据，基于YOLO v5网络模型的深度学习的视频识别检测方法识别检测机场场面目标，输出目标标识、类别、位置、置信度数据；并接收高级场面活动引导与控制***融汇处理场面监视雷达、多点定位***、广播式自动相关监视***形成的综合航迹数据。

6.根据权利要求4所述的基于视频数据融合的场面目标监视增强方法，其特征在于，所述步骤1)具体还包括：

11)获取全景视频***的覆盖机场场面检测区域的全景视频流数据，采用视频流RTSP接口协议输入；

12)使用基于YOLO v5网络模型的深度学习的视频识别检测方法对全景视频流数据进行识别，识别出机场场面航空器、车辆、行人目标，并进行目标跟踪、置信度计算赋值，输出目标标识、类别、位置、置信度数据。

7.根据权利要求6所述的基于视频数据融合的场面目标监视增强方法，其特征在于，所述步骤12)具体包括如下步骤：

121)从全景视频流数据中对机场场面起飞、降落、滑行、机坪保障各运行场景的航空器、车辆、行人目标进行数据采集、标注，形成数据集，数据集中场景包含白天、阴天、夜间、雨天、雾天、强曝光；对数据集进行进一步的数据增强处理；

122)对YOLO v5网络模型进行学习训练，训练过程使用梯度下降法更新权重参数，经过多轮迭代训练后，网络模型权重参数趋于收敛，完成训练得到权重文件；

123)YOLO v5网络模型使用所述权重文件对全景视频流数据进行实时推理，识别出画面中航空器、车辆、行人目标，并进一步对目标采用卡尔曼滤波算法和匈牙利算法进行跟踪，以使各个目标在时间序列上完成关联并分配唯一的视频目标识别ID号，保证目标唯一性；

124)对识别的目标进行置信度计算赋值；置信度取三个全景视频流数据周期的目标识别置信度平均值，分别为当前帧、前第一帧、前第二帧中的目标的置信度，置信度平均值为conf＝(conf(t-2)+conf(t-1)+conf(t))/3；

125)向融合对比模块输出全景视频场面目标识别数据，包括ID号、类别、位置坐标、置信度；

126)接收高级场面活动引导与控制***融汇处理场面监视雷达、多点定位***、广播式自动相关监视***形成的综合航迹数据。

8.根据权利要求4所述的基于视频数据融合的场面目标监视增强方法，其特征在于，所述步骤2)具体还包括：

21)将高级场面活动引导与控制***、视频检测对比***使用的数据的坐标转换为同一坐标系；

22)采用匈牙利算法对高级场面活动引导与控制***的综合航迹数据与全景视频目标识别数据在同一坐标系中进行融合筛选比对；若对比结果在一致性阈值范围内，则设置检测目标一致标记；对于检测结果不一致的目标，则发送初次对比不一致目标的位置信息给云台相机检测***，进行进一步确认。

9.根据权利要求4所述的基于视频数据融合的场面目标监视增强方法，其特征在于，所述步骤3)具体包括如下步骤：

31)计算出云台的角度，驱动云台相机转动对准目标区域，使待确认目标位于云台相机的画面中心；当出现多目标待确认时，目标确认的次序，按照以下规律选取：依次从左上至右下或右下至左上，优先选择与上次确认位置最近的目标；

32)使用基于YOLO v5网络模型的深度学习的视频识别检测方法，对云台视角下的目标进行二次检测确认分析，此过程同步进行视频录制；

33)云台相机完成目标的二次检测确认分析后，采用匈牙利算法将云台相机的目标确认信息与高级场面活动引导与控制***的综合航迹、全景视频目标识别数据初次对比检测结果进行关联匹配处理，得到目标相关匹配结果数据；

34)将步骤33)的目标相关匹配结果数据，以及云台相机录制的视频流输出至高级场面活动引导与控制***；将步骤33)目标相关匹配结果数据发送至全景视频识别模块；

35)当全景视频识别模块检测到目标相关匹配结果数据中有视频检测出多出目标标志时，调用云台相机对该目标进行持续的识别、跟踪，每40ms形成一帧图像，提取目标的位置、类型数据，并以40ms为一周期将视频检测出多出目标标志、目标位置、类型数据发送至高级场面活动引导与控制***。

10.根据权利要求9所述的基于视频数据融合的场面目标监视增强方法，其特征在于，所述步骤4)具体包括：

41)当高级场面活动引导与控制***接收到目标标识、目标一致标记、是否进行二次检测标志时，与高级场面活动引导与控制***的综合航迹的目标标识关联匹配处理，确认为同一目标，在该目标高级场面活动引导与控制***的综合航迹数据上设置目标已确认标志，并在高级场面活动引导与控制***态势界面的航迹标牌用标记或颜色区分该目标已确认；

42)当高级场面活动引导与控制***接收到步骤34)输出的数据时，采用数据中目标标识、置信度、目标存在标志、是否进行二次检测标志与高级场面活动引导与控制***的综合航迹的目标标识关联匹配处理；

当目标存在标志值为0，表示经视频检测目标不存在，则在该目标高级场面活动引导与控制***的综合航迹数据上设置目标不存在标志，并在高级场面活动引导与控制***的态势界面的航迹标牌用标记或颜色区分该目标不存在，或在高级场面活动引导与控制***的态势界面上不显示该目标，实现剔除场面虚假目标；

当目标存在标志值为1，且置信度在设定的阈值范围内，则判断视频检测目标与高级场面活动引导与控制***的综合航迹目标为同一目标，在该目标高级场面活动引导与控制***的综合航迹数据上设置目标已确认标志，并在高级场面活动引导与控制***的态势界面的航迹标牌用标记或颜色区分该目标已确认；如果置信度不在设定的阈值范围内，则在该目标A-SMGCS综合航迹数据上设置目标待确认标志，并在高级场面活动引导与控制***的态势界面的航迹标牌用标记或颜色区分该目标待确认；

43)当高级场面活动引导与控制***接收到步骤35)输出的数据时，将视频跟踪输出的40ms为一周期目标位置点迹，进行跟踪、拟合、平滑处理，形成航迹，并与目标类型数据关联，以1秒为周期在高级场面活动引导与控制***的态势界面显示目标运动航迹，实现场面监视方式探测目标丢失的补充。

Images