CN113947714A - 一种视频监控和遥感的多模态协同优化方法及*** - Google Patents

Abstract

本发明涉及一种视频监控和遥感的多模态协同优化方法及***，方法包括：构建第一分类器和第二分类器；根据预设监控摄像头的状态参数构建监控摄像头画面坐标和遥感经纬度坐标的映射关系；对同一物体进行目标识别，提取所述第一分类器和所述第二分类器中的识别结果进行数据融合；对分类器进行课程式学习，不断优化分类器；将待测监控画面和待测遥感图像输入至所述优化后的分类器中进行识别和融合，得到目标识别结果。本发明结合了视频监控和遥感，并结合协同优化，在已有的机器学习模型的基础上，训练新模型，在多模态识别中实现结果融合，以实现在线学习，从而提高识别准确率。

Description

一种视频监控和遥感的多模态协同优化方法及***

技术领域

本发明涉及目标识别技术领域，特别是涉及一种视频监控和遥感 的多模态协同优化方法及***。

背景技术

目标识别技术在视频监控、机器人、智能交通等领域都有广泛的 应用前景。但是由于目标识别需要涉及到大量数据的计算和分析，外 加光视角等环境因素的干扰，传统识别算法无法提取到图像的优选特 征，导致识别率有限。

目标检测识别是遥感技术的重要应用之一，在海洋监测、地质勘 测、城市规划等领域意义重大。现有的遥感图像目标检测方法采用一 步式的目标检测算法或旋转变换的数据增强方式的检测方法，成本较 高，并且不能在保证目标检测高精度的前提下，满足对遥感图像实时 检测的要求。

发明内容

为了克服现有技术的不足，本发明的目的是提供一种视频监控和 遥感的多模态协同优化方法及***。

为实现上述目的，本发明提供了如下方案：

一种视频监控和遥感的多模态协同优化方法，包括：

构建监控画面目标检测数据集和遥感图像目标检测数据集；

根据所述监控画面目标检测数据集和所述遥感图像目标检测数 据集对机器学习模型进行训练，得到训练好的第一分类器和第二分类 器；

根据预设监控摄像头的状态参数构建监控摄像头画面坐标和遥 感经纬度坐标的映射关系；

利用所述第一分类器识别监控画面中的物体，得到监控画面中所 有物体的第一置信度集合，并利用所述第二分类器识别遥感图像中的 物体，得到遥感图像中所有物体的第二置信度集合；

分别利用所述第一分类器和所述第二分类器对预设识别物体进 行识别，得到识别结果，并根据所述第一置信度集合、所述第二置信 度集合和所述映射关系对所述识别结果进行数据融合和标记，得到添 加伪标签后的监控画面和添加伪标签后的遥感图像；

根据所述添加伪标签后的监控画面和所述添加伪标签后的遥感 图像获取训练集，并根据所述训练集分别对所述第一分类器和所述第 二分类器进行训练，得到优化后的分类器；

将待测监控画面和待测遥感图像输入至所述优化后的分类器中 进行识别和融合，得到目标识别结果。

优选地，所述根据所述监控画面目标检测数据集和所述遥感图像 目标检测数据集对机器学习模型进行训练，得到训练好的第一分类器 和第二分类器，包括：

分别对所述监控画面目标检测数据集和所述遥感图像目标检测 数据集按照预设比例进行划分，得到监控画面训练集、监控画面验证 集、遥感图像训练集和遥感图像验证集；

基于多尺度训练方法及数据处理方法，根据所述监控画面训练集 和所述遥感图像训练集对YoloV3模型进行训练，并根据所述监控画 面验证集和所述遥感图像验证集对训练的所述YoloV3模型进行评估， 得到训练好的YoloV3模型；

利用所述训练好的YoloV3模型构建所述第一分类器和所述第二 分类器。

优选地，所述根据预设监控摄像头的状态参数构建监控摄像头画 面坐标和遥感经纬度坐标的映射关系，包括：

获取所述预设监控摄像头的状态参数；所述状态参数包括：监控 摄像头距离水平面的高度、监控摄像头中心线与垂直线的夹角、监控 摄像头中心线在水平面上的投影和地理真北方向的夹角、监控摄像头 水平视场角、监控摄像头垂直视场角和监控摄像头图像分辨率参数信 息；

标定监控摄像头所在的位置在水平面上的垂直投影位置；

基于半正矢公式，计算所述垂直投影位置距监控摄像头可视范围 内的水平面上的任意位置的直线水平距离和经度水平距离；

根据所述直线水平距离和所述经度水平距离计算所述垂直投影 位置和所述任意位置的连线与地理真北方向的夹角，记为第一夹角；

根据所述直线水平距离和所述监控摄像头距离水平面的高度计 算所述监控摄像头所在的位置和所述任意位置的连线与垂直线的夹 角，记为第二夹角；

根据所述监控摄像头中心线与垂直线的夹角、所述监控摄像头中 心线在水平面上的投影和地理真北方向的夹角、所述监控摄像头水平 视场角、所述监控摄像头垂直视场角和所述监控摄像头图像分辨率参 数信息计算所述任意位置在监控摄像头画面坐标；所述映射关系包括 所述直线水平距离、所述经度水平距离、所述第一夹角、所述第二夹 角和所述任意位置在监控摄像头画面坐标。

优选地，所述分别利用所述第一分类器和所述第二分类器对预设 识别物体进行识别，得到识别结果，并根据所述第一置信度集合、所 述第二置信度集合和所述映射关系对所述识别结果进行数据融合和 标记，得到添加伪标签后的监控画面和添加伪标签后的遥感图像，包 括：

根据所述监控画面目标检测数据集和所述遥感图像目标检测数 据集确定所述预设识别物体；所述预设识别物体经过分类器识别得到 预设目标识别物体；

分别将所述监控画面目标检测数据集和所述遥感图像目标检测 数据集对应输入至所述第一分类器和所述第二分类器进行识别，得到 第一分类结果和第二分类结果；

根据所述第一分类结果和所述第二分类结果进行数据融合，得到 所述识别结果，并根据所述识别结果、所述第一置信度集合、所述第 二置信度集合和所述映射关系进行数据标记，得到所述添加伪标签后 的监控画面和所述添加伪标签后的遥感图像。

优选地，所述根据所述第一分类结果和所述第二分类结果进行数 据融合，得到所述识别结果，并根据所述识别结果、所述第一置信度 集合、所述第二置信度集合和所述映射关系进行数据标记，得到所述 添加伪标签后的监控画面和所述添加伪标签后的遥感图像，包括

若所述第一分类结果中包括所述预设目标识别物体且所述第二 分类结果中不包括所述预设预设目标识别物体，则提取所述第一置信 度集合中所述预设预设目标识别物体的置信度，并判断所述预设目标 识别物体的置信度是否大于或等于预设置信度阈值，若是，则获取所 述预设目标识别物体的目标识别框，并根据所述映射关系和所述目标 识别框得到遥感图像中的对应区域，将所述对应区域标记为第一识别 结果；

若所述第一分类结果中不包括所述预设预设目标识别物体且所 述第二分类结果中包括所述预设预设目标识别物体，则提取所述第二 置信度集合中所述预设目标识别物体的置信度，并判断所述预设目标 识别物体的置信度是否大于或等于预设置信度阈值，若是，则获取所 述预设目标识别物体的目标识别框，并根据所述映射关系和所述目标 识别框得到监控画面中的对应区域，将所述对应区域标记为第二识别 结果；

若所述第一分类结果中包括所述预设目标识别物体且所述第二 分类结果中包括所述预设目标识别物体，则提取所述第一置信度集合 和所述第二置信度集合中所述预设目标识别物体的置信度；

若所述第一分类结果和所述第二分类结果中识别到的目标物体 类型相同，则判断述第一置信度集合中所述预设目标识别物体的置信 度是否大于或等于预设置信度阈值或所述第二置信度集合中所述预 设目标识别物体的置信度是否大于或等于预设置信度阈值，若是，则 将所述第一分类结果和所述第二分类结果确定为正确结果；

若所述第一分类结果和所述第二分类结果中识别到的目标物体 类型不相同，则筛选出所述第一置信度集合中所述预设目标识别物体 的置信度和所述第二置信度集合中所述预设目标识别物体的置信度 的最大值，并判断所述最大值是否大于或等于预设置信度阈值时，若 是，则以所述最大值对应的目标物体类型对另一个置信度对应的目标 物体类型进行修正，得到修正结果；

根据所述修正结果得到所述添加伪标签后的监控画面和所述添 加伪标签后的遥感图像。

优选地，所述根据所述添加伪标签后的监控画面和所述添加伪标 签后的遥感图像获取训练集，并根据所述训练集分别对所述第一分类 器和所述第二分类器进行训练，得到优化后的分类器，包括：

分别计算每帧监控画面图像和每张遥感图像中所有物体的平均 置信度；

当分别经过所述第一分类器和所述第二分类器处理及数据融合 之后的监控画面和遥感图像的数量均达到预设训练数量时，按照平均 置信度的值分别对监控画面和遥感图像进行从高到低排序，得到排序 图像集；

根据所述排序图像集、所述添加伪标签后的监控画面和所述添加 伪标签后的遥感图像得到所述训练集；

分别根据所述训练集中的监控画面图像和遥感图像对所述第一 分类器和所述第二分类器进行训练，得到初次训练的第一分类器和第 二分类器；

将多帧监控画面和多张遥感图像分别输入至所述初次训练的第 一分类器和第二分类器中进行目标识别，得到监控画面图像中目标物 体的置信度和遥感图像中目标物体的置信度；

统计多帧监控画面和多张遥感图像中所有识别到的物体总数；

统计所述监控画面图像中目标物体的置信度大于或等于预设置 信度阈值且所述遥感图像中目标物体的置信度大于或等于预设置信 度阈值，且目标物体均为同一类型的物体数量；

计算所述目标物体均为同一类型的物体数量占所述所有识别到 的物体总数的比值；

判断所述比值是否小于预设精度阈值，若是，则对所述第一分类 器和所述第二分类器继续训练，若否，则将所述第一分类器和所述第 二分类器确定为所述优化后的分类器。

一种视频监控和遥感的多模态协同优化***，包括：

数据集构建模块，用于构建监控画面目标检测数据集和遥感图像 目标检测数据集；

分类器构建模块，用于根据所述监控画面目标检测数据集和所述 遥感图像目标检测数据集对机器学习模型进行训练，得到训练好的第 一分类器和第二分类器；

映射关系构建模块，用于根据预设监控摄像头的状态参数构建监 控摄像头画面坐标和遥感经纬度坐标的映射关系；

置信度获取模块，用于利用所述第一分类器识别监控画面中的物 体，得到监控画面中所有物体的第一置信度集合，并利用所述第二分 类器识别遥感图像中的物体，得到遥感图像中所有物体的第二置信度 集合；

融合模块，用于分别利用所述第一分类器和所述第二分类器对预 设识别物体进行识别，得到识别结果，并根据所述第一置信度集合、 所述第二置信度集合和所述映射关系对所述识别结果进行数据融合 和标记，得到添加伪标签后的监控画面和添加伪标签后的遥感图像；

优化模块，用于根据所述添加伪标签后的监控画面和所述添加伪 标签后的遥感图像获取训练集，并根据所述训练集分别对所述第一分 类器和所述第二分类器进行训练，得到优化后的分类器；

识别模块，用于将待测监控画面和待测遥感图像输入至所述优化 后的分类器中进行识别和融合，得到目标识别结果。

优选地，所述分类器构建模块具体包括：

划分单元，用于分别对所述监控画面目标检测数据集和所述遥感 图像目标检测数据集按照预设比例进行划分，得到监控画面训练集、 监控画面验证集、遥感图像训练集和遥感图像验证集；

训练单元，用于基于多尺度训练方法及数据处理方法，根据所述 监控画面训练集和所述遥感图像训练集对YoloV3模型进行训练，并 根据所述监控画面验证集和所述遥感图像验证集对训练的所述 YoloV3模型进行评估，得到训练好的YoloV3模型；

构建单元，用于利用所述训练好的YoloV3模型构建所述第一分 类器和所述第二分类器。

优选地，所述映射关系构建模块具体包括：

信息获取单元，用于获取所述预设监控摄像头的状态参数；所述 状态参数包括：监控摄像头距离水平面的高度、监控摄像头中心线与 垂直线的夹角、监控摄像头中心线在水平面上的投影和地理真北方向 的夹角、监控摄像头水平视场角、监控摄像头垂直视场角和监控摄像 头图像分辨率参数信息；

标定单元，用于标定监控摄像头所在的位置在水平面上的垂直投 影位置；

第一计算单元，用于基于半正矢公式，计算所述垂直投影位置距 监控摄像头可视范围内的水平面上的任意位置的直线水平距离和经 度水平距离；

第二计算单元，用于根据所述直线水平距离和所述经度水平距离 计算所述垂直投影位置和所述任意位置的连线与地理真北方向的夹 角，记为第一夹角；

第三计算单元，用于根据所述直线水平距离和所述监控摄像头距 离水平面的高度计算所述监控摄像头所在的位置和所述任意位置的 连线与垂直线的夹角，记为第二夹角；

第四计算单元，用于根据所述监控摄像头中心线与垂直线的夹角、 所述监控摄像头中心线在水平面上的投影和地理真北方向的夹角、所 述监控摄像头水平视场角、所述监控摄像头垂直视场角和所述监控摄 像头图像分辨率参数信息计算所述任意位置在监控摄像头画面坐标； 所述映射关系包括所述直线水平距离、所述经度水平距离、所述第一 夹角、所述第二夹角和所述任意位置在监控摄像头画面坐标。

优选地，所述融合模块具体包括：

目标物体确定单元，用于根据所述监控画面目标检测数据集和所 述遥感图像目标检测数据集确定所述预设识别物体；所述预设识别物 体经过分类器识别得到预设目标识别物体；

识别单元，用于分别将所述监控画面目标检测数据集和所述遥感 图像目标检测数据集对应输入至所述第一分类器和所述第二分类器 进行识别，得到第一分类结果和第二分类结果；

融合标记单元，用于根据所述第一分类结果和所述第二分类结果 进行数据融合，得到所述识别结果，并根据所述识别结果、所述第一 置信度集合、所述第二置信度集合和所述映射关系进行数据标记，得 到所述添加伪标签后的监控画面和所述添加伪标签后的遥感图像。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供了一种视频监控和遥感的多模态协同优化方法及系 统，方法包括：构建监控画面目标检测数据集和遥感图像目标检测数 据集；根据所述监控画面目标检测数据集和所述遥感图像目标检测数 据集对机器学习模型进行训练，得到训练好的第一分类器和第二分类 器；根据预设监控摄像头的状态参数构建监控摄像头画面坐标和遥感 经纬度坐标的映射关系；利用所述第一分类器识别监控画面中的物体， 得到监控画面中所有物体的第一置信度集合，并利用所述第二分类器 识别遥感图像中的物体，得到遥感图像中所有物体的第二置信度集合； 分别利用所述第一分类器和所述第二分类器对预设识别物体进行识 别，得到识别结果，并根据所述第一置信度集合、所述第二置信度集 合和所述映射关系对所述识别结果进行数据融合和标记，得到添加伪 标签后的监控画面和添加伪标签后的遥感图像；根据所述添加伪标签 后的监控画面和所述添加伪标签后的遥感图像获取训练集，并根据所 述训练集分别对所述第一分类器和所述第二分类器进行训练，得到优化后的分类器；将待测监控画面和待测遥感图像输入至所述优化后的 分类器中进行识别和融合，得到目标识别结果。本发明结合了视频监 控和遥感，并结合协同优化，在已有的机器学习模型的基础上，训练 新模型，在多模态识别中实现结果融合，以实现在线学习，从而提高 识别准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面 将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描 述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来 讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他 的附图。

图1为本发明提供的实施例中的多模态协同优化方法的方法流 程图；

图2为本发明提供的实施例中的应用过程示意图；

图3为本发明提供的实施例中的监控摄像头画面坐标和经纬度 坐标的映射关系计算方法的第一示意图；

图4为本发明提供的实施例中的监控摄像头画面坐标和经纬度 坐标的映射关系计算方法的第二示意图；

图5为本发明提供的实施例中的待检测的目标在画面中的位置 示意图；

图6为本发明提供的实施例中的模态协同优化***的模块连接 图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方 案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部 分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普 通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结 构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个 位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例 互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解 的是，本文所描述的实施例可以与其它实施例相结合。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第 二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定 顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖 不排他的包含。例如包含了一系列步骤、过程、方法等没有限定于已 列出的步骤，而是可选地还包括没有列出的步骤，或可选地还包括对 于这些过程、方法、产品或设备固有的其它步骤元。

本发明的目的是提供提供一种视频监控和遥感的多模态协同优 化方法及***，能够提高识别准确率。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结 合附图和具体实施方式对本发明作进一步详细的说明。

图1和图2分别为本发明提供的实施例中的多模态协同优化方法 的方法流程图和应用过程示意图，如图1和图2所示，本发明提供了 一种视频监控和遥感的多模态协同优化方法，包括：

步骤100：构建监控画面目标检测数据集和遥感图像目标检测数 据集；

步骤200：根据所述监控画面目标检测数据集和所述遥感图像目 标检测数据集对机器学习模型进行训练，得到训练好的第一分类器和 第二分类器；

步骤300：根据预设监控摄像头的状态参数构建监控摄像头画面 坐标和遥感经纬度坐标的映射关系；

步骤400：利用所述第一分类器识别监控画面中的物体，得到监 控画面中所有物体的第一置信度集合，并利用所述第二分类器识别遥 感图像中的物体，得到遥感图像中所有物体的第二置信度集合；

步骤500：分别利用所述第一分类器和所述第二分类器对预设识 别物体进行识别，得到识别结果，并根据所述第一置信度集合、所述 第二置信度集合和所述映射关系对所述识别结果进行数据融合和标 记，得到添加伪标签后的监控画面和添加伪标签后的遥感图像；

步骤600：根据所述添加伪标签后的监控画面和所述添加伪标签 后的遥感图像获取训练集，并根据所述训练集分别对所述第一分类器 和所述第二分类器进行训练，得到优化后的分类器；

步骤700：将待测监控画面和待测遥感图像输入至所述优化后的 分类器中进行识别和融合，得到目标识别结果。

优选地，所述根据所述监控画面目标检测数据集和所述遥感图像 目标检测数据集对机器学习模型进行训练，得到训练好的第一分类器 和第二分类器，包括：

分别对所述监控画面目标检测数据集和所述遥感图像目标检测 数据集按照预设比例进行划分，得到监控画面训练集、监控画面验证 集、遥感图像训练集和遥感图像验证集；

基于多尺度训练方法及数据处理方法，根据所述监控画面训练集 和所述遥感图像训练集对YoloV3模型进行训练，并根据所述监控画 面验证集和所述遥感图像验证集对训练的所述YoloV3模型进行评估， 得到训练好的YoloV3模型；

利用所述训练好的YoloV3模型构建所述第一分类器和所述第二 分类器。

可选地，本实施例中首先基于YoloV3神经网络构建分类器，构 建监控画面目标检测数据集和遥感图像目标检测数据集，对两个数据 集的操作如下：随机将其中的70％数据设置为训练集，剩余的30％ 数据设置为验证集。使用YoloV3模型在训练集上面进行训练，直至 模型收敛，为了进一步提高检测效果，使用多尺度训练方法及数据增 强方法，通过这些训练方法，极大的提高了训练得到的模型的性能及 泛化能力。

具体的，通过对YoloV3的训练，利用训练好的YoloV3神经网 络构建两个分类器，分别为分类器1和分类器2，其中分类器1用于 监控画面目标识别，分类器2用于遥感图像目标识别。

优选地，所述根据预设监控摄像头的状态参数构建监控摄像头画 面坐标和遥感经纬度坐标的映射关系，包括：

获取所述预设监控摄像头的状态参数；所述状态参数包括：监控 摄像头距离水平面的高度、监控摄像头中心线与垂直线的夹角、监控 摄像头中心线在水平面上的投影和地理真北方向的夹角、监控摄像头 水平视场角、监控摄像头垂直视场角和监控摄像头图像分辨率参数信 息；

标定监控摄像头所在的位置在水平面上的垂直投影位置；

基于半正矢公式，计算所述垂直投影位置距监控摄像头可视范围 内的水平面上的任意位置的直线水平距离和经度水平距离；

根据所述直线水平距离和所述经度水平距离计算所述垂直投影 位置和所述任意位置的连线与地理真北方向的夹角，记为第一夹角；

根据所述直线水平距离和所述监控摄像头距离水平面的高度计 算所述监控摄像头所在的位置和所述任意位置的连线与垂直线的夹 角，记为第二夹角；

根据所述监控摄像头中心线与垂直线的夹角、所述监控摄像头中 心线在水平面上的投影和地理真北方向的夹角、所述监控摄像头水平 视场角、所述监控摄像头垂直视场角和所述监控摄像头图像分辨率参 数信息计算所述任意位置在监控摄像头画面坐标；所述映射关系包括 所述直线水平距离、所述经度水平距离、所述第一夹角、所述第二夹 角和所述任意位置在监控摄像头画面坐标。

请参阅图3至图5，本实施例在构建分类器之后进行参数获取准 备，并通过获取的参数进行映射关系建立过程，如图3至图5所示， 图中字母含义具体为：N示意地理真北方向，测定监控摄像头距离水 平面的高度为H、监控摄像头中心线与垂直线的夹角为θ、监控摄像 头中心线在水平面上的投影和地理真北方向的夹角为β、监控摄像头 水平视场角为ω_x、监控摄像头垂直视场角为ω_y、获取监控摄像头图 像分辨率参数信息为X×Y(X为图像的像素宽度，Y为像素高度)；

假定：监控摄像头画面中心的坐标定为(0,0)，监控摄像头所在的 位置O在水平面上的垂直投影位置为O′，其经纬度为(λ₀，ψ₀)，针对 监控摄像头可视范围内的水平面上任意位置A_i的经纬度坐标(λ_i，ψ_i) 可按如下方式转换为监控摄像头画面坐标(x_i，y_i)；

1)根据Haversine(半正矢公式)公式，计算监控摄像头所在的 位置在水平面上的垂直投影位置O′和监控摄像头可视范围内的水平 面上任意位置A_i的直线水平距离d_i，单位为m，O′和A_i的经度水平距 离s_i，单位为m：

其中：a、b均为中间变量值，O′(λ₀，ψ₀)为监控摄像头所在的位 置在水平面上的垂直投影位置，A_i(λ_i，ψ_i)为监控摄像头可视范围内 的水平面上任意位置，r为地球半径，单位为m；

2)：由1)计算O′和A_i的连线和地理真北方向的夹角β_i：

3)：由2)计算O和A_i的连线和垂直线的夹角θ_i：

其中，H为监控摄像头距离水平面的高度，单位为m；

4)计算A_i在监控摄像头画面坐标(x_i，y_i)：

其中，X为图像的像素宽度，Y为像素高度，根据监控摄像头图 像分辨率为X×Y，可得X和Y的参数值；

θ为监控摄像头中心线与垂直线的夹角，β为监控摄像头中心线 在水平面上的投影和地理真北方向的夹角，ω_x为监控摄像头水平视场 角，ω_y为监控摄像头垂直视场角。

优选地，所述分别利用所述第一分类器和所述第二分类器对预设 识别物体进行识别，得到识别结果，并根据所述第一置信度集合、所 述第二置信度集合和所述映射关系对所述识别结果进行数据融合和 标记，得到添加伪标签后的监控画面和添加伪标签后的遥感图像，包 括：

根据所述监控画面目标检测数据集和所述遥感图像目标检测数 据集确定所述预设识别物体；所述预设识别物体经过分类器识别得到 预设目标识别物体；

分别将所述监控画面目标检测数据集和所述遥感图像目标检测 数据集对应输入至所述第一分类器和所述第二分类器进行识别，得到 第一分类结果和第二分类结果；

根据所述第一分类结果和所述第二分类结果进行数据融合，得到 所述识别结果，并根据所述识别结果、所述第一置信度集合、所述第 二置信度集合和所述映射关系进行数据标记，得到所述添加伪标签后 的监控画面和所述添加伪标签后的遥感图像。

优选地，所述根据所述第一分类结果和所述第二分类结果进行数 据融合，得到所述识别结果，并根据所述识别结果、所述第一置信度 集合、所述第二置信度集合和所述映射关系进行数据标记，得到所述 添加伪标签后的监控画面和所述添加伪标签后的遥感图像，包括

若所述第一分类结果中包括所述预设目标识别物体且所述第二 分类结果中不包括所述预设预设目标识别物体，则提取所述第一置信 度集合中所述预设预设目标识别物体的置信度，并判断所述预设目标 识别物体的置信度是否大于或等于预设置信度阈值，若是，则获取所 述预设目标识别物体的目标识别框，并根据所述映射关系和所述目标 识别框得到遥感图像中的对应区域，将所述对应区域标记为第一识别 结果；

若所述第一分类结果中不包括所述预设预设目标识别物体且所 述第二分类结果中包括所述预设预设目标识别物体，则提取所述第二 置信度集合中所述预设目标识别物体的置信度，并判断所述预设目标 识别物体的置信度是否大于或等于预设置信度阈值，若是，则获取所 述预设目标识别物体的目标识别框，并根据所述映射关系和所述目标 识别框得到监控画面中的对应区域，将所述对应区域标记为第二识别 结果；

若所述第一分类结果中包括所述预设目标识别物体且所述第二 分类结果中包括所述预设目标识别物体，则提取所述第一置信度集合 和所述第二置信度集合中所述预设目标识别物体的置信度；

若所述第一分类结果和所述第二分类结果中识别到的目标物体 类型相同，则判断述第一置信度集合中所述预设目标识别物体的置信 度是否大于或等于预设置信度阈值或所述第二置信度集合中所述预 设目标识别物体的置信度是否大于或等于预设置信度阈值，若是，则 将所述第一分类结果和所述第二分类结果确定为正确结果；

若所述第一分类结果和所述第二分类结果中识别到的目标物体 类型不相同，则筛选出所述第一置信度集合中所述预设目标识别物体 的置信度和所述第二置信度集合中所述预设目标识别物体的置信度 的最大值，并判断所述最大值是否大于或等于预设置信度阈值时，若 是，则以所述最大值对应的目标物体类型对另一个置信度对应的目标 物体类型进行修正，得到修正结果；

根据所述修正结果得到所述添加伪标签后的监控画面和所述添 加伪标签后的遥感图像。

具体的，本实施例在进行映射关系建立过程之后对同一物体进行 目标识别，提取分类器1和分类器2中的识别结果进行数据融合。

进一步地，根据监控摄像头画面坐标和遥感经纬度坐标的映射关 系，可以实现监控画面和遥感图像中同一物体的相互对应。利用构建 的分类器对监控画面和遥感图像中的物体进行目标识别，其中分类器 1识别监控画面中的物体，分类器2识别遥感图像中的物体，分别得 到监控画面中所有物体的置信度集合A和遥感图像中所有物体的置 信度集合B，设置一个置信度阈值为Q，在对同一目标物体的识别中， 会出现如下三种情况：(1)监控画面中识别到目标物体，遥感图像中 没有识别到目标物体；(2)监控画面中没有识别到目标物体，遥感图 像中识别到目标物体；(3)监控画面和遥感图像中都识别到目标物体。 对上述三种情况的结果分别进行数据融合，具体处理过程如下：

1)监控画面中识别到目标物体，遥感图像中没有识别到目标物 体。

从监控画面中所有物体的置信度集合A中提取目标物体的置信 度F₁，若F₁＜Q，则分类器1识别错误，若F₁≥Q，则分类器1识别正 确；当分类器1能正确识别目标物体时，获取该目标物体的识别框， 其中识别框的左上和右下的两个点的画面坐标可通过分类器1进行目标识别时可知，根据步骤2建立的映射关系，得到识别框在遥感图 像中的对应区域，将该区域标记为分类器1识别得到的目标物体。

2)监控画面中没有识别到目标物体，遥感图像中识别到目标物 体。

从遥感图像中所有物体的置信度集合B中提取目标物体的置信 度F₂，若F₂＜Q，则分类器2识别错误，若F₂≥Q，则分类器2识别正 确；当分类器2能正确识别目标物体时，获取该目标物体的识别框， 通过遥感图像得到该识别框的左上和右下两个点的经纬度信息，根据 步骤2建立的映射关系，得到识别框在监控画面中的对应区域，将该 区域标记为分类器2识别得到的目标物体。

3)监控画面和遥感图像中都识别到目标物体。

从监控画面中所有物体的置信度集合A和遥感图像中所有物体的置信度 集合B中提取目标物体的置信度F₁和F₂，若分类器1和分类器2识别到的目标 物体类型相同，则判断置信度F₁和F₂是否满足条件：F₁≥Q，F₂≥Q，当满足一 个或以上条件时，分类器1和分类器2识别正确，反之分类器1和分类器2 识别错误；若分类器1和分类器2识别到的目标物体类型不同，筛选出置信度 F₁和F₂中的最大值：F_max＝(F₁,F₂)_max，当F_max＜Q时，分类器1和分类器2识 别错误，当F_max≥Q时，以置信度(F₁,F₂)中的最大值对应的目标物体类型为准， 对另一个置信度对应的目标物体类型进行修正。保留监控画面和遥感图像中识 别正确和经过修正后的目标物体，其中修正后的目标物体表示为给目标物体添 加伪标签。

优选地，所述根据所述添加伪标签后的监控画面和所述添加伪标 签后的遥感图像获取训练集，并根据所述训练集分别对所述第一分类 器和所述第二分类器进行训练，得到优化后的分类器，包括：

分别计算每帧监控画面图像和每张遥感图像中所有物体的平均 置信度；

当分别经过所述第一分类器和所述第二分类器处理及数据融合 之后的监控画面和遥感图像的数量均达到预设训练数量时，按照平均 置信度的值分别对监控画面和遥感图像进行从高到低排序，得到排序 图像集；

根据所述排序图像集、所述添加伪标签后的监控画面和所述添加 伪标签后的遥感图像得到所述训练集；

分别根据所述训练集中的监控画面图像和遥感图像对所述第一 分类器和所述第二分类器进行训练，得到初次训练的第一分类器和第 二分类器；

将多帧监控画面和多张遥感图像分别输入至所述初次训练的第 一分类器和第二分类器中进行目标识别，得到监控画面图像中目标物 体的置信度和遥感图像中目标物体的置信度；

统计多帧监控画面和多张遥感图像中所有识别到的物体总数；

统计所述监控画面图像中目标物体的置信度大于或等于预设置 信度阈值且所述遥感图像中目标物体的置信度大于或等于预设置信 度阈值，且目标物体均为同一类型的物体数量；

计算所述目标物体均为同一类型的物体数量占所述所有识别到 的物体总数的比值；

判断所述比值是否小于预设精度阈值，若是，则对所述第一分类 器和所述第二分类器继续训练，若否，则将所述第一分类器和所述第 二分类器确定为所述优化后的分类器。

具体的，本实施例在进行数据融合之后，对分类器进行课程式学 习，不断优化分类器，提高分类器对目标物体识别的准确率。

进一步地，计算每帧监控画面图像中所有物体的平均置信度

其中a为第a帧监控画面，Z_i为第i个物体的置信度。

计算每张遥感图像中所有物体的平均置信度

其中b为第b张遥感图像，P_j为第j个物体的置信度。

设置一个参数num，当经过分类器处理及数据融合之后的监控画 面图像和遥感图像的数量都达到num时，按照平均置信度的值分别 对监控画面图像和遥感图像进行从高到低排序，将排序后并且添加了 伪标签的监控画面图像和遥感图像分别作为分类器1和分类器2的输 入，从简单样本开始学习，并逐步过渡到困难样本，不断优化分类器， 使训练过程更加稳定。

具体的，本实施例在利用课程式学习的方式对分类器进行优化之 后，还利用优化后的分类器对目标物体进行精准的识别。

进一步地，经过步骤4的不断学习及优化，得到精度更高的分类 器1和分类器2，输入s帧监控画面图像和s张遥感图像，利用优化 后的分类器1和分类器2分别对监控画面图像和遥感图像进行目标识 别，得到监控画面图像中目标物体的置信度F₁和遥感图像中目标物体 的置信度F₂，同时统计s帧监控画面图像和s张遥感图像中所有识别 到的物体总数为N，设置一个参数K，统计满足F₁≥Q，F₂≥Q且目标 物体为同一类型这三个条件的物体数量为Ω，计算Ω占所有识别到的 物体的比值T：

T＝Ω/2N；

当T＜K时，继续对分类器进行优化；反之，则认为分类器能对 目标物体进行精准的识别。以最大置信度对应的目标物体类型作为数 据融合后的结果，实现对目标物体精准的识别。

图6为本发明提供的实施例中的模态协同优化***的模块连接 图，如图6所示，本发明还提供一种视频监控和遥感的多模态协同优 化***，包括：

数据集构建模块，用于构建监控画面目标检测数据集和遥感图像 目标检测数据集；

分类器构建模块，用于根据所述监控画面目标检测数据集和所述 遥感图像目标检测数据集对机器学习模型进行训练，得到训练好的第 一分类器和第二分类器；

映射关系构建模块，用于根据预设监控摄像头的状态参数构建监 控摄像头画面坐标和遥感经纬度坐标的映射关系；

置信度获取模块，用于利用所述第一分类器识别监控画面中的物 体，得到监控画面中所有物体的第一置信度集合，并利用所述第二分 类器识别遥感图像中的物体，得到遥感图像中所有物体的第二置信度 集合；

融合模块，用于分别利用所述第一分类器和所述第二分类器对预 设识别物体进行识别，得到识别结果，并根据所述第一置信度集合、 所述第二置信度集合和所述映射关系对所述识别结果进行数据融合 和标记，得到添加伪标签后的监控画面和添加伪标签后的遥感图像；

优化模块，用于根据所述添加伪标签后的监控画面和所述添加伪 标签后的遥感图像获取训练集，并根据所述训练集分别对所述第一分 类器和所述第二分类器进行训练，得到优化后的分类器；

识别模块，用于将待测监控画面和待测遥感图像输入至所述优化 后的分类器中进行识别和融合，得到目标识别结果。

优选地，所述分类器构建模块具体包括：

划分单元，用于分别对所述监控画面目标检测数据集和所述遥感 图像目标检测数据集按照预设比例进行划分，得到监控画面训练集、 监控画面验证集、遥感图像训练集和遥感图像验证集；

训练单元，用于基于多尺度训练方法及数据处理方法，根据所述 监控画面训练集和所述遥感图像训练集对YoloV3模型进行训练，并 根据所述监控画面验证集和所述遥感图像验证集对训练的所述 YoloV3模型进行评估，得到训练好的YoloV3模型；

构建单元，用于利用所述训练好的YoloV3模型构建所述第一分 类器和所述第二分类器。

优选地，所述映射关系构建模块具体包括：

信息获取单元，用于获取所述预设监控摄像头的状态参数；所述 状态参数包括：监控摄像头距离水平面的高度、监控摄像头中心线与 垂直线的夹角、监控摄像头中心线在水平面上的投影和地理真北方向 的夹角、监控摄像头水平视场角、监控摄像头垂直视场角和监控摄像 头图像分辨率参数信息；

标定单元，用于标定监控摄像头所在的位置在水平面上的垂直投 影位置；

第一计算单元，用于基于半正矢公式，计算所述垂直投影位置距 监控摄像头可视范围内的水平面上的任意位置的直线水平距离和经 度水平距离；

第二计算单元，用于根据所述直线水平距离和所述经度水平距离 计算所述垂直投影位置和所述任意位置的连线与地理真北方向的夹 角，记为第一夹角；

第三计算单元，用于根据所述直线水平距离和所述监控摄像头距 离水平面的高度计算所述监控摄像头所在的位置和所述任意位置的 连线与垂直线的夹角，记为第二夹角；

第四计算单元，用于根据所述监控摄像头中心线与垂直线的夹角、 所述监控摄像头中心线在水平面上的投影和地理真北方向的夹角、所 述监控摄像头水平视场角、所述监控摄像头垂直视场角和所述监控摄 像头图像分辨率参数信息计算所述任意位置在监控摄像头画面坐标； 所述映射关系包括所述直线水平距离、所述经度水平距离、所述第一 夹角、所述第二夹角和所述任意位置在监控摄像头画面坐标。

优选地，所述融合模块具体包括：

目标物体确定单元，用于根据所述监控画面目标检测数据集和所 述遥感图像目标检测数据集确定所述预设识别物体；所述预设识别物 体经过分类器识别得到预设目标识别物体；

识别单元，用于分别将所述监控画面目标检测数据集和所述遥感 图像目标检测数据集对应输入至所述第一分类器和所述第二分类器 进行识别，得到第一分类结果和第二分类结果；

融合标记单元，用于根据所述第一分类结果和所述第二分类结果 进行数据融合，得到所述识别结果，并根据所述识别结果、所述第一 置信度集合、所述第二置信度集合和所述映射关系进行数据标记，得 到所述添加伪标签后的监控画面和所述添加伪标签后的遥感图像。

本发明的有益效果如下：

(1)本发明中的分类器在执行分类任务时，能够不断地获得新 样本，从而持续的自我训练和改进，提高了分类器的精度。

(2)利用优化后的分类器，对目标物体进行识别，同时融合视 频监控和遥感的识别结果，提高了识别的准确率。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说 明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互 相参见即可。对于实施例公开的***而言，由于其与实施例公开的方 法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述， 以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同 时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方 式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解 为对本发明的限制。

Claims (10)

1.一种视频监控和遥感的多模态协同优化方法，其特征在于，包括：

构建监控画面目标检测数据集和遥感图像目标检测数据集；

根据所述监控画面目标检测数据集和所述遥感图像目标检测数据集对机器学习模型进行训练，得到训练好的第一分类器和第二分类器；

根据预设监控摄像头的状态参数构建监控摄像头画面坐标和遥感经纬度坐标的映射关系；

利用所述第一分类器识别监控画面中的物体，得到监控画面中所有物体的第一置信度集合，并利用所述第二分类器识别遥感图像中的物体，得到遥感图像中所有物体的第二置信度集合；

分别利用所述第一分类器和所述第二分类器对预设识别物体进行识别，得到识别结果，并根据所述第一置信度集合、所述第二置信度集合和所述映射关系对所述识别结果进行数据融合和标记，得到添加伪标签后的监控画面和添加伪标签后的遥感图像；

根据所述添加伪标签后的监控画面和所述添加伪标签后的遥感图像获取训练集，并根据所述训练集分别对所述第一分类器和所述第二分类器进行训练，得到优化后的分类器；

将待测监控画面和待测遥感图像输入至所述优化后的分类器中进行识别和融合，得到目标识别结果。

2.根据权利要求1所述的视频监控和遥感的多模态协同优化方法，其特征在于，所述根据所述监控画面目标检测数据集和所述遥感图像目标检测数据集对机器学习模型进行训练，得到训练好的第一分类器和第二分类器，包括：

分别对所述监控画面目标检测数据集和所述遥感图像目标检测数据集按照预设比例进行划分，得到监控画面训练集、监控画面验证集、遥感图像训练集和遥感图像验证集；

基于多尺度训练方法及数据处理方法，根据所述监控画面训练集和所述遥感图像训练集对YoloV3模型进行训练，并根据所述监控画面验证集和所述遥感图像验证集对训练的所述YoloV3模型进行评估，得到训练好的YoloV3模型；

利用所述训练好的YoloV3模型构建所述第一分类器和所述第二分类器。

3.根据权利要求1所述的视频监控和遥感的多模态协同优化方法，其特征在于，所述根据预设监控摄像头的状态参数构建监控摄像头画面坐标和遥感经纬度坐标的映射关系，包括：

获取所述预设监控摄像头的状态参数；所述状态参数包括：监控摄像头距离水平面的高度、监控摄像头中心线与垂直线的夹角、监控摄像头中心线在水平面上的投影和地理真北方向的夹角、监控摄像头水平视场角、监控摄像头垂直视场角和监控摄像头图像分辨率参数信息；

标定监控摄像头所在的位置在水平面上的垂直投影位置；

基于半正矢公式，计算所述垂直投影位置距监控摄像头可视范围内的水平面上的任意位置的直线水平距离和经度水平距离；

根据所述直线水平距离和所述经度水平距离计算所述垂直投影位置和所述任意位置的连线与地理真北方向的夹角，记为第一夹角；

根据所述直线水平距离和所述监控摄像头距离水平面的高度计算所述监控摄像头所在的位置和所述任意位置的连线与垂直线的夹角，记为第二夹角；

根据所述监控摄像头中心线与垂直线的夹角、所述监控摄像头中心线在水平面上的投影和地理真北方向的夹角、所述监控摄像头水平视场角、所述监控摄像头垂直视场角和所述监控摄像头图像分辨率参数信息计算所述任意位置在监控摄像头画面坐标；所述映射关系包括所述直线水平距离、所述经度水平距离、所述第一夹角、所述第二夹角和所述任意位置在监控摄像头画面坐标。

4.根据权利要求1所述的视频监控和遥感的多模态协同优化方法，其特征在于，所述分别利用所述第一分类器和所述第二分类器对预设识别物体进行识别，得到识别结果，并根据所述第一置信度集合、所述第二置信度集合和所述映射关系对所述识别结果进行数据融合和标记，得到添加伪标签后的监控画面和添加伪标签后的遥感图像，包括：

根据所述监控画面目标检测数据集和所述遥感图像目标检测数据集确定所述预设识别物体；所述预设识别物体经过分类器识别得到预设目标识别物体；

分别将所述监控画面目标检测数据集和所述遥感图像目标检测数据集对应输入至所述第一分类器和所述第二分类器进行识别，得到第一分类结果和第二分类结果；

根据所述第一分类结果和所述第二分类结果进行数据融合，得到所述识别结果，并根据所述识别结果、所述第一置信度集合、所述第二置信度集合和所述映射关系进行数据标记，得到所述添加伪标签后的监控画面和所述添加伪标签后的遥感图像。

5.根据权利要求4所述的视频监控和遥感的多模态协同优化方法，其特征在于，所述根据所述第一分类结果和所述第二分类结果进行数据融合，得到所述识别结果，并根据所述识别结果、所述第一置信度集合、所述第二置信度集合和所述映射关系进行数据标记，得到所述添加伪标签后的监控画面和所述添加伪标签后的遥感图像，包括

若所述第一分类结果中包括所述预设目标识别物体且所述第二分类结果中不包括所述预设预设目标识别物体，则提取所述第一置信度集合中所述预设预设目标识别物体的置信度，并判断所述预设目标识别物体的置信度是否大于或等于预设置信度阈值，若是，则获取所述预设目标识别物体的目标识别框，并根据所述映射关系和所述目标识别框得到遥感图像中的对应区域，将所述对应区域标记为第一识别结果；

若所述第一分类结果中不包括所述预设预设目标识别物体且所述第二分类结果中包括所述预设预设目标识别物体，则提取所述第二置信度集合中所述预设目标识别物体的置信度，并判断所述预设目标识别物体的置信度是否大于或等于预设置信度阈值，若是，则获取所述预设目标识别物体的目标识别框，并根据所述映射关系和所述目标识别框得到监控画面中的对应区域，将所述对应区域标记为第二识别结果；

若所述第一分类结果中包括所述预设目标识别物体且所述第二分类结果中包括所述预设目标识别物体，则提取所述第一置信度集合和所述第二置信度集合中所述预设目标识别物体的置信度；

若所述第一分类结果和所述第二分类结果中识别到的目标物体类型相同，则判断述第一置信度集合中所述预设目标识别物体的置信度是否大于或等于预设置信度阈值或所述第二置信度集合中所述预设目标识别物体的置信度是否大于或等于预设置信度阈值，若是，则将所述第一分类结果和所述第二分类结果确定为正确结果；

若所述第一分类结果和所述第二分类结果中识别到的目标物体类型不相同，则筛选出所述第一置信度集合中所述预设目标识别物体的置信度和所述第二置信度集合中所述预设目标识别物体的置信度的最大值，并判断所述最大值是否大于或等于预设置信度阈值时，若是，则以所述最大值对应的目标物体类型对另一个置信度对应的目标物体类型进行修正，得到修正结果；

根据所述修正结果得到所述添加伪标签后的监控画面和所述添加伪标签后的遥感图像。

6.根据权利要求5所述的视频监控和遥感的多模态协同优化方法，其特征在于，所述根据所述添加伪标签后的监控画面和所述添加伪标签后的遥感图像获取训练集，并根据所述训练集分别对所述第一分类器和所述第二分类器进行训练，得到优化后的分类器，包括：

分别计算每帧监控画面图像和每张遥感图像中所有物体的平均置信度；

当分别经过所述第一分类器和所述第二分类器处理及数据融合之后的监控画面和遥感图像的数量均达到预设训练数量时，按照平均置信度的值分别对监控画面和遥感图像进行从高到低排序，得到排序图像集；

根据所述排序图像集、所述添加伪标签后的监控画面和所述添加伪标签后的遥感图像得到所述训练集；

分别根据所述训练集中的监控画面图像和遥感图像对所述第一分类器和所述第二分类器进行训练，得到初次训练的第一分类器和第二分类器；

将多帧监控画面和多张遥感图像分别输入至所述初次训练的第一分类器和第二分类器中进行目标识别，得到监控画面图像中目标物体的置信度和遥感图像中目标物体的置信度；

统计多帧监控画面和多张遥感图像中所有识别到的物体总数；

统计所述监控画面图像中目标物体的置信度大于或等于预设置信度阈值且所述遥感图像中目标物体的置信度大于或等于预设置信度阈值，且目标物体均为同一类型的物体数量；

计算所述目标物体均为同一类型的物体数量占所述所有识别到的物体总数的比值；

判断所述比值是否小于预设精度阈值，若是，则对所述第一分类器和所述第二分类器继续训练，若否，则将所述第一分类器和所述第二分类器确定为所述优化后的分类器。

7.一种视频监控和遥感的多模态协同优化***，其特征在于，包括：

数据集构建模块，用于构建监控画面目标检测数据集和遥感图像目标检测数据集；

分类器构建模块，用于根据所述监控画面目标检测数据集和所述遥感图像目标检测数据集对机器学习模型进行训练，得到训练好的第一分类器和第二分类器；

映射关系构建模块，用于根据预设监控摄像头的状态参数构建监控摄像头画面坐标和遥感经纬度坐标的映射关系；

置信度获取模块，用于利用所述第一分类器识别监控画面中的物体，得到监控画面中所有物体的第一置信度集合，并利用所述第二分类器识别遥感图像中的物体，得到遥感图像中所有物体的第二置信度集合；

融合模块，用于分别利用所述第一分类器和所述第二分类器对预设识别物体进行识别，得到识别结果，并根据所述第一置信度集合、所述第二置信度集合和所述映射关系对所述识别结果进行数据融合和标记，得到添加伪标签后的监控画面和添加伪标签后的遥感图像；

优化模块，用于根据所述添加伪标签后的监控画面和所述添加伪标签后的遥感图像获取训练集，并根据所述训练集分别对所述第一分类器和所述第二分类器进行训练，得到优化后的分类器；

识别模块，用于将待测监控画面和待测遥感图像输入至所述优化后的分类器中进行识别和融合，得到目标识别结果。

8.根据权利要求7所述的视频监控和遥感的多模态协同优化***，其特征在于，所述分类器构建模块具体包括：

划分单元，用于分别对所述监控画面目标检测数据集和所述遥感图像目标检测数据集按照预设比例进行划分，得到监控画面训练集、监控画面验证集、遥感图像训练集和遥感图像验证集；

训练单元，用于基于多尺度训练方法及数据处理方法，根据所述监控画面训练集和所述遥感图像训练集对YoloV3模型进行训练，并根据所述监控画面验证集和所述遥感图像验证集对训练的所述YoloV3模型进行评估，得到训练好的YoloV3模型；

构建单元，用于利用所述训练好的YoloV3模型构建所述第一分类器和所述第二分类器。

9.根据权利要求7所述的视频监控和遥感的多模态协同优化***，其特征在于，所述映射关系构建模块具体包括：

信息获取单元，用于获取所述预设监控摄像头的状态参数；所述状态参数包括：监控摄像头距离水平面的高度、监控摄像头中心线与垂直线的夹角、监控摄像头中心线在水平面上的投影和地理真北方向的夹角、监控摄像头水平视场角、监控摄像头垂直视场角和监控摄像头图像分辨率参数信息；

标定单元，用于标定监控摄像头所在的位置在水平面上的垂直投影位置；

第一计算单元，用于基于半正矢公式，计算所述垂直投影位置距监控摄像头可视范围内的水平面上的任意位置的直线水平距离和经度水平距离；

第二计算单元，用于根据所述直线水平距离和所述经度水平距离计算所述垂直投影位置和所述任意位置的连线与地理真北方向的夹角，记为第一夹角；

第三计算单元，用于根据所述直线水平距离和所述监控摄像头距离水平面的高度计算所述监控摄像头所在的位置和所述任意位置的连线与垂直线的夹角，记为第二夹角；

第四计算单元，用于根据所述监控摄像头中心线与垂直线的夹角、所述监控摄像头中心线在水平面上的投影和地理真北方向的夹角、所述监控摄像头水平视场角、所述监控摄像头垂直视场角和所述监控摄像头图像分辨率参数信息计算所述任意位置在监控摄像头画面坐标；所述映射关系包括所述直线水平距离、所述经度水平距离、所述第一夹角、所述第二夹角和所述任意位置在监控摄像头画面坐标。

10.根据权利要求7所述的视频监控和遥感的多模态协同优化***，其特征在于，所述融合模块具体包括：

目标物体确定单元，用于根据所述监控画面目标检测数据集和所述遥感图像目标检测数据集确定所述预设识别物体；所述预设识别物体经过分类器识别得到预设目标识别物体；

识别单元，用于分别将所述监控画面目标检测数据集和所述遥感图像目标检测数据集对应输入至所述第一分类器和所述第二分类器进行识别，得到第一分类结果和第二分类结果；

融合标记单元，用于根据所述第一分类结果和所述第二分类结果进行数据融合，得到所述识别结果，并根据所述识别结果、所述第一置信度集合、所述第二置信度集合和所述映射关系进行数据标记，得到所述添加伪标签后的监控画面和所述添加伪标签后的遥感图像。

Images