CN116993933A - 应急场景下的实景地图构建方法、装置、设备及存储介质 - Google Patents

应急场景下的实景地图构建方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116993933A
CN116993933A CN202310719078.8A CN202310719078A CN116993933A CN 116993933 A CN116993933 A CN 116993933A CN 202310719078 A CN202310719078 A CN 202310719078A CN 116993933 A CN116993933 A CN 116993933A
Authority
CN
China
Prior art keywords
image
live
map
real
grading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310719078.8A
Other languages
English (en)
Inventor
王莉
费爱国
徐连明
张宇明
庄可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202310719078.8A priority Critical patent/CN116993933A/zh
Publication of CN116993933A publication Critical patent/CN116993933A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Tourism & Hospitality (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Computer Graphics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种应急场景下的实景地图构建方法、装置、设备及存储介质，涉及人工智能技术领域，该方法包括：获取多无人机拍摄的多个受灾区域的实景图像；基于各实景图像，构建实时灾情感知态势图；获取通信定位需求分级模型，通信定位需求分级模型是基于应急场景下的历史分级数据训练得到的；基于实时灾情感知态势图和通信定位需求分级模型，构建基于通信定位需求分级标定与灾点标定的实景地图。本发明可以提升实时灾情感知效率和通信定位需求分级的准确性，从而更好地辅助指挥人员对全局态势的感知，并合理分配救援资源。

Description

应急场景下的实景地图构建方法、装置、设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种应急场景下的实景地图构建方法、装置、设备及存储介质。
背景技术
自然灾害的发生通常让人始料未及，由于灾区基础设施薄弱，地形复杂等，导致应急救援严重滞后。全局的感知、可靠的通信、精确的定位作为应急体系的重要组成部分，对及时做出救援决策尤为重要。
目前，主要采用以经验为主的专家评判手段，即指挥人员通过对各个应急救援区域的灾情进行判断，从而指导通信定位需求的分级。然而，灾情瞬息万变，设施损毁，受灾区域地形复杂，专家资源不足，难以及时准确获取全局态势并正确分配救援资源。
因此，现有技术的不足在于：实时灾情感知效率较低，且通信定位需求分级的准确性不高，导致指挥人员难以及时准确获取全局态势并正确分配救援资源。
发明内容
本发明提供一种应急场景下的实景地图构建方法、装置、设备及存储介质，用以解决现有技术中实时灾情感知效率较低，且通信定位需求分级的准确性不高，导致指挥人员难以及时准确获取全局态势并正确分配救援资源的缺陷，实现提升实时灾情感知效率和通信定位需求分级的准确性，从而更好地辅助指挥人员对全局态势的感知，并合理分配救援资源的目的。
本发明提供一种应急场景下的实景地图构建方法，包括：
获取多无人机拍摄的多个受灾区域的实景图像；
基于各所述实景图像，构建实时灾情感知态势图；
获取通信定位需求分级模型，所述通信定位需求分级模型是基于应急场景下的历史分级数据训练得到的；
基于所述实时灾情感知态势图和所述通信定位需求分级模型，构建基于通信定位需求分级标定与灾点标定的实景地图。
根据本发明提供的一种应急场景下的实景地图构建方法，所述基于各所述实景图像，构建实时灾情感知态势图，包括：
将所述实景图像从像素坐标系转换到世界坐标系，得到目标图像；
基于各所述目标图像的世界坐标，将各所述目标图像进行拼接处理，得到拼接图像；
将所述拼接图像中的空缺区域进行补全处理，得到所述实时灾情感知态势图。
根据本发明提供的一种应急场景下的实景地图构建方法，所述基于各所述目标图像的世界坐标，将各所述目标图像进行拼接处理，得到拼接图像，包括：
针对任意两张所述目标图像，根据两张所述目标图像的世界坐标判断两张所述目标图像是否存在关联区域；
在两张所述目标图像存在关联区域的情况下，采用尺度不变的特征点检测算法对两张所述目标图像分别进行特征检测，得到特征点集；
计算所述特征点集中每个特征点的描述符，得到描述符集；
基于两张所述目标图像对应的所述描述符集，对两张所述目标图像对应的所述特征点集进行相似特征点的匹配处理，得到多个匹配点；
将所述多个匹配点中的异常匹配点进行过滤，以对所述多个匹配点进行矫正；
将两张所述目标图像分别进行透视变换；
基于矫正后的所述多个匹配点，对透视变换后的两张所述目标图像进行图像融合，得到所述拼接图像；其中，在所述图像融合的过程中，采用羽化技术进行平滑的图像转换，以及通过加权平均颜色值对重叠的像素进行融合。
根据本发明提供的一种应急场景下的实景地图构建方法，所述将所述拼接图像中的空缺区域进行补全处理，得到所述实时灾情感知态势图，包括：
对所述拼接图像中的空缺区域进行低维视觉先验信息的重建；
基于所述低维视觉先验信息，向重建后的所述拼接图像中补充纹理细节信息，得到所述实时灾情感知态势图。
根据本发明提供的一种应急场景下的实景地图构建方法，所述对所述拼接图像中的空缺区域进行低维视觉先验信息的重建，包括：
将所述拼接图像降采样为低维图像；
将所述低维图像确定为所述拼接图像的视觉先验图像；
采用聚类算法在预设图像数据集的颜色空间中生成颜色字典；
针对所述视觉先验图像中的每个像素，在所述颜色字典中查找与所述像素最接近的元素索引，得到所述像素的离散表示；
将所述视觉先验图像中各所述像素的离散表示输入Transformer模型中进行迭代计算，将所述拼接图像中的空缺区域中各所述像素的离散表示中的元素替换为吉布斯采样标记，得到离散序列；
针对每个所述离散序列，通过查询所述颜色字典来重建所述低维视觉先验信息。
根据本发明提供的一种应急场景下的实景地图构建方法，所述基于所述低维视觉先验信息，向重建后的所述拼接图像中补充纹理细节信息，得到所述实时灾情感知态势图，包括：
将重建后的所述视觉先验图像的图像矩阵和所述图像矩阵的双线性插值结果输入到引导上采样网络中进行处理，得到预测值；
基于所述预测值和真实值之间的损失函数来调整所述引导上采样网络的模型参数；所述损失函数为L1损失函数和对抗性损失函数的加权和；所述对抗性损失函数与判别器对所述预测值的判别值相关；
联合训练所述引导上采样网络和所述判别器，得到多元化还原结果；
从所述多元化还原结果中确定鲁棒性最高的结果；
基于所述鲁棒性最高的结果向重建后的所述拼接图像中补充所述纹理细节信息，得到所述实时灾情感知态势图。
根据本发明提供的一种应急场景下的实景地图构建方法，获取通信定位需求分级模型，包括：
获取所述应急场景下的历史分级数据；所述历史分级数据包括分级指标和针对每个分级指标的专家评语标签；
将所述历史分级数据划分为训练集和测试集；
将所述训练集输入所述通信定位需求分级模型中进行训练；
将所述测试集输入训练好的所述通信定位需求分级模型中进行测试；
在所述通信定位需求分级模型的测试结果未通过的情况下，对所述通信定位需求分级模型的模型参数进行微调，直至所述通信定位需求分级模型的测试结果通过。
根据本发明提供的一种应急场景下的实景地图构建方法，所述基于所述实时灾情感知态势图和所述通信定位需求分级模型，构建基于通信定位需求分级标定与灾点标定的实景地图，包括：
确定所述通信定位需求分级模型的输入指标；所述输入指标包括服务对象、应急场景、处置阶段和事件客观因素的细化类型以及通信定位需求的各个等级；
将所述输入指标输入所述通信定位需求分级模型中进行处理，输出通信定位需求分级标定结果；
基于所述实时灾情感知态势图确定灾点标定结果；
将所述通信定位需求分级标定结果和所述灾点标定结果添加至所述实时灾情感知态势图中，得到所述实景地图。
本发明还提供一种应急场景下的实景地图构建装置，包括：
第一获取模块，用于获取多无人机拍摄的受灾区域的实景图像；
第一构建模块，用于基于各所述实景图像，构建实时灾情感知态势图；
第二获取模块，用于获取通信定位需求分级模型，所述通信定位需求分级模型是基于应急场景下的历史分级数据训练得到的；
第二构建模块，用于基于所述实时灾情感知态势图和所述通信定位需求分级模型，构建基于通信定位需求分级标定与灾点标定的实景地图。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的应急场景下的实景地图构建方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的应急场景下的实景地图构建方法的步骤。
本发明提供的应急场景下的实景地图构建方法、装置、设备及存储介质，首先，获取多无人机拍摄的多个受灾区域的实景图像，并基于各实景图像构建实时灾情感知态势图，可以提升实时灾情感知效率；然后，获取通信定位需求分级模型，通信定位需求分级模型是基于应急场景下的历史分级数据训练得到的；基于实时灾情感知态势图和通信定位需求分级模型，构建基于通信定位需求分级标定与灾点标定的实景地图，可以提升通信定位需求分级的准确性，从而更好地辅助指挥人员对全局态势的感知，并合理分配救援资源。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的应急场景下的实景地图构建方法的流程示意图；
图2是本发明实施例提供的应急场景下的实景地图构建方法的场景示意图；
图3是本发明实施例提供的无人机采样图像坐标转换流程示意图；
图4是本发明实施例提供的无人机采样图像坐标转换示意图；
图5是本发明实施例提供的无人机采样图像拼接流程示意图；
图6a是本发明实施例提供的待检测的目标图像1的示意图；
图6b是本发明实施例提供的待检测的目标图像2的示意图；
图6c是本发明实施例提供的目标图像1的特征点检测示意图；
图6d是本发明实施例提供的目标图像2的特征点检测示意图；
图7是本发明实施例提供的特征点匹配示意图；
图8是本发明实施例提供的图像拼接示意图；
图9是本发明实施例提供的无人机采样图像补全流程示意图；
图10是本发明实施例提供的基于Transformer的视觉先验生成算法流程示意图；
图11是本发明实施例提供的基于CNN的细节纹理修复流程示意图；
图12是本发明实施例提供的分级指标示意图；
图13是本发明实施例提供的服务对象指标示意图；
图14是本发明实施例提供的应急场景指标示意图；
图15是本发明实施例提供的处置阶段指标示意图；
图16是本发明实施例提供的事件客观因素指标示意图；
图17是本发明实施例提供的通信定位需求等级示意图；
图18是本发明实施例提供的需求分级算法流程示意图；
图19是本发明实施例提供的无人机灾情航拍数据集；
图20是本发明实施例提供的无人机采集拼接结果；
图21是本发明实施例提供的无人机采集拼接裁剪结果；
图22是本发明实施例提供的无人机采集图像补全结果；
图23是本发明实施例提供的不同带宽与不同采集区域条件下的实景地图生成质量变化曲线；
图24是本发明实施例提供的实景地图灾点检测与标定；
图25a是本发明实施例提供的通信定位需求分级模型混淆矩阵之一；
图25b是本发明实施例提供的通信定位需求分级模型混淆矩阵之二；
图26是本发明实施例提供的基于通信定位需求分级标定与灾点标定的实景地图；
图27是本发明实施例提供的应急场景下的实景地图构建装置的结构示意图；
图28是本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1至图26描述本发明的应急场景下的实景地图构建方法。
请参照图1，图1是本发明实施例提供的应急场景下的实景地图构建方法的流程示意图。如图1所示，该方法可以包括以下步骤：
步骤101、获取多无人机拍摄的多个受灾区域的实景图像；
步骤102、基于各实景图像，构建实时灾情感知态势图；
步骤103、获取通信定位需求分级模型，通信定位需求分级模型是基于应急场景下的历史分级数据训练得到的；
步骤104、基于实时灾情感知态势图和通信定位需求分级模型，构建基于通信定位需求分级标定与灾点标定的实景地图。
在步骤101中，如图2所示，受灾区域有多个，无人机有多架，获取多架无人机拍摄的多个受灾区域的实景图像。
示例性地，假设有k架无人机M×N的矩形区域内执行感知任务，并将拍摄的多张实景图像回传至地面指挥车与服务器，无人机集合可表示为第k架无人机的位置可用坐标uk＝{xk,yk,zk}表示，无人机采集的实景图像集合可表示为
在本步骤中，一方面，由于受灾区域地形复杂，搜救区域广泛，单无人机拍摄全局态势图效率低，难以保证应急救援对实景地图新鲜度高的需求。因此，需要引入多无人机进行协同感知。另一方面，由于受灾区域内地面基站等设施的损毁，导致带宽资源匮乏，无人机仅支持回传部分高清图片。因此，需要多无人机拍摄多张实景图像进行拼接。
在步骤102中，可以通过将多架无人机拍摄的各实景图像进行坐标转换、拼接处理和补全处理，构建实时灾情感知态势图，可以提升实时灾情感知效率。
在步骤103中，应急场景可以包括火灾、烟雾、地震等，应急场景下的历史分级数据可以包括大量的火灾、烟雾、地震等应急场景下的灾情数据集。
具体地，基于应急场景下的历史分级数据训练通信定位需求分级模型，获取训练好的通信定位需求分级模型。
在一种可能的实施方式中，步骤103可以包括以下子步骤：
步骤1031、获取应急场景下的历史分级数据；历史分级数据包括分级指标和针对每个分级指标的专家评语标签；
步骤1032、将历史分级数据划分为训练集和测试集；
步骤1033、将训练集输入通信定位需求分级模型中进行训练；
步骤1034、将测试集输入训练好的通信定位需求分级模型中进行测试；
步骤1035、在通信定位需求分级模型的测试结果未通过的情况下，对通信定位需求分级模型的模型参数进行微调，直至通信定位需求分级模型的测试结果通过。
在步骤104中，通过实时灾情感知态势图可以进行灾点标定，通过通信定位需求分级模型可以进行通信定位需求分级标定，从而得到基于实时灾情感知态势图和通信定位需求分级模型，构建基于通信定位需求分级标定与灾点标定的实景地图，可以提升通信定位需求分级的准确性。
本发明实施例提供的应急场景下的实景地图构建方法，首先，获取多无人机拍摄的多个受灾区域的实景图像，并基于各实景图像构建实时灾情感知态势图，可以提升实时灾情感知效率；然后，获取通信定位需求分级模型，通信定位需求分级模型是基于应急场景下的历史分级数据训练得到的；基于实时灾情感知态势图和通信定位需求分级模型，构建基于通信定位需求分级标定与灾点标定的实景地图，可以提升通信定位需求分级的准确性，从而更好地辅助指挥人员对全局态势的感知，并合理分配救援资源。
基于图1对应实施例的应急场景下的实景地图构建方法，在一种示例实施例中，步骤102可以包括以下子步骤：
步骤1021、将实景图像从像素坐标系转换到世界坐标系，得到目标图像；
步骤1022、基于各目标图像的世界坐标，将各目标图像进行拼接处理，得到拼接图像；
步骤1023、将拼接图像中的空缺区域进行补全处理，得到实时灾情感知态势图。
在步骤1021中，如图3所示，相机成像***的坐标转换涉及到不同的坐标系，分别是世界坐标系、相机坐标系、理想图像坐标系、真实图像坐标系和像素坐标系。这些坐标系之间的转换和映射是实现从世界坐标系到像素坐标系转换的必要步骤。
示例性地，对k-th无人机拍摄的实景图像进行坐标转换，得到M×N的目标图像。其中，第k-th无人机采集的t张实景图像集合可表示为对于所有采集的实景图像，从像素坐标[ut,vt,1]T到世界坐标/>转换关系可表示为：
其中，R表示旋转矩阵，T表示平移向量，K表示相机的内参矩阵，Zc表示成像的比例因子。
如图4所示，A(Xw,Yw,Zw)表示世界坐标系中的点A坐标；a(x,y)表示A在图像中的成像点，并以像素坐标系中的坐标(u,v)表示；Oc-XcYcZc表示相机坐标系，坐标原点为光心Oc；o-xy表示图像坐标系，以图像中点为光心；uv表示像素坐标系，而f表示相机焦距，即从图像中点o到相机光心Oc的距离：
f＝||o-Oc|| (2)
关于从像素坐标系转换到世界坐标系的原理，下面进行详细介绍：
首先，为实现从世界到相机坐标系的转换，可采用刚体变换。刚体变换可以通过旋转、平移等方式改变相机坐标系的空间位置与朝向。常用的表示刚体变换的方法是旋转矩阵R和平移向量T：
其次，为实现相机坐标系到图像坐标系的转换，可使用透视投影。透视投影可以将三维空间中的点P转换为二维像平面上的点，与像平面的交点即为点p，过程可表示为：
再次，为修正非线性成像的坐标偏差，可采用畸变矫正。畸变矫正能够将图像中物体的形状和大小能够在平面上准确地呈现出来。同时，需要将光信号数字化为电信号，以完成从真实世界到像素坐标系的转换，过程可表示如下：
其中，o(uo,vo)表示在uv坐标系下的坐标，dx、dy为相机内参，分别表示像平面坐标系中每个像素在横纵轴上的物理尺寸。
因此，世界到像素坐标系的关系如下：
从而，可通过下述表达式推算得到像素坐标到真实世界坐标的转换关系：
其中，K-1＝(EF)-1，E表示像素与像平面的转换矩阵，F表示相机内参矩阵。
在步骤1022中，根据各目标图像的世界坐标对各目标图像进行拼接处理，得到拼接图像。
在一种可能的实施方式中，步骤1022可以包括以下子步骤：
步骤10221、针对任意两张目标图像，根据两张目标图像的世界坐标判断两张目标图像是否存在关联区域；
步骤10222、在两张目标图像存在关联区域的情况下，采用尺度不变的特征点检测算法对两张目标图像分别进行特征检测，得到特征点集；
步骤10223、计算特征点集中每个特征点的描述符，得到描述符集；
步骤10224、基于两张目标图像对应的描述符集，对两张目标图像对应的特征点集进行相似特征点的匹配处理，得到多个匹配点；
步骤10225、将多个匹配点中的异常匹配点进行过滤，以对多个匹配点进行矫正；
步骤10226、将两张目标图像分别进行透视变换；
步骤10227、基于矫正后的多个匹配点，对透视变换后的两张目标图像进行图像融合，得到拼接图像；其中，在图像融合的过程中，采用羽化技术进行平滑的图像转换，以及通过加权平均颜色值对重叠的像素进行融合。
下面结合图5对上述步骤10221-步骤10227进行说明：
在步骤10221中，针对任意两张目标图像，根据两张目标图像的世界坐标判断这两张目标图像是否邻接，也即是否存在关联区域。具体地，可以通过判断一张目标图像的四个端点坐标填入区域是否被另一张目标图像覆盖，来判断这两张目标图像是否邻接。其中，端点坐标(xi,yi)对应的覆盖标志可表示如下：以此决定多无人机拍摄图片拼接的执行与否
可以看出，端点坐标(xi,yi)对应的覆盖标志为True，则表示这两张目标图像邻接，需要执行这两张目标图像的拼接；端点坐标(xi,yi)对应的覆盖标志为False，则表示这两张目标图像不邻接，无需需执行这两张目标图像的拼接。
在步骤10222中，示例性地，以图6a所示的目标图像1和图6b所示的目标图像2为两张目标图像，在两张目标图像存在关联区域的情况下，采用尺度不变的特征点检测算法对两张目标图像分别进行特征检测，得到如图6c和图6d所示的特征点集。
在步骤10224中，如图6c和图6d所示，两幅图像中存在着大量的相似特征点。可以通过暴力匹配法(BF Matcher，BF)、K最邻近法(k-NearestNeighbor，KNN)等线性回归模型算法进行相似特征点的匹配处理，得到多个匹配点。
关于BF匹配法，通过迭代求解欧式距离最近的两组描述符作为匹配项。
关于KNN算法，对于一幅图像中的每个描述符，在另一幅图像的描述符集中找到K个最近邻的点，其中，最近邻被认为是两幅图像中关键点之间的真实对应关系。KNN算法由于KNN特征点匹配的高效性，采取KNN进行特征匹配的结果如图7所示。
在步骤10225中，为了应对线性回归模型对异常值不敏感的问题，本步骤需要进一步对异常匹配点进行过滤。因此，需要使用一种变换矩阵来描述并获取匹配点之间的关系，这种变换矩阵被称为单应矩阵。在单应矩阵的估计中，不属于重要区域的不需要的特征点将被删除，以避免噪声的影响。为了排除线性回归模型引入的异常值影响，采用随机抽样一致(RANdom Sample Consensus，RANSAC)算法进行单应矩阵的计算。RANSAC是一种经典的拟合算法，它可以在存在噪声和异常值的数据集中估计模型参数。基本思想是随机选择小部分数据，拟合模型并计算误差。多次迭代后，选择误差最小的模型作为输出，以此获取更为鲁棒的匹配结果。
在步骤10226和步骤10227中，为获得期望的输出图像形状，采用透视变换对所有输入图像进行变形，并在经过变换的图像上进行融合。该过程需要计算每个输入图像的变形图像坐标范围，以确定输出图像的尺寸，并映射每个源图像的四个角到变换后的图像上。接下来，使用羽化等技术实现平滑的图像转换，通过加权平均颜色值来融合重叠的像素，以避免拼接处的不连续和缝隙出现。从而完成了所有的图像拼接步骤，得到如图8所示的拼接图像。
在该实施方式中，由于在特征匹配时过滤了异常匹配点，可以避免噪声的影响；以及，在图像融合时采用羽化技术进行平滑的图像转换，以及通过加权平均颜色值对重叠的像素进行融合，可以避免拼接处的不连续和缝隙出现，从而可以提升图像拼接的准确性。
在步骤1023中，向拼接图像未采集到的空缺区域进行像素和纹理的补全，得到实时灾情感知态势图。
在一种可能的实施方式中，步骤1023可以包括以下子步骤：
步骤10231、对拼接图像中的空缺区域进行低维视觉先验信息的重建；
步骤10232、基于低维视觉先验信息，向重建后的拼接图像中补充纹理细节信息，得到实时灾情感知态势图。
下面结合图9对步骤10231和步骤10232进行说明：
在步骤10231之前，首先针对拼接图像进行判断，即针对拼接图像中的位置坐标(xi,yi)，通过掩码进行空缺区域表示，如下式所示：
进而根据算法对空缺区域，即掩码为0的部分执行补全算法。
可以看出，掩码为1，表示存在采集点，无需执行补全算法；掩码为0，表示缺失采集点，执行补全算法。
在步骤10231中，低维视觉先验信息可以包括低维的初步重建结构和粗纹理。对拼接图像中的空缺区域进行初步的重建，得到拼接图像中的空缺区域的低维的初步重建结构和粗纹理。
示例性地，图像补全旨在将具有缺失像素的拼接图像转换为完整图像图像补全任务具有随机性，因此，给定拼接图像Im，存在条件分布p(I∣Im)。由于在给定I和Im的情况下，粗略的先验信息X是确定的，因此p(I∣Im)可以重写为：
p(I∣Im)＝p(I∣Im)·p(X∣I,Im)＝p(X∣Im)·p(I∣X,Im) (10)
不同于直接从p(I∣Im)采样，本步骤首先使用Transformer模型对给定Im的视觉先验的基本分布进行建模，并将其表示为p(X∣Im)。由于Transformer具有强大的表示能力，这些重构的视觉先验包含全局结构和粗糙纹理的充分信息。
在步骤10232中，示例性地，采用卷积神经网络(Convolutional NeuralNetworks，CNN)，在低维视觉先验信息和未Masked像素的指导下，补充精细的纹理细节，并将其表示为p(I∣X,Im)。
在该实施方式中，首先对拼接图像中的空缺区域进行低维视觉先验信息的重建，然后基于低维视觉先验信息，向重建后的拼接图像中补充纹理细节信息，得到高质量图像，即实时灾情感知态势图，可以实现高保真度的多元图像补全性能。
在本实施例中，可以通过将多架无人机拍摄的各实景图像进行坐标转换、拼接处理和补全处理，构建实时灾情感知态势图，可以提升实时灾情感知效率。
在一种示例实施例中，步骤10231包括以下子步骤：
步骤102311、将拼接图像降采样为低维图像；
步骤102312、将低维图像确定为拼接图像的视觉先验图像；
步骤102313、采用聚类算法在预设图像数据集的颜色空间中生成颜色字典；
步骤102314、针对视觉先验图像中的每个像素，在颜色字典中查找与像素最接近的元素索引，得到像素的离散表示；
步骤102315、将视觉先验图像中各像素的离散表示输入Transformer模型中进行迭代计算，将拼接图像中的空缺区域中各像素的离散表示中的元素替换为吉布斯采样标记，得到离散序列；
步骤102316、针对每个离散序列，通过查询颜色字典来重建低维视觉先验信息。
下面结合图10对上述步骤102311-步骤102316进行说明：
在步骤102311中，示例性地，将拼接图像降采样为32×32或48×48的低维图像，本实施例不限于此。
在步骤102312中，将低维图像确定为拼接图像的视觉先验图像，视觉先验图像仅包含结构信息和粗略的纹理。
在步骤102313中，示例性地，聚类算法可以为K-Means聚类算法，预设图像数据集可以为ImageNet数据集，颜色空间可以为RGB空间。采用K-Means聚类算法在ImageNet数据集的RGB空间中生成一个大小为512×3的颜色字典，本实施例不限于此。
在步骤102315中，Transformer模型的学习目标是将空缺区域的表示序列中的元素替换为特殊掩码标记(Masked Token)，从而将视觉先验图像转换为离散序列。
给定离散序列X＝{x1,x2,...,xL}中的每个标记，其中L是序列的长度，本实施例使用预定义的嵌入(Embedding)将其映射到d维特征向量中。为了将位置信息编码到输入中，本实施例添加了可学习的位置嵌入到每个位置标记的特征中，使得最终的Transformer模型的输入格式为/>
模型的网络架构基于唯一解码器(Decoder-only)的Transformer算法，主要由N个双向自注意力机制的Transformer层组成，在每个Transformer层中，计算公式如下：
Zl-1＝LN(BMSA(Dl-1))+Dl-1 (11)
Dl＝LN(FC(Zl-1))+Zl-1 (12)
其中，LN、BMSA、FC分别表示层归一化、多头自注意力层和全连接层。更具体地，给定输入D，BMSA可以计算为：
BMSA＝[head1；...；headh]WO (13)
/>
其中，head是头部，h是头部的数量，d为超参数，表示向量维度，和/>是三个可学习的线性投影层，1≤i≤h，WO为可学习的全连接层，其目标是融合不同头部的输出结果。
最终的Transformer层的输出会被映射到512个颜色字典元素上。这个映射通过一个全连接层和Softmax函数来完成。采用类似于掩码语言模型(Masked Language Model，MLM)的目标函数来优化Transformer模型。具体的，设Π＝{π1,π2,…,πK}表示离散输入中MaskedToken的索引，其中K是Masked Token的数量。设XΠ表示X中Masked Token的集合，X-Π表示未MaskedToken的集合。MLM的目标是在给定已知Token的情况下最小化Masked Token的负对数似然：
其中，LMLM是MLM的似然求解值，θ是Transformer的参数。结合双向注意的MLM目标确保了Transformer模型能够捕获整个上下文信息，以预测缺失区域的概率分布。为了生成可信的Transformer模型的分布，直接采样整个Masked位置集合会产生不可信的结果，因为这些位置是相互独立的。相反，本实施例使用吉布斯采样来迭代地在不同的位置上采样Token。具体的，在每次迭代时，依次从条件分布中使用前k个预测元素来采样网格位置，其中/>表示之前生成的Token。然后，本实施例将相应的Masked Token替换为采样的Token，并重复此过程，直到更新所有位置。通过采样，可以得到一组完整的Token序列。
在步骤102316中，对于从Transformer模型中采样得到的每个完整离散序列，可以通过查询颜色字典来重建其视觉先验从而获得合理和多样化的视觉先验信息。因此便完成了低维视觉先验信息的构建。
在本实施例中，利用Transformer模型强大的表示能力，重建低维视觉先验信息。
在一种示例实施例中，步骤10232包括以下子步骤：
步骤102321、将重建后的视觉先验图像的图像矩阵和图像矩阵的双线性插值结果输入到引导上采样网络中进行处理，得到预测值；
步骤102322、基于预测值和真实值之间的损失函数来调整引导上采样网络的模型参数；损失函数为L1损失函数和对抗性损失函数的加权和；对抗性损失函数与判别器对预测值的判别值相关；
步骤102323、联合训练引导上采样网络和判别器，得到多元化还原结果；
步骤102324、从多元化还原结果中确定鲁棒性最高的结果；
步骤102325、基于鲁棒性最高的结果向重建后的拼接图像中补充纹理细节信息，得到实时灾情感知态势图。
下面结合图11对上述步骤102321-步骤102325进行说明：
在步骤102321中，完成重建低维视觉先验后，为恢复原始分辨率为H×W×3的数据，并且保持Masked和未Masked区域之间的边界一致性，引入了引导上采样网络。该网络利用神经网络建模纹理模式，通过Masked输入Im的指导下，渲染重建的视觉先验，从而实现高保真细节的重建。其中，引导上采样处理可表示为：
其中，表示原始数据X重塑后的矩阵，/>是It的双线性插值结果，∩表示级联操作，Ipred表示引导上采样网络的预测值。/>是由δ参数化的引导上采样网络的主干，包含编码器、解码器以及多个残差块。
在步骤102322中，通过最小化引导上采样网络预测值Ipred和真实值I之间的l1损失来进行优化网络性能：
其中，表示l1损失的期望。
为了在训练过程中生成更真实的细节，引入了额外的对抗性损失：
其中，Ladv表示对抗性损失的期望，是由ω参数化的判别器。
在步骤102323中，通过解决以下优化问题，联合训练上采样网络F和判别器
其中，Lupsample表示l1损失与对抗性损失的上采样的期望，α1和α2分别为l1损失权重与对抗性损失权重。
在步骤102324中，该算法结合多种因素，如灾情蔓延态势、灾点置信度、图像生成指标和指挥人员评估等，在生成的多元化还原结果中选择鲁棒性最高的结果进行输出。
在步骤102325中，基于鲁棒性最高的结果向重建后的拼接图像中补充纹理细节信息，得到实时灾情感知态势图。图11展示了根据灾点检测置信度所输出的最佳还原效果。
在本实施例中，可以向重建后的拼接图像中补充纹理细节信息。
在一种示例实施例中，步骤104可以包括以下子步骤：
步骤1041、确定通信定位需求分级模型的输入指标；输入指标包括服务对象、应急场景、处置阶段和事件客观因素的细化类型以及通信定位需求的各个等级；
步骤1042、将输入指标输入通信定位需求分级模型中进行处理，输出通信定位需求分级标定结果；
步骤1043、基于实时灾情感知态势图确定灾点标定结果；
步骤1044、将通信定位需求分级标定结果和灾点标定结果添加至实时灾情感知态势图中，得到实景地图。
在步骤1041中，历史分级数据包括分级指标和针对每个分级指标的专家评语标签。示例性地，如图12所示，分级指标可以包括：一级指标、二级指标、…、五级指标；其中，一级指标包括通信和定位任务的优先级，二级指标包括A服务对象、B应急场景、C处置阶段、D事件客观因素、E灾点检测置信度，以此类推。
如图13所示，对A服务对象进行了细化，A服务对象可以包括A1人员类型和A2载具类型；其中，A1人员类型可以包括A1-1一线小队、A1-2前方指挥员、A1-3后方指挥员和A1-4保障人员；A2载具类型可以包括A2-1通信车和A2-2指挥车。
如图14所示，对B应急场景进行了细化，B应急场景可以包括B1地形地貌和B2天气气候；其中，B1地形地貌可以包括B1-1丘陵、B1-2平原、B1-3盆地、B1-4山地、B1-5林区和B1-X其他；B1-5林区可以包括B1-5-1林相、B1-5-2树种和B1-5-X其他；B2天气气候可以包括B2-1气温、B2-2湿度、B2-3风、B2-4降雨和B2-X其他；B2-3风可以包括B2-3-1风力和B2-3-2风向。
如图15所示，对C处置阶段进行了细化，C处置阶段可以包括C1事前、C2事发、C3事中和C4事后；其中，C1事前可以包括C1-1灾情接报和C1-2预先勘察，C2事发可以包括C2-1兵力接送，C3事中可以包括C3-1探测阶段和C3-2处置阶段，C4事后可以包括C4-1清理灾区、C4-2撤离返营和C4-3灾后重建。
如图16所示，对D事件客观因素进行了细化，D事件客观因素可以包括D1事件类型、D2灾情态势和D3事件规模；其中，D1事件类型可以包括D1-1平时和D1-2战时，D1-1平时可以包括日常巡护，D1-2战时可以包括D1-2-1火灾、D1-2-2泥石流、D1-2-3地震和D1-2-X其他；D2灾情态势可以包括D2-1灾点、D2-2潜在灾点和D2-3非灾点，D3事件规模可以包括D3-1受灾面积和D3-2受灾人数。
如图17所示，通信定位需求的各个等级分为五个级别，随着等级从L1到L5递增，对应区域需求的重要性程度也逐渐增加。例如，在救援现场相对安全区域，仅需基本的语音传输和定位需求；而越靠近灾点，现场实时信息更重要，需要更快的通信速率以保障图像和视频传输，需要更高的定位精度以保障救援的安全性。
在步骤1042中，示例性地，如图18所示，首先，根据历史的应急救援中收集的指标数据以及专家分级判断将数据录入灾情分级专家知识库，并通过一维卷积神经网络进行模型训练。一维卷积网络是指对一维输入向量进行卷积、池化、全连接等操作的神经网络，能够根据输入的灾点情况、服务对象、应急场景、处置阶段以及区域人数推理出通信、定位需求等级。
在进行前向传递之前，需要对输入数据进行One-hot编码。输入数据可以被表示为一个大小为L×F的矩阵，其中每行代表一个样本，每列代表一个特征。接下来，将此矩阵输入卷积层，从而进行特征提取和降维。一维卷积层可以将输入数据序列通过一组可学习的卷积核进行滤波，以提取数据中的重要特征。在卷积操作后，一维卷积层需采用激活函数对结果进行非线性变换。其中，ReLU激活函数是一种常用的非线性激活函数，在应对梯度消失问题方面具有优异的性能，因此采用ReLU激活函数进行处理，其定义为f(x)＝max(0,x)。接下来，通过池化层减小输出的维度，最终通过全连接层输出通信定位需求分级的结果。
在训练过程中，需要对网络输出和真实标签之间的差异进行度量，以便调整模型参数以提高性能。Categorical_crossentropy损失函数能够量化网络输出和真实标签之间的差异，并使用反向传播算法计算每个参数的梯度，以便沿着梯度的方向更新参数以减小交叉熵损失函数，交叉熵损失函数J()可表示为：
其中，C是类别的数量，y是一个C维向量，表示数据样本的真实类别标签。是一个C维向量，表示模型的输出结果，每个元素的值为0到1之间的实数，且所有元素之和为1。yi表示真实类别为i的概率，而/>则表示模型预测为类别i的概率，其值通常使用Softmax函数来计算。通过将/>输入Softmax函数，可以将其转换为一个概率向量，满足所有元素之和为1。Softmax函数σ()可表示为：
将Softmax函数的计算结果代入Categorical_crossentropy损失函数公式中，可以得到模型预测结果和真实标签y之间的交叉熵损失，用于衡量模型预测的准确度。
同时，为了提高训练效率和准确性，本实施例采用Adam优化器对神经网络中的每个权重参数进行更新优化。具体地，Adam优化器会计算每个权重参数θt的一阶矩估计mt和二阶矩估计vt的梯度，并对这些估计值进行偏差修正，得到和/>然后根据这些估计值计算出一个自适应的学习率，并用该学习率来更新参数θt的值。Adam优化器的更新规则可以表示为：
其中，mt-1是更新前的一阶矩估计，vt-1是更新前的二阶矩估计，θt-1是更新前的权重参数，J(θt-1)是损失函数，是损失函数关于参数θ的梯度，θt是更新后的参数值，η是学***滑估计值。
在步骤1044中，根据输出结果以及区域分级的粒度信息将通信定位需求分级标定结果和灾点标定结果在实景态势图中标定，以协助指挥人员更高效地做出更合理的通信定位需求分级决策。并且在每次实地救援中使用实地数据来微调网络模型，从而对模型进行调整和改进，以进一步提升模型在实际应急救援中的表现。
在本实施例中，通过实时灾情感知态势图可以进行灾点标定，通过通信定位需求分级模型可以进行通信定位需求分级标定，从而得到基于实时灾情感知态势图和通信定位需求分级模型，构建基于通信定位需求分级标定与灾点标定的实景地图，可以提升通信定位需求分级的准确性。
下面通过实验结果对本发明实施例的应急场景下的实景地图构建方法的优点进行详细说明。
首先，搭建实验仿真平台，实验仿真平台为Python平台，Python平台采用PyTorch框架实现。PyTorch框架是由Facebook开发的深度学习框架，其优势包括动态计算图、GPU加速、丰富的工具库等。仿真所用GPU为RTX3090。表1示出了主要仿真参数：
表1主要仿真参数表
参数 数值
图像拼接特征匹配阈值 0.01
图像拼接描述符窗口尺寸 5
图像拼接RANSAC特征差异阈值 3
图像补全Transformer层个数 14
图像补全Transformer头部数量 8
图像补全Embedding维度 256
图像补全Transformer学习率 3×10-4
图像补全CNN学习率 10-4
图像补全鉴别器/生成器学习率比率 0.1
图像补全特征匹配的损失权重 10
图像补全L1损失权重 1
图像补全对抗性损失权重 0.1
目标检测置信度阈值 0.5
需求分级Adam一阶矩估计衰减率 0.9
需求分级Adam二阶矩估计衰减率 0.99
需求分级学习率 4×10-3
如图19所示，是无人机采集的部分灾点实景信息。针对灾情区域全局采样的实景地图生成情况，其中包括了无人机航拍采集的全局图片信息，并融合了Unity3D制造的火焰信息，经过图片坐标转换后，将采集图片填入地图。
在救援过程中，获取受灾区域全局的实景照片及其灾点细节对于有效应对灾情至关重要。然而，若灾情区域扩大，灾情态势蔓延快。一方面，全局采样时延很高，难以支持应急救援场景下实景态势图的新鲜度要求。另一方面，仅进行拼接操作需要前后两帧图像有着关联关系，意味着需要采集更多具有重复部分的图片，十分消耗应急救援场景下的带宽与算力资源。而本实施例进行部分采样操作，将采集到的图片根据坐标关系拼入地图中，若重复则进行拼接操作。完成上述操作后，将空缺区域进行图像补全，能够极大降低时延与带宽、算力消耗，并且支持无人机实时采集图片更新实景地图，能够保持较高的新鲜度。根据上述无人机采集的不同特征和拍摄位置的图片，本实施例基于坐标转换模块进行了图像拼接。经过对这些局部图片的细致处理和合理组合，成功地将它们拼接成了一张如图20所示的完整的、高分辨率的全景图像。
如图20所示，图像拼接后可能存在空缺区域，这种现象通常由透视变换导致的变形、图像色彩和亮度的变化、图像边缘处理等因素引起。如果缺失区域位于实景地图边缘，如上图黑色区域所示，这些区域往往信息较少，可以直接进行裁剪对齐处理，裁剪后结果如图21所示。
如果缺失区域在实景地图区域内，如图21中的白色区域，这些信息比较重要，因此本实施例采用图像补全方法进行空缺预测和填补。对于图像补全工作，本实施例在训练过程中基于Place数据集的模型进行预训练，接着本发明针对林区、火灾等特定场景，进行了进一步的训练，使得Transformer模型能生成更好的视觉先验。下面将以上述地图的某灾情区域为例，如图22所示，展示缺失区域图像补全的效果。
在每组结果中，首行左图白洞部分为缺失区域，右图展示了基于Transformer的视觉先验低分辨率修复的多元生成结果。可以看出，通过低分辨率先验修复，修复结果能够基本还原原图轮廓，并且能够生成多样化的修复效果。每组第二行的左图展示了原图，右图展示了基于多元视觉先验的CNN的高分辨率修复结果。如图所示，在输入掩码图片分辨率指引下，模型能够还原出较好的结果。此外，随着应急救援实景数据的不断积累，模型能够进一步提升还原质量。在实景态势图的构建中，支持根据指挥人员的主观评判以及灾点检测置信度、图像生成质量等客观指标的评判，从而确定选择最优的还原效果。
在应急救援过程中，尽管局部采样可以节省算力、带宽等资源。但是，如果缺失实景照片的面积过大，实景地图的还原质量可能无法达到要求。因此，本实施例进行了采样密度与带宽的分析，分析缺失区域对图像生成质量的影响。本实施例评估了距离得分(Frechet Inception Distance score，FID)、结构相似性(Structural Similarity，SSIM)、归一化均方根误差(Normalized Root Mean Square Error，NRMSE)和峰值信噪比(Peak Signal to Noise Ratio，PSNR)等图像评估指标的变化情况，以指导无人机采取更合理的采样策略。
如图23所示，根据图像的指标情况，可以发现实景区域缺失面积对图像生成质量有着显著的影响。因此，在实际救援过程中，可以采用部分地图原图区域与生成区域进行指标测试的方法，以更加全面、准确地评估图像生成质量。除了图像指标情况外，还有一些其他因素也需要考虑，比如算力和带宽等资源的限制，以及受灾面积的大小和复杂程度等。以带宽为例，假设10M带宽在T时间内，能够采样全局数据，在可用带宽不断减少时，高分辨率图片需要进行降采样回传，此时，生成地图质量并不会随着采集区域的增大而出现显著提升的趋势。在综合考虑这些因素的基础上，可以确定适当的采样密度，从而制定出更加合理、高效的无人机灾情采样策略。这种策略可以在最大程度上保证图像生成的质量，同时也能够节约资源和提高救援效率，有助于在应急救援中取得更好的效果。
如图24所示，将根据生成的实景地图进行基于Yolov5的灾情检测，为了提高灾点检测的精度，本实施例使用了Coco数据集进行预训练，并使用火焰、烟雾等灾情数据集进行模型微调。从而得到在灾情检测方面表现较好的模型。在实景地图中，本研究点将此模型应用于灾点检测，从而确定实际灾点于实景地图中位置。此外，通过坐标转换模块，本实施例还可以获取灾点的真实地理坐标。实景地图中灾点检测效果标定如图24所示。
下面将根据灾点检测情况、服务对象、处置阶段、区域人数等指标对不同区域的通信、定位需求等级进行划分，本实施例采用混淆矩阵评估基于历史救援分级数据的数据集所训练的模型性能。混淆矩阵是一种有效的评估模型性能的工具，可以根据真实标签和预测标签的情况，计算出分类精确率、准确率、召回率、F1值等性能指标，以评估模型的分级效果。由于通信定位需求分级问题为多分类问题，因此本实施例采用Macro-average方法进行指标计算，如下公式(25)-(28)所示。
/>
其中，Accuracymacro表示精确率，Precisionmacro表示准确率，Recallmacro表示召回率，Fmacro表示F1值，TP(True Positive)表示真正例，即预测为等级N且实际值为等级N的样本数；FP(False Positive)表示假正例，即预测为等级N但实际值为非等级N的样本数；TN(True Negative)表示真反例，即预测为非等级N且实际值为非等级N的样本数；FN(FalseNegative)表示假反例，即预测为非等级N但实际值为等级N的样本数。
图25a和图25b分别展示了根据通信和定位需求分级数据集训练出的模型的预测混淆矩阵。根据混淆矩阵及其评估指标分析，可有效地评估模型性能，如表2所示。
表2需求分级模型性能指标表
表2展示了在通信和定位分级数据集下训练的一维卷积模型的分级性能。在通信和定位需求分级推理方面，模型的各项指标均达到了95％以上，表现出优异的性能。此外，分级模型还支持根据实际救援中专家的指示进行微调，能够高效地协助应急救援工作。根据不同区域的受困群众人数、服务对象等指标，灾情感知态势图构建与通信定位需求分级方法结果示意图可构建如图26所示。
图26中，受灾区域通信定位需求分级等级差异化，需求分级等级由L1至L5递增，可以作为后续章节中资源适配研究的重要参考依据。在资源适配研究中，需求分级等级用于设定带宽分配、通信速率阈值以及定位精度阈值等参数。因此，这些等级的划分对于后续的资源适配研究具有重要的指导作用。
下面对本发明提供的应急场景下的实景地图构建装置进行描述，下文描述的应急场景下的实景地图构建装置与上文描述的应急场景下的实景地图构建方法可相互对应参照。
请参照图27，图27是本发明实施例提供的应急场景下的实景地图构建装置的结构示意图。如图27所示，该装置可以包括：
第一获取模块10，用于获取多无人机拍摄的受灾区域的实景图像；
第一构建模块20，用于基于各实景图像，构建实时灾情感知态势图；
第二获取模块30，用于获取通信定位需求分级模型，通信定位需求分级模型是基于应急场景下的历史分级数据训练得到的；
第二构建模块40，用于基于实时灾情感知态势图和通信定位需求分级模型，构建基于通信定位需求分级标定与灾点标定的实景地图。
在一种示例实施例中，第一构建模块20可以包括：
转换子模块，用于将实景图像从像素坐标系转换到世界坐标系，得到目标图像；
拼接子模块，用于基于各目标图像的世界坐标，将各目标图像进行拼接处理，得到拼接图像；
补全子模块，用于将拼接图像中的空缺区域进行补全处理，得到实时灾情感知态势图。
在一种示例实施例中，拼接子模块具体用于：
针对任意两张目标图像，根据两张目标图像的世界坐标判断两张目标图像是否存在关联区域；
在两张目标图像存在关联区域的情况下，采用尺度不变的特征点检测算法对两张目标图像分别进行特征检测，得到特征点集；
计算特征点集中每个特征点的描述符，得到描述符集；
基于两张目标图像对应的描述符集，对两张目标图像对应的特征点集进行相似特征点的匹配处理，得到多个匹配点；
将多个匹配点中的异常匹配点进行过滤，以对多个匹配点进行矫正；
将两张目标图像分别进行透视变换；
基于矫正后的多个匹配点，对透视变换后的两张目标图像进行图像融合，得到拼接图像；其中，在图像融合的过程中，采用羽化技术进行平滑的图像转换，以及通过加权平均颜色值对重叠的像素进行融合。
在一种示例实施例中，补全子模块包括：
重建单元，用于对拼接图像中的空缺区域进行低维视觉先验信息的重建；
补充单元，用于基于低维视觉先验信息，向重建后的拼接图像中补充纹理细节信息，得到实时灾情感知态势图。
在一种示例实施例中，重建单元具体用于：
将拼接图像降采样为低维图像；
将低维图像确定为拼接图像的视觉先验图像；
采用聚类算法在预设图像数据集的颜色空间中生成颜色字典；
针对视觉先验图像中的每个像素，在颜色字典中查找与像素最接近的元素索引，得到像素的离散表示；
将视觉先验图像中各像素的离散表示输入Transformer模型中进行迭代计算，将拼接图像中的空缺区域中各像素的离散表示中的元素替换为吉布斯采样标记，得到离散序列；
针对每个离散序列，通过查询颜色字典来重建低维视觉先验信息。
在一种示例实施例中，补充单元具体用于：
将重建后的视觉先验图像的图像矩阵和图像矩阵的双线性插值结果输入到引导上采样网络中进行处理，得到预测值；
基于预测值和真实值之间的损失函数来调整引导上采样网络的模型参数；损失函数为L1损失函数和对抗性损失函数的加权和；对抗性损失函数与判别器对预测值的判别值相关；
联合训练引导上采样网络和判别器，得到多元化还原结果；
从多元化还原结果中确定鲁棒性最高的结果；
基于鲁棒性最高的结果向重建后的拼接图像中补充纹理细节信息，得到实时灾情感知态势图。
在一种示例实施例中，第二获取模块30具体用于：
获取应急场景下的历史分级数据；历史分级数据包括分级指标和针对每个分级指标的专家评语标签；
将历史分级数据划分为训练集和测试集；
将训练集输入通信定位需求分级模型中进行训练；
将测试集输入训练好的通信定位需求分级模型中进行测试；
在通信定位需求分级模型的测试结果未通过的情况下，对通信定位需求分级模型的模型参数进行微调，直至通信定位需求分级模型的测试结果通过。
在一种示例实施例中，第二构建模块40具体用于：
确定通信定位需求分级模型的输入指标；输入指标包括服务对象、应急场景、处置阶段和事件客观因素的细化类型以及通信定位需求的各个等级；
将输入指标输入通信定位需求分级模型中进行处理，输出通信定位需求分级标定结果；
基于实时灾情感知态势图确定灾点标定结果；
将通信定位需求分级标定结果和灾点标定结果添加至实时灾情感知态势图中，得到实景地图。
图28示例了一种电子设备的实体结构示意图，如图28所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行应急场景下的实景地图构建方法，该方法包括：获取多无人机拍摄的多个受灾区域的实景图像；基于各实景图像，构建实时灾情感知态势图；获取通信定位需求分级模型，通信定位需求分级模型是基于应急场景下的历史分级数据训练得到的；基于实时灾情感知态势图和通信定位需求分级模型，构建基于通信定位需求分级标定与灾点标定的实景地图。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法所提供的应急场景下的实景地图构建方法，该方法包括：获取多无人机拍摄的多个受灾区域的实景图像；基于各实景图像，构建实时灾情感知态势图；获取通信定位需求分级模型，通信定位需求分级模型是基于应急场景下的历史分级数据训练得到的；基于实时灾情感知态势图和通信定位需求分级模型，构建基于通信定位需求分级标定与灾点标定的实景地图。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的应急场景下的实景地图构建方法，该方法包括：获取多无人机拍摄的多个受灾区域的实景图像；基于各实景图像，构建实时灾情感知态势图；获取通信定位需求分级模型，通信定位需求分级模型是基于应急场景下的历史分级数据训练得到的；基于实时灾情感知态势图和通信定位需求分级模型，构建基于通信定位需求分级标定与灾点标定的实景地图。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种应急场景下的实景地图构建方法，其特征在于，包括：
获取多无人机拍摄的多个受灾区域的实景图像；
基于各所述实景图像，构建实时灾情感知态势图；
获取通信定位需求分级模型，所述通信定位需求分级模型是基于应急场景下的历史分级数据训练得到的；
基于所述实时灾情感知态势图和所述通信定位需求分级模型，构建基于通信定位需求分级标定与灾点标定的实景地图。
2.根据权利要求1所述的应急场景下的实景地图构建方法，其特征在于，所述基于各所述实景图像，构建实时灾情感知态势图，包括：
将所述实景图像从像素坐标系转换到世界坐标系，得到目标图像；
基于各所述目标图像的世界坐标，将各所述目标图像进行拼接处理，得到拼接图像；
将所述拼接图像中的空缺区域进行补全处理，得到所述实时灾情感知态势图。
3.根据权利要求2所述的应急场景下的实景地图构建方法，其特征在于，所述基于各所述目标图像的世界坐标，将各所述目标图像进行拼接处理，得到拼接图像，包括：
针对任意两张所述目标图像，根据两张所述目标图像的世界坐标判断两张所述目标图像是否存在关联区域；
在两张所述目标图像存在关联区域的情况下，采用尺度不变的特征点检测算法对两张所述目标图像分别进行特征检测，得到特征点集；
计算所述特征点集中每个特征点的描述符，得到描述符集；
基于两张所述目标图像对应的所述描述符集，对两张所述目标图像对应的所述特征点集进行相似特征点的匹配处理，得到多个匹配点；
将所述多个匹配点中的异常匹配点进行过滤，以对所述多个匹配点进行矫正；
将两张所述目标图像分别进行透视变换；
基于矫正后的所述多个匹配点，对透视变换后的两张所述目标图像进行图像融合，得到所述拼接图像；其中，在所述图像融合的过程中，采用羽化技术进行平滑的图像转换，以及通过加权平均颜色值对重叠的像素进行融合。
4.根据权利要求2所述的应急场景下的实景地图构建方法，其特征在于，所述将所述拼接图像中的空缺区域进行补全处理，得到所述实时灾情感知态势图，包括：
对所述拼接图像中的空缺区域进行低维视觉先验信息的重建；
基于所述低维视觉先验信息，向重建后的所述拼接图像中补充纹理细节信息，得到所述实时灾情感知态势图。
5.根据权利要求4所述的应急场景下的实景地图构建方法，其特征在于，所述对所述拼接图像中的空缺区域进行低维视觉先验信息的重建，包括：
将所述拼接图像降采样为低维图像；
将所述低维图像确定为所述拼接图像的视觉先验图像；
采用聚类算法在预设图像数据集的颜色空间中生成颜色字典；
针对所述视觉先验图像中的每个像素，在所述颜色字典中查找与所述像素最接近的元素索引，得到所述像素的离散表示；
将所述视觉先验图像中各所述像素的离散表示输入Transformer模型中进行迭代计算，将所述拼接图像中的空缺区域中各所述像素的离散表示中的元素替换为吉布斯采样标记，得到离散序列；
针对每个所述离散序列，通过查询所述颜色字典来重建所述低维视觉先验信息。
6.根据权利要求4所述的应急场景下的实景地图构建方法，其特征在于，所述基于所述低维视觉先验信息，向重建后的所述拼接图像中补充纹理细节信息，得到所述实时灾情感知态势图，包括：
将重建后的所述视觉先验图像的图像矩阵和所述图像矩阵的双线性插值结果输入到引导上采样网络中进行处理，得到预测值；
基于所述预测值和真实值之间的损失函数来调整所述引导上采样网络的模型参数；所述损失函数为L1损失函数和对抗性损失函数的加权和；所述对抗性损失函数与判别器对所述预测值的判别值相关；
联合训练所述引导上采样网络和所述判别器，得到多元化还原结果；
从所述多元化还原结果中确定鲁棒性最高的结果；
基于所述鲁棒性最高的结果向重建后的所述拼接图像中补充所述纹理细节信息，得到所述实时灾情感知态势图。
7.根据权利要求1至6任一项所述的应急场景下的实景地图构建方法，其特征在于，获取通信定位需求分级模型，包括：
获取所述应急场景下的历史分级数据；所述历史分级数据包括分级指标和针对每个分级指标的专家评语标签；
将所述历史分级数据划分为训练集和测试集；
将所述训练集输入所述通信定位需求分级模型中进行训练；
将所述测试集输入训练好的所述通信定位需求分级模型中进行测试；
在所述通信定位需求分级模型的测试结果未通过的情况下，对所述通信定位需求分级模型的模型参数进行微调，直至所述通信定位需求分级模型的测试结果通过。
8.根据权利要求1至6任一项所述的应急场景下的实景地图构建方法，其特征在于，所述基于所述实时灾情感知态势图和所述通信定位需求分级模型，构建基于通信定位需求分级标定与灾点标定的实景地图，包括：
确定所述通信定位需求分级模型的输入指标；所述输入指标包括服务对象、应急场景、处置阶段和事件客观因素的细化类型以及通信定位需求的各个等级；
将所述输入指标输入所述通信定位需求分级模型中进行处理，输出通信定位需求分级标定结果；
基于所述实时灾情感知态势图确定灾点标定结果；
将所述通信定位需求分级标定结果和所述灾点标定结果添加至所述实时灾情感知态势图中，得到所述实景地图。
9.一种应急场景下的实景地图构建装置，其特征在于，包括：
第一获取模块，用于获取多无人机拍摄的受灾区域的实景图像；
第一构建模块，用于基于各所述实景图像，构建实时灾情感知态势图；
第二获取模块，用于获取通信定位需求分级模型，所述通信定位需求分级模型是基于应急场景下的历史分级数据训练得到的；
第二构建模块，用于基于所述实时灾情感知态势图和所述通信定位需求分级模型，构建基于通信定位需求分级标定与灾点标定的实景地图。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述的应急场景下的实景地图构建方法的步骤。
11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的应急场景下的实景地图构建方法的步骤。
CN202310719078.8A 2023-06-16 2023-06-16 应急场景下的实景地图构建方法、装置、设备及存储介质 Pending CN116993933A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310719078.8A CN116993933A (zh) 2023-06-16 2023-06-16 应急场景下的实景地图构建方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310719078.8A CN116993933A (zh) 2023-06-16 2023-06-16 应急场景下的实景地图构建方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116993933A true CN116993933A (zh) 2023-11-03

Family

ID=88532888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310719078.8A Pending CN116993933A (zh) 2023-06-16 2023-06-16 应急场景下的实景地图构建方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116993933A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117555979A (zh) * 2024-01-11 2024-02-13 人民中科(北京)智能技术有限公司 一种高效的自底向上的地图位置缺失识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117555979A (zh) * 2024-01-11 2024-02-13 人民中科(北京)智能技术有限公司 一种高效的自底向上的地图位置缺失识别方法
CN117555979B (zh) * 2024-01-11 2024-04-19 人民中科(北京)智能技术有限公司 一种高效的自底向上的地图位置缺失识别方法

Similar Documents

Publication Publication Date Title
WO2018000752A1 (zh) 一种基于多尺度cnn和连续crf的单目图像深度估计方法
Bewley et al. Range conditioned dilated convolutions for scale invariant 3d object detection
CN108961327B (zh) 一种单目深度估计方法及其装置、设备和存储介质
US20190213481A1 (en) Predicting depth from image data using a statistical model
JP2018022360A (ja) 画像解析装置、画像解析方法およびプログラム
CN110942484B (zh) 基于遮挡感知和特征金字塔匹配的相机自运动估计方法
CN114511609B (zh) 基于遮挡感知的无监督光场视差估计***及方法
CN113628261B (zh) 一种电力巡检场景下的红外与可见光图像配准方法
CN113724379B (zh) 融合图像与激光点云的三维重建方法及装置
CN114120069B (zh) 基于方向自注意力的车道线检测***、方法和存储介质
CN116824307A (zh) 基于sam模型的图像标注方法、装置及相关介质
CN116993933A (zh) 应急场景下的实景地图构建方法、装置、设备及存储介质
CN113989758A (zh) 一种用于自动驾驶的锚引导3d目标检测方法及装置
CN115546505A (zh) 一种基于深度学习的无监督单目图像深度估计方法
Huang et al. ES-Net: An efficient stereo matching network
CN115587987A (zh) 一种蓄电池缺陷检测方法、装置、存储介质及电子设备
CN110335228B (zh) 一种图像视差的确定方法、装置及***
CN112597995B (zh) 车牌检测模型训练方法、装置、设备及介质
CN116258756B (zh) 一种自监督单目深度估计方法及***
CN117830611A (zh) 目标检测方法、装置及电子设备
CN117726747A (zh) 补全弱纹理场景的三维重建方法、装置、存储介质和设备
CN111754561A (zh) 基于自监督深度学习的光场图像深度恢复方法及***
CN114820755B (zh) 一种深度图估计方法及***
He et al. Haze removal using aggregated resolution convolution network
CN114782507B (zh) 一种基于无监督学习的非对称双目立体匹配方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination