CN117874156A - 基于多模态信息融合的城市空地无线电地图重绘方法 - Google Patents

Abstract

本发明的基于多模态信息融合的城市空地无线电地图重绘方法通过多模态信息融合提高位置估计和环境感知的准确性和可靠性；通过结合部分残缺地图先验知识和少量的RSS测量值，可以获得更全面和更具鲁棒性的信息表示；通过多类别遮挡无线信道模型和多类别虚拟障碍地图模型的模态融合，将无线信号特征和地理信息特征共同用于重绘无线电地图，以更好地捕捉它们之间的关联性和互补性。本发明的方法可以通过开源的RSS测量数据集进行实验验证，并与单一模态的方法进行了对比，以评估其有益效果。而评估实验结果展示了本发明的在无线信号接收强度估计和虚拟障碍地图重绘任务中的优势，并展现了其在减少任务需求数据量和提高重绘精度方面的有效性。

Description

基于多模态信息融合的城市空地无线电地图重绘方法

技术领域

本发明涉及无线通信领域，更具体地说，涉及一种基于多模态信息融合的城市空地无线电地图重绘方法。

背景技术

在未来的通信网络中，了解地理信息并将其用于整合空中和地面的无线通信将成为一项重要的任务。无线电地图作为一种表示地理位置间无线信道质量的数据结构，在近年来被广泛视为无线环境的强有力指示器，在网络监测与规划、室内外定位、交通协助、物联网数据收集和空气质量检测等多个领域发挥了重要作用。在这些场景中，无线电信号的采样是通过区域上的信号接收强度(Received Signal Strength，RSS)进行的。然而，由于以下挑战的存在，构建无线电地图变得非常困难。首先，构建精细的无线电地图需要大量的RSS数据，而数据的采集非常耗时。其次，为无线电地图找到合适的模型具有挑战性。地空信道依赖于地理环境，其形成机制复杂，涉及信号的反射、衍射和散射。由于无线电地图变化迅速，很难在大范围内获取实时的细粒度无线电地图。近年来，随着无人机制造技术的进步和成本的降低，无人机在通信领域得到了广泛应用。由于其独特的3D灵活性和空中优势，使用无人机作为空中锚点采集RSS数据，并协助绘制无线电地图成为了一项有效的解决方案。

目前，使用无人机协助绘制无线电地图的方法主要有两种。一种是结合3D城市地图和传统的无线信道参数估计方法进行无线电地图重绘；另一种是利用深度学习从RSS数据出发，探索RSS和障碍遮挡程度的隐性映射来进行无线电地图重绘。然而，上述两种方法都存在各自的不足之处。对于第一种方法，其缺点主要在于无线信道参数估计和虚拟障碍地图重绘在实际场景中常常具有复杂性和高耦合性。使用3D城市地图作为先验知识仅提供了局部区域的地理信息，并且可能存在不完整或不准确的问题。另一种方法的缺点在于其重绘结果可能受到RSS数据质量的影响，并且需要大量的数据，导致无线电地图重绘的不稳定性和不准确性。此外，通常情况下，训练一个深度学习算法需要很长的时间。

发明内容

本发明要解决的技术问题在于，针对前述单一模态方法的上述缺陷，提供一种基于多模态信息融合的城市空地无线电地图重绘方法，旨在减少任务需求数据量并提高重绘精度。

本发明解决其技术问题所采用的技术方案是：构造一种基于多模态信息融合的城市空地无线电地图重绘方法，包括

S1、基于部分城市3D地图对虚拟障碍地图生成网络进行预训练并固定初始网络参数；

S2、基于无人机和地面用户之间的通信信道遮挡信息对权重生成网络进行预训练并固定初始网络参数；

S3、基于所述无人机和所述地面用户之间的位置关系及无线信道信号接收强度联合优化所述虚拟障碍地图生成网络和无线信道参数预测网络；

S4、基于优化后的所述虚拟障碍地图生成网络生成所述城市空地无线电地图，并基于优化后的所述无线信道参数预测网络预测无线信道参数。

在本发明所述的基于多模态信息融合的城市空地无线电地图重绘方法中，所述步骤S1包括：

S11、使用地理信息开源数据集作为掩码矩阵对原始3D城市地图进行掩码处理以得到所述部分3D城市地图；

S12、将所述原始3D城市地图作为标签，并基于所述部分3D城市地图预训练所述虚拟障碍地图生成网络并存储网络参数。

在本发明所述的基于多模态信息融合的城市空地无线电地图重绘方法中，所述虚拟障碍地图生成网络包括两个级联的Unet，将所述部分3D城市地图作为第一个Unet的输入以重绘初始虚拟障碍地图，将所述初始虚拟障碍地图和所述部分3D城市地图同时输入第二个Unet以训练所述虚拟障碍地图生成网络并存储网络参数。

在本发明所述的基于多模态信息融合的城市空地无线电地图重绘方法中，所述步骤S2包括：

S21、采用第一分类策略网络和第二分类策略网络构建所述权重生成网络，所述第一分类策略网络和所述第二分类策略网络的输出结果均为表示某条无线信道链路在虚拟障碍地图中处于各类遮挡状态下的遮挡强度类型；

S22、分别采用第一源数据和第一分类标签训练第一分类策略网络直至其收敛；

S23、分别采用第二源数据和第二分类标签训练第二分类策略网络直至其收敛；

其中所述第一分类策略网络是由若干线性层和激活函数组成的神经网络，所述第二分类策略网络是由激活函数和Softmax函数组成的神经网络。

在本发明所述的基于多模态信息融合的城市空地无线电地图重绘方法中，在所述步骤S22中，所述第一分类标签

其中，

其中，SumHeightDiff_k表示高度差异和，其为对于每一条无线信道链路p上的第k类遮挡类型，对应位置的z_m与h_m,k的高度和之差，其中z_m代表无线信道链路P对应的地面用户和无人机3D位置的连线位置上的高度值，h_m,k代表无线信道链路P对应的地面用户和无人机3D位置的连线位置上的虚拟障碍高度值；Upperbound表示累计遮挡高度上限；s表示基于反指数函数的遮挡权重分配策略，w表示两类遮挡强度类型判定方法的影响因子，k的取值为0，1或2，λ为反指数分布的系数，决定反指数分布曲线的陡峭程度，在我们的实验设置中取1。

在本发明所述的基于多模态信息融合的城市空地无线电地图重绘方法中，在所述步骤S22中，所述第二分类标签

其中Pathloss表示无线信道信号接收强度的损耗实际值，而表示无线信道信号接收强度的损耗预测值。

在本发明所述的基于多模态信息融合的城市空地无线电地图重绘方法中，所述遮挡强度类型包括视距链路、遮挡类型为k＝1的由多路效应带来的软遮挡，以及遮挡类型为k＝2的混凝土结构带来的重度遮挡。

在本发明所述的基于多模态信息融合的城市空地无线电地图重绘方法中，所述步骤S3进一步包括：

S31、采用第一Adam优化器对所述虚拟障碍地图生成网络同时固定所述无线信道参数预测网络的参数，并通过计算所述第一分类标签和所述第二分类标签之间的最小平方差对所述虚拟障碍地图生成网络的参数进行修正；

S32、采用第二Adam优化器对所述无线信道参数预测网络，同时固定所述第一分类标签和所述第二分类标签，并通过计算所述无线信道信号接收强度的损耗实际值和无线信道信号接收强度的损耗预测值在不同遮挡情况下的最小平方差对所述无线信道参数预测网络的参数进行修正。

在本发明所述的基于多模态信息融合的城市空地无线电地图重绘方法中，在步骤S4中，当所述第一分类标签和所述第二分类标签之间的最小平方差越小时，表示所述虚拟障碍地图生成网络生成的所述城市空地无线电地图与实际3D城市地图差距越小；

当所述无线信道信号接收强度的损耗实际值和无线信道信号接收强度的损耗预测值之间的最小平方差越小时，表示所述无线信道参数预测网络预测的无线信道参数越接近真实值。

本发明的基于多模态信息融合的城市空地无线电地图重绘方法通过多模态信息融合提高位置估计和环境感知的准确性和可靠性；通过结合部分残缺地图先验知识和少量的RSS测量值，可以获得更全面和更具鲁棒性的信息表示；通过多类别遮挡无线信道模型和多类别虚拟障碍地图模型的模态融合，将无线信号特征和地理信息特征共同用于重绘无线电地图，以更好地捕捉它们之间的关联性和互补性。本发明的基于多模态信息融合的城市空地无线电地图重绘方法可以通过开源的RSS测量数据集进行实验验证，并与单一模态的方法进行了对比，以评估其有益效果。而评估实验结果展示了本发明的基于多模态信息融合的城市空地无线电地图重绘方法在无线信号接收强度估计和虚拟障碍地图重绘任务中的优势，并展现了其在减少任务需求数据量和提高重绘精度方面的有效性。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明的基于多模态信息融合的城市空地无线电地图重绘方法的优选实施例的流程图；

图2是本发明的基于多模态信息融合的城市空地无线电地图重绘方法的优选实施例的训练流程示意图；

图3示出了本发明的基于多模态信息融合的城市空地无线电地图重绘方法的优选实施例的算法；

图4示出了本发明的基于多模态信息融合的城市空地无线电地图重绘方法的实验结果；

图5A-5C示出了本发明的基于多模态信息融合的城市空地无线电地图重绘方法与现有技术的其他城市空地无线电地图重绘方法的比较结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的基于多模态信息融合的城市空地无线电地图重绘方法通过多模态信息融合提高位置估计和环境感知的准确性和可靠性；通过结合部分残缺地图先验知识和少量的RSS测量值，可以获得更全面和更具鲁棒性的信息表示；通过多类别遮挡无线信道模型和多类别虚拟障碍地图模型的模态融合，将无线信号特征和地理信息特征共同用于重绘无线电地图，以更好地捕捉它们之间的关联性和互补性。本发明的基于多模态信息融合的城市空地无线电地图重绘方法可以通过开源的RSS测量数据集进行实验验证，并与单一模态的方法进行了对比，以评估其有益效果。而评估实验结果展示了本发明的基于多模态信息融合的城市空地无线电地图重绘方法在无线信号接收强度估计和虚拟障碍地图重绘任务中的优势，并展现了其在减少任务需求数据量和提高重绘精度方面的有效性。

本发明的基于多模态信息融合的城市空地无线电地图重绘方法，其目的是使用无人机和地面用户的无线信道参数和作为先验知识的部分城市地图，结合无线信道强度测量值(RSS)的多模态信息，来共同生成能够反应任意给定两点间信号接收强度的无线电地图。

无人机协助下绘制无线电地图其中主要的工作内容有两项：虚拟障碍地图的绘制和无线信道参数预测。由于地面用户和无人机之间的链路，通常会被地理环境中的障碍物遮挡，我们首先构建基于多类别遮挡的无线信道模型以用于后续虚拟障碍地图的绘制和无线信道参数预测。

对于地面用户和无人机之间的链路，我们使用p＝(p_u,p_d)∈R⁶描述，其中p_u,p_d∈R³分别代表了地面用户和空中无人机的3D位置。无线信号在地面用户的3D位置p_u和空中无人机的3D位置p_d之间传输时，会受到地理环境中的障碍物的影响，产生多路效应。具体而言，地理环境中的障碍物，如地形起伏和植被、高大建筑物和城市玻璃外墙等，会导致无线信号在传输过程中经历多次反射、折射和衍射。这些多次反射、折射和衍射的路径使得无线信号在到达接收端时存在多个时延、相位和幅度不同的版本，这些无线信号在接收端叠加，形成多路效应，从而对通信信号的质量和可靠性产生重要影响。我们从传统的对数路径损耗模型出发，并考虑多径效应带来的多类信道参数情况采用如下经典无线信道模型来描述这种由于多路效应产生的大尺度衰落信号：

这是一种基于0-1二分分类的无线信道参数模型，其中g(p)表示无线信道链路P由于多路效应产生的信号强度的路径损耗，D_k表示第k类遮挡状况，表示无线信道链路P处在D_k遮挡类型，在这里k取0或者1，当k＝0时表示此时该条无线信道链路P处于视距链路(Line of Sight，LOS)情况，k＝1时表示此时该条无线信道链路P处于非视距链路(NLOS)情况，β_k,α_k表示无线信道链路P的一对信道参数，针对不同的遮挡类型，都有一对成对信道参数(β_k,α_k)与之对应。在不同的遮挡状况下时，(β_k,α_k)的取值不同，以此来区分不同遮挡状况下的无线信道质量差异。例如对比视距链路情况，当无线信道链路处于非视距链路情况时，α_k的取值会更大些，以此表现在较严重遮挡状况下时，无线信道信号的强度衰减更快。在这里我们将该模型中考虑的遮挡情况扩展至最高k＝2，也即在二分分类的无线信道参数模型中添加一个中间状态，代表由于反射、折射和衍射引起的多路效应情况。因其无线信道质量处于视距链路和完全非视距链路之间，因而将其设置为k＝1，而原本的非视距链路遮挡类型则改为k＝2。自此我们的基于多类别遮挡的信道模型更新为：

为了对应我们的基于多类别遮挡的无线信道模型，我们引入一个虚拟障碍地图H来对应表示目标区域内的虚拟障碍情况，H∈R^M×N×K,其中M×N表示某类虚拟障碍地图上的像素点，K表示该虚拟障碍地图属于第k类遮挡类型。虚拟障碍地图H中的每个像素点的数值表示对应位置上的虚拟障碍物的高度，k的取值为0，1或2。

我们认为当k＝0时，H_k＝0反应的是一些植被类型的虚拟障碍地图；当k＝1时，H_k＝1的对应层模拟的是通过反射、衍射和多路效应等方式生成的软遮挡类型虚拟障碍地图；而当k＝2时，H_k＝2的对应层反映的是混凝土结构的建筑物虚拟障碍地图。因此，虚拟障碍地图H可以对应匹配多类别遮挡信道模型，反映我们设定的目标场景下的三维空间地理结构。另外值得一提，最终我们生成的虚拟障碍地图可能与实际目标场景的3D地理地图并不完全一致，因为我们的虚拟障碍地图反映的是一种与信道状态相关的障碍物形态。

对于虚拟障碍地图上的遮挡类型的分类策略，对应着我们的多类别遮挡信号模型中的分类策略，我们将其抽象为S_k(p；H)，并定义为：

其中z_m代表无线信道链路P对应的地面用户和无人机3D位置的连线位置上的高度值，h_m,k代表第k类虚拟障碍地图H_k上对应像素点处的值，即在第k类虚拟障碍地图H_k上相对应位置的虚拟障碍高度，m表示每个独立的网格，表示被对应地面用户及无人机连线覆盖影响的一条直线的地面网格的集合。对于所有的l<k表示遮挡类型小于k类的遮挡类型，也即遮挡程度更低的遮挡类型，即l同样表示遮挡类型，但是其遮挡程度小于k类遮挡类型的遮挡程度。h_m,l表示在第l类虚拟障碍地图H_l上对应像素点处的值。举例说明：如果对于一条无线信道链路p，它对应的z_m均高于l类遮挡且低于k类遮挡，则该条链路p的遮挡类别为l类。

至此我们将基于多类别遮挡的无线电地图模型定义为：

实际训练过程中我们发现，这种分类策略对于数据样本量较少的情况可能过分极端，它会导致在进行遮挡类别分类并修正地图的过程中产生较大的误差。对于可用样本数不多的情况，每一条数据及其产生的链路都将对对应遮挡类别虚拟障碍地图上一条线段上的像素点值产生影响，而在数据量较小的情况下，这种遮挡类别分类方法是较为激进的，为此在后续我们提出了一种较平滑的遮挡类别分类方法来协助解决此类情况，并提升在网络训练过程中的地图重绘精度。

在本发明中，提出了基于多模态信息融合的城市空地无线电地图重绘方法，即前述虚拟障碍地图H的绘制方法，其具体步骤如图1所示，训练流程如图2所示。如图1所示，在步骤S1中，基于部分城市3D地图对虚拟障碍地图生成网络进行预训练并固定初始网络参数。在本发明的优选实施例中，使用地理信息开源数据集作为掩码矩阵对原始3D城市地图进行掩码处理以得到所述部分3D城市地图；将所述原始3D城市地图作为标签，并基于所述部分3D城市地图预训练所述虚拟障碍地图生成网络并存储网络参数。例如所述虚拟障碍地图生成网络可以包括两个级联的Unet。

在本发明的优选实施例中，所述原始3D城市地图可以是实际3D地图数据，也可以是采用诸如遥感、深度测量等方式的3D地图测量数据。

下面结合图2对具体训练过程说明如下。如图2所示，在第一阶段首先使用一些地理信息开源数据集训练基于Unet的虚拟障碍地图生成网络。我们对原始3D城市地图进行遮罩处理，并使用原始3D城市地图作为标签训练所述基于Unet的虚拟障碍地图生成网络的网络参数，以达到使用部分地图的先验知识，重绘出粗糙初始化3D地图的目的。

在基于部分地图对原始三维地图进行重绘初始化方面，我们采用了基于生成对抗式网络的有损图像重绘的方法。该方法使用两个带跳层连接的级联Unet。UNet是一种用于图像语义分割的深度学习网络模型。它具有编码器-解码器结构，其中编码器用于提取图像的高层次特征表示，而解码器通过上采样和跳跃连接恢复分割结果的空间细节。跳跃连接允许信息在网络的不同层级之间进行传递，有助于保留图像的细节和上下文信息——配合其提出的嵌入在第二阶段的连贯性语义注意力机制(Coherent semantic attention，CSA)层，通过两对生成器和辨别器分别对整体图像和网络参数进行对抗训练来重绘受损图像。首先，使用已知区域的特征像素初始化未知区域的每个未知特征像素；然后，通过考虑相邻像素的空间一致性进行迭代优化，以保持全局语义的一致性和局部特征的一致性。这种方法在保留特征图结构的同时，通过对未知区域特征像素之间的语义相关性进行建模，有效地填补了地图像素矩阵中的缺失区域。

在数据处理中，维度拓展是一种常用的操作，通过维度拓展，我们可以在现有数据的特定位置***一个新的维度，从而增加数据的表示能力和灵活性。为了配合前文提到的多类虚拟障碍地图模型，我们将原始3D城市地图依据其对应位置的障碍高度抽象成地图像素矩阵，我们对原始的地面城市地图H1∈R²在z轴维度进行扩展，将原本像素位置上的值进行三等分，将其初始化为H2∈R³作为我们的原始3D城市地图。随后我们使用不规则掩码数据集(liu等人提供的开源数据集http://masc.cs.gmu.edu/wiki/partialconv)作为掩码矩阵，这些掩码矩阵是根据不同形状的遮罩占据图像面积的百分比进行分类的(例如10％-60％面积遮罩)。训练过程中我们使用随机的掩码矩阵，将原始3D城市地图H2的副本上对应遮罩孔洞的位置置0，代表我们不知道这部分区域的建筑高度和分布情况，使用这样的方法得到将其作为虚拟障碍地图生成网络的输入，经过第一个UNet恢复产生/>再使用/>和共同输入第二个包含CSA层的UNet重绘网络得到输出虚拟障碍地图/>使用原始3D城市地图H2作为标签对这部分网络进行若干个批次的预训练，使得3D虚拟障碍地图/>逐渐接近原始3D城市地图H2，随后保存网络参数，使得虚拟障碍地图生成网络初步具备根据部分城市3D地图粗略重绘原始3D虚拟障碍地图的能力。

在步骤S2中，基于无人机和地面用户之间的通信信道遮挡信息对权重生成网络进行预训练并固定初始网络参数。在本发明的优选实施例中，我们提出的两类遮挡分类策略，使用我们由噪声生成的无线信道接收信号强度数据来对分类权重网络(ClassficationWeight Net，下文简称WeightNet)进行训练并固定其参数，在后续训练中将其作为分类器使用。

由于我们从数据集中并不能直接获得某条数据及其对应链路所处于的遮挡类别，为了配合神经网络训练，我们在(1.3)的基础上为其预先设置一个松弛化的预标签生成规则。我们设计两个非线性的分类策略网络共同组成分类权重网络WeightNet，后续将这两个分类策略网络分别称为PretrainNet1和PretrainNet2，分类策略网络PretrainNet1由若干线性层和激活函数组成的简单神经网络，分类策略网络PretrainNet2是使用激活函数和Softmax函数组成的简单神经网络。两个分类策略网络各自的输出结果是一个三维归一化的向量η，它表示某条无线信道链路p在虚拟障碍地图H中处于各类遮挡状态下的遮挡强度类型。

对于分类策略网络PretrainNet1，我们采用一种平滑策略对训练数据打上预标签，首先我们定义一个数值为高度差异和SumHeightDiff_k

SumHeightDiff_k＝∑_m(h_m,k-z_m)I{h_m,k<z_m} (2.1)

SumHeightDiff＝∑_kSumHeightDiff_k (2.2)

高度差异和SumHeightDiff_k表示对于每一条无线信道链路p上的第k类遮挡类型，对应位置的z_m与h_m,k的高度和之差，其中z_m代表无线信道链路P对应的地面用户和无人机3D位置的连线位置上的高度值，h_m,k代表无线信道链路P对应的地面用户和无人机3D位置的连线位置上的虚拟障碍高度值；高度差异总和SumHeightDiff表示对于每一条无线信道链路p上的全部遮挡类型，对应位置的z_m与h_m,k的高度和之差；I{h_m,k<z_m}表示其仅在h_m,k<z_m时取1，我们将其作为衡量遮挡程度的一个重要指标。

对于多类别遮挡信号模型中的分类策略S_k(p:H)，我们使用η来表示其处于各类遮挡中的遮挡强度类型，在理想状态下η三个维度上的值分别代表不同的遮挡强度类型，例如：(1,0,0)代表遮挡类型是最轻的视距链路LOS，(0,1,0)代表遮挡类型为k＝1的由多路效应带来的软遮挡，(0,0,1)代表遮挡类型为k＝2的混凝土结构带来的重度遮挡。但在实际进行神经网络训练的过程中，我们对其进行松弛化处理，其对应维度上的值反应的是无线信道链路p在对应遮挡等级上的权重占比。我们结合虚拟障碍地图H和无线信道链路p的相关位置关系以及松弛化处理的基于反指数函数的遮挡权重分配策略如下：

其中Upperbound是我们依据问题场景设置的累计遮挡高度上限，在高度差异总和SumHeightDiff的绝对数值超过累计遮挡高度上限Upperbound时我们认为其遮挡程度已经相当严重，可以将其归类为完全的严重遮挡，也即遮挡强度类型η为(0,0,1)。另外如果高度差异总和SumHeightDiff的数值为0，也即在链路上的所有链路上的点都高于所有遮挡类型的虚拟障碍高度时(对于任意的k都有：z_m>h_m,k)，认为此链路为完全的视距链路(LOS)，属于最轻的遮挡等级，因此设置遮挡强度类型η为(1,0,0)，w表示两类遮挡强度类型判定方法的影响因子，λ表示反指数分布的系数，决定反指数分布曲线的陡峭程度。

在其他情况下，我们使用高度差异总和SumHeightDiff与我们预设的累计遮挡高度上限UpperBound进行比较，对于处在累计遮挡高度上限UpperBound的之下又明显存在遮挡的情况，我们使用两方面的决策手段来动态调整最终生成的各类遮挡中的遮挡强度类型η，并使用w作为权重进行两种决策间的平衡，在实际训练中w的取值因数据集的数据分布而改变，用以权衡两种策略对于生成最终标签过程的影响程度。两方面的决策手段分别为：第一种，我们使用反指数函数来确定其第三维度上的值，此时对于特定的无线通信链路p来说，其高度差异总和SumHeightDiff越接近累计遮挡高度上限Upperbound，则其第三维度上的数值的取值越大，也即最终的权重分类标准越接近处在k＝2的较重度遮挡的分类。而为了维护权重向量的归一化，第二维度上的值为与第三维度上的值在1之上的互补，至于第一维度，由于存在明显的高度差异总和SumHeightDiff>0的情况，不符合遮挡类型最轻的视距链路的条件，因此设置为0；第二种策略中，我们使用经过Softmax函数输出的SumHeightDiffkS，SumHeightDiffkS能够更真实准确地反应原始高度差异和SumHeightDiffk不同维度上z_m和h_m,k的高度差异，这主要是为了解决在极端情况下：由于k＝1的中度障碍遮挡上的数值过高而导致SumHeightDiff过大时，无法在最终的权重矩阵中反应出第二维度上权重占比更大的因素。

随后我们将使用给定均值和方差的噪声生成的源数据和其对应的标签η_PretrainNet1共同作为训练素材投入分类策略网络PretrainNet1进行训练。经过若干个迭代后分类策略网络PretrainNet1收敛，作为实际训练过程中依据链路位置和虚拟障碍地图间高度差异进行判别的一个判别器，来帮助训练我们的地图生成网络。

而分类策略网络PretrainNet2是使用激活函数和Softmax函数组成的简单神经网络。对应着我们的多类别遮挡无线信道模型中对于各类别遮挡各自的信道参数，我们会在接收无人机和地面用户的对数路径距离后得到多类别遮挡对应的无线信道信号接收强度的损耗预测值Pathloss。分类策略网络PretrainNet2会在每个维度上比较无线信道信号接收强度的损耗预测值Pathloss和真实无线信道信号损耗值Pathloss的差异，直观地选择差异最小的维度作为该条数据从属的遮挡类型，也即:

在训练过程中，我们同样使用给定均值和方差的噪声及标签η_PretrainNet2作为训练素材投入训练，在若干批次后固定网络参数，且同分类策略网络PretrainNet1一样，这部分网络参数我们在后续网络训练过程中不再进行修正和变动，使用其作为使用无线信号测量值角度进行遮挡类别判别的另一个判别器。

在步骤S3中，基于所述无人机和所述地面用户之间的位置关系及无线信道信号接收强度联合优化所述虚拟障碍地图生成网络和无线信道参数预测网络。在本发明的优选实施例中，在经过一阶段的预训练后，我们将依据实际的无人机和地面用户位置关系及无线信道信号接收强度的损耗情况在目标地图上对无线信道参数和虚拟障碍地图进行联合优化训练。

由于我们的无线电地图模型中，对于每个无线信道链路p上的无线信道参数和遮挡权重类型存在较强的耦合，为了在一次训练中较好地解决拟合信道参数和修正生成的虚拟障碍地图这两项任务，我们使用一种半自监督方法，使用两个Adam优化器分别对无线信道参数预测网络和虚拟障碍地图生成网络进行交替迭代更新，从而在一次训练中更新无线信道参数以及虚拟障碍地图，具体的算法如图3所示。

在使用Adam优化器对虚拟障碍地图生成网络进行修正时，我们暂时固定模型中代表各类遮挡状态下的信道参数的无线信道参数预测网络(简称ParaNet)的参数，通过计算第一分类标签η_PretrainNet1和第二分类标签η_PretrainNet2之间的最小平方差(Mean SquaredError，MSE)loss1，间接对虚拟障碍地图生成网络的参数进行调整和修正，以实现依据虚拟障碍地图和实际地理高度差距输出的权重分类和依据无线信道信号损耗判断的障碍类型权重分类的一致性，在此loss1逐渐降低时，我们可以认为，使用虚拟障碍地图生成网络虚拟障碍地图生成网络生成的虚拟障碍地图(即最后生成的所述城市空地无线电地图)与实际的真实区域上的3D城市地图的差异在逐渐缩小。

在使用Adam优化器对无线信道参数预测网络进行修正时，对于遮挡权重的分类权重向量η，即所述第一分类标签和所述第二分类标签固定，我们计算三类遮挡下所述无线信道信号损耗和无线信号强度真实值的最小平方差loss2，来更新无线信道参数预测网络中各层上的参数，在此loss2逐渐降低时，我们可以认为，所述无线信道信号接收强度的损耗实际值和无线信道信号接收强度的损耗预测值的差距在减少，也即预测的无线信道参数在逐渐逼近真实的场景内的信道参数。

我们使用已知开源数据集(无人机及地面sensor信道强度数据集https://code.ihub.org.cn/attachments/download/959/dataset.zip)对采用本发明的基于多模态信息融合的城市空地无线电地图重绘方法进行验证。数据集包含实地实测数据和模拟生成数据。实测数据取自上海中心城区300*300m内的一块区域，其中包含有大量的高度从10m至130m不等的建筑物，3D地理地图数据取自OpenStreetmap的地理城市地图数据集。模拟生成数据由3D模拟软件Remcom生成，对于模拟数据，设置为在对应的地理区域内使用光线跟踪(ray-tracing)模型的至多达6次反射和1次衍射模拟，波形选择为频率为2.5GHz的窄带正弦信号。数据集结构为{p(i),y(i)}，其中p(i)是发射机和接收机对的位置(即无人机和地面用户的位置)，y(i)为无线信道的以dB为单位的对应RSS值。我们使用的是数据集中无人机及地面传感器位置处于中心城区中一部分的区域内的数据，数据总量约为520000条，绘制的实际地图大小约为100*100米，使用的优化器为两个Adam优化器，分别使用3e-2和3e-5的学习率、无线信道参数预测网络的迭代次数＝3，虚拟障碍地图生成网络的迭代次数＝6以及批尺寸＝128对无线信道参数预测网络和虚拟障碍地图生成网络进行优化更新。

我们将重绘出的对应位置的虚拟障碍地图(即生成所述城市空地无线电地图)显示在一份大小为256*256大小的张量(Tensor)中，使用它与实际3D城市地图的最小平方差来衡量其重绘差异；而对于无线信道信号接收强度的损耗Pathloss的预测部分，使用所述无线信道信号接收强度的损耗实际值和无线信道信号接收强度的损耗预测值之间的最小平方差来衡量其信道路径损失预测的准确程度。我们模拟了三个遮罩面积不同的mask(A,B,C)，以及使用总数据量的1％、5％、10％情况下对于地图重绘程度和无线信道信号接收强度的损耗Pathloss预测精度的差异，其结果如图4所示，其中例如A1表示使用mask A在总数据量为1％的情况下进行的模拟实验，并使用一组模拟的假数据来表现高度为20m水平面上的无线信道信号接收强度的损耗Pathloss分布状态(图中的信道增益分布)，可以在图片中看出由于高大建筑物的存在和遮挡造成了无线信道信号接收强度的损耗Pathloss分布在各方向上并不均匀。

随后我们对比了几类相似方法在同一场景下对于无线电地图的重绘效果，在这里我们取我们的实验C组的结果进行对比，其结果如图5A-5C所示，其中benchmark1a表示基于卷积网络进行无线电地图重绘的方法，benchmark1b是依据线性网络进行无线电地图重绘的方法；benchmark2是使用传统的非机器学习方法进行无线电地图重绘的方法，其中包含kriging法(benchmark2(kriging)，ann法((benchmark2(ann))等多个方法；benchmark3是当我们的方法知晓完整的输入地图信息时的理想状态。Ours表示采用本发明的基于多模态信息融合的城市空地无线电地图重绘方法。图5A示出了采用本发明的基于多模态信息融合的城市空地无线电地图重绘方法使用不同数据总量下相较于几个benchmark对于无线信道信号接收强度的损耗pathloss还原的差异。图5B示出了几类方法对于无线信道信号接收强度的损耗pathloss预测的精确程度随训练轮次变化的趋势。可以看出，在经历若干轮次训练后，本发明的基于多模态信息融合的城市空地无线电地图重绘方法在仅使用少量数据时，对于无线信道信号接收强度的损耗的预测精度上与同类方法相比非常接近，而且在训练初始时，使用本发明的方法的无线信道信号接收强度的损耗Pathloss降低的速度更快，这是因为我们引入的部分地图先验信息对遮挡分类时起到了重要作用。在同类方法中表现最好的benchmark1b其训练时长要数倍于我们。

图5C示出了几类方法对于无线电地图重绘精度的比较时，由于本发明的基于多模态信息融合的城市空地无线电地图重绘方法引入了部分地图作为先验信息，其中包含了更多实际场景下建筑物的分布和形态知识，因此在这方面我们的优势比较显著，尤其是在数据量较少的情况下，也能获得较为接近实际情况的重绘无线电地图。

实施本发明的基于多模态信息融合的城市空地无线电地图重绘方法，使用基于部分地图先验知识的辅助，首先进行一轮虚拟障碍地图的初始化，使得在信道测量数据较少的情况下，能够快速对无线信道参数和虚拟障碍地图进行优质还原；使用松弛和直观两类决策手段生成路径对上的障碍遮挡权重，提高分类差异，辅助网络快速训练。

虽然本发明是通过具体实施例进行说明的，本领域技术人员应当明白，在不脱离本发明范围的情况下，还可以对本发明进行各种变换及等同替代。另外，针对特定情形或材料，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于所公开的具体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于多模态信息融合的城市空地无线电地图重绘方法，其特征在于，包括：

S1、基于部分城市3D地图对虚拟障碍地图生成网络进行预训练并固定初始网络参数；

S2、基于无人机和地面用户之间的通信信道遮挡信息对权重生成网络进行预训练并固定初始网络参数；

S3、基于所述无人机和所述地面用户之间的位置关系及无线信道信号接收强度联合优化所述虚拟障碍地图生成网络和无线信道参数预测网络；

S4、基于优化后的所述虚拟障碍地图生成网络生成所述城市空地无线电地图，并基于优化后的所述无线信道参数预测网络预测无线信道参数。

2.根据权利要求1所述的基于多模态信息融合的城市空地无线电地图重绘方法，其特征在于，所述步骤S1包括：

S11、使用地理信息开源数据集作为掩码矩阵对原始3D城市地图进行掩码处理以得到所述部分3D城市地图；

S12、将所述原始3D城市地图作为标签，并基于所述部分3D城市地图预训练所述虚拟障碍地图生成网络并存储网络参数。

3.根据权利要求2所述的基于多模态信息融合的城市空地无线电地图重绘方法，其特征在于，所述虚拟障碍地图生成网络包括两个级联的Unet，将所述部分3D城市地图作为第一个Unet的输入以重绘初始虚拟障碍地图，将所述初始虚拟障碍地图和所述部分3D城市地图同时输入第二个Unet以训练所述虚拟障碍地图生成网络并存储网络参数。

4.根据权利要求1-3中任意一项所述的基于多模态信息融合的城市空地无线电地图重绘方法，其特征在于，所述步骤S2包括：

S21、采用第一分类策略网络和第二分类策略网络构建所述权重生成网络，所述第一分类策略网络和所述第二分类策略网络的输出结果均为表示某条无线信道链路在虚拟障碍地图中处于各类遮挡状态下的遮挡强度类型；

S22、分别采用第一源数据和第一分类标签训练第一分类策略网络直至其收敛；

S23、分别采用第二源数据和第二分类标签训练第二分类策略网络直至其收敛；

其中所述第一分类策略网络是由若干线性层和激活函数组成的神经网络，所述第二分类策略网络是由激活函数和Softmax函数组成的神经网络。

5.根据权利要求4所述的基于多模态信息融合的城市空地无线电地图重绘方法，其特征在于，在所述步骤S22中，所述第一分类标签

其中，

其中，SumHeightDiff_k表示高度差异和，其为对于每一条无线信道链路p上的第k类遮挡类型，对应位置的z_m与h_m,k的高度和之差，其中z_m代表无线信道链路P对应的地面用户和无人机3D位置的连线位置上的高度值，h_m,k代表无线信道链路P对应的地面用户和无人机3D位置的连线位置上的虚拟障碍高度值；Upperbound表示累计遮挡高度上限；s表示基于反指数函数的遮挡权重分配策略，w表示两类遮挡强度类型判定方法的影响因子，k的取值为0，1或2，λ为反指数分布的系数。

6.根据权利要求4所述的基于多模态信息融合的城市空地无线电地图重绘方法，其特征在于，在所述步骤S22中，所述第二分类标签

其中Pathloss表示无线信道信号接收强度的损耗实际值，而表示无线信道信号接收强度的损耗预测值。

7.根据权利要求4所述的基于多模态信息融合的城市空地无线电地图重绘方法，其特征在于，所述遮挡强度类型包括视距链路、遮挡类型为k＝1的由多路效应带来的软遮挡，以及遮挡类型为k＝2的混凝土结构带来的重度遮挡。

8.根据权利要求4所述的基于多模态信息融合的城市空地无线电地图重绘方法，其特征在于，所述步骤S3进一步包括：

S31、采用第一Adam优化器对所述虚拟障碍地图生成网络同时固定所述无线信道参数预测网络的参数，并通过计算所述第一分类标签和所述第二分类标签之间的最小平方差对所述虚拟障碍地图生成网络的参数进行修正；

S32、采用第二Adam优化器对所述无线信道参数预测网络，同时固定所述第一分类标签和所述第二分类标签，并通过计算所述无线信道信号接收强度的损耗实际值和无线信道信号接收强度的损耗预测值在不同遮挡情况下的最小平方差对所述无线信道参数预测网络的参数进行修正。

9.根据权利要求8所述的基于多模态信息融合的城市空地无线电地图重绘方法，其特征在于，在步骤S4中，当所述第一分类标签和所述第二分类标签之间的最小平方差越小时，表示所述虚拟障碍地图生成网络生成的所述城市空地无线电地图与实际3D城市地图差距越小；

当所述无线信道信号接收强度的损耗实际值和无线信道信号接收强度的损耗预测值之间的最小平方差越小时，表示所述无线信道参数预测网络预测的无线信道参数越接近真实值。