CN115696196A - 用于空间定位的基于深度学习的Wi-Fi指纹重建方法与*** - Google Patents

Abstract

本发明公开了用于空间定位的基于深度学习的Wi‑Fi指纹重建方法与***。包括：移动机器人采集和上传数据；对所述数据进行后台处理；通过针对非均匀指纹地图重建的渐进式重建网络、修复网络的位置编码优化模块和优化网络的多特征动态优化模块三个模块构成整体框架，将原始的稀疏的指纹地图重建为稠密的指纹地图，通过神经网络训练生成学习模型，输出高精度的指纹地图；得到稠密的指纹地图，用于后续空间定位。本发明中的指纹地图重建网络克服了现有技术中在信号非均匀分布时指纹地图重建效果不理想、重建过程中部分位置信息丢失、场景先验知识利用率不高等问题，在多种场景和数据量下均能取得更好的重建效果，同时机器人采集***降低了采集的人力成本。

Description

用于空间定位的基于深度学习的Wi-Fi指纹重建方法与***

技术领域

本发明涉及Wi-Fi指纹定位、信号指纹地图重建、深度学习、机器人控制领域，具体涉及用于空间定位的基于深度学习的Wi-Fi指纹重建方法与***。

背景技术

基于位置的服务需求与日俱增，在户外场景下，GPS、北斗等卫星定位***已经取得了较高的精确度和广泛的应用，而对于室内场景，由于建筑物墙壁及室内物体的遮挡干扰，很难在室内接收到准确的卫星信号，因此需要使用基于其他信号的定位方法。室内定位技术，是通过获取场地内可获取到的信息，来对场地内的移动对象，如人员、机械、车辆等的位置进行判断，在导航、工业、安防等领域具有重要作用。其中基于Wi-Fi信号的定位技术具有高普及度、低布设成本、较高定位精度和适用范围广等优势。

Wi-Fi指纹定位无需在场地内额外部署设备，且能够达到较好的定位精度，并适用大量类型的场景。该方法可分为离线和在线两个阶段，离线阶段通过信号采集生成指纹地图，在线阶段将待定位点的信号值与指纹地图中的数据相匹配来完成定位。其中离线阶段构建的指纹地图的准确度对于后续在线阶段的定位效果有着重要的影响，而通过采集直接构建精确的稠密指纹地图需要投入大量的采集成本，同时由于Wi-Fi信号随时间及环境不断波动变化的特点，指纹地图还需要持续更新维护，进一步增加了工作量，因此在保证指纹地图精度的情况下，尽可能地减少指纹地图重建的采集维护成本、提高指纹地图重建效率对于Wi-Fi指纹定位技术投入大规模应用与发展具有重要的研究意义。

目前的现有技术之一，基于特征学习的重建方法，该方法从已有的稀疏信号中提取场景内信号分布的特征，并由此重建出整个场景稠密的指纹地图。该技术利用了已有指纹信号数据的信息，同时具有良好的特征学习能力和一定的场景迁移能力。该方法的缺点是，首先，在信号非均匀分布时指纹地图重建效果不理想，对于RP点随机分布的指纹地图，区域内信号越稀疏，则该区域重建难度越大。为了简化重建任务以及尽可能地保证重建精度，已有的方法通常以较为均匀的间隔进行RP点的选取，这限制了在实际中的应用；其次，重建过程中RP点位置信息会丢失部分位置信息(如线性编码、下采样等)，而位置信息对场景内的信号分布有着不同程度的影响；再次，场景先验知识的利用率不高，所述方法只利用了信号数据，并未充分利用场景中对信号分布有影响的其他先验知识(如场景地图、待重建区域标注、AP的位置等)；最后，指纹地图重建的方案流程***化待提升，所述方法对于采集阶段多使用专业人员采集以及众包采集，采集的数据还需要额外的人工处理才能用于重建，增加了人力成本。

发明内容

本发明的目的是克服现有方法的不足，提出了用于空间定位的基于深度学习的Wi-Fi指纹重建方法与***。本发明解决的主要问题是，针对非均匀指纹地图重建效果不理想的问题，设计一种渐进式结构的指纹地图重建网络将重建任务细化为修复和优化两个阶段，修复阶段基于Transformer的多头自注意力机制对指纹地图进行初步补全，优化阶段基于UNet提取多尺度特征进行指纹地图的细节优化，并重新设计对应的重建损失函数；针对位置信息丢失影响重建效果的问题，在修复网络中分别对RP点序列的绝对位置编码和自注意力窗口内的相对位置编码，在重建过程中尽可能保留信号位置信息；针对场景特征不充分影响重建效果的问题，在优化网络中使用修复掩膜动态更新各位置的权重，同时引入场景范围、AP位置等特征注意力约束，从而对需要重建区域进行更细致的重建；最后基于上述重建算法，设计了基于移动机器人的指纹采集重建***，主要包括移动端采集Wi-Fi指纹和服务端维护Wi-Fi指纹数据库两部分，协同完成指纹地图重建任务。即如何克服现有技术在信号非均匀分布时指纹地图重建效果不理想、位置信息丢失影响重建效果、场景先验知识利用率不高等问题，提出一种流程***化更高更合理的指纹地图重建方案的问题。

为了解决上述问题，本发明提出了用于空间定位的基于深度学习的Wi-Fi指纹重建方法，所述方法包括：

移动机器人采集和上传数据，由移动机器人搭载传感器，首先进行场景建图，然后进行采集点的设计部署，最后实现包括信号强度、采集位置在内的Wi-Fi指纹数据的采集与上传；

数据后台处理，由服务端设备接受原始数据，通过数据处理生成指纹地图标准数据，输入指纹数据库；

神经网络重建指纹地图，通过针对非均匀指纹地图重建的渐进式重建网络、修复网络的位置编码优化模块和优化网络的多特征动态优化模块三个模块构成整体框架，将原始的稀疏的指纹地图重建为稠密的指纹地图，通过神经网络训练生成学习模型，输出高精度的指纹地图；

利用所述机器人对需要使用指纹地图进行空间定位的区域实地采集稀疏指纹地图，输入所述训练好的神经网络，得到稠密的指纹地图，用于后续空间定位。

优选地，移动机器人采集和上传数据，由移动机器人搭载传感器，首先进行场景建图，然后进行采集点的设计部署，最后实现包括信号强度、采集位置在内的Wi-Fi指纹数据的采集与上传，具体为：

实地建图，将搭载激光传感器、位置传感器和中控机的移动机器人放置于需要采集的室内封闭场景中，运行启动脚本，通过人工控制或自动巡航两种方式，让所述机器人在场景内移动，从而绘制场景地图导出为像素图像；

网格标注，基于所述场景地图，根据场景大小及地形，以及采集的精度要求，设计采集点RP(Reference Point，参考点)数量与间距，并根据比例尺在场景地图上绘制基于RP的网格，将所有RP坐标数据导出为标准参考数据；

实地采集，将RP坐标数据作为导航算法的预设点坐标，控制所述移动机器人进入巡航采集模式，机器人依次到达预设的目标点进行信号的采集并记录；

数据上传，设置通信频率，定期将采集到的信号数据和位置数据文档上传至服务器，并删除本地数据。

优选地，数据后台处理，由服务端设备接受原始数据，通过数据处理生成指纹地图标准数据，输入指纹数据库，具体为：

设计指纹数据库，设计指纹数据表的数据类型、数据格式以及各表之间的关系，并据此新建指纹数据库；

数据处理，将接收到的原始指纹数据按数据类型存储，定期对文件夹内的数据文件进行数据处理，首先对于原始的数据文件，打开后提取需要的数据类型的内容，并按照时间戳将单条信号数据和位置数据合并为单条指纹数据，再将该期间合并生成的所有指纹数据合并到一张数据表中；

指纹数据库更新，设计脚本自动读取上一步骤中最后生成的指纹数据表，并将指纹数据逐条输入指纹数据库中；

提取数据，按照设定的时间区间，从指纹数据库中提取出时间戳处于该范围内的所有指纹数据导出为表，基于采集前设计的RP坐标参考表，对指纹数据中的位置坐标进行标准化处理，对于一条指纹数据，选取距离实际坐标位置最近的RP坐标作为该条指纹数据的最终位置；对于多个时间戳对应同一个RP坐标的情况，求取信号强度的平均值，并将多条数据合并为一条指纹数据，生成一张特定时间区间的指纹地图表；

生成指纹地图，根据RP坐标参考表，生成一张加入信号强度数据类型的新表，信号强度初始值均为0，根据上一阶段生成的指纹地图表，按照位置坐标，修改对应的信号强度值，生成最终的指纹地图表，按照信号强度区间和图像像素区间之间的数量关系，将指纹地图表中的信号强度修改为像素值，并对原信号强度为0的区域重新赋0，最后导出为指纹地图图像。

优选地，神经网络重建指纹地图，通过针对非均匀指纹地图重建的渐进式重建网络、修复网络的位置编码优化模块和优化网络的多特征动态优化模块三个模块构成整体框架，将原始的稀疏的指纹地图重建为稠密的指纹地图，通过神经网络训练生成学习模型，输出高精度的指纹地图，具体为：

搭建网络，所述网络主要由修复网络和重建网络两个部分组成，修复网络以Transformer为骨干网络，将非均匀分布的稀疏指纹地图经过线性嵌入生成输入序列，然后在小尺寸窗口内进行多头自注意力学习数据特征，用以指导修复稀疏指纹地图中的信号缺失区域；优化网络以U形网络的结构为基础，将多级下采样模块替换成不改变地图尺寸的多级通道扩充模块，提升特征学习效果的同时不影响信号间的位置关系，并通过跳跃连接充分利用优化网络各层提取的特征，指导优化网络关注信号在整个场景范围中的传播规律，最终重建出稠密指纹地图；

编码模块，根据Wi-Fi信号多径传播的特性，指纹地图重建是一个对位置信息非常敏感的任务，每个RP点的绝对位置和彼此之间的相对位置，都会影响场景内的信号强度分布，因此在修复网络中设计一种结合了相对位置和绝对位置的编码方式来对地图块进行位置编码。对于指纹地图的绝对位置编码，选择将其放置在进入Transformer编码器之前的Patch embedding模块中，对每个位置进行顺序编码，并设置为不可更改的训练参数，和经过线性投射的一维地图向量一同嵌入序列输入编码器；对于指纹地图的相对位置编码，选择将其放置在自注意力窗口内，根据窗口内RP相对位置坐标和方向，对于窗口内的每个位置分别分配基于其位置的相对位置编码，建立相对位置编码索引，作为偏移量bias进行自注意力计算；

注意力约束模块，在优化阶段，利用小尺寸卷积以RP点为单位进行特征学***面信号全局分布特征，并通过多特征联合约束，对指纹地图进行更为细致的优化操作；动态更新修复掩膜，加入二值掩膜作为动态约束，对掩膜进行卷积求和识别待修复区域，重建完成后更新掩膜，将之前标识为待修复的区域位置；原始信号约束，从掩膜上进行更新，然后继续优化下一个位置。原始信号约束，修复网络重建出的地图缺失了一部分真实指纹信息，同时场景中无信号的区域无需学习，因此对于修复网络的输出，在进入优化网络前先进行处理，具体公式如下：

R_{in_r}＝R_{out_c}·M_gen+R_{in_c}·(1-M_gen)，

其中，R_{in_r}表示优化阶段网络的输入，R_{in_c}表示修复阶段网络的输入，R_{out_c}表示修复阶段网络的输出，M_gen表示二值掩膜，掩膜中0表示输入的指纹地图中该点无指纹信号，1表示该点已有指纹信号；

场景范围约束，实际场景往往不是标准的几何形状，选取场景的最长和最宽距离作为二维矩阵的宽与高，会造成指纹地图中存在一部分无效信号区域干扰对于信号分布特征的学习，因此添加标注场景有效范围的掩膜作为硬注意力约束，将非场景范围内的无效区域特征权重置为0，增加网络对于场景范围的识别能力和重建效果；AP距离约束，由于信号的路径衰减效应，在指纹地图中RP距AP所在位置的距离与该点的信号强度有着重要的联系，因此添加基于AP的距离约束，首先识别该指纹地图中AP所在的位置，然后计算指纹地图中各RP距离AP的欧氏距离，生成基于AP的距离约束，具体公式如下：

其中，(i,j)表示指纹地图中任一点的坐标，(i_AP,j_AP)表示指纹地图中AP的坐标，M_dist(i,j)表示该点(i,j)距离AP的欧氏距离；

损失函数监督，选择平均重建误差来评价重建效果，将两个网络的输出对应的重建误差加权相加，将经过删减的原始稀疏地图中已有的数据过滤，并将无信号的场景遮挡区域剔除，为了防止区域内的信号点数量影响，进一步对总的重建误差进行平均，具体公式如下：

其中，(i,j)表示指纹地图中任一点的坐标，

表示整个网络的输入指纹地图中该点处的指纹信号强度值，

表示修复阶段网络输出的指纹地图中该点处的指纹信号强度值，

表示优化阶段网络输出的指纹地图中该点处的指纹信号强度值，h,w表示指纹地图的长度与宽度，N^h,w表示指纹地图的指纹点的数量；

生成场景掩膜和随机掩膜，场景掩膜将所述场景地图的区域置为0的区域，即在计算损失函数时无需计算该处重建效果，而其他区域则需要模型学习重建，随机掩膜按照选取的有效信号数量比例不同，在原始的指纹地图中删去相应的信号数据，对每张指纹地图生成一张待修复RP随机分布的修复掩膜，以此作为待重建的稀疏指纹地图进行训练；

训练模型，使用搭建的神经网络进行训练，首先对数据集中的指纹地图进行数据预处理，包括像素值的归一化，修复掩膜和修复掩膜的输入，以及矩阵张量的转换；然后对训练参数进行预设，包括显卡的类型和数量、网络的学习率、迭代次数、训练与验证的数据比例等参数的选择，到重建误差达到最小时保存训练好的模型，作为最优模型；

测试结果，使用测试集中的指纹地图对训练模型进行测试，若测试的重建误差与训练的重建误差相差过大，则舍弃该模型重新训练；若较为接近则保留模型，用于后续指纹地图的重建。

相应地，本发明还提供了用于空间定位的基于深度学习的Wi-Fi指纹重建***，包括：

数据采集和上传单元，用于移动机器人采集和上传数据，由移动机器人搭载传感器，首先进行场景建图，然后进行采集点的设计部署，最后实现包括信号强度、采集位置在内的Wi-Fi指纹数据的采集与上传；

数据后台处理单元，用于数据后台处理，由服务端设备接受原始数据，通过数据处理生成指纹地图标准数据，输入指纹数据库；

指纹地图重建网络单元，用于神经网络重建指纹地图，通过针对非均匀指纹地图重建的渐进式重建网络、修复网络的位置编码优化模块和优化网络的多特征动态优化模块三个模块构成整体框架，将原始的稀疏的指纹地图重建为稠密的指纹地图，通过神经网络训练生成学习模型，输出高精度的指纹地图；

稠密指纹地图输出单元，用于利用所述机器人对需要使用指纹地图进行空间定位的区域实地采集稀疏指纹地图，输入所述训练好的神经网络，得到稠密的指纹地图，用于后续空间定位。

实施本发明，具有如下有益效果：

本发明中的指纹地图重建网络相较于已有重建方法，在多种场景和数据量下均能取得更好的重建效果，同时机器人采集***降低了采集的人力成本。首先，针对非均匀指纹地图重建问题，本发明中的双阶段重建网络在无需填补指纹地图的前提下实现了非均匀重建，同时在相同数据量下取得了较已有重建方法更高的重建精度，从而为更准确的定位服务提供了数据支撑；其次，针对指纹位置信息丢失问题，本发明中的复合位置编码模块相较于未使用位置编码时提升了重建效果，从而降低了信号位置信息缺失对重建效果的影响；再次，针对场景特征不充分问题，本发明中的多场景注意力约束模块相较于未使用注意力约束时提升了重建效果，从而对需要重建区域进行更细致的重建；最后，针对人工采集的不足，本发明中的机器人采集***移动端服务端协同完成任务，减少了人工采集的工作量，提升整体流程的自动化。

附图说明

图1是本发明实施例的用于空间定位的基于深度学习的Wi-Fi指纹重建方法与***的示意图；

图2是本发明实施例的指纹数据库E-R图；

图3是本发明实施例的指纹地图重建网络整体算法框架示意图；

图4是本发明实施例的Uswin重建网络结构示意图；

图5是本发明实施例的修复阶段网络结构示意图；

图6是本发明实施例的优化阶段网络结构示意图；

图7是本发明实施例的数据预处理流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例的用于空间定位的基于深度学习的Wi-Fi指纹重建方法的流程图，如图1所示，该方法包括：

S1，移动机器人采集和上传数据，由移动机器人搭载传感器，首先进行场景建图，然后进行采集点的设计部署，最后实现包括信号强度、采集位置在内的Wi-Fi指纹数据的采集与上传；

S2，数据后台处理，由服务端设备接受原始数据，通过数据处理生成指纹地图标准数据，输入指纹数据库；

S3，神经网络重建指纹地图，通过针对非均匀指纹地图重建的渐进式重建网络、修复网络的位置编码优化模块和优化网络的多特征动态优化模块三个模块构成整体框架，将原始的稀疏的指纹地图重建为稠密的指纹地图，通过神经网络训练生成学习模型，输出高精度的指纹地图；

S4，利用所述机器人对需要使用指纹地图进行空间定位的区域实地采集稀疏指纹地图，输入所述训练好的神经网络，得到稠密的指纹地图，用于后续空间定位。

步骤S1，具体如下：

S1-1，搭建环境，本实施例中对机器人的操作控制环境进行配置，包括ubuntu操作***、ros-melodic机器人平台、rplidar-a3激光雷达驱动以及建图导航算法包的安装、环境配置、编译等；

S1-2，配置机器人及传感器，本实施例中对于移动机器人，分别装载放置信号传感器、位置传感器及中控机的平台，避免多种外设间位置遮挡或信号干扰；同时进行配重、运动控制、远程通信等方面的测试，保证后续采集结果的准确性；对于位置传感器(以激光雷达为例，深度相机同理)，根据雷达实际放置的相对坐标与角度，对建图及导航算法包中的预设参数进行修改，并根据场景大小、明暗等实际情况进一步调参，最后确认移动机器人与雷达间实现通信；对于信号传感器，根据实际需要配置信号采集的频率、强度范围以及数量，并确认内存读写功能及远程通信功能的正常使用；

S1-3，实地建图，将搭载激光传感器、位置传感器和中控机的移动机器人放置于需要采集的室内封闭场景中，运行启动脚本，通过人工控制或自动巡航两种方式，让所述机器人在场景内移动，从而绘制场景地图导出为像素图像；

S1-4，网格标注，基于所述场景地图，根据场景大小及地形，以及采集的精度要求，设计采集点RP数量与间距，并根据比例尺在场景地图上绘制基于RP的网格，将所有RP坐标数据导出为标准参考数据；

S1-5，实地采集，将RP坐标数据作为导航算法的预设点坐标，控制所述移动机器人进入巡航采集模式，机器人依次到达预设的目标点进行信号的采集并记录；

S1-6，数据上传，设置通信频率，定期将采集到的信号数据和位置数据文档上传至服务器，并删除本地数据。

步骤S2，具体如下：

S2-1，配置服务器通信，本实施例中基于Flask模块配置服务端与移动机器人中控机之间的远程通信，实现文件的传输；

S2-2，如图2所示，设计指纹数据库，设计指纹数据表的数据类型、数据格式以及各表之间的关系，并据此新建指纹数据库，本实施例中，数据类型如下表所示：

S2-3，数据处理，将接收到的原始指纹数据按数据类型存储，定期对文件夹内的数据文件进行数据处理，首先对于原始的数据文件，打开后提取需要的数据类型的内容，并按照时间戳将单条信号数据和位置数据合并为单条指纹数据，再将该期间合并生成的所有指纹数据合并到一张数据表中；

S2-4，指纹数据库更新，设计脚本自动读取上一步骤中最后生成的指纹数据表，并将指纹数据逐条输入指纹数据库中；

S2-5，提取数据，按照设定的时间区间，从指纹数据库中提取出时间戳处于该范围内的所有指纹数据导出为表，基于采集前设计的RP坐标参考表，对指纹数据中的位置坐标进行标准化处理，对于一条指纹数据，选取距离实际坐标位置最近的RP坐标作为该条指纹数据的最终位置；对于多个时间戳对应同一个RP坐标的情况，求取信号强度的平均值，并将多条数据合并为一条指纹数据，生成一张特定时间区间的指纹地图表；

S2-6，生成指纹地图，根据RP坐标参考表，生成一张加入信号强度数据类型的新表，信号强度初始值均为0，根据上一阶段生成的指纹地图表，按照位置坐标，修改对应的信号强度值，生成最终的指纹地图表，按照信号强度区间和图像像素区间之间的数量关系，将指纹地图表中的信号强度修改为像素值，并对原信号强度为0的区域重新赋0，最后导出为指纹地图图像。

步骤S3，如图3所示，具体如下：

S3-1，如图4所示，搭建网络，所述网络主要由修复网络和重建网络两个部分组成，修复网络以Transformer为骨干网络，将非均匀分布的稀疏指纹地图经过线性嵌入生成输入序列，然后在小尺寸窗口内进行多头自注意力学习数据特征，用以指导修复稀疏指纹地图中的信号缺失区域；优化网络以U形网络的结构为基础，将多级下采样模块替换成不改变地图尺寸的多级通道扩充模块，提升特征学习效果的同时不影响信号间的位置关系，并通过跳跃连接充分利用优化网络各层提取的特征，指导优化网络关注信号在整个场景范围中的传播规律，最终重建出稠密指纹地图；

S3-2，如图5和图6所示，编码模块，根据Wi-Fi信号多径传播的特性，指纹地图重建是一个对位置信息非常敏感的任务，每个RP点的绝对位置和彼此之间的相对位置，都会影响场景内的信号强度分布，因此在修复网络中设计一种结合了相对位置和绝对位置的编码方式来对地图块进行位置编码。对于指纹地图的绝对位置编码，选择将其放置在进入Transformer编码器之前的Patch embedding模块中，对每个位置进行顺序编码，并设置为不可更改的训练参数，和经过线性投射的一维地图向量一同嵌入序列输入编码器；对于指纹地图的相对位置编码，选择将其放置在自注意力窗口内，根据窗口内RP相对位置坐标和方向，对于窗口内的每个位置分别分配基于其位置的相对位置编码，建立相对位置编码索引，作为偏移量bias进行自注意力计算；

S3-3，注意力约束模块，在优化阶段，利用小尺寸卷积以RP点为单位进行特征学***面信号全局分布特征，并通过多特征联合约束，对指纹地图进行更为细致的优化操作；加入二值掩膜作为动态约束，对掩膜进行卷积求和识别待修复区域，重建完成后更新掩膜，将之前标识为待修复的区域位置；原始信号约束，从掩膜上进行更新，然后继续优化下一个位置。原始信号约束，修复网络重建出的地图缺失了一部分真实指纹信息，同时场景中无信号的区域无需学习，因此对于修复网络的输出，在进入优化网络前先进行处理，具体公式如下：

R_{in_r}＝R_{out_c}·M_gen+R_{in_c}·(1-M_gen)，

其中，R_{in_r}表示优化阶段网络的输入，R_{in_c}表示修复阶段网络的输入，R_{out_c}表示修复阶段网络的输出，M_gen表示二值掩膜，掩膜中0表示输入的指纹地图中该点无指纹信号，1表示该点已有指纹信号；

场景范围约束，实际场景往往不是标准的几何形状，选取场景的最长和最宽距离作为二维矩阵的宽与高，会造成指纹地图中存在一部分无效信号区域干扰对于信号分布特征的学习，因此添加标注场景有效范围的掩膜作为硬注意力约束，将非场景范围内的无效区域特征权重置为0，增加网络对于场景范围的识别能力和重建效果；AP距离约束，由于信号的路径衰减效应，在指纹地图中RP距AP所在位置的距离与该点的信号强度有着重要的联系，因此添加基于AP的距离约束，首先识别该指纹地图中AP所在的位置，然后计算指纹地图中各RP距离AP的欧氏距离，生成基于AP的距离约束，具体公式如下：

其中，(i,j)表示指纹地图中任一点的坐标，(i_AP,j_AP)表示指纹地图中AP的坐标，M_dist(i,j)表示该点(i,j)距离AP的欧氏距离；

S3-4，损失函数监督，选择平均重建误差来评价重建效果，将两个网络的输出对应的重建误差加权相加，将经过删减的原始稀疏地图中已有的数据过滤，并将无信号的场景遮挡区域剔除，为了防止区域内的信号点数量影响，进一步对总的重建误差进行平均，具体公式如下：

其中，(i,j)表示指纹地图中任一点的坐标，

表示整个网络的输入指纹地图中该点处的指纹信号强度值，

表示修复阶段网络输出的指纹地图中该点处的指纹信号强度值，

表示优化阶段网络输出的指纹地图中该点处的指纹信号强度值，h,w表示指纹地图的长度与宽度，N^h,w表示指纹地图的指纹点的数量；

S3-5，生成场景掩膜和随机掩膜，场景掩膜将所述场景地图的区域置为0的区域，即在计算损失函数时无需计算该处重建效果，而其他区域则需要模型学习重建；随机掩膜，按照选取的有效信号数量比例不同，在原始的指纹地图中删去相应的信号数据，对每张指纹地图生成一张待修复RP随机分布的修复掩膜，以此作为待重建的稀疏指纹地图进行训练；

S3-6，如图7所示，训练模型，使用搭建的神经网络进行训练，首先对数据集中的指纹地图进行数据预处理，包括像素值的归一化，修复掩膜和修复掩膜的输入，以及矩阵张量的转换；然后对训练参数进行预设，包括显卡的类型和数量、网络的学习率、迭代次数、训练与验证的数据比例等参数的选择，到重建误差达到最小时保存训练好的模型，作为最优模型；

S3-7，测试结果，使用测试集中的指纹地图对训练模型进行测试，若测试的重建误差与训练的重建误差相差过大，则舍弃该模型重新训练；若较为接近则保留模型，用于后续指纹地图的重建。

相应地，本发明还提供了用于空间定位的基于深度学习的Wi-Fi指纹重建***，包括：

数据采集和上传单元1，用于移动机器人采集和上传数据，由移动机器人搭载传感器，首先进行场景建图，然后进行采集点的设计部署，最后实现包括信号强度、采集位置在内的Wi-Fi指纹数据的采集与上传；

具体地，对实地建图，将搭载激光传感器、位置传感器和中控机的移动机器人放置于需要采集的室内封闭场景中，运行启动脚本，通过人工控制或自动巡航两种方式，让所述机器人在场景内移动，从而绘制场景地图导出为像素图像；网格标注，基于所述场景地图，根据场景大小及地形，以及采集的精度要求，设计采集点RP数量与间距，并根据比例尺在场景地图上绘制基于RP的网格，将所有RP坐标数据导出为标准参考数据；实地采集，将RP坐标数据作为导航算法的预设点坐标，控制所述移动机器人进入巡航采集模式，机器人依次到达预设的目标点进行信号的采集并记录；数据上传，设置通信频率，定期将采集到的信号数据和位置数据文档上传至服务器，并删除本地数据；

数据后台处理单元2，用于数据后台处理，由服务端设备接受原始数据，通过数据处理生成指纹地图标准数据，输入指纹数据库；

具体地，设计指纹数据库，设计指纹数据表的数据类型、数据格式以及各表之间的关系，并据此新建指纹数据库；数据处理，将接收到的原始指纹数据按数据类型存储，定期对文件夹内的数据文件进行数据处理，首先对于原始的数据文件，打开后提取需要的数据类型的内容，并按照时间戳将单条信号数据和位置数据合并为单条指纹数据，再将该期间合并生成的所有指纹数据合并到一张数据表中；指纹数据库更新，设计脚本自动读取上一步骤中最后生成的指纹数据表，并将指纹数据逐条输入指纹数据库中；提取数据，按照设定的时间区间，从指纹数据库中提取出时间戳处于该范围内的所有指纹数据导出为表，基于采集前设计的RP坐标参考表，对指纹数据中的位置坐标进行标准化处理，对于一条指纹数据，选取距离实际坐标位置最近的RP坐标作为该条指纹数据的最终位置；对于多个时间戳对应同一个RP坐标的情况，求取信号强度的平均值，并将多条数据合并为一条指纹数据，生成一张特定时间区间的指纹地图表；生成指纹地图，根据RP坐标参考表，生成一张加入信号强度数据类型的新表，信号强度初始值均为0，根据上一阶段生成的指纹地图表，按照位置坐标，修改对应的信号强度值，生成最终的指纹地图表，按照信号强度区间和图像像素区间之间的数量关系，将指纹地图表中的信号强度修改为像素值，并对原信号强度为0的区域重新赋0，最后导出为指纹地图图像；

指纹地图重建网络单元3，用于神经网络重建指纹地图，通过针对非均匀指纹地图重建的渐进式重建网络、修复网络的位置编码优化模块和优化网络的多特征动态优化模块三个模块构成整体框架，将原始的稀疏的指纹地图重建为稠密的指纹地图，通过神经网络训练生成学习模型，输出高精度的指纹地图；

具体地，搭建网络，所述网络主要由修复网络和重建网络两个部分组成，修复网络以Transformer为骨干网络，将非均匀分布的稀疏指纹地图经过线性嵌入生成输入序列，然后在小尺寸窗口内进行多头自注意力学***面信号全局分布特征，并通过多特征联合约束，对指纹地图进行更为细致的优化操作；动态更新修复掩膜，加入二值掩膜作为动态约束，对掩膜进行卷积求和识别待修复区域，重建完成后更新掩膜，将之前标识为待修复的区域位置；原始信号约束，从掩膜上进行更新，然后继续优化下一个位置对于修复网络的输出，在进入优化网络前先进行处理；场景范围约束，添加标注场景有效范围的掩膜作为硬注意力约束，将非场景范围内的无效区域特征权重置为0，增加网络对于场景范围的识别能力和重建效果；添加基于AP的距离约束，首先识别该指纹地图中AP所在的位置，然后计算指纹地图中各RP距离AP的欧氏距离，生成基于AP的距离约束；两个网络的输出对应的重建误差加权相加，将经过删减的原始稀疏地图中已有的数据过滤，并将无信号的场景遮挡区域剔除，为了防止区域内的信号点数量影响，进一步对总的重建误差进行平均；生成场景掩膜和随机掩膜，场景掩膜将所述场景地图的区域置为0的区域，即在计算损失函数时无需计算该处重建效果，而其他区域则需要模型学习重建，随机掩膜按照选取的有效信号数量比例不同，在原始的指纹地图中删去相应的信号数据，对每张指纹地图生成一张待修复RP随机分布的修复掩膜，以此作为待重建的稀疏指纹地图进行训练；训练模型，使用搭建的神经网络进行训练，首先对数据集中的指纹地图进行数据预处理，包括像素值的归一化，修复掩膜和修复掩膜的输入，以及矩阵张量的转换；然后对训练参数进行预设，包括显卡的类型和数量、网络的学习率、迭代次数、训练与验证的数据比例等参数的选择，到重建误差达到最小时保存训练好的模型，作为最优模型；测试结果，使用测试集中的指纹地图对训练模型进行测试，若测试的重建误差与训练的重建误差相差过大，则舍弃该模型重新训练；若较为接近则保留模型，用于后续指纹地图的重建；

稠密指纹地图输出单元4，用于利用所述机器人对需要使用指纹地图进行空间定位的区域实地采集稀疏指纹地图，输入所述训练好的神经网络，得到稠密的指纹地图，用于后续空间定位。

因此，本发明中的指纹地图重建网络相较于已有重建方法，在多种场景和数据量下均能取得更好的重建效果，同时机器人采集***降低了采集的人力成本。首先，针对非均匀指纹地图重建问题，本发明中的双阶段重建网络在无需填补指纹地图的前提下实现了非均匀重建，同时在相同数据量下取得了较已有重建方法更高的重建精度，从而为更准确的定位服务提供了数据支撑；其次，针对指纹位置信息丢失问题，本发明中的复合位置编码模块相较于未使用位置编码时提升了重建效果，从而降低了信号位置信息缺失对重建效果的影响；再次，针对场景特征不充分问题，本发明中的多场景注意力约束模块相较于未使用注意力约束时提升了重建效果，从而对需要重建区域进行更细致的重建；最后，针对人工采集的不足，本发明中的机器人采集***移动端服务端协同完成任务，减少了人工采集的工作量，提升整体流程的自动化。

以上对本发明实施例所提供的用于空间定位的基于深度学习的Wi-Fi指纹重建方法与***进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.用于空间定位的基于深度学习的Wi-Fi指纹重建方法，其特征在于，所述方法包括：

移动机器人采集和上传数据，由移动机器人搭载传感器，首先进行场景建图，然后进行采集点的设计部署，最后实现包括信号强度、采集位置在内的Wi-Fi指纹数据的采集与上传；

数据后台处理，由服务端设备接受原始数据，通过数据处理生成指纹地图标准数据，输入指纹数据库；

神经网络重建指纹地图，通过针对非均匀指纹地图重建的渐进式重建网络、修复网络的位置编码优化模块和优化网络的多特征动态优化模块三个模块构成整体框架，将原始的稀疏的指纹地图重建为稠密的指纹地图，通过神经网络训练生成学习模型，输出高精度的指纹地图；

利用所述机器人对需要使用指纹地图进行空间定位的区域实地采集稀疏指纹地图，输入所述训练好的神经网络，得到稠密的指纹地图，用于后续空间定位。

2.如权利要求1所述的用于空间定位的基于深度学习的Wi-Fi指纹重建方法，其特征在于，所述移动机器人采集和上传数据，由移动机器人搭载传感器，首先进行场景建图，然后进行采集点的设计部署，最后实现包括信号强度、采集位置在内的Wi-Fi指纹数据的采集与上传，具体为：

实地建图，将搭载激光传感器、位置传感器和中控机的移动机器人放置于需要采集的室内封闭场景中，运行启动脚本，通过人工控制或自动巡航两种方式，让所述机器人在场景内移动，从而绘制场景地图导出为像素图像；

网格标注，基于所述场景地图，根据场景大小及地形，以及采集的精度要求，设计采集点参考点RP数量与间距，并根据比例尺在场景地图上绘制基于RP的网格，将所有RP坐标数据导出为标准参考数据；

实地采集，将RP坐标数据作为导航算法的预设点坐标，控制所述移动机器人进入巡航采集模式，机器人依次到达预设的目标点进行信号的采集并记录；

数据上传，设置通信频率，定期将采集到的信号数据和位置数据文档上传至服务器，并删除本地数据。

3.如权利要求1所述的用于空间定位的基于深度学习的Wi-Fi指纹重建方法，其特征在于，所述数据后台处理，由服务端设备接受原始数据，通过数据处理生成指纹地图标准数据，输入指纹数据库，具体为：

设计指纹数据库，设计指纹数据表的数据类型、数据格式以及各表之间的关系，并据此新建指纹数据库；

数据处理，将接收到的原始指纹数据按数据类型存储，定期对文件夹内的数据文件进行数据处理，首先对于原始的数据文件，打开后提取需要的数据类型的内容，并按照时间戳将单条信号数据和位置数据合并为单条指纹数据，再将该期间合并生成的所有指纹数据合并到一张数据表中；

指纹数据库更新，设计脚本自动读取上一步骤中最后生成的指纹数据表，并将指纹数据逐条输入指纹数据库中；

提取数据，按照设定的时间区间，从指纹数据库中提取出时间戳处于该范围内的所有指纹数据导出为表，基于采集前设计的RP坐标参考表，对指纹数据中的位置坐标进行标准化处理，对于一条指纹数据，选取距离实际坐标位置最近的RP坐标作为该条指纹数据的最终位置；对于多个时间戳对应同一个RP坐标的情况，求取信号强度的平均值，并将多条数据合并为一条指纹数据，生成一张特定时间区间的指纹地图表；

生成指纹地图，根据RP坐标参考表，生成一张加入信号强度数据类型的新表，信号强度初始值均为0，根据上一阶段生成的指纹地图表，按照位置坐标，修改对应的信号强度值，生成最终的指纹地图表，按照信号强度区间和图像像素区间之间的数量关系，将指纹地图表中的信号强度修改为像素值，并对原信号强度为0的区域重新赋0，最后导出为指纹地图图像。

4.如权利要求1所述的用于空间定位的基于深度学习的Wi-Fi指纹重建方法，其特征在于，所述神经网络重建指纹地图，通过针对非均匀指纹地图重建的渐进式重建网络、修复网络的位置编码优化模块和优化网络的多特征动态优化模块三个模块构成整体框架，将原始的稀疏的指纹地图重建为稠密的指纹地图，通过神经网络训练生成学习模型，输出高精度的指纹地图，具体为：

搭建网络，所述网络主要由修复网络和重建网络两个部分组成，修复网络以Transformer为骨干网络，将非均匀分布的稀疏指纹地图经过线性嵌入生成输入序列，然后在小尺寸窗口内进行多头自注意力学习数据特征，用以指导修复稀疏指纹地图中的信号缺失区域；优化网络以U形网络的结构为基础，将多级下采样模块替换成不改变地图尺寸的多级通道扩充模块，提升特征学习效果的同时不影响信号间的位置关系，并通过跳跃连接充分利用优化网络各层提取的特征，指导优化网络关注信号在整个场景范围中的传播规律，最终重建出稠密指纹地图；

编码模块，对于指纹地图的绝对位置编码，选择将其放置在进入Transformer编码器之前的Patch embedding模块中，对每个位置进行顺序编码，并设置为不可更改的训练参数，和经过线性投射的一维地图向量一同嵌入序列输入编码器；对于指纹地图的相对位置编码，选择将其放置在自注意力窗口内，根据窗口内RP相对位置坐标和方向，对于窗口内的每个位置分别分配基于其位置的相对位置编码，建立相对位置编码索引，作为偏移量bias进行自注意力计算；

注意力约束模块，在优化阶段，利用小尺寸卷积以RP点为单位进行特征学***面信号全局分布特征，并通过多特征联合约束，对指纹地图进行更为细致的优化操作；动态更新修复掩膜，加入二值掩膜作为动态约束，对掩膜进行卷积求和识别待修复区域，重建完成后更新掩膜，将之前标识为待修复的区域位置；原始信号约束，从掩膜上进行更新，然后继续优化下一个位置对于修复网络的输出，在进入优化网络前先进行处理，具体公式如下：

R_{in_r}＝R_{out_c}·M_gen+R_{in_c}·(1-M_gen)，

其中，R_{in_r}表示优化阶段网络的输入，R_{in_c}表示修复阶段网络的输入，R_{out_c}表示修复阶段网络的输出，M_gen表示二值掩膜，掩膜中0表示输入的指纹地图中该点无指纹信号，1表示该点已有指纹信号；

场景范围约束，添加标注场景有效范围的掩膜作为硬注意力约束，将非场景范围内的无效区域特征权重置为0，增加网络对于场景范围的识别能力和重建效果；添加基于AP的距离约束，首先识别该指纹地图中AP所在的位置，然后计算指纹地图中各RP距离AP的欧氏距离，生成基于AP的距离约束，具体公式如下：

其中，(i,j)表示指纹地图中任一点的坐标，(i_AP,j_AP)表示指纹地图中AP的坐标，M_dist(i,j)表示该点(i,j)距离AP的欧氏距离；

损失函数监督，选择平均重建误差来评价重建效果，将两个网络的输出对应的重建误差加权相加，将经过删减的原始稀疏地图中已有的数据过滤，并将无信号的场景遮挡区域剔除，为了防止区域内的信号点数量影响，进一步对总的重建误差进行平均，具体公式如下：

其中，(i,j)表示指纹地图中任一点的坐标，

表示整个网络的输入指纹地图中该点处的指纹信号强度值，

表示修复阶段网络输出的指纹地图中该点处的指纹信号强度值，

表示优化阶段网络输出的指纹地图中该点处的指纹信号强度值，h,w表示指纹地图的长度与宽度，N^h,w表示指纹地图的指纹点的数量；

生成场景掩膜和随机掩膜，场景掩膜将所述场景地图的区域置为0的区域，即在计算损失函数时无需计算该处重建效果，而其他区域则需要模型学习重建，随机掩膜按照选取的有效信号数量比例不同，在原始的指纹地图中删去相应的信号数据，对每张指纹地图生成一张待修复RP随机分布的修复掩膜，以此作为待重建的稀疏指纹地图进行训练；

训练模型，使用搭建的神经网络进行训练，首先对数据集中的指纹地图进行数据预处理，包括像素值的归一化，修复掩膜和修复掩膜的输入，以及矩阵张量的转换；然后对训练参数进行预设，包括显卡的类型和数量、网络的学习率、迭代次数、训练与验证的数据比例等参数的选择，到重建误差达到最小时保存训练好的模型，作为最优模型；

测试结果，使用测试集中的指纹地图对训练模型进行测试，若测试的重建误差与训练的重建误差相差过大，则舍弃该模型重新训练；若较为接近则保留模型，用于后续指纹地图的重建。

5.用于空间定位的基于深度学习的Wi-Fi指纹重建***，其特征在于，所述***包括：

数据采集和上传单元，用于移动机器人采集和上传数据，由移动机器人搭载传感器，首先进行场景建图，然后进行采集点的设计部署，最后实现包括信号强度、采集位置在内的Wi-Fi指纹数据的采集与上传；

数据后台处理单元，用于数据后台处理，由服务端设备接受原始数据，通过数据处理生成指纹地图标准数据，输入指纹数据库；

指纹地图重建网络单元，用于神经网络重建指纹地图，通过针对非均匀指纹地图重建的渐进式重建网络、修复网络的位置编码优化模块和优化网络的多特征动态优化模块三个模块构成整体框架，将原始的稀疏的指纹地图重建为稠密的指纹地图，通过神经网络训练生成学习模型，输出高精度的指纹地图；

稠密指纹地图输出单元，用于利用所述机器人对需要使用指纹地图进行空间定位的区域实地采集稀疏指纹地图，输入所述训练好的神经网络，得到稠密的指纹地图，用于后续空间定位。

6.如权利要求5所述的用于空间定位的基于深度学习的Wi-Fi指纹重建***，其特征在于，数据采集和上传单元，需要对实地建图，将搭载激光传感器、位置传感器和中控机的移动机器人放置于需要采集的室内封闭场景中，运行启动脚本，通过人工控制或自动巡航两种方式，让所述机器人在场景内移动，从而绘制场景地图导出为像素图像；网格标注，基于所述场景地图，根据场景大小及地形，以及采集的精度要求，设计采集点RP数量与间距，并根据比例尺在场景地图上绘制基于RP的网格，将所有RP坐标数据导出为标准参考数据；实地采集，将RP坐标数据作为导航算法的预设点坐标，控制所述移动机器人进入巡航采集模式，机器人依次到达预设的目标点进行信号的采集并记录；数据上传，设置通信频率，定期将采集到的信号数据和位置数据文档上传至服务器，并删除本地数据。

7.如权利要求5所述的用于空间定位的基于深度学***均值，并将多条数据合并为一条指纹数据，生成一张特定时间区间的指纹地图表；生成指纹地图，根据RP坐标参考表，生成一张加入信号强度数据类型的新表，信号强度初始值均为0，根据上一阶段生成的指纹地图表，按照位置坐标，修改对应的信号强度值，生成最终的指纹地图表，按照信号强度区间和图像像素区间之间的数量关系，将指纹地图表中的信号强度修改为像素值，并对原信号强度为0的区域重新赋0，最后导出为指纹地图图像。

8.如权利要求5所述的用于空间定位的基于深度学***面信号全局分布特征，并通过多特征联合约束，对指纹地图进行更为细致的优化操作；动态更新修复掩膜，加入二值掩膜作为动态约束，对掩膜进行卷积求和识别待修复区域，重建完成后更新掩膜，将之前标识为待修复的区域位置；原始信号约束，从掩膜上进行更新，然后继续优化下一个位置对于修复网络的输出，在进入优化网络前先进行处理；场景范围约束，添加标注场景有效范围的掩膜作为硬注意力约束，将非场景范围内的无效区域特征权重置为0，增加网络对于场景范围的识别能力和重建效果；添加基于AP的距离约束，首先识别该指纹地图中AP所在的位置，然后计算指纹地图中各RP距离AP的欧氏距离，生成基于AP的距离约束；两个网络的输出对应的重建误差加权相加，将经过删减的原始稀疏地图中已有的数据过滤，并将无信号的场景遮挡区域剔除，为了防止区域内的信号点数量影响，进一步对总的重建误差进行平均；生成场景掩膜和随机掩膜，场景掩膜将所述场景地图的区域置为0的区域，即在计算损失函数时无需计算该处重建效果，而其他区域则需要模型学习重建，随机掩膜按照选取的有效信号数量比例不同，在原始的指纹地图中删去相应的信号数据，对每张指纹地图生成一张待修复RP随机分布的修复掩膜，以此作为待重建的稀疏指纹地图进行训练；训练模型，使用搭建的神经网络进行训练，首先对数据集中的指纹地图进行数据预处理，包括像素值的归一化，修复掩膜和修复掩膜的输入，以及矩阵张量的转换；然后对训练参数进行预设，包括显卡的类型和数量、网络的学习率、迭代次数、训练与验证的数据比例等参数的选择，到重建误差达到最小时保存训练好的模型，作为最优模型；测试结果，使用测试集中的指纹地图对训练模型进行测试，若测试的重建误差与训练的重建误差相差过大，则舍弃该模型重新训练；若较为接近则保留模型，用于后续指纹地图的重建。

Images