CN114758364A - 基于深度学习的工业物联网场景融合定位方法及*** - Google Patents

Abstract

本发明公开了一种基于深度学习的工业物联网场景融合定位方法及***，当需要获得待测位置的位置信息，位置指纹识别网络通过卷积神经网络提取待测目标接受到的指纹信息的特征，然后通过画像提取层提取出指纹信息特征的特征画像，由预测层基于特征画像预测出指纹信息的指纹特征，由全连接层将该指纹特征与预先设定好位置指纹库中的标准指纹信息进行匹配，并将匹配成功的标准指纹信息对应的位置信息输出，作为待测目标的位置信息。实现了在线定位，消除了位置标签之间匹配的依赖性，提高了定位鲁棒性和精度。该位置指纹识别网络具有良好的迁移性，能够适用于不同的环境，提高了对定位的环境适应性。

Description

基于深度学习的工业物联网场景融合定位方法及***

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种基于深度学习的工业物联网场景融合定位方法及***。

背景技术

工业制造的蓬勃发展不断推动我国制造领域的技术变革，物联网和人工智能技术的出现，使智能化生产和智能工厂等概念成为可能。而在智能化改造中，传统工业生产面临许多困难，例如工业场景下的室内定位技术。实现室内定位技术，能够实时追踪和调配人员并做到对自动化生产各环节的监控，对提升生产效率有积极意义。

在工业场景中，室内定位扮演着重要的角色。通过精度较高的室内定位技术，管理者可以实现对生产人员的实时监控和动态调度，从而杜绝隐患，提高工作效率；同时，工厂可以获取物料和车辆的实时位置，实现物料的自动调拨、周转和货物运输等；此外，高精度的定位技术也是工业机器人等投入自动化生产的前提。

现有室外定位服务主要通过全球卫星定位***（即GPS）技术来实现。全球卫星定位***可以为户外用户提供高精度的定位服务，但其存在局限性：GPS信号公率非常低，信号接受要求较高，在室外天线与卫星之间不存在阻碍，可以达到较好的定位结果。但是涉及到室内定位时，由于受建筑物阻挡，导致卫星信号到达室内后快速衰减，无法满足室内覆盖要求，使用GPS信号来进行室内定位几乎成为不可能。

工业生产中，室内环境远比室外环境复杂，无线电波易受障碍物阻挡，发生反射、折射或散射，形成非视距传播（即NLOS，非视距通信是指接收机、发射机之间非直接的点对点的通信。非视距最直接的解释是通信的两点视线受阻，彼此看不到对方，菲涅尔区大于50%的范围被阻挡），严重影响了定位精度。另外，室内生产环境布局和拓扑易受人为因素影响，导致各种信号传播发生变化，从而降低基于特征匹配原理的定位技术性能。

目前较为流行的定位***多为独立定位***，即他们大都是为一个特殊的应用环境设计的，因此会导致以下问题：

（1）目标检测存在缺陷：大多数定位***依赖标签之间的匹配，因此它们难以检测到与目标标签共存于同意环境中的不同标签的目标。

（2）定位鲁棒性和精度低：独立***在信息获取方面受到限制，难以实现。

（3）环境适应性差：在一种实际场景中表现良好的独立定位***可能在另一种实际场景中表现差。

发明内容

本发明的目的在于提供了一种基于深度学习的工业物联网场景融合定位方法及***，用以解决现有技术中存在的上述问题。

第一方面，本发明实施例提供了一种基于深度学习的工业物联网场景融合定位方法，所述方法包括：

获得待测目标接收到的指纹信息，所述指纹信息用于表征所述待测目标所在的位置特征；

将所述指纹信息输入预先训练好的位置指纹识别网络中，所述位置指纹识别网络输出所述待测目标的位置信息；

其中，位置指纹识别网络由卷积神经网络、画像提取层、预测层、全连接层和对抗网络构成，所述卷积神经网络的输入是所述指纹信息，所述画像提取层的输入是卷积神经网络的输出；所述预测层的输入是所述画像提取层的输出，所述对抗网络的输入是所述卷积神经网络的输出和所述预测层的输出；所述预测层输出所述待测目标的位置信息，所述对抗网络用于消除环境特征对预测层的输出的指纹特征的影响；所述全连接层的输入是所述预测层的输出，所述预测层的输出是所述待测目标的位置信息。

可选的，所述位置指纹识别网络的训练方法包括：

确定多个预定位置的多个指纹数据，将每个预定位置的多个指纹数据的20%设置在验证集中，将每个预定位置的多个指纹数据的80%设置在训练集中；所述验证集中的指纹数据被预先标注了所述指纹数据表征的预定位置；

将训练集和验证集输入卷积神经网络中，通过卷积神经网络分别提取出训练集中的训练特征和验证集中的验证特征；

通过画像提取层提取训练特征的第一特征画像，通过画像提取层提取验证特征的第二特征画像；

通过预测层，将第一特征画像映射到潜在空间中，得到第一潜在特征，将第二特征画像射到潜在空间中，得到第二潜在特征；基于第一潜在特征得到第一预测向量y1；基于第二潜在特征得到第二预测向量；基于第一预测向量获得未标注数据的第一损失函数，基于第二预测向量获得标注数据的第二损失函数；

通过对抗网络，将训练特征、第一预测向量、将验证特征、第二预测向量进行融合操作，得到融合数据；将融合数据分别映射到第二空间，得到映射特征；基于映射特征得到第三损失函数；

基于第一损失函数、第二损失函数和第三损失函数，得到模型损失函数；

当模型损失函数收敛或者模型训练次数大于设定值，确定位置指纹识别网络训练结束，并确定预测层输出的第一预测向量为所述待测目标的位置信息的输入。

可选的，所述将训练特征、第一预测向量、将验证特征、第二预测向量进行融合操作，得到融合数据，包括：

基于所述训练特征、所述第一预测向量、第二预测向量获得第一融合向量；

基于所述验证特征、所述第一预测向量、第二预测向量获得第二融合向量；

对所述第一融合向量和所述第二融合向量进行加权求和，得到融合数据。

第二方面，本发明实施例提供了一种基于深度学习的工业物联网场景融合定位***，所述***包括：

获取模块，用于获得待测目标接收到的指纹信息，所述指纹信息用于表征所述待测目标所在的位置特征；

定位模块，用于将所述指纹信息输入预先训练好的位置指纹识别网络中，所述位置指纹识别网络输出所述待测目标的位置信息；

其中，位置指纹识别网络由卷积神经网络、画像提取层、预测层、全连接层和对抗网络构成，所述卷积神经网络的输入是所述指纹信息，所述画像提取层的输入是卷积神经网络的输出；所述预测层的输入是所述画像提取层的输出，所述对抗网络的输入是所述卷积神经网络的输出和所述预测层的输出；所述预测层输出所述待测目标的位置信息，所述对抗网络用于消除环境特征对预测层的输出的指纹特征的影响；所述全连接层的输入是所述预测层的输出，所述预测层的输出是所述待测目标的位置信息。

相较于现有技术，本发明实施例达到了一下有益效果：

本发明实施例提供了一种基于深度学习的工业物联网场景融合定位方法及***，所述方法包括：获得待测目标接收到的指纹信息，所述指纹信息用于表征所述待测目标所在的位置特征；将所述指纹信息输入预先训练好的位置指纹识别网络中，所述位置指纹识别网络输出所述待测目标的位置信息；其中，位置指纹识别网络由卷积神经网络、画像提取层、预测层、全连接层和对抗网络构成，所述卷积神经网络的输入是所述指纹信息，所述画像提取层的输入是卷积神经网络的输出；所述预测层的输入是所述画像提取层的输出，所述对抗网络的输入是所述卷积神经网络的输出和所述预测层的输出；所述预测层输出所述待测目标的位置信息，所述对抗网络用于消除环境特征对预测层的输出的指纹特征的影响；所述全连接层的输入是所述预测层的输出，所述预测层的输出是所述待测目标的位置信息。

当需要获得待测位置的位置信息，则需要通过预定的AP向该待测位置的信号接收端发送信号（例如Wifi），然后获得信号接收端接受到的信号信息（指纹信息），将指纹信息输入预先训练好的位置指纹识别网络中，位置指纹识别网络可以基于指纹信息识别出该待测位置的位置信息。位置指纹识别网络通过卷积神经网络提取待测目标接受到的指纹信息的特征，然后通过画像提取层提取出指纹信息特征的特征画像，在获得特征画像后，由预测层基于特征画像预测出指纹信息的指纹特征，由全连接层将该指纹特征与预先设定好位置指纹库中的标准指纹信息进行匹配，并将匹配成功的标准指纹信息对应的位置信息输出，作为待测目标的位置信息。标准指纹信息唯一表征一个位置信息。如此，实现了在线定位，提高了定位的准确性。另外，位置指纹识别网络包括对抗网络，所述对抗网络用于消除环境特征对预测层的输出的指纹特征的影响，提高了预测层的输出的指纹特征的准确性，进而提高了定位的准确性。

附图说明

图1是本发明实施例提供的一种基于深度学习的工业物联网场景融合定位方法的流程图。

图2示出了一种位置指纹识别网络的结构示意图。

图3示出了一种多种信号的信号强度的位置指纹构建示意图。

图4是本发明实施例提供的一种电子设备的方框结构示意图。

图中标记：总线500；接收器501；处理器502；发送器503；存储器504；总线接口505。

具体实施方式

下面结合附图，对本发明作详细的说明。

实施例1

现有室外定位服务主要通过全球卫星定位***（即GPS）技术来实现。全球卫星定位***可以为户外用户提供高精度的定位服务，但其存在局限性：GPS信号公率非常低，信号接受要求较高，在室外天线与卫星之间不存在阻碍，可以达到较好的定位结果。但是涉及到室内定位时，由于受建筑物阻挡，导致卫星信号到达室内后快速衰减，无法满足室内覆盖要求，使用GPS信号来进行室内定位几乎成为不可能。

工业生产中，室内环境远比室外环境复杂，无线电波易受障碍物阻挡，发生反射、折射或散射，形成非视距传播（即NLOS，非视距通信是指接收机、发射机之间非直接的点对点的通信。非视距最直接的解释是通信的两点视线受阻，彼此看不到对方，菲涅尔区大于50%的范围被阻挡），严重影响了定位精度。另外，室内生产环境布局和拓扑易受人为因素影响，导致各种信号传播发生变化，从而降低基于特征匹配原理的定位技术性能。

考虑到室内定位的巨大发展潜能和广阔发展前景，以及上文中分析的现存室内定位技术的难点，本申请提出一种基于多传感器数据融合结合深度学习技术的定位方法，以降低室内定位难度、提升室内定位精度。

在阐述本发明所提出的方案之前，需要引入“位置指纹”的概念。作为“人体的身份证”，人类的指纹在身份识别领域得到了广泛的应用。唯一性、局部相关性及可辨识性是指纹的特点，因此指纹定位的概念被引入到室内定位中。“位置指纹”是把实际环境中的某个位置的特征与某种“指纹”联系起来，某个位置所处的环境具有一个或者多个特征，通过特定的特征来实现一对一，即一个位置对应一个独特的指纹。这个指纹根据所处环境的特征可以是单维或者多维的，例如待定位设备在接收或者发送信息时，那么指纹可以是这个信息或者信号的一个特征或多个特征（最常见的是信号强度）。常见位置指纹定位方式有三种，如果待定位设备是在发送信号，由一些预先安装的固定的接收设备感知待定位设备的信号或者信息实现定位，这种方式为远程定位或者网络定位。如果是待定位设备接收一些固定的发送设备的信号或者信息，然后根据这些检测到的特征来估计自身位置，这种方式为自身定位。如果待定位设备把检测到的所有特征传输到服务器，服务器利用所获得的特征来估计设备的位置，这种方式为混合定位。

针对传统通过单一信号进行室内定位的方法采集信息难度大、定位结果准确性低 的问题。本申请采用多种信号融合，可以有效解决实际工业场景的定位问题；利用多种传感 器，在室内采集多种常见的信号，例如无线保真（Wireless Fidelity，WiFi），可见光通信技 术(Visible Light Communication，VLC)等，可以在难度较低的情况下采集到较完整的数 据。相比于单一信号的方法，当一种信号由于某种原因失去价值时，可以通过其他信号弥补 信息来实现较为准确的定位。当信号较为完整时，也由于信号的多维性可以达到更为准确 的定位结果。为此，本申请提及的指纹信息、指纹数据是上述的“位置指纹”，其可以是单一 的信号，例如WiFi信号、可见光信号、超宽带（Ultra Wide Band，UWB）信号，也可以由上述的 多种信号组合构成，需要说明的是，VLC、UWB和WiFi定位的本质实际上是基站式定位, 是依 靠WiFi AP、UWB基站以自身以及光源为中心, 向外辐射逐渐衰弱的指纹来进行定位的。因 此，本申请指纹信息、指纹数据还可以是信道状态信息（Channel State Information， CSI）、接收的信号强度指示（Received Signal Strength Indication，RSSI）等，或者由 CSI、RSSI等信息组合构成的数据。即，位置指纹可以是多种类型的，任何“位置独特”的特征 都可以被用来作为一个位置指纹，比如某个位置上通信信号的多径结构，某个位置是否能 检测到接入点或基站，某个位置上检测到的来自基站信号的(接收信号强度(Really Simple Syndication，RSS)，某个位置上通信信号的往返时间或者延迟，这些都可以作为一 个位置指纹，或者将其组合形成位置指纹。无线信号的信号强度或者可见光信号强度在空 间传播过程中,会随着传播距离的增加而减弱,接收端设备与信号源距离越近,信号源的信 号强度就越强接收端离发送方越远,接收到的信号强度就越弱。根据终端设备接收到的信 号强度可以形成一个独特的指纹。考虑成本和实用性方面，目前移动端接收到的无线信号 强度(Received Signal Strength,

)被普遍作为室内定位中的指纹。在已经完成无线 信号部署的室内环境中，无线信号在不同的位置上有所区别，且在空间和时间上分布相对 稳定，只需在事先设定的参考点进行

指纹采集即可，无线接入点（Access Point，AP）的 位置无需知道。本申请是针对大型车间，厂房，仓库等室内场景的可定位和定位精度等问 题，作为一种可选的实施方式，本申请采用CSI所以适合采用（VLC、UWB和WiFi融合接收信号 强度）作为位置指纹。

结合参阅图1，本法提出的一种基于深度学习的工业物联网场景融合定位方法，包括：

S101：获得待检测目标接收到的指纹信息。

在本发明实施例中，所述指纹信息用于表征所述待测目标所在的位置特征，可选的，指纹信息可以是CSI、RSSI、RSS等信息，也可以由CSI、RSSI、RSS组合构成的信息。在本发明实施例中，将待检测目标的接收器接收到场景中的发射器发射的指纹信号进行融合，得到所述的指纹信息，具体可以是：

获得设定时间段内的数据采样，设定时间段可以是1-15分钟，设定时间段内的数据采样包括在设定时间段内，每隔一秒采样得到的数据，即数据采样包括多次采样得到的数据。采样得到的数据可以包括CSI、RSSI、RSS等信息中的一种或者多种。作为一个举例，一条指纹信息的表示方式为[a1，a2，a3，……，a60]。其中，a1，a2，a3，……，a60分别表示第1秒、第2秒、第3秒、……第60秒采集的CSI信息。

S102：将所述指纹信息输入预先训练好的位置指纹识别网络中，所述位置指纹识别网络输出所述待测目标的位置信息。

其中，位置指纹识别网络由卷积神经网络、画像提取层、预测层、全连接层和对抗网络构成，所述卷积神经网络的输入是所述指纹信息，所述画像提取层的输入是卷积神经网络的输出。预测层的输入是所述画像层的输出，对抗网络的输入是所述卷积神经网络的输出和所述预测层的输出。所述预测层输出所述待测目标的位置信息，所述对抗网络用于消除环境特征对预测层的输出的指纹特征的影响。所述全连接层的输入是所述预测层的输出，预测层的输出是所述待测目标的位置信息。如图2所示。

通过采用以上方案，当需要获得待测位置的位置信息，则需要通过预定的AP向该待测位置的信号接收端发送信号（例如Wifi），然后获得信号接收端接受到的信号信息（指纹信息），将指纹信息输入预先训练好的位置指纹识别网络中，位置指纹识别网络可以基于指纹信息识别出该待测位置的位置信息。位置指纹识别网络通过卷积神经网络提取待测目标接受到的指纹信息的特征，然后通过画像提取层提取出指纹信息特征的特征画像，在获得特征画像后，由预测层基于特征画像预测出指纹信息的指纹特征，由全连接层将该指纹特征与预先设定好位置指纹库中的标准指纹信息进行匹配，并将匹配成功的标准指纹信息对应的位置信息输出，作为待测目标的位置信息。标准指纹信息唯一表征一个位置信息。如此，实现了在线定位，提高了定位的准确性。另外，位置指纹识别网络包括对抗网络，所述对抗网络用于消除环境特征对预测层的输出的指纹特征的影响，提高了预测层的输出的指纹特征的准确性，进而提高了定位的准确性。

其中，所述位置指纹识别网络的训练方法包括：

A1、确定多个预定位置的多个指纹数据，将每个预定位置的多个指纹数据的20%设置在验证集中，将每个预定位置的多个指纹数据的80%设置在训练集中。所述验证集中的指纹数据被预先标注了所述指纹数据表征的预定位置。

在本发明实施例中，预定位置是定位场景内的某个特定区域，例如，定位场景是一个包括10个车间的工厂，那么可以设定每个车间是一个预定位置。可选的，预定位置内设置一个信号接收器，按照上述获得待检测目标的指纹信息的方式，获得每个预定位置的多个指纹数据。例如待检测目标的指纹信息为[a1，a2，a3，……，a60]，那么其中的一个预定位置的指纹数据可以是[b1，b2，b3，……，b60], [b61，b62，b63，……，b120], [b121，b122，b123，……，b180]。即指纹数据可以包括多条历史指纹信息。若指纹数据有10条历史指纹信息，那么将8条设置在训练集中，将2条设置在验证集中，并且对设置在验证集中的历史指纹信息进行标准，确定验证集中的历史指纹信息表征的位置信息。

A2、将训练集和验证集输入卷积神经网络中，通过卷积神经网络分别提取出训练集中的训练特征和验证集中的验证特征。

A3、通过画像提取层提取训练特征的第一特征画像，通过画像提取层提取验证特征的第二特征画像。具体的，画像提取层是一个全连接层，与卷积神经网络全连接，画像提取层将训练特征和验证特征映射到画像空间中，分别得到第一特征画像和第二特征画像，具体的，通过softplus函数将训练特征进行映射得到第一特征画像，通过softplus函数将验证特征进行映射得到第二特征画像。

A4、通过预测层，将第一特征画像映射到潜在空间中，得到第一潜在特征，将第二特征画像射到潜在空间中，得到第二潜在特征。基于第一潜在特征得到第一预测向量；基于第二潜在特征得到第二预测向量。

具体的，将第一特征画像映射到潜在空间中，得到第一潜在特征，具体为H1=W*P1+b，H1表示第一潜在特征，P1表示第一特征画像。将第二特征画像射到潜在空间中，得到第二潜在特征，具体为H2=W*P2+b，P2表示第二特征画像，H2表示第二潜在特征。W，b是映射参数，取值可以为W=1，b=0.5。

通过softmax激活函数基于第一潜在特征得到第一预测向量；通过softmax激活函数基于第二潜在特征得到第二预测向量。具体的，将第一潜在特征输入softmax激活函数中，softmax激活函数输出第一预测向量。将第二潜在特征输入softmax激活函数中，softmax激活函数输出第二预测向量。

A5、基于第一预测向量获得未标注数据的第一损失函数，基于第二预测向量获得标注数据的第二损失函数。

在本发明实施例中，步骤A4、A5是由预测层操作获得的。

具体的，第一损失函数的表示方式为：

（1）

其中，L1第一损失函数，X1表示训练集中指纹数据的个数。

表示第i个第一预测 向量。

第二损失函数的表示方式为：

（2）

其中，L2第二损失函数，

表示针对验证集中的第i个指纹数据的实际特征向量， 实际特征向量是预先提取出来的。X2表示验证集中的指纹数据的数量。

A6、将训练特征、第一预测向量、将验证特征、第二预测向量进行融合操作，得到融合数据。具体的，融合操作具体为：首先，基于所述训练特征、第一预测向量、第二预测向量，获得第一融合向量。其次，基于验证特征、第一预测向量、第二预测向量获得第二融合向量。然后对所述第一融合向量和所述第二融合向量进行加权求和，得到融合数据。

其中，基于所述训练特征、所述第一预测向量、第二预测向量获得第一融合向量，具体通过下述公式的计算方式获得：R1=y1+a*y2-p*z1,其中，R1表示第一融合向量，y1表示第一预测向量，y2表示第二预测向量，z1表示训练特征，a、p是权重参数，a+p=1。

基于验证特征、所述第一预测向量、第二预测向量获得第二融合向量，具体通过下述公式的计算方式获得：R2=y2+a*y1-p*z2,其中，R2表示第二融合向量，z2表示验证特征。

融合数据F的表示方式为：F=R2+a*R2-p*R1，其中，F表示融合数据。

在验证集和测试集中有多个指纹数据，为此，针对每个指纹数据，获得该指纹数据的第一融合向量、第一融合向量和融合数据的方式参照的方式如上获得第一融合向量、第一融合向量和融合数据的方式，在此不再一一赘述。

通过采用以上方案，融合数据综合考虑了验证数据集和训练数据的数据特性，提高了融合特征对位置的表征的准确性。

A7、将融合数据分别映射到第二空间，得到映射特征。

具体的，通过softmax函数将融合数据分别映射到第二空间得到映射特征的具体映射为方式为：

（3）

其中，

表示第i个指纹数据的映射特征，

是第二空间的映射参数，取值 可以是

。

A8、基于映射特征得到第三损失函数，具体按照公式（4）所示的方式获得：

（4）

其中，L3表示第三损失函数，

表达第i个指纹数据的独热向量。

在本发明实施例中，步骤A6~A8是由对抗网络操作获得的。

A9、基于第一损失函数、第二损失函数和第三损失函数，得到模型损失函数。

模型损失函数的具体计算方式为:L=L2+a*L1-p*L3 （5）

其中，L表示模型的损失函数。

当模型损失函数收敛或者模型训练次数大于设定值，确定位置指纹识别网络训练结束，并确定预测层输出的第一预测向量为待测目标的位置信息的输入。

通过采用以上方案，可以提高损失函数对模型的约束能力，同时考虑到了标注数据和未标注数据之间的关联、实现了对抗网络消除环境特征对预测层的输出的指纹特征的影响（具体是公式（5）体现出来），提高了模型预测位置信息的准确性。通过训练好的模型针对待测的目标位置进行检测, 消除了标签之间匹配的依赖性，对于要检测的位置，直接获得该位置的指纹数据，输入模型中，就可以直接检测出该位置的位置信息，实现了不依赖于标签的定位，提高了定位鲁棒性和精度。由于采用了上述结构的位置指纹识别网络，该网络具有良好的迁移性，能够适用于不同的环境，提高了定位的环境适应性。

在本发明实施例中，获得待检测目标接收到的指纹信息的方式包括：

采集待检测目标接收到的指纹数据，具体的可以采集待测目标在其所在位置接收到的CSI信息或者RSS信息。

信号的

或者接收功率取决于接收器的位置。

随距离的增大而减弱，一般 为负值，认为-60~-70dBm信号很好。

的获取较为简单，因为它是大多数的无线通讯设备 正常运行中所必需的。很多通信***需要

信息用来感知链路的质量以实现切换和适应 传输率等功能，而且

不受信号带宽的影响。采用RSS信息作为室内定位的重要参考数 据，可以提高定位的准确性。

在自由空间中，没有任何障碍物，信号从发射源向四面八方呈球面形状发射出去， 各个方向上没有任何区别，因此信号的功率和距离的平方呈反比：P∝1d2。

就是功率， 但是衰减的单位一般用dB来表示，那么就很容易理解

与距离的关系了，

衰减与距 离的对数呈正比，假设已知一个参考距离d0以及这个距离上的

为

（d0），那么，RSS (d)=RSS（d0）-10*n*log(d0) 。

在本申请实施例中，将预先安置固定的信号发射源，则在离它不同距离的位置上 的平均

的衰减（in db）和距离的对数成正比，在最简单的情况下，RSS可以表示为：

RSS(d)=Pt-K-10*q*ln(d)

其中，q称为路径损耗指数，Pt为发送功率，K是一个取决于环境和频率的常数，取 值可以是0.1到20。RSS可以被用来计算待定位设备与AP和光源之间的距离，获取出来的距 离是用来做移动设备的三边角测量从而定位，而由于实际环境的影响造成的（称为阴影衰 落），这种方法可能造成较大的误差。而当待定位设备接收来自多个发射源的信号时，我们 可以使用来自多个发射源的

组成一个R

向量，作为和位置相联系的指纹。即我们通 过数据层融合技术，利用不同的传感器同时测量同一位置的指纹数据，首先对测量得到的 来自多个不同传感器的数据进行融合处理，得到并提取联合数据特征构建位置指纹库。

在本发明实施例中，位置和指纹的对应关系的建立在离线阶段进行。在离线阶段， 为了采集各个位置上的指纹并构建一个数据库，我们在指定的区域进行较为繁琐的勘测， 采集好的数据作为训练集。我们在室内定位计算得到的位置坐标是指在当前环境中的一个 局部坐标系中的坐标，而不是经纬度。在每一个数据采集点上，我们通过一段时间的数据采 样（5到15分钟，大约每秒采集一次），从而得到来自各个AP光源的平均

，采集的时候设 备可能有不同的朝向。

对于本项目，我们部署若干AP、UWB基站和LED光源（LiFi的AP通常被集成在天花板上，UWB定位基站分布于定位区域的几何边缘），这些AP可以用来通信也可以用来定位。

在数据采集阶段，我们通过设备在各个数据采集点来进行繁琐的实验，设备硬件 ***由光电二极管、0UWB标签和WiFi模块等组成。首先设备通过相关模块获得数据采集点 的各类相关特征，即VLC信号强度、UWB信号强度和WiFi信号强度，然后通过WiFi模块再发送 到上位机。在每一个数据采集点上，我们通过一段时间的数据采样（5到15分钟，大约每秒采 集一次），从而得到来自各个AP光源的平均

，采集的时候设备可能有不同的朝向。

为了清除阐述本发明实施例的技术方案，设置待测的地理区域被一个矩形网格所 覆盖，如图3所示，这个场景中是4行8列的网格（共32个网格点），1个AP和1个LED光源，这个 例子中，每个网格点上的指纹是一个二维向量z=[x1,x2]，其中x1来自AP的平均

，

来 自LED的平均

。即每一个预定位置的指纹数据z的表示方式为z=[x1,x2]。

这些二维的指纹是在每个网格点所示的区域采集到的，这些网格点坐标和对应的 指纹组成一个数据库，这个过程称为标注阶段（calibration phase），这个指纹数据库也成 为无线电地图（radio map）。图3右边的部分在二维向量空间（信号空间）中展示了这些指 纹，而在更一般的场景下，假设有N个AP、UWB基站和LED光源，那么指纹

就是N维的向量。

和那些需要额外设备的定位***相比，本项申请针对的混合网络定位成本低。

大多数研究都假设位置指纹在虚拟的网格点上采集数据来得到，比如，在一个 100*100的区域，将其划分为50*50个网格（即每个网格2m*2m），在每个网格中间采集一组指 纹，则每组指纹记录的就是这个网格点上所接受到的包括来自了各个WiFi AP、UWB基站和 可见光的

，5到15分钟，在某些情况下我们还要使用不同的测量设备或者设定不同的设 备方向来进行测量并采集数据。这样的采集工作及其繁琐，由于本项目是针对大型车间，厂 房，仓库等室内场景的可定位和定位精度等问题，而且为了适应环境变化需要周期性地更 新。在上述的例子中，本申请使用单个设备和固定的方向，整个采集过程就需要2500*5= 125000分钟，接近9天，不仅耗费人力物力等，效率也较低。所以通过减少指纹采集的数量的 方法进行预处理来提高效率。

在复杂的室内环境中，尤其是本项目是针对大型车间，厂房，仓库等室内场景， WiFi、UWB和VLC的

信号容易受到多径效应以及外界温度的影响，而且信号在室内经过 反射，折射，甚至是因为设备的问题，都会导致采集的

值受到波动，甚至是丢包的情况。 当我们进行数据采集时，如果采集的

值，尤其是强度较强的

值丢失了，即使后续的 定位算法再好，也会造成很大的误差，因此本项目采用一种梯度滤波和卡尔曼滤波相结合 的集成滤波方法。本方法的主要思想是首先利用梯度滤波方法对采集数据进行初步滤波， 并填补缺失的数据，避免采集数据的过程中出现

值丢失现象，其次再利用卡尔曼滤波 方法对数据进行再次滤波处理，这样做可以进一步平滑

数据和减少噪声对

数据的 影响。

即，在采集到待检测目标接收到的指纹数据后，获得待检测目标接收到的指纹信息的方式还包括：对指纹数据进行预处理。

具体的预处理方式可以是：

在待采集的室内空间内，智能移动设备在任何一个采集点都能采集到一组

数 据。由于单次采集到的

波动较大，因此，在实际采集过程中，设置一个时间间隔采集

数据，这里设为1秒。在该时间内，采集的数据取平均值用RSS(i)表示，

+1)表示连 续采集的数据的后一个数据，i是大于或者等于1的正整数。对于每一次采集的数据都要经 过集成滤波方法处理,处理详细步骤如下：

步骤1:首先对

数据进行判断，若

+1)=0，则确定数据丢失，则采用上次采 集的数据代替，若连续n次出现丢失情况，n的取值可以是3-5次，则停止用上次数据代替,说 明参考点的位置已经远离AP的覆盖范围。即，对于第m次的数据采集，若RSS(m)=0，则确定 RSS(m)= RSS(m-1)，m是大于或者等于2的正整数。如果连续出现n次RSS(m)=0，采用步骤2的 方式进行数据处理。

步骤2:对数据进行预测以及梯度滤波。具体的：

由前面两步可得到

+1)的预测数据RSS(predict)方式为公式（6）。

RSS(predict)=2*RSS(i)-RSS(i-1) (6)

即，对丢失的数据进行预测差值。

然后对预测到的预测数据

进行梯度过滤，具体的梯度过滤方式为：

RSS(predict)1= RSS(predict)+sign(RSS(predict))+c (7)

其中，c等于RSS(predict)与RSS(i+1)之间的方差。

通过采用以上方案，可以提高室内定位的准确性。

综上所述，本发明实施例提供的一种基于深度学习的工业物联网场景融合定位方法，包括：

首先采集到待检测目标接收到的指纹数据，指纹数据是能够表征某个位置的信息。然后对指纹数据进行预处理，剔除环境影响和数据残差，矫正指纹数据，然后将指纹数据输入到训练好的位置指纹识别网络中，通过位置指纹识别网络中的卷积神经网络提取出矫正后的指纹数据的特征，然后由画像提取层提取出指纹数据的特征的特征画像，然后通过预测层基于特征画像预测出指纹数据的指纹特征，然后基于全连接层将该指纹特征与预先设置好的指纹库中的标准指纹进行匹配，将与指纹特征匹配成功的标准指纹对应的位置信息作为待测目标的位置信息输出。从而实现对待测目标进行定位。待测目标可以是待测目标区域，或者某个携带有能够接收指纹信息的设备的人、动物或者机器人、物体。

其中，指纹库中预先存储有具有一对一关系的标准指纹和位置信息，一个标准指纹对应一个位置信息。即一个标准指纹唯一表征一个位置。

将该指纹特征与预先设置好的指纹库中的标准指纹进行匹配，可以通过计算指纹特征与标准指纹之间的欧式距离或者相似度，然后取欧氏距离最小的标准指纹对应的位置信息作为待测目标的位置信息，或者取相似度最大的标准指纹对应的位置信息作为待测目标的位置信息。其中，相似度可以是指纹特征与标准指纹之间夹角余弦值。

实施例2

本发明实施例提供了一种基于深度学习的工业物联网场景融合定位***，所述***包括获取模块和定位模块，其中：

获取模块，用于获得待测目标接收到的指纹信息，所述指纹信息用于表征所述待测目标所在的位置特征。

定位模块，用于将所述指纹信息输入预先训练好的位置指纹识别网络中，所述位置指纹识别网络输出所述待测目标的位置信息。

在本发明实施例中，位置指纹识别网络由卷积神经网络、画像提取层、预测层、全连接层和对抗网络构成。所述卷积神经网络的输入是所述指纹信息，所述画像提取层的输入是卷积神经网络的输出。所述预测层的输入是所述画像提取层的输出，所述对抗网络的输入是所述卷积神经网络的输出和所述预测层的输出。所述预测层输出所述待测目标的位置信息，所述对抗网络用于消除环境特征对预测层的输出的指纹特征的影响。所述全连接层的输入是所述预测层的输出，所述预测层的输出是所述待测目标的位置信息。如图2所示。

在本发明实施例中，位置指纹识别网络的训练方法包括：

A1、确定多个预定位置的多个指纹数据，将每个预定位置的多个指纹数据的20%设置在验证集中，将每个预定位置的多个指纹数据的80%设置在训练集中。所述验证集中的指纹数据被预先标注了所述指纹数据表征的预定位置。

在本发明实施例中，预定位置是定位场景内的某个特定区域，例如，定位场景是一个包括10个车间的工厂，那么可以设定每个车间是一个预定位置。可选的，预定位置内设置一个信号接收器，按照上述获得待检测目标的指纹信息的方式，获得每个预定位置的多个指纹数据。例如待检测目标的指纹信息为[a1，a2，a3，……，a60]，那么其中的一个预定位置的指纹数据可以是[b1，b2，b3，……，b60], [b61，b62，b63，……，b120], [b121，b122，b123，……，b180]。即指纹数据可以包括多条历史指纹信息。若指纹数据有10条历史指纹信息，那么将8条设置在训练集中，将2条设置在验证集中，并且对设置在验证集中的历史指纹信息进行标准，确定验证集中的历史指纹信息表征的位置信息。

A2、将训练集和验证集输入卷积神经网络中，通过卷积神经网络分别提取出训练集中的训练特征和验证集中的验证特征。

A3、通过画像提取层提取训练特征的第一特征画像，通过画像提取层提取验证特征的第二特征画像。具体的，画像提取层是一个全连接层，与卷积神经网络全连接，画像提取层将训练特征和验证特征映射到画像空间中，分别得到第一特征画像和第二特征画像，具体的，通过softplus函数将训练特征进行映射得到第一特征画像，通过softplus函数将验证特征进行映射得到第二特征画像。

A4、通过预测层，将第一特征画像映射到潜在空间中，得到第一潜在特征，将第二特征画像射到潜在空间中，得到第二潜在特征。基于第一潜在特征得到第一预测向量；基于第二潜在特征得到第二预测向量。

具体的，将第一特征画像映射到潜在空间中，得到第一潜在特征，具体为H1=W*P1+b，H1表示第一潜在特征，P1表示第一特征画像。将第二特征画像射到潜在空间中，得到第二潜在特征，具体为H2=W*P2+b，P2表示第二特征画像，H2表示第二潜在特征。W，b是映射参数，取值可以为W=1，b=0.5。

通过softmax激活函数基于第一潜在特征得到第一预测向量；通过softmax激活函数基于第二潜在特征得到第二预测向量。具体的，将第一潜在特征输入softmax激活函数中，softmax激活函数输出第一预测向量。将第二潜在特征输入softmax激活函数中，softmax激活函数输出第二预测向量。

A5、基于第一预测向量获得未标注数据的第一损失函数，基于第二预测向量获得标注数据的第二损失函数。

在本发明实施例中，步骤A4、A5是由预测层操作获得的。

A6、将训练特征、第一预测向量、将验证特征、第二预测向量进行融合操作，得到融合数据。具体的，融合操作具体为：首先，基于所述训练特征、第一预测向量、第二预测向量，获得第一融合向量。其次，基于验证特征、第一预测向量、第二预测向量获得第二融合向量。然后对所述第一融合向量和所述第二融合向量进行加权求和，得到融合数据。

其中，基于所述训练特征、所述第一预测向量、第二预测向量获得第一融合向量，具体通过下述公式的计算方式获得：R1=y1+a*y2-p*z1,其中，R1表示第一融合向量，y1表示第一预测向量，y2表示第二预测向量，z1表示训练特征，a、p是权重参数，a+p=1。

基于验证特征、所述第一预测向量、第二预测向量获得第二融合向量，具体通过下述公式的计算方式获得：R2=y2+a*y1-p*z2,其中，R2表示第二融合向量，z2表示验证特征。

融合数据F的表示方式为：F=R2+a*R2-p*R1，其中，F表示融合数据。

在验证集和测试集中有多个指纹数据，为此，针对每个指纹数据，获得该指纹数据的第一融合向量、第一融合向量和融合数据的方式参照的方式如上获得第一融合向量、第一融合向量和融合数据的方式，在此不再一一赘述。

通过采用以上方案，融合数据综合考虑了验证数据集和训练数据的数据特性，提高了融合特征对位置的表征的准确性。

A7、将融合数据分别映射到第二空间，得到映射特征。

A8、基于映射特征得到第三损失函数，具体按照公式（4）所示的方式获得：

在本发明实施例中，步骤A6~A8是由对抗网络操作获得的。

A9、基于第一损失函数、第二损失函数和第三损失函数，得到模型损失函数。

当模型损失函数收敛或者模型训练次数大于设定值，确定位置指纹识别网络训练结束，并确定预测层输出的第一预测向量为待测目标的位置信息的输入。

通过采用以上方案，可以提高损失函数对模型的约束能力，同时考虑到了标注数据和未标注数据之间的关联、实现了对抗网络消除环境特征对预测层的输出的指纹特征的影响（具体是公式（5）体现出来），提高了模型预测位置信息的准确性。通过训练好的模型针对待测的目标位置进行检测, 消除了标签之间匹配的依赖性，对于要检测的位置，直接获得该位置的指纹数据，输入模型中，就可以直接检测出该位置的位置信息，实现了不依赖于标签的定位，提高了定位鲁棒性和精度。由于采用了上述结构的位置指纹识别网络，该网络具有良好的迁移性，能够适用于不同的环境，提高了定位的环境适应性。另外，本发明实施例提供的一种基于深度学习的工业物联网场景融合定位***，还包括预处理模块，预处理模块用于对指纹数据进行预处理。

具体的预处理方式可以是：

在待采集的室内空间内，智能移动设备在任何一个采集点都能采集到一组

数 据。由于单次采集到的

波动较大，因此，在实际采集过程中，设置一个时间间隔采集

数据，这里设为1秒。在该时间内，采集的数据取平均值用

表示，

表示连续采 集的数据的后一个数据，i是大于或者等于1的正整数。对于每一次采集的数据都要经过集 成滤波方法处理,处理详细步骤如下：

成滤波方法处理,处理详细步骤如下：

步骤1:首先对

数据进行判断，若

+1)=0，则确定数据丢失，则采用上次采 集的数据代替，若连续n次出现丢失情况，n的取值可以是3-5次，则停止用上次数据代替,说 明参考点的位置已经远离AP的覆盖范围。即，对于第m次的数据采集，若RSS(m)=0，则确定 RSS(m)= RSS(m-1)，m是大于或者等于2的正整数。如果连续出现n次RSS(m)=0，采用步骤2的 方式进行数据处理。

步骤2:对数据进行预测以及梯度滤波。具体的：

通过采用以上方案，可以提高室内定位的准确性。

关于上述实施例中的***，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本发明实施例还提供了一种电子设备，如图4所示，包括存储器504、处理器502及存储在存储器504上并可在处理器502上运行的计算机程序，所述处理器502执行所述程序时实现前文所述的基于深度学习的工业物联网场景融合定位方法的任一方法的步骤。

其中，在图4中，总线架构（用总线500来代表），总线500可以包括任意数量的互联的总线和桥，总线500将包括由处理器502代表的一个或多个处理器和存储器504代表的存储器的各种电路链接在一起。总线500还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进进一步描述。总线接口505在总线500和接收器501和发送器503之间提供接口。接收器501和发送器503可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器502负责管理总线500和通常的处理，而存储器504可以被用于存储处理器502在执行操作时所使用的数据。

在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (6)

1.一种基于深度学习的工业物联网场景融合定位方法，其特征在于，所述方法包括：

获得待测目标接收到的指纹信息，所述指纹信息用于表征所述待测目标所在的位置特征；

将所述指纹信息输入预先训练好的位置指纹识别网络中，所述位置指纹识别网络输出所述待测目标的位置信息；

其中，位置指纹识别网络由卷积神经网络、画像提取层、预测层、全连接层和对抗网络构成，所述卷积神经网络的输入是所述指纹信息，所述画像提取层的输入是卷积神经网络的输出；所述预测层的输入是所述画像提取层的输出，所述对抗网络的输入是所述卷积神经网络的输出和所述预测层的输出；所述预测层输出所述待测目标的位置信息，所述对抗网络用于消除环境特征对预测层的输出的指纹特征的影响；所述全连接层的输入是所述预测层的输出，所述预测层的输出是所述待测目标的位置信息。

2.根据权利要求1所述的基于深度学习的工业物联网场景融合定位方法，其特征在于，所述位置指纹识别网络的训练方法包括：

确定多个预定位置的多个指纹数据，将每个预定位置的多个指纹数据的20%设置在验证集中，将每个预定位置的多个指纹数据的80%设置在训练集中；所述验证集中的指纹数据被预先标注了所述指纹数据表征的预定位置；

将训练集和验证集输入卷积神经网络中，通过卷积神经网络分别提取出训练集中的训练特征和验证集中的验证特征；

通过画像提取层提取训练特征的第一特征画像，通过画像提取层提取验证特征的第二特征画像；

通过预测层，将第一特征画像映射到潜在空间中，得到第一潜在特征，将第二特征画像射到潜在空间中，得到第二潜在特征；基于第一潜在特征得到第一预测向量；基于第二潜在特征得到第二预测向量；基于第一预测向量获得未标注数据的第一损失函数，基于第二预测向量获得标注数据的第二损失函数；

通过对抗网络，将训练特征、第一预测向量、将验证特征、第二预测向量进行融合操作，得到融合数据； 将融合数据分别映射到第二空间，得到映射特征；基于映射特征得到第三损失函数；

基于第一损失函数、第二损失函数和第三损失函数，得到模型损失函数；

当模型损失函数收敛或者模型训练次数大于设定值，确定位置指纹识别网络训练结束，并确定预测层输出的第一预测向量为所述待测目标的位置信息的输入。

3.根据权利要求2所述的基于深度学习的工业物联网场景融合定位方法，其特征在于，所述将训练特征、第一预测向量、将验证特征、第二预测向量进行融合操作，得到融合数据，包括：

基于所述训练特征、所述第一预测向量、第二预测向量获得第一融合向量；

基于所述验证特征、所述第一预测向量、第二预测向量获得第二融合向量；

对所述第一融合向量和所述第二融合向量进行加权求和，得到融合数据。

4.一种基于深度学习的工业物联网场景融合定位***，其特征在于，所述***包括：

获取模块，用于获得待测目标接收到的指纹信息，所述指纹信息用于表征所述待测目标所在的位置特征；

定位模块，用于将所述指纹信息输入预先训练好的位置指纹识别网络中，所述位置指纹识别网络输出所述待测目标的位置信息；

其中，位置指纹识别网络由卷积神经网络、画像提取层、预测层、全连接层和对抗网络构成，所述卷积神经网络的输入是所述指纹信息，所述画像提取层的输入是卷积神经网络的输出；所述预测层的输入是所述画像提取层的输出，所述对抗网络的输入是所述卷积神经网络的输出和所述预测层的输出；所述预测层输出所述待测目标的位置信息，所述对抗网络用于消除环境特征对预测层的输出的指纹特征的影响；所述全连接层的输入是所述预测层的输出，所述预测层的输出是所述待测目标的位置信息。

5.根据权利要求4所述的基于深度学习的工业物联网场景融合定位***，其特征在于，所述位置指纹识别网络的训练方法包括：

确定多个预定位置的多个指纹数据，将每个预定位置的多个指纹数据的20%设置在验证集中，将每个预定位置的多个指纹数据的80%设置在训练集中；所述验证集中的指纹数据被预先标注了所述指纹数据表征的预定位置；

将训练集和验证集输入卷积神经网络中，通过卷积神经网络分别提取出训练集中的训练特征和验证集中的验证特征；

通过画像提取层提取训练特征的第一特征画像，通过画像提取层提取验证特征的第二特征画像；

通过预测层，将第一特征画像映射到潜在空间中，得到第一潜在特征，将第二特征画像射到潜在空间中，得到第二潜在特征；基于第一潜在特征得到第一预测向量；基于第二潜在特征得到第二预测向量；基于第一预测向量获得未标注数据的第一损失函数，基于第二预测向量获得标注数据的第二损失函数；

通过对抗网络，将训练特征、第一预测向量、将验证特征、第二预测向量进行融合操作，得到融合数据； 将融合数据分别映射到第二空间，得到映射特征；基于映射特征得到第三损失函数；

基于第一损失函数、第二损失函数和第三损失函数，得到模型损失函数；

当模型损失函数收敛或者模型训练次数大于设定值，确定位置指纹识别网络训练结束，并确定预测层输出的第一预测向量为所述待测目标的位置信息的输入。

6.根据权利要求5所述的基于深度学习的工业物联网场景融合定位***，其特征在于，所述将训练特征、第一预测向量、将验证特征、第二预测向量进行融合操作，得到融合数据，包括：

基于所述训练特征、所述第一预测向量、第二预测向量获得第一融合向量；

基于所述验证特征、所述第一预测向量、第二预测向量获得第二融合向量；

对所述第一融合向量和所述第二融合向量进行加权求和，得到融合数据。

Images