CN115615432A - 一种基于深度神经网络的室内行人惯性导航方法 - Google Patents

一种基于深度神经网络的室内行人惯性导航方法 Download PDF

Info

Publication number
CN115615432A
CN115615432A CN202211240799.2A CN202211240799A CN115615432A CN 115615432 A CN115615432 A CN 115615432A CN 202211240799 A CN202211240799 A CN 202211240799A CN 115615432 A CN115615432 A CN 115615432A
Authority
CN
China
Prior art keywords
data
neural network
inertial navigation
navigation
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211240799.2A
Other languages
English (en)
Inventor
诸燕平
张景林
朱晨阳
朱正伟
陈瑞
张斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou University
Original Assignee
Changzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou University filed Critical Changzhou University
Priority to CN202211240799.2A priority Critical patent/CN115615432A/zh
Publication of CN115615432A publication Critical patent/CN115615432A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/18—Stabilised platforms, e.g. by gyroscope
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Nonlinear Science (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Navigation (AREA)

Abstract

本发明提出了一种基于深度神经网络的室内行人惯性导航方法，包括以下步骤：S1、惯性导航数据的采集、预处理；S2、构建深度神经网络模型，使用步骤S1的惯性导航数据中的训练样本训练网络模型；S3、对S2步骤训练完成的网络模型进行测试，并对测试结果进行误差评估，衡量模型准确性。对多名测试者在不同环境状况下进行复杂的自然行走产生的实验数据集进行建模。评估结果表明，83.3％的实验数据集导航效果达到了优秀级别。证明该导航方法在实际室内定位中可以达到较高的精度。且适用于水平路面、上坡、下坡等不同环境。本发明为可穿戴设备的室内惯性导航提供了新思路，对室内行人导航具有重要的指导意义。

Description

一种基于深度神经网络的室内行人惯性导航方法
技术领域
本发明属于惯性导航***技术领域，具体涉及一种基于深度神经网络的室内行人惯性导航方法。
背景技术
随着微机技术的发展，越来越多的手机、手表、手环等智能设备内嵌基于微机电***(Micro Electro Mechanical Systems,MEMS)的惯性测量单元(Inertial MeasurementUnit,IMU)。与高成本军用IMU相比，智能设备中的IMU具有成本低廉、携带方便、体积小、功耗低等优点。利用智能移动设备进行室内惯性导航具有不受外界因素的优点，具有良好的应用前景。
惯性导航是一种推算导航方式，主要是通过在人身上携带的IMU设备测量角速度和线加速度，根据牛顿第二定理推算出行人速度、位置。由于IMU存在随机漂移误差，采用直接积分算法会在积分过程中将偏移误差指数级放大，造成定位累计误差随时间增大，最终导致导航失效，因此能够有效的消除惯性导航***的累计误差是实现高精度惯性导航***的关键。
针对上述传统积分算法产生累计误差的问题。国外学者提出了零速更新(ZeroVelocityUpdate,ZUPT)算法，该算法的思想是：假设在行人行走过程中，任一侧脚掌接触地面到该侧脚掌再次接触地面的过程被称为一个步态周期。每个步态周期中，脚掌接触地面时作短暂停留，停留的时间段内将脚的速度设置为零，结合扩展卡尔曼滤波更新行人的速度、位置及姿态角。随着行人的不断向前行走，不断的循环解算更新。然而该算法要求待定位者必须将IMU设备放置于行人脚上，与日常使用场景不兼容。且该算法只适用于行人向前行走，不能处理复杂的自然运动。同时该算法无法彻底消除累计误差，停留在实验室阶段，精度始终无法满足商业化要求。
深度神经网络是一种多层的监督学习神经网络，在处理时序数据方面表现出良好的效果。然而深度神经网络存在梯度消失或梯度***和网络退化等问题。
发明内容
本发明要解决的技术问题是：为了克服现有技术中之不足，本发明提供一种基于深度神经网络的室内行人惯性导航方法。通过构建深度神经网络模型处理传感器数据，消除惯性导航中的累积误差。通过多次实验下深度神经网络预测轨迹与真实轨迹进行对比，建立导航误差的等级划分规则，衡导航准确性。
本发明解决其技术问题所采用的技术方案为：
一种基于深度神经网络的室内行人惯性导航方法，包括以下步骤：
S1、惯性导航数据的采集、预处理；
S2、构建深度神经网络模型，使用步骤S1的惯性导航数据中的训练样本训练网络模型；
S3、对S2步骤训练完成的网络模型进行测试，并对测试结果进行误差评估，衡量模型准确性。
进一步地，按照如下步骤进行惯性导航数据的采集、预处理：
S1.1、惯性导航数据的采集：待定位者携带内置微机电***的安卓智能手机设备进行实验，手机设备简称为IMU设备。实验时待定位者可以手持IMU设备，也可以放在裤兜、手提包中。IMU设备采集手机内置的传感器数据，采集数据包括每个采样时刻点的加速度传感器数据、陀螺仪数据、游戏旋转矢量传感器数据、采样时刻序列，以及记录待定位者的初始位置和初始身体朝向。同时使用qualisys光学动作捕捉***测得的待定位者的轨迹作为真值。对多名待定位者在不同环境状况下自然运动时设备记录的数据进行提取。数据保存在IMU设备的内部存储空间。所述自然运动包括：跑步、快速行走、正常速度行走、站立静止、坐立。
S1.2、数据预处理：对IMU设备采集的原始数据进行预处理，预处理包括自适应中值滤波、传感器偏差补偿以及坐标系转换。然后采用滑动窗口机制对坐标系转换后的数据进行切分，并给每个数据片段贴上光学动作捕捉***测得的数据作为标签。将一次实验中预处理后的数据合并打包成一个惯性数据集，多组惯性数据集构建惯性导航数据库。
进一步地，所述步骤S2中所述神经网络模型的构建及训练过程是按如下步骤进行：
S2.1、网络模型的构建:网络模型包括输入层、特征提取层、残差模块层、LSTM层、输出层。
S2.2、损失函数：损失函数能反映出模型预测值与标签值的差距。采用均方根误差函数为损失函数,利用损失函数进行反向传播更新神经网络的参数。
S2.3、模型训练：设定最大训练步数为2000epochs，在每个训练周期中，通过前向传播计算神经网络模型的预测输出以及对应的损失函数；通过反向传播算法与Adam优化器对模型的权重进行优化；在训练过程中每经过20epochs对神经网络模型的损失函数进行比较，当损失函数收敛到预设的阈值σ以内，则代表训练完成，终止对神经网络模型的训练。
进一步地，所述的步骤3中具体包括：
S3.1、误差评估基准：定义光学动作捕捉***数据生成真实轨迹。将惯性导航数据库中的测试集放入训练好的神经网络模型，推算出行人轨迹，定义轨迹为待评估轨迹。评估基准包括两者之间的绝对轨迹误差ATE和相对轨迹误差RTE。
S3.2、导航精准性评估：根据ATE和RTE的值数值大小进行导航精确性分级。若ATE与RTE的加权平均值小于2，则导航精准性视为优秀。ATE与RTE的加权平均值大于2且小于6，则导航精准性视为及格，ATE与RTE的加权平均值大于6则视为导航失败。
进一步地，数据预处理的具体步骤如下：
1)首先，对IMU设备采集的原始数据中的加速度传感器数据、陀螺仪数据进行自适应中值滤波，滤除极端异常数据。
2)其次，对滤波后的数据进行传感器偏差补偿，实验前利用六位置法测量得到加速度传感器静态零偏矩阵a_bias和线性比例因子误差矩阵a_scale。利用Z轴旋转法测量陀螺仪的零偏矩阵g_bias和比例因子误差矩阵g_scale。偏差补偿公式如(2-1)所示
Figure BDA0003884179190000031
其中，a为偏差补偿后的三轴加速度计数据，g为偏差补偿后的陀螺仪数据，
Figure BDA0003884179190000032
为经过自适应中值滤波的三轴加速度计数据，
Figure BDA0003884179190000033
为经过自适应中值滤波的三轴陀螺仪数据。
3)然后，对偏差补偿后的数据进行坐标系转换，转换到导航坐标系中。获取游戏旋转矢量传感器数据，其由旋转角cos(theta/2)与三个绕旋转轴旋转数值，组成一组四元数，分别对应q0，q1，q2，q3。使用四元数法表示姿态转换矩阵。使用二阶毕卡算法不断更新姿态转换矩阵。坐标变换公式如(2-2)所示：
Figure BDA0003884179190000034
其中，[a,g]n代表导航坐标系下的加速度计、陀螺仪数据，
Figure BDA0003884179190000035
代表姿态转换矩阵，[a,g]代表偏差补偿后的加速度计、陀螺仪数据。
Figure BDA0003884179190000036
如式(2-3)所示：
Figure BDA0003884179190000037
4)最后，采用滑动窗口机制切分[a,g]n，给每个数据片段贴上光学动作捕捉***测得的数据作为标签，将一次实验中预处理后的数据合并打包成一个惯性数据集，多组惯性数据集构建惯性导航数据库。
进一步地，特征提取层包括一个7×7的卷积核和批归一化(BatchNormalization，BN)、ReLU激活函数、最大池化层(Max Pooling,MP)，并在最大池化层之后加入通道注意力机制模块(Channel Attention Module,CAM)以便更好的提取特征。残差模块层由8个残差模块组成。每个残差模块包含3×3的卷积、批归一化、ReLU激活函数这3种操作。同时在每个残差模块的末端添加一个NAM模块的通道注意力子模块，用以捕捉显著特征，提高模型精度。LSTM层是一个双向LSTM，即由两个信息传递相反的LSTM循环层构成。输出层是一个输入维度为7168单元、输出维度为2单元的全连接层。以每200帧预处理步骤4后的数据序列[a,g]n作为1个窗口输入神经网络。神经网络的输出为一个2D向量
Figure BDA0003884179190000041
所述的神经网络模型数学表达如式(2-4)所示：
Figure BDA0003884179190000042
其中，fθ表示网络的操作，[a,g]n代表当地导航坐标系下的加速度计、陀螺仪数据，i代表输入输入窗口的数据帧，
Figure BDA0003884179190000043
代表网络的输出。
神经网络的输出2D向量
Figure BDA0003884179190000044
的物理意义表示导航坐标系下行人的速度，进而推算出完整的行人行走轨迹。
定义损失函数为均方根误差函数。即表示神经网络模型预测值与标签真实值的欧氏距离之和。神经网络学习预测时，以神经网络输出得到的2D向量
Figure BDA0003884179190000045
与动作捕捉***测得的标签label(Vx,Vy)之间的均方根误差作为损失函数。
进一步地，定义光学动作捕捉***数据生成真实轨迹，第i数据帧下待定位者的位置为Pi(xi,yi)。由神经网络预测生成的轨迹为待评估轨迹，第i数据帧下待定位者的位置为
Figure BDA0003884179190000046
绝对轨迹误差定义为真实轨迹与待评估轨迹之间的总体均方根误差。总体均方根误差由式(3-1)计算获得：
Figure BDA0003884179190000047
其中n为数据集总帧数。
相对轨迹误差定义为固定时间间隔内的均方根误差，相对轨迹误差由式(3-2)计算获得：
Figure BDA0003884179190000048
式中m为测试集固定时间间隔的个数，trans(Ei)为位置变化量之差。
本发明的有益效果为：本发明利用光学动作捕捉***提供的准确的行人轨迹信息作为校准信息，通过潜在损失函数训练所设计的深度神经网络，实现深度神经网络对于惯性导航***累计误差的特征学习，从而消除惯性导航***的累计误差。使得行人惯性导航***的泛化性能大大提高，具备了商业使用的条件。
附图说明
图1是本发明简要算法流程图。
图2是本发明具体流程图。
图3是待定位者设备佩戴示意图。
图4是本发明的网络结构示意图。
图5是本发明的残差模块框图。
图6是本发明的CAM机制示意图。
图7是本发明30次实验的导航精准性评估结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明是基于智能移动设备内置的惯性器件的室内定位与导航方法的研究，主要由智能移动设备采集惯性导航数据，利用神经网络对数据进行处理得到行人的位移信息。最终显示位移轨迹并进行导航准确性评估，实现行人的室内定位与导航功能。
本发明实施例提供了一种基于深度神经网络模型的室内行人惯性导航方法，如图1所示，包括以下步骤S1～S3：
S1、惯性数据的采集：待定位者手持内置惯性测量单元的安卓智能手机设备进行实验，手机设备简称为IMU设备。待定位者可以手持IMU设备，也可以放在裤兜、手提包中。IMU设备采集的数据包括每个采样时刻点的加速度传感器、陀螺仪、游戏旋转矢量传感器、采样时刻序列，以及记录待定位者的初始位置和初始身体朝向。定义从脚指向人头顶的是z轴，指向人体行走方向的是x轴，y轴的指向遵循右手法则。同时使用光学动作捕捉***测得的待定位者的行走轨迹作为真值。对多名待定位者在水平路面、上坡、下坡等不同测试环境状况下自然运动时设备数据进行提取。数据均保留在内部存储空间。设备佩戴方式如图3所示。
IMU设备以固定频率200Hz采集数据。为采集数据，本发明设计的安卓采集软件为：IMURecoder.apk。
在本实施例中，选取5名健康年轻人作为受试者(平均年龄：24±8岁；身高：171±15CM；腿长：110±16CM)，以1000平方米的室内仓库作为实验环境。每人按照本发明数据采集要求自然行走3-10分钟，共获取100组不同行走路线。按照7:3的比例划分训练集、测试集。
本实施例中，行人的自然运动模式包括跑步(6m/s～9m/s)、站立静止、正常速度行走(0.4m/s～1.3m/s)、快速行走(1.3m/s～2.2m/s)。
在本实施例中，对采集的IMU设备数据进行预处理，包括自适应中值滤波、传感器偏差补偿以及坐标系转换。然后采用滑动窗口机制对预处理后的数据进行切分，并给每个数据片段贴上光学动作捕捉***测得的数据作为标签。将一次实验中预处理后的数据合并打包成一个惯性数据集，多组惯性数据集构建惯性导航数据库。
S2、构建神经网络模型，使用步骤S1的惯性导航数据中的训练样本训练神经网络模型；
构建的神经网络模型由输入层、特征提取层、残差模块层、LSTM层、输出层组成。网络模型示意图如图4所示。
以每200帧预处理后的数据序列[a,g]n作为1个窗口输入输入层，输入数据序列的维度为200×6。特征提取层首先使用7×7的卷积核和最大池化层对输入的数据进行初步的特征提取和降维。得到64道50×1的特征序列Feat1。然后经过CAM模块，对特征序列Feat1基于宽和高分别进行最大池化和平均池化操作，得到两个新的特征序列。将这两个序列分别送入一个2层的神经网络，得到特征向量。特征向量再经过sigmoid函数做激活操作，生成最终的权重，特征序列Feat1与权重相乘得到特征序列Feat2。
残差模块层由8个残差模块(residual module)组成。残差模块结构图如图5所示。每个残差模块包含3×3的卷积、批归一化(Batch Normalization,BN)、激活函数(ReLU)这3种操作。同时在每个残差模块的末端添加一个NAM(Normalization-based AttentionModule,NAM)模块的通道注意力子模块，用以捕捉显著特征，提高模型精度。NAM模块结构示意图如图6所示。每次经过NAM模块，对特征序列的所有通道，使用批归一化(BatchNormalization,BN)中的比例因子，计算出通道之间方差，方差再经过sigmoid激活函数，生成最终的权重。权重与特征序列相乘得到新的特征序列，新旧特征序列之间尺寸不变。第i个残差模块输入与输出关系如式(1-1)所示：
xi＝F(xi-1)+xi-1 (1-1)
式中，xi表示第i个残差模块的输出，xi-1表示第i个残差模块的输入同时也是上一个残差模块的输出，x0表示网络的输入Feat2，F表示网络的操作，包括：3×3的卷积、批归一化、激活函数、NAM模块操作。
经过8个残差模块后，特征序列Feat2变成512通道7×1的特征序列Feat3。Feat3的表达公式为式(1-2)：
Figure BDA0003884179190000061
式中，Feat2表示网络的输入，Feat3表示网络的输出，xi表示第i个残差模块的输出，F表示网络的操作，包括：3×3的卷积、批归一化、激活函数、NAM模块操作。
惯性数据属于时序序列，使用双向LSTM可以更好的发掘到过去和后续的有效信息。将特征序列Feat3输入LSTM层中。LSTM层是一个双向LSTM，即由两个信息传递相反的LSTM循环层构成。LSTM层的输入和输出维度是7，具有2个隐藏层，此时特征序列Feat3变成1024通道7×1的特征序列Feat4。惯性数据属于时序序列，使用双向LSTM可以更好的发掘到过去和后续的有效信息。
最后经过输出层，将特征序列Feat4通过全连接层输出得到2D输出
Figure BDA0003884179190000071
Figure BDA0003884179190000072
的物理意义表示导航坐标系下行人的速度，进而推算出完整的行人行走轨迹。
均方根误差函数表示目标变量与预测值之间距离平方之和的开根，是最常用的回归损失函数。在本实施例中使用均方根误差函数作为损失函数。深度神经网络学习预测时，以每200帧(即一秒)的预处理后的[a,g]n序列为1个跨度。计算第i个跨度经过深度神经网络输出得到的2D向量
Figure BDA0003884179190000073
与学动作捕捉***测得的标签label(Vx,Vy)之间的均方根误差。损失函数可由式(1-3)计算获得：
Figure BDA0003884179190000074
训练阶段，设定最大训练步数为2000epochs。在每个训练周期中，通过前向传播计算网络模型的预测输出以及对应的损失函数；通过反向传播算法与Adam优化器对模型的权重进行优化。
在训练过程中每经过20epochs对网络模型的损失函数进行比较，当损失函数收敛到预设的阈值σ以内，则代表训练完成，终止对网络模型的训练。
训练完毕进入网络测试阶段，将惯性导航数据库中的测试数据集输入到训练完毕后的网络模型中，输出二维平面上的行人速度，同时推算行人轨迹。并保存损失函数值，进而评估模型的性能。
本发明提出的神经网络模型能够通过多种开源深度学习框架搭建，在本实施例使用了Pytorch搭建神经网络框架。
S3、建立导航误差评估基准的步骤包括：
本方法中，定义光学动作捕捉***数据生成真实轨迹，第i数据帧对应待定位者的位置为Pi(xi,yi)。由神经网络预测生成的轨迹为待评估轨迹，第i数据帧对应待定位者的位置为
Figure BDA0003884179190000081
评估基准包括绝对轨迹误差(ATE)和相对轨迹误差(RTE)。
绝对轨迹误差计算预测位置和真实位置的直接差值，可以非常直观地反应待评估轨迹和真实轨迹的全局一致性。绝对轨迹误差定义为真实轨迹与待评估轨迹之间的总体均方根误差。绝对轨迹误差如式(1-4)所示：
Figure BDA0003884179190000082
式中n为数据集总帧数。
相对位姿误差用于计算固定时间间隔内的均方根误差。即计算真实位置和预测位置每隔一段相同时间位置变化量，然后对该变化量做差，以获得相对位置误差。该标准适合于估计***的漂移。相对轨迹误差如式(1-5)所示：
Figure BDA0003884179190000083
式中m为测试集固定时间间隔的个数，trans(Ei)为位置变化量之差。
在本实施例中。固定时间间隔定义为1分钟。对于短于1分钟的序列，将最后一帧的位置误差并按比例缩放。
在本实施例中，根据ATE和RTE的值数值大小进行导航精确性分级。若ATE与RTE的加权平均值小于2，则导航精准性视为优秀，ATE与RTE的加权平均值大于2且小于6，则导航精准性视为及格，ATE与RTE的加权平均值大于6则视为导航失败。
如图7所示，本发明30次实验下的导航精准性评估结果。其中25组实验的ATE、RTE值均在2以下。只有3组实验结果ATE、RTE的值过高，经后期轨迹对比分析，过高的3组实验均因为导航开始时待定位者的初始航向估计错误，导致待评估轨迹方向完全偏移真实轨迹。
在本实施例中利用光学动作捕捉***提供的准确的行人轨迹信息作为校准信息，通过潜在损失函数训练神经网络模型。实现神经网络对于惯性导航***累计误差的特征学习，从而消除惯性导航***的累计误差。使得行人惯性导航***的泛化性能大大提高，具备了商业使用的条件。
以上所述是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应该看作是对其他实施例的排除，而可用于其他组合、补充和修改，并能够在本发明权利要求所保护的范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不偏离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (7)

1.一种基于深度神经网络的室内行人惯性导航方法，其特征在于，包括以下步骤：
S1、惯性导航数据的采集、预处理；
S2、构建深度神经网络模型，使用步骤S1的惯性导航数据中的训练样本训练网络模型；
S3、对S2步骤训练完成的网络模型进行测试，并对测试结果进行误差评估，衡量模型准确性。
2.如权利要求1所述的一种基于深度神经网络的室内行人惯性导航方法，其特征是：按照如下步骤进行惯性导航数据的采集、预处理：
S1.1、惯性导航数据的采集：待定位者携带内置微机电***的安卓智能手机设备进行实验，手机设备简称为IMU设备；实验时待定位者可以手持IMU设备，也可以放在裤兜、手提包中；IMU设备采集手机内置的传感器数据，采集数据包括每个采样时刻点的加速度传感器数据、陀螺仪数据、游戏旋转矢量传感器数据、采样时刻序列，以及记录待定位者的初始位置和初始身体朝向；同时使用qualisys光学动作捕捉***测得的待定位者的轨迹作为真值；对多名待定位者在不同环境状况下自然运动时设备记录的数据进行提取；数据保存在IMU设备的内部存储空间；所述自然运动包括：跑步、快速行走、正常速度行走、站立静止、坐立；
S1.2、数据预处理：对IMU设备采集的原始数据进行预处理，预处理包括自适应中值滤波、传感器偏差补偿以及坐标系转换；然后采用滑动窗口机制对坐标系转换后的数据进行切分，并给每个数据片段贴上光学动作捕捉***测得的数据作为标签；将一次实验中预处理后的数据合并打包成一个惯性数据集，多组惯性数据集构建惯性导航数据库。
3.如权利要求1所述的一种基于深度神经网络的室内行人惯性导航方法，其特征是：所述步骤S2中所述神经网络模型的构建及训练过程是按如下步骤进行：
S2.1、网络模型的构建:网络模型包括输入层、特征提取层、残差模块层、LSTM层、输出层；
S2.2、损失函数：损失函数能反映出模型预测值与标签值的差距；采用均方根误差函数为损失函数,利用损失函数进行反向传播更新神经网络的参数；
S2.3、模型训练：设定最大训练步数为2000epochs，在每个训练周期中，通过前向传播计算网络模型的预测输出以及对应的损失函数；通过反向传播算法与Adam优化器对模型的权重进行优化；在训练过程中每经过20epochs对神经网络模型的损失函数进行比较，当损失函数收敛到预设的阈值σ以内，则代表训练完成，终止对网络模型的训练。
4.如权利要求1所述的一种基于深度神经网络的室内行人惯性导航方法，其特征是：所述的步骤3中具体包括：
S3.1、误差评估基准：定义光学动作捕捉***数据生成真实轨迹；将惯性导航数据库中的测试集放入训练好的神经网络模型，推算出行人轨迹，定义轨迹为待评估轨迹；评估基准包括两者之间的绝对轨迹误差ATE和相对轨迹误差RTE；
S3.2、导航精准性评估：根据ATE和RTE的值数值大小进行导航精确性分级；若ATE与RTE的加权平均值小于2，则导航精准性视为优秀；ATE与RTE的加权平均值大于2且小于6，则导航精准性视为及格，ATE与RTE的加权平均值大于6则视为导航失败。
5.如权利要求2所述的一种基于深度神经网络的室内行人惯性导航方法，其特征是：数据预处理的具体步骤如下：
1)首先，对IMU设备采集的原始数据中的加速度传感器数据、陀螺仪数据进行自适应中值滤波，滤除极端异常数据；
2)其次，对滤波后的数据进行传感器偏差补偿，实验前利用六位置法测量得到加速度传感器静态零偏矩阵a_bias和线性比例因子误差矩阵a_scale；利用Z轴旋转法测量陀螺仪的零偏矩阵g_bias和比例因子误差矩阵g_scale；偏差补偿公式如(2-1)所示
Figure FDA0003884179180000021
其中，a为偏差补偿后的三轴加速度计数据，g为偏差补偿后的陀螺仪数据，
Figure FDA0003884179180000022
为经过自适应中值滤波的三轴加速度计数据，
Figure FDA0003884179180000023
为经过自适应中值滤波的三轴陀螺仪数据；
3)然后，对偏差补偿后的数据进行坐标系转换，转换到当地导航坐标系中；获取游戏旋转矢量传感器数据，其由旋转角cos(theta/2)与三个绕旋转轴旋转数值，组成一组四元数，分别对应q0，q1，q2，q3；使用四元数法表示姿态转换矩阵；使用二阶毕卡算法不断更新姿态转换矩阵；坐标变换公式如(2-2)所示：
Figure FDA0003884179180000024
其中，[a,g]n代表导航坐标系下的加速度计、陀螺仪数据，
Figure FDA0003884179180000025
代表姿态转换矩阵，[a,g]代表偏差补偿后的加速度计、陀螺仪数据；
Figure FDA0003884179180000026
如式(2-3)所示：
Figure FDA0003884179180000027
4)最后，采用滑动窗口机制切分[a,g]n，给每个数据片段贴上光学动作捕捉***测得的数据作为标签，将一次实验中预处理后的数据合并打包成一个惯性数据集，多组惯性数据集构建惯性导航数据库。
6.如权利要求3所述的一种基于深度神经网络的室内行人惯性导航方法，其特征是：
特征提取层包括一个7×7的卷积核和批归一化、ReLU激活函数、最大池化层，并在最大池化层之后加入通道注意力机制模块；残差模块层由8个残差模块组成；每个残差模块包含3×3的卷积、批归一化、ReLU激活函数这3种操作；同时在每个残差模块的末端添加一个NAM模块的通道注意力子模块，用以捕捉显著特征，提高模型精度；LSTM层是一个双向LSTM，即由两个信息传递相反的LSTM循环层构成；输出层是一个输入维度为7168单元输出维度为2单元的全连接层；以每200帧预处理步骤4后的数据序列[a,g]n作为1个窗口输入神经网络；神经网络的输出为一个2D向量
Figure FDA0003884179180000031
所述的神经网络模型数学表达如式(2-4)所示：
Figure FDA0003884179180000032
其中，fθ表示网络的操作，[a,g]n代表导航坐标系下的加速度计、陀螺仪数据，i代表输入输入窗口的数据帧，
Figure FDA0003884179180000033
代表网络的输出；
神经网络的输出2D向量
Figure FDA0003884179180000034
的物理意义表示导航坐标系下行人的速度，进而推算出完整的行人行走轨迹；
定义损失函数为均方根误差函数；即表示神经网络模型预测值与标签真实值的欧氏距离之和；神经网络学习预测时，以神经网络输出得到的2D向量
Figure FDA0003884179180000035
与动作捕捉***测得的标签label(Vx,Vy)之间的均方根误差作为损失函数。
7.如权利要求4所述的一种基于深度神经网络的室内行人惯性导航方法，其特征是：定义光学动作捕捉***数据生成真实轨迹，第i数据帧下待定位者的位置为Pi(xi,yi)；由神经网络预测生成的轨迹为待评估轨迹，第i数据帧下待定位者的位置为
Figure FDA0003884179180000036
绝对轨迹误差定义为真实轨迹与待评估轨迹之间的总体均方根误差；总体均方根误差由式(3-1)计算获得：
Figure FDA0003884179180000037
其中n为数据集总帧数；
相对轨迹误差定义为固定时间间隔内的均方根误差，相对轨迹误差由式(3-2)计算获得：
Figure FDA0003884179180000038
式中m为测试集固定时间间隔的个数，trans(Ei)为位置变化量之差。
CN202211240799.2A 2022-10-11 2022-10-11 一种基于深度神经网络的室内行人惯性导航方法 Pending CN115615432A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211240799.2A CN115615432A (zh) 2022-10-11 2022-10-11 一种基于深度神经网络的室内行人惯性导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211240799.2A CN115615432A (zh) 2022-10-11 2022-10-11 一种基于深度神经网络的室内行人惯性导航方法

Publications (1)

Publication Number Publication Date
CN115615432A true CN115615432A (zh) 2023-01-17

Family

ID=84863197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211240799.2A Pending CN115615432A (zh) 2022-10-11 2022-10-11 一种基于深度神经网络的室内行人惯性导航方法

Country Status (1)

Country Link
CN (1) CN115615432A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117371299A (zh) * 2023-12-08 2024-01-09 安徽大学 一种托卡马克新经典环向粘滞力矩的机器学习方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117371299A (zh) * 2023-12-08 2024-01-09 安徽大学 一种托卡马克新经典环向粘滞力矩的机器学习方法
CN117371299B (zh) * 2023-12-08 2024-02-27 安徽大学 一种托卡马克新经典环向粘滞力矩的机器学习方法

Similar Documents

Publication Publication Date Title
Bai et al. A high-precision and low-cost IMU-based indoor pedestrian positioning technique
US10267646B2 (en) Method and system for varying step length estimation using nonlinear system identification
Yan et al. Ronin: Robust neural inertial navigation in the wild: Benchmark, evaluations, and new methods
CN110236550B (zh) 一种基于多模态深度学习的人体步态预测装置
Edel et al. An advanced method for pedestrian dead reckoning using BLSTM-RNNs
Yu et al. Comparison of pedestrian tracking methods based on foot-and waist-mounted inertial sensors and handheld smartphones
CN105865450A (zh) 一种基于步态的零速更新方法及***
Hajati et al. A wearable pedestrian localization and gait identification system using Kalman filtered inertial data
Wu et al. Indoor positioning system based on inertial MEMS sensors: Design and realization
CN115615432A (zh) 一种基于深度神经网络的室内行人惯性导航方法
Abid et al. Walking gait step length asymmetry induced by handheld device
Fu et al. A survey on artificial intelligence for pedestrian navigation with wearable inertial sensors
CN111623797B (zh) 一种基于深度学习的步数测量方法
Wahdan et al. Varying step length estimation using nonlinear system identification
CN116465412A (zh) 一种基于lstm和注意力机制的改进pdr室内定位方法
CN116206358A (zh) 一种基于vio***的下肢外骨骼运动模式预测方法及***
CN208591046U (zh) 失稳运动数据的检测装置
Sevinc et al. Step length estimation using sensor fusion
CN109997014A (zh) 用于确定轨迹的***和方法
García-de-Villa et al. Inertial sensors for human motion analysis: A comprehensive review
Tinh et al. Image-based gramian angular field processing for pedestrian stride-length estimation using convolutional neural network
Liang et al. Accurate estimation of gait altitude using one wearable IMU sensor
Elyasi et al. Step length is a more reliable measurement than walking speed for pedestrian dead-reckoning
CN115655265B (zh) 一种基于惯性传感的行人导航室内定位方法
CN111197983B (zh) 基于人体分布惯性节点矢量测距的三维位姿测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination