CN110659677A - 一种基于可移动传感器组合设备的人体跌倒检测方法 - Google Patents

Abstract

本发明属于电子信息检测技术领域，公开了一种基于可移动传感器组合设备的人体跌倒检测方法，包括：基于可穿戴传感器***采集人体用户传感器数据。对采集的传感器数据进行数值归一化处理。采用基于时序多模态学习的CorrRNN模型对采集的传感器数据分类。通过腰部及腕部传感器收集数据分别构建分类器，并对分类结果加权组合得到跌倒类别判断结果。本发明提出的方法通过两个可穿戴传感器结合进行跌倒检测，采用了CorrRNN模型，该模型以无监督的方式进行训练，消除了对标记数据的需要，并且结合GRU以捕获长期依赖性和时序输入结构。可极大提高跌倒检测检测精度。

Description

一种基于可移动传感器组合设备的人体跌倒检测方法

技术领域

本发明属于电子信息检测技术领域，尤其涉及一种基于可移动传感器组合设备的人体跌倒检测方法。

背景技术

目前，最接近的现有技术：

对于独居和没有任何监督的老年人，能够及早发现异常活动模式至关重要。在这种智能辅助应用和环境的背景下，身体活动的识别和跌倒的检测被认为是必不可少的功能。由于跌倒对健康和医疗保健成本的高度影响，人们越来越关注自动跌倒检测方法。可穿戴传感器，特别是基于MEMS的微型惯性传感器(例如，加速度计和陀螺仪)的出现促进了这种快速发展。它们的大小和重量迅速缩小到可以不显眼地附着在身体上的程度。

中国专利“CN108549900A基于移动设备佩戴位置的人体跌倒检测方法”提供了一种基于移动设备佩戴位置的人体跌倒检测方法，包括：首先采用旋转模式分量和姿态角融合的特征提取方法，利用加速度计和陀螺仪数据计算出旋转半径、角速度幅度、姿态角并提取特征，然后将其分类得到移动设备的佩戴位置；随后根据位置自适应调整一种基于时序分析的跌倒检测算法。该专利所述的技术方案在佩戴位置不同的情况下，自动调整传感器的佩戴位置，再根据不同的佩戴位置确定检测算法，但人体跌倒活动不仅为简单的前向、后向、侧向跌倒等，在真实场景中，用户在非昏***况下，在各种跌倒下都会用手抓住支撑物或通过肘部支撑地面，跌倒情况复杂，在判断跌倒佩戴位置时，因为跌倒时碰撞阶段与地面冲击对人体产生受力，佩戴位置可能发生改变，难以确定一个具体的佩戴方向。

目前已经有多种可穿戴的跌倒检测报警装置，但这些跌倒检测报警装置因为人体之间的差异性，在测试的检测精度下，在真实使用时检测精度会降低的问题。

综上所述，现有技术存在的问题是：

(1)现有技术面对复杂的人体活动情况下，检测精度较差，无法适应各个不同的环境。

(2)目前的跌倒检测报警装置因为人体之间的差异性，在测试的检测精度下，在真实使用时检测精度会降低。

解决上述技术问题的难度：

真实使用情况过于复杂，通过枚举跌倒情况，调整适用于各种佩戴位置及各种跌倒类别的检测算法，判断复杂且难以包含所有场景。并且真实跌倒与实验环境不同，不能进行简单分类，用户在各种跌倒下都会用手抓住支撑物或通过肘部支撑地面，与实验数据存在差异，检测精度降低。

解决上述技术问题的意义：

通过腕部及腰部传感器佩戴，对于真实活动中用户的各种活动导致的跌到检测误差进行校正，同时通过算法直接检测跌倒，有利于提高跌倒检测精度，检测更加精准。

发明内容

针对现有技术存在的问题，本发明提供了一种基于可移动传感器组合设备的人体跌倒检测方法。

本发明是这样实现的，一种基于可移动传感器组合设备的人体跌倒检测方法。所述基于可移动传感器组合设备的人体跌倒检测方法包括：

步骤一，基于可穿戴传感器***采集人体用户传感器数据；

步骤二，对采集的传感器数据进行数值归一化处理；

步骤三，采用基于时序多模态学习的CorrRNN模型对采集的传感器数据分类；

步骤四，通过腰部及腕部传感器收集数据分别构建分类器，并对分类结果加权组合得到跌倒类别判断结果。

进一步，所述步骤一中基于可穿戴传感器***采集人体用户传感器数据具体包括：

(1)采集用户数据的可穿戴传感器***，为惯性测量单元(Inertial MeasurementUnit,IMU)，IMU可测量日常动作中三轴加速度、三轴角速度，通过蓝牙连接IMU与PC，实现数据的无线实时传输，采样频率设置为20Hz。

(2)两个传感器分别放置在腕部及腰部，腕部佩戴位置为右手桡骨接近腕骨处，腰部佩戴位置为髋骨前侧正中处位置。

(3)动作类别。动作划分为跌倒及日常动作，日常动作包含坐、站、躺、慢跑、快跑、上下楼梯等基本动作，以及接打电话、蹲下等日常活动。

进一步，所述步骤二中对采集的传感器数据进行数值归一化处理具体包括：

信号数值归一化，将所有数据映射到0～1范围。采用线性函数归一化方法，转换函数如下：

其中max为样本数据的最大值，min为样本数据的最小值。x是原始的传感器信号数据，x*是归一化后的结果。

进一步，所述步骤三中采用基于时序多模态学习的CorrRNN模型对采集的传感器数据分类具体包括：

(1)输入数据，采集N位测试人员跌倒及日常动作数据作为训练样本，样本集记为T((X₁，Y₁，X₂，Y₂，c)¹,…,(X₁，Y₁，X₂，Y₂，c)^N)，其中X₁，Y₁，X₂，Y₂分别代表两个可穿戴传感器收集的数据，X₁表示腰部传感器收集的加速度数据，Y₁表示腰部传感器收集的螺旋仪数据；X₂表示腕部传感器收集的加速度数据，Y₂表示腕部传感器收集的螺旋仪数据，c表示动作分类。

把腰部和腕部收集的数据，分别输入模型进行训练，最后两个分类器组合最终进行分类。后续步骤中，以腰部数据作为输入，腕部及腰部传感器数据采用的方法相同。由此后续步骤将X₁，Y₁简写为x，y。

将两种数据(加速度数据、螺旋仪数据)表示为长度T的序列。

和

表示X模态在时序t的m维特征。为了简单，后续省略上标符m和n。

(2)时序多模态学习

在t时融合两种模态，扩展表示为和

l是历史时序范围。给定多模态数据序列对

训练一个特征学习模型M，学习多维联合表示

(3)CorrRNN模型结构

模型实现了编码器-解码器工作，实现序列到序列学习，并以无监督的方式学习序列表示。模型包括两个重新生成的神经网络：多模态编码器和多模态解码器。多模态编码器将两个输入序列映射到公共空间。多模态解码器从编码器获得的联合表示重构两个输入序列。编码器和解码器都是双层网络。多模态输入在被送到称为融合层的公共层之前，首先映射到单独的隐藏层。在重构多模态输入之前，首先对联合表示进行解码以分离隐藏层。

使用一对多模态输入训练模型，在最后一步编码器中的融合层的激活被输出作为序列特征表示。根据模型输入可以获得两种类型的特征表示：如果两个输入模态都存在，获得它们的联合表示；如果仅存在一种形式，将获得“增强的”单模态表示。

(4)多模态编码器

多模态编码器将输入模态序列融合成公共表示，多模态编码器在每一时间使用三个主要模块。

动态加权模块(DW)：通过评估输入信号与最近历史记录的一致性，动态地对两种模态的信号进行加权。

GRU模块(GRU)：融合输入模态以生成融合表示。该模块还使用重置和更新门捕获序列的时序结构。

相关模块(Corr)：将GRU模块生成的中间状态作为输入，以计算基于相关性的损失。

其中动态加权模块根据其随时序的一致性评估，在给定时序步长为每个模态输入分配权重。分配给输入模态的动态权重基于当前输入与前一时序步骤的融合数据，表示之间的一致性。使用双线性函数来评估两种模态的一致性得分和

即：

这里

是在模型训练过程中学到的参数。这两种模态的权重是通过使用Laplace平滑对分数进行归一化来获得的：

GRU模块包含不同的门单元，用于调制模块内的信息流。GRU模块在时序t处将x_t和y_t作为输入并且跟踪三个量，即融合表示

和模态特定表示

融合表示构成历史多模态输入的单个表示。模态特定表示

被认为是维持模态输入的投影，计算它们的相关性的度量。该模块中的计算表达如下：

其中σ是逻辑S形函数，

是双曲线正切函数，r和z是复位和更新门的输入，h和分别代表标准GRU的激活和候选激活，b是神经元的偏置；U_r为输出层第r个神经元的输入。

模型对不同的输入X和Y使用单独的权重，使得模型可以捕获模态关系和每种模态的特定方面。

Correlation模块计算从GRU模块获得的模态输入

的投影之间的相关性。形式上，在时序t给定两个模态

和

的N个映射，相关性计算如下：

其中，

将基于相关的损失函数表示为

通过这一函数使两种模态之间的相关性最大化。

(5)多模态解码器

多模态解码器从多模态编码器计算的联合表示

同时重构各个模态输入序列x和y。通过最小化训练时的重构损失，得到的联合表示从两种模态中保留尽可能多的信息。为了共享模态中的信息，在多模态解码器中引入两个额外的重构损失项：交叉重构和自我重构。最终，多模解码器包括三个重构损失：

融合重构损失，从联合表示

重构的误差：

自我重构损失，从中重构

从

中重构

误差：

交叉重构损失，从中重构

从

中重构

误差：

其中β是用于平衡两个输入模态的损失函数值的相对比例的超参数，而f，g分别表示由多模态编码器和解码器实现的特征映射。用于训练模型的目标函数表示为：

其中λ是用于缩放相关损失项的贡献的超参数，N是训练阶段使用的小批量数据的大小。目标函数结合由解码器计算的不同形式的重构损失，其中相关损失作为编码处理的一部分被计算。使用具有自适应学习速率的随机梯度下降算法来优化上述目标函数。

(6)对收集的传感器数据进行分类

通过计算LSTM(DCL)网络的最后一个卷积层(第5层)的输出来获得传感器特征，从获取的归一化后的数据提取特征。根据提取的特征，使用滑动窗口，从持续时序进行采样。这些运动序列用于训练CorrRNN模型，使用随机梯度下降，训练跌倒检测模型。

进一步，所述步骤四中通过腰部及腕部传感器收集数据分别构建分类器，并对分类结果加权组合得到跌倒类别判断结果，具体包括：

分别构建腰部和腕部位置的分类器，通过两个分类器进行加权组合，以两个分类器单独的分类精度，腰部分类精度为O₁，腕部分类精度为O₂，腰部分类器的权重为O₁/(O₁+O₂)，腕部分类器的权重为O₂/(O₁+O₂)，将两个分类器加权组合形成最终分类器进行跌倒检测。

本发明的另一目的在于提供一种应用所述基于可移动传感器组合设备的人体跌倒检测方法的可穿戴传感器。

本发明的另一目的在于提供一种应用所述基于可移动传感器组合设备的人体跌倒检测方法的电子信息检测***。

综上所述，本发明的优点及积极效果为：

与现有技术相比，本发明提出的方法通过两个可穿戴传感器结合进行跌倒检测，采用了CorrRNN模型。该模型基于编码器-解码器框架，通过利用跨模态的相关性来学习多元输入的联合表示。该模型以无监督的方式进行训练(即通过最小化输入-输出重构损失项并最大化基于交叉模态的相关项)，这消除了对标记数据的需要，并且结合GRU以捕获长期依赖性和时序输入结构。可极大提高跌倒检测检测精度。

本发明因为加速度数据和螺旋仪数据的数值范围不同，通过归一化处理，可以提升精度。本发明提供了一种佩戴在腰部及腕部传感器组合的人体跌倒检测方法，通过在腰部及腕部佩戴可穿戴传感器采集数据并融合进行跌倒检测，提高跌倒检测的检测精度以及容错程度，使跌倒检测精度得到极大提高。

附图说明

图1是本发明实施例提供的跌倒检测方法总体流程图。

图2是本发明实施例提供的基于可移动传感器组合设备的人体跌倒检测方法流程图。

图3是本发明实施例提供的CorrRNN模型流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的目的是提供一种使用穿戴式传感器获取数据、基于递归神经网络的跌倒检测方法。所实现的方法具有稳健性，有效性和性能先进性。本发明使用了两套传感器，分别佩戴在右手腕部及腰部髋骨前侧正中处位置，跌倒检测方法采用CorrRNN模型。模型同时学习联合表示和模态之间的时序依赖性，在目标函数中使用多个损失项，包括最大相关损失项以增强交叉学习模态信息，以及使用注意模型来动态调整不同输入模态对联合表示的贡献，以达到预期效果。通过分别构建腕部及腰部的CorrRNN模型，将两个CorrRNN模型通过加权进行组合，进一步提高检测的准确性。该方法对不同场景下老年人跌倒检测具有高检测精度和高有效性。

下面结合附图对本发明的应用原理作详细描述。

本发明使用两个可穿戴传感器设备，进行人体跌倒检测。两个传感器分别放置在腰部和腕部，收集的数据包含加速度数据和螺旋仪数据。两个不同位置的传感器数据分别输入模型进行训练得到两个分类器，最后通过两个分类器组合最终进行分类，分类器采用CorrRNN模型构建。

如图1所示，本发明实施例提供的基于可移动传感器组合设备的人体跌倒检测方法包括：

S101：基于可穿戴传感器***采集人体用户传感器数据；

S102：对采集的传感器数据进行数值归一化处理；

S103：采用基于时序多模态学习的CorrRNN模型对采集的传感器数据分类；

S104：通过腰部及腕部传感器收集数据分别构建分类器，并对分类结果加权组合得到跌倒类别判断结果。

进一步，所述步骤一中基于可穿戴传感器***采集人体用户传感器数据具体包括：

(1)采集用户数据的可穿戴传感器***，为惯性测量单元(Inertial MeasurementUnit,IMU)，IMU可测量日常动作中三轴加速度、三轴角速度，通过蓝牙连接IMU与PC，实现数据的无线实时传输，采样频率设置为20Hz。

(2)两个传感器分别放置在腕部及腰部，腕部佩戴位置为右手桡骨接近腕骨处，腰部佩戴位置为髋骨前侧正中处位置。

(3)动作类别。动作划分为跌倒及日常动作，日常动作包含坐、站、躺、慢跑、快跑、上下楼梯等基本动作，以及接打电话、蹲下等日常活动。

进一步，所述步骤二中对采集的传感器数据进行数值归一化处理具体包括：

信号数值归一化，将所有数据映射到0～1范围。采用线性函数归一化方法，转换函数如下：

其中max为样本数据的最大值，min为样本数据的最小值。x是原始的传感器信号数据，x*是归一化后的结果。

进一步，所述步骤三中采用基于时序多模态学习的CorrRNN模型对采集的传感器数据分类具体包括：

(1)输入数据，采集N位测试人员跌倒及日常动作数据作为训练样本，样本集记为T((X₁，Y₁，X₂，Y₂，c)¹,…,(X₁，Y₁，X₂，Y₂，c)^N)，其中X₁，Y₁，X₂，Y₂分别代表两个可穿戴传感器收集的数据，X₁表示腰部传感器收集的加速度数据，Y₁表示腰部传感器收集的螺旋仪数据；X₂表示腕部传感器收集的加速度数据，Y₂表示腕部传感器收集的螺旋仪数据，c表示动作分类。

把腰部和腕部收集的数据，分别输入模型进行训练，最后两个分类器组合最终进行分类。后续步骤中，以腰部数据作为输入，腕部及腰部传感器数据采用的方法相同。由此后续步骤将X₁，Y₁简写为x，y。

将两种数据(加速度数据、螺旋仪数据)表示为长度T的序列。

和

表示X模态在时序t的m维特征。为了简单起见，后续省略了上标符m和n。

(2)时序多模态学习

在t时融合两种模态，扩展表示为

和l是历史时序范围。给定多模态数据序列对训练一个特征学习模型M，学习多维联合表示

(3)CorrRNN模型结构

模型实现了编码器-解码器工作，实现序列到序列学习，并以无监督的方式学习序列表示。模型包括两个重新生成的神经网络：多模态编码器和多模态解码器，模型流程图如图3所示。多模态编码器将两个输入序列映射到公共空间。多模态解码器从编码器获得的联合表示重构两个输入序列。编码器和解码器都是双层网络。多模态输入在被送到称为融合层的公共层之前，首先映射到单独的隐藏层。类似地，在重构多模态输入之前，首先对联合表示进行解码以分离隐藏层。

使用一对多模态输入训练模型，在最后一步编码器中的融合层的激活被输出作为序列特征表示。根据模型输入可以获得两种类型的特征表示：如果两个输入模态都存在，获得它们的联合表示；如果仅存在一种形式，将获得“增强的”单模态表示。

(4)多模态编码器

多模态编码器将输入模态序列融合成公共表示，使得一个连贯的输入被给予更大的重要性，并且输入之间的相关性被最大化。因此，多模态编码器在每一时间使用三个主要模块。

动态加权模块(DW)：通过评估输入信号与最近历史记录的一致性，动态地对两种模态的信号进行加权。

GRU模块(GRU)：融合输入模态以生成融合表示。该模块还使用重置和更新门捕获序列的时序结构。

相关模块(Corr)：将GRU模块生成的中间状态作为输入，以计算基于相关性的损失。

其中动态加权模块根据其随时序的一致性评估，在给定时序步长为每个模态输入分配权重。分配给输入模态的动态权重基于当前输入与前一时序步骤的融合数据，表示之间的一致性。使用双线性函数来评估两种模态的一致性得分

和

即：

这里

是在模块训练过程中学到的参数。这两种模态的权重是通过使用Laplace平滑对分数进行归一化来获得的：

GRU模块包含不同的门单元，用于调制模块内的信息流。GRU模块在时序步t处将x_t和y_t作为输入并且跟踪三个量，即融合表示

和模态特定表示

融合表示

构成历史多模态输入的单个表示。模态特定表示

被认为是维持模态输入的投影，计算它们的相关性的度量。该模块中的计算可以正式表达如下：

其中σ是逻辑S形函数，

是双曲线正切函数，r和z是复位和更新门的输入，h和

分别代表标准GRU的激活和候选激活，b是神经元的偏置；U_r为输出层第r个神经元的输入。

模型对不同的输入X和Y使用单独的权重，使得模型可以捕获模态关系和每种模态的特定方面。

Correlation模块计算从GRU模块获得的模态输入的投影之间的相关性。形式上，在时序t给定两个模态

和

的N个映射，相关性计算如下：

其中，

将基于相关的损失函数表示为

通过这一函数使两种模态之间的相关性最大化。

(5)多模态解码器

多模态解码器从多模态编码器计算的联合表示同时重构各个模态输入序列x和y。通过最小化训练时的重构损失，得到的联合表示从两种模态中保留尽可能多的信息。为了共享模态中的信息，在多模态解码器中引入了两个额外的重构损失项：交叉重构和自我重构。有利于联合表示，而且在仅存在其中一种模态的情况下也可以改善模型的性能。最终，多模解码器包括三个重构损失：

融合重构损失，从联合表示重构的误差：

自我重构损失，从

中重构

从

中重构

误差：

交叉重构损失，从中重构

从

中重构

误差：

其中β是用于平衡两个输入模态的损失函数值的相对比例的超参数，而f，g分别表示由多模态编码器和解码器实现的特征映射。因此，用于训练模型的目标函数可以表示为：

其中λ是用于缩放相关损失项的贡献的超参数，N是训练阶段使用的小批量大小。因此，目标函数结合了由解码器计算的不同形式的重构损失，其中相关损失作为编码处理的一部分被计算。使用具有自适应学习速率的随机梯度下降算法来优化上述目标函数。

(6)对收集的传感器数据进行分类

通过计算LSTM(DCL)网络的最后一个卷积层(第5层)的输出来获得传感器特征，从获取的归一化后的数据提取特征。根据提取的特征，使用滑动窗口，从持续时序进行采样。这些活动序列用于训练CorrRNN模型，使用随机梯度下降，训练跌倒检测模型。

进一步，所述步骤四中通过腰部及腕部传感器收集数据分别构建分类器，并对分类结果加权组合得到跌倒类别判断结果具体包括：

分别构建腰部和腕部位置的分类器，通过两个分类器进行加权组合，以两个分类器单独的分类精度，腰部分类精度为O₁，腕部分类精度为O₂，腰部分类器的权重为O₁/(O₁+O₂)，腕部分类器的权重为O₂/(O₁+O₂)，将两个分类器加权组合形成最终分类器进行跌倒检测。

本发明提出了一种基于腰部和腕部传感器组合的跌倒检测方法，利用两个部位的传感器组合，其中腕部判断人体细节运动，腰部判断人体躯干动作，将两者结合进行跌倒检测，更有效的检测人体全身运动。分类器采用了CorrRNN模型，该模型学习模态联合表示和模态之间的时间依赖性，能够动态地权衡不同的输入模态，以便能够强调更有用的信号，在传感器中同样适用。通过加权的方式将两个部位分类器组合，以提供更高的检测精度，以及适应更多的人体活动环境。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于可移动传感器组合设备的人体跌倒检测方法，其特征在于，所述基于可移动传感器组合设备的人体跌倒检测方法包括：

步骤一，基于可穿戴传感器***采集人体用户传感器数据；

步骤二，对采集的传感器数据进行数值归一化处理；

步骤三，采用基于时序多模态学习的CorrRNN模型对采集的传感器数据分类；

步骤四，通过腰部及腕部传感器收集数据分别构建分类器，并对分类结果加权组合得到跌倒类别判断结果。

2.如权利要求1所述的基于可移动传感器组合设备的人体跌倒检测方法，其特征在于，所述步骤一中基于可穿戴传感器***采集人体用户传感器数据具体包括：

(1)采集用户数据的可穿戴传感器***，为惯性测量单元IMU，IMU测量日常动作中三轴加速度、三轴角速度，通过蓝牙连接IMU与PC，实现数据的无线实时传输，采样频率设置为20Hz；

(2)两个传感器分别放置在腕部及腰部，腕部佩戴位置为右手桡骨接近腕骨处，腰部佩戴位置为髋骨前侧正中处位置；

(3)动作类别：动作划分为跌倒及日常动作，日常动作包含坐、站、躺、慢跑、快跑、上下楼梯的基本动作，以及接打电话、蹲下的日常活动。

3.如权利要求1所述的基于可移动传感器组合设备的人体跌倒检测方法，其特征在于，所述步骤二中对采集的传感器数据进行数值归一化处理具体包括：

信号数值归一化，将所有数据映射到0～1范围；采用线性函数归一化方法，转换函数如下：

其中max为样本数据的最大值，min为样本数据的最小值；x是原始的传感器信号数据，x*是归一化后的结果。

4.如权利要求1所述的基于可移动传感器组合设备的人体跌倒检测方法，其特征在于，所述步骤三中采用基于时序多模态学习的CorrRNN模型对采集的传感器数据分类具体包括：

(1)输入数据，采集N位测试人员跌倒及日常动作数据作为训练样本，样本集记为T((X₁，Y₁，X₂，Y₂，c)¹...，(X₁，Y₁，X₂，Y₂，c)^N)，其中X₁，Y₁，X₂，Y₂分别代表两个可穿戴传感器收集的数据，X₁表示腰部传感器收集的加速度数据，Y₁表示腰部传感器收集的螺旋仪数据；X₂表示腕部传感器收集的加速度数据，Y₂表示腕部传感器收集的螺旋仪数据，c表示动作分类；

把腰部和腕部收集的数据，分别输入模型进行训练，最后两个分类器组合最终进行分类；后续步骤中，以腰部数据作为输入，腕部及腰部传感器数据采用的方法相同；由此后续步骤将X₁，Y₁简写为x，y；

将加速度数据、螺旋仪数据表示为长度T的序列；

和

表示X模态在时序t的m维特征；

(2)时序多模态学习

在t时融合两种模态，扩展表示为

和l是历史时序范围；给定多模态数据序列对

训练一个特征学习模型M，学习多维联合表示

(3)CorrRNN模型结构

包括两个重新生成的神经网络：多模态编码器和多模态解码器；

多模态编码器将两个输入序列映射到公共空间；多模态解码器从编码器获得的联合表示重构两个输入序列；编码器和解码器都是双层网络；

多模态输入在被送到称为融合层的公共层之前，首先映射到单独的隐藏层；在重构多模态输入之前，首先对联合表示进行解码以分离隐藏层；

使用一对多模态输入训练模型，在最后一步编码器中的融合层的激活被输出作为序列特征表示；根据模型输入可以获得两种类型的特征表示：如果两个输入模态都存在，获得它们的联合表示；如果仅存在一种形式，将获得“增强的”单模态表示；

(4)多模态编码器

多模态编码器将输入模态序列融合成公共表示，多模态编码器在每一时间使用三个主要模块；

动态加权模块DW：通过评估输入信号与最近历史记录的一致性，动态地对两种模态的信号进行加权；

GRU模块GRU：融合输入模态以生成融合表示；该模块还使用重置和更新门捕获序列的时序结构；

相关模块Corr：将GRU模块生成的中间状态作为输入，以计算基于相关性的损失；

其中动态加权模块根据其随时序的一致性评估，在给定时序步长为每个模态输入分配权重；分配给输入模态的动态权重基于当前输入与前一时序步骤的融合数据，表示之间的一致性；使用双线性函数来评估两种模态的一致性得分

和

是在模块训练过程中学到的参数；这两种模态的权重是通过使用Laplace平滑对分数进行归一化获得的：

GRU模块包含不同的门单元，用于调制模块内的信息流；GRU模块在时序t处将x_t和y_t作为输入并且跟踪三个量，即融合表示

和模态特定表示

融合表示

构成历史多模态输入的单个表示；模态特定表示

被认为是维持模态输入的投影，计算它们的相关性的度量；该模块中的计算表达如下：

其中σ是逻辑S形函数，

是双曲线正切函数，r和z是复位和更新门的输入，h和分别代表标准GRU的激活和候选激活；b是神经元的偏置；U_r为输出层第r个神经元的输入；

模型对不同的输入X和Y使用单独的权重，使得模型捕获模态关系和每种模态的特定方面；

Correlation模块计算从GRU模块获得的模态输入

的投影之间的相关性；形式上，在时序t给定两个模态和

的N个映射，相关性计算如下：

其中；

将基于相关的损失函数表示为

通过这一函数使两种模态之间的相关性最大化；

(5)多模态解码器

多模态解码器从多模态编码器计算的联合表示

同时重构各个模态输入序列x和y；通过最小化训练时的重构损失，得到的联合表示从两种模态中保留尽可能多的信息；在多模态解码器中引入两个额外的重构损失项：交叉重构和自我重构；最终，多模解码器包括三个重构损失：

融合重构损失，从联合表示

重构的误差：

自我重构损失，从

中重构

从

中重构

误差：

交叉重构损失，从

中重构

从

中重构误差：

其中β是用于平衡两个输入模态的损失函数值的相对比例的超参数，而f，g分别表示由多模态编码器和解码器实现的特征映射；用于训练模型的目标函数表示为：

其中λ是用于缩放相关损失项的贡献的超参数，N是训练阶段使用的小批量数据的大小；目标函数结合由解码器计算的不同形式的重构损失，其中相关损失作为编码处理的一部分被计算；使用具有自适应学习速率的随机梯度下降算法来优化上述目标函数；

(6)对收集的传感器数据进行分类

通过计算LSTM网络的最后一个卷积层的输出获得传感器特征，从获取的归一化后的数据提取特征；根据提取的特征，使用滑动窗口，从持续时序进行采样；运动序列用于训练CorrRNN模型，使用随机梯度下降，训练跌倒检测模型。

5.如权利要求1所述的基于可移动传感器组合设备的人体跌倒检测方法，其特征在于，所述步骤四中通过腰部及腕部传感器收集数据分别构建分类器，并对分类结果加权组合得到跌倒类别判断结果具体包括：

分别构建腰部和腕部位置的分类器，通过两个分类器进行加权组合，以两个分类器单独的分类精度，腰部分类精度为O₁，腕部分类精度为O₂，腰部分类器的权重为O₁/(O₁+O₂)，腕部分类器的权重为O₂/(O₁+O₂)，将两个分类器加权组合形成最终分类器进行跌倒检测。

6.一种应用权利要求1～5任意一项所述基于可移动传感器组合设备的人体跌倒检测方法的可穿戴传感器。

7.一种应用权利要求1～5任意一项所述基于可移动传感器组合设备的人体跌倒检测方法的电子信息检测***。

Images