CN110852382A - 一种基于时空多特征提取的行为识别***及其工作方法 - Google Patents

Abstract

本发明涉及一种基于时空多特征提取的行为识别***及其工作方法，该***包括依次连接的行为信息采集模块、行为信息多模态传输模块、行为信息处理模块、行为信息应用模块。行为信息处理模块包括行为信息预处理模块和行为信息分类模块。通过对传感器数据的处理和分析，实现对异常行为的实时报警，弥补了视频信息容易受障碍物和光线影响、隐私性差、功耗大的不足。行为信息分类模块包括统计特征提取单元、时间特征提取单元、空间特征提取单元和行为类型判别单元。该模块可以学习不同时间尺度多传感器时间序列数据的时间和空间特征，更好的判断给定行为的差异和区分相似行为，有效提高复杂行为识别的准确率。

Description

一种基于时空多特征提取的行为识别***及其工作方法

技术领域

本发明涉及一种基于时空多特征提取的行为识别***及其工作方法，属于人工智能与模式识别的技术领域。

背景技术

随着各类传感器和可穿戴设备的多样化和普及，基于传感器的人类活动识别已经成为重要的研究领域。与基于视频的行为识别相比，基于传感器的行为识别有更高的私密性，更好的抗干扰性，并且可以应用于更加灵活多样的环境。同时，蓝牙、4G、5G、LoRa(LongRange)、NB-IoT(Narrow Band Internet of Things)等物联网传输技术的迅速发展，使得更加快速和便捷信息传输成为可能。这使得基于传感器的行为识别在智慧家居、医疗护理、运动分析等领域扮演着越来越重要的角色。同样，基于可穿戴设备的行为识别***也可以用于监狱等特殊场合来监控犯罪行为和预防危险的发生。

用于人类行为识别的传感器主要分为身体传感器和环境传感器。身体传感器包括加速度传感器、陀螺仪、心率传感器，心电传感器等等，它们常见于手机、智能手环等可穿戴设备，可以伴随着人类行动，分别采集人类的运动信息和生理信息。温度传感器、压力传感器等等可以采集环境信息，通过环境的变化，判断和预测人类的行为。

人体行为识别***通过处理低级别的传感器信息，得到高级别的复杂人类活动信息，其步骤一般分为数据预处理，特征提取和分类识别三个部分。常见的预处理方法包括对缺失信息的补全和删除、数据的归一化等等。传统的特征提取方法用统计特征作为数据的特征，如均值、方差、频域的幅度等，它们关注时间信号的全局特征。在此基础上，机器学习方法，如K近邻，支持向量机，朴素贝叶斯等，作为分类器来判别行为所属的类别。但是，仅仅依靠这些手动提取的特征往往只能区分较为简单的行为，例如走和跑，在处理更为复杂的行为时，它们的分类效果较差。

随着深度学习的发展，CNN(Convolutional Neural Networks)和RNN(RecurrentNeural Network)等深度学习模型也开始出现在人体行为识别领域中。与传统的统计特征提取方法相比，深度学习算法可以自动的提取更深层的特征。CNN是深度学习中应用最广泛的架构之一，它从空间上提取时间序列的局部特征，并且它的权重共享机制有效的减少了模型的参数量。与CNN不同，RNN网络有时间记忆机制，它可以从时间上提取时间序列的特征，这使得它在处理时间序列时更占优势。但是，当输入的时间序列的时空依赖性都很强的时候，RNN可能会因为缺少空间特征而导致过拟合。

目前，行为识别问题中存在诸多挑战，例如，给定动作的变异性，同类之间的相似性，都会导致准确性的下降。如何有效的分析、处理和识别行为数据，更好的利用时间序列的多种特征，提高行为识别的准确率，实现行为信息有效的实时的判断，对危险的异常情况实时报警，都是基于传感器设备的行为识别领域进一步研究的重大挑战。

发明内容

针对现有行为识别***在分类识别的特征提取方法上的不足和针对异常行为实时报警的需求，本发明提出了一种基于时空多特征提取的行为识别***；

本发明还提出了上述基于时空多特征提取的行为识别***的工作方法；

一种基于时空多特征提取的行为识别***，首先，通过在人体布置多个传感器，用于采集人体的生理数据和运动数据，并通过LoRa节点进行传输至云服务器。接下来，云服务器对接收到的数据进行预处理，包括对缺失信息的补全和对异常信息的删除操作，提高数据的可靠性。然后，云服务器将对处理过的数据进行归一化和滑动窗口切割操作。数据归一化将不同量纲和量纲单位的传感器数据归一到同一量级，以消除不同数据之间的量纲影响，更好的关注到数据的变化特征。滑动窗口切割操作用于将连续数据分割为大小相同的数据块，分割后的每个数据块代表一个行为完整的周期。经过处理的数据通过GRU(GatedRecurrent Unit)和CNN的时空多特征提取，从时间和空间的角度全方位提取输入数据的特征，后经过分类器，得到当前行为的具体类型。最后，应用层设备输出当前行为的详细信息，并通过对当前行为的类型与预设的警报值进行对比，一旦超过警报值，服务器立刻调动应用层设备进行报警。

本发明一种可行的实时行为识别与报警***，用于实时监测受测者可能发生的危险或暴力等行为，并针对现有的行为识别算法由于特征提取不全面造成的准确率低的问题，提供一种可行的多特征提取方案，提高行为识别的准确率。

本发明的技术方案为：

一种基于时空多特征提取的行为识别***，包括依次连接的行为信息采集模块、行为信息多模态传输模块、行为信息处理模块、行为信息应用模块；所述行为信息处理模块包括依次连接的行为信息预处理模块和行为信息分类模块，所述行为信息多模态传输模块连接所述行为信息预处理模块，所述行为信息分类模块连接所述行为信息应用模块；

所述行为信息采集模块用于：实时采集人体的生理数据和运动数据，生理数据包括心率值和皮肤电阻值，运动数据包括三轴加速度值和三轴角速度值；三轴为X轴、Y轴和Z轴，三轴加速度值包括X轴加速度值、Y轴加速度值和Z轴加速度值，三轴角速度值包括X轴角速度值、Y轴角速度值和Z轴角速度值；

所述行为信息多模态传输模块用于：将采集的人体的生理数据和运动数据传输至云服务器；

所述行为信息处理模块用于：将接收到的生理数据和运动数据通过所述行为信息预处理模块和所述信息分类模块，得到当前用户的行为类型；

所述行为信息预处理模块用于：对接收到的人体的生理数据和运动数据依次进行缺失信息的补全操作、错误信息的删除操作、归一化及滑动窗口切割，用于进一步数据的处理；

所述行为信息分类模块用于：通过基于时空多特征提取的深度学习算法对人体当前行为进行判断；

所述行为信息应用模块用于：在监控设备上输出人体当前行为，并对人体当前行为的危险性进行判断和实时报警；

根据发明优选的，所述行为信息采集模块包括行为信息类型选择单元、若干个运动数据感知单元和若干个生理数据感知单元，所述信息类型选择单元分别连接每个运动数据感知单元以及每个生理数据感知单元；

所述行为信息类型选择单元根据用户设定开启相应的运动数据感知单元或生理数据感知单元；所述运动数据感知单元包括若干个三轴加速度传感器和若干个三轴角速度传感器，用于采集人体的运动数据；所述生理数据感知单元包括若干个心率传感器、若干个皮肤电传感器，用于采集人体的生理数据。四种传感的采样频率根据用户需求设置为同一值。

进一步优选的，所述行为信息类型选择单元为模式切换按键。用户按下按键即可调整开启的传感器类型。

根据本发明优选的，所述行为信息多模态传输模块包括传输类型选择单元、若干个行为信息发送单元和行为信息接收单元；所述传输类型选择单元分别连接每个行为信息发送单元，每个行为信息发送单元均连接所述行为信息接收单元；

所述传输类型选择单元根据用户设定选择不同的行为信息发送单元和行为信息接收单元。

所述行为信息发送单元用于信息的发送；

所述行为信息接收单元用于信息的接收。

进一步优选的，所述行为信息发送单元为LoRa节点、WiFi节点和4G/5G节点中的任一种，所述传输类型选择单元有LoRa、WiFi和4G/5G三种模式，所述行为信息接收单元为与信息发送单元对应的LoRa基站、WiFi网关和4G/5G基站中的任一种。用户可根据所处环境基站的布置和传输距离的不同，根据需求选择相应的数据传输模式。

根据本发明优选的，所述行为信息预处理模块包括依次相连的多传感器数据融合单元、原始数据预处理单元、数据归一化单元和数据切割单元；

所述多传感器数据融合单元，用于将心率传感器、皮肤电阻传感器、三轴加速度传感器和三轴角速度传感器分别采集的心率值、皮肤电阻值、三轴加速度值和三轴角速度值，按照纵轴为时间戳，横轴为各个传感器的数据值，合并到同一个数组中，合并后的数组共8列，分别是心率值、皮肤电阻值、X轴加速度值、Y轴加速度值、Z轴加速度值、X轴角速度值、Y轴角速度值和Z轴角速度值，用于进一步数据的处理；

所述原始数据预处理单元，用于对缺失信息进行补全操作，以及对异常信息进行删除操作；对缺失信息进行补全操作是指：采用均值插补法，以缺失数据所在列的平均值作为缺失值；对异常信息进行删除操作是指：对于异常数据，如心率值小于50或大于150，采用直接删除异常数据所在行数据的方法，以提高数据的可靠性；

所述数据归一化单元，用于将不同量纲和不同量纲单位的传感器数据归一到同一量级，采用的最大值最小值归一化方法，把结果映射到[0,1]之间，以消除不同数据之间的量纲影响，对于变化中的连续动作，可以更好的关注不同类型数据的变化特征；

所述数据切割单元，用于将连续数据分割为大小相同的数据块，分割后的每个数据块代表一个行为完整的周期，数据的切割由滑动窗口实现，滑动窗口的窗口大小即为数据块的大小，滑动步长为滑动窗口每次移动的距离；

根据本发明优选的，所述行为信息分类模块包括统计特征提取单元、时间特征提取单元、空间特征提取单元和行为类型判别单元；

所述数据切割单元分别连接所述统计特征提取单元和时间特征提取单元，所述时间特征提取单元连接所述空间特征提取单元，所述统计特征提取单元和所述空间特征提取单元均连接所述行为类型判别单元；

所述统计特征提取单元，用于提取多维统计特征，多维统计特征包括时域、频域的均值、方差、峰峰值、偏度、峰度；以关注时间序列的每个数据块的全局特征。

所述时间特征提取单元包括依次连接的两个GRU单元，用于对输入的传感器数据进行时间上的重编码，以保留传感器数据的时间特征；

所述空间特征提取单元包括依次连接的两个CNN单元，用于进一步提取输入传感器数据的空间特征；

所述CNN单元包括依次连接的卷积层、池化层及特征重标定卷积层；卷积层用于提取特征和权值共享；多层卷积可以得到更深层次的特征；池化层用于对卷积层得到的特征进行压缩，提取主要特征；以减少网络计算的复杂度；特征重标定卷积层用于对池化层处理后的特征重新赋予不同的权值；使重要特征拥有更大权值，以提高后续识别的准确率；

所述行为类型判别单元包括依次连接的全连接层、Softmax分类器，经过多尺度的特征提取后，数据集输出到所述全连接层，并经过Softmax分类器进行分类，输出最终的行为类型。

行为信息分类模块由本发明提出的一个新的深度学习框架构成，这个框架解决现有的深度学习方法在传感器数据处理方面特征提取不够全面的问题，关注特征的多样性，提高判别准确率。时间特征提取由两个GRU单元组成，空间特征提取由两个CNN单元组成，在每层CNN单元后面，本发明加入特征重标定卷积单元来关注各通道间的相互依赖关系。统计特征提取，包括了时域、频域的均值、方差、峰峰值等多维特征，因为它们可以关注时间序列的每个数据块的全局特征。经过多尺度的特征提取后，数据集输出到全连接层，最后经过Softmax分类器进行分类，整个流程经过多次的优化迭代，可输出最终的行为类型。

根据本发明优选的，所述行为信息应用模块包括行为类型输出界面单元和报警单元，所述行为类型输出界面单元和所述报警单元均与所述行为类型判别单元相连；

所述行为类型输出界面单元实时输出当前使用者正在进行的行为类型；

所述报警单元根据用户设置的行为危险类型和程度与当前行为进行比较，一旦超过所设置阈值或者符合所设置的报警条件，立刻向监护者发送报警信息，所设阈值为心率低于50或心率高于150，即立刻向监护者发送生理异常信息；所设报警条件为行为类型包括攻击行为，行为类型为摔倒行为等异常行为类型，一旦判断当前行为符合所设置的报警条件，立刻向监护者发送行为异常信息。

行为类型输出界面单元在用户终端实时输出当前使用者正在进行的行为类型，终端包括手机端APP和PC端应用程序。

上述基于时空多特征提取的行为识别***的工作方法，包括步骤如下：

步骤S01：选择数据采集模式

***设定三种数据采集模式，以适用不同的数据采集场合。三种数据采集模式包括行为数据采集、生理数据采集以及行为数据和生理数据同时采集；根据行为识别所需数据采集模式的要求，选择加速度计、角速度计作为***的行为数据的传感器，选择心率传感器和皮肤电传感器数据作为***的生理数据的传感器，通过以上传感器多角度采集人体行为数据和生理数据，根据用户设定的数据采集模式，采集不同种类的数据；

步骤S02：选择数据传输模式

***设定三种数据传输模式，以适用不同的数据传输场合。三种数据传输模式包括WiFi传输、LoRa传输和4G/5G传输；用户根据实际需求，选择数据传输模式；

步骤S03：多传感器数据的合并

通过步骤S02，将心率传感器、皮肤电阻传感器、三轴加速度传感器和三轴角速度传感器分别采集的心率值、皮肤电阻值、三轴加速度值和三轴角速度值，按照纵轴为时间戳，横轴为各个传感器的数据值，合并到同一个数组中，合并后的数组共8列，分别是心率值、皮肤电阻值、X轴加速度值、Y轴加速度值、Z轴加速度值、X轴角速度值、Y轴角速度值和Z轴角速度值，该数组作为原始数据；

步骤S04：原始数据预处理

对缺失信息，采用均值插补法，以缺失数据所在列的平均值作为缺失值；对于异常数据，如心率值小于50或大于150，直接删除异常数据所在行数据；

步骤S05：数据归一化

将不同量纲和不同量纲单位的传感器数据归一到同一量级，把结果映射到[0,1]之间，实现公式如式(I)所示：

式(I)中，X_norm为处理后的数据，X∈Rⁿ为输入的原始数据，X_min为输入传感器数据的最小值，X_max为输入传感器数据的最大值。通过上述操作，以消除不同数据之间的量纲影响，对于变化中的连续动作，可以更好的关注不同类型数据的变化特征。

经过数据归一化后的数据可被表示为X_norm∈R^n×8，其中n是数据归一化后数据的总数，8是传感器通道的个数。

步骤S06：滑动窗口切割数据

由于行为识别是基于时间段的连续信号，采用滑动窗口的方式将步骤S05数据归一化处理后的连续数据分割为大小相同的数据块，分割后的每个数据块代表一个行为完整的周期；根据用户需求，针对用户所需要判断的行为类型，用户可预设相关参数，包括滑动窗口的大小和窗口的滑动方式。若传感器的采样频率为f，滑动窗口的大小n_window默认等于传感器的采样频率f，用户也可手动设置，可选的大小范围为0.5f～10f。窗口的滑动方式默认为窗口重叠50％，用户也可手动设置，可选的大小范围为10％～100％。当窗口的滑动方式选择为窗口重叠50％时，经过此步骤后，数据变为

其中N为分割后数据块的个数。

步骤S07：行为信息的分类

将步骤S06得到的数据块作为输入数据，通过GRU单元进行数据的时间编码。

通过CNN层提取有效空间特征，上述操作用来尽可能地保留数据的时间和空间特征。同时，数据的统计特征被添加到全连接的层中，通过全连接层与提取的空间特征的数据相连，再经过Softmax分类器，判别并输出行为的类型；本步骤中，用户设置的参数包括输入数据的大小、卷积核的大小、统计特征的类型和个数、全连接层神经元的个数等等。通过对预设的带标签的数据进行迭代训练，得到最优的深度学习模型。将实时采集的行为信息输入此模型，即可对实时行为进行类型的判别；

步骤S08：行为信息实时显示

将步骤S07判断出的行为类型实时在用户端界面更新，用户随时查看被监护者所处的行为状态；

步骤S09：行为异常程度判断

根据用户设置的行为危险类型和程度与当前行为进行比较，判断是否超过所设置阈值或者符合所设置的报警条件；若当前行为超过所设置阈值或者符合所设置的报警条件，进入步骤S10，否则，结束；

步骤S10：异常行为报警

向监护者发送报警信息。

根据本发明优选的，所述步骤S07，包括步骤如下：

(1)数据经过时间特征提取单元，时间特征提取单元包括两层GRU单元，GRU单元采用多对多的模式，GRU单元包括更新门z_t和重置门r_t，更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，重置门用于控制忽略前一时刻的状态信息的程度，操作如公式(II)～(VI)所示：

z_t＝σ(W_z·[h_t-1,x_t]) (II)

r_t＝σ(W_r·[h_t-1,x_t]) (III)

y_t＝σ(W_o·h_t) (VI)

式(II)～(VI)中，x_t为当前时刻的输入向量，h_t-1为上一时刻隐藏层向量，h_t为当前时刻GRU单元的隐藏层输出向量，

为候选输出向量，y_t为输出向量，σ()是Sigmoid函数，将数字压缩在(0,1)的范围，tanh()是双曲正切函数(hyperbolic tangent)，将数字压缩在(-1,1)的范围，W_z、W_r、W_h、W_o均为GRU单元的权重矩阵；

在本层，输入n_batch个数据

n_window为输入的数据窗口长度，n_batch为一次在深度学习网络中运行的数据块的个数，8为多传感器的总通道数；经过时间特征提取单元，即经过两层GRU单元，实现对数据的时间编码，输出数据

y_{output_GRU}为GRU单元编码后的数据，n_GRUcell为GRU单元的个数；

(2)经过时间特征提取单元的数据，再经过空间特征提取单元，空间特征提取单元包括依次连接的两个CNN单元，CNN单元包括依次连接的卷积层、池化层及特征重标定卷积层；包括步骤如下：

(a)卷积层的操作如下：(i)每个卷积核都与上一层的特征图相连，输入数据与对应的连接权重进行加权求和；(ii)加入一个偏置项，将非线性激活函数应用于卷积核的输出；

卷积层a(x,y)如式(VII)所示：

式(VII)中，x、y是当前输入点的横、纵坐标，f是非线性激活函数，通常为Sigmoid函数或线性整流函数(Rectified Linear Unit,ReLU)；b表示偏置项；w^n,m表示卷积核在(n,m)位置的权重；N和M分别是卷积核的长度和宽度；u是上一层的特征图输出。

每个CNN单元的各个层的参数相同，卷积核的大小设置为n_filter×1，通道数设置为n_channel，步长设置为n_{filter_step}，卷积核的个数设置为n_depth；

(b)池化层在卷积层之后，池化层用于降低参数，选择最大池化作为池化的方式，池化层的大小设置为n_pooling×1，步长为n_{pooling_step}；

(c)特征重标定卷积层用于对空间特征按权值的进行重标定，特征重标定卷积层的操作步骤包括挤压(Squeeze)和激励(Excitation)；

(i)挤压：池化层输出的特征图u，通过全局平均池化(Global Average Pooling,GAP)被挤压，每个信道的挤压实现方式如公式(VIII)所示：

式(VIII)中，c代表特征图信道的个数，W×H是特征图的大小，经过计算，得到一个1×1×c的向量z_c；u_c()为第c信道的特征图、i,j分别是特征图中点的横、纵坐标；

(ii)激励：聚集挤压后的信息，向量z_c依次经过全连通层、ReLU激活函数层、全连通层，最后经过Sigmoid激活函数层，操作如公式(IX)所示：

s_c＝σ(W₁·δ(W₂·z_c)) (IX)

式(IX)中，

用于限制模型的复杂性，δ是ReLU函数，s_c为激励后的标量结果；

最后，如公式(X)所示，将每个通道的输出与对应的特征图相乘，完成对原始特征的重标定：

式(X)中，u_c为u的第c个特征图，

是经过特征重标定卷积的最终的输出结果；

数据经过时间特征提取单元的同时，也进入统计特征提取单元，为每一个传感器通道提取n_feature维的统计特征，设置所要提取的特征类型的个数为n_feature；

(3)经过空间特征提取单元的输出和经过统计特征提取单元的输出分别展开成一维数组并连接起来，后通过全连接层，全连接层隐藏单元的个数为设为n_FC；

(4)经过全连接层后的数据通过Softmax分类器，计算其对应行为的概率，概率最高的行为，即为最终的行为类型判断结果。

本发明的有益效果为：

1、本发明提出了一种基于时空多特征提取的实时行为识别***，通过对传感器数据的处理和分析，实现对异常行为的实时报警，弥补了视频信息容易受障碍物和光线影响、隐私性差、功耗大的不足。

2、本发明在行为信息分类模块，提出了一种新的基于时空特征提取的深度学习框架，以学习不同时间尺度多传感器时间序列数据的时间和空间特征，更好的判断给定行为的差异和区分相似行为，有效提高复杂行为识别的准确率。

附图说明

图1是本发明一种基于时空多特征提取的实时行为识别***的模块组成和连接关系示意图；

图2是本发明一种基于时空多特征提取的实时行为识别***的工作流程示意图；

图3是本发明一种基于时空多特征提取的实时行为识别***的行为信息分类模块原理示意图；

图4是本发明一种基于时空多特征提取的实时行为识别***的行为信息分类模块中时间特征提取单元原理图；

图5是本发明一种基于时空多特征提取的实时行为识别***的行为信息分类模块中空间特征提取单元原理图；

图6是本发明一种基于时空多特征提取的实时行为识别***的在处理WISDM数据集的工作流程图；

图7是本发明一种基于时空多特征提取的实时行为识别***在处理WISDM数据集的混淆矩阵图；

图8是本发明一种基于时空多特征提取的实时行为识别***在处理WISDM数据集的准确率与CNN和GRU的对比图。

具体实施方式

下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。

实施例1

一种基于时空多特征提取的行为识别***，如图1所示，包括依次连接的行为信息采集模块、行为信息多模态传输模块、行为信息处理模块、行为信息应用模块；行为信息处理模块包括依次连接的行为信息预处理模块和行为信息分类模块，行为信息多模态传输模块连接行为信息预处理模块，行为信息分类模块连接行为信息应用模块；

行为信息采集模块用于：实时采集人体的生理数据和运动数据，生理数据包括心率值和皮肤电阻值，运动数据包括三轴加速度值和三轴角速度值；三轴为X轴、Y轴和Z轴，三轴加速度值包括X轴加速度值、Y轴加速度值和Z轴加速度值，三轴角速度值包括X轴角速度值、Y轴角速度值和Z轴角速度值；

行为信息多模态传输模块用于：将采集的人体的生理数据和运动数据传输至云服务器；

行为信息处理模块用于：将接收到的生理数据和运动数据通过行为信息预处理模块和信息分类模块，得到当前用户的行为类型；

行为信息预处理模块用于：对接收到的人体的生理数据和运动数据依次进行缺失信息的补全操作、错误信息的删除操作、归一化及滑动窗口切割，用于进一步数据的处理；

行为信息分类模块用于：通过基于时空多特征提取的深度学习算法对人体当前行为进行判断；

行为信息应用模块用于：在监控设备上输出人体当前行为，并对人体当前行为的危险性进行判断和实时报警。

该***通过对传感器数据的处理和分析，实现对异常行为的实时报警，弥补了视频信息容易受障碍物和光线影响、隐私性差、功耗大的不足。在行为信息分类模块，提出了一种新的基于时空特征提取的深度学习框架，以学习不同时间尺度多传感器时间序列数据的时间和空间特征，更好的判断给定行为的差异和区分相似行为，有效提高复杂行为识别的准确率。

实施例2

根据实施例1所述的一种基于时空多特征提取的行为识别***，其区别在于：

行为信息采集模块包括行为信息类型选择单元、若干个运动数据感知单元和若干个生理数据感知单元，信息类型选择单元分别连接每个运动数据感知单元以及每个生理数据感知单元；

行为信息类型选择单元根据用户设定开启相应的运动数据感知单元或生理数据感知单元；运动数据感知单元包括若干个三轴加速度传感器和若干个三轴角速度传感器，用于采集人体的运动数据；生理数据感知单元包括若干个心率传感器、若干个皮肤电传感器，用于采集人体的生理数据。四种传感的采样频率根据用户需求设置为同一值。

行为信息类型选择单元为模式切换按键。用户按下按键即可调整开启的传感器类型。

行为信息多模态传输模块包括传输类型选择单元、若干个行为信息发送单元和行为信息接收单元；传输类型选择单元分别连接每个行为信息发送单元，每个行为信息发送单元均连接行为信息接收单元；

传输类型选择单元根据用户设定选择不同的行为信息发送单元和行为信息接收单元。

行为信息发送单元用于信息的发送；

行为信息接收单元用于信息的接收。

行为信息发送单元为LoRa节点、WiFi节点和4G/5G节点中的任一种，传输类型选择单元有LoRa、WiFi和4G/5G三种模式，行为信息接收单元为与信息发送单元对应的LoRa基站、WiFi网关和4G/5G基站中的任一种。用户可根据所处环境基站的布置和传输距离的不同，根据需求选择相应的数据传输模式。

行为信息预处理模块包括依次相连的多传感器数据融合单元、原始数据预处理单元、数据归一化单元和数据切割单元；

多传感器数据融合单元，用于将心率传感器、皮肤电阻传感器、三轴加速度传感器和三轴角速度传感器分别采集的心率值、皮肤电阻值、三轴加速度值和三轴角速度值，按照纵轴为时间戳，横轴为各个传感器的数据值，合并到同一个数组中，合并后的数组共8列，分别是心率值、皮肤电阻值、X轴加速度值、Y轴加速度值、Z轴加速度值、X轴角速度值、Y轴角速度值和Z轴角速度值，用于进一步数据的处理；

原始数据预处理单元，用于对缺失信息进行补全操作，以及对异常信息进行删除操作；对缺失信息进行补全操作是指：采用均值插补法，以缺失数据所在列的平均值作为缺失值；对异常信息进行删除操作是指：对于异常数据，如心率值小于50或大于150，采用直接删除异常数据所在行数据的方法；以提高数据的可靠性。

数据归一化单元，用于将不同量纲和不同量纲单位的传感器数据归一到同一量级，采用的最大值最小值归一化方法，把结果映射到[0,1]之间；以消除不同数据之间的量纲影响，对于变化中的连续动作，可以更好的关注不同类型数据的变化特征。

数据切割单元，用于将连续数据分割为大小相同的数据块，分割后的每个数据块代表一个行为完整的周期，数据的切割由滑动窗口实现，滑动窗口的窗口大小即为数据块的大小，滑动步长为滑动窗口每次移动的距离。

行为信息应用模块包括行为类型输出界面单元和报警单元，行为类型输出界面单元和报警单元均与行为类型判别单元相连；

行为类型输出界面单元实时输出当前使用者正在进行的行为类型；

报警单元根据用户设置的行为危险类型和程度与当前行为进行比较，一旦超过所设置阈值或者符合所设置的报警条件，立刻向监护者发送报警信息，所设阈值为心率低于50或心率高于150，即立刻向监护者发送生理异常信息；所设报警条件为行为类型包括攻击行为，行为类型为摔倒行为等异常行为类型，一旦判断当前行为符合所设置的报警条件，立刻向监护者发送行为异常信息。

行为类型输出界面单元在用户终端实时输出当前使用者正在进行的行为类型，终端包括手机端APP和PC端应用程序。发送方式同样为监护者的手机端APP或PC端应用程序。

实施例3

根据实施例2所述的一种基于时空多特征提取的行为识别***，其区别在于：

行为信息分类模块原理如图3所示；行为信息分类模块包括统计特征提取单元、时间特征提取单元、空间特征提取单元和行为类型判别单元；

数据切割单元分别连接所述统计特征提取单元和时间特征提取单元，时间特征提取单元连接所述空间特征提取单元，统计特征提取单元和所述空间特征提取单元均连接行为类型判别单元；

统计特征提取单元，用于提取多维统计特征，多维统计特征包括时域、频域的均值、方差、峰峰值、偏度、峰度；以关注时间序列的每个数据块的全局特征。

时间特征提取单元原理如图4所示，时间特征提取单元包括依次连接的两个GRU单元，用于对输入的传感器数据进行时间上的重编码，以保留传感器数据的时间特征；

空间特征提取单元原理如图5所示，空间特征提取单元包括依次连接的两个CNN单元，用于进一步提取输入传感器数据的空间特征；

CNN单元包括依次连接的卷积层、池化层及特征重标定卷积层；卷积层用于提取特征和权值共享；多层卷积可以得到更深层次的特征；池化层用于对卷积层得到的特征进行压缩，提取主要特征；以减少网络计算的复杂度；特征重标定卷积层用于对池化层处理后的特征重新赋予不同的权值；使重要特征拥有更大权值，以提高后续识别的准确率。

行为类型判别单元包括依次连接的全连接层、Softmax分类器，经过多尺度的特征提取后，数据集输出到所述全连接层，并经过Softmax分类器进行分类，输出最终的行为类型。

行为信息分类模块由本发明提出的一个新的深度学习框架构成，这个框架解决现有的深度学习方法在传感器数据处理方面特征提取不够全面的问题，关注特征的多样性，提高判别准确率。时间特征提取由两个GRU单元组成，空间特征提取由两个CNN单元组成，在每层CNN单元后面，本发明加入特征重标定卷积单元来关注各通道间的相互依赖关系。统计特征提取，包括了时域、频域的均值、方差、峰峰值等多维特征，因为它们可以关注时间序列的每个数据块的全局特征。经过多尺度的特征提取后，数据集输出到全连接层，最后经过Softmax分类器进行分类，整个流程经过多次的优化迭代，可输出最终的行为类型。

实施例4

实施例3所述的一种基于时空多特征提取的行为识别***的工作方法，如图2所示，包括步骤如下：

步骤S01：选择数据采集模式

***设定三种数据采集模式，以适用不同的数据采集场合。三种数据采集模式包括行为数据采集、生理数据采集以及行为数据和生理数据同时采集；根据行为识别所需数据采集模式的要求，选择加速度计、角速度计作为***的行为数据的传感器，选择心率传感器和皮肤电传感器数据作为***的生理数据的传感器，通过以上传感器多角度采集人体行为数据和生理数据，根据用户设定的数据采集模式，采集不同种类的数据；

步骤S02：选择数据传输模式

***设定三种数据传输模式，以适用不同的数据传输场合。三种数据传输模式包括WiFi传输、LoRa传输和4G/5G传输；用户根据实际需求，选择数据传输模式；

步骤S03：多传感器数据的合并

通过步骤S02，将心率传感器、皮肤电阻传感器、三轴加速度传感器和三轴角速度传感器分别采集的心率值、皮肤电阻值、三轴加速度值和三轴角速度值，按照纵轴为时间戳，横轴为各个传感器的数据值，合并到同一个数组中，合并后的数组共8列，分别是心率值、皮肤电阻值、X轴加速度值、Y轴加速度值、Z轴加速度值、X轴角速度值、Y轴角速度值和Z轴角速度值，该数组作为原始数据；

步骤S04：原始数据预处理

对缺失信息，采用均值插补法，以缺失数据所在列的平均值作为缺失值；对于异常数据，如心率值小于50或大于150，直接删除异常数据所在行数据；

步骤S05：数据归一化

将不同量纲和不同量纲单位的传感器数据归一到同一量级，把结果映射到[0,1]之间，实现公式如式(I)所示：

式(I)中，X_norm为处理后的数据，X∈Rⁿ为输入的原始数据，X_min为输入传感器数据的最小值，X_max为输入传感器数据的最大值。通过上述操作，以消除不同数据之间的量纲影响，对于变化中的连续动作，可以更好的关注不同类型数据的变化特征。

经过数据归一化后的数据可被表示为X_norm∈R^n×8，其中n是数据归一化后数据的总数，8是传感器通道的个数。

步骤S06：滑动窗口切割数据

由于行为识别是基于时间段的连续信号，采用滑动窗口的方式将步骤S05数据归一化处理后的连续数据分割为大小相同的数据块，分割后的每个数据块代表一个行为完整的周期；根据用户需求，针对用户所需要判断的行为类型，用户可预设相关参数，包括滑动窗口的大小和窗口的滑动方式。若传感器的采样频率为f，滑动窗口的大小n_window默认等于传感器的采样频率f，用户也可手动设置，可选的大小范围为0.5f～10f。窗口的滑动方式默认为窗口重叠50％，用户也可手动设置，可选的大小范围为10％～100％。当窗口的滑动方式选择为窗口重叠50％时，经过此步骤后，数据变为

其中N为分割后数据块的个数。

步骤S07：行为信息的分类

将步骤S06得到的数据块作为输入数据，通过GRU单元进行数据的时间编码。

通过CNN层提取有效空间特征，上述操作用来尽可能地保留数据的时间和空间特征。同时，数据的统计特征被添加到全连接的层中，通过全连接层与提取的空间特征的数据相连，再经过Softmax分类器，判别并输出行为的类型；本步骤中，用户设置的参数包括输入数据的大小、卷积核的大小、统计特征的类型和个数、全连接层神经元的个数等等。通过对预设的带标签的数据进行迭代训练，得到最优的深度学习模型。将实时采集的行为信息输入此模型，即可对实时行为进行类型的判别；

步骤S08：行为信息实时显示

将步骤S07判断出的行为类型实时在用户端界面更新，用户随时查看被监护者所处的行为状态；

步骤S09：行为异常程度判断

根据用户设置的行为危险类型和程度与当前行为进行比较，判断是否超过所设置阈值或者符合所设置的报警条件；若当前行为超过所设置阈值或者符合所设置的报警条件，进入步骤S10，否则，结束；

步骤S10：异常行为报警

向监护者发送报警信息。

步骤S07，包括步骤如下：

(1)数据经过时间特征提取单元，该层由两层GRU组成，GRU单元采用多对多的模式。一个GRU单元由更新门z_t和重置门r_t组成，更新门用于控制前一时刻的状态信息被带入到当前状态中的程度。重置门用于控制忽略前一时刻的状态信息的程度，具体操作如公式(II)～(VI)所示：

z_t＝σ(W_z·[h_t-1,x_t]) (II)

r_t＝σ(W_r·[h_t-1,x_t]) (III)

y_t＝σ(W_o·h_t) (VI)

其中，x_t为当前时刻的输入向量，h_t-1为上一时刻隐藏层向量，h_t为当前时刻GRU单元的隐藏层输出向量，

为候选输出向量，y_t为输出向量，σ()是Sigmoid函数，将数字压缩在(0,1)的范围，tanh()是双曲正切函数，将数字压缩在(-1,1)的范围，W_z、W_r、W_h、W_o均为GRU单元的权重矩阵；

在本层，输入n_batch个数据

n_window为输入的数据窗口长度，n_batch为一次在深度学习网络中运行的数据块的个数，8为多传感器的总通道数；经过时间特征提取单元，即经过两层GRU单元，实现对数据的时间编码，输出数据

y_{output_GRU}为GRU单元编码后的数据，n_GRUcell为GRU单元的个数；

(2)经过时间特征提取单元的数据，再经过空间特征提取单元，空间特征提取单元包括依次连接的两个CNN单元，CNN单元包括依次连接的卷积层、池化层及特征重标定卷积层；包括步骤如下：

(a)卷积层的操作如下：(i)每个卷积核都与上一层的特征图相连，输入数据与对应的连接权重进行加权求和；(ii)加入一个偏置项，将非线性激活函数应用于卷积核的输出；

卷积层a(x,y)如式(VII)所示：

式(VII)中，x、y是当前输入点的横、纵坐标，f是非线性激活函数，通常为Sigmoid函数或线性整流函数(Rectified Linear Unit,ReLU)；b表示偏置项；w^n,m表示卷积核在(n,m)位置的权重；N和M分别是卷积核的长度和宽度；u是上一层的特征图输出。

每个CNN单元的各个层的参数相同，卷积核的大小设置为n_filter×1，通道数设置为n_channel，步长设置为n_{filter_step}，卷积核的个数设置为n_depth。

(b)池化层在卷积层之后，池化层用于降低参数，选择最大池化作为池化的方式，池化层的大小设置为n_pooling×1，步长为n_{pooling_step}；

(c)特征重标定卷积层用于对空间特征按权值的进行重标定，特征重标定卷积层的操作步骤包括挤压(Squeeze)和激励(Excitation)；

(i)挤压：池化层输出的特征图u，通过全局平均池化(Global Average Pooling,GAP)被挤压，每个信道的挤压实现方式如公式(VIII)所示：

式(VIII)中，c代表特征图信道的个数，W×H是特征图的大小，经过计算，得到一个1×1×c的向量z_c；u_c()为第c信道的特征图、i,j分别是特征图中点的横、纵坐标；

(ii)激励：聚集挤压后的信息，向量z_c依次经过全连通层、ReLU激活函数层、全连通层，最后经过Sigmoid激活函数层，操作如公式(IX)所示：

s_c＝σ(W₁·δ(W₂·z_c)) (IX)

式(IX)中，

用于限制模型的复杂性，δ是ReLU函数，s_c为激励后的标量结果；

最后，如公式(X)所示，将每个通道的输出与对应的特征图相乘，完成对原始特征的重标定：

式(X)中，u_c为u的第c个特征图，

是经过特征重标定卷积的最终的输出结果；

数据经过时间特征提取单元的同时，也进入统计特征提取单元，为每一个传感器通道提取n_feature维的统计特征，设置所要提取的特征类型的个数为n_feature；

(3)经过空间特征提取单元的输出和经过统计特征提取单元的输出分别展开成一维数组并连接起来，后通过全连接层，全连接层隐藏单元的个数为设为n_FC；

(4)经过全连接层后的数据通过Softmax分类器，计算其对应行为的概率，概率最高的行为，即为最终的行为类型判断结果。

实施例5

实施例3所述的一种基于时空多特征提取的行为识别***的工作方法，以实时识别监狱中服刑人员的打架斗殴行为为例，通过给服刑人员佩戴内置加速度传感器、角速度传感器和心率传感器的手环，实时监控服刑人员的行为动作，当有打架斗殴行为发生时，向狱警实时报警，包括步骤如下：

步骤S01：选择数据采集模式

根据所需判断服刑人员攻击行为的需求，选择行为数据和生理数据同时采集，选择三轴加速度传感器和三轴角速度传感器计作为***的行为数据的传感器，选择心率传感器作为***的生理数据的传感器，通过以上传感器多角度采集人体行为数据和生理数据；根据监狱环境需求，选择LoRa传输作为数据传输模式。

步骤S02：选择数据传输模式

根据监狱环境需求，选择LoRa传输作为数据传输模式。选择LoRa节点完成行为数据的发送任务，LoRa基站作为数据的接收设备。

步骤S03：多传感器数据的合并

通过步骤S02，心率传感器、三轴加速度传感器和三轴角速度传感器分别采集的心率值、三轴加速度值和三轴角速度值，按照纵轴为时间戳，横轴为各个传感器的数据值，合并到同一个数组中，合并后的数组共7列，分别是心率值、X轴加速度值、Y轴加速度值、Z轴加速度值、X轴角速度值、Y轴角速度值和Z轴角速度值；该数组作为原始数据；采样频率为40Hz，其中加速度数据和角速度数据分别有3维，心率数据为1维，通过数组的拼接整合成为一个7维的数组，作为原始的信息输入。

步骤S04：原始数据预处理

对缺失信息，采用均值插补法，以缺失数据所在列的平均值作为缺失值；对于异常数据，如心率值小于50或大于150，直接删除异常数据所在行数据；

步骤S05：数据归一化

将不同量纲和不同量纲单位的传感器数据归一到同一量级，把结果映射到[0,1]之间，实现公式如式(I)所示：

式(I)中，X_norm为处理后的数据，X∈Rⁿ为输入的原始数据，X_min为输入传感器数据的最小值，X_max为输入传感器数据的最大值。通过上述操作，以消除不同数据之间的量纲影响，对于变化中的连续动作，可以更好的关注不同类型数据的变化特征。

经过数据归一化后的数据可被表示为X_norm∈R^n×7，其中n是数据归一化后数据的总数，7是传感器通道的个数。

步骤S06：滑动窗口切割数据

由于行为识别是基于时间段的连续信号，采用滑动窗口的方式将步骤S05数据归一化处理后的连续数据分割为大小相同的数据块，分割后的每个数据块代表一个行为完整的周期；针对打架斗殴行为的报警功能，鉴于打架斗殴行为发生的时间为1s左右，根据步骤S01，传感器的采样频率为40Hz，因此选择设置窗口的大小为40。窗口的滑动方式选择为50％的滑动窗口。

步骤S07：行为信息的分类

如图4所示，将步骤S06得到的数据块作为输入数据，通过GRU单元进行数据的时间编码，通过CNN层提取有效空间特征，上述操作用来尽可能地保留数据的时间和空间特征。同时，数据的统计特征被添加到全连接的层中，通过全连接层与提取的空间特征的数据相连，再经过Softmax分类器，判别并输出行为的类型；本步骤中，用户设置的参数包括输入数据的大小、卷积核的大小、统计特征的类型和个数、全连接层神经元的个数等等。通过对预设的带标签的数据进行迭代训练，得到最优的深度学习模型。将实时采集的行为信息输入此模型，即可对实时行为进行类型的判别；包括步骤如下：

在数据输入层中，输入的数据窗口长度为40，一次在深度学习网络中运行的数据块的个数为1000，多传感器的总通道数为7。

在时间特征提取层中，GRU隐藏单元的个数为128。

在空间特征提取层中，每个空间特征提取模块的各个部分的参数相同。卷积核的个数设置为64，卷积核的大小设置为16×1，步长为1，池化层的大小设置为4×1，步长为2。

在统计特征提取层中，共提取17维统计特征。

在输出层中，全连接层隐藏单元的个数设置为1000。

(1)数据经过时间特征提取单元，该层由两层GRU组成，GRU单元采用多对多的模式。一个GRU单元由更新门z_t和重置门r_t组成，更新门用于控制前一时刻的状态信息被带入到当前状态中的程度。重置门用于控制忽略前一时刻的状态信息的程度，具体操作如公式(II)～(VI)所示：

z_t＝σ(W_z·[h_t-1,x_t]) (II)

r_t＝σ(W_r·[h_t-1,x_t]) (III)

y_t＝σ(W_o·h_t) (VI)

式(II)～(VI)中，x_t为当前时刻的输入向量，h_t-1为上一时刻隐藏层向量，h_t为当前时刻GRU单元的隐藏层输出向量，

为候选输出向量，y_t为输出向量，σ()是Sigmoid函数，将数字压缩在(0,1)的范围，tanh()是双曲正切函数，将数字压缩在(-1,1)的范围，W_z、W_r、W_h、W_o均为GRU单元的权重矩阵；

在本层，输入1000个大小40×1×7的数据；经过时间特征提取单元，即经过两层GRU单元，实现对数据的时间编码，经过此GRU单元后，GRU模块采用多对多的模式，经过形状重塑后，输出1000个大小为1×40×128的数据，即为GRU编码后的数据。

(2)经过时间特征提取单元的数据，再经过空间特征提取单元，空间特征提取单元包括依次连接的两个CNN单元，CNN单元包括依次连接的卷积层、池化层及特征重标定卷积层。包括步骤如下：

(a)卷积层的操作如下：(i)每个卷积核都与上一层的特征图相连，输入数据与对应的连接权重进行加权求和；(ii)加入一个偏置项，将非线性激活函数应用于卷积核的输出；

卷积层a(x,y)如式(VII)所示：

式(VII)中，x、y是当前输入点的横、纵坐标，f是非线性激活函数，通常为Sigmoid函数或线性整流函数(Rectified Linear Unit,ReLU)；b表示偏置项；w^n,m表示卷积核在(n,m)位置的权重；N和M分别是卷积核的长度和宽度；u是上一层的特征图输出。

1000个大小为40×1×128的数据，经过空间特征提取层。本层包括两个包含卷积层、池化层和特征重标定层的空间特征提取模块。

(b)池化层在卷积层之后，用于降低参数，选择最大池化作为池化的方式。

(c)特征重标定卷积层用于对空间特征按权值的进行重标定，特征重标定卷积层的操作步骤包括挤压(Squeeze)和激励(Excitation)；

(i)挤压：池化层输出的特征图u，通过全局平均池化(Global Average Pooling,GAP)被挤压，每个信道的挤压实现方式如公式(VIII)所示：

式(VIII)中，c代表特征图信道的个数，W×H是特征图的大小，经过计算，得到一个1×1×c的向量z_c；u_c()为第c信道的特征图、i,j分别是特征图中点的横、纵坐标；

(ii)激励：下一步操作是聚集挤压后的信息，向量依次经过全连通层、ReLU激活函数层、全连通层，最后经过Sigmoid激活函数层，具体的操作如公式(IX)所示：

s_c＝σ(W₁·δ(W₂·z_c))(IX)

式(IX)中，

用于限制模型的复杂性，δ是ReLU函数，s_c为激励后的标量结果；

最后，如公式(X)所示，将每个通道的输出与对应的特征图相乘，完成对原始特征的重标定：

式(X)中，u_c为u的第c个特征图，

是经过特征重标定卷积的最终的输出结果；

数据经过时间特征提取单元的同时，也进入统计特征提取单元，为每一个传感器通道提取n_feature维的统计特征，设置所要提取的特征类型的个数为n_feature；

输入数据在经过时间特征提取层的同时，也进入统计特征提取层，为每一个传感器通道提取17维的统计特征。设置所要提取的特征类型的个数为17，此步骤输出的数据为1000个大小为17×7。

(3)经过空间特征提取层的输出和经过统计特征提取层的输出分别展开成一维数组并连接起来，后通过全连接层，全连接层隐藏单元的个数为1000，输出数据的大小为1000个1000×1的数组。

(4)数据最后通过Softmax分类器，将对1000个1000×1的数组计算对应行为的概率，概率最高的行为，即为最终的行为判断结果。

步骤S09：行为信息实时显示

将步骤S08判断出的行为类型实时在用户端界面更新，狱警可以随时查看服刑人员所处的行为状态。

步骤S10：行为异常程度判断

根据S08输出的行为类型，判断服刑人员当前行为是否属于打架斗殴行为和打架斗殴的严重程度。

步骤S11：异常行为报警

若判断服刑人员当前行为属于打架斗殴行为，立刻向狱警发送报警信息，狱警可及时制止此类行为。

实施例6

实施例3所述的一种基于时空多特征提取的行为识别***的工作方法，如图6所示，以处理公开数据集WISDM的数据为例，验证所提***及算法在行为识别上的准确率。包括步骤如下：

步骤S01：输入WISDM数据集

WISDM(Wireless Sensor Data Mining)数据集由美国Fordham大学传感器数据挖掘实验室推出，该数据集采集了36个志愿者的三轴加速度传感器数据，每个志愿者在前裤口袋里放置HTC Hero智能手机，手机内置加速度计的信号为BMA150，采样频率为20Hz。每个实验者均执行步行、慢跑、上楼梯、下楼梯、静坐、站立六种动作

步骤S02：原始数据预处理

对缺失信息，采用均值插补法，以缺失数据所在列的平均值作为缺失值；对于异常数据，直接删除异常数据所在行数据；

步骤S03：数据归一化

将不同量纲和不同量纲单位的传感器数据归一到同一量级，把结果映射到[0,1]之间；采用最大值最小值归一化方法，将不同量纲和不同量纲单位的传感器数据归一到同一量级，把结果映射到[0,1]之间，实现公式如式(I)所示：

式(I)中，X_norm为处理后的数据，X∈Rⁿ为输入的原始数据，X_min为输入传感器数据的最小值，X_max为输入传感器数据的最大值。通过上述操作，以消除不同数据之间的量纲影响，对于变化中的连续动作，可以更好的关注不同类型数据的变化特征。

步骤S04：滑动窗口切割数据

滑动窗口数据切割操作用于将连续数据分割为大小相同的数据块，分割后的每个数据块代表一个行为完整的周期。针对WISDM数据集，六种行为的发生时间为1s左右，传感器的采样频率为20Hz，因此选择设置窗口的大小为20。窗口的滑动方式选择为50％的滑动窗口。

步骤S05：行为信息的分类

如图4所示，输入数据通过GRU单元来完成数据的时间编码，然后通过包含特征重标定卷积的CNN层提取有效空间特征，上述操作用来尽可能地保留数据的时间和空间特征。同时，数据的统计特征被添加到全连接层中，通过全连接层与提取的空间特征数据相连，在经过Softmax分类器，判别并输出行为的类型。本步骤中，用户设置的参数包括输入数据的大小、卷积核的大小、统计特征的类型和个数、全连接层神经元的个数等等。通过对预设的带标签的数据进行迭代训练，得到最优的深度学习模型。将实时采集的行为信息输入此模型，即可对实时行为进行类型的判别。

具体的流程如下：

在数据输入层中，输入的数据窗口长度为20，一次在深度学习网络中运行的数据块的个数为1000，多传感器的总通道数为3。

在时间特征提取层中，GRU隐藏单元的个数为128。

在空间特征提取层中，每个空间特征提取模块的各个部分的参数相同。卷积核的个数设置为64，卷积核的大小设置为16×1，步长为1，池化层的大小设置为4×1，步长为2。

在统计特征提取层中，共提取17维统计特征。

在输出层中，全连接层隐藏单元的个数设置为1000。

(1)输入1000个大小20×1×3的数据。

(2)如图5所示，1000个大小为20×1×3的数据经过时间特征提取层，即经过两层GRU模块，为实现对数据的时间编码，GRU模块采用多对多的模式，经过形状重塑后，输出1000个大小为1×20×128的数据，即为GRU编码后的数据。

(3)如图6所示，1000个大小为20×1×128的数据，经过空间特征提取层。本层包括两个包含卷积层、池化层和特征重标定层的空间特征提取模块。

(4)输入数据在经过时间特征提取层的同时，也进入统计特征提取层，为每一个传感器通道提取17维的统计特征。设置所要提取的特征类型的个数为17，此步骤输出的数据为1000个大小为17×3。

(5)经过空间特征提取层的输出和经过统计特征提取层的输出分别展开成一维数组并连接起来，后通过全连接层，全连接层隐藏单元的个数为1000，输出数据的大小为1000个1000×1的数组。

(6)数据最后通过Softmax分类器，将对1000个1000×1的数组计算对应行为的概率，概率最高的行为，即为最终的行为判断结果。

步骤S06：输出判断结果

将步骤S05判断出的行为类型与实际行为类型对比，得到行为识别的准确率曲线和混淆矩阵，并同经典的CNN和GRU网络作为对比，以验证所提框架的准确性。所提框架的准确率达到97.63％，混淆矩阵如图7所示，混淆矩阵的斜对角展示了具体每个行为的识别准确率。与CNN和GRU的对比如图8所示。横轴为WISDM数据集的6种行为类型，纵轴为三种方法下的识别准确率，三种方法分别为CNN、GRU和所提框架。

Claims (9)

1.一种基于时空多特征提取的行为识别***，其特征在于，包括依次连接的行为信息采集模块、行为信息多模态传输模块、行为信息处理模块、行为信息应用模块；所述行为信息处理模块包括依次连接的行为信息预处理模块和行为信息分类模块，所述行为信息多模态传输模块连接所述行为信息预处理模块，所述行为信息分类模块连接所述行为信息应用模块；

所述行为信息采集模块用于：实时采集人体的生理数据和运动数据，生理数据包括心率值和皮肤电阻值，运动数据包括三轴加速度值和三轴角速度值；三轴为X轴、Y轴和Z轴，三轴加速度值包括X轴加速度值、Y轴加速度值和Z轴加速度值，三轴角速度值包括X轴角速度值、Y轴角速度值和Z轴角速度值；

所述行为信息多模态传输模块用于：将采集的人体的生理数据和运动数据传输至云服务器；

所述行为信息处理模块用于：将接收到的生理数据和运动数据通过所述行为信息预处理模块和所述信息分类模块，得到当前用户的行为类型；

所述行为信息预处理模块用于：对接收到的人体的生理数据和运动数据依次进行缺失信息的补全操作、错误信息的删除操作、归一化及滑动窗口切割；

所述行为信息分类模块用于：通过基于时空多特征提取的深度学习算法对人体当前行为进行判断；

所述行为信息应用模块用于：输出人体当前行为，并对人体当前行为的危险性进行判断和实时报警。

2.根据权利要求1所述的一种基于时空多特征提取的行为识别***，其特征在于，所述行为信息采集模块包括行为信息类型选择单元、若干个运动数据感知单元和若干个生理数据感知单元，所述信息类型选择单元分别连接每个运动数据感知单元以及每个生理数据感知单元；

所述行为信息类型选择单元根据用户设定开启相应的运动数据感知单元或生理数据感知单元；所述运动数据感知单元包括若干个三轴加速度传感器和若干个三轴角速度传感器，用于采集人体的运动数据；所述生理数据感知单元包括若干个心率传感器、若干个皮肤电传感器，用于采集人体的生理数据。

3.根据权利要求2所述的一种基于时空多特征提取的行为识别***，其特征在于，所述行为信息类型选择单元为模式切换按键。

4.根据权利要求2所述的一种基于时空多特征提取的行为识别***，其特征在于，所述行为信息多模态传输模块包括传输类型选择单元、若干个行为信息发送单元和行为信息接收单元；所述传输类型选择单元分别连接每个行为信息发送单元，每个行为信息发送单元均连接所述行为信息接收单元；

所述传输类型选择单元根据用户设定选择不同的行为信息发送单元和行为信息接收单元；

所述行为信息发送单元用于信息的发送；

所述行为信息接收单元用于信息的接收；

进一步优选的，所述行为信息发送单元为LoRa节点、WiFi节点和4G/5G节点中的任一种，所述传输类型选择单元有LoRa、WiFi和4G/5G三种模式，所述行为信息接收单元为与信息发送单元对应的LoRa基站、WiFi网关和4G/5G基站中的任一种。

5.根据权利要求4所述的一种基于时空多特征提取的行为识别***，其特征在于，所述行为信息预处理模块包括依次相连的多传感器数据融合单元、原始数据预处理单元、数据归一化单元和数据切割单元；

所述多传感器数据融合单元，用于将心率传感器、皮肤电阻传感器、三轴加速度传感器和三轴角速度传感器分别采集的心率值、皮肤电阻值、三轴加速度值和三轴角速度值，按照纵轴为时间戳，横轴为各个传感器的数据值，合并到同一个数组中，合并后的数组共8列，分别是心率值、皮肤电阻值、X轴加速度值、Y轴加速度值、Z轴加速度值、X轴角速度值、Y轴角速度值和Z轴角速度值；

所述原始数据预处理单元，用于对缺失信息进行补全操作，以及对异常信息进行删除操作；对缺失信息进行补全操作是指：采用均值插补法，以缺失数据所在列的平均值作为缺失值；对异常信息进行删除操作是指：对于异常数据，采用直接删除异常数据所在行数据的方法；

所述数据归一化单元，用于将不同量纲和不同量纲单位的传感器数据归一到同一量级，采用的最大值最小值归一化方法，把结果映射到[0,1]之间；

所述数据切割单元，用于将连续数据分割为大小相同的数据块，分割后的每个数据块代表一个行为完整的周期，数据的切割由滑动窗口实现，滑动窗口的窗口大小即为数据块的大小，滑动步长为滑动窗口每次移动的距离。

6.根据权利要求5所述的一种基于时空多特征提取的行为识别***，其特征在于，所述行为信息分类模块包括统计特征提取单元、时间特征提取单元、空间特征提取单元和行为类型判别单元；

所述数据切割单元分别连接所述统计特征提取单元和时间特征提取单元，所述时间特征提取单元连接所述空间特征提取单元，所述统计特征提取单元和所述空间特征提取单元均连接所述行为类型判别单元；

所述统计特征提取单元，用于提取多维统计特征，多维统计特征包括时域、频域的均值、方差、峰峰值、偏度、峰度；

所述时间特征提取单元包括依次连接的两个GRU单元，用于对输入的传感器数据进行时间上的重编码，以保留传感器数据的时间特征；

所述空间特征提取单元包括依次连接的两个CNN单元，用于进一步提取输入传感器数据的空间特征；

所述CNN单元包括依次连接的卷积层、池化层及特征重标定卷积层；卷积层用于提取特征和权值共享；池化层用于对卷积层得到的特征进行压缩，提取主要特征；特征重标定卷积层用于对池化层处理后的特征重新赋予不同的权值；

所述行为类型判别单元包括依次连接的全连接层、Softmax分类器，经过多尺度的特征提取后，数据集输出到所述全连接层，并经过Softmax分类器进行分类，输出最终的行为类型。

7.根据权利要求6所述的一种基于时空多特征提取的行为识别***，其特征在于，所述行为信息应用模块包括行为类型输出界面单元和报警单元，所述行为类型输出界面单元和所述报警单元均与所述行为类型判别单元相连；

所述行为类型输出界面单元实时输出当前使用者正在进行的行为类型；

所述报警单元根据用户设置的行为危险类型和程度与当前行为进行比较，一旦超过所设置阈值或者符合所设置的报警条件，立刻向监护者发送报警信息，即立刻向监护者发送生理异常信息；所设报警条件为行为类型，行为类型为异常行为类型，一旦判断当前行为符合所设置的报警条件，立刻向监护者发送行为异常信息。

8.权利要求7所述的基于时空多特征提取的行为识别***的工作方法，其特征在于，包括步骤如下：

步骤S01：选择数据采集模式

***设定三种数据采集模式，三种数据采集模式包括行为数据采集、生理数据采集以及行为数据和生理数据同时采集；根据行为识别所需数据采集模式的要求，选择加速度计、角速度计作为***的行为数据的传感器，选择心率传感器和皮肤电传感器数据作为***的生理数据的传感器，通过以上传感器多角度采集人体行为数据和生理数据，根据用户设定的数据采集模式，采集不同种类的数据；

步骤S02：选择数据传输模式

***设定三种数据传输模式，三种数据传输模式包括WiFi传输、LoRa传输和4G/5G传输；用户根据实际需求，选择数据传输模式；

步骤S03：多传感器数据的合并

通过步骤S02，将心率传感器、皮肤电阻传感器、三轴加速度传感器和三轴角速度传感器分别采集的心率值、皮肤电阻值、三轴加速度值和三轴角速度值，按照纵轴为时间戳，横轴为各个传感器的数据值，合并到同一个数组中，合并后的数组共8列，分别是心率值、皮肤电阻值、X轴加速度值、Y轴加速度值、Z轴加速度值、X轴角速度值、Y轴角速度值和Z轴角速度值，该数组作为原始数据；

步骤S04：原始数据预处理

对缺失信息，采用均值插补法，以缺失数据所在列的平均值作为缺失值；对于异常数据，如心率值小于50或大于150，直接删除异常数据所在行数据；

步骤S05：数据归一化

将不同量纲和不同量纲单位的传感器数据归一到同一量级，把结果映射到[0,1]之间，实现公式如式(I)所示：

式(I)中，X_norm为处理后的数据，X∈Rⁿ为输入的原始数据，X_min为输入传感器数据的最小值，X_max为输入传感器数据的最大值；

经过数据归一化后的数据被表示为X_norm∈R^n×8，n是数据归一化后数据的总数，8是传感器通道的个数；

步骤S06：滑动窗口切割数据

采用滑动窗口的方式将步骤S05数据归一化处理后的连续数据分割为大小相同的数据块，分割后的每个数据块代表一个行为完整的周期；根据用户需求，针对用户所需要判断的行为类型，用户预设相关参数，包括滑动窗口的大小和窗口的滑动方式；若传感器的采样频率为f，滑动窗口的大小n_window默认等于传感器的采样频率f，或者由用户手动设置，大小范围为0.5f～10f；窗口的滑动方式默认为窗口重叠50％，或者由用户手动设置，大小范围为10％～100％；

步骤S07：行为信息的分类

将步骤S06得到的数据块作为输入数据，通过GRU单元进行数据的时间编码；

通过CNN层提取有效空间特征，同时，数据的统计特征被添加到全连接的层中，通过全连接层与提取的空间特征的数据相连，再经过Softmax分类器，判别并输出行为的类型；

步骤S08：行为信息实时显示

将步骤S07判断出的行为类型实时在用户端界面更新，用户随时查看被监护者所处的行为状态；

步骤S09：行为异常程度判断

根据用户设置的行为危险类型和程度与当前行为进行比较，判断是否超过所设置阈值或者符合所设置的报警条件；若当前行为超过所设置阈值或者符合所设置的报警条件，进入步骤S10，否则，结束；

步骤S10：异常行为报警

向监护者发送报警信息。

9.根据权利要求8所述的基于时空多特征提取的行为识别***的工作方法，其特征在于，包括步骤如下：

(1)数据经过时间特征提取单元，时间特征提取单元包括两层GRU单元，GRU单元采用多对多的模式，GRU单元包括更新门z_t和重置门r_t，更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，重置门用于控制忽略前一时刻的状态信息的程度，操作如公式(II)～(VI)所示：

z_t＝σ(W_z·[h_t-1,x_t]) (II)

r_t＝σ(W_r·[h_t-1,x_t]) (III)

y_t＝σ(W_o·h_t) (VI)

式(II)～(VI)中，x_t为当前时刻的输入向量，h_t-1为上一时刻隐藏层向量，h_t为当前时刻GRU单元的隐藏层输出向量，为候选输出向量，y_t为输出向量，σ()是Sigmoid函数，将数字压缩在(0,1)的范围，tanh()是双曲正切函数，将数字压缩在(-1,1)的范围，W_z、W_r、W_h、W_o均为GRU单元的权重矩阵；

输入n_batch个数据

n_window为输入的数据窗口长度，n_batch为一次在深度学习网络中运行的数据块的个数，8为多传感器的总通道数；经过时间特征提取单元，即经过两层GRU单元，实现对数据的时间编码，输出数据

y_{output_GRU}为GRU单元编码后的数据，n_GRUcell为GRU单元的个数；

(2)经过时间特征提取单元的数据，再经过空间特征提取单元，空间特征提取单元包括依次连接的两个CNN单元，CNN单元包括依次连接的卷积层、池化层及特征重标定卷积层；包括步骤如下：

(a)卷积层的操作如下：(i)每个卷积核都与上一层的特征图相连，输入数据与对应的连接权重进行加权求和；(ii)加入一个偏置项，将非线性激活函数应用于卷积核的输出；

卷积层a(x,y)如式(VII)所示：

式(VII)中，x、y是当前输入点的横、纵坐标，f是非线性激活函数，为Sigmoid函数或线性整流函数；b表示偏置项；w^n,m表示卷积核在(n,m)位置的权重；N和M分别是卷积核的长度和宽度；u是上一层的特征图输出；

每个CNN单元的各个层的参数相同，卷积核的大小设置为n_filter×1，通道数设置为n_channel，步长设置为n_{filter_step}，卷积核的个数设置为n_depth；

(b)池化层用于降低参数，选择最大池化作为池化的方式，池化层的大小设置为n_pooling×1，步长为n_{pooling_step}；

(c)特征重标定卷积层用于对空间特征按权值的进行重标定，特征重标定卷积层的操作步骤包括挤压和激励；

(i)挤压：池化层输出的特征图u，通过全局平均池化被挤压，每个信道的挤压实现方式如公式(VIII)所示：

式(VIII)中，c代表特征图信道的个数，W×H是特征图的大小，经过计算，得到一个1×1×c的向量z_c；u_c()为第c信道的特征图、i,j分别是特征图中点的横、纵坐标；

(ii)激励：聚集挤压后的信息，向量z_c依次经过全连通层、ReLU激活函数层、全连通层，最后经过Sigmoid激活函数层，操作如公式(IX)所示：

s_c＝σ(W₁·δ(W₂·z_c)) (IX)

式(IX)中，

用于限制模型的复杂性，δ是ReLU函数，s_c为激励后的标量结果；

最后，如公式(X)所示，将每个通道的输出与对应的特征图相乘，完成对原始特征的重标定：

式(X)中，u_c为u的第c个特征图，

是经过特征重标定卷积的最终的输出结果；

数据经过时间特征提取单元的同时，也进入统计特征提取单元，为每一个传感器通道提取n_feature维的统计特征，设置所要提取的特征类型的个数为n_feature；

(3)经过空间特征提取单元的输出和经过统计特征提取单元的输出分别展开成一维数组并连接起来，后通过全连接层，全连接层隐藏单元的个数为设为n_FC；

(4)经过全连接层后的数据通过Softmax分类器，计算其对应行为的概率，概率最高的行为，即为最终的行为类型判断结果。

Images