CN109447162B - 一种基于Lora和Capsule的实时行为识别***及其工作方法 - Google Patents

Abstract

本发明涉及一种基于Lora和Capsule的实时行为识别***及其工作方法，该***包括行为信息物理层、行为信息接入层、行为信息平台层、行为信息应用层。本发明将行为信息接入层的传输采用Lora节点、Lora基站，实现远距离、低功耗的行为信息传输；对行为信息不确定性进行了不一致和不完备性方面的处理，提高行为信息的可信度；采用Capsule自动获取有用特征以及特征之间的空间关系来进行行为识别，在精度方面有了很大的提升。

Description

一种基于Lora和Capsule的实时行为识别***及其工作方法

技术领域

本发明涉及一种基于Lora和Capsule的实时行为识别***及其工作方法，属于人工智能与模式识别的技术领域。

背景技术

行为识别***是通过获取人的行为信息，经过合理的模型实现行为的***。随着物联网、人工智能、大数据和云计算等先进技术的发展和成熟，越来越多的学者开始关注行为识别方向的研究。行为识别已经成为人工智能与模式识别研究领域中一个炙手可热的研究方向，加之可穿戴设备的发展为人体行为识别提供了良好的契机。如今，人体行为识别技术已经在游戏、人体运动分析、智能家居、人机交互以及医疗诊断和监护等领域得到了初步应用。

行为识别***所需要的行为信息主要来自以下两个方面：

1、基于视觉的行为信息——通过摄像设备采集视觉行为信息。

2、基于传感器的行为信息——通过智能硬件采集体征行为信息。

目前，市面上主流的行为识别技术主要是对基于视觉的行为信息进行识别。虽然两种行为信息的获取方式都可以通过相应的算法实现人体行为的实时识别，但基于视觉行为信息获取的方式存在一定的弊端，在摄像设备的盲区或环境比较昏暗的场景中很多行为信息无法获取。例如：在卫生间内进行打架斗殴时，管理者无法了解卫生间内发生的情况，所以通过单一的视觉行为信息进行行为识别存在很多的缺陷。

另外，目前行为识别***中信息的传输技术主要以蓝牙、ZigBee、WiFi、3G、4G为主。主流的传输技术在传输距离和功耗方面不可兼得，因此，要想实现实时行为识别，需要一种低功耗、传输距离远的传输技术。Loa是由Semtech公司发布的无线电调制解调技术。该技术具有Lora-WAN协议、Lora私有协议、CLASS协议、数据透传四个类别，相较于其他低功耗广域物联网技术，该技术在功耗、自组网等方面存在很大的优势。

***进行行为识别的模型主要采用机器学习、深度学习等算法。目前，主流的机器学习主要有K近邻算法(KNN)、支持向量机(SVM)、随机森林、神经网络等；主流的深度学习算法主要有深度神经网络(DNN)、卷积神经网络(CNN)、循环(递归)神经网络(RNN)、深度信念网络(DBN)等。主流算法都是根据行为信息特征进行行为识别，所以输入行为信息只要存在一定的特征就会被分成某一类行为。例如：行为信息1100和0011分别表示起立和坐下，1010和0101表示打架行为，主流的算法可能将只要有两个1和两个0特征的行为信息判断是打架行为，因此如果输入行为信息的特征为0101、1100、0011或1010将都会被认为是打架行为，但实际上1100或0011表示的是起立或坐下行为。这主要是由于现有的主流算法只考虑行为信息是否包含某些特征，而不考虑这些特征的空间特性，所以在一定程度上会造成误判，降低行为识别的准确率。Geoffrey Hinton于2017年提出胶囊网络的概念，胶囊网络不仅可以标识行为信息是否具有某些特征，同时还可以标识各个特征之间的空间关系。本发明采用的胶囊网络算法模型在行为识别的准确率方面有了较高的提升。

发明内容

针对目前行为信息获取的单一性、传输方式的特殊性和预测模型的误判性，本发明提出了一种基于Lora和Capsule的实时行为识别***。

本发明还公开了上述***的工作方法。

发明概述：

基于Lora和Capsule的实时行为识别***，首先，通过设备质量(QoD)参数对智能硬件进行筛选和设计，通过智能设备对行为信息进行采集，然后，将行为信息通过Lora节点进行传输，此时Lora基站将接收到行为信息。由于此时的行为信息为原始行为信息，***需要对原始行为信息进行不确定性检测，将行为信息中具备不完备或不一致的信息通过上下文预测填充、补0、删除等方法进行处理，从而提高行为信息的可信度。接下来，对经过不确定性处理的行为信息进行标准化和基于时间序列的截取，标准化是为了提高模型的准确率和泛化能力，通过滑动窗口机制进行行为信息的截取是为了模型输入的归一化和提高模型的准确率。再然后，是在搭建的网络架构模型下将带有标签的行为信息集合进行训练，在不断优化损失函数的同时找到最佳模型。将实时采集的行为信息传入模型，实现行为的实时识别。最后，***会根据用户体验质量(QoE)和服务质量(QoS)对预设的阈值和模型参数进行调整，提高***的稳定性、准确率和适用性。

本发明为基于传感器的实时行为识别提供了一种可行的方案，弥补了基于视频行为识别时所造成的缺陷，多源行为信息为提高行为识别的准确率奠定了基础。基于Capsule网络的深度学习模型在行为识别方面的应用也大大提高了行为识别的准确率。

本发明的技术方案为：

一种基于Lora和Capsule的实时行为识别***，包括依次连接的行为信息物理层、行为信息接入层、行为信息平台层、行为信息应用层；

所述行为信息物理层用于：从环境中感知、采集、存储、传输用户的行为信息，行为信息包括：加速度、角速度、心率；

所述行为信息接入层用于：将采集的行为信息通过低功耗广域物联网进行组网传输；

所述行为信息平台层用于：对行为信息依次进行不确定性检测、标准化和基于时间序列的截取、在搭建的网络架构模型下将带有标签的行为信息集合进行训练，在不断优化损失值的同时找到最佳模型；不确定性检测是指：将行为信息中不完备或不一致的信息通过上下文预测填充、补0、删除方法进行处理，提高行为信息的可信度；标准化是对数值型数据进行归一化处理，从而提高模型的准确率和泛化能力；基于时间序列的截取是指通过滑动窗口机制进行行为信息的截取，以保证模型输入的归一化，提高模型的准确率；

所述行为信息应用层用于：调节整个实时行为识别***稳定性和自适应性。

本发明在传输技术、信息处理、行为识别和行为应用等四个方面提出了一个相对优化的***，弥补了目前市面上行为识别实时性差、无法在特定区域使用的不足，在行为识别的准确率方面也有了进一步的提升，使***具备了稳定性。

根据本发明优选的，所述行为信息物理层即行为信息采集模块，所述行为信息采集模块包括传感器模块和若干个智能硬件模块；所述传感器模块包括若干不同类型的传感器，所述智能硬件模块分别连接若干不同类型的传感器，所述智能硬件模块用于控制传感器感知用户不同类型的行为信息，并把感知到的行为信息进行存储。

行为信息采集模块中通过各个子模块的QoD参数、应用场景和用户需求来进行子模块的选取和智能设备的设计，QoD参数主要包括传感器模块的采样频率、使用寿命、精度等。

智能硬件模块采用了Lora进行行为信息的传输。传输技术是指充分利用不同信道的传输能力构成一个完整的传输***，使信息得以可靠传输的技术。随着社会的进步和无线技术的发展，在丢包率要求不高的前提下，无线传输的便利性被进一步的放大。目前主流的无线技术主要有WiFi、蓝牙、ZigBee、3G、4G等，各无线技术在传输距离和功耗方面都处于不可兼得的态势，但是为了实现实时行为识别，行为信息的传输需要一种功耗低、传输距离远的无线技术。低功耗局域网(LPWAN)是解决当前形势的主要技术，因此本发明采用了Lora进行行为信息的传输。

根据本发明优选的，所述行为信息接入层即行为信息传输模块，所述行为信息传输模块包括行为信息发送模块和行为信息接收模块；所述行为信息发送模块连接所述智能硬件模块，用于将行为信息发送至所述行为信息接收模块。

进一步优选的，所述信息发送模块为Lora节点，所述行为信息接收模块为Lora基站。

根据本发明优选的，所述行为信息平台层即行为信息预处理模块，所述行为信息预处理模块包括依次连接的行为信息检测模块、行为信息不确定性消除模块、行为信息处理模块、网络架构模块；

所述行为信息检测模块包括不一致性检测/量化单元和不完备性检测/量化单元；

所述行为信息不确定性消除模块包括不一致性消除单元和不完整性消除单元；

所述行为信息处理模块包括依次连接的行为信息标准化单元、行为信息滑窗单元；

所述网络架构模块包括依次连接的卷积层单元、Capsule层一单元、Capsule层二单元、全连接层单元；

所述行为信息接收模块即网关连接所述行为信息检测模块；

所述行为信息接收模块接收到的行为信息即原始行为信息输入到所述行为信息检测模块，通过所述不一致性检测/量化单元和所述不完备性检测/量化单元对原始行为信息进行不确定性的检测，所述不一致性检测/量化单元检测同一时刻不同类型的行为信息是否存在异议，所述不完备性检测/量化单元检测同一时刻感知的行为信息是否存在丢失；

如果发现行为信息具有不确定性，则通过所述不完整性消除单元和所述不一致性消除单元进行不确定性的消除，所述不完整性消除单元对同一时刻感知行为信息存在的丢失情况通过删除法、补0法、上下文预测填充法进行处理，所述不一致性消除单元对不一致信息通过投票选举、硬件的QoD最优原则、D-S(Dempster-Shafer)证据论、模糊集的方式进行处理，进入所述行为信息标准化单元；如果发现行为信息不存在不确定性，则直接进入所述行为信息标准化单元；通过所述行为信息标准化单元和所述行为信息滑窗单元进行处理，所述行为信息标准化单元通过规范化、归一化方法进行处理，提高识别准确率和适用性；所述行为信息滑窗单元通过调节滑动窗口的大小和滑动窗口的滑动方式对行为信息进行基于时间序列的截取；

将处理完毕的行为信息输入到训练好的网络架构模型中，通过网络架构模型实现行为识别；所述卷积层单元对行为信息提取特征，进行特征标量到矢量的转换，所述Capsule层一单元用于将输入的行为信息转换成具有空间特性的行为信息；所述Capsule层二单元通过动态路由协议对行为信息进行处理；所述全连接层单元将行为信息特征转变为有序的一维特征，最后通过Softmax分类器将所有特征进行运算，识别出当前的行为。

网络架构模块主要工作是根据行为信息来做出识别，在人工智能、模式识别领域中，机器学习的提出可以切实的体会到人工智能的强大，深度学习的提出在识别率方面有了一个长足的进步。但是机器学习模型和深度学习模型关注的重点都是输入信息中是否包含了一些特征值。本发明中采用的基于Capsule的网络架构不仅对行为信息所具有的特征进行了关注，还加入了行为信息特征的空间关系，提高了行为识别的准确率。

行为预处理模块主要是通过对行为信息的预处理提高行为信息的可信度。相比较一些***直接对原始行为信息进行行为识别而言，本发明在经过行为信息预处理之后会在稳定性和准确率等方面有很大的提升。本发明主要对原始信息进行不确定性分析，通过对行为信息不确定性的类别以及程度进行相应的处理。在信息标准化方面，本发明提供了规范化方法、归一化方法。通过调节滑动窗口的大小和滑动窗口的滑动方式对行为信息进行基于时间序列的截取。

根据本发明优选的，所述行为信息应用层包括行为信息阈值设置模块、行为应用层调整模块，所述行为应用层调整模块包括依次连接的行为识别单元、用户反馈单元、错误修正单元；

行为信息阈值设置模块用于调节行为信息不确定性消除模块中的阈值，从而对监测数据是否存在不确定性，并调整不确定性处理模块选择数据处理方式；行为识别单元用于对当前行为做实时识别；所述用户反馈单元根据不同的场景和用户需求对预设的阈值和网络架构模块的参数进行调整，在一定程度内提高了***的适用性；错误修正单元不断的调整网络架构模块，让网络架构模块一直处于最优状态。

通过所述的错误修正单元对识别错误率较高时进行参数调整，所述的用户反馈单元用户通过调节***参数以适用于不同的场景。

上述基于Lora和Capsule的实时行为识别***及其工作方法，包括步骤如下：

步骤S01：传感器感知行为信息

根据行为识别所需要的原始行为信息、传感器的QoD参数筛选不同厂家、不同类型的传感器，传感器的QoD参数包括：采样频率、使用寿命、精度，例如：对于需要重点监护的用户可以采用采样频率高、精度高的传感器进行行为信息的感知，对于一般用户可以采用采样频率普通、精度普通传感器进行行为信息的感知；传感器感知用户不同类型的行为信息；

步骤S02：设计智能硬件模块

根据方案要求选择合适的智能硬件模块，通过智能硬件模块控制各个传感器，并采集行为识别***所需的行为信息；

步骤S03：行为信息的发送

根据实时行为识别的要求，可以排除现在主流的一些无线传输方式，例如3G、4G、ZigBee、蓝牙等。低功耗广域网是一种较为适合的传输方式，由于NB-IoT即将投入民用，考虑到私密性，本***采用Lora节点进行行为信息的发送；

步骤S04：行为信息的接收

采用Lora基站接收行为信息；行为信息的发送设备采用Lora节点，与之相对应的行为信息的接收采用Lora基站。

步骤S05：行为信息的不确定性检测

设定行为信息阈值范围，例如设定行为信息的正确率不低于85％，当行为信息的正确率低于85％时，则认为信息为不确定性行为信息，通过不一致性检测/量化单元、不完备性检测/量化单元依次对原始行为信息进行不一致性检测/量化、不完备性检测/量化，得到检测结果，当原始行为信息存在不一致、不完备时，执行步骤S05，否则，执行步骤S06；原始行为信息是指步骤S01传感器感知的用户不同类型的行为信息；

步骤S06：行为信息的不确定性消除

不完备性消除单元通过行为信息不确定性检测的阈值，选用不同的方法对行为信息进行处理，当行为信息的正确率为85％-90％时，针对行为信息采用上下文预测填充法进行处理，当行为信息的正确率为90％-95％时，针对行为信息采用补0法进行处理，当行为信息的正确率为95％-100％时，针对行为信息采用删除法进行处理；

不一致性消除单元对不一致信息进行处理，处理方法包括投票选举、硬件的QoD最优原则、D-S(Dempster-Shafer)证据论、模糊集；提高原始行为信息的可信度；

步骤S07：行为信息的处理

通过行为信息标准化单元对可信度较高的行为信息进行标准化；行为信息的标准化针对不同类型的数据使用不同的标准化方式，包括：针对类别型特征的数据，采用独热编码(one-hot编码)标准化；针对数值型特征的数据，采用归一化处理标准化；针对有序型特征的数据，采用有序型数值编码标准化；标准化可以让***具备很好的扩展性。

参照用户预设的参数，用户预设的参数包括：滑动窗口的大小和窗口的滑动方式，通过行为信息滑窗单元对标准化处理后的行为信息进行滑动窗口处理，使行为信息变为输入网络架构模块的信息块；

步骤S08：行为信息网络架构

通过卷积层单元、Capsule层一单元，Capsule层二单元、全连接层单元构建一个四层的网络架构模型，参照用户设置的参数，用户设置的参数主要包括：输入数据的现状、大小、卷积层核大小、个数等一系列参数，通过若干次迭代对具有标签的行为信息进行训练，训练过程中通过降低损失函数来不断优化模型参数以及Capsule层单元中的动态路由协议，最终得到识别率高的网络架构模型；

步骤S09：行为信息的识别

将实时采集的行为信息输入到已经训练好的网络架构模型中进行当前行为的实时识别；

步骤S10：错误检测

判断当前行为识别是否发生错误，如发现存在错误，则执行步骤S11，否则执行步骤S12；

步骤S11：错误修正

错误修正单元对行为信息阈值范围、行为信息处理模块的相应参数进行调整；行为信息阈值范围包括不确定性检测的阈值范围，行为信息处理模块的相应参数包括行为信息滑窗单元中的滑动窗口的大小和窗口的滑动方式；当识别错误较多时，适当的提高行为信息的阈值范围，同时将滑动窗口的大小和窗口的滑动方式变小。

步骤S12：用户反馈检测

判断***是否存在用户反馈信息，如存在反馈信息，则执行步骤S13。

步骤S13：用户反馈

用户反馈单元对对行为信息阈值范围、行为信息处理模块的相应参数进行反馈调整。

根据本发明优选的，所述步骤S08，

所述网络架构模块包括依次连接的卷积层单元、Capsule层一单元、Capsule层二单元、全连接层单元；

设置卷积层单元中卷积核个数为N₁，每个卷积核大小为1×Nuclear_Size₁，步长为L₁；

设置Capsule层一单元中卷积核个数为N₂，每个卷积核大小为1×Nuclear_Size₂，步长为L₂；

设置Capsule层二单元的输出长度为Num_Output维行为信息，每个维度采用Vec_Lenv个行为信息特征；

设置全连接层单元中输出长度为Output_Length；

包括步骤如下：

(1)输入一个Batch_Size×1×Window_Size×3大小的行为信息，Batch_Size是指一次在网络架构模块中运行的行为信息的个数，Window_Size是指每次输入网络架构模块的长度；

(2)当Batch_Size×1×Window_Size×3大小的行为信息经过卷积层单元之后，通过式(Ⅰ)将输入的行为信息由标量转换成矢量：

式(Ⅰ)中，X_i是指行为信息经过不确定性、标准化、基于时间序列的滑动窗口处理之后的每个信息；W_ij是指卷积层单元的权重参数，初始值默认为生成截断正态分布的随机数；

b_j是指卷积层单元的偏置参数，初始值默认为0.0；

n表示卷积核的个数；

Y_j是表示卷积层输出；

输出信息大小为：

其中需要保证前面公式中分数的结果为正整数。此时的输出结果是一个矢量行为信息，满足了Capsule网络的输入要求；

(3)令

把以上M组卷积层封装在Capsule网络中，将矢量的行为信息Y_j输入到Capsule层一单元，通过式(Ⅱ)将输入的行为信息转换成具有空间特性的行为信息；

式(Ⅱ)中，W_jl是指Capsule层一单元的权重参数，初始值默认为生成截断正态分布的随机数；

b_l是指Capsule层一单元的偏置参数，初始值默认为0.0；

squsah()函数是一种新的非线性函数，类似于之前常见的tanh()、relu()等非线性函数，squsah()函数是面向矢量信息的非线性处理；而其他非线性函数主要是针对标量信息的处理；

是指Capsule网络输出的矢量行为信息特征；

经过Capsule层一单元后输出的信息大小为：

(4)将具有空间特性的行为信息输入到Capsule层二单元，通过动态路由协议即式(Ⅲ)、(Ⅳ)将行为信息进行处理；

式(Ⅲ)、(Ⅳ)中，

b_ik是指Capsule层一单元中第i个神经元和Capsule层二单元中第k个神经元的动态路由权重；

b_ij是指Capsule层一单元中第i个神经元和Capsule层二单元中第j个神经元的动态路由权重；

是指每个Capsule层的输出；

S_j是指Capsule层二单元经过动态路由协议之后输出的行为信息特征。

是指出网络架构的矢量输出；

Capsule层二单元处理后输出的信息大小为：Batch_Size×Num_Output×Vec_Lenv×1；

(5)通过全连接层单元将行为信息由矢量转换成标量；

经过全连接层单元后输出的信息大小为：

Batch_Size×Output_Length×1；

(6)加入Softmax分类器，通过Softmax分类器进行行为信息的分类识别；通过将信息大小为Batch_Size×Output_Length×1的行为信息特征经过分类器进行各个行为概率的求解，找出对应的各类概率数值最大的行为，网络架构模块最终的识别结果即概率数值最大的行为。

本发明的有益效果为：

1、实用性：

实时人体行为识别对于传输介质以及准确率有较高的要求，本发明很好的实现了行为信息的低功耗、远距离传输；同时在行为识别的准确率方面也具备了一定的优势。

2、自适应性：

针对不同的应用场景，通过用户反馈单元(QoE)和错误修正单元(QoS)对***中的参数进行调整，提高***的自适应性，为用户提供个性化、智能化的服务。其中可调节的参数包括：不一致性检测/量化单元的阈值和不完备性检测/量化单元的阈值，行为信息标准化单元中的标准化方式和行为信息滑窗单元中的滑动窗口大小和滑动的方式，网络架构模块中的迭代次数、学习速率和训练迭代次数等参数。

3、高可靠性：

基于视觉行为信息单一信息源在加入基于传感器的行为信息之后，行为识别***会更加的完善；同时与主流的模型算法进行行为识别相较而言，本发明在准确率方面有了进一步的提升。在实时性方面也有很好的稳定性。

附图说明

图1是本发明基于Lora和Capsule的实时行为识别***主模块结构框架及连接关系示意图。

图2是本发明基于Lora和Capsule的实时行为识别***实现的模块组成及连接关系示意图。

图3是本发明基于Lora和Capsule的实时行为识别***工作流程示意图。

图4是本发明基于Lora和Capsule的实时行为识别***的行为识别示意图。

图5是本发明基于Lora和Capsule的实时行为识别***的行为识别中Capsule层一单元、Capsule层二单元工作原理示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例和说明书附图1-5对本发明的技术方案进行清楚、完整的描述，显然，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

一种基于Lora和Capsule的实时行为识别***，如图1所示，包括依次连接的行为信息物理层、行为信息接入层、行为信息平台层、行为信息应用层；

行为信息物理层用于：从环境中感知、采集、存储、传输用户的行为信息，行为信息包括：加速度、角速度、心率；

行为信息接入层用于：将采集的行为信息通过低功耗广域物联网中的Lora技术进行组网传输；

行为信息平台层用于：对行为信息依次进行不确定性检测、标准化和基于时间序列的截取、在搭建的网络架构模型下将带有标签的行为信息集合进行训练，在不断优化损失值的同时找到最佳模型；不确定性检测是指：将行为信息中不完备或不一致的信息通过上下文预测填充、补0、删除方法进行处理，提高行为信息的可信度；标准化是对数值型数据进行归一化处理，从而提高模型的准确率和泛化能力；基于时间序列的截取是指通过滑动窗口机制进行行为信息的截取，以保证模型输入的归一化，提高模型的准确率；

行为信息应用层用于：调节整个实时行为识别***稳定性和自适应性。

本发明在传输技术、信息处理、行为识别和行为应用等四个方面提出了一个相对优化的***，弥补了目前市面上行为识别实时性差、无法在特定区域使用的不足，在行为识别的准确率方面也有了进一步的提升，使***具备了稳定性。

实施例2

根据实施例1所述的一种基于Lora和Capsule的实时行为识别***，如图2所示，其区别在于，

行为信息物理层即行为信息采集模块，行为信息采集模块包括传感器模块和若干个智能硬件模块；传感器模块包括若干不同类型的传感器，智能硬件模块分别连接若干不同类型的传感器，智能硬件模块用于控制传感器感知用户不同类型的行为信息，并把感知到的行为信息进行存储。

行为信息采集模块中通过各个子模块的QoD参数、应用场景和用户需求来进行子模块的选取和智能设备的设计，QoD参数主要包括传感器模块的采样频率、使用寿命、精度等。

智能硬件模块采用了Lora进行行为信息的传输。传输技术是指充分利用不同信道的传输能力构成一个完整的传输***，使信息得以可靠传输的技术。随着社会的进步和无线技术的发展，在丢包率要求不高的前提下，无线传输的便利性被进一步的放大。目前主流的无线技术主要有WiFi、蓝牙、ZigBee、3G、4G等，各无线技术在传输距离和功耗方面都处于不可兼得的态势，但是为了实现实时行为识别，行为信息的传输需要一种功耗低、传输距离远的无线技术。低功耗局域网(LPWAN)是解决当前形势的主要技术，因此本发明采用了Lora进行行为信息的传输。

行为信息接入层即行为信息传输模块，行为信息传输模块包括行为信息发送模块和行为信息接收模块；行为信息发送模块连接所述智能硬件模块，用于将行为信息发送至行为信息接收模块。

信息发送模块为Lora节点，所述行为信息接收模块为Lora基站。鉴于实时性和场景的需求，本发明选取Lora节点和Lora基站作为传输介质。

行为信息平台层即行为信息预处理模块，行为信息预处理模块包括依次连接的行为信息检测模块、行为信息不确定性消除模块、行为信息处理模块、网络架构模块；

行为信息检测模块包括不一致性检测/量化单元和不完备性检测/量化单元；行为信息不确定性消除模块包括不一致性消除单元和不完整性消除单元；行为信息处理模块包括依次连接的行为信息标准化单元、行为信息滑窗单元；网络架构模块包括依次连接的卷积层单元、Capsule层一单元、Capsule层二单元、全连接层单元；

行为信息接收模块即网关连接行为信息检测模块；

行为信息接收模块接收到的行为信息即原始行为信息输入到行为信息检测模块，通过不一致性检测/量化单元和不完备性检测/量化单元对原始行为信息进行不确定性的检测，不一致性检测/量化单元检测同一时刻不同类型的行为信息是否存在异议，不完备性检测/量化单元检测同一时刻感知的行为信息是否存在丢失；

如果发现行为信息具有不确定性，则通过不完整性消除单元和所述不一致性消除单元进行不确定性的消除，不完整性消除单元对同一时刻感知行为信息存在的丢失情况通过删除法、补0法、上下文预测填充法进行处理，不一致性消除单元对不一致信息通过投票选举、硬件的QoD最优原则、D-S(Dempster-Shafer)证据论、模糊集的方式进行处理，进入行为信息标准化单元；QoC指标是指用于描述行为信息质量的指标，包括完整性、可信度和更新度等；如果发现行为信息不存在不确定性，则直接进入行为信息标准化单元；通过行为信息标准化单元和行为信息滑窗单元进行处理，行为信息标准化单元通过规范化、归一化方法进行处理，提高识别准确率和适用性；行为信息滑窗单元通过调节滑动窗口的大小和滑动窗口的滑动方式对行为信息进行基于时间序列的截取；

将处理完毕的行为信息输入到训练好的网络架构模型中，通过网络架构模型实现行为识别；所述卷积层单元对行为信息提取特征，进行特征标量到矢量的转换，Capsule层一单元用于将输入的行为信息转换成具有空间特性的行为信息；Capsule层二单元通过动态路由协议对行为信息进行处理；全连接层单元将行为信息特征转变为有序的一维特征，最后通过Softmax分类器将所有特征进行运算，识别出当前的行为。

网络架构模块主要工作是根据行为信息来做出识别，在人工智能、模式识别领域中，机器学习的提出可以切实的体会到人工智能的强大，深度学习的提出在识别率方面有了一个长足的进步。但是机器学习模型和深度学习模型关注的重点都是输入信息中是否包含了一些特征值。本发明中采用的基于Capsule的网络架构不仅对行为信息所具有的特征进行了关注，还加入了行为信息特征的空间关系，提高了行为识别的准确率。

行为预处理模块主要是通过对行为信息的预处理提高行为信息的可信度。相比较一些***直接对原始行为信息进行行为识别而言，本发明在经过行为信息预处理之后会在稳定性和准确率等方面有很大的提升。本发明主要对原始信息进行不确定性分析，通过对行为信息不确定性的类别以及程度进行相应的处理。在信息标准化方面，本发明提供了规范化方法、归一化方法。通过调节滑动窗口的大小和滑动窗口的滑动方式对行为信息进行基于时间序列的截取。

行为信息应用层包括行为信息阈值设置模块、行为应用层调整模块，行为应用层调整模块包括依次连接的行为识别单元、用户反馈单元、错误修正单元；

行为信息阈值设置模块用于调节行为信息不确定性消除模块中的阈值，从而对监测数据是否存在不确定性，并调整不确定性处理模块选择数据处理方式；行为识别单元用于对当前行为做实时识别；所述用户反馈单元根据不同的场景和用户需求对预设的阈值和网络架构模块的参数进行调整，在一定程度内提高了***的适用性；错误修正单元不断的调整网络架构模块，让网络架构模块一直处于最优状态。行为识别单元主要根据行为信息和合理的模型来进行行为识别；QoS指标值是指服务质量，根据服务质量产生相应的调整信息，然后反馈至行为信息预处理模块；获取用户对整个应用服务的QoE指标值，并产生反馈信息，传输到行为信息预处理模块；QoE指标值是用于表达用户对应用服务满意程度的用户评分指标，主要作用为调整预设的QoC指标值。

实施例3

实施例2所述基于Lora和Capsule的实时行为识别***及其工作方法，如图3所示，以打架斗殴行为识别为例，监狱中的罪犯可能在心理和生理方面都和常人稍有区别，在对待问题角度可能会有偏激的行为。为了防止过激行为造成严重的影响和危害，***通过加速度传感器S1、角速度传感器S2、心率传感器S3来获取罪犯在一天中的行为信息，经过信息预处理之后提高信息的可信度，然后通过训练好的模型进行实时行为识别。监狱管理者可以根据不同的场景和不同的罪犯来设置不同的参数进行实时行为识别。具体步骤包括：

步骤S01：获取QoD参数

主要的QoD参数包括：传感器的精度、采样间隔和手环的材质。传感器的精度分别为0.94、0.80、0.88，采样间隔分别为0.02s-1s，材质主要由橡胶、合金等材质构成。

步骤S02：设计采集设备

根据传感器QoD参数、罪犯的需求以及关押等级来进行智能硬件的设计，对于重点监管对象，行为信息采集设备的设计可以采用采样频率高的、识别精度高的、不易破坏的材质，针对表现良好的、轻度监管对象，设计可以考虑采用采样频率较低的、识别普通的、造价稍低的材质来进行设计。

步骤S03：行为信息的发送

根据保密性以及活动范围的大小，采用Lora节点进行行为信息的发送；

步骤S04：行为信息的接收

采用Lora基站接收行为信息；行为信息的发送设备采用Lora节点，与之相对应的行为信息的接收采用Lora基站。

步骤S05：行为信息的不确定性检测

不完备性检测/量化单元将阈值设置为0.85，即每秒接收到的行为信息中有85％的信息缺失则认为原始行为信息存在不完备；

不一致性检测/量化单元将阈值设置为0.8，即每秒接收到的行为信息相似度低于0.8时则判定该组原始行为信息存在不一致。

根据设定的行为信息阈值范围对原始行为信息进行不一致性检测/量化、不完备性检测/量化来对原始行为信息进行分析，发现原始行为信息存在不一致、不完备等不确定性时，执行步骤S06，否则执行步骤S07。

步骤S06：行为信息的不确定性消除

若发现原始行为信息存在不完备性时，***中可以将不完备的行为信息删除、或将不完备的信息进行补0、或根据上下文信息预测将不完备行为信息进行填充，***默认选择根据上下文信息预测将不完备行为信息进行填充；

若发现原始行为信息存在不一致性，***可以将不一致性信息按照投票选举原则进行修改、或将不一致信息根据信息获取硬件的QoD最优原则来进行修改、或将不一致信息使用D-S证据论的方法求出可信度进行修改，***默认选择将不一致性信息按照投票选举原则进行修改。

经过行为信息的不确定性消除之后，大大的提高了原始行为信息的可信度和为后续行为信息的处理和行为的识别提供了可靠性。

步骤S07：行为信息的处理

行为信息的标准化单元主要对同一类行为信息进行标准化，***中可使用的标准化主要是规范化方法、或归一化方法，***默认的标准化为归一化方法；

行为信息滑窗单元主要对行为信息进行基于时间序列的截取，***主要提供了滑动窗口的大小和滑动的方式两类参数，滑动窗口的大小有40、60、80、100，滑动方式主要有基于一半时间序列的滑动和基于全部时间序列的滑动，***默认的滑动窗口的大小为80，滑动方式为基于一半时间序列的滑动。

步骤S08：行为信息网络架构

通过卷积层单元、Capsule层一单元，Capsule层二单元、全连接层单元构建一个四层的网络架构模块，参照用户预设的一些参数，通过N次迭代来对具有标签的行为信息进行训练，训练过程中不断的优化损失函数来优化模块参数以及Capsule层单元中的动态路由协议，最终得出识别率较高的模块。其中训练集可以选取所有人的行为信息，也可以选取某一个人的行为信息进行训练模块，然后对某一个人进行行为识别。由于该方案需要庞大的行为信息和需要较大的资源支持，建议只针对部分重量级罪犯进行使用，***默认选取整个监区罪犯的行为信息数据库进行训练模块。如图4所示，本实例中所采用模块的具体实现流程如下所示：

设置卷积层单元中卷积核个数为256，每个卷积核大小为1×41，步长为1；

设置Capsule层一单元中卷积核个数为32，每个卷积核大小为1×21，步长为2；

设置Capsule层二单元的输出长度为8维行为信息，每个维度采用16个行为信息特征；

设置全连接层单元中输出的长度为6；

包括步骤如下：

(1)输入一个5×1×80×3大小的行为信息；

(2)当5×1×80×3大小的行为信息经过卷积层单元之后，通过式(Ⅰ)将输入的行为信息由标量转换成矢量：

式(Ⅰ)中，X_i是指行为信息经过不确定性、标准化、基于时间序列的滑动窗口处理之后的每个信息；W_ij是指卷积层单元的权重参数，初始值默认为生成截断正态分布的随机数；

b_j是指卷积层单元的偏置参数，初始值默认为0.0；

n表示卷积核的个数；

Y_j是表示卷积层输出；

输出信息大小为：5×1×40×256；其中需要保证前面公式中分数的结果为正整数。此时的输出结果是一个矢量行为信息，满足了Capsule网络的输入要求；

(3)如图5所示，把以上8组卷积层封装在Capsule中，将卷积层单元输出的结果输入到Capsule层一单元，通过式(Ⅱ)将输入的行为信息转换成具有空间特性的行为信息；

式(Ⅱ)中，W_jl是指Capsule层一单元的权重参数，初始值默认为生成截断正态分布的随机数；

b_l是指Capsule层一单元的偏置参数，初始值默认为0.0；

squsah()函数是一种新的非线性函数，类似于之前常见的tanh()、relu()等非线性函数，squsah()函数是面向矢量信息的非线性处理；而其他非线性函数主要是针对标量信息的处理；

是指Capsule网络输出的矢量行为信息特征；

经过Capsule层一单元后输出的信息大小为：5×320×8×1；

(4)将Capsule层一单元输出结果作为Capsule层二单元的输入信息，通过动态路由协议即式(Ⅲ)、(Ⅳ)将行为信息进行处理；

式(Ⅲ)、(Ⅳ)中，

b_ik是指Capsule层一单元中第i个神经元和Capsule层二单元中第k个神经元的动态路由权重；

b_ij是指Capsule层一单元中第i个神经元和Capsule层二单元中第j个神经元的动态路由权重；

是指每个Capsule层的输出；

S_j是指Capsule层二单元经过动态路由协议之后输出的行为信息特征。

是指出网络架构的矢量输出；

Capsule层二单元处理后输出的信息大小为：5×12×16×1；

(5)通过全连接层单元将行为信息由矢量转换成标量；

经过全连接层单元后输出的信息大小为：5×192×1；

(6)加入Softmax分类器，通过Softmax分类器进行行为信息的分类识别；通过将信息大小为5×192×1的行为信息特征经过分类器进行各个行为概率的求解，找出对应的各类概率数值最大的行为，网络架构模块最终的识别结果即概率数值最大的行为。

***可调节参数主要有动态路由迭代次数、学习速率和训练迭代次数等参数，动态路由迭代次数的设置为1—10；学习速率的设置为0.1、0.01、0.001；和训练迭代次数的设置为1—50。***默认参数依次为5、0.01、40。

步骤S09：行为信息的识别

将实时采集的行为信息输入到已经训练好的网络架构模型中进行当前行为的实时识别；

步骤S10：错误检测

判断当前行为识别是否发生错误，如发现存在错误，则执行步骤S11，否则执行步骤S12；

步骤S11：错误修正

错误修正单元对行为信息阈值范围、行为信息处理模块的相应参数进行调整；行为信息阈值范围包括不确定性检测的阈值范围，行为信息处理模块的相应参数包括行为信息滑窗单元中的滑动窗口的大小和窗口的滑动方式；当识别错误较多时，适当的提高行为信息的阈值范围，同时将滑动窗口的大小和窗口的滑动间隔变小；

步骤S12：用户反馈检测

判断***是否存在用户反馈信息，如存在反馈信息，则执行步骤S13。

步骤S13：用户反馈

根据不同用户所处不同环境来进行一个反馈信息，调整用户预设置的一些参数来调整行为信息处理模块和网络架构模块。可以调节的参数包括：原始行为信息检测模块中的不一致性检测/量化单元的阈值和不完备性检测/量化单元的阈值，行为信息处理模块中的行为信息标准化单元中的标准化方式和行为信息滑窗单元中的滑动窗口大小和滑动的方式，网络架构模块中的迭代次数、学习速率和训练迭代次数等。

Claims (4)

1.一种基于Lora和Capsule的实时行为识别***，其特征在于，包括依次连接的行为信息物理层、行为信息接入层、行为信息平台层、行为信息应用层；

所述行为信息物理层用于：从环境中感知、采集、存储、传输用户的行为信息，行为信息包括：加速度、角速度、心率；

所述行为信息接入层用于：将采集的行为信息通过低功耗广域物联网进行组网传输；

所述行为信息平台层用于：对行为信息依次进行不确定性检测、标准化和基于时间序列的截取、在搭建的网络架构模型下将带有标签的行为信息集合进行训练，在不断优化损失值的同时找到最佳模型；不确定性检测是指：将行为信息中不完备或不一致的信息通过上下文预测填充、补0、删除方法进行处理，提高行为信息的可信度；标准化是对数值型数据进行归一化处理；基于时间序列的截取是指通过滑动窗口机制进行行为信息的截取；

所述行为信息应用层用于：调节整个实时行为识别***稳定性和自适应性；

所述行为信息物理层即行为信息采集模块，所述行为信息采集模块包括传感器模块和若干个智能硬件模块；所述传感器模块包括若干不同类型的传感器，所述智能硬件模块分别连接若干不同类型的传感器，所述智能硬件模块用于控制传感器感知用户不同类型的行为信息，并把感知到的行为信息进行存储；

所述行为信息接入层即行为信息传输模块，所述行为信息传输模块包括行为信息发送模块和行为信息接收模块；所述行为信息发送模块连接所述智能硬件模块，用于将行为信息发送至所述行为信息接收模块；

所述行为信息发送模块为Lora节点，所述行为信息接收模块为Lora基站；

所述行为信息平台层即行为信息预处理模块，所述行为信息预处理模块包括依次连接的行为信息检测模块、行为信息不确定性消除模块、行为信息处理模块、网络架构模块；

所述行为信息检测模块包括不一致性检测/量化单元和不完备性检测/量化单元；

所述行为信息不确定性消除模块包括不一致性消除单元和不完整性消除单元；

所述行为信息处理模块包括依次连接的行为信息标准化单元、行为信息滑窗单元；

所述网络架构模块包括依次连接的卷积层单元、Capsule层一单元、Capsule层二单元、全连接层单元；

所述行为信息接收模块即网关连接所述行为信息检测模块；

所述行为信息接收模块接收到的行为信息即原始行为信息输入到所述行为信息检测模块，通过所述不一致性检测/量化单元和所述不完备性检测/量化单元对原始行为信息进行不确定性的检测，所述不一致性检测/量化单元检测同一时刻不同类型的行为信息是否存在异议，所述不完备性检测/量化单元检测同一时刻感知的行为信息是否存在丢失；

如果发现行为信息具有不确定性，则通过所述不完整性消除单元和所述不一致性消除单元进行不确定性的消除，所述不完整性消除单元对同一时刻感知行为信息存在的丢失情况通过删除法、补0法、上下文预测填充法进行处理，所述不一致性消除单元对不一致信息通过投票选举、硬件的QoD最优原则、D-S证据论、模糊集的方式进行处理，进入所述行为信息标准化单元；如果发现行为信息不存在不确定性，则直接进入所述行为信息标准化单元；通过所述行为信息标准化单元和所述行为信息滑窗单元进行处理，所述行为信息标准化单元通过规范化、归一化方法进行处理，提高识别准确率和适用性；所述行为信息滑窗单元通过调节滑动窗口的大小和滑动窗口的滑动方式对行为信息进行基于时间序列的截取；

将处理完毕的行为信息输入到训练好的网络架构模型中，通过网络架构模型实现行为识别；所述卷积层单元对行为信息提取特征，进行特征标量到矢量的转换，所述Capsule层一单元用于将输入的行为信息转换成具有空间特性的行为信息；所述Capsule层二单元通过动态路由协议对行为信息进行处理；所述全连接层单元将行为信息特征转变为有序的一维特征，最后通过Softmax分类器将所有特征进行运算，识别出当前的行为。

2.根据权利要求1所述的一种基于Lora和Capsule的实时行为识别***，其特征在于，

所述行为信息应用层包括行为信息阈值设置模块、行为应用层调整模块，所述行为应用层调整模块包括依次连接的行为识别单元、用户反馈单元、错误修正单元；

行为信息阈值设置模块用于调节行为信息不确定性消除模块中的阈值，从而对监测数据是否存在不确定性，并调整不确定性处理模块选择数据处理方式；行为识别单元用于对当前行为做实时识别；所述用户反馈单元根据不同的场景和用户需求对预设的阈值和网络架构模块的参数进行调整，错误修正单元不断的调整网络架构模块，让网络架构模块一直处于最优状态。

3.权利要求2所述的基于Lora和Capsule的实时行为识别***的工作方法，其特征在于，包括步骤如下：

步骤S01：传感器感知行为信息

根据行为识别所需要的原始行为信息、传感器的QoD参数筛选不同厂家、不同类型的传感器，传感器的QoD参数包括：采样频率、使用寿命、精度，传感器感知用户不同类型的行为信息；

步骤S02：设计智能硬件模块

根据方案要求选择合适的智能硬件模块，通过智能硬件模块控制各个传感器，并采集行为识别***所需的行为信息；

步骤S03：行为信息的发送

采用Lora节点进行行为信息的发送；

步骤S04：行为信息的接收

采用Lora基站接收行为信息；

步骤S05：行为信息的不确定性检测

设定行为信息阈值范围，当原始行为信息存在不一致、不完备时，执行步骤S05，否则，执行步骤S06；原始行为信息是指步骤S01传感器感知的用户不同类型的行为信息；

步骤S06：行为信息的不确定性消除

不完备性消除单元通过行为信息不确定性检测的阈值，选用不同的方法对行为信息进行处理，当行为信息的正确率为85％-90％时，针对行为信息采用上下文预测填充法进行处理，当行为信息的正确率为90％-95％时，针对行为信息采用补0法进行处理，当行为信息的正确率为95％-100％时，针对行为信息采用删除法进行处理；

不一致性消除单元对不一致信息进行处理，处理方法包括投票选举、硬件的QoD最优原则、D-S证据论、模糊集；提高原始行为信息的可信度；

步骤S07：行为信息的处理

通过行为信息标准化单元对可信度较高的行为信息进行标准化；行为信息的标准化针对不同类型的数据使用不同的标准化方式，包括：针对类别型特征的数据，采用独热编码标准化；针对数值型特征的数据，采用归一化处理标准化；针对有序型特征的数据，采用有序型数值编码标准化；

参照用户预设的参数，用户预设的参数包括：滑动窗口的大小和窗口的滑动方式，通过行为信息滑窗单元对标准化处理后的行为信息进行滑动窗口处理，使行为信息变为输入网络架构模块的信息块；

步骤S08：行为信息网络架构

通过卷积层单元、Capsule层一单元，Capsule层二单元、全连接层单元构建一个四层的网络架构模型，参照用户设置的参数，通过若干次迭代对具有标签的行为信息进行训练，训练过程中通过降低损失函数来不断优化模型参数以及Capsule层单元中的动态路由协议，最终得到识别率高的网络架构模型；

步骤S09：行为信息的识别

将实时采集的行为信息输入到已经训练好的网络架构模型中进行当前行为的实时识别；

步骤S10：错误检测

判断当前行为识别是否发生错误，如发现存在错误，则执行步骤S11，否则执行步骤S12；

步骤S11：错误修正

错误修正单元对行为信息阈值范围、行为信息处理模块的相应参数进行调整；行为信息阈值范围包括不确定性检测的阈值范围，行为信息处理模块的相应参数包括行为信息滑窗单元中的滑动窗口的大小和窗口的滑动方式；

步骤S12：用户反馈检测

判断***是否存在用户反馈信息，如存在反馈信息，则执行步骤S13；

步骤S13：用户反馈

用户反馈单元对对行为信息阈值范围、行为信息处理模块的相应参数进行反馈调整。

4.根据权利要求3所述的基于Lora和Capsule的实时行为识别***的工作方法，其特征在于，所述步骤S08，所述网络架构模块包括依次连接的卷积层单元、Capsule层一单元、Capsule层二单元、全连接层单元；

设置卷积层单元中卷积核个数为N₁，每个卷积核大小为1×Nuclear_Size₁，步长为L₁；

设置Capsule层一单元中卷积核个数为N₂，每个卷积核大小为1×Nuclear_Size₂，步长为L₂；

设置Capsule层二单元的输出长度为Num_Output维行为信息，每个维度采用Vec_Lenv个行为信息特征；

设置全连接层单元中输出长度为Output_Length；

包括步骤如下：

(1)输入一个Batch_Size×1×Window_Size×3大小的行为信息，Batch_Size是指一次在网络架构模块中运行的行为信息的个数，Window_Size是指每次输入网络架构模块的长度；

(2)当Batch_Size×1×Window_Size×3大小的行为信息经过卷积层单元之后，通过式(Ⅰ)将输入的行为信息由标量转换成矢量：

式(Ⅰ)中，X_i是指行为信息经过不确定性、标准化、基于时间序列的滑动窗口处理之后的每个信息；W_ij是指卷积层单元的权重参数，初始值默认为生成截断正态分布的随机数；

b_j是指卷积层单元的偏置参数，初始值默认为0.0；

n表示卷积核的个数；

Y_j是表示卷积层输出；

输出信息大小为：

(3)令

把以上M组卷积层封装在Capsule网络中，将矢量的行为信息Y_j输入到Capsule层一单元，通过式(Ⅱ)将输入的行为信息转换成具有空间特性的行为信息；

式(Ⅱ)中，m＝M，W_jl是指Capsule层一单元的权重参数，初始值默认为生成截断正态分布的随机数；

b_l是指Capsule层一单元的偏置参数，初始值默认为0.0；

squsah()函数是一种新的非线性函数；

是指Capsule网络输出的矢量行为信息特征；

经过Capsule层一单元后输出的信息大小为：

(4)将具有空间特性的行为信息输入到Capsule层二单元，通过动态路由协议即式(Ⅲ)、(IV)将行为信息进行处理；

式(Ⅲ)、(IV)中，

b_ik是指Capsule层一单元中第i个神经元和Capsule层二单元中第k个神经元的动态路由权重；

b_ij是指Capsule层一单元中第i个神经元和Capsule层二单元中第j个神经元的动态路由权重；

是指每个Capsule层的输出；

S_j是指Capsule层二单元经过动态路由协议之后输出的行为信息特征；

是指出网络架构的矢量输出；

Capsule层二单元处理后输出的信息大小为：Batch_Size×Num_Output×Vec_Lenv×1；

(5)通过全连接层单元将行为信息由矢量转换成标量；

经过全连接层单元后输出的信息大小为：

Batch_Size×Output_Length×1；

(6)加入Softmax分类器，通过Softmax分类器进行行为信息的分类识别；通过将信息大小为Batch_Size×Output_Length×1的行为信息特征经过分类器进行各个行为概率的求解，找出对应的各类概率数值最大的行为，网络架构模块最终的识别结果即概率数值最大的行为。

Images