CN109325428A - 基于多层次端到端神经网络的人类活动姿态识别方法 - Google Patents

Abstract

本发明公开了一种基于多层次端到端神经网络的人类活动姿态识别方法，包括以下步骤：采集人类活动姿态的带标签数据，采用滑窗切割所述带标签数据，得到数段等距的第一带标签数据窗，利用基于步态的数据增强算法处理所述第一带标签数据窗以获得数段第二带标签数据窗；采用所述第一带标签数据窗和第二带标签数据窗对多层次端到端神经网络训练。采集任一人类活动姿态的原始数据，并对所述原始数据进行滑窗切割，得到数段连续的待识别的动作数据窗；将所述待识别的动作数据窗依次导入经训练的多层次端对端神经网络，判别人类活动姿态的类型。本发明具有识别准确率高、计算复杂度低、功耗低等优点，在医疗技术、行为监督等领域具有广阔的市场前景。

Description

基于多层次端到端神经网络的人类活动姿态识别方法

技术领域

本发明涉及医疗技术领域，尤其是基于多层次端到端神经网络的人类活动姿态识别方法。

背景技术

人类行为识别一直以来是十分热门的研究领域，它的目的是通过一系列的观察，对人的动作类型、行为模式进行分析和识别，并使用自然语言等方式对其加以描述。随着机器学习算法的突破，人类行为识别的准确率越来越高，这使得人类行为识别进入了生活的方方面面。人体行为识别技术具有广泛的应用前景和非常可观的经济价值，涉及的应用领域主要包括:视频监控、医疗诊断和监护、智能人机交互、虚拟现实等。在视频监控领域，传统的视频监控主要依赖于人力的监督识别，这使得对关键区域难以达到长期有效的监控。使用人类行为识别技术不仅可以对关键区域实现长期的有效的监控，还能识别介入视频的相关人员的行为，从而有针对地提出警告。在医疗监护领域，可以对老年人的摔倒，过久躺着等异常行为进行无人监控，准确及时地发出报警信号。另外，还可以对术后康复病人提供长期的步态监督和分析，有目的向病人和医生发生信息，辅助医生对病人的治疗。在人机交互和虚拟现实领域，能够分析更加复杂的用户动作，增加设备的沉浸感和娱乐性，进一步满足用户的需求。

基于传感器的人类行为识别***，首先是从放置在腰部，大腿处，脚踝，手腕等地方的加速计，陀螺仪，磁力计等一系列运动传感器中采集数据。接着，在对数据进行预处理之后使用KNN、SVM、RF、神经网络等方法分类判别。以识别常见的分类行为中的走路，跑步，上楼，下楼，曲臂等。

传统的识别方法通常是在进行人类行为识别时，首先使用特征工程对原始的传感器数据手工地提取特征，以获得其时域、频域等特征，然后再使用经典的机器学习算法分类。也有一些研究人员在使用了特征工程后，再使用了神经网络算法来进行分类。这些方法在人类行为识别上取得了不错的效果的，但是使用特征工程存在以下不足之处：

第一，通常需要提取大量复杂的特征，引入了大量的功耗。

第二，当存在新的行为时，可能需要花费大量的精力去寻找新的特征。

第三，限于人类的知识与经验缺陷，识别准确率往往是有限的。

为了解决以上问题，不少研究人员使用了端到端的神经网络算法来进行人类行为识别。端到端的神经网络能够自动地学习特征，省去了寻找合适特征的麻烦，并且避免了人类先验知识的缺陷，其准确率较高。然而，现有的结构中存在有些行为特征相近，使得人类活动行为难以区分的情况。不仅如此，由于涉及到神经网络，计算复杂度比较高，而功耗也比较高，同时神经网络还需要大量的训练数据。

发明内容

针对上述问题，本发明的目的在于提供一种基于多层次端到端神经网络的人类活动姿态识别方法，本发明采用的技术方案如下：

基于多层次端到端神经网络的人类活动姿态识别方法，采用数个布设在人体表面、且用于采集人类活动姿态的原始数据和带标签数据的运动传感器；所述运动传感器包括加速计、陀螺仪、磁力计，包括以下步骤：

多层次端到端神经网络训练：利用运动传感器采集人类活动姿态的带标签数据，采用滑窗切割所述带标签数据，得到数段等距的第一带标签数据窗，利用基于步态的数据增强算法处理所述第一带标签数据窗以获得数段第二带标签数据窗；采用所述第一带标签数据和第二带标签数据窗对多层次端到端神经网络训练。

分层次识别：利用所述运动传感器采集任一人类活动姿态的原始数据，并对所述原始数据进行滑窗切割，得到数段连续的待识别的动作数据窗；将所述待识别的动作数据窗依次导入经训练的多层次端对端神经网络，判别人类活动姿态的类型。

进一步地，其中，利用基于步态的数据增强算法处理所述第一带标签数据窗以获得数段第二带标签数据窗，包括以下步骤：

步骤S11，提取两段具有相同标签的第一带标签数据窗，从所述两段第一带标签数据窗中各选取任一一步态周期的数据。

步骤S12，判断一步态周期的数据的时间长度，并以时间长度最长的一步态周期的数据为基准，采用插值法延伸剩余选取的一步态周期的数据，获得时间长度相同的一步态周期的数据。

步骤S13，求得步骤S12中时间长度相同的一步态周期的数据的平均值，得到过渡的标签数据窗。

步骤S14，采用周期延拓将所述步骤S13中过渡的标签数据窗延拓至第一带标签数据窗的长度，获得步骤S11中选取的任一一步态周期的数据对应的第二带标签数据窗。

步骤S15，重复步骤S11至步骤S14，获得数段第二带标签数据窗。

优选地，所述多层次端到端神经网络为p层次，所述p为大于等于2的正整数；其中，采用所述第一带标签数据窗和第二带标签数据窗对多层次端到端神经网络训练，包括以下步骤：

步骤S21，所述运动传感器采集人类活动姿态的带标签数据、数段第一带标签数据窗和数段第二带标签数据窗内均设有m个原始动作行为标签；将所述原始动作行为标签分为n个第一动作行为标签和非第一动作行为标签，并将n个第一动作行为标签和非第一动作行为标签标记为第一层次标签；将所述第一层次标签对应的数据窗导入第一层次端到端神经网络，以实现第一层次端到端神经网络的训练；所述m为大于1的自然数，且所述n为大于0、且小于m的自然数。

步骤S22，剔除R个第j-1动作行为标签，并将所述非第j-1动作行为标签分为W个第j动作行为标签和非第j动作行为标签，将W个第j动作行为标签和非第j动作行为标签标记为第j层次标签；将所述第j层次标签对应的数据窗导入第j层次端到端神经网络，以实现第j层次端到端神经网络的训练；所述R为大于0、且小于m的自然数；所述j为大于1、且小于等于p的自然数；所述W为大于0、且小于m的自然数；所述j等于2的动作行为标签即为第一动作行为标签。

步骤S23，重复步骤S22，依次对多层次端到端神经网络进行训练。

更进一步地，其中，将所述待识别的动作数据窗依次导入经训练的多层次端对端神经网络，判别人类活动姿态的类型，包括以下步骤：

步骤S31，将所述待识别的动作数据窗导入第一层次端到端神经网络，判断所述待识别的动作数据窗是否为第一动作行为标签对应的第一行为，若是，则输出识别的第一行为；否则进入步骤S32。

步骤S32，将所述待识别的动作数据窗导入第j-1层次端到端神经网络，判断所述待识别的动作数据窗是否为第j-1动作行为标签对应的第j-1行为，若是，则输出识别的第j-1行为；否则，将待识别的动作数据窗导入第j层次端到端神经网络；所述j为大于1、且小于等于p的自然数。

步骤S33，重复步骤S32，直至待识别的动作数据窗识别完成。

优选地，所述人类活动姿态的类型包括上楼、下楼、步行、慢跑、站立、坐。

进一步地，所述标签数据窗内包括数个连续的数据点，且所述带标签数据滑窗切割，包括以下步骤：

步骤S41，获取带标签数据，并以长度为l₁切取带标签数据的起始端的数据，得到带标签数据的起始数据窗；所述l₁为大于等于1的自然数。

步骤S42，以带标签数据的第i个数据窗的的数据点为起点，长度为l₁划分并获得带标签数据的第i+1个数据窗；所述i为大于等于1的自然数；所述M为大于等于1且小于l₁的自然数；所述i等于1的数据窗即为带标签数据的起始数据窗。

步骤S43，重复步骤S42，直至带标签数据切割完成，得到数段等距的第一带标签数据窗。

更进一步地，所述待识别的动作数据窗内包括数个连续的数据点，且所述原始数据滑窗切割，包括以下步骤：

步骤S51，获取原始数据，并以长度为l₁切取原始数据的起始端的数据，得到原始数据的起始动作数据窗；所述l₁为大于等于1的自然数。

步骤S52，以原始数据的第i个动作数据窗的的数据点为起点，长度为l₁划分获得原始数据的第i+1个动作数据窗；所述i为大于等于1的自然数；所述i等于1的动作数据窗即为原始数据的起始动作数据窗；所述M为大于等于1且小于l₁的数。

步骤S53，重复步骤S52，直至原始数据切割完成，得到数段连续的待识别的动作数据窗。

与现有技术相比，本发明具有以下有益效果：

(1)本发明采用运动传感器采集人类活动姿态的带标签数据，该带标签数据为确定的运动姿态，使用滑窗切割获得多段等距的带标签数据窗，再使用基于步态的数据增强算法以获得更多的神经网络训练所需的训练数据。如此设计有效，利用基于步态的数据增强算法获得更多的带标签数据窗，从而提升神经网络的识别准确率。

(2)本发明采用端到端的神经网络识别方法，与传统的特征提取相比，其既能保证识别的准确率，又能简化数据处理工作量，从而降低数据处理功耗。

(3)本发明的多层次端到端神经网络包括至少两个层次，用于提升识别的准确率。本发明采用多层次端到端神经网络，当某些难以分类的行为放于前面的网络时，能提升判别上述行为的准确率，同时判别这些行为只需要前面的网络，从而这些行为的计算复杂度及功耗降低。当某些出现次数更多的行为放于前面的网络时，可以根据这些行为的出现频率，按比例降低整体的功耗。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需使用的附图作简单介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对保护范围的限定，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的多层次神经网络架构示意图。

图2为本发明中基于步态的数据增强算法的示意图。

具体实施方式

为使本申请的目的、技术方案和优点更为清楚，下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例

如图1至图2所示，本实施例提供了一种基于多层次端到端神经网络的人类活动姿态识别方法，采用数个布设在人体表面、且用于采集人类活动姿态的原始数据带标签数据的运动传感器。所述运动传感器包括但不限于加速计、陀螺仪、磁力计。需要说明的是，本实施例所述的“第一”、“第二”等序号用语仅用于区分同类部件或术语。另外，本实施例中人类活动姿态的类型包括但不限于上楼、下楼、步行、慢跑、站立、坐。具体步骤如下：

第一步，多层次端到端神经网络训练：利用运动传感器采集人类活动姿态的带标签数据，采用滑窗切割所述带标签数据，得到数段等距的第一带标签数据窗，利用基于步态的数据增强算法处理所述第一带标签数据窗以获得数段第二带标签数据窗。并采用所述第一标签数据窗和第二带标签数据窗对多层次端到端神经网络训练。

在此，仅列举一种带标签数据滑窗切割方式，包括以下步骤：

(11)获取带标签数据，并以长度为l₁切取带标签数据的起始端的数据，得到带标签数据的起始数据窗。其中，所述l₁为大于等于1的自然数。

(12)以带标签数据的第i个数据窗的的数据点为起点，长度为l₁划分并获得带标签数据的第i+1个数据窗。其中，所述i为大于等于1的自然数，所述M为大于等于1且小于l₁的自然数，所述i等于1的数据窗即为带标签数据的起始数据窗。例如，任一数据窗的长度64，当M等2时，分割的重叠率即为50％，带标签数据分割的结果如下：1至64个数据点为起始数据窗，即第1数据窗，32至96为第2数据窗，64至128为第3数据窗。

(13)依次类推，直至带标签数据切割完成，得到数段等距的第一带标签数据窗。

在此基础上，利用基于步态的数据增强算法处理所述第一带标签数据窗以获得数段第二带标签数据窗，包括以下步骤：

(21)提取两段具有相同标签的第一带标签数据窗，从所述两段第一带标签数据窗中各选取任一一步态周期的数据。如两段标签数据窗均为上楼姿态，各提取该两端标签数据窗的上楼的一步态数据。

(22)判断一步态周期的数据的时间长度，并以时间长度最长的一步态周期的数据为基准，采用插值法延伸剩余选取的一步态周期的数据，获得时间长度相同的一步态周期的数据。

(23)求得步骤(21)中时间长度相同的一步态周期的数据的平均值，得到过渡的标签数据窗。

(24)采用周期延拓处理所述步骤(23)中过渡的标签数据窗，获得步骤(21)中选取的任一一步态周期的数据对应的第二带标签数据窗。

(25)重复步骤(21)至步骤(24)，获得数段第二带标签数据窗。在此，需要说明的是，采集带标签数据并进行数据增强的次数越多，则用于神经网络训练的数据量越多，识别的准确率更高。

在本实施例中，该多层次端到端神经网络为p层次，所述p为大于等于2的正整数；其中，采用所述第一带标签数据窗和第二带标签数据窗对多层次端到端神经网络训练，包括以下步骤：

(31)所述运动传感器采集人类活动姿态的带标签数据、数段第一带标签数据窗和数段第二带标签数据窗内均设有m个原始动作行为标签；将所述原始动作行为标签分为n个第一动作行为标签和非第一动作行为标签，并将n个第一动作行为标签和非第一动作行为标签标记为第一层次标签；将所述第一层次标签对应的数据窗导入第一层次端到端神经网络，以实现第一层次端到端神经网络的训练。其中，所述m为大于1的自然数，且所述n为大于0、且小于m的自然数。

(32)剔除R个第j-1动作行为标签，并将所述非第j-1动作行为标签分为W个第j动作行为标签和非第j动作行为标签，将W个第j动作行为标签和非第j动作行为标签标记为第j层次标签；将所述第j层次标签对应的数据窗导入第j层次端到端神经网络，以实现第j层次端到端神经网络的训练；所述R为大于0、且小于m的自然数；所述j为大于1、且小于等于p的自然数；所述W为大于0、且小于m的自然数；当j等于2的动作行为标签即为第一动作行为标签。

(33)重复步骤(32)，并对端到端神经网络的层次逐次加1；依次对多层次端到端神经网络进行训练。

例如，以两层次的端到端神经网络为例，动作行为包括走路，慢跑，坐着，站立，上楼，下楼6种情况。首先，将其分为上楼数据标签、下楼标签和非上下楼标签，并将上楼数据标签、下楼标签和非上下楼标签标记为第一层次标签，在第一层次端到端神经网络内实现所述第一层次标签的训练。然后，将非上下楼标签标记中的走路，慢跑，坐着，站立四种行为姿态对应的数据窗导入第二层次端到端神经网络进行训练。

第二步，分层次识别：利用所述运动传感器采集任一人类活动姿态的原始数据，并对所述原始数据进行滑窗切割，得到数段连续的待识别的动作数据窗；将所述待识别的动作数据窗依次导入经训练的多层次端对端神经网络，判别人类活动姿态的类型。待识别的动作数据窗内包括数个连续的数据点，且所述原始数据滑窗切割，包括以下步骤：

(41)获取原始数据，并以长度为l₁切取原始数据的起始端的数据，得到原始数据的起始动作数据窗；所述l₁为大于等于1的自然数。

(42)以原始数据的第i个动作数据窗的的数据点为起点，长度为l₁划分获得原始数据的第i+1个动作数据窗；所述i为大于等于1的自然数；所述i等于1的动作数据窗即为原始数据的起始动作数据窗；所述M为大于等于1且小于l₁的数。

(43)重复步骤(42)，直至原始数据切割完成，得到数段连续的待识别的动作数据窗。

在此基础上，将所述待识别的动作数据窗依次导入经训练的多层次端对端神经网络，判别人类活动姿态的类型，包括以下步骤：

(51)将所述待识别的动作数据窗导入第一层次端到端神经网络，判断所述待识别的动作数据窗是否为第一动作行为标签对应的第一行为，若是，则输出识别的第一行为；否则进入步骤(52)。

(52)将所述待识别的动作数据窗导入第j-1层次端到端神经网络，判断所述待识别的动作数据窗是否为第j-1动作行为标签对应的第j-1行为，若是，则输出识别的第j-1行为；否则，将待识别的动作数据窗导入第j层次端到端神经网络；所述j为大于1、且小于等于p的自然数。

(53)重复步骤(52)，直至待识别的动作数据窗识别完成。

在此，依然以两层次的端到端神经网络为例，识别某一动作行为的数据窗，若该动作行为为站立。将该动作行为的数据窗导入第一层次的端到端神经，第一层次的端到端神经识别该数据窗为非上下楼标签标记，则将该动作行为的数据窗导入第二层次的端到端神经，识别确认该动作行为为站立。

本发明采用滑动窗分割数据，再使用基于步态的数据增强算法以获得更多的带标签数据窗，提升了神经网络的识别准确率。另外，本发明通过滑动窗分割待识别的原始数据，再利用多层次端到端神经网络来判别人类活动姿态的类型，实现了基于多层次端到端神经网络的人类活动识别。与现有技术相比，具有突出的实质性特点和显著的进步，在医疗技术、行为监督等领域具有广阔的市场前景。

上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而作出的变化，均应属于本发明的保护范围之内。

Claims (7)

1.基于多层次端到端神经网络的人类活动姿态识别方法，采用数个布设在人体表面、且用于采集人类活动姿态的原始数据和带标签数据的运动传感器；所述运动传感器包括加速计、陀螺仪、磁力计，其特征在于，包括以下步骤：

多层次端到端神经网络训练：利用运动传感器采集人类活动姿态的带标签数据，采用滑窗切割所述带标签数据，得到数段等距的第一带标签数据窗，利用基于步态的数据增强算法处理所述第一带标签数据窗以获得数段第二带标签数据窗；采用所述第一带标签数据和第二带标签数据窗对多层次端到端神经网络训练；

分层次识别：利用所述运动传感器采集任一人类活动姿态的原始数据，并对所述原始数据进行滑窗切割，得到数段连续的待识别的动作数据窗；将所述待识别的动作数据窗依次导入经训练的多层次端对端神经网络，判别人类活动姿态的类型。

2.根据权利要求1所述的基于多层次端到端神经网络的人类活动姿态识别方法，其特征在于，其中，利用基于步态的数据增强算法处理所述第一带标签数据窗以获得数段第二带标签数据窗，包括以下步骤：

步骤S11，提取两段具有相同标签的第一带标签数据窗，从所述两段第一带标签数据窗中各选取任一一步态周期的数据；

步骤S12，判断一步态周期的数据的时间长度，并以时间长度最长的一步态周期的数据为基准，采用插值法延伸剩余选取的一步态周期的数据，获得时间长度相同的一步态周期的数据；

步骤S13，求得步骤S12中时间长度相同的一步态周期的数据的平均值，得到过渡的标签数据窗；

步骤S14，采用周期延拓将所述步骤S13中过渡的标签数据窗延拓至第一带标签数据窗的长度，获得步骤S11中选取的任一一步态周期的数据对应的第二带标签数据窗；

步骤S15，重复步骤S11至步骤S14，获得数段第二带标签数据窗。

3.根据权利要求1所述的基于多层次端到端神经网络的人类活动姿态识别方法，其特征在于，所述多层次端到端神经网络为p层次，所述p为大于等于2的正整数；其中，采用所述第一带标签数据窗和第二带标签数据窗对多层次端到端神经网络训练，包括以下步骤：

步骤S21，所述运动传感器采集人类活动姿态的带标签数据、数段第一带标签数据窗和数段第二带标签数据窗内均设有m个原始动作行为标签；将所述原始动作行为标签分为n个第一动作行为标签和非第一动作行为标签，并将n个第一动作行为标签和非第一动作行为标签标记为第一层次标签；将所述第一层次标签对应的数据窗导入第一层次端到端神经网络，以实现第一层次端到端神经网络的训练；所述m为大于1的自然数，且所述n为大于0、且小于m的自然数；

步骤S22，剔除R个第j-1动作行为标签，并将所述非第j-1动作行为标签分为W个第j动作行为标签和非第j动作行为标签，将W个第j动作行为标签和非第j动作行为标签标记为第j层次标签；将所述第j层次标签对应的数据窗导入第j层次端到端神经网络，以实现第j层次端到端神经网络的训练；所述R为大于0、且小于m的自然数；所述j为大于1、且小于等于p的自然数；所述W为大于0、且小于m的自然数；所述j等于2的动作行为标签即为第一动作行为标签；

步骤S23，重复步骤S22，依次对多层次端到端神经网络进行训练。

4.根据权利要求3所述的基于多层次端到端神经网络的人类活动姿态识别方法，其特征在于，其中，将所述待识别的动作数据窗依次导入经训练的多层次端对端神经网络，判别人类活动姿态的类型，包括以下步骤：

步骤S31，将所述待识别的动作数据窗导入第一层次端到端神经网络，判断所述待识别的动作数据窗是否为第一动作行为标签对应的第一行为，若是，则输出识别的第一行为；否则进入步骤S32；

步骤S32，将所述待识别的动作数据窗导入第j-1层次端到端神经网络，判断所述待识别的动作数据窗是否为第j-1动作行为标签对应的第j-1行为，若是，则输出识别的第j-1行为；否则，将待识别的动作数据窗导入第j层次端到端神经网络；所述j为大于1、且小于等于p的自然数；

步骤S33，重复步骤S32，直至待识别的动作数据窗识别完成。

5.根据权利要求1所述的基于多层次端到端神经网络的人类活动姿态识别方法，其特征在于，所述人类活动姿态的类型包括上楼、下楼、步行、慢跑、站立、坐。

6.根据权利要求1至5任一项所述的基于多层次端到端神经网络的人类活动姿态识别方法，其特征在于，所述标签数据窗内包括数个连续的数据点，且所述带标签数据滑窗切割，包括以下步骤：

步骤S41，获取带标签数据，并以长度为l₁切取带标签数据的起始端的数据，得到带标签数据的起始数据窗；所述l₁为大于等于1的自然数；

步骤S42，以带标签数据的第i个数据窗的的数据点为起点，长度为l₁划分并获得带标签数据的第i+1个数据窗；所述i为大于等于1的自然数；所述M为大于等于1且小于l₁的自然数；所述i等于1的数据窗即为带标签数据的起始数据窗；

步骤S43，重复步骤S42，直至带标签数据切割完成，得到数段等距的第一带标签数据窗。

7.根据权利要求1至5任一项所述的基于多层次端到端神经网络的人类活动姿态识别方法，其特征在于，所述待识别的动作数据窗内包括数个连续的数据点，且所述原始数据滑窗切割，包括以下步骤：

步骤S51，获取原始数据，并以长度为l₁切取原始数据的起始端的数据，得到原始数据的起始动作数据窗；所述l₁为大于等于1的自然数；

步骤S52，以原始数据的第i个动作数据窗的的数据点为起点，长度为l₁划分获得原始数据的第i+1个动作数据窗；所述i为大于等于1的自然数；所述i等于1的动作数据窗即为原始数据的起始动作数据窗；所述M为大于等于1且小于l₁的数；

步骤S53，重复步骤S52，直至原始数据切割完成，得到数段连续的待识别的动作数据窗。