CN105868779A - 一种基于特征增强和决策融合的行为识别方法 - Google Patents

Abstract

一种基于特征增强和决策融合的行为识别方法，对加速度传感器数据进行预处理；计算预处理后数据的多维特征矢量；使用前向序列选择算法对多维特征矢量进行选择得到最佳特征矢量；使用Relief‑F算法选择合适特征值进行特征增强处理；训练一个基础分类器和三个弱分类器；将基础分类器和三个弱分类器的识别结果作为四个参数，同时将上个动作的识别结果作为另一个参数，通过训练确定这五个参数的权重；使用二层分类对人体行为进行识别，第一层分类使用基础分类器进行，第二层分类使用加权投票决策融合得到最终识别结果。本发明可有效区分走、上楼、下楼这些难以区分的相似动作，提高人体行为识别率。

Description

一种基于特征增强和决策融合的行为识别方法

技术领域

本发明涉及三轴加速度传感器、模式识别等领域，尤其涉及基于三轴加速度数据的人体行为识别领域。

背景技术

利用传感器进行人体行为识别一直是传感器数据处理、模式识别领域的研究热点。通过三轴加速度传感器来检测人的日常行为具有便捷、识别率高等特点。但是，加速度数据往往存在着多种动作数据难以区分的情况，特别是走、上楼、下楼这三个动作非常相似，即使在高精度采集频率下数据之间的差异也非常小。一旦数据集变大，这三个动作之间存在的相互干扰数据就更多，并且由于数据采集平台并不一定固定在人体上，所以采集的数据难免有因为抖动产生的误差，在极端情况下，这三种动作的数据可能存在着不可区分的情况，这给正确识别这三种人体动作带来了很大的难度。

发明内容

为了克服现有动作识别方法由于三轴加速度数据的相似性而导致的动作识别正确率低，识别误差大的不足，本发明提出一种基于特征增强和决策融合的行为识别方法，可有效区分走、上楼、下楼这些难以区分的相似动作，提高人体行为识别率。

本发明解决其技术问题所采用的技术方案是：

一种基于特征增强和决策融合的行为识别方法，包括以下步骤：

步骤1，对采集到的加速度传感器数据进行预处理，包括噪声处理和数据分割；

步骤2，计算预处理后传感器数据特征值，得到表征该传感器数据的多维特征矢量；

步骤3，用序列前向特征选择方法对步骤2得到的特征矢量进行选择，得到表征传感器数据的最佳特征矢量；

步骤4，对步骤3得到的最佳特征矢量使用Relief-F算法选择特征值进行特征增强处理，过程如下：

使用Relief-F算法计算每个特征值的权重，设定阈值k，权重高于该阈值的特征值进行特征增强，最终选定四个特征值，分别是：三轴加速度传感器数据在z轴的平方差，三轴加速度传感器数据x轴与y轴之间的相关系数,三轴加速度传感器数据x轴与z轴之间的相关系数,三轴加速度传感器数据y轴与z轴之间的相关系数，使用公式(1)进行特征增强处理，其中p_i为特征值，m为特征增强系数；

$p_i=\{\begin{array}{c}{p}_i,k<0.05\\ m*p_i,k\&GreaterEqual;0.05\end{array},i=1,2,\mathrm{3...11}---\left(1\right)$

步骤5，使用步骤4得到的数据训练四个支持向量机分类器，包括一个基础分类器和三个根据AdaBoost算法思想得到的针对走、上楼、下楼三个动作的弱分类器；

步骤6，使用步骤5得到的四个分类器分别对当前需要识别的动作进行识别，得到的四个识别结果作为四个参数，将上一个动作的识别结果作为第五个参数，将这五个参数分别记为label_i,i＝1,2,3,4,5，通过训练确定这五个参数的权重w_i,i＝1,2,3,4,5；

步骤7，使用二层分类对人体行为动作进行识别，第一层使用步骤5得到的基础分类器识别，如果识别结果是走、上楼、下楼就进行第二层分类，第二层分类对步骤6中描述的五个参数进行加权投票决策融合，得到最终的识别结果。

进一步，所述步骤2中，计算多维特征矢量的过程为：计算三轴加速度传感器数据在x轴的平均值,三轴加速度传感器数据在y轴的平均值,三轴加速度传感器数据在z轴的平均值，三轴加速度传感器数据在x轴的平方差,三轴加速度传感器数据在y轴的平方差,三轴加速度传感器数据在z轴的平方差，三轴加速度传感器数据平均值的模，三轴加速度传感器数据平方差的模，三轴加速度传感器数据在x轴的偏度,三轴加速度传感器数据在y轴的偏度,三轴加速度传感器数据在z轴的偏度，三轴加速度传感器数据在x轴的均方根,三轴加速度传感器数据在y轴的均方根,三轴加速度传感器数据在z轴的均方根，三轴加速度传感器数据在x轴的能量,三轴加速度传感器数据在y轴的能量,三轴加速度传感器数据在z轴的能量，三轴加速度传感器数据在x轴的熵,三轴加速度传感器数据在y轴的熵,三轴加速度传感器数据在z轴的熵，三轴加速度传感器数据x轴与y轴之间的相关系数,三轴加速度传感器数据x轴与z轴之间的相关系数,三轴加速度传感器数据y轴与z轴之间的相关系数，信号幅度区域。

再进一步，所述步骤6中，权重训练的过程为：首先设定参数alpha＝1/num，num是走、上楼、下楼三个动作的训练样本总数，设定权重的初始值：w_i＝1,i＝1,2,3,4,5，权重训练过程中只更新基础分类器识别结果label₁的权重w₁和上个动作识别结果label₅的权重w₅，其它三个弱分类器识别结果的权重设定为1不变，即w₂＝1，w₃＝1，w₄＝1不变；采用步骤7中的方法对训练样本进行识别，设样本的正确动作是activity，每识别一个样本就使用公式(2)对权重进行更新，当样本识别结果与样本实际类别一致时n＝1，否则n＝8，权重更新结束后对w₅做公式(3)处理，P_tA.tA表示走、上楼、下楼三个动作不转移到此三个动作之外其它动作的概率；

$w_i=\left\{\begin{array}{cc}{w}_i+alpha*n,& {\mathrm{label}}_i=activity\\ w_i-alpha*n,& {\mathrm{label}}_i\&NotEqual;activity\end{array}\right.,i=1,5---\left(2\right)$

w₅＝w₅*(1/P_tA.tA) (3)。

更进一步，所述步骤7中，加权投票决策融合过程为：对五个参数label_i,i＝1,2,3,4,5使用公式(4)计算出走、上楼、下楼三个动作的得分，其中activity_n表示当前动作，score_n表示activity_n所代表动作的得分，P_A.A表示上一动作保持不变的概率，P_lastA.A表示label₅所属的动作转移到当前动作的概率，最终得分最高的动作类别为识别结果；

$score\_n=\left\{\begin{array}{cc}\underset{i=1}{\overset{4}{\&Sigma;}}{w}_i+w_5\&times;P_{A.A},& {\mathrm{label}}_5=activity\_n\\ \underset{i=1}{\overset{4}{\&Sigma;}}{w}_i+w_5\&times;P_{lastA.A},& {\mathrm{label}}_5\&NotEqual;activity\_n\end{array}\right.,if{\mathrm{label}}_i=activity\_n---\left(4\right).$

本发明的技术构思为：本发明通过两个方法来提高相似动作的识别率：一是对由传感器数据计算得到的特征矢量进行特征增强，增强有利于识别走、上楼、下楼这三个动作的特征值。二是采用二层分类和决策融合，第一层分类对容易区分的动作进行区分，将不易区分的动作进行第二层分类。在第二层分类中将第一层的识别结果作为一个参数，将根据AdaBoost算法思想训练出的三个弱分类器得到的识别结果作为三个参数，将上个动作的识别结果作为另一个参数，通过训练确定这五个参数的权重，对这五个参数使用加权投票决策融合得到最终识别结果。该基于特征增强和决策融合的行为识别方法可以有效提高相似动作的正确识别率。

本发明的有益效果主要表现在：对识别相似动作有益的特征值进行特征增强，通过加权投票决策融合得到最终识别结果，能够有效区分相似动作，大大提高识别相似动作的正确识别率。

附图说明

图1为本发明基于特征增强和决策融合的行为识别方法的流程图。

图2为人体行为动作转换示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

图1是基于特征增强和决策融合的行为识别方法的总流程。

本实施例在安卓手机平台上实施，采用自主采集的传感器数据做训练和测试。共采集了10个人的走、跑、上楼、下楼、站立五个动作数据，每个动作采集时间为10分钟，因而共有500分钟的数据，采样频率为100Hz。

采集到的三轴加速度数据在预处理之前需先进行两方面的处理：一方面是由于三轴加速度传感器采集的数据是包括重力的，为了减小重力对加速度数据的影响，需要减去传感器数据上的重力分量。另一方面是因为手机所在的坐标系相对于手机是固定的，相对于大地坐标系却会随手机方位的变化而变化，为了让行为识别***能够识别手机处于各种方位时的行为动作，需要实时地将手机坐标系转换为大地坐标系。

数据预处理包括噪声处理和数据分割，由于采集的数据是一段连续的数据流，为了方便之后的特征提取和识别模型训练，预处理需要将数据分割成6秒窗口大小，50％数据重叠的数据片段。

数据预处理后，需要计算数据的特征值，主要包括时域和频域的特征，本发明一共从6秒50％数据重叠的加速度数据窗口中计算出24个特征值，包括：三轴加速度传感器数据在x轴的平均值,三轴加速度传感器数据在y轴的平均值,三轴加速度传感器数据在z轴的平均值，三轴加速度传感器数据在x轴的平方差,三轴加速度传感器数据在y轴的平方差,三轴加速度传感器数据在z轴的平方差，三轴加速度传感器数据平均值的模，三轴加速度传感器数据平方差的模，三轴加速度传感器数据在x轴的偏度,三轴加速度传感器数据在y轴的偏度,三轴加速度传感器数据在z轴的偏度，三轴加速度传感器数据在x轴的均方根,三轴加速度传感器数据在y轴的均方根,三轴加速度传感器数据在z轴的均方根，三轴加速度传感器数据在x轴的能量,三轴加速度传感器数据在y轴的能量,三轴加速度传感器数据在z轴的能量，三轴加速度传感器数据在x轴的熵,三轴加速度传感器数据在y轴的熵,三轴加速度传感器数据在z轴的熵，三轴加速度传感器数据x轴与y轴之间的相关系数,三轴加速度传感器数据x轴与z轴之间的相关系数,三轴加速度传感器数据y轴与z轴之间的相关系数，信号幅度区域。

一些特征值可能包含冗余或者无关的信息，这些信息会影响识别准确性，因此需要进行特征选择，这样不但可以有效提高识别准确性，并且可以降低计算复杂度和简化训练模型。本发明采用了序列前向特征选择(SFS)算法作为特征子集的选择算法，最终选择出了11个特征值作为最佳特征子集，这11个特征值包括：三轴加速度传感器数据在x轴的平均值,三轴加速度传感器数据在y轴的平均值，三轴加速度传感器数据在z轴的平方差，三轴加速度传感器数据平均值的模，三轴加速度传感器数据在y轴的偏度,三轴加速度传感器数据在z轴的偏度，三轴加速度传感器数据在x轴的均方根,三轴加速度传感器数据在y轴的均方根，三轴加速度传感器数据x轴与y轴之间的相关系数,三轴加速度传感器数据x轴与z轴之间的相关系数,三轴加速度传感器数据y轴与z轴之间的相关系数。

选定特征子集后，因为选定的特征中每个特征值对动作识别的贡献大小不一，所以本发明对区分走、上楼、下楼三个动作贡献较大的特征值进行特征增强处理。使用Relief-F算法计算每个特征值的权重，设定阈值k＝0.05，权重高于该阈值的特征值进行特征增强，最终选定四个特征值，分别是：三轴加速度传感器数据在z轴的平方差，三轴加速度传感器数据x轴与y轴之间的相关系数,三轴加速度传感器数据x轴与z轴之间的相关系数,三轴加速度传感器数据y轴与z轴之间的相关系数，使用公式(1)进行特征增强处理，其中p_i为特征值，m为特征增强系数取值为1.6；

$p_i=\{\begin{array}{c}{p}_i,k<0.05\\ m*p_i,k\&GreaterEqual;0.05\end{array},i=1,2,\mathrm{3...11}---\left(1\right)$

本发明中使用的分类器是支持向量机，一共需要训练四个分类器，包括一个基础分类器和三个根据AdaBoost算法思想得到的弱分类器。基础分类器完成对走、跑、上楼、下楼、站立五个动作的识别。三个弱分类器是专门针对走、上楼、下楼三个动作训练的，每个弱分类器的作用是保证对某一个动作识别率很高，而不保证对其它动作的识别率。AdaBoost算法本身是通过改变数据分布来得到一个个弱分类器，以针对“走”这个动作训练的弱分类器为例，在弱分类器训练过程中需要做的就是不断从原始训练数据中找出对识别“走”动作有利的样本，删除对“走”动作识别有干扰的样本，最终得到一个专门为“走”这个动作而规划出的训练样本。

图2是人体行为动作转换示意图，这里将除走、上楼、下楼之外的动作并为其它动作，从图2中可以看出人的行为动作可以保持不变，也可以转换为其它动作，且转换只与上个行为动作有关而与之前的行为动作无关，因此可以将人体行为动作转换看作是一个马尔可夫过程，可利用行为动作之间存在的关系用上个动作的识别结果来帮助识别当前动作。本发明设定人体行为动作之间转换的概率矩阵为其中行表依次表示的状态是：走、上楼、下楼、其它，列表依次表示的状态是：走、上楼、下楼、其它，P中的每一个元素P_ij表示状态i转移到状态j的概率。根据马尔可夫预测法，本发明将四个分类器对当前动作的识别结果作为四个参数，将上一个动作的识别结果作为第五个参数，因此共有五个参数，分别记作label_i,i＝1,2,3,4,5，通过训练来确定这五个参数的权重w_i,i＝1,2,3,4,5。

权重训练方法如下：首先设定参数alpha＝1/num，num是走、上楼、下楼三个动作的训练样本总数，设定权重的初始值：w_i＝1,i＝1,2,3,4,5，权重训练过程中只更新基础分类器识别结果label₁的权重w₁和上个动作识别结果label₅的权重w₅，其它三个弱分类器识别结果的权重设定为1不变，即w₂＝1，w₃＝1，w₄＝1不变；采用二层分类对人体行为动作进行识别；设样本的正确动作是activity，每识别一个样本就使用公式(2)对权重进行更新，当样本识别结果与样本实际类别一致时n＝1，否则n＝8，权重更新结束后对w₅做公式(3)处理，P_tA.tA表示走、上楼、下楼三个动作不转移到此三个动作之外其它动作的概率；

$w_i=\left\{\begin{array}{cc}{w}_i+alpha*n,& {\mathrm{label}}_i=activity\\ w_i-alpha*n,& {\mathrm{label}}_i\&NotEqual;activity\end{array}\right.,i=1,5---\left(2\right)$

w₅＝w₅*(1/P_tA.tA) (3)。

最后采用二层分类，第一层对走、跑、上楼、下楼、站立五个动作进行识别，如果识别结果为跑或站立即为最终识别结果，如果是难以区分的走、上楼、下楼三个动作就进行第二层分类，第二层采用加权投票决策融合。加权投票决策融合具体过程如下：对五个参数label_i,i＝1,2,3,4,5使用公式(4)计算出走、上楼、下楼三个动作的得分，其中activity_n表示当前动作，score_n表示activity_n所代表动作的得分，P_A.A表示上一动作保持不变的概率，P_lastA.A表示label₅所属的动作转移到当前动作的概率，最终得分最高的动作类别为识别结果；

$score\_n=\left\{\begin{array}{cc}\underset{i=1}{\overset{4}{\&Sigma;}}{w}_i+w_5\&times;P_{A.A},& {\mathrm{label}}_5=activity\_n\\ \underset{i=1}{\overset{4}{\&Sigma;}}{w}_i+w_5\&times;P_{lastA.A},& {\mathrm{label}}_5\&NotEqual;activity\_n\end{array}\right.,if{\mathrm{label}}_i=activity\_n---\left(4\right).$

表1是未使用特征增强和决策融合方法和本发明方法识别五个动作的正确识别率比较，可以看出，本发明方法可有效识别相似动作，如走、上楼、下楼，明显提高了人体行为识别率。

表1

显而易见，在不偏离本发明的真实精神和范围的前提下，在此描述下的本发明可以有许多变化。因此，所有对于本领域技术人员来说一些显而易见的改变，都应包括在本权利要求书所涵盖的范围之内。本发明所要求保护的范围仅由所述的权利要求书进行限定。

Claims (4)

1.一种基于特征增强和决策融合的行为识别方法，其特征在于：所述行为识别方法包括以下步骤：

步骤1，对采集到的加速度传感器数据进行预处理，包括噪声处理和数据分割；

步骤2，计算预处理后传感器数据特征值，得到表征该传感器数据的多维特征矢量；

步骤3，用序列前向特征选择方法对步骤2得到的特征矢量进行选择，得到表征传感器数据的最佳特征矢量；

步骤4，对步骤3得到的最佳特征矢量使用Relief-F算法选择特征值进行特征增强处理，过程如下：

使用Relief-F算法计算每个特征值的权重，设定阈值k，权重高于该阈值的特征值进行特征增强，最终选定四个特征值，分别是：三轴加速度传感器数据在z轴的平方差，三轴加速度传感器数据x轴与y轴之间的相关系数,三轴加速度传感器数据x轴与z轴之间的相关系数,三轴加速度传感器数据y轴与z轴之间的相关系数，使用公式(1)进行特征增强处理，其中p_i为特征值，m为特征增强系数；

$p_i=\left\{\begin{array}{c}{p}_i,k<0.05\\ m*p_i,k\&GreaterEqual;0.05\end{array}\right.,i=1,2,3...11---\left(1\right)$

步骤5，使用步骤4得到的数据训练四个支持向量机分类器，包括一个基础分类器和三个根据AdaBoost算法思想得到的针对走、上楼、下楼三个动作的弱分类器；

步骤6，使用步骤5得到的四个分类器分别对当前需要识别的动作进行识别，得到的四个识别结果作为四个参数，将上一个动作的识别结果作为第五个参数，将这五个参数分别记为label_i,i＝1,2,3,4,5，通过训练确定这五个参数的权重w_i,i＝1,2,3,4,5；

步骤7，使用二层分类对人体行为动作进行识别，第一层使用步骤5得到的基础分类器识别，如果识别结果是走、上楼、下楼就进行第二层分类，第二层分类对步骤6中描述的五个参数进行加权投票决策融合，得到最终的识别结果。

2.如权利要求1所述的一种基于特征增强和决策融合的行为识别方法，其特征在于：所述步骤2中，计算多维特征矢量的过程为：计算三轴加速度传感器数据在x轴的平均值,三轴加速度传感器数据在y轴的平均值,三轴加速度传感器数据在z轴的平均值，三轴加速度传感器数据在x轴的平方差,三轴加速度传感器数据在y轴的平方差,三轴加速度传感器数据在z轴的平方差，三轴加速度传感器数据平均值的模，三轴加速度传感器数据平方差的模，三轴加速度传感器数据在x轴的偏度,三轴加速度传感器数据在y轴的偏度,三轴加速度传感器数据在z轴的偏度，三轴加速度传感器数据在x轴的均方根,三轴加速度传感器数据在y轴的均方根,三轴加速度传感器数据在z轴的均方根，三轴加速度传感器数据在x轴的能量,三轴加速度传感器数据在y轴的能量,三轴加速度传感器数据在z轴的能量，三轴加速度传感器数据在x轴的熵,三轴加速度传感器数据在y轴的熵,三轴加速度传感器数据在z轴的熵，三轴加速度传感器数据x轴与y轴之间的相关系数,三轴加速度传感器数据x轴与z轴之间的相关系数,三轴加速度传感器数据y轴与z轴之间的相关系数，信号幅度区域。

3.如权利要求1或2所述的一种基于特征增强和决策融合的行为识别方法，其特征在于：所述步骤6中，权重训练的过程为：首先设定参数alpha＝1/num，num是走、上楼、下楼三个动作的训练样本总数，设定权重的初始值：w_i＝1,i＝1,2,3,4,5，权重训练过程中只更新基础分类器识别结果label₁的权重w₁和上个动作识别结果label₅的权重w₅，其它三个弱分类器识别结果的权重设定为1不变，即w₂＝1，w₃＝1，w₄＝1不变；采用步骤7中的方法对训练样本进行识别，设样本的正确动作是activity，每识别一个样本就使用公式(2)对权重进行更新，当样本识别结果与样本实际类别一致时n＝1，否则n＝8，权重更新结束后对w₅做公式(3)处理，P_tA.tA表示走、上楼、下楼三个动作不转移到此三个动作之外其它动作的概率；

$w_i=\left\{\begin{array}{cc}{w}_i+alpha*n,& {\mathrm{label}}_i=activity\\ w_i-alpha*n,& {\mathrm{label}}_i\&NotEqual;activity\end{array}\right.,i=1,5---\left(2\right)$

w₅＝w₅*(1/P_tA.tA) (3)。

4.如权利要求1或2所述的一种基于特征增强和决策融合的行为识别方法，其特征在于：所述步骤7中，加权投票决策融合过程为：对五个参数label_i,i＝1,2,3,4,5使用公式(4)计算出走、上楼、下楼三个动作的得分，其中activity_n表示当前动作，score_n表示activity_n所代表动作的得分，P_A.A表示上一动作保持不变的概率，P_lastA.A表示label₅所属的动作转移到当前动作的概率，最终得分最高的动作类别为识别结果；

$score\_n=\left\{\begin{array}{cc}\underset{i=1}{\overset{4}{\mathrm{\&Sigma;}}}{w}_i+w_5\&times;P_{A.A},& {\mathrm{label}}_5=activity\_n\\ \underset{i=1}{\overset{4}{\mathrm{\&Sigma;}}}{w}_i+w_5\&times;P_{lastA.A},& {\mathrm{label}}_5\&NotEqual;activity\_n\end{array}\right.if{\mathrm{label}}_i=activity\_n---\left(4\right).$