CN114469078A - 一种基于光惯融合的人体运动检测方法 - Google Patents

Abstract

本发明的一种基于光惯融合的人体运动检测方法包括：建立复杂运动下人体各部位的多刚体运动学模型，通过光学动作捕捉***提取不同运动状态的高精度人体运动周期T,建立对应的零速阈值区间t，再利用惯导进行室内/室外人体运动信息捕获，得到惯性零速区间时长，当惯性零速区间时长属于零速阈值区间t范围内时，即判断人体发生了对应区间所代表的运动状态。

Description

一种基于光惯融合的人体运动检测方法

技术领域

本发明涉及人体运动捕捉领域，具体涉及一种基于光惯融合的人体运动检测方法的研究。

背景技术

近些年来，传感技术的不断提高和进步，为人体复杂运动***的进一步深入研究提供了研究平台。在动作捕捉领域，由于惯性导航技术的革新和硬件水平的不断提高，诸多学者提取人体运动学数据做医疗恢复、室内行人导航、虚拟游戏等方面的研究。

虽然人体运动建模方法在过去十年间取得了显著进步，但是由于人体自然运动的高维度、非线性和多峰性特征，许多问题仍然没有解决。传统的惯导检测人体运动状态方法，由于惯性器件的精度不一致，导致惯性测量传感器提取的脚部零速区间的阈值存在差异，降低了算法的通用性，不利于运动识别技术推广使用。

光学动作捕捉***具有定位精度高(毫米级)、分辨率高的特点，克服了传统的惯性测量元件提取的人体零速区间长期使用可靠性低的问题。因此，在室内无杂光条件下，首先利用光学动作捕捉***建立准确的人体不同运动状态下的零速区间，并建立置信区间(阈值区间)，在阈值区间约束条件下，即可识别户外人体运动状态。该方法的研究将有利于病人的康复训练和单兵体能训练，其研究具有重要的社会效益、军事效益和经济效益。

发明内容

针对现有技术中的不足，本发明结合光学***和惯性***的优势，提出了一种基于光/惯融合的人体运动检测方法，具体步骤如下：

S1：建立复杂运动下人体部位的多刚体运动学模型；

S2：通过光学动作捕捉***提取不同运动状态的高精度人体运动周期T，单位为s，建立对应的零速阈值区间t，单位为s；

S3：利用惯导进行室内/室外人体运动信息捕获，得到惯性零速区间时长t_g，当所述惯性零速区间时长t_g位于所述零速阈值区间t内时，即判断人体发生了对应区间所代表的运动状态；

S4：重复上述步骤S2-S3，直到运动检测完毕。

进一步的，所述步骤S1具体为：

S1-1：抽象表示出人体部位刚体，用1-h表示人体部位，人体部位分别建立各自运动坐标系，用O-X_iY_iZ_i表示，1≤i≤h；

S1-2：建立人体多刚体运动学参数模型；

建立坐标系i到坐标系i-1的齐次变换矩阵，坐标系i在进行平移变换和旋转变换到坐标系i-1时，均进行矩阵的右乘：

表示坐标系i到坐标系i-1的转换矩阵，α_i表示i部位扭角，l_i表示i部位长度，θ_i表示i部位关节转角，d_i表示i部位关机偏距，Trans为变换矩阵，R为旋转矩阵；

S1-3：对1-h每个人体部位均采用S1-2中的方法进行变换，即得到多刚体运动学模型。

进一步的，所述步骤S2具体为：

S2-1：利用光学动作捕捉***获取人体部位运动的位置数据信息；

S2-2：对位置数据信息进行差分计算，解算出运动速度；

S2-3：剔除运动速度信息中的野值，对运动速度进行数据平滑滤波，消除干扰；

S2-4：通过滑动窗口算法得到光学零速区间时长cT，其中c为运动状态参数，运动状态参数上下浮动0.02得到零速阈值区间t，单位为s，t＝[(c-0.02)T,(c+0.02)T]。

进一步的，当人体部位为下肢时，所述步骤S2在不同运动状态下的滑动窗口算法如下所示：

根据实验数据设定窗口大小及步幅波峰峰值下限a与波谷峰值下限b，

式中RFoot_v_i为i时刻右脚速度值，v_a为步幅波峰阈值，v_b为步幅波谷阈值。

当时间t_i的速度值RFoot_v_i-1满足公式(2)时，即认为该时刻为步幅波峰，当时间t_i的速度值RFoot_v_i-1满足公式(3)时，即认为该时刻为步幅波谷，记录下波峰和波谷的时间信息，根据波峰和波谷信息提取高精度运动周期T,单位为s,设置全脚掌接触地面时的光学数据的速度阈值，提取光学零速区间，并建立零速阈值区间t。

进一步的，所述步骤S3包括：

S3-1：惯性零速区间时长提取

S3-1-1：利用三轴陀螺和三轴加计进行零速区间的检测；

惯性零速区间的时长：

其中，f_s为数据采样频率，n为一个采样周期内符合所设定条件的点的个数，t_g为惯性零速区间时长；

利用滑动窗口算法进行惯性零速区间提取，步骤如下：

1)将所需提取的惯性零速区间数据存储到一个数组；

2)确定滑动窗口区间大小；

3)输入提取数据信息的条件f_smin＜f_s＜f_smax，从满足条件时刻开始计数；

4)当执行完一个数据周期时，统计窗口内符合零速条件的窗口个数；

5)根据窗口大小与窗口个数的乘积确定符合条件的点数，与惯性零速区间时长t_g相乘获得惯性零速区间点对应的时间区间；

S3-1-2：对惯性零速区间进行滤波优化；

利用卡尔曼滤波算法对惯导解算信息进行优化，设卡尔曼滤波的状态方程为：

其中，

表示惯性测量单元的三轴姿态误差；ε^b表示惯性测量元件的陀螺漂移；δpⁿ表示惯导解算的位置误差；δvⁿ表示惯导解算的速度误差；

表示三轴加计的误差；

其中，所采用的量测方程为：

z_k＝[δvⁿ]^T (7)

v为速度信息，δvⁿ表示惯导解算的速度误差；

滤波器为：

x(t)表示状态量，w(t)是***噪声，z_k表示量测值，H_k为量测矩阵，F(t)为状态转移矩阵，

为x(t)一阶求导量

I_3×3表示单位矩阵

S3-2：当该惯性零速区间时长t_g属于零速阈值区间t时，即认为人体发生了对应区间所代表的运动状态。

相比于现有技术，本发明具有以下有益效果：

传统的基于脚部运动特征的人体运动识别主要采用MEMS惯性器件，而MEMS器件精度差，提取的人体零速区间置信度低，且MEMS安装位置不同测量的人体运动的零速区间不同。为克服这一问题，本发明提出了基于室内环境下的高精度的光学视觉的人体不同状态的运动零速区间的提取，提取的零速区间精度在毫米级，并用该零速区间建立人体不同运动状态下的零速置信区间(零速的阈值区间)。由于光学***受环境限制和测量设备的限制，只能在高精度视觉传感器可视区域内进行人体检测，应用场景单一。本发明的目的结合光学***和惯性***的优势，提出了光学***建立零速阈值的方法，然后并建立人体下肢的关联机理模型来约束在其他环境下惯导***的误差，并以零速阈值区间做判断条件，对惯性***采集的零速区间进行判断，识别出在惯性***测量下的人体的运动状态。

附图说明

图1为本发明的***整体结构图；

图2为人体下肢坐标系抽象示意图；

图3为人体运动状态识别流程图。

具体实施方式

下面结合附图和实施例进一步描述本发明，应该理解，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

以人体下肢运动为一实施例，具体说明本发明用于一种基于光/惯融合的人体运动检测方法。

步骤1：人体下肢运动学建模。

研究复杂运动条件下人体不同部位的运动学参数变化规律，归纳不同部位运动学参数间的关联机理与映射关系，建立复杂运动下人体各部位运动参数动态关联模型。在人体运动参数化模型的基础上，深入研究不同个体、相同个体不同运动状态。

步骤1.1：人体下肢刚体抽象。

为研究复杂运动条件下人体下肢部位的运动学参数变化规律，归纳不同部位运动学参数间的关联机理与映射关系，建立复杂运动下人体下肢部位运动参数动态关联模型。建立了如下所示的人体下肢坐标系示意图，如图2所示。图中1、7表示人体的脚部，O表示人体下肢的关节，2、6表示人体的小腿部位，3、5表示人体的大腿，4表示人体的胯骨，h表示的人体的腰部，由于主要研究人体直立运动状态，故只考虑腰部的扭转运动，不考虑腰部的先前先后弯曲运动，用O-X_iY_iZ_i表示人体下肢各部位的坐标。

步骤1.2：人体下肢刚体参数建模

设人体下肢运动学模型的Denavit-Hartenberg参数如表1所示：

表1下肢Denavit-Hartenberg参数编号

上表中肢体扭角表示从Z_i-1旋转到Z_i的角度，沿着X轴正向旋转为正方向；肢体长度a_i表示对应关节所驱动的肢体长度；关节扭角表示从X_i到X_i-1的旋转角度，绕Z轴正方向旋转为正。肢体的运动可以看作肢体的扭转同时伴随着关节的伸曲。由此可以建立坐标系i到坐标系i-1的齐次变换矩阵，坐标系i在进行平移变换和旋转变换到坐标系i-1时，均进行矩阵的右乘：：

为方便计算，令

上式中，cθ_i表示cosθ_i；sθ_i表示sinθ_i；cα_i表示cosα_i；sα_i表示sinα_i，

表示坐标系i到坐标系i-1的转换矩阵。

从上述便可以知道左脚到腰部的坐标变换矩阵为：

同理可知右脚到腰部的坐标变换矩阵为：

当人体下肢做直立运动时(走、跑、跳)时，胯骨跟腰部可以看作固连在一起，即忽略腰部与胯骨之间的小角度扭转：则腰部到脚部的转换关系为：

步骤2：基于光学捕捉***的人体脚步零速区间提取。利用光学动作捕捉***具有定位精度高、运动信息识别准确的特点，在进行人体运动状态识别过程前，先利用光学动作捕捉***进行人体脚部不同运动状态信息的获取，通过高精度的位置定位信息，利用差分原理获得人体脚步的速度信息，然后利用速度信息进行二次差分获得人体脚部运动的角速度信息，然后利用差分后的数据信息，通过滑动窗口算法识别人体脚部的运动状态的光学零速阈值区间t。详细步骤如下所示：

1.利用光学动作捕捉***获取人体脚部运动的位置数据信息；

2.对位置数据信息进行差分计算，解算出脚部的运动速度；

3.剔除速度信息中的野值；

4.进行数据平滑滤波，消除外界光源等信息的干扰；

5.对经过数据处理后的速度信息进行滑动窗口法的零速点提取；

6.根据光学标识点的采样频率确定零速区间。

不同运动状态下的零速区间识别算法如下所示，根据实验数据设定窗口大小及步幅波峰峰值下限a与波谷峰值下限b

式中RFoot_v_i为i时刻右脚速度值，v_a为步幅波峰阈值，v_b为步幅波谷阈值，当时间t_i的速度值RFoot_v_i-1满足公式(2)时，即可认为该时刻为步幅波峰，当时间t_i的速度值RFoot_v_i-1满足公式(3)时，即可认为该时刻为步幅波谷，记录下波峰和波谷的时间信息。根据波峰/波谷信息提取高精度运动周期T,单位为s，设置全脚掌接触地面时的光学数据的速度阈值，提取光学零速区间时长，并建立零速阈值区间t,单位为s。

设光学零速区间时长为cT,c为运动状态参数，c上下加减约0.02，可得到零速阈值区间t,即t＝[(c-0.02)T,(c+0.02)T],t_min＝(c-0.02)T,t_max＝(c+0.02)T。

设行走的运动周期为T₁,跑步的运动周期为T₂,跳跃的运动周期为T₃。

实验得到，行走的光学零速区间时长为0.4T₁，跑步的光学零速区间时长为0.21T₂，跳跃的光学零速区间时长为0.47T₃，可得：

t₁＝[0.37T₁,0.42T₁]；t₂＝[0.19T₂,0.23T₂]；t₃＝[0.45T₃,0.49T₃]

t₁为行走运动状态的零速阈值区间，t₂为跑步运动状态的零速阈值区间，t₃为跳跃运动状态的零速阈值区间。

步骤3：光学参数约束下的惯性***人体运动识别利用光学动作捕捉***识别人体脚部的运动状态的零速区间，然后通过惯导捕获室内/室外人体运动信息，与前期测量的零速阈值区间t进行区间比对识别人体运动姿态。

步骤3.1：惯性零速区间提取

(1)惯性器件的零速区间检测方法

利用惯性器件静止时，三轴陀螺和三轴加计的物理特性进行零速区间的检测，可以准确快速判断出零速区间。当人体静止时，由于初始失准角的原因造成三轴加计与地理坐标(东北天)系并不重合，而存在一定角度的偏差，利用这一特性，通过三轴加计的矢量和便可以解算出地球加速度g，而利用加计判断零速区间的核心就是通过三轴加计的矢量和加速度是否与重力加速度存在一定偏差。具体如下：

三轴加计矢量和：

其中，f_x，f_y，f_z表示惯性测量元件的三轴加计的加速度测量值。

零速区间对应的零速加计范围：

f∈(f_min,f_max)

其中，f_min表示加计置信区间的最小值，f_max表示置信区间最大值。

静止时三轴陀螺的物理特性是，当惯性元件静止时，由于初始失准角的原因导致陀螺三轴与地理坐标系(东北天)并不重合，但三轴陀螺的矢量和表示的是地球自转加速度，为15.04°×cosθ，利用三轴陀螺判断零速区间的核心就是通过三轴陀螺的矢量和是否处在地球自转角速度所确定的置信区间内。具体算法公式如下所示：

其中，w_x,w_y,w_z表示惯性单元的三轴陀螺的角速度。

零速区间对应的陀螺置信区间范围：

w∈(w_min,w_max)

其中，w_min表示陀螺置信区间的最小值，w_max表示陀螺置信区间最大值。

在确定零速区间的判别条件之后，利用数点法和滑动窗口算法实现零速区间的确定。数点法就是利用区间匹配的方法，当判断当前时刻的点处于所设定条件范围内，则点数加一，反之不加，最后利用确定落在区域内的点数与数据频率的倒数相乘来获得零速区间的时长。数点法如下所示：

其中，f_s为数据采样频率，n为一个采样周期内符合所设定条件的点的个数，t_g为惯性零速区间时长；

滑动窗口算法进行零速区间：

1.将所需提取的零速区间数据存储到一个数组；

2.确定滑动窗口区间大小；

3.输入提取数据信息的条件f_smin＜f_s＜f_smax，从满足条件时刻开始计数；

4.当执行完一个数据周期时，统计窗口内符合零速条件的窗口个数；

5.根据窗口大小与窗口个数的乘积确定符合条件的点数，最后与每采样一个点所需时间即惯性零速区间时长t_g相乘获得零速区间点对应的时间区间。

(2)零速区间的滤波优化。

为减小陀螺和加计的常值零偏和随机噪声对零速区间的影响，利用卡尔曼滤波算法对惯导解算信息进行优化，设卡尔曼滤波的状态方程为：

其中，

表示惯性测量单元的三轴姿态误差；ε^b表示惯性测量元件的陀螺漂移；δ_p表示惯导解算的位置误差；δ_vn表示惯导解算的速度误差；

表示三轴加计的误差。

量测方程为：

z_k＝[δvⁿ]^T (7)

v为速度信息，δvⁿ表示惯导解算的速度误差；

滤波器为：

x(t)表示状态量，w(t)是***噪声，z_k表示量测值，H_k为量测矩阵，F(t)为状态转移矩阵，

为x(t)一阶求导量

I_3×3表示单位矩阵。

由于零速修正和零角速度修正的量测值：零速区间的速度和陀螺输出的角速度只有在零速时刻才能获取，因此本文的卡尔曼滤波算法在检测到零速区间时做时间更新和量测更新，在未检测到零速区间时只做时间更新。

步骤3.2：光学零速阈值区间约束下的运动检测。

在获取了人体脚部运动状态高精度的零速区间后，然后利用惯导进行室内/室外人体运动信息捕获后，通过滑动窗口方法获取人体运动过程的零速阈值信息，最后通过前期准备的光学零速阈值区间t作为先验条件，进行区间比对，当捕获的脚部运动信息属于对应区间范围时，即可认为人体发生了对应区间所代表的运动状态。具体为：

当惯性零速区间的时长在[0.37T₁，0.42T₂]范围内时，即认为运动转态为行走；

当惯性零速区间的时长在[0.19T₁，0.23T₂]范围内时，即认为运动转态为跑步；

当惯性零速区间的时长在[0.45T₁，0.49T₂]范围内时，即认为运动转态为跳跃。

T₁是行走运动状态的周期，T₂是跑步运动状态的周期，T₃是跳跃运动状态的周期。零速区间确定和脚部运动状态识别流程如图3所示。

步骤4，重复上述2-3步骤，直到运动检测完毕。

对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以对本发明的实施例做出若干变型和改进，这些都属于本发明的保护范围。

Claims (5)

1.一种基于光/惯融合的人体运动检测方法，其特征在于，包括如下步骤：

S1：建立复杂运动下人体各部位的多刚体运动学模型；

S2：通过光学动作捕捉***提取不同运动状态的高精度人体运动周期T，单位为s，建立对应的零速阈值区间t，单位为s；

S3：利用惯导进行室内/室外人体运动信息捕获，得到惯性零速区间时长t_g，当所述惯性零速区间时长t_g位于所述零速阈值区间内时，即判断人体发生了对应区间所代表的运动状态；

S4：重复上述步骤S2-S3，直到运动检测完毕。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1具体为：

S1-1：抽象表示出人体各部位刚体，用1-h表示人体各部位，人体各部位分别建立各自运动坐标系，用O-X_iY_iZ_i表示，1≤i≤h；

S1-2：建立人体多刚体运动学参数模型；建立坐标系i到坐标系i-1的齐次变换矩阵，坐标系i在进行平移变换和旋转变换到坐标系i-1时，均进行矩阵的右乘：

表示坐标系i到坐标系i-1的转换矩阵，α_i表示i部位扭角，l_i表示i部位长度，θ_i表示i部位关节转角，d_i表示i部位关机偏距，Trans为变换矩阵，R为旋转矩阵；

S1-3：对1-h每个人体部位均采用S1-2中的方法进行变换，即得到多刚体运动学模型。

3.根据权利要求2所述的方法，其特征在于，所述步骤S2具体为：

S2-1：利用光学动作捕捉***获取人体部位运动的位置数据信息；

S2-2：对位置数据信息进行差分计算，解算出运动速度；

S2-3：剔除运动速度信息中的野值，对运动速度进行数据平滑滤波，消除干扰；

S2-4：通过滑动窗口算法得到光学零速区间时长cT，其中c为运动状态参数，运动状态参数上下浮动0.02得到零速阈值区间t，单位为s，t＝[(c-0.02)T,(c+0.02)T]。

4.根据权利要求3所述的方法，当人体部位为下肢时，所述步骤S2具体为：

在不同运动状态下的滑动窗口算法为：根据实验数据设定窗口大小及步幅波峰峰值下限a与波谷峰值下限b，

式中RFoot_v_i为i时刻右脚速度值，v_a为步幅波峰阈值，v_b为步幅波谷阈值；

当时间t_i的速度值RFoot_v_i-1满足公式(2)时，即认为该时刻为步幅波峰，当时间t_i的速度值RFoot_v_i-1满足公式(3)时，即认为该时刻为步幅波谷，记录下波峰和波谷的时间信息，根据波峰和波谷信息提取高精度运动周期T，设置全脚掌接触地面时的光学数据的速度阈值，提取光学零速区间时长，并建立零速阈值区间t。

5.根据权利要求1-4之一所述的方法，其特征在于，所述步骤S3包括：

S3-1：惯性零速区间时长提取

S3-1-1：利用三轴陀螺和三轴加计进行零速区间的检测；

惯性零速区间的时长：

其中，f_s为数据采样频率，n为一个采样周期内符合所设定条件的点的个数，t_g为惯性零速区间时长时长；

利用滑动窗口算法进行惯性零速区间时长提取，步骤如下：

1)将所需提取的惯性零速区间时长数据存储到一个数组；

2)确定滑动窗口区间大小；

3)输入提取数据信息的条件f_smin＜f_s＜f_smax，从满足条件时刻开始计数；

4)当执行完一个数据周期时，统计窗口内符合零速条件的窗口个数；

5)根据窗口大小与窗口个数的乘积确定符合条件的点数，与惯性零速区间时长t_g相乘获得惯性零速区间点对应的时间区间；

S3-1-2：对惯性零速区间进行滤波优化

利用卡尔曼滤波算法对惯导解算信息进行优化，设卡尔曼滤波的状态方程为：

其中，

表示惯性测量单元的三轴姿态误差；ε^b表示惯性测量元件的陀螺漂移；δpⁿ表示惯导解算的位置误差；δvⁿ表示惯导解算的速度误差；

表示三轴加计的误差；

其中，所采用的量测方程为：

z_k＝[δvⁿ]^T (7)

v为速度信息，δvⁿ表示惯导解算的速度误差；

滤波器为：

x(t)表示状态量，w(t)是***噪声，z_k表示量测值，H_k为量测矩阵，F(t)为状态转移矩阵，

为x(t)一阶求导量

I_3×3表示单位矩阵

S3-2：当该惯性零速区间时长t_g属于光学零速阈值区间t时，即认为人体发生了对应区间所代表的运动状态。

Images