CN110646014B

CN110646014B - 基于人体关节位置捕捉设备辅助的imu安装误差校准方法

Info

Publication number: CN110646014B
Application number: CN201910938329.5A
Authority: CN
Inventors: 谭彩铭; 高翔; 徐国政; 朱博
Original assignee: Nanjing University of Posts and Telecommunications
Current assignee: Nanjing University of Posts and Telecommunications
Priority date: 2019-09-30
Filing date: 2019-09-30
Publication date: 2023-04-25
Anticipated expiration: 2039-09-30
Also published as: CN110646014A

Abstract

本发明公开了一种基于人体关节位置捕捉设备(如Kinect)辅助的惯性传感器安装误差校准方法，借助人体关节位置捕捉设备获得的人体关节位置信息、惯性传感器输出和人体运动特性，即可实现惯性传感器安装误差校准。校准过程中，人体无需执行通常所需要的严格的校准动作，只需人体待捕捉部位进行短暂的自然运动，即可实现安装误差校准。除了实现常规的安装姿态误差校准，本发明同时能实现安装位置误差校准，这样建立了惯性传感器和关节之间的完整运动学关系，有助于有效估计关节线运动参数。本发明很大程度上解决了偏瘫患者不能严格执行校准动作的问题，同时降低校准难度，减少校准时间，在偏瘫运动康复和体感游戏等领域具有极大的应用价值。

Description

基于人体关节位置捕捉设备辅助的IMU安装误差校准方法

技术领域

本发明属于人体运动捕捉技术领域，涉及一种用于人体运动捕捉的惯性传感器安装误差校准技术，具体涉及一种人体关节位置信息辅助的惯性传感器安装误差校准方法。

背景技术

人体运动捕捉技术在医学诊断、运动康复、虚拟现实、人机交互等方面有广阔的应用前景。

基于微型惯性测量单元(简称IMU，由三轴陀螺和三轴加速度计组成，通常包含三轴磁传感器)的人体运动捕捉***不受光线、场地或遮挡等限制，动态性能好，可以用于测量人体的户外运动，尤其适用于偏瘫患者的居家运动康复、体育运动分析、影视动画等。

由于人体不是标准的几何体，且人体骨骼到表皮之间的软组织容易发生形变，无法使得IMU真正沿着肢体方向佩戴，需要进行安装误差校准，以获得IMU坐标系与肢体坐标系之间准确姿态。以往的安装误差校准方法，通常要求被测试者执行特定的预设动作，如四肢的摆动，内外旋，人体呈“T”字形站立等，以便使肢体坐标轴沿重力方向保持静止，由三轴加速度计敏感出肢体轴向，或使肢体沿肢体轴向旋转，由三轴陀螺敏感出肢体轴向。可是被测试者难以严格做到沿肢体轴向转动或者使肢体沿重力方向(或水平方向)放置，尤其是本身就存在运动局限的偏瘫患者。此外，只对安装姿态误差进行校准，而忽视了对安装位置误差的校准，无法得知IMU相对于关节的安装位置，这将导致难以有效估计人体关节的线运动参数。

2010年微软正式发布了一款体感周边外设Kinect，Kinect传感器由RGB彩色摄影机、红外线发射器和结构光深度感应器三个镜头组成，其测量距离为：0.8到4米。通过使用Kinect和接口软件(如微软的软件开发工具包)，可以直接得到人体关节的3D空间位置。Kinect的人体关节捕捉算法预先经过大量的数据训练，所得的人体关节3D位置可以作为参考标准。类似的产品还有英特尔公司的RealSense等。

发明内容

发明目的：为了克服现有技术中存在的不足，提供一种无需严格执行特定的对准动作的运动捕捉方法，借助人体关节位置信息，人体待捕捉的部位只要进行自然的动作，即可实现IMU安装误差校准，包括安装位置误差的校准，进而可以进行基于IMU的人体运动捕捉，包括对人体关节线运动参数的估计。

技术方案：本申请拟采用人体关节位置捕捉设备(如Kinect)辅助的IMU安装误差校准方案，使用者待捕捉部位在人体关节位置捕捉设备测量范围内活动，并避免遮挡。人体待捕捉的部位自然运动，采集人体关节位置捕捉设备的人体关节位置信息和IMU输出数据，执行安装误差校准算法，获得IMU的安装姿态误差和安装位置误差。具体如下：

记肢体坐标系为b系，IMU坐标系为s系，当地东北天坐标系为地理坐标系g系，参考系r系根据需要人为定义，其相对于g系的姿态已知且保持不变，记人体关节位置捕捉设备坐标系为k系，k系相对于g系的姿态已知且保持不变，

表示m系到n系的旋转矩阵。肢体指向l在k系下的映射l^k由人体关节位置捕捉设备所得肢体两端的人体关节位置向量相减获得，肢体指向l在r系下的映射

肢体的自旋角为θ。

可描述IMU的相对于肢体安装姿态，满足式(1)。

式(1)中

由IMU的9轴输出根据航姿参考***中的姿态确定算法求得。l^r和θ实际构成了肢体姿态的轴角描述，θ未知。IMU被固定在肢体部位，IMU的安装姿态

不随时间发生变化，也就是说，在不同时刻，式(1)均成立，取t₁和t₂两个时刻，则：

将式(1)中的旋转矩阵转换为四元数，

对应的四元数为P，P＝[p₀,p₁,p₂,p₃]^T；

对应的四元数为Q，Q＝[q₀,q₁,q₂,q₃]^T；

对应的四元数为R，R＝[r₀,r₁,r₂,r₃]^T。满足式(3)。

其中

为四元数乘法符号，写成矩阵形式为

其中

根据式(3)-(5)，将式(2)等号两边的旋转矩阵转换为四元数，等式中含有两个未知数θ₁和θ₂，根据等号两边的四元数的4个元素分别相等构建方程组可确定θ₁和θ₂，进而确定

记IMU所在肢体两端的关节分别为关节1和关节2，IMU距关节1的距离与关节1和2间距的比值为λ，λ值可以描述IMU的安装位置，忽略IMU相对于肢体接触部位的微小位移，λ不随时间发生变化。设关节1和2的在k系下的空间坐标为

和

它们由人体关节位置捕捉设备测量得到，IMU在k系下的空间坐标为p^k，满足式(6)。

记由IMU输出进行惯性导航解算所得的位移在g系下的映射为s^g，卡尔曼滤波***的状态方程为：

这里加速度a^g由IMU输出解算可得。设IMU在k系的初始位置坐标为p^k(0)，则满足

综合式(6)得观测方程：

当肢体只有平动时，IMU的位移和关节的位移一致，无法确定IMU在肢体上的安装位置，而当肢体转动时，IMU的位移和关节的位移不等，它们之间存在比例关系λ。从观测方程式(8)也可以看出来，当平移时，式(8)中λ的系数为0，λ不可观测。可实际上，人在自然运动时，肢体部位难以做到只存在平移运动，通常包含旋转运动，尤其是运动自由度较高的四肢部位，也可提示被测试者在校准阶段任意转动肢体，因此可观测性是可以保证的，这样可由状态方程式(7)和观测方程式(8)进行卡尔曼滤波，估计出IMU安装位置λ，实现安装位置误差校准。其中卡尔曼滤波过程如下：

首先，将式(7)写成离散化形式，如式(9)所示。

X(t_n)＝A·X(t_n-1)+B·U(t_n-1)+W(t_n-1) (9)

这里X＝[v^g s^g λ]^T，

U＝a^g，T＝t_n-t_n-1，W为***噪声，其噪声方差阵根据IMU输出噪声大小设定，设***噪声方差阵为Q(t_n)。由观测方程式(8)，得更新时间点t_n上的观测方程为

Z(t_n)＝H(t_n)X(t_n)+V(t_n) (10)

其中，

V(t_n)是观测噪声，其噪声方差阵根据人体关节位置捕捉设备的精度设定，设观测噪声方差阵为R(t_n)。根据式(9)和式(10)，采用离散型卡尔曼滤波基本方程(11)对状态量作最优估计:

K(t_n)＝P(t_n/n-1)H(t_n)^T[H(t_n)P(t_n/n-1)H(t_n)^T+R(t_n)]^-1 (11c)

P(t_n/n-1)＝AP(t_n-1)A^T+Q(t_n-1) (11d)

P(t_n)＝[I-K(t_n)H(t_n)]P(t_n/n-1) (11e)

只要给定初值

和P(t₀)，根据t_n时刻的量测Z(t_n)，就可递推计算得t_n时刻的状态估计

从而估算出IMU的安装位置λ。

获得IMU的安装误差，可以获得IMU相对于关节的Denavit-Hartenberg方程(12)，其中d为关节相对于IMU的空间位置，给定λ和肢体长度可以求得。

设IMU相对于参考系的位姿用坐标变换矩阵表示为

则由式(12)得关节相对于参考系的坐标变换矩阵为

满足

其中

包含关节相对于参考系的角运动和线运动参数。

有益效果：本发明与现有技术相比，借助人体关节位置捕捉设备(如Kinect)，无需执行严格的校准动作，就可以实现IMU的安装误差校准，同时实现对IMU安装位置误差的估计，进而建立IMU与相邻关节的完整运动学关系，从而有助于实现对关节线运动参数的有效估计。本发明技术方案尤其适用于进行康复训练的偏瘫患者，因为他们可能无法完成特定的对准动作，对于普通用户，也难以保证对准动作的准确，本发明降低校准难度，减少校准时间，在偏瘫运动康复和体感游戏等领域具有极大的应用价值。

附图说明

图1为以上肢为例的IMU安装误差校准过程示意图；

图2为IMU安装位置可观测性直观分析示意图，其中(a)为平移过程不可观测示意图，(b)为旋转过程可观测示意图。

具体实施方式

下面结合附图和针对上肢的运动捕捉实施例，进一步阐明本发明，其中人体关节位置捕捉设备采用Kinect。

被测试者的上肢运动范围在Kinect的视距内，Kinect传感器位置保持不变。在被测试者的上下臂分别安装IMU，如图1所示。上肢进行几秒钟的自然运动，计算机同时采集Kinect的人体关节位置信息和IMU传感器的9轴输出数据，并运行安装误差校准算法。安装误差校准算法执行过程如下所示。

记肢体坐标系为b系，IMU坐标系为s系，当地东北天坐标系为地理坐标系g系，Kinect坐标系为k系，参考系r系根据需要人为定义。r系、g系、k系位姿均保持不变。

表示m系到n系的旋转矩阵，开始时测量得到

和

记肢体指向为l，肢体的自旋角为θ。

由上臂的IMU的9轴输出数据，根据航姿参考***中的姿态确定算法，得到

由Kinect得到的人体肩关节和肘关节的位置向量相减得到肢体指向在k系下的映射l^k，根据

求得向量l在r系下的映射l^r。

可描述上臂IMU的安装姿态，满足式(1)。

式(1)中，θ未知，IMU的安装姿态

基本不随时间发生变化，也就是说，在不同时刻，式(1)均成立，设t₁和t₂两个时刻，则：

将式(1)中的旋转矩阵转换为四元数，

对应的四元数为P，P＝[p₀,p₁,p₂,p₃]^T；

对应的四元数为Q，Q＝[q₀,q₁,q₂,q₃]^T；

对应的四元数为R，R＝[r₀,r₁,r₂,r₃]^T。满足式(3)。

其中

为四元数乘法符号，写成矩阵形式为

其中

根据式(3)-(5)，将式(2)等式号两边的旋转矩阵转换为四元数，等式中含有两个未知数θ₁和θ₂，根据等号两边的四元数的4个元素分别相等构建方程组可确定θ₁和θ₂，进而确定

设安装于上臂的IMU距肩关节的距离与肩关节和肘关节距离的比值为λ，λ值可以描述IMU的安装位置，忽略IMU相对于肢体接触部位的微小位移，λ不随时间发生变化。设由Kinect测得肩关节和肘关节在k系下的空间坐标为

和

设IMU的空间坐标为p^k，记由IMU惯性导航所得的位移、速度、加速度在g系下的映射分别为s^g、v^g和a^g。采用卡尔曼滤波器估计λ。

卡尔曼滤波***的状态方程如式(6)所示。

X(t_n)＝A·X(t_n-1)+B·U(t_n-1)+W(t_n-1) (6)

这里X＝[v^g s^g λ]^T，

U＝a^g，T＝t_n-t_n-1，W为***噪声，其噪声方差阵Q(t_n)根据IMU输出噪声大小设定。观测方程如式(7)所示。

Z(t_n)＝H(t_n)X(t_n)+V(t_n) (7)

其中，

V(t_n)是观测噪声，其噪声方差阵R(t_n)根据Kinect定位人体关节位置的精度设定。根据式(6)和式(7)，采用离散型卡尔曼滤波基本方程(8)对状态量作最优估计:

K(t_n)＝P(t_n/n-1)H(t_n)^T[H(t_n)P(t_n/n-1)H(t_n)^T+R(t_n)]^-1 (8c)

P(t_n/n-1)＝AP(t_n-1)A^T+Q(t_n-1) (8d)

P(t_n)＝[I-K(t_n)H(t_n)]P(t_n/n-1) (8e)

只要给定初值

从而估算出IMU的安装位置λ。下臂的IMU安装位置误差估计过程同上臂IMU。

如图2(a)所示，当肢体只有平移过程时，IMU的位移和关节的位移一致，无法确定IMU在肢体上的安装位置，而当肢体为转动时，如图2(b)所示，IMU的位移和关节的位移不等，它们之间存在比例关系λ。从观测方程式(7)也可以看出来，当平移时，式(7)中λ的系数为0，λ不可观测。可实际上，人在自然运动时，肢体部位难以做到只存在平移运动，通常包含旋转运动，尤其是运动自由度较高的四肢部位，也可提示被测试者在校准阶段任意转动肢体，因此可观测性是可以保证的。

本实施例中的被测试者为偏瘫患者，在整个测试过程中，被测试者无需完成指定的对准动作，在保证精度的前提下，不但减少了对准时间，而且顺利地完成了测试。

Claims

1.一种基于人体关节位置捕捉设备辅助的IMU安装误差校准方法，其特征在于：包括如下步骤：使用者待捕捉部位在人体关节位置捕捉设备测量范围内活动，IMU安装于使用者的肢体；采集人体关节位置捕捉设备的人体关节位置信息和IMU输出数据，执行安装误差校准算法，获得IMU的安装姿态误差和安装位置误差；

记肢体坐标系为b系，IMU坐标系为s系，当地东北天坐标系为地理坐标系g系，人体关节位置捕捉设备坐标系为k系，参考系r系其相对于g系的姿态已知且保持不变，k系相对于g系的姿态已知且保持不变，

表示m系到n系的旋转矩阵，肢体指向l在k系下的映射l^k由人体关节位置捕捉设备所得肢体两端的人体关节位置向量相减获得，肢体指向l在r系下的映射

肢体的自旋角为θ，

描述IMU相对于肢体的安装姿态，满足式(1)；

式(1)中

根据航姿参考***姿态确定算法求得，l^r和θ构成了肢体姿态的轴角描述，IMU的安装姿态

不随时间发生变化，在不同时刻，式(1)均成立，取t₁和t₂两个时刻，则满足式(2)，将式(2)等号两边的旋转矩阵转换为四元数，等式中含有两个未知数θ₁和θ₂，根据等号两边的四元数的4个元素分别相等构建方程组可确定θ₁和θ₂，进而确定

2.根据权利要求1所述的基于人体关节位置捕捉设备辅助的IMU安装误差校准方法，其特征在于：进行IMU安装误差校准时，人体待运动捕捉部位自然运动，保证存在转动分量。

3.根据权利要求1所述的基于人体关节位置捕捉设备辅助的IMU安装误差校准方法，其特征在于：记IMU所在肢体两端的关节分别为关节1和关节2，IMU距关节1的距离与关节1和2间距的比值为λ，λ值描述IMU的安装位置，记关节1和2的在k系下的空间坐标为

和

由人体关节位置捕捉设备测得，IMU在k系下的空间坐标为p^k，IMU在k系的初始空间坐标为p^k(0)，由IMU输出进行惯性导航解算得位移在g系下的映射s^g，由IMU输出解算得加速度a^g，卡尔曼滤波***的状态方程和观测方程分别为式(3)和式(4)；

将式(3)和式(4)分别写成离散化形式，如式(5)和式(6)所示，其中X(t_n)＝[v^g(t_n) s^g(t_n) λ(t_n)]^T，

U(t_n)＝a^g(t_n)，T＝t_n-t_n-1，W为***噪声，其噪声方差阵Q(t_n)根据IMU输出噪声大小设定，

是观测噪声，其噪声方差阵R(t_n)根据Kinect定位人体关节位置的精度设定；

X(t_n)＝A·X(t_n-1)+B·U(t_n-1)+W(t_n-1) (5)

Z(t_n)＝H(t_n)X(t_n)+V(t_n) (6)

根据式(5)和式(6)，采用离散型卡尔曼滤波基本方程(7)对状态量作最优估计，给定初值

和P(t₀)，根据t_n时刻的量测Z(t_n)，递推计算得t_n时刻的状态估计

从而估算出IMU的安装位置λ；

P(t_n/n-1)＝AP(t_n-1)A^T+Q(t_n-1) (7b)

k(t_n)＝P(t_n/n-1)H(t_n)^T[H(t_n)P(t_n/n-1)H(t_n)^T+R(t_n)]^-1 (7c)

P(t_n)＝[I-K(t_n)H(t_n)]P(t_n/n-1) (7e)。

4.根据权利要求1-3任一所述的基于人体关节位置捕捉设备辅助的IMU安装误差校准方法，其特征在于，所述人体关节位置捕捉设备为Kinect或其他基于光学的人体关节位置捕捉设备。