CN106095113A - 一种九轴传感器融合的用户姿态测算和虚拟现实随动方法 - Google Patents

Abstract

本发明公开了一种九轴传感器融合的用户姿态测算和虚拟现实随动方法，该方法基于头戴式虚拟现实设备，包括传感器采集步骤、姿态测算步骤以及显示步骤，其中：传感器采集步骤：通过三轴陀螺仪，三轴加速计、三轴磁力计采集九轴数据；姿态测算步骤，显示步骤：通过视角矩阵调整虚拟世界景象。使用本发明的技术方案，获得以下有益效果：在用户静止时，令传感器给出的数据为零，没有噪声；充分利用不同传感器的数据，得到正确的用户姿态；虚拟世界的视角无延迟、实时地随着用户的姿态改变而变化；保证用户能从任何角度观察虚拟现实世界。

Description

一种九轴传感器融合的用户姿态测算和虚拟现实随动方法

技术领域

本发明涉及虚拟现实领域，具体是一种九轴传感器融合的用户姿态测算和虚拟现实随动方法。

背景技术

在虚拟现实领域中，通常使用头戴式虚拟现实设备来进行虚拟世界的显示、用户交互，头戴式虚拟现实设备有许多种不同的解决方案，包括使用智能手机配备相应的虚拟现实盒子，或者使用集成了移动操作***的一体机盒子等。不论使用哪种解决方案，头戴式虚拟现实设备均包含显示模块、用户交互模块、传感器模块，使用传感器模块分析用户在现实世界中的姿态并应用到显示模块，使用户通过显示模块看到对应的虚拟景象。对传感器数据的校准、分析以及最终应用于虚拟世界的结果的准确性和实时性对用户的体验有着决定性的影响。

现有技术一般是使用陀螺仪传感器数据来计算出用户头部在三个欧拉角的轴上旋转的角度，并将旋转的角度应用到虚拟世界的视角调整中，使虚拟世界可以随着用户头部的转动而在显示模块中呈现不同角度的景象。其中，虚拟世界的视角依赖于视角矩阵，包含了用户在虚拟世界中的位置、视线方向和上方向的信息。现有的调整视角的方法一般是使用欧拉角对视角矩阵进行旋转变换。欧拉角：用来确定定点转动刚***置的3个一组独立角参量，由章动角θ、旋进角(即进动角)ψ和自转角j组成，为欧拉首先提出而得名。

现有技术使用的传感器未经校准会出现零漂现象，在用户静止时仍存在一些非零的噪声，从而导致虚拟世界的视角小幅度移动。噪声：信号处理中出现的由于设备精度、外界影响等原因产生的对正确数据具有干扰效果的额外数据。

现有技术仅使用陀螺仪的三轴数据测算用户的姿态，陀螺仪传感器的数据精度低，在转动过程中会累积误差，所以无法准确测算用户的姿态，显示出来的虚拟世界景象与用户姿态不对应。

现有技术读取传感器数据以后进行计算，然后才反映到虚拟世界的视角变换，导致用户姿态改变后虚拟世界视角的变化有一定的延迟。

现有技术使用欧拉角对视角矩阵进行旋转，当旋转到一些特定角度时有两个轴会处于同一平面，出现万向锁问题，无法进行正常转动。其中，视角矩阵：广泛应用于计算机图形应用的一种矩阵，一般包含四行四列十六个元素，每一个行向量(或列向量，取决于使用的计算机图形库)代表视角的一条坐标轴的位置。万向锁：使用欧拉角对视角矩阵进行转动时出现的问题，当视角矩阵转动到某些角度时，会丢失其中一个轴，从而在该方向上无法转动。

发明内容

本发明针对背景技术中存在的问题，提出一种九轴传感器融合的用户姿态测算和虚拟现实随动方法。

技术方案：

一种九轴传感器融合的用户姿态测算和虚拟现实随动方法，该方法基于头戴式虚拟现实设备，包括传感器采集步骤、姿态测算步骤以及显示步骤，其中：

传感器采集步骤：通过三轴陀螺仪，三轴加速计、三轴磁力计采集九轴数据，其中：三轴陀螺仪：一种三轴传感器，包含了设备在三个相互垂直的方向上的旋转速度；三轴加速计：一种三轴传感器，包含了设备在三个相互垂直的方向上受到的加速度；三轴磁力计：一种三轴传感器，包含了设备在三个相互垂直的方向上受到磁力强度；九轴传感器：包含了三轴陀螺仪、三轴加速计、三轴磁力计的传感器的总称；

姿态测算步骤：首先对九轴数据进行校准，校准结果上报给融合算法，融合算法通过校准后的九轴数据计算出当前数据下的用户姿态，预测算法通过当前时刻融合算法的结果和过去时刻的姿态变化趋势预测若干时间后的用户姿态，得到旋转四元数，将旋转四元数换算到视角矩阵；

显示步骤：通过视角矩阵调整虚拟世界景象。

优选的，所述九轴数据进行校准是对三种传感器的数据分别进行校准，其中：

三轴陀螺仪：在多次采样中取平均值；或者，先在静止状态下采集三轴陀螺仪的偏移量，上报数据时去除；

三轴加速计：在静止状态下利用重力加速度的方向剔除干扰，过程如下：

A＝(a_x,a_y,a_z)

G＝(g,0,0)

Δ＝A-G

$A_t^C=A_t-\mathrm{\Δ}$

式中A为静止状态下加速计数据，G为重力加速度向量，Δ为加速计偏移量，A_t为加速计原始数据，为校准后t时刻的加速计数据；

三轴磁力计：采取平面校准法或八字校准法进行校准。

优选的，三轴磁力计在含有附加的局部磁场环境下，采用以下方法校准：

1)将三轴磁力计水平旋转360度；

2)找到三轴磁力计水平方向数据的最小和最大输出X_min,Y_min,X_max,Y_max；

3)比较X_max-X_min和Y_max-Y_min，取其中较大者，此处令比例系数：X_s＝1；

4)计算另一个比例系数：

5)计算偏置补偿：

X_b＝X_s[1/2(X_max-X_min)-X_max]

Y_b＝Y_s[1/2(Y_max-Y_min)-Y_max]

6)得到输出：

X_out＝X_in*X_s+X_b

Y_out＝Y_in*Y_s+Y_b

式中，X_outY_out为校准后的磁力计数据，X_inY_in为原始的磁力计数据，Z轴在使用此种方法时无需校准。

优选的，所述融合算法将九轴数据的校准结果按照一定的算法进行融合，输出一个旋转四元数，所述一定的算法包括：卡尔曼滤波算法、扩展卡尔曼滤波算法、互补滤波算法。扩展卡尔曼滤波：将卡尔曼滤波器从线性推广到非线性的一种扩展算法，卡尔曼滤波器可以通过结合***的观测值和预测值来给出较为精确的***状态。互补滤波：使用一种数据来补充另一种数据的滤波方式，可以结合不同数据各自的优点，弥补对方的缺点。

优选的，所述预测算法以融合算法得到的旋转四元数为输入，通过分析数据的变化趋势，给出用户现实中最可能的真实姿态，得到预测的旋转四元数结果，具体步骤如下：

1)获取t时刻融合算法的结果：旋转四元数Q_t＝[q₀,q₁,q₂,q₃]；

2)预测算法根据从0时刻一直到t-1时刻的预测四元数P₀,P₁,...,P_t-1，计算出预测的偏移量四元数P_Δt＝[p_Δt0,p_Δt1,p_Δt2,p_Δt3]；

3)在旋转四元数Q_t的基础上加上偏移量P_Δt，得到最终的预测结果四元数P_t＝[p₀,p₁,p₂,p₃]＝[q₀+p_Δt0,q₁+p_Δt1,q₂+p_Δt2,q₃+p_Δt3]。

优选的，所述将旋转四元数换算到视角矩阵是将旋转四元数转换成旋转矩阵，然后将视角矩阵乘上这个旋转矩阵，旋转四元数转换成旋转矩阵的算法如下：

对于旋转四元数(x,y,z,w)，其对应的旋转矩阵：

$\left[\begin{array}{cccc}q11& q12& q13& q14\\ q21& q22& q23& q24\\ q31& q32& q33& q34\\ q41& q42& q43& q44\end{array}\right]$

式中：

q11＝1-2*y*y-2*z*z；q12＝2*x*y-2*z*w；q13＝2*x*z+2*y*w；q14＝0；

q21＝2*x*y+2*z*w；q22＝1-2*x*x-2*z*z；q23＝2*y*z-2*x*w；q24＝0；

q31＝2*x*z-2*y*w；q32＝2*y*z+2*x*w；q33＝1-2*x*x-2*y*y；q34＝0；

q41＝0；q42＝0；q43＝0；q44＝1。

优选的，所述头戴式虚拟现实设备包括传感器模块、用户交互模块、显示模块、数据处理模块、头戴式结构，其中：

传感器模块包括：三轴陀螺仪、三轴加速计、三轴磁力计；

用户交互模块包括：触摸式屏幕、手柄；

显示模块包括：液晶显示屏；

数据处理模块包括：中央处理器、显卡、内存；

头戴式结构提供了一种可以使设备固定在用户头部，并随着用户的姿态移动的结构。

作为一种实施方式，所述头戴式虚拟现实设备由智能手机和虚拟现实盒子共同组成，其中：智能手机包含传感器模块、显示模块、数据处理模块，而虚拟现实盒子提供了用户交互模块、头戴式结构。

作为另一种实施方式，所述头戴式虚拟现实设备为集成了所有模块的一体机设备。

本发明的有益效果

使用本发明的技术方案，获得以下有益效果：在用户静止时，令传感器给出的数据为零，没有噪声；充分利用不同传感器的数据，得到正确的用户姿态；虚拟世界的视角无延迟、实时地随着用户的姿态改变而变化；保证用户能从任何角度观察虚拟现实世界。

附图说明

图1为头戴式虚拟现实设备组成模块图。

图2为本发明方案构成框图。

图3为视角矩阵示意图。

具体实施方式

下面结合实施例对本发明作进一步说明，但本发明的保护范围不限于此：

结合图1，本发明硬件上依赖于头戴式虚拟现实设备，包括：传感器模块、用户交互模块、显示模块、数据处理模块、头戴式结构，其中：

传感器模块包括：三轴陀螺仪、三轴加速计、三轴磁力计；

用户交互模块包括：触摸式屏幕、手柄；

显示模块包括：液晶显示屏；

数据处理模块包括：中央处理器、显卡、内存；

头戴式结构提供了一种可以使设备固定在用户头部，并随着用户的姿态移动的结构。

在一些实施例中，所述头戴式虚拟现实设备由智能手机和虚拟现实盒子共同组成，其中：智能手机包含传感器模块、显示模块、数据处理模块，而虚拟现实盒子提供了用户交互模块、头戴式结构。

在另一些实施例中，所述头戴式虚拟现实设备为集成了所有模块的一体机设备。

结合图2，本发明公开了一种九轴传感器融合的用户姿态测算和虚拟现实随动方法，该方法基于头戴式虚拟现实设备，包括传感器采集步骤、姿态测算步骤以及显示步骤，其中：

传感器采集步骤：通过三轴陀螺仪，三轴加速计、三轴磁力计采集九轴数据；

姿态测算步骤：首先对九轴数据进行校准，校准结果上报给融合算法，融合算法通过校准后的九轴数据计算出当前数据下的用户姿态，预测算法通过当前时刻融合算法的结果和过去时刻的姿态变化趋势预测若干时间后的用户姿态，得到旋转四元数，将旋转四元数换算到视角矩阵；

显示步骤：通过视角矩阵调整虚拟世界景象。

在优选的实施例中，所述九轴数据进行校准是对三种传感器的数据分别进行校准，其中：

三轴陀螺仪：在多次采样中取平均值；或者，先在静止状态下采集三轴陀螺仪的偏移量，上报数据时去除；

三轴加速计：在静止状态下利用重力加速度的方向剔除干扰，过程如下：

A＝(a_x,a_y,a_z)

G＝(g,0,0)

Δ＝A-G

$A_t^C=A_t-\mathrm{\Δ}$

式中A为静止状态下加速计数据，G为重力加速度向量，Δ为加速计偏移量，A_t为加速计原始数据，为校准后t时刻的加速计数据；

三轴磁力计：采取平面校准法或八字校准法进行校准。

在优选的实施例中，三轴磁力计在含有附加的局部磁场环境下，采用以下方法校准：

1)将三轴磁力计水平旋转360度；

2)找到三轴磁力计水平方向数据的最小和最大输出X_min,Y_min,X_max,Y_max；

3)比较X_max-X_min和Y_max-Y_min，取其中较大者，此处令比例系数：X_s＝1；

4)计算另一个比例系数：

5)计算偏置补偿：

X_b＝X_s[1/2(X_max-X_min)-X_max]

Y_b＝Y_s[1/2(Y_max-Y_min)-Y_max]

6)得到输出：

X_out＝X_in*X_s+X_b

Y_out＝Y_in*Y_s+Y_b

式中，X_outY_out为校准后的磁力计数据，X_inY_in为原始的磁力计数据，Z轴在使用此种方法时无需校准。

在优选的实施例中，所述融合算法将九轴数据的校准结果按照一定的算法进行融合，输出一个旋转四元数，所述一定的算法包括：卡尔曼滤波算法、扩展卡尔曼滤波算法、互补滤波算法。

在优选的实施例中，所述预测算法以融合算法得到的旋转四元数为输入，通过分析数据的变化趋势，给出用户现实中最可能的真实姿态，得到预测的旋转四元数结果，具体步骤如下：

1)获取t时刻融合算法的结果：旋转四元数Q_t＝[q₀,q₁,q₂,q₃]；

2)预测算法根据从0时刻一直到t-1时刻的预测四元数P₀,P₁,...,P_t-1，计算出预测的偏移量四元数P_Δt＝[p_Δt0,p_Δt1,p_Δt2,p_Δt3]；

3)在旋转四元数Q_t的基础上加上偏移量P_Δt，得到最终的预测结果四元数P_t＝[p₀,p₁,p₂,p₃]＝[q₀+p_Δt0,q₁+p_Δt1,q₂+p_Δt2,q₃+p_Δt3]。

借助算法给出的四元数可以对视角矩阵进行变换，调整到用户姿态所对应的视角，四元数可以避免使用欧拉角进行旋转的万向锁问题。视角矩阵是一个四行四列的矩阵，包含了在虚拟世界中用户的视角坐标系信息，示意图见图3。

在优选的实施例中，所述将旋转四元数换算到视角矩阵是将旋转四元数转换成旋转矩阵，然后将视角矩阵乘上这个旋转矩阵，旋转四元数转换成旋转矩阵的算法如下：

对于旋转四元数(x,y,z,w)，其对应的旋转矩阵：

$\left[\begin{array}{cccc}q11& q12& q13& q14\\ q21& q22& q23& q24\\ q31& q32& q33& q34\\ q41& q42& q43& q44\end{array}\right]$

式中：

q11＝1-2*y*y-2*z*z；q12＝2*x*y-2*z*w；q13＝2*x*z+2*y*w；q14＝0；

q21＝2*x*y+2*z*w；q22＝1-2*x*x-2*z*z；q23＝2*y*z-2*x*w；q24＝0；

q31＝2*x*z-2*y*w；q32＝2*y*z+2*x*w；q33＝1-2*x*x-2*y*y；q34＝0；

q41＝0；q42＝0；q43＝0；q44＝1。

本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种九轴传感器融合的用户姿态测算和虚拟现实随动方法，其特征在于该方法基于头戴式虚拟现实设备，包括传感器采集步骤、姿态测算步骤以及显示步骤，其中：

传感器采集步骤：通过三轴陀螺仪，三轴加速计、三轴磁力计采集九轴数据；

姿态测算步骤：首先对九轴数据进行校准，校准结果上报给融合算法，融合算法通过校准后的九轴数据计算出当前数据下的用户姿态，预测算法通过当前时刻融合算法的结果和过去时刻的姿态变化趋势预测若干时间后的用户姿态，得到旋转四元数，将旋转四元数换算到视角矩阵；

显示步骤：通过视角矩阵调整虚拟世界景象。

2.根据权利要求1所述的一种九轴传感器融合的用户姿态测算和虚拟现实随动方法，其特征在于所述九轴数据进行校准是对三种传感器的数据分别进行校准，其中：

三轴陀螺仪：在多次采样中取平均值；或者，先在静止状态下采集三轴陀螺仪的偏移量，上报数据时去除；

三轴加速计：在静止状态下利用重力加速度的方向剔除干扰，过程如下：

A＝(a_x,a_y,a_z)

G＝(g,0,0)

Δ＝A-G

$A_t^C=A_t-\mathrm{\Δ}$

式中A为静止状态下加速计数据，G为重力加速度向量，Δ为加速计偏移量，A_t为加速计原始数据，为校准后t时刻的加速计数据；

三轴磁力计：采取平面校准法或八字校准法进行校准。

3.根据权利要求2所述的一种九轴传感器融合的用户姿态测算和虚拟现实随动方法，其特征在于三轴磁力计在含有附加的局部磁场环境下，采用以下方法校准：

1)将三轴磁力计水平旋转360度；

2)找到三轴磁力计水平方向数据的最小和最大输出X_min,Y_min,X_max,Y_max；

3)比较X_max-X_min和Y_max-Y_min，取其中较大者，此处令比例系数：X_s＝1；

4)计算另一个比例系数：

5)计算偏置补偿：

X_b＝X_s[1/2(X_max-X_min)-X_max]

Y_b＝Y_s[1/2(Y_max-Y_min)-Y_max]

6)得到输出：

X_out＝X_in*X_s+X_b

Y_out＝Y_in*Y_s+Y_b

式中，X_outY_out为校准后的磁力计数据，X_inY_in为原始的磁力计数据，Z轴在使用此种方法时无需校准。

4.根据权利要求1所述的一种九轴传感器融合的用户姿态测算和虚拟现实随动方法，其特征在于所述融合算法将九轴数据的校准结果按照一定的算法进行融合，输出一个旋转四元数，所述一定的算法包括：卡尔曼滤波算法、扩展卡尔曼滤波算法、互补滤波算法。

5.根据权利要求4所述的一种九轴传感器融合的用户姿态测算和虚拟现实随动方法，其特征在于所述预测算法以融合算法得到的旋转四元数为输入，通过分析数据的变化趋势，给出用户现实中最可能的真实姿态，得到预测的旋转四元数结果，具体步骤如下：

1)获取t时刻融合算法的结果：旋转四元数Q_t＝[q₀,q₁,q₂,q₃]；

2)预测算法根据从0时刻一直到t-1时刻的预测四元数P₀,P₁,...,P_t-1，计算出预测的偏移量四元数P_Δt＝[p_Δt0,p_Δt1,p_Δt2,p_Δt3]；

3)在旋转四元数Q_t的基础上加上偏移量P_Δt，得到最终的预测结果四元数P_t＝[p₀,p₁,p₂,p₃]＝[q₀+p_Δt0,q₁+p_Δt1,q₂+p_Δt2,q₃+p_Δt3]。

6.根据权利要求1所述的一种九轴传感器融合的用户姿态测算和虚拟现实随动方法，其特征在于所述将旋转四元数换算到视角矩阵是将旋转四元数转换成旋转矩阵，然后将视角矩阵乘上这个旋转矩阵，旋转四元数转换成旋转矩阵的算法如下：

对于旋转四元数(x，y，z，w)，其对应的旋转矩阵：

$\left[\begin{array}{cccc}q11& q12& q13& q14\\ q21& q22& q23& q24\\ q31& q32& q33& q34\\ q41& q42& q43& q44\end{array}\right]$

式中：

q11＝1-2*y*y-2*z*z；q12＝2*x*y-2*z*w；q13＝2*x*z+2*y*w；q14＝0；

q21＝2*x*y+2*z*w；q22＝1-2*x*x-2*z*z；q23＝2*y*z-2*x*w；q24＝0；

q31＝2*x*z-2*y*w；q32＝2*y*z+2*x*w；q33＝1-2*x*x-2*y*y；q34＝0；

q41＝0；q42＝0；q43＝0；q44＝1。

7.根据权利要求1～6任一项所述的一种九轴传感器融合的用户姿态测算和虚拟现实随动方法，其特征在于所述头戴式虚拟现实设备包括传感器模块、用户交互模块、显示模块、数据处理模块、头戴式结构，其中：

传感器模块包括：三轴陀螺仪、三轴加速计、三轴磁力计；

用户交互模块包括：触摸式屏幕、手柄；

显示模块包括：液晶显示屏；

数据处理模块包括：中央处理器、显卡、内存；

头戴式结构提供了一种可以使设备固定在用户头部，并随着用户的姿态移动的结构。

8.根据权利要求7所述的一种九轴传感器融合的用户姿态测算和虚拟现实随动方法，其特征在于所述头戴式虚拟现实设备由智能手机和虚拟现实盒子共同组成，其中：智能手机包含传感器模块、显示模块、数据处理模块，而虚拟现实盒子提供了用户交互模块、头戴式结构。

9.根据权利要求7所述的一种九轴传感器融合的用户姿态测算和虚拟现实随动方法，其特征在于所述头戴式虚拟现实设备为集成了所有模块的一体机设备。