CN110174949A - 虚拟现实设备和姿态感知及触觉再现控制方法 - Google Patents

Abstract

本发明涉及虚拟现实的技术领域，公开了虚拟现实设备和姿态感知及触觉再现控制方法，其中虚拟现实设备包括可供用户穿戴的手套，所述手套内设有：压力传感器，用于检测各手指受力情况；微型电子陀螺仪，用于采集所述手套的加速度信号和角速度信号；振动式刺激控制与驱动模块，用于产生振动触觉；单片机，根据所述手套的加速度信号和角速度信号计算得到所述手套位置及姿态，输出指令控制所述振动式刺激控制与驱动模块。本发明通过实时检测手套的加速度信号和角速度信号，计算获得手套的位置和姿态，从而感知用户手部的动作，空间测定精度高、实时性好，并且虚拟现实设备通过振动模拟触觉，增强了用户体验虚拟现实时的触觉反馈。

Description

虚拟现实设备和姿态感知及触觉再现控制方法

技术领域

本发明涉及虚拟现实的技术领域，尤其涉及触觉再现控制方法。

背景技术

随着虚拟现实技术(VR：Virtual Reality)的不断发展，人们对VR产品体验的维度和层次要求越来越高，单一的3D视觉的已经难以满足用户体验需求，VR设备的力触觉再现技术的要求越来越高，对空间位置姿态实时感知技术的要求也越来越高。

在CN 107941208 A的发明专利中，提到一种虚拟现实空间定位方法，该方法主要使用3D成像眼镜利用双目测距定位原理来实现空间位置测定，其弊端在于需要提前标定目标的初始位置，而且必须要有3D眼镜配合，空间位置的测定精确度和实时性均不够好。而在CN 206931051 U的发明专利中，提出一种VR手套力觉感知方案，通过液压***的反馈力控制模块控制手套本体内的反馈力产生单元在对应的位置输出反馈力，让手部感应到反馈力，该套方案的问题在于力反馈不够精确，只有抓握阻力感，无法产生真实的触觉体验。

发明内容

本发明的目的在于提供虚拟现实设备和姿态感知及触觉再现控制方法，旨在解决现有技术中虚拟现实设备对于空间位置测定精确度和实时性较差，而且触觉体验较差的问题。

本发明是这样实现的，提供虚拟现实设备，包括可供用户穿戴的手套，所述手套内设有：压力传感器，用于检测各手指受力情况；微型电子陀螺仪，用于采集所述手套的加速度信号和角速度信号；振动式刺激控制与驱动模块，用于产生振动触觉；单片机，根据所述手套的加速度信号和角速度信号计算得到所述手套位置及姿态，输出指令控制所述振动式刺激控制与驱动模块。

进一步地，还包括卡尔曼滤波器，用于融合加速度信号和角速度信号后计算得出所述手套的位置、姿态。

进一步地，还包括上位机，所述单片机通过无线模块与所述上位机通信。

进一步地，所述压力传感器包括分别设置在各个所述手指内壁上的微型应变片。

进一步地，还包括用于将自身位置信号转换成电信号的电位器，所述电位器安装于各手指。

本发明还提供了姿态感知及触觉再现控制方法，包括以下步骤；感知佩戴于用户手上的手套的三轴角速度和三轴线速度；通过卡尔曼融合滤波算法对三轴角速度和三轴线加速度进行数据融合,以输出所述手套的实时位置姿态；判断手指是否抓到物体；如果抓到所述物体，检测所述物体的外形信息；控制与用户手指接触的振动式刺激模块的振幅和频率，模拟触觉感知。

进一步地，判断手指是否抓到物体具体包括：检测各手指上力觉累积变化情况。

进一步地，检测所述物体的外形信息具体包括：通过各手指姿态信息，检测所述物体的外形信息。

进一步地，各手指的姿态感知使用电位器加转换滤波算法实现，将所述电位器转角值与电阻值一一对应，把位置信号转换成电信号，经过滤波、信号放大等流程感知各手指的位置姿态信息，并通过串口通信传到上位机。

进一步地，还包括以下步骤：通过上位机设定虚拟物体硬度；触摸点位置捕捉；请求手指按压力数据；将物体的硬度映射到驱动电压频率上；将手指主动按压力映射到驱动电压的幅值上；WiFi发射控制指令；手指感知。

与现有技术相比，本发明通过实时检测手套的加速度信号和角速度信号，计算获得手套的位置和姿态，从而感知用户手部的动作，空间测定精度高、实时性好，并且虚拟现实设备通过振动模拟触觉，增强了用户体验虚拟现实时的触觉反馈。

附图说明

图1为本发明实施例中手套位置及姿态实时感知流程图

图2为本发明实施例中部分硬件模块框图示意图；

图3为本发明实施例中单片机电路原理图

图4为本发明实施例中触觉感知控制流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体附图对本实施例的实现进行详细的描述。

实施例一：

如图1至图3所示，本实施例中提供虚拟现实设备，包括可供用户穿戴的手套，手套内设有：

压力传感与调理模块，包括用于检测各手指受力情况的压力传感器，电信号经过电压放大和低通滤波后向外输出；

微型电子陀螺仪，用于采集手套的加速度信号和角速度信号；

振动式刺激控制与驱动模块，用于产生振动触觉；

单片机(原理如图3所示)，根据手套的加速度信号和角速度信号计算得到手套位置及姿态，输出指令控制振动式刺激控制与驱动模块。

本实施例中的虚拟现实设备，通过实时检测手套的加速度信号和角速度信号，计算获得手套的位置和姿态，从而感知用户手部的动作，空间测定精度高、实时性好，无需借助其他辅助测定设备。另外，并且虚拟现实设备通过振动模拟触觉，增强了用户体验虚拟现实时的触觉反馈。

优选的，虚拟现实设备还包括卡尔曼滤波器，用于融合加速度信号和角速度信号后计算得出手套的位置、姿态。

优选的，虚拟现实设备还包括上位机，单片机通过无线模块与上位机通信。

压力传感器具体包括分别设置在各个手指内壁上的微型应变片，控制板安装有应变片测力信号低通滤波及信号放大装置，5个手指均安装有独立的力检测装置，通过检测5个手指力觉的累计变化情况，可以判定手指是否抓到物体，结合手指的位置姿态信息可以知道目标物的外形信息。

考虑到手指的运动关节较多，为减少对MCU计算性能的消耗，5根手指的姿态感知没有采用电子陀螺仪的方案，使用电位器加转换滤波算法实现，5个电位器类似于滑动变阻器，将电位器转角值与电位器的电阻值一一对应，可把电位器的位置信号转换成电信号，经过滤波、信号放大等流程可较为精确的感知各手指的位置姿态信息，并通过串口通信传到上位机。

实施例二

如图1至图4所示，本实施例中提供姿态感知及触觉再现控制方法，包括以下步骤；

获取原始加速度：感知佩戴于用户手上的手套的三轴角速度和三轴线速度，具体采用一个微型电子陀螺仪来实现。

卡尔曼融合滤波：通过卡尔曼融合滤波算法对三轴角速度和三轴线加速度进行数据融合,以输出手套的实时位置姿态；

判断手指是否抓到物体；

如果抓到物体，检测物体的外形信息；

控制与用户手指接触的振动式刺激模块的振幅和频率，模拟触觉感知。

实施例中的姿态感知及触觉再现控制方法通过实时检测手套的加速度信号和角速度信号，计算获得手套的位置和姿态，从而感知用户手部的动作，空间测定精度高、实时性好，无需借助其他辅助测定设备。另外，并且虚拟现实设备通过振动模拟触觉，增强了用户体验虚拟现实时的触觉反馈。

上述卡尔曼融合滤波算法如下：

线性离散时间动态***的状态方程可用公式(1-1)描述:

X(k)＝AX(k-1)+BU(k-1)+W(k) (1-1)

式中X(k)是***k时刻的状态向量，U(k)是k时刻的输入信号，B是***的输入控制加权矩阵,W(k)为***的过程噪声。

***的通用观测方程可用如下公式(1-2)描述:

Z(k)＝HX(k)+V(k) (1-2)

式中，Z(k)为***t时刻的观测向量,V(k)为***的观测噪声,H为观测矩阵。

状态方程从初始状态X(t0)开始计算,初始值在建模时把其作为一个满足离斯分布的随机向量,采用均值x0和方差P0来定义X(t0),可表示为公式(1-3):

E[X(t0)]＝x0

E{[X(t0)-x0][X(t0)-x0]^T}＝P0 (1-3)

式中，P0是所有元素都是正整数对角矩阵,其给出了真实状态和估计状态间的方差。

状态更新方程能根据***当前状态和噪声方差提前预估计出下一时刻***的状态,即为先验误差；而测量更新方程则负责反馈,通过把新的测量值代入己经在状态更新方程中得到的先验估计状态,可计算得到***状态的后验估计。状态更新方程即是状态预估计方程,测量更新方程即是状态修正方程。卡尔曼滤波过程可由如下卡尔曼滤波更新状态方程(1-4)和测量修正状态方程(1-5)表示:

X(k丨k)＝X(k丨k-1)+Kg(k)[Z(k)-HX(k丨k-1)]

P(k丨k)＝[I-Kg(k)H]P(k丨k-1) (1-5)

X(k丨k-1)是上一状态预测的结果,X(k-1丨k-1)是上一状态最优的结果,U(k)为现在状态的控制量,假设过程和测量噪声均是高斯噪声,他们的协方差分别是Q、R,P(k丨k-1)是X(k-1丨k-1)对应的协方差,Kg为卡尔曼増益,X(k丨k)是***测试的最优化估计,P(k丨k)是X(k丨k)对应的协方差。

首先根据公式(1-4)中的公式1可利用上一状态最优结果X(k-1丨k-1)获取本次预测结果X(k丨k-1),完成对***结果的更新,然后用公式(1-4)中的公式2获得X(k丨k-1)对应的协方差。通过公式(1-4)获得了此时***状态的预测结果,结合通过测量得到的***此时的状态,由公式(1-5)中的公式2得到此时***的最优化估计值X(k丨k),其中卡尔曼滤波増益Kg通过公式(1-5)中的公式1得到。通过上述运算获得了状态下的最优化估计X(k丨k)。为了让卡尔曼滤波器维续运行下去,需通过公式(1-5)中的公式3求出X(k丨k)状态对应下的协方差P(k丨k)。算法即可的运行下去直至***过程结束。

为使得实际计算过程更加简单便捷,选择通过加速度计算出来的角度和传感器测量得到的角速度作为输入,进行卡尔曼滤波器程序的编写,其算法流程图1所示。对于卡尔曼滤波结果的输出,则采用具有10个节点的循环单链表存储最近10次的输出值,剔除最大值和最小值后对余下的8个求平均值,进而达到滤除野值和平滑数据的目的。

人手与物体间接触的触觉主要与人手施加的力、物体的粗糙度、硬度等因素有关，为此控制振动式刺激模块的振幅及振动频率可以较为逼真的模拟人类的触觉感知，以目标物的硬度指标为例，其触觉表达流程如图4所示，其他触觉影响因素表达流程与其类似，具体还包括以下步骤；

通过上位机设定虚拟物体硬度；

触摸点位置捕捉；

请求手指按压力数据；

将物体的硬度映射到驱动电压频率上；

将手指主动按压力映射到驱动电压的幅值上；

WiFi发射控制指令；

手指感知。

上述的振动式触觉感知模块的控制算法构建如下：

外力施加于物体表面,物体表面可等效为经典弹黃阻尼模型，该模型可描述物体在外力作用下的变形程度,阻尼项和运动速度成正比，其力学方程如公式(2-1)所示。

F＝k*丨z-Z丨+b*(-dz/dt)z<＝Z (2-1)

式中,k*丨z-Z丨为弹黃的变形项,k为刚度系数,表示物体表面被挤压时的变形程度,与物体材料表面的属性有关,b*(-dz/dt)为阻尼项,(-dz/dt)为沿力作用方向的瞬时速度。

当手指W大小改变的力作用于物体上时,手指受到压力做的功为公式(2-2)所示:

W为在t到的过程中,手指受到压力所做的功。

U为振动式触觉感知模块正弦驱动电压的幅值,R(f)为振动式触觉感知模块在频率f的正弦电压作用时所呈现的阻抗特性,进而可得触觉感知模块的振幅U的表达式为(2-3)。

U为触觉感知模块的振幅

驱动电压频率越大,触觉发生器的振感越强,而驱动电压的频率f的表达式为(2-4)

f＝k1 sin(2π k1 (60k+25) t) (2-4)

f为驱动电压的振动频率

通过改变触觉感知模块的振幅U和振动频率f算法模型就可以模拟不同粗糙度和不同硬度的目标物触觉体验。

上述的判断手指是否抓到物体具体包括：

检测各手指上力觉累积变化情况，可以判定手指是否抓到物体。

上述的检测物体的外形信息具体包括：

通过各手指姿态信息，检测物体的外形信息。

各手指的姿态感知使用电位器加转换滤波算法实现，将电位器转角值与电阻值一一对应，把位置信号转换成电信号，经过滤波、信号放大等流程感知各手指的位置姿态信息，并通过串口通信传到上位机。

综上所述，本发明实施例提供的虚拟现实设备和姿态感知及触觉再现控制方法具有以下技术进步：

1、提出了微型陀螺仪和5个电位器组成的手套空间位置及手指姿态实时感知技术方案，既能精确的感知手套及手指的位置姿态信息又能减少整个手套的重量体积，以及单片的运算量，提高了虚拟现实控制***的实时性及容错率。

2、编写了一整套虚拟现实设备位置姿态信息感知及提取控制算法，从控制层面解决了虚拟现实设备姿态位置感知不够灵敏精度不够高的问题。

3、设计了一套虚拟现实设备的力感知及触觉反馈实现的电路及控制原理图，从原理上实现了手指受力精确感知及触觉反馈的一套实现方案。

4、本专利提出的触觉反馈技术方案及算法，能够实现对目标抓取物的粗糙度，硬度的特征提取，使得振动式触觉感知模块能够非常逼真的模拟人手抓取物体时的触觉感知状态，给人更好的虚拟现实抓取触觉体验。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.虚拟现实设备，其特征在于，包括可供用户穿戴的手套，所述手套内设有：

压力传感器，用于检测各手指受力情况；

微型电子陀螺仪，用于采集所述手套的加速度信号和角速度信号；

振动式刺激控制与驱动模块，用于产生振动触觉；

单片机，根据所述手套的加速度信号和角速度信号计算得到所述手套位置及姿态，输出指令控制所述振动式刺激控制与驱动模块。

2.如权利要求1所述的虚拟现实设备，其特征在于，还包括卡尔曼滤波器，用于融合加速度信号和角速度信号后计算得出所述手套的位置、姿态。

3.如权利要求1所述的虚拟现实设备，其特征在于，还包括上位机，所述单片机通过无线模块与所述上位机通信。

4.如权利要求1所述的虚拟现实设备，其特征在于，所述压力传感器包括分别设置在各个所述手指内壁上的微型应变片。

5.如权利要求1所述的虚拟现实设备，其特征在于，还包括用于将自身位置信号转换成电信号的电位器，所述电位器安装于各手指。

6.姿态感知及触觉再现控制方法，其特征在于，包括以下步骤；

感知佩戴于用户手上的手套的三轴角速度和三轴线速度；

通过卡尔曼融合滤波算法对三轴角速度和三轴线加速度进行数据融合,以输出所述手套的实时位置姿态；

判断手指是否抓到物体；

如果抓到所述物体，检测所述物体的外形信息；

控制与用户手指接触的振动式刺激模块的振幅和频率，模拟触觉感知。

7.如权利要求6所述的姿态感知及触觉再现控制方法，其特征在于，判断手指是否抓到物体具体包括：

检测各手指上力觉累积变化情况。

8.如权利要求6所述的姿态感知及触觉再现控制方法，其特征在于，检测所述物体的外形信息具体包括：

通过各手指姿态信息，检测所述物体的外形信息。

9.如权利要求6所述的姿态感知及触觉再现控制方法，其特征在于，各手指的姿态感知使用电位器加转换滤波算法实现，将所述电位器转角值与电阻值一一对应，把位置信号转换成电信号，经过滤波、信号放大等流程感知各手指的位置姿态信息，并通过串口通信传到上位机。

10.如权利要求6-9任一项所述的姿态感知及触觉再现控制方法，其特征在于，还包括以下步骤：

通过上位机设定虚拟物体硬度；

触摸点位置捕捉；

请求手指按压力数据；

将物体的硬度映射到驱动电压频率上；

将手指主动按压力映射到驱动电压的幅值上；

WiFi发射控制指令；

手指感知。