CN107831892A

CN107831892A - 一种基于指套式装置的虚拟物体三维形状再现方法

Info

Publication number: CN107831892A
Application number: CN201711055357.XA
Authority: CN
Inventors: 吴涓; 杨怀宁; 欧阳强强; 韩啸; 吴淼
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2017-11-01
Filing date: 2017-11-01
Publication date: 2018-03-23
Anticipated expiration: 2037-11-01
Also published as: CN107831892B

Abstract

本发明公开了一种基于指套式装置的虚拟物体三维形状触觉再现方法，包括：利用指套式力触觉交互装置在移动终端触摸屏上触摸具有三维形状的虚拟物体，移动判断指套式力触觉交互装置在移动终端触摸屏上的移动方向，并检测接触点物体图像高度；计算局部梯度，根据梯度方向判断手指接触位置及物体图像类型，根据物体图像类型和梯度大小将虚拟物体信息映射至指套式力触觉交互装置；控制振动指套上振点的位置、指振动频率以及振动节奏。通过产生与虚拟物体三维形状信息、手指与虚拟物体接触姿态信息相一致的分布式触觉刺激反馈给操作者，从而模拟人手以不同姿态接触不同形状虚拟物体时所产生的触感，提供使用者良好的触觉交互体验。

Description

一种基于指套式装置的虚拟物体三维形状再现方法

技术领域

本发明涉及力触觉再现算法技术领域，涉及物体三维形状再现方法，更为具体的说是涉及一种可用于移动终端的指套式力触觉交互装置的物体三维形状再现算法。

背景技术

移动终端作为迅速发展的个人计算与通信***，近年来进入智能化发展的阶段。移动终端交互方式目前主要集中在视听觉交互，能提供的力触觉交互有限。将力触觉交互技术应用于移动终端能够拓宽移动终端的功能和应用范围，扩大受众人群(如视听障碍者)，增强交互临场感，具有广阔的应用前景和市场价值。

用于移动终端的力触觉形状再现方法主要分为三类。第一种再现算法对移动终端的触摸屏表面施加超声波振动，使得用户手指和屏幕之间产生空气薄膜，控制滑动摩擦力再现虚拟物体形状。例如，Ali Israr等人将物体在接触点的局部斜率映射到手指与触摸屏的摩擦力，从而实现对虚拟物体三维形状力触觉再现，该再现算法已经运用在博物馆里并且以及运用在博物馆中用于帮助游客感受古生物化石。第二种算法通过给移动终端屏幕施加高直流电压，在用户的手指和触摸屏上之间产生静电力，并将静电力刺激映射到三维形状特征。例如，Byung-Kil Han等人在手指和屏幕之间建立了基于电振动的触觉反馈模型，该再现算法以及应用到电子图书馆和盲文等领域；吉林大学提出了基于横向力的静电力触觉再现算法，将按压物体的横向力映射到手指与触摸屏之间的静电力从而感受物体的三维形状。这种展现虚拟物体三维形状的再现算法容易实现、成本低、便于操作，但只能提供切向的力反馈，无法提供操作者真实的触感。第三类再现方法是使用穿戴式装置穿戴于手指上对触摸屏显示的物体进行形状再现。例如，意大利TeCIP研究所研制了一套用于再现三维形状的可穿戴指套式力触觉反馈设备。该设备通过伺服电机驱动的机械结构再现虚拟物体表面的凹凸方向，同时用音圈电机产生的振动刺激模拟接触物体表面时的触感。但是当前的使用穿戴式装置再现虚拟形状方法缺少对人手交互状态(如手指探索方向和运动状态)的考虑导致触觉反馈效果不够真实，并且大量实验发现人对振动位置和振动节奏敏感，而对强度的变化不敏感。

发明内容

为解决上述问题，本发明公开了一种基于指套式装置的虚拟物体三维形状触觉再现方法，采用将形状以及接触状态与振动位置和节奏关联起来的方法，将振动客观特性与人手主动感知特性结合，借助外置式指套力触觉交互装置以真实再现物体三维形状。

为了达到上述目的，本发明提供如下技术方案：

一种基于指套式装置的虚拟物体三维形状触觉再现方法，包括如下步骤：

步骤1，利用指套式力触觉交互装置在移动终端触摸屏上触摸具有三维形状的虚拟物体，移动判断指套式力触觉交互装置在移动终端触摸屏上的移动方向，并检测接触点物体图像高度；指套式力触觉交互装置的指腹及指端两侧位置分别设置有振动单元；

步骤2，计算局部梯度并用于振动位置、振动频率和振动节奏的编码

步骤2-1，结合图像高度信息计算手指运动方向下物体图像的局部梯度；

步骤2-2，根据梯度方向判断手指接触位置及物体图像类型；

步骤2-3，根据物体图像类型和梯度大小将虚拟物体信息映射至指套式力触觉交互装置；

步骤3，控制振动指套上振点的位置、指腹部振点的振动幅度以及指端左右侧振点的振动节奏。

进一步的，所述步骤1中的移动方向根据如下方法得到：触摸屏表面检测接触点位置，并根据一定时间间隔后接触点位置变化来判断手指移动方向。

进一步的，所述步骤2-1具体包括：

首先通过下式计算虚拟物体3D高度的梯度：

其中，h(x,y)是图像高度信息；

然后读取移动终端检测手指在触摸屏上的运动方向：

其中P_i表示在时刻t_i手指的位置向量；

最后通过3D高度的梯度和手指运动方向的向量积计算接触点的局部梯度：

其中，表示局部梯度，θ_i表示两个向量之间的夹角。

进一步的，读取移动终端检测手指在触摸屏上的运动方向时，在移动终端触摸屏具有低空间分辨率的情况下，计算V_i的平均值。

进一步的，所述步骤2-2具体包括：

当局部梯度值为0时，判断为平面图像，此时指腹部与物体接触；当局部梯度方向为负时，判断为曲面或斜面图像且手指运动方向图像斜降，此时手指与运动方向相反一侧与物体接触；当局部梯度方向为正时可判断为曲面或斜面图像且手指运动方向图像斜升，此时手指与运动方向相同一侧与物体接触。

进一步的，所述步骤2-3具体包括：

判断为平面形状时，将平面物体高度映射为指腹部振动幅度；判断为曲面或斜面物体时，将曲面图像梯度大小映射为手指接触一侧的振动节奏，当梯度非零且保持不变时，判断为斜面物体，此时手指接触一侧振动节奏保持不变。

进一步的，所述步骤3具体包括：

当判断为平面形状，控制指腹部振动单元按照下式得出的振动幅度进行振动：

D＝k₁×h

其中，D为振动幅度，k₁是非零比例因子，为最大振动幅度与接触点图像最大像素高度的比值；

当判断为曲面或斜面时，控制指端接触一侧的振动单元按照下式得出的振动节奏进行振动：

其中，R为振动节奏；k₂是非零比例因子，为最大振动节奏与最大局部梯度的比值。

进一步的，所述振动单元为压电致动器，对于指腹部压电致动器，在一定的电压范围内增加电压值来增加振动幅度表达平面物体高度信息；对于指端两侧压电致动器，通过调节方波周期以改变左/右侧振点振动节奏来表达图像弯曲程度信息。

与现有技术相比，本发明具有如下优点和有益效果：

通过产生与虚拟物体三维形状信息、手指与虚拟物体接触姿态信息相一致的分布式触觉刺激反馈给操作者，当指套在屏幕上接触虚拟三维物体时，通过控制手指上相应位置振动单元的振动幅度、节奏来反馈刺激，从而模拟人手以不同姿态接触不同形状虚拟物体时所产生的触感，提供使用者良好的触觉交互体验。

附图说明

图1为指套式交互装置示意图。

图2为本发明的***框图。

图3为指套式交互装置致动器排布方式示意图，其中(a)为指套式装置，装置在左右侧和下侧各布置一个振动单元，(b)为三个振动单元在手指上的对应位置。

图4为移动终端二次曲面虚拟物体案例图，其中(a)为二次曲面物体，(b)为移动终端屏幕。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本发明基于如图1所示的***环境实现，其中包括含有触摸屏的移动终端和指套式力触觉交互装置，其中指套式力触觉再现装置包括电容笔头和压电致动器阵列。振动触觉指套在指腹和指端两侧安装有三个压电致动器，并能调节其振动幅度与节奏，如图3所示，指套上压电致动器阵列分布在指腹及指端两侧位置。压电致动器也可采用其他能够控制其振动幅度与节奏的振动单元。如图2所示，该再现算法把手指与虚拟3D物体交互过程中的交互状态以及形状用局部梯度来刻画，将手指与虚拟三维物体交互中的接触位置、虚拟物体表面凹凸形状(轮廓高度)、表面梯度(沿探索方向的高度变化率)分别对应控制振动指套上振点的位置、指腹部振点的振动频率以及指端左右侧振点的振动节奏，从而实现与交互状态和物体三维形状相一致的振动触觉反馈，从而实现物体三维形状再现。

图4为本发明的实施案例，左侧为二次曲面虚拟物体，其在移动终端的坐标位置与移动终端触摸屏的坐标位置一致。以此为例，本发明提供的基于指套式装置的虚拟物体三维形状再现方法包括如下步骤：

步骤1、交互状态和接触点图像高度的检测。

穿戴指套式设备在如图1所示的移动终端触摸屏表面探索如图4(a)所示的二次曲面物体。触摸屏表面检测指套电容接触点位置，并根据500ms时间间隔接触点位置变化来判断手指移动方向。另外，移动终端实时检测接触点二次曲面的像素高度。

步骤2、计算局部梯度并用于振动位置、振动频率和振动节奏的编码。

(1)计算局部梯度：结合图像高度信息计算手指运动方向下图像的局部梯度。

首先，计算虚拟物体3D高度的梯度(2D矢量)，然后读取移动终端检测手指在触摸屏上的运动方向(2D矢量)，最后根据3D高度的梯度和运动方向计算接触点的局部梯度。

虚拟物体3D高度的梯度定义为：

其中，h(x,y)是二次曲面像素高度，在图4(b)所示平面直角坐标系里，分别取与x轴、y轴方向相同的两个单位向量i，j作为一组基底，计算出虚拟物体3D高度的梯度，产生2D向量场。每个向量指向增加高度的方向，即表示其最陡峭的上升。手指运动的单位方向向量定义为：

其中P_i表示在时刻t_i手指的位置向量。在移动终端触摸屏具有低空间分辨率的情况下，通常计算V_i的平均值。局部梯度定义为3D高度的梯度和手指运动方向的向量积，其定义为：

其中，表示局部梯度，θ_i表示两个向量之间的夹角。

(2)根据梯度方向判断手指接触位置及图像类型：

当手指在图4(a)二次曲面的母线位置移动时，局部梯度值为0，可判断二次曲面母线附近近似为平面图像，此时指腹与二次曲面母线接触。

基于图4(a)，当手指在二次曲面母线左侧向左移动时，局部梯度方向为负，故判断接触物体为曲面且手指运动方向图像斜降，此时手指与运动方向相反一侧(指端右侧)与物体接触。当手指在母线左侧向右移动时，局部梯度方向为正，故判断接触物体为曲面且手指运动方向图像斜升，此时手指与运动方向相同一侧(指端右侧)与物体接触。这两种情况下，图3(a)指套右侧压电致动器振动表达形状。

同样基于图4(a)，当手指在二次曲面母线右侧向右移动时，局部梯度方向为负，故判断接触物体为曲面且手指运动方向图像斜降，此时手指与运动方向相反一侧(指端左侧)与物体接触。当手指在母线右侧向左移动时，局部梯度方向为正，故判断接触物体为曲面且手指运动方向图像斜升，此时手指与运动方向相同一侧(指端左侧)与物体接触。这两种情况下，图3(a)指套左侧压电致动器振动表达形状。

上述过程也可用于其他非平面形状的判断，如斜面等。

(3)根据梯度大小再现物体不同形状：判断为平面形状时，将平面物体高度映射为指腹部压电致动器振动幅度，图像高度越大振幅越大；判断为曲面物体时，将曲面图像梯度大小映射为手指接触一侧(左侧/右侧)的振动节奏，梯度绝对值越大节奏越快。当梯度非零且保持不变时，判断为斜面物体，此时手指接触一侧振动节奏保持不变，以此区分曲面与斜面。

步骤3、指套振动控制的实现。

本发明对指套上3个压电致动器采用方波高压驱动的方式控制。对于指腹部压电致动器，在50Vpp到200Vpp的电压范围内增加电压值来增加振动幅度表达平面物体高度信息；对于指端两侧压电致动器，通过调节方波周期以改变左/右侧振点振动节奏来表达图像弯曲程度信息。

平面物体高度到指腹部振动幅度的映射方案为振动幅度与接触点的图像高度和成正比，数学表达形式为：

D＝k₁×h

D为振动幅度，k₁是非零比例因子，为最大振动幅度与接触点图像最大像素高度的比值。

曲面或斜面物体梯度大小到指端左右侧振动节奏的映射方案为振动节奏和局部梯度绝对值成正比，数学表达式为：

R为振动节奏；k₂是非零比例因子，为最大振动节奏与最大局部梯度的比值。

对于指端两侧压电致动器，通过驱动方波节奏变化来表达图像梯度信息，振动节奏和调制参数周期的关系为：

R＝-0.5T+105

其中，T为调制参数周期。可以根据该公式计算出相应的周期以产生对应的振动节奏。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims

1.一种基于指套式装置的虚拟物体三维形状触觉再现方法，其特征在于，包括如下步骤：

步骤2-2，根据梯度方向判断手指接触位置及物体图像类型；

2.根据权利要求1所述的基于指套式装置的虚拟物体三维形状触觉再现方法，其特征在于，所述步骤1中的移动方向根据如下方法得到：触摸屏表面检测接触点位置，并根据一定时间间隔后接触点位置变化来判断手指移动方向。

3.根据权利要求1所述的基于指套式装置的虚拟物体三维形状触觉再现方法，其特征在于，所述步骤2-1具体包括：

首先通过下式计算虚拟物体3D高度的梯度：

其中，h(x,y)是图像高度信息；

然后读取移动终端检测手指在触摸屏上的运动方向：

其中P_i表示在时刻t_i手指的位置向量；

<mrow> <mo>&dtri;</mo> <mi>f</mi> <mo>=</mo> <mo>|</mo> <mo>&dtri;</mo> <mi>h</mi> <mo>|</mo> <mo>&times;</mo> <mo>|</mo> <msub> <mi>V</mi> <mi>i</mi> </msub> <mo>|</mo> <mo>&times;</mo> <mi>cos</mi> <msub> <mi>&theta;</mi> <mi>i</mi> </msub> </mrow>

其中，表示局部梯度，θ_i表示两个向量之间的夹角。

4.根据权利要求3所述的基于指套式装置的虚拟物体三维形状触觉再现方法，其特征在于，读取移动终端检测手指在触摸屏上的运动方向时，在移动终端触摸屏具有低空间分辨率的情况下，计算V_i的平均值。

5.根据权利要求3所述的基于指套式装置的虚拟物体三维形状触觉再现方法，其特征在于，所述步骤2-2具体包括：

6.根据权利要求5所述的基于指套式装置的虚拟物体三维形状触觉再现方法，其特征在于，所述步骤2-3具体包括：

7.根据权利要求6所述的基于指套式装置的虚拟物体三维形状触觉再现方法，其特征在于，所述步骤3具体包括：

D＝k₁×h

<mrow> <mi>R</mi> <mo>=</mo> <msub> <mi>k</mi> <mn>2</mn> </msub> <mo>&times;</mo> <mo>&dtri;</mo> <mi>f</mi> </mrow>

8.根据权利要求7所述的基于指套式装置的虚拟物体三维形状触觉再现方法，其特征在于：

所述振动单元为压电致动器，对于指腹部压电致动器，在一定的电压范围内增加电压值来增加振动幅度表达平面物体高度信息；对于指端两侧压电致动器，通过调节方波周期以改变左/右侧振点振动节奏来表达图像弯曲程度信息。