CN108563341B - 一种具有振动触觉反馈的三维触控电子笔及方法 - Google Patents

一种具有振动触觉反馈的三维触控电子笔及方法 Download PDF

Info

Publication number
CN108563341B
CN108563341B CN201810336217.8A CN201810336217A CN108563341B CN 108563341 B CN108563341 B CN 108563341B CN 201810336217 A CN201810336217 A CN 201810336217A CN 108563341 B CN108563341 B CN 108563341B
Authority
CN
China
Prior art keywords
electronic pen
vibration
module
upper computer
linear motor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810336217.8A
Other languages
English (en)
Other versions
CN108563341A (zh
Inventor
陈建
王程
孙晓颖
王庆龙
燕学智
林琳
孙铭会
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201810336217.8A priority Critical patent/CN108563341B/zh
Publication of CN108563341A publication Critical patent/CN108563341A/zh
Application granted granted Critical
Publication of CN108563341B publication Critical patent/CN108563341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及一种具有振动触觉反馈的三维触控电子笔及方法，属于三维触控电子笔及方法。包括电源模块，九轴加速度陀螺仪传感器，按键模块，微处理器，超声定位模块，无线通信模块以及振动模块；其中振动模块：包括线性电机一和线性电机二，分别固定于电子笔两端，每个电机各有两个振动方向，使用微处理器对振动模块进行驱动，进而实现多维度振动反馈。优点在于：利用超声定位和按键操作完成当前交互操作的识别，实现具有真实感和浸入感的振动反馈效果，可为三维空笔式交互中常用的触碰，旋转，拖拽等操作提供与之对应的振动反馈，提高交互操作的浸入感和真实感。

Description

一种具有振动触觉反馈的三维触控电子笔及方法
技术领域
本发明涉及一种三维触控电子笔及方法，应用于人机交互、教育信息化、虚拟现实交互控制等领域。
背景技术
近年来，如何为用户提供更具真实感和浸入感的交互体验成为了人机交互研究领域的主要问题，笔式交互作为一种将来主流的人机交互形式，更是成为了研究的热点。
笔式交互是人机交互方式极具研究价值的一种，由于大多数人有长时间使用纸笔的经验，笔式操作也将符合其操作习惯，降低学习成本，提升操作的舒适度。电子笔作为输入及控制设备具有便携，灵活的特点，已经在现实产品中有了一些应用实例，如微软SurfacePro系列电脑就兼容专门设计的电子笔，可实现书写和橡皮擦除等常用笔式交互操作的模拟。另外，很多移动设备，如三星GalaxNote系列手机也配备了S-pen电子笔，方便用户进行书写等交互操作。
随着研究的进展，笔式交互空间已经逐步从二维平面至三维空间，交互操作的内容也在简单的书写，擦除等基本操作的基础上，新增了三维空间内特有的操作，如旋转等，在虚拟现实，教育信息化等领域中有着重要的应用潜力。然而，目前的研究主要侧重于三维空间内的定位及传感技术，对于用户交互体验方面的相关研究较少。与此同时，目前的交互技术虽然满足了基本的交互功能需求，比如点击，三位书写等，但是交互体验和交互精度都有待提高。在更广泛的实际应用场合中(如教学演示，娱乐功能等)，很多场景需要用户进行复杂度和精度更高的交互操作，具体如触碰空间内特定的一块区域，以一定的速率、轴向和方向进行旋转，以一定的速率和方向进行拖拽等。对于上述交互操作，目前缺乏有效的反馈方式，指示用户交互体验较差，且交互完成精度较低。因此，对于三维空间中实现的各类笔式交互操作，按照一定的控制方法产生具有真实感的振动反馈，进而可以提升用户的交互体验和操作精度。
中国专利申请“一种三维大空间多通道笔式交互***”，申请号201611157044.0，公开了一种基于超声波定位的多通道三维笔式交互***及方法，包括：微处理器、PVDF压电薄膜、MEMS六轴加速度/陀螺仪、麦克风、蓝牙通信芯片、压力传感器、按键等微型和小型多通道感知传感器及部件。支持电子笔的三维定位和姿态信息提取，并将相关数据处理后通过蓝牙芯片发送给主机。但该***内未集成振动元件及相关驱动电路，不支持触觉反馈功能。
发明内容
本发明提供一种具有振动触觉反馈的三维触控电子笔及方法，以解决传统笔式交互***不支持高真实感的振动反馈效果以及对于某些交互操作实现精度较低的问题。
本发明采取的技术方案是：一种具有振动触觉反馈的三维触控电子笔，包括电源模块，九轴加速度陀螺仪传感器，按键模块，微处理器，超声定位模块，无线通信模块以及振动模块；其中振动模块：包括线性电机一和线性电机二，分别固定于电子笔两端，每个电机各有两个振动方向，使用微处理器对振动模块进行驱动，进而实现多维度振动反馈；
本发明所述九轴加速度陀螺仪传感器：用于提取加速度和角速度信号，包括获取任一时刻电子笔的线速度，角速度，线加速度，角加速度及姿态信息，并将提取的加速度和角速度信号传到微处理器；
本发明所述按键模块：按键模块用于提供快捷功能；
本发明所述电源模块：包括电池101和升压电路102，为整个***供电；
本发明所述无线通信模块：采用蓝牙、ZigBee等。用于将电子笔的姿态、速度信息发送给上位机以及接收上位机发送的控制和配置信息；
本发明所述微处理器：采用单片机、DSP等。用于实现静态波形通过存储和动态波形生成的两种振动驱动，同时也负责加速度陀螺仪传感器信号采集及处理、蓝牙通信芯片的控制、按键处理、与上位机之间的数据收发；
本发明所述超声定位模块：包括超声发射模块，用于周期性发射超声波信号。
一种具有振动触觉反馈的三维触控电子笔的振动反馈控制方法，包括三维笔式交互中触碰，旋转和拖拽，其中：
(1)触碰的具体过程如下：
1)、用户正常持握电子笔，通过按键操作进入触碰模式，定位信号模块开始周期性发射红外和超声信号，上位机利用超声定位原理得到电子笔实时三维坐标Pn(xn,yn,zn)，其中n为当前定位周期；
2)、每个定位周期内，上位机利用电子笔空间坐标进行三维空间内与虚拟物体的碰撞检测，设空间内一虚拟立方体区域M为{m|xm1<x<xm2,ym1<y<ym2,zm1<z<zm2},若电子笔某一定位周期内坐标Pi(xi,yi,zi)位于M内，则视为当前周期内电子笔触碰到了某物体，此时上位机向电子笔发送相关指令，包括开始振动指令和调用的预存波形信息，若没有检测到碰撞，则向电子笔发送停止振动指令，
3)、电子笔接收到上位机指令后，若为振动开始指令，则从预制波形库中调用与当前物体编号对应的波形进行输出，驱动信号使用正弦信号，三角信号或PWM信号，驱动电压峰峰值为Vpp，频率为fx；若为停止振动指令，则停止振动；
4)、若用户通过按键操作退出触碰模式，则定位模块停止发送定位信号，电子笔直接停止振动；
(2)旋转具体过程如下：
1)、用户正常持握电子笔，通过按键操作进入旋转模式，上位机向电子笔发送指令，开始进行振动反馈波形的动态生成和输出；
2)、电子笔接收到旋转反馈指令后，首先根据九轴加速度陀螺仪传感器回传数据进行处理和判定，在此基础上生成动态驱动波形；
3)、电子笔三维实际转动轴向可为三维空间内任意轴向，且可看做X,Y,Z三个轴向旋转的矢量和，因此，结合线性电机实现的振动方向，通过比较X，Y，Z三个轴向的角速度判断当前主要旋转轴向，并以此为依据选择线性电机振动方向，设该时刻电子笔绕X，Y，Z轴的角速度分别为ωx，ωy，ωz，若ωz<ωy，则认为电子笔主要旋转轴向为Y轴，取线性电机组振动方向为Z轴方向，驱动信号频率为f0；若ωz≥ωy，则认为电子笔主要旋转轴向为Z轴，取线性电机组振动方向为Y轴方向，驱动信号为频率为f1；
4)、计算当前角速度的模
Figure BDA0001628693540000031
并按照如下映射关系得出驱动信号电压峰峰值Vpp，将实时角速度到驱动电压峰峰值进行线性映射，Vpp1＝k*ω，Vpp1是：按照线性映射计算得出的电压，k为比例系数，设定驱动电压阈值为Vmax，当Vpp1<Vmax时，Vpp＝Vpp1；当Vpp1>Vmax时，Vpp＝Vmax；
5)、根据九轴加速度陀螺仪传感器信息判断出当前主要旋转轴向下的方向，顺时针或逆时针，确定电子笔中线性电机一和线性电机二各自的力模拟方向，进而确定驱动信号的极性；
6)、输出动态驱动波形，其特点为振动方向垂直于主要旋转轴向，振动强度于旋转合角速度的模成正相关，两端线性电机一和线性电机二力模拟效果方向与主要旋转轴向上的旋转方向相同，以此模拟旋转过程中的力矩效果；
7)、若用通过按键操作退出旋转模式，电子笔直接停止振动；
(3)拖拽具体过程如下：
1)、用户正常持握电子笔，通过按键操作进入拖拽模式，上位机向电子笔发送指令，开始进行振动反馈波形的动态生成和输出；
2)、电子笔接收到拖拽反馈指令后，首先根据九轴加速度陀螺仪传感器回传数据进行处理和判定，在此基础上生成动态驱动波形；拖拽模式下振动的驱动波形使用PWM波形，调节频率，脉宽；
3)、电子笔三维实际平动方向可为三维空间内任意方向，且可看做X,Y,Z三个方向平动的矢量和，因此，结合线性电机可实现的振动方向，通过比较X,Y,Z三个轴向的线速度判断当前主要平动方向，并以此为依据选择线性电机振动方向，利用九轴加速度陀螺仪传感器回传的加速度数据积分可得该时刻电子笔在X，Y，Z方向的线速度分别为vx,vy,vz,若vz<vy则认为电子笔主要拖拽方向为Y方向，线性电机组振动方向为Y轴方向，驱动信号频率为f1；若vz≥vy则认为电子笔主要拖拽方向为Z方向，线性电机组振动方向为Y轴方向，驱动信号频率为f1；
4)、计算当前线速度的模
Figure BDA0001628693540000041
并按照如下映射关系得出PWM占空比，驱动信号占空比为DR，设定驱动信号占空比阈值为DRmax，将实时合线速度的模到PWM占空比进行线性映射，DR1＝k*v，DR1是按照映射关系得到的占空比，k为比例系数，当DR1<DRmax时，DR＝DRp1；当DR1≥DRmax时，DR＝DRmax；
5)、输出动态驱动波形，其特点为振动方向与主要拖拽方向同向，振动强度与拖拽合线速度的模成正相关，以此模拟拖拽过程中的摩擦效果；
6)、若用户通过按键操作退出拖拽模式，则电子笔直接停止振动。
其中：
触碰定义:用户正常持握电子笔，通过按键操作进入触碰模式，之后根据上位机提示，在三维空间中通过使用电子笔触碰三维空间中特定区域，同时上位机会显示对应该触碰操作的交互内容；
旋转定义:用户正常持握电子笔，通过按键操作进入旋转模式，之后根据上位机提示，在三维空间中按照一定的方向、轴向和速度旋转电子笔，同时上位机会显示对应该旋转操作的交互内容；
拖拽定义:用户正常持握电子笔，通过按键操作进入旋转模式，之后根据上位机提示，在三维空间中按照一定的方向和速度拖拽电子笔，同时上位机会显示对应该拖拽操作的交互内容。
本发明提供一种三维触控电子笔触觉反馈控制方法，包括：通过按键操作和超声定位的结合实现操作模式的识别和特定操作的触发；通过静态波形调用的方式实现触碰操作的振动反馈；利用传感器回传角速度信息生成动态波形，实现旋转操作的振动反馈；利用传感器回传的线速度信息生成动态波形，实现拖拽操作的振动反馈。
本发明的优点在于：利用超声定位和按键操作完成当前交互操作的识别，并根据交互操作的类型，采用静态波形调用或动态波形生成的方法，结合电子笔当前运动信息，实现具有真实感和浸入感的振动反馈效果，可为三维空笔式交互中常用的触碰，旋转，拖拽等操作提供与之对应的振动反馈，提高交互操作的浸入感和真实感。
附图说明
图1是本发明电子笔电路组成框图；
图2是本发明电子笔硬件组成示意图；
图3是本发明超声定位原理图；
图4是本发明线性电机谐振频点特性示意图；
图5是本发明线性电机的一种非对称波形驱动示意图；
图6是本发明线性电机的PWM波形驱动示意图；
图7是本发明触碰反馈流程图；
图8是本发明旋转反馈流程图；
图9是本发明旋转反馈示意图；
图10是本发明拖拽反馈流程图；
图11是本发明拖拽反馈示意图。
具体实施方式
一种具有振动触觉反馈的三维触控电子笔：
包括电源模块1，九轴加速度陀螺仪传感器2，按键模块3，微处理器4，超声定位模块5，无线通信模块6以及振动模块7；其中：
振动模块7：包括线性电机一701和线性电机二702，分别固定于电子笔两端，每个电机各有两个振动方向，使用微处理器对振动模块进行驱动，进而实现多维度振动反馈；
振动模块利用电流驱动产生振动效果的元件组合，如线性电机，压电陶瓷，偏心旋转质量等，其特点是具有一个或多个谐振频率，仅在谐振频率附近有较强的振动响应，且在不同谐振频率附近的振动方向不同；
九轴加速度陀螺仪传感器2：用于提取加速度和角速度信号，包括获取任一时刻电子笔的线速度，角速度，线加速度，角加速度及姿态信息，并将提取的加速度和角速度信号传到微处理器；
按键模块3：按键模块用于提供快捷功能，包括触碰、旋转、拖拽；
电源模块1：包括电池101和升压电路102，为整个***供电；
无线通信模块6：可采用蓝牙、ZigBee等，用于将电子笔的姿态、速度信息发送给上位机以及接收上位机发送的控制和配置信息；
微处理器4：可采用单片机、DSP等，用于实现静态波形通过存储和动态波形生成的两种振动驱动，同时也负责加速度陀螺仪传感器信号采集及处理、蓝牙通信芯片的控制、按键处理、与上位机之间的数据收发；
微处理器支持下列两种驱动：
静态波形存储及调用功能：可存储一定数据量的预制波形效果，比如触碰不同的虚拟物体时用于产生触觉反馈的驱动波形。
动态波形生成及缓存功能：用于动态波形的生成，可根据当前工作模式及微处理器获取的实时线速度，角速度，姿态等信息，生成实时驱动波形并写入缓存。
(7)超声定位模块：包括红外发射模块和超声发射模块，用于周期性发射红外和超声波信号，由上位机超声波三维定位***进行接收及计算，利用超声定位原理，可获取电子笔实时空间位置的三维坐标，并通过蓝牙通信等方式将定位信息回传至电子笔，进行进一步的处理或判定。
一种具有振动触觉反馈的三维触控电子笔的振动反馈控制方法，包括三维笔式交互中触碰，旋转和拖拽，通过预制波形调用或动态波形生成的方式，对振动元件组进行驱动，首先对三维空间笔式交互中常用操作进行如下定义：其中：
触碰:用户正常持握电子笔，通过按键操作进入触碰模式，之后根据上位机提示，在三维空间中通过使用电子笔触碰三维空间中特定区域，同时上位机会显示对应该触碰操作的交互内容；
旋转:用户正常持握电子笔，通过按键操作进入旋转模式，之后根据上位机提示，在三维空间中按照一定的方向、轴向和速度旋转电子笔，同时上位机会显示对应该旋转操作的交互内容；
拖拽:用户正常持握电子笔，通过按键操作进入旋转模式，之后根据上位机提示，在三维空间中按照一定的方向和速度拖拽电子笔，同时上位机会显示对应该拖拽操作的交互内容；
(1)触碰的具体过程如下：
1)、用户正常持握电子笔，通过按键操作进入触碰模式，定位信号模块开始周期性发射红外和超声信号，上位机利用超声定位原理得到电子笔实时三维坐标Pn(xn,yn,zn)，其中n为当前定位周期；
2)、每个定位周期内，上位机利用电子笔空间坐标进行三维空间内与虚拟物体的碰撞检测，设空间内一虚拟立方体区域M为{m|xm1<x<xm2,ym1<y<ym2,zm1<z<zm2},若电子笔某一定位周期内坐标Pi(xi,yi,zi)位于M内，则视为当前周期内电子笔触碰到了某物体，此时上位机向电子笔发送相关指令，包括开始振动指令和调用的预存波形信息，若没有检测到碰撞，则向电子笔发送停止振动指令，
3)、电子笔接收到上位机指令后，若为振动开始指令，则从预制波形库中调用与当前物体编号对应的波形进行输出，驱动信号使用正弦信号，三角信号或PWM信号，驱动电压峰峰值为Vpp，频率为fx；若为停止振动指令，则停止振动；
4)、若用户通过按键操作退出触碰模式，则定位模块停止发送定位信号，电子笔直接停止振动；
(2)旋转具体过程如下：
1)、用户正常持握电子笔，通过按键操作进入旋转模式，上位机向电子笔发送指令，开始进行振动反馈波形的动态生成和输出；
2)、电子笔接收到旋转反馈指令后，首先根据九轴加速度陀螺仪传感器回传数据进行处理和判定，在此基础上生成动态驱动波形；旋转操作振动触觉反馈驱动波形，使用非对称波形实现单侧力模拟效果，并结合电子笔前后电机组，使之产生相反方向的力模拟效果，
3)、电子笔三维实际转动轴向可为三维空间内任意轴向，且可看做X,Y,Z三个轴向旋转的矢量和，因此，结合线性电机实现的振动方向，通过比较X，Y，Z三个轴向的角速度判断当前主要旋转轴向，并以此为依据选择线性电机振动方向，设该时刻电子笔绕X，Y，Z轴的角速度分别为ωx，ωy，ωz，若ωz<ωy，则认为电子笔主要旋转轴向为Y轴，取线性电机组振动方向为Z轴方向，驱动信号频率为f0；若ωz≥ωy，则认为电子笔主要旋转轴向为Z轴，取线性电机组振动方向为Y轴方向，驱动信号为频率为；
4)、计算当前角速度的模
Figure BDA0001628693540000071
并按照如下映射关系得出驱动信号电压峰峰值Vpp，将实时角速度到驱动电压峰峰值进行线性映射，Vpp1＝k*ω，Vpp1是：按照线性映射计算得出的电压，k为比例系数，设定驱动电压阈值为Vmax，当Vpp1<Vmax时，Vpp＝Vpp1；当Vpp1>Vmax时，Vpp＝Vmax；
5)、根据九轴加速度陀螺仪传感器信息判断出当前主要旋转轴向下的方向，顺时针或逆时针，确定电子笔中线性电机一701和线性电机二702各自的力模拟方向，进而确定驱动信号的极性；
6)、输出动态驱动波形，其特点为振动方向垂直于主要旋转轴向，振动强度于旋转合角速度的模成正相关，两端线性电机一701和线性电机二702力模拟效果方向与主要旋转轴向上的旋转方向相同，以此模拟旋转过程中的力矩效果；
7)、若用通过按键操作退出旋转模式，电子笔直接停止振动；
(3)拖拽具体过程如下：
1)、用户正常持握电子笔，通过按键操作进入拖拽模式，上位机向电子笔发送指令，开始进行振动反馈波形的动态生成和输出；
2)、电子笔接收到拖拽反馈指令后，首先根据九轴加速度陀螺仪传感器回传数据进行处理和判定，在此基础上生成动态驱动波形；拖拽模式下振动的驱动波形使用PWM波形，调节频率，脉宽；
3)、电子笔三维实际平动方向可为三维空间内任意方向，且可看做X,Y,Z三个方向平动的矢量和，因此，结合线性电机可实现的振动方向，通过比较X,Y,Z三个轴向的线速度判断当前主要平动方向，并以此为依据选择线性电机振动方向，利用九轴加速度陀螺仪传感器回传的加速度数据积分可得该时刻电子笔在X，Y，Z方向的线速度分别为vx,vy,vz,若vz<vy则认为电子笔主要拖拽方向为Y方向，线性电机组振动方向为Y轴方向，驱动信号频率为f1；若vz≥vy则认为电子笔主要拖拽方向为Z方向，线性电机组振动方向为Y轴方向，驱动信号频率为f1；
4)、计算当前线速度的模
Figure BDA0001628693540000081
并按照如下映射关系得出PWM占空比，驱动信号占空比DR，设定驱动信号占空比阈值为DRmax，将实时合线速度的模到PWM占空比进行线性映射，DR1＝k*v，DR1是按照映射关系得到的占空比，k为比例系数，当DR1<DRmax时，DR＝DRp1；当DR1≥DRmax时，DR＝DRmax；
5)、输出动态驱动波形，其特点为振动方向与主要拖拽方向同向，振动强度与拖拽合线速度的模成正相关，以此模拟拖拽过程中的摩擦效果；
6)、若用户通过按键操作退出拖拽模式，则电子笔直接停止振动。
下面结合附图1～11具体描述本发明。
图1中电子笔包含九轴加速度陀螺仪传感器，按键模块，电源模块，微处理器，无线通信模块，超声定位模块以及振动模块。
图2为电子笔硬件结构示意图。振动模块由分别固定于电子笔两端的两个线性电机组成。
图3为超声定位原理图，按下三个按键中任意一个后，超声波发射模块周期性发射红外和超声波信号。通过三个接收器分别接收超声波信号。以红外信号作为超声波传播时间测量的基准提取超声波的传播时间，在设定超声波传播速度后，用传播时间乘以传播速度得到电子笔到各个接收器的传播距离l1、l2、l3.最后利用几何定位，计算出超声波定位的三维坐标Pn(xn,yn,zn)，其中n为当前定位周期。
图4中，在电子笔两端分别固定线性电机一701和线性电机二702，所用的的线性电机为长方体外形，具有两个谐振频点f0和f1，在谐振点附近具有较强的振动强度，当驱动信号频率偏离谐振频点较多时，振动强度有大幅衰减，其中，在谐振频点f0附近的振动方向为Z方向，在谐振频点f0附近的振动方向为Y方向。
图5中，采用如图所示的非对称波形，在谐振频点附近驱动线性电机时，由于其机械结构和性质，会产生两侧振动强度不对称的现象，以此为基础，可以模拟单向力效果。其中通过驱动信号频率控制电机振动方向，通过调节Vpp控制电机振幅即力模拟效果的强弱。
图6中，在谐振频点附近，使用PWM波形进行驱动，在该种波形驱动下线性电机可产生对称振动，可用于模拟摩擦力等效果。通过驱动信号频率控制电机振动方向，通过调节占空比/脉宽可控制电机的振幅即摩擦模拟的强弱。再次模式下，驱动电压峰峰值Vpp通常取3V。
图7为触碰反馈原理图，上位机根据电子笔定位信息进行碰撞检测，判断电子笔是否触碰到三维空间内特定区域，触发触碰事件，并通过蓝牙通信的形式向电子笔发送相应指令，调用预制波形库内相应驱动波形，输出振动触觉反馈。具体预存波形可以为数字波形或模拟波形。
图8为旋转反馈原理图，用户通过按键操作进入旋转模式，之后根据上位机提示，在三维空间中按照一定的方向、轴向和速度旋转电子笔，同时上位机会显示对应该旋转操作的交互内容。
图9为旋转反馈示意图，该图例中判定主要旋转轴向为Z轴，方向为顺时针，以此确定两个线性电机的振动方向及各自的力模拟方向，产生如图所示力模拟效果进行振动反馈。
图10为拖拽反馈原理图，用户通过按键操作进入旋转模式，之后根据上位机提示，在三维空间中按照一定的方向和速度拖拽电子笔，同时上位机会显示对应该拖拽操作的交互内容。
图11为拖拽反馈示意图，该图例中判定主要拖拽方向为Y方向，以此确定线性电机的振动方向，产生如图所示摩擦模拟效果进行振动反馈。

Claims (4)

1.一种具有振动触觉反馈的三维触控电子笔的振动反馈控制方法，采用具有振动触觉反馈的三维触控电子笔，其特征在于，包括三维笔式交互中触碰，旋转和拖拽，其中：
(1)触碰的具体过程如下：
1)、用户正常持握电子笔，通过按键操作进入触碰模式，定位信号模块开始周期性发射红外和超声信号，上位机利用超声定位原理得到电子笔实时三维坐标Pn(xn,yn,zn)，其中n为当前定位周期；
2)、每个定位周期内，上位机利用电子笔空间坐标进行三维空间内与虚拟物体的碰撞检测，设空间内一虚拟立方体区域M为{m|xm1<x<xm2,ym1<y<ym2,zm1<z<zm2},若电子笔某一定位周期内坐标Pi(xi,yi,zi)位于M内，则视为当前周期内电子笔触碰到了某物体，此时上位机向电子笔发送相关指令，包括开始振动指令和调用的预存波形信息，若没有检测到碰撞，则向电子笔发送停止振动指令，
3)、电子笔接收到上位机指令后，若为振动开始指令，则从预制波形库中调用与当前物体编号对应的波形进行输出，驱动信号使用正弦信号，三角信号或PWM信号，驱动电压峰峰值为Vpp，频率为fx；若为停止振动指令，则停止振动；
4)、若用户通过按键操作退出触碰模式，则定位模块停止发送定位信号，电子笔直接停止振动；
(2)旋转具体过程如下：
1)、用户正常持握电子笔，通过按键操作进入旋转模式，上位机向电子笔发送指令，开始进行振动反馈波形的动态生成和输出；
2)、电子笔接收到旋转反馈指令后，首先根据九轴加速度陀螺仪传感器回传数据进行处理和判定，在此基础上生成动态驱动波形；
3)、电子笔三维实际转动轴向可为三维空间内任意轴向，且可看做X,Y,Z三个轴向旋转的矢量和，因此，结合线性电机实现的振动方向，通过比较X，Y，Z三个轴向的角速度判断当前主要旋转轴向，并以此为依据选择线性电机振动方向，设该时刻电子笔绕X，Y，Z轴的角速度分别为ωx，ωy，ωz，若ωz<ωy，则认为电子笔主要旋转轴向为Y轴，取线性电机组振动方向为Z轴方向，驱动信号频率为f0；若ωz≥ωy，则认为电子笔主要旋转轴向为Z轴，取线性电机组振动方向为Y轴方向，驱动信号为频率为f1；
4)、计算当前角速度的模
Figure FDA0002749154440000011
并按照如下映射关系得出驱动信号电压峰峰值Vpp，将实时角速度到驱动电压峰峰值进行线性映射，Vpp1＝k*ω，Vpp1是：按照线性映射计算得出的电压，k为比例系数，设定驱动电压阈值为Vmax，当Vpp1<Vmax时，Vpp＝Vpp1；当Vpp1>Vmax时，Vpp＝Vmax；
5)、根据九轴加速度陀螺仪传感器信息判断出当前主要旋转轴向下的方向，顺时针或逆时针，确定电子笔中线性电机一和线性电机二各自的力模拟方向，进而确定驱动信号的极性；
6)、输出动态驱动波形，其特点为振动方向垂直于主要旋转轴向，振动强度于旋转合角速度的模成正相关，两端线性电机一和线性电机二力模拟效果方向与主要旋转轴向上的旋转方向相同，以此模拟旋转过程中的力矩效果；
7)、若用通过按键操作退出旋转模式，电子笔直接停止振动；
(3)拖拽具体过程如下：
1)、用户正常持握电子笔，通过按键操作进入拖拽模式，上位机向电子笔发送指令，开始进行振动反馈波形的动态生成和输出；
2)、电子笔接收到拖拽反馈指令后，首先根据九轴加速度陀螺仪传感器回传数据进行处理和判定，在此基础上生成动态驱动波形；拖拽模式下振动的驱动波形使用PWM波形，调节频率，脉宽；
3)、电子笔三维实际平动方向可为三维空间内任意方向，且可看做X,Y,Z三个方向平动的矢量和，因此，结合线性电机可实现的振动方向，通过比较X,Y,Z三个轴向的线速度判断当前主要平动方向，并以此为依据选择线性电机振动方向，利用九轴加速度陀螺仪传感器回传的加速度数据积分可得该时刻电子笔在X，Y，Z方向的线速度分别为vx,vy,vz,若vz<vy则认为电子笔主要拖拽方向为Y方向，线性电机组振动方向为Y轴方向，驱动信号频率为f1；若vz≥vy则认为电子笔主要拖拽方向为Z方向，线性电机组振动方向为Z轴方向，驱动信号频率为f1；
4)、计算当前线速度的模
Figure FDA0002749154440000021
并按照如下映射关系得出PWM占空比，驱动信号占空比DR，设定驱动信号占空比阈值为DRmax，将实时合线速度的模到PWM占空比进行线性映射，DR1＝k*v，DR1是按照映射关系得到的占空比，k为比例系数，当DR1<DRmax时，DR＝DR1；当DR1≥DRmax时，DR＝DRmax；
5)、输出动态驱动波形，其特点为振动方向与主要拖拽方向同向，振动强度与拖拽合线速度的模成正相关，以此模拟拖拽过程中的摩擦效果；
6)、若用户通过按键操作退出拖拽模式，则电子笔直接停止振动。
2.根据权利要求1所述的一种具有振动触觉反馈的三维触控电子笔的振动反馈控制方法，其特征在于：
触碰定义:用户正常持握电子笔，通过按键操作进入触碰模式，之后根据上位机提示，在三维空间中通过使用电子笔触碰三维空间中特定区域，同时上位机会显示对应该触碰操作的交互内容；
旋转定义:用户正常持握电子笔，通过按键操作进入旋转模式，之后根据上位机提示，在三维空间中按照一定的方向、轴向和速度旋转电子笔，同时上位机会显示对应该旋转操作的交互内容；
拖拽定义:用户正常持握电子笔，通过按键操作进入旋转模式，之后根据上位机提示，在三维空间中按照一定的方向和速度拖拽电子笔，同时上位机会显示对应该拖拽操作的交互内容。
3.根据权利要求1所述的一种具有振动触觉反馈的三维触控电子笔的振动反馈控制方法，其特征在于：所述具有振动触觉反馈的三维触控电子笔包括电源模块，九轴加速度陀螺仪传感器，按键模块，微处理器，超声定位模块，无线通信模块以及振动模块；其特征在于：振动模块：包括线性电机一和线性电机二，分别固定于电子笔两端，每个电机各有两个振动方向，使用微处理器对振动模块进行驱动，进而实现多维度振动反馈。
4.根据权利要求3所述的一种具有振动触觉反馈的三维触控电子笔的振动反馈控制方法，其特征在于：
九轴加速度陀螺仪传感器：用于提取加速度和角速度信号，包括获取任一时刻电子笔的线速度，角速度，线加速度，角加速度及姿态信息，并将提取的加速度和角速度信号传到微处理器；
按键模块：按键模块用于提供快捷功能；
电源模块：包括电池和升压电路，为整个***供电；
无线通信模块：采用蓝牙、ZigBee，用于将电子笔的姿态、速度信息发送给上位机以及接收上位机发送的控制和配置信息；
微处理器：采用单片机、DSP，用于实现静态波形通过存储和动态波形生成的两种振动驱动，同时也负责加速度陀螺仪传感器信号采集及处理、蓝牙通信芯片的控制、按键处理、与上位机之间的数据收发；
超声定位模块：包括超声发射模块，用于周期性发射超声波信号。
CN201810336217.8A 2018-04-13 2018-04-13 一种具有振动触觉反馈的三维触控电子笔及方法 Active CN108563341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810336217.8A CN108563341B (zh) 2018-04-13 2018-04-13 一种具有振动触觉反馈的三维触控电子笔及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810336217.8A CN108563341B (zh) 2018-04-13 2018-04-13 一种具有振动触觉反馈的三维触控电子笔及方法

Publications (2)

Publication Number Publication Date
CN108563341A CN108563341A (zh) 2018-09-21
CN108563341B true CN108563341B (zh) 2020-12-04

Family

ID=63535115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810336217.8A Active CN108563341B (zh) 2018-04-13 2018-04-13 一种具有振动触觉反馈的三维触控电子笔及方法

Country Status (1)

Country Link
CN (1) CN108563341B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109491526B (zh) * 2019-01-11 2024-05-28 桂林理工大学南宁分校 带书写触感的电子笔及实现方法
CN114442796A (zh) * 2020-11-05 2022-05-06 上海艾为电子技术股份有限公司 振动装置及其局部振动调整方法、电子设备
CN114543976A (zh) * 2020-11-25 2022-05-27 北京小米移动软件有限公司 一种线性马达的测试方法、装置、电子设备及介质
CN112433629B (zh) * 2021-01-28 2021-06-08 深圳市瑞立视多媒体科技有限公司 双光球交互笔的刚体姿态确定方法、装置和计算机设备
CN113467613A (zh) * 2021-06-17 2021-10-01 深圳市瑞立视多媒体科技有限公司 一种桌面交互***及实现方法、存储介质
CN113721796A (zh) * 2021-08-25 2021-11-30 读书郎教育科技有限公司 一种超声波通讯互动笔设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207008556U (zh) * 2017-06-05 2018-02-13 深圳未来立体教育科技有限公司 无线智能位置追踪操控笔
CN107831892A (zh) * 2017-11-01 2018-03-23 东南大学 一种基于指套式装置的虚拟物体三维形状再现方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9007302B1 (en) * 2011-11-11 2015-04-14 Benjamin D. Bandt-Horn Device and user interface for visualizing, navigating, and manipulating hierarchically structured information on host electronic devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207008556U (zh) * 2017-06-05 2018-02-13 深圳未来立体教育科技有限公司 无线智能位置追踪操控笔
CN107831892A (zh) * 2017-11-01 2018-03-23 东南大学 一种基于指套式装置的虚拟物体三维形状再现方法

Also Published As

Publication number Publication date
CN108563341A (zh) 2018-09-21

Similar Documents

Publication Publication Date Title
CN108563341B (zh) 一种具有振动触觉反馈的三维触控电子笔及方法
US10133370B2 (en) Haptic stylus
CN110096131B (zh) 触感交互方法、装置、以及触感可穿戴设备
US10120446B2 (en) Haptic input device
EP3398030B1 (en) Haptic feedback for non-touch surface interaction
EP2629178B1 (en) High definition haptic effects generation using primitives
US20130307829A1 (en) Haptic-acoustic pen
WO2018126682A1 (zh) 用于在虚拟现实***中提供触觉反馈的方法及装置
JP6062621B2 (ja) 物理モデルに基づくジェスチャ認識
WO2015045063A1 (ja) 駆動制御装置、電子機器、及び駆動制御方法
CN105446481A (zh) 基于手势的虚拟现实人机交互方法和***
US20120188285A1 (en) Enhanced pointing interface
CN104049731A (zh) 依据眼睛注视的触觉感觉
KR20150104808A (ko) 피드백을 출력하는 전자 장치 및 방법
CN104020844A (zh) 具有线性共振致动器的触觉设备
JPWO2016120956A1 (ja) 駆動制御装置、電子機器、駆動制御プログラム、及び駆動制御方法
KR101360980B1 (ko) 필기구형 전자 입력장치
EP3367216A1 (en) Systems and methods for virtual affective touch
US10359850B2 (en) Apparatus and method for switching vibration at panel surface
Butnariu et al. DEVELOPMENT OF A NATURAL USER INTERFACE FOR INTUITIVE PRESENTATIONS IN EDUCATIONAL PROCESS.
Murai et al. Kanji writing training with haptic interface for the visually impaired
KR101605740B1 (ko) 스마트폰 사용자의 개인화된 동작인식 방법 및 이를 이용한 게임방법
Müller et al. Augmenting Elastic Displays with Active Vibrotactile Feedback
Reunanen et al. Näprä-Affordable Fingertip Tracking with Ultrasound.
CN117666816A (zh) 触控笔和触控笔的操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant