CN104484073A - 手部触摸交互*** - Google Patents

Abstract

本发明公开了一种手部触摸交互***，包括主控制器，还包括手部触摸传感器及安装于终端设备中的客户端；手部触摸传感器经手指触摸感应层与主控制器相连，通过手部触摸传感器检测各个触点的触摸动作，并将触摸状态信息传送至主控制器；主控制器用于对一个以上的传感器件进行数据采集、综合运算以及控制；客户端根据主控制器所采集、综合运算的信息来控制输出交互的结果。采用本发明，能够利用手部触摸传感器检测手指和手掌的触碰或滑动动作，并利用其他传感器件检测手部的方位和运动状态，通过手指接触检测部件替代键盘输入，并采用手部空间位移检测装置替代鼠标，从而提供一种更为便捷的人机交互方式。

Description

手部触摸交互***

技术领域

本发明涉及人机交互输入技术，尤其涉及一种手部触摸交互***。

背景技术

触摸屏技术是一种新型的人机交互输入方式，与传统的键盘和鼠标输入方式相比，触摸屏输入更为直观。随着触摸屏技术的完善，由于操控的便捷性，触摸屏逐渐在许多场合替代了鼠标和键盘。触摸屏主要由触摸检测部件和触摸屏控制器组成，触摸检测部件安装在显示器屏幕前，用于检测触摸位置，然后将相关信息传送至触摸屏控制器。触摸屏控制器的主要作用为从触摸点检测装置接收触摸信息，并将其转换为触点坐标传送给CPU，同时接收CPU发来的指令并加以执行。配合识别软件，借助触摸屏还能实现手写输入等功能，目前触摸屏已由最初的单点触屏发展到多点触屏。

尽管触摸屏比键盘和鼠标具有更多的优势，但是，由于触摸屏的三个特性致使其具有如下的缺点：

其一，透明。作为触摸屏的第一特性，透明度直接影响触摸屏的视觉效果。很多触摸屏为多层的复合薄膜，仅用透明这一特点来概括它的视觉效果是不够的，至少应包括四个特性：透明度、色彩失真度、反光性和清晰度。由于透光性和波长曲线图的存在，通过触摸屏看到的图像与原图像相比不可避免的会产生色彩失真。透过触摸屏观察时，静态的图像感觉只是色彩失真，动态的多媒体图像则会产生一定的模糊。反光性主要指由于镜面反射造成图像上重叠后的光影，如人影、窗户、灯光等。反光性强的触摸屏使用环境受到了极大的限制。经过磨砂处理的触摸屏反光性明显下降，但其透明度和清晰度也大幅度降低。加装触摸屏后带来的清晰度下降容易造成眼睛的疲劳，长期使用容易造成眼睛的伤害。

其二，绝对坐标***。触摸屏采用绝对坐标***，要选哪里就点哪里。与鼠标这类相对坐标***的本质区别是绝对坐标***每一次定位坐标与上一次定位坐标没有关系。这就要求触摸屏不管在什么情况下，同一点的输出数据应是一致的和稳定的。如果不稳定，那么触摸屏就不能保证绝对坐标定位，即触点漂移。随着技术的发展，大屏幕平板显示越来越流行，采用绝对坐标***的触摸屏所面临的问题将更为明显，屏幕有多大，其所需触摸的面积就有多大，为了触摸到相应位置，还需要人手进行更远距离的运动，当屏幕面积增大到一定程度后，则失去了触摸屏本身所带来的便捷性。

其三，检测触摸并定位。各种触摸屏技术都是依靠各自的传感器来工作的，甚至触摸屏本身就是一套传感器。各自的定位原理和所用的传感器决定了触摸屏的反应速度、可靠性、稳定性和寿命。

由目前触摸屏现状可知，采用红外技术的触摸屏价格较低，但其外框易损，容易产生光干扰，曲面情况下容易失真；采用电容技术的触摸屏设计构思合理，但采用复合膜后图像失真问题很难得到根本解决；采用电阻技术的触摸屏定位准确，但价格偏高，且怕刮易损；而采用表面声波技术的触摸屏清晰度良好，但屏幕表面如果有水滴和灰尘等则会导致触摸迟钝甚至触摸失灵。随着大屏幕平板显示屏的流行，触摸屏在技术上会面临更大的挑战。

而采用其他技术的人机交互输入技术。例如：

1）微软公司的Kinnect，其集成了即时动态捕捉、影像识别等功能，改变了以往使用键盘、鼠标、手柄等单一的操作方式，并具有手部识别和手势支持功能，但Kinnect作为游戏外设，其识别精度较低、响应速度较慢，基于动态捕捉、影像识别技术的手部交互方式容易受外界环境的影响，可靠性差，无法适应于对实时、可靠性要求高的应用场合。

2）Leap公司的Leap Motion手部交互控制技术，相比Kinnect技术，具有能够快速而准确地识别出用户的手部位置和运动的特点，但由于Leap Motion采用红外LED+双摄像头的技术，用户的手部必须处于识别场内，超出识别临界区或部分手指被其他手指遮挡等情况下，***则无法识别。识别区过小会限制其应用范围，而识别区过大则很难保证精度及抗干扰性，同样无法应用于可靠性要求高的场合。

3）Thalmic Labs公司的MYO腕带技术，属于一款控制终端设备，其基本原理是，利用臂袋上的感应器捕捉用户手臂肌肉运动时产生的生物电变化，判断佩戴者的意图，再将电脑处理的结果通过蓝牙发送至受控设备。MYO采用内部检测，优势在于不受使用场合的限制，交互更加自然，但其识别精度和手势丰富程度同样受到使用条件的限制。

目前，国内手部交互***尚处于研制阶段，大多采用与Kinnect相类似的摄像头运动捕捉技术。由于手部交互技术的难度高，难以保证可靠的精度和响应速度，市场上尚无可靠的手部交互***产品。

发明内容

有鉴于此，本发明的主要目的在于提供一种手部触摸交互***，利用手部触摸传感器检测手指和手掌的触碰或滑动动作，利用陀螺仪、加速度计、磁力计检测手部的方位和运动状态，由手指接触检测部件来替代键盘输入，并采用手部空间位移检测装置替代鼠标，设计一种更为便捷的人机交互方式，以克服现有触摸屏技术和其他手部交互控制技术的缺陷。

为达到上述目的，本发明的技术方案是这样实现的：

一种手部触摸交互***，包括主控制器；还包括手部触摸传感器及安装于终端设备中的客户端；所述手部触摸传感器包括经手指触摸感应层与主控制器相连，通过手部触摸传感器检测各个触点的触摸动作，并将触摸状态信息传送至主控制器；所述主控制器用于对一个以上的传感器件进行数据采集、综合运算以及控制；所述客户端根据主控制器所采集、综合运算的信息来控制输出交互的结果。

其中，所述手指触摸感应层为柔性触摸层或具有与其类似功能的结构。

所述手指触摸感应层，位于左手四个手指的指腹和指侧左侧，以及右手四个手指的指腹和指侧右侧；通过左右手拇指与同侧所述左手四个手指或/和右手四个手指相互配合进行各种触摸交互操作。

通过客户端设定拇指与其余四指不同部位、不同触摸方式组合的各种操作，实现不同的操控结果。

所述手触摸传感器还集成有滤波、屏蔽器件。

所述主控制器与终端设备以总线方式相连。

所述传感器件进一步包括与所述主控制器相连的陀螺仪、加速度计或/和磁力计。

所述主控制器还用于采集陀螺仪、加速度计或/和磁力计的各项数据，并经运算处理后经过预设的接口传送至客户端。

所述陀螺仪用于检测手部的转向，加速度计则用于检测手部的直线位移加速度。

所述磁力计用于检测手部所处的位置相对地球的磁场方位。

本发明所提供的手部触摸交互***，具有以下优点：

本发明描述了一种采用柔性触摸传感器、陀螺仪、加速度计、磁力计等器件组建的手部交互***。该交互***与其他人机交互方式相比优势如下：

1）键盘和鼠标。该***能够实现与键盘和鼠标类似的功能。相比于键盘和鼠标，本发明的***的优势并非提供更快速的字符、文字输入功能，而在与提供了一种更为便捷的操控方式。

2）触摸屏。相较于碰触屏，该手部触摸交互***克服了目前触摸屏固有的图像失真、图像模糊、触点漂移、可靠性差等缺点，尤其适应于大屏幕面板显示。

3）Kinnect和Leap Motion，均采用外部检测，比较受限于检测的精度和速度，且易受外界的干扰。本发明的***采用内部检测，检测精度和速度与外界使用环境无关，因此具有更高的实时性和可靠性。

4）由于本***采用内部检测，不受外界使用环境影响，相比于MYO腕带，本***拥有更多的碰触识别，更高的可靠性，能够同时完成更多的功能。

附图说明

图1为本发明实施例手部触摸交互***的功能框图；

图2为本发明手部触摸交互***的产品应用示意图；

图2a和图2b为现有触摸感应网络示例图；

图3为图1所示手部触摸交互***所采用的空间坐标体系示意图；

图4为图1所示手部触摸交互***的主控制器工作流程示意图。

具体实施方式

下面结合附图及本发明的实施例对本发明的手部触摸交互***作进一步详细的说明。

图1为本发明实施例手部触摸交互***的功能框图。如图1所示，该手部触摸交互***，主要由主控制器、手部触摸传感器和安装于终端设备中的客户端组成。

本发明将柔性触摸屏检测部件安装位置由屏幕面板移植到人的手指和手掌，由手指接触检测部件来替代键盘输入，并采用手部空间位置检测装置替代鼠标。除四根手指的柔性触摸传感***外，其余各部分控制***均位于手背部。触摸传感***采用高可靠柔性触摸传感材料制作，满足人手正常的生理弯曲要求。

其中，本发明设计的手部触摸传感器在四根手指上分布柔性触摸感应层，其结构采用与柔性触摸屏相类似的结构，柔性触摸感应层设置于左手四个手指的指腹和指侧左侧，及右手四个手指的指腹和指侧右侧，方便拇指对其进行操作。

图2为本发明手部触摸交互***的产品应用示意图。如图2所示的网状部分为四手指柔性触摸感应层的分布情况，与图2a和图2b所示的触摸感应网络类似，区别在于图2a和图2b所示的触摸感应网络位于显示屏上，本发明中的触摸显示网络位于除拇指外的四个手指指面和指侧。

将柔性触摸感应层应用在如图2所示的产品时，如图2a、图2b所示的右侧为位于四指的柔性触摸网络示例，通过对触摸显示网络的不同点进行检测，可以获得不同触摸点的X/Y坐标值。此X/Y坐标值通过总线传送给主控制器，由主控制器器对其进行分析运算。在客户端中，可以规定不同的X/Y值对应不同的键盘按键值，例如位于食指侧指尖的触摸区X/Y值为（0，0），在客户端软件中规定（0±2,0±2）的X/Y值为按键Q所对应的按键值。当拇指碰触食指侧指尖时，柔性触摸网络将此时的X/Y值传递给主控制器，主控制器判定此X/Y值位于按键Q对应的X/Y值范围内，由此产生按键Q的消息发送给操作***，完成Q键按下功能的实现。同理，通过客户端软件的不同设定，可产生不同的按键、鼠标单击、鼠标双击等功能，通过对连续时间内坐标值的检测，可检测到柔性触摸网络的滑动操作，从而完成类似鼠标滚轮的操作。

基于上述原理，位于四指的柔性触摸感应层通过拇指可对四个手指进行各种点触、滑动等操作。通过点触操作来实现类似键盘打字的功能，通过滑动操作来实现放大、缩小等操作，通过软件设定拇指与其余四指不同部位、不同触摸方式组合的各种操作，进而实现各种功能。由于手部触摸传感器支持多点触摸检测，因此，可以同时检测到多个不同部位的触摸，由此可以实现类似键盘的组合键功能。

手部触摸传感器，检测各个触点的触摸动作，并将触摸状态信息传送至主控制器。为保证检测的可靠性，手部触摸传感器还集成了滤波、屏蔽器件。为了适应人手的差异性，手部触摸传感器还集成了校准功能。

陀螺仪/加速度计，陀螺仪用于检测手部的转向，加速度计检测手部的直线位移加速度。该两个模块配合能够完成手部在空间的移动检测。本发明采用如图3所示的空间坐标体系，将人手在空间的移动信息转换为坐标信息传送到主控制器中，由主控制器将手部运动信息解析为鼠标的运动信息。由于采用与鼠标相同的相对坐标体系，佩戴者只需要小幅度的手部运动即可使鼠标在屏幕上产生长距离的移动，这就解决了触摸屏在大屏幕面板应用时人手移动幅度过大的问题，减少了手部的疲劳。

磁力计，本发明采用的磁力计是由镍铁薄膜贴付硅片构成的带式磁阻元件，这些磁阻元件两两对齐，形成一个共同的敏感轴。在磁场存在的情况下，磁阻元件的变化将引起相应的电压产生变化，因此，磁力计可通过测量轴方向上的任何入射磁场转换得到差分电压检测手部所处的相对地球磁场方位。通过使用磁力计定位，可以使陀螺仪具有较高的加速度和较低的机械噪声，同时矫正加速度计的旋转误差，保证手部运动检测的准确性。陀螺仪、加速度计和磁力计配合实现鼠标的光标移动功能，保证了光标的精确性。

主控制器，可采用集成I²C接口和USB接口等数据传输功能的低功耗单片机，用于采集手部触摸传感器、陀螺仪、加速度计、磁力计的各项数据，并经运算处理后通过USB接口传送到终端设备（内置客户端）中。作为本发明的***的核心器件，主控制器用于采集各个分器件的初始化、数据采集、综合运算、控制等功能。例如，当佩戴者不需要鼠标功能时，通过主控制器可关闭陀螺仪、加速度计和磁力计。主控制器采用标准USB协议，将各分器件的数据综合解析为通用的键盘、鼠标信号，其工作流程如图4所示。

图4为图1所示手部触摸交互***的主控制器工作流程示意图。该主控制器采用电源转换电路，通过USB接口直接供电。由于各元器件工作所需的电压等级不同，需要电源转换电路将USB标准电压进行转换后提供给各个器件。由于各电压都不超过10V，均在安全电压范围内，因此本产品不会对人体造成危害。

本发明的客户端，即终端软件，所述终端软件运行于各个平台操作***中，提供包括但不限于如下功能：

1）各个触点的按键指定功能。

本发明的手部触摸交互***本身集成一套默认的按键指定方案，为满足不同佩戴者的不同需求，该终端软件能够对不同触摸、滑动设定不同的按键，佩戴者能够随时修改已设定的按键。

2）各个触点的校准功能。

由于不同佩戴者的手掌大小、手指粗细、长短不同，为适应不同佩戴者的手部运动，该终端软件集成了各个触点的校准功能。

3）手部触摸传感器的灵敏度设定。

该终端软件集成了手部触摸传感器的灵敏度设定功能，不同的灵敏度设定可以带来不同的触摸操控感觉，佩戴者可选择最舒适的灵敏度设定。

4）手部运动灵敏度设定。

本终端软件集成手部运动灵敏度设定功能，不同的灵敏度设定可以带来不同的光标操控感觉，佩戴者可选择最舒适的灵敏度设定。

5）鼠标单击、双击等功能设定。

手部运动实现了光标移动功能，为实现鼠标的单击、双击等功能，用户可将鼠标的左键、中键、右键指定到某部分触摸感应电极片上，通过触摸相应的电极片实现单击、双击功能。

6）空中手势功能设定。

本发明还可通过位移传感器检测手部在空间的相对位移，因此能够检测人手的相对移动，通过此功能可对空中手势对应的功能进行设定。

7）触摸按键指定方案的保存、导入功能。

针对不同的使用环境，例如针对不同软件的快捷键操作，佩戴者可设定不同的按键指定方案。该终端软件集成触点按键指定方案的保存、导入功能，佩戴者可以在不同环境下调用不同的按键指定方案。

本发明的手部触摸交互***在使用时，拇指对其余四指进行相应的点触或滑动操作，由此产生点触或滑动信号，此信号经主控制器检测后转换为相应的控制信号，此控制信号可通过软件或其他方式产生多种控制效果，例如：类似于鼠标的点击功能、类似于键盘的打字功能、类似于开关的控制功能等。

本发明描述了一种采用手部触摸传感器、陀螺仪、加速度计、磁力计等器件组建的手部触摸交互***。该***能够实现与键盘、鼠标、触摸屏类似的功能。相比于键盘和鼠标，本发明的手部触摸交互***提供了一种更为便捷的操控方式；相较于触摸屏，该手部触摸交互***克服了目前触摸屏固有的图像失真、图像模糊、触点漂移、可靠性差等缺点，尤其适应于大屏幕面板显示。本手部交互***安全、可靠、便捷，可应用于多种场合。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种手部触摸交互***，包括主控制器；其特征在于，还包括手部触摸传感器及安装于终端设备中的客户端；所述手部触摸传感器经手指触摸感应层与主控制器相连，通过手部触摸传感器检测各个触点的触摸动作，并将触摸状态信息传送至主控制器；所述主控制器用于对一个以上的传感器件进行数据采集、综合运算以及控制；所述客户端根据主控制器所采集、综合运算的信息来控制输出交互的结果。

2.根据权利要求1所述的手部触摸交互***，其特征在于，所述手指触摸感应层为柔性触摸层或具有与其相类似功能的结构。

3.根据权利要求2所述的手部触摸交互***，其特征在于，所述手指触摸感应层，设置于左手四个手指的指腹和指侧左侧，以及右手四个手指的指腹和指侧右侧；通过左右手拇指与同侧所述左手四个手指或/和右手四个手指相互配合进行各种触摸交互操作。

4.根据权利要求3所述的手部触摸交互***，其特征在于，通过客户端设定拇指与其余四指不同部位、不同触摸方式组合的各种操作，实现不同的操控结果。

5.根据权利要求1所述的手部触摸交互***，其特征在于，所述手触摸传感器还集成有滤波、屏蔽器件。

6.根据权利要求1所述的手部触摸交互***，其特征在于，所述主控制器与终端设备以总线方式相连。

7.根据权利要求1所述的手部触摸交互***，其特征在于，所述传感器件进一步包括与所述主控制器相连的陀螺仪、加速度计或/和磁力计。

8.根据权利要求7所述的手部触摸交互***，其特征在于，所述主控制器用于采集手部触摸传感器、陀螺仪、加速度计或/和磁力计的各项数据，并经运算处理后经过预设的接口传送至客户端。

9.根据权利要求7所述的手部触摸交互***，其特征在于，所述陀螺仪用于检测手部的转向，加速度计则用于检测手部的直线位移加速度。

10.根据权利要求7所述的手部触摸交互***，其特征在于，所述磁力计用于检测手部所处的位置相对地球的磁场方位。