CN104166466A - 一种带辅助控制的体感操控***及方法 - Google Patents

Abstract

本发明公开了一种带辅助控制的体感操控***及方法。该***包括：空间信息感知单元(101)，佩戴在人体预定部位上，用于获取人体的空间信息并发送给处理单元(103)；时钟单元(102)，连接到处理单元(103)，用于提供时间信息；处理单元(103)，用于对人体的空间信息和时间信息进行处理，生成相应的操控指令，并向输出单元(105)输出所述操控指令；辅助控制单元(104)，用于根据所述操控指令生成并输出相应的辅助操控指令；以及输出单元(105)，用于将所述操控指令和辅助操控指令发送给外部设备。本发明的***和方法能够精准的定位并进一步通过辅助控制来实现复杂的操控；同时能耗较低，适用于各种电池容量的移动终端，能够大范围推广。

Description

一种带辅助控制的体感操控***及方法

技术领域

本发明涉及网络终端操控领域，尤其涉及一种带辅助控制的体感操控***及方法。

背景技术

随着智能手机、平板电脑等移动设备的发展，多点触控技术因为可以较好地适用于此类移动智能终端而得到广泛的应用。但对于移动智能眼镜等移动智能终端来说，由于设备尺寸和屏幕大小的限制，多点触控技术无法得到很好的应用，用户体验较差。也有一些智能眼镜采用基于摄像头的体感操控技术，即通过摄像头传感器捕捉用户的肢体动作，然后通过识别和解析，转换为体感操控指令，但是基于摄像头图像捕捉的体感操控***精度较差，而且能耗较高，在移动智能眼镜领域适用面较窄,不利于大范围推广。另一方面，传统视频、音频、文档、图片浏览、网页阅读、游戏等应用，常用功能多采用按钮操控，如打开、选中、复制、粘贴、跳转、前进、后退、关闭等功能。但在移动智能眼镜中，由于不易实现界面操控定位，这些按钮不易被触发，难以实现精准定位和复杂操控，导致操控难度变大，易用性差等问题，使得PC上的绘图软件、反恐精英游戏等经典应用在移动智能终端上的应用受到很大限制，难以推广。在游戏类应用中，鼠标及键盘的多辅助操作，对于新玩家来说，在未经过长时间的练习时难以掌握，使游戏丧失了很大一部分乐趣。并且键盘操作在使用的过程中会遇到延时，接触不良，不灵活，按键声音大等问题，也给身边的人带来了不便。

同时，传统眼镜类显示器，采用按键设备或触控板的方式进行操控，易用性差，存在与上述移动终端类似的问题，同样难以实现操控界面的精准定位和复杂操控。

发明内容

本发明的目的是提供一种带辅助控制的体感操控***及方法，用于实现对软件界面的自然操控和精确定位，丰富移动智能眼镜的操控方法，从而提高用户的操控体验。

根据本发明的一个方面，提供了一种带辅助控制的体感操控***，包括：

空间信息感知单元101，佩戴在人体预定部位上，用于获取人体的空间信息并发送给处理单元103；

时钟单元102，连接到处理单元103，用于提供时间信息；

处理单元103，用于对人体的空间信息和时间信息进行处理，生成相应的操控指令，并向输出单元105输出所述操控指令；

辅助控制单元104，用于根据所述操控指令生成相应的辅助操控指令，并向输出单元105输出辅助操控指令；以及

输出单元105，用于将所述操控指令和辅助操控指令发送给外部设备。

其中，所述操控指令用于定位和/或选定操控对象，所述辅助操控指令用于对所述定位和/或选定的操控对象进行进一步操控。

所述辅助操控指令至少包括：单击按键，双击按键，按住按键，按住滚轮，滚动滚轮中的一种。

所述人体预定部位为头部和/或手部。

所述空间信息包括人体的方位信息、姿态信息和位置信息。

所述人体的方位信息包括：头部和/或手部在空间中三个维度的位置。

所述姿态信息包括:头部和/或手部在空间中三个维度方向上的前后位移、和/或上下位移、和/或左右位移、和/或水平旋转、和/或垂直旋转、和/或绝对位移与相对位移，或者是这些姿态的组合。

优选的，所述空间信息感知单元101包括：

指南针106，用于获取人体的方位信息；

陀螺仪107，用于获取人体的姿态信息；

无线信号模块108，用于获取人体的位置信息。

其中，所述无线信号模块通过卫星定位***、手机基站、WIFI中的至少一种获取人体的位置信息。

进一步地，所述空间信息感知单元101通过陀螺仪107的浮动误差控制减少误操控，包括下述操作：

为所述陀螺仪107设置误差幅度阈值；

当所述陀螺仪107的运动幅度小于所述误差幅度阈值时，所述空间信息感知单元101忽略所述运动。

可选的，所述空间信息感知单元101进一步包括下述中的一种或多种的结合：加速度传感器、方向传感器、磁力传感器、重力传感器、旋转矢量传感器、线性加速度传感器。

优选的，所述辅助控制单元104为鼠标。

根据本发明的另一个方面，提供了一种带辅助控制的体感操控方法，包括以下步骤：

步骤S1，获取人体的空间信息和时间信息。

步骤S2，对人体的空间信息和时间信息进行处理，并根据所述信息生成并输出相应的操控指令。

步骤S3，根据所述操控指令选定和/或定位操控对象。

步骤S4，通过辅助操控指令对所述选定和/或定位的操控对象进行进一步操控。

其中，所述辅助操控指令至少包括：单击按键，双击按键，按住按键，按住滚轮，滚动滚轮中的一种。

如上所述，根据本发明的带辅助控制的体感操控***及方法，具有下述显著的技术效果：(1)能够通过对人体的空间信息和时间信息进行获取并处理，实现方位、姿态、时间信息与人体的动作的动态匹配实现精准的定位并进一步通过辅助控制来实现复杂的操控；(2)能耗低，能够有效的延长移动智能眼镜等移动终端的使用时间，适用于各种电池容量的移动终端，能够大范围推广；(3)能够精准的定位、触发、操控传统视频、音频、文档、图片浏览、网页阅读、游戏等应用中常用的按钮功能，大大提高了用户的操控体验；(4)提高了用户在游戏类应用中的操控体验，增强了游戏乐趣。

附图说明

图1是本发明的带辅助控制的体感操控***的结构示意图；

图2是本发明的空间信息感知单元的操控的示意图；

图3是本发明体的辅助控制单元操控的示意图；

图4是本发明的带辅助控制的体感操控***的操控示意图；

图5是本发明的带辅助控制的体感操控方法的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

图1是本发明的带辅助控制的体感操控***的结构示意图。

如图1所示，本发明的带辅助控制的体感操控***，包括：

空间信息感知单元101，佩戴在人体预定部位上，用于获取人体的空间信息并发送给处理单元103；

时钟单元102，连接到处理单元103，用于提供时间信息；

处理单元103，用于对人体的空间信息和时间信息进行处理，生成相应的操控指令，并向输出单元105输出所述操控指令；

辅助控制单元104，用于根据所述操控指令生成相应的辅助操控指令，并向输出单元105输出辅助操控指令；以及输出单元105，用于将所述操控指令和辅助操控指令发送给外部设备。

其中，空间信息感知单元101，时钟单元102和处理单元104位于佩戴在人体头部和/或手部的体感操控设备，例如智能眼镜、可穿戴式头盔、指环和手环等，时钟单元102为计时器，辅助控制单元104为鼠标。

空间信息感知单元101包括：用于获取人体的方位信息的指南针106，用于获取人体的姿态信息的陀螺仪107，和用于获取人体的位置信息的无线信号模块108。

其中，无线信号模块108通过卫星定位***、手机基站、WIFI等方式获取人体的位置信息。

空间信息感知单元101还可以包括：加速度传感器、方向传感器、磁力传感器、重力传感器、旋转矢量传感器、线性加速度传感器，并通过这些传感器来提高获取人体的空间信息的精度。

其中，旋转矢量传感器简称RV-sensor(Rotating Vector-sensor)，用于代表设备的方向，该方向是一个将坐标轴和角度混合计算得到的数据。旋转矢量传感器输出三个数据：

x*sin(theta/2)；

y*sin(theta/2)；

z*sin(theta/2)；

其中，sin(theta/2)是旋转矢量的数量级，旋转矢量的方向与轴旋转的方向相同。旋转矢量的上述的三个数值与cos(theta/2)组成一个四元组，并且旋转矢量的数据没有单位，使用与加速度相同的坐标系。

加速度传感器是一种能够测量加速力的电子设备。加速力就是当物体在加速过程中作用在物体上的力，就好比地球引力，也就是重力。加速度传感器可以帮助仿生学机器人了解它现在身处的环境，例如是在爬山，还是在走下坡，是否摔倒等。或者用于对飞行类的机器人进行姿态控制。

方向传感器简称为O-sensor(Orientation-sensor)，返回三轴的角度数据。为了得到精确的角度数据，电子罗盘需要获取重力传感器G-sensor(Gravity-sensor)的数据，并经过计算产生方向传感器的数据，否则只能获取水平方向的角度。方向传感器提供三个数据，分别为azimuth、pitch和roll。其中，azimuth：方位，返回水平时磁北极和Y轴的夹角，范围为0°至360°，0°＝北，90°＝东，180°＝南，270°＝西。pitch：x轴和水平面的夹角，范围为-180°至180°。当z轴向y轴转动时，角度为正值。roll：y轴和水平面的夹角，由于历史原因，范围为-90°至90°。当x轴向z轴移动时，角度为正值。

重力传感器用于测量由于重力引起的加速度，用于计算出设备相对于水平面的倾斜角度。通过分析动态加速度，可以分析出设备移动的方式。

线性加速度传感器简称LA-sensor(Linear Acceleration-sensor)。线性加速度传感器是加速度传感器减去重力影响后获取的数据，单位是m/s^2，坐标***与加速度传感器相同。加速度传感器、重力传感器和线性加速度传感器的计算公式如下：加速度＝重力+线性加速度。

以上各种传感器可以单独使用，也使用在单一封装中设置为包括多个传感器的集成解决方案。例如，磁力传感器可以与加速度传感器结合使用，以获得精确的罗盘方位。

操控指令用于定位和/或选定操控对象，辅助操控指令用于对所述定位和/或选定的操控对象进行进一步操控。

辅助操控指令包括：单击按键，双击按键，按住按键，按住滚轮，滚动滚轮等操作，当辅助控制单元104为鼠标时，辅助操控指令包括：单击鼠标左键，单击鼠标右键，双击鼠标左键，双击鼠标右键，按住鼠标左键，按住鼠标右键，按住鼠标滚轮，滚动鼠标滚轮等操作，并通过这些操作来对操控对象进行打开，浏览，翻页，复制，粘贴，查看属性等操作。

空间信息包括人体的方位信息、姿态信息和位置信息。

人体的方位信息包括：头部和/或手部在空间中三个维度的位置。

其中，姿态信息包括:头部和/或手部在空间中三个维度方向上的前后位移、和/或上下位移、和/或左右位移、和/或水平旋转、和/或垂直旋转、和/或绝对位移与相对位移，或者是这些姿态的组合。

图2是本发明的空间信息感知单元的操控的示意图。

如图2所示，人体头部的运动包括：头部左右转动，头部上下转动和头部向前、向后。佩戴在人体头部的体感操控设备感知所述人体头部的运动并生成相应的操控指令。

图3是本发明的辅助控制单元操控的示意图。

如图3所示，当辅助控制单元104为鼠标时，辅助操控包括对鼠标左键、右键的按键单击和按键双击。

图4是本发明的带辅助控制的体感操控***的操控示意图。

如图4所示，空间信息感知单元101通过指南针106获取人体的方位信息，通过陀螺仪107获取人体的姿态信息，通过无线信号模块108获取人体的位置信息。当处理单元103对空间信息感知单元101获取的人体的空间信息进行处理并生成相应的操控指令后，所述处理单元103向输出单元105输出所述操控指令，所述输出单元105通过该操控指令实现对界面中图标和/或按钮的精确定位，辅助控制单元104向输出单元105输出辅助操控指令来对选定的对象进行进一步的操控。例如：

操控界面时，在登录***后，根据用户佩戴的智能眼镜自动进入全景操控界面，用户可以通过转动头部并用眼睛来查看各个应用图标。当用户的头部上下、左右转动时，处理单元103根据空间信息感知单元101获取的人体的空间信息输出相应的浏览操控指令来浏览上下左右各个方向上的应用程序图标。当用户的头部通过转动定位到某个应用后，处理单元103根据空间信息感知单元101获取的人体的空间信息输出相应的定位操控指令，来选定该应用，此时用户通过点击辅助控制单元104的左键来打开应用，并全屏显示。当用户转动头部并上仰一定角度时，处理单元103根据空间信息感知单元101获取的人体的空间信息输出相应的退出操控指令，界面上出现菜单询问用户是否退出当前应用，此时用户通过点击辅助控制单元104的左键来选择叉号并退出应用，或者选择打勾并取消退出。当用户转动头部并下俯一定角度时，处理单元103根据空间信息感知单元101获取的人体的空间信息输出相应的取消菜单操控指令，界面上显示的应用菜单自动消失。

当选定并打开的应用是文件目录时，此时用户通过按住并拖动辅助控制单元104的左键或者滑动辅助控制单元104的滚轮来浏览该目录下的子目录或文件，并且当前处于屏幕正中间位置的子目录或文件为当前选定的目录或文件，选定后，用户通过单击辅助控制单元104的左键来选定目录或文件，用户通过双击辅助控制单元104的左键来打开该文件，用户通过按住并拖动辅助控制单元104的左键来对该选定的目录或文件进行拖动，用户通过单击辅助控制单元104的右键来打开对目录或文件进行复制、粘贴等操作或者获取目录或文件属性的菜单，并通过单击辅助控制单元104的左键来打开菜单中的条目。

当选定并打开的应用是播放音频和/或视频的应用时，在登录***后，根据用户佩戴的智能眼镜自动进入全景操控界面，用户可以通过转动头部并用眼睛来查看各个音频和/或视频的图标。当用户的头部上下、左右转动时，处理单元103根据空间信息感知单元101获取的人体的空间信息输出相应的浏览操控指令来浏览各个方向上的音频和/或视频图标。当用户的头部定位到某个音频和/或视频后，处理单元103根据空间信息感知单元101获取的人体的空间信息输出相应的定位操控指令，来选定该音频和/或视频，此时用户通过点击辅助控制单元104的左键来打开该音频和/或视频，并进行播放。播放时，用户通过单击辅助控制单元104的左键来暂停播放该音频和/或视频，用户通过再次单击辅助控制单元104的左键来继续播放该音频和/或视频。用户通过辅助控制单元104的左键来单击相关按钮并滑动滚动条来调节音频和/或视频的播放进度、音量大小、屏幕亮度等播放属性，用户通过辅助控制单元104的左键来单击相关按钮来选择播放下一个或者上一个音频和/或视频。

当选定并打开的应用是阅读文本、网页的应用时，根据用户佩戴的智能眼镜自动进入全景操控界面，用户可以通过转动头部并用眼睛来查看各个文本、网页的图标。当用户的头部上下、左右转动时，处理单元103根据空间信息感知单元101获取的人体的空间信息输出相应的浏览操控指令来浏览各个方向上的文本、网页图标。

当用户的头部定位到某个文本或网页后，处理单元103根据空间信息感知单元101获取的人体的空间信息输出相应的定位操控指令，来选定该文本或网页，此时用户通过点击辅助控制单元104的左键来打开文本或网页，打开网页后，用户通过按住辅助控制单元104的左键来按住并上下滑动滚动条来浏览该网页下的文本和/或链接。并且，当前处于屏幕正中间位置的链接为当前选定的链接。用户通过点击辅助控制单元104的左键来单击或双击该链接并打开该链接，用户通过点击辅助控制单元104的左键来滑动滚动条并阅读该网页的内容，用户通过单击辅助控制单元104的左键来进行翻页，用户通过点击辅助控制单元104的左键来单击相关按钮并上下滑动滚动条来调节字体大小、屏幕亮度等相关属性。

当选定并打开的应用是浏览图片的应用时，根据用户佩戴的智能眼镜自动进入全景操控界面，用户可以通过转动头部并用眼睛来查看各个图片的图标。当用户的头部上下、左右转动时，处理单元103根据空间信息感知单元101获取的人体的空间信息输出相应的浏览操控指令来浏览各个方向上的图片的图标。

当用户的头部定位到某个图片后，处理单元103根据空间信息感知单元101获取的人体的空间信息输出相应的定位操控指令，来选定该图片，此时用户通过点击辅助控制单元104的左键来打开该图片，打开该图片后，用户通过单击辅助控制单元104的左键来点击相关按钮并上下滑动滚动条来调节图片大小，具体而言，向上滑动将放大图片，向下滑动将缩小图片，松开按键后，保持当前图片缩放比例。用户通过按住辅助控制单元104的左键并左右或上下拖动来浏览图片的各个部分。用户通过辅助控制单元104的左键单击界面左侧来浏览上一个图片，单击界面右侧来浏览下一个图片。

当选定并打开的应用是游戏时，根据用户佩戴的智能眼镜自动进入全景操控界面，当用户的头部向左转动时，处理单元103根据空间信息感知单元101获取的人体的空间信息输出相应的左转操控指令，进入游戏场景左侧的画面，当用户的头部向右转动时，处理单元103根据空间信息感知单元101获取的人体的空间信息输出相应的右转操控指令，进入游戏场景右侧的画面，当用户的头部向上转动时，处理单元103根据空间信息感知单元101获取的人体的空间信息输出相应的向上操控指令，进入游戏场景上方的画面，当用户的头部向下转动时，处理单元103根据空间信息感知单元101获取的人体的空间信息输出相应的向下操控指令，进入游戏场景下方的画面，当用户的头部向后运动时，处理单元103根据空间信息感知单元101获取的人体的空间信息输出相应的缩小操控指令，将游戏场景缩小，用户通过单击或双击辅助控制单元104的左键利用鼠标左键来表示开火/射击等操作，用户通过按住辅助控制单元104的左键并在上下、左右方向上拖动来浏览游戏界面的各个角落，用户通过按住辅助控制单元104的左键并前后拖动来调节游戏视野的大小。

当用户选定应用后，根据该应用的类型，***进入运动状态或非运动状态，例如当用户选定的应用为视频时，***进入非运动状态；当用户选定的应用为游戏时，***进入运动状态。

在空间信息感知单元101获取的人体的方位信息、姿态信息、位置信息时，空间信息感知单元101通过陀螺仪107的浮动误差控制来减少误操作，具体通过下述方式进行误操作控制：

为陀螺仪107设置误差幅度阈值；

当陀螺仪107的运动幅度小于所述误差幅度阈值时，空间信息感知单元101将该运动作为陀螺仪107的误差忽略掉。

当陀螺仪由于地球自转或者自身精度等问题，产生误差时，会影响空间信息感知单元101的判断，例如当陀螺仪放在静止的桌面上时，没有对其进行任何动作，但是由于误差原因，导致陀螺仪107检测到运动，从而是空间信息感知单元101生成错误的操控指令，形成误操作。因此需要使用上述浮动误差控制方法来减少由于误操作带来的影响。只有当操作者在特定时间内的运动幅度大于设定的误差幅度阈值时，***才会判定为有效运动并生成相应的操控指令，而所有小于误差幅度阈值的运动都会被判定为误操作，并忽略掉，从而避免因误差而引起的误操作。

图5是本发明的带辅助控制的体感操控方法的流程示意图。

如图5所示，本发明的带辅助控制的体感操控方法，包括以下步骤：

步骤S1，获取人体的空间信息和时间信息。

通过佩戴在人体头部和/或手部的体感操控设备，例如智能眼镜、可穿戴式头盔、指环和手环等来获取所述人体的空间信息和时间信息。

其中，所述空间信息包括人体的方位信息、姿态信息和位置信息。

所述人体的方位、姿态信息包括:

头部、手部在空间中三个维度的位移：包括前后位移，上下位移、左右位移，或者是这些位移的组合；

头部、手部的各种角度变化，包括水平左右旋转和上下旋转，或是两种旋转方式的组合；和/或

绝对位移与相对位移。

步骤S2，对人体的空间信息和时间信息进行处理，并根据所述信息生成并输出相应的操控指令。

步骤S3，根据所述操控指令选定和/或定位操控对象。

步骤S4，通过辅助操控指令对所述选定和/或定位的操控对象进行进一步操控。

其中，辅助操控指令包括：单击按键，双击按键，按住按键，按住滚轮，滚动滚轮等操作，当辅助控制单元为鼠标时，辅助操控指令包括：单击鼠标左键，单击鼠标右键，双击鼠标左键，双击鼠标右键，按住鼠标左键，按住鼠标右键，按住鼠标滚轮，滚动鼠标滚轮等操作，并通过这些操作来对操控对象进行打开，浏览，翻页，复制，粘贴，查看属性等操作。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种带辅助控制的体感操控***，其特征在于，包括：

空间信息感知单元(101)，佩戴在人体预定部位上，用于获取人体的空间信息并发送给处理单元(103)；

时钟单元(102)，连接到处理单元(103)，用于提供时间信息；

处理单元(103)，用于对人体的空间信息和时间信息进行处理，生成相应的操控指令，并向输出单元(105)输出所述操控指令；

辅助控制单元(104)，用于根据所述操控指令生成相应的辅助操控指令，并向输出单元(105)输出辅助操控指令；以及

输出单元(105)，用于将所述操控指令和辅助操控指令发送给外部设备。

2.根据权利要求1所述的***，其特征在于，所述操控指令用于定位和/或选定操控对象，所述辅助操控指令用于对所述定位和/或选定的操控对象进行进一步操控。

3.根据权利要求2所述的***，其特征在于，所述辅助操控指令至少包括：单击按键，双击按键，按住按键，按住滚轮，滚动滚轮中的一种。

4.根据权利要求1所述的***，其特征在于，

所述人体预定部位为头部和/或手部；

所述空间信息包括人体的方位信息、姿态信息和位置信息；

所述人体的方位信息包括：头部和/或手部在空间中三个维度的位置；

所述姿态信息包括:头部和/或手部在空间中三个维度方向上的前后位移、和/或上下位移、和/或左右位移、和/或水平旋转、和/或垂直旋转、和/或绝对位移与相对位移，或者是这些姿态的组合。

5.根据权利要求4所述的***，其特征在于，所述空间信息感知单元(101)包括：

指南针(106)，用于获取人体的方位信息；

陀螺仪(107)，用于获取人体的姿态信息；

无线信号模块(108)，用于获取人体的位置信息。

6.根据权利要求5所述的***，其特征在于，所述无线信号模块通过卫星定位***、手机基站、WIFI中的至少一种获取人体的位置信息。

7.根据权利要求5所述的***，其特征在于，所述空间信息感知单元(101)通过陀螺仪(107)的浮动误差控制减少误操作，包括下述操作：

为所述陀螺仪(107)设置误差幅度阈值；

当所述陀螺仪(107)的运动幅度小于所述误差幅度阈值时，所述空间信息感知单元(101)忽略所述运动。

8.根据权利要求1所述的***，其特征在于，所述空间信息感知单元(101)进一步包括下述中的一种或多种的结合：加速度传感器、方向传感器、磁力传感器、重力传感器、旋转矢量传感器、线性加速度传感器。

9.根据权利要求1至8任意一项所述的***，其特征在于，所述辅助控制单元(104)为鼠标。

10.一种带辅助控制的体感操控方法，其特征在于，包括以下步骤：

步骤S1，获取人体的空间信息和时间信息；

步骤S2，对人体的空间信息和时间信息进行处理，并根据所述信息生成并输出相应的操控指令；

步骤S3，根据所述操控指令定位和/或选定操控对象；

步骤S4，通过辅助操控指令对所述定位和/或选定的操控对象进行进一步操控；

其中，所述辅助操控指令至少包括：单击按键，双击按键，按住按键，按住滚轮，滚动滚轮中的一种。