CN102915111A - 一种腕上手势操控***和方法 - Google Patents

一种腕上手势操控***和方法 Download PDF

Info

Publication number
CN102915111A
CN102915111A CN2012100977506A CN201210097750A CN102915111A CN 102915111 A CN102915111 A CN 102915111A CN 2012100977506 A CN2012100977506 A CN 2012100977506A CN 201210097750 A CN201210097750 A CN 201210097750A CN 102915111 A CN102915111 A CN 102915111A
Authority
CN
China
Prior art keywords
module
wrist
gesture
finger
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100977506A
Other languages
English (en)
Other versions
CN102915111B (zh
Inventor
寇传阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201210097750.6A priority Critical patent/CN102915111B/zh
Publication of CN102915111A publication Critical patent/CN102915111A/zh
Priority to PCT/CN2013/073706 priority patent/WO2013149586A1/zh
Application granted granted Critical
Publication of CN102915111B publication Critical patent/CN102915111B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及一种腕上手势操控***和方法，特别是一种用于手机与电脑等电子产品操控的腕表型手势识别***，本***也可用于各种机电设备如家用电器、交通工具、工业机械、游戏娱乐设备、教学科研设备、医疗器械以及语音控制设备等的远程操控和虚拟操控；本发明每套包括左手右手两个***或者只使用单手的***，包括腕表部分1，与上位机部分2协同工作，以对上位机进行操控，可选择佩戴戒指部分3；其中腕表部分1包括控制主模块4、手势摄像模块5、背光LED灯模块6、电源模块7和腕带反馈模块8；上位机部分2包括上位机9和第一无线通讯模块10，戒指部分3包括戒指反馈模块11，其中控制主模块4中还包括控制板卡12、第二无线通讯模块13、三轴加速度模块14、倾角模块15及控制按钮16。

Description

一种腕上手势操控***和方法
技术领域
本发明涉及一种腕上手势操控***和方法，特别是一种用于手机与电脑等电子产品操控的腕表型手势识别***，本***也可用于各种机电设备如家用电器、交通工具、工业机械、游戏娱乐设备、教学科研设备、医疗器械以及语音控制设备等的远程操控和虚拟操控。
背景技术
目前操控方式存在以下问题：(1)手机的控制设备有按键、触摸屏，电脑则用鼠标、键盘、手写板等控制，综合来看目前只应用了点击、拖动等简单动作。但是人对外界所有的机械、电脑、手机等实物工具的操作控制，都由手来完成，手作为人体主要的输出媒介，大部分的动作则还没有被开发使用；(2)当前大部分的机电设备，如数控机床、挖掘机械等工业机械、各种汽车等交通工具、冰箱电视等家用电器、游戏娱乐设备、教学科研设备、医疗器械甚至是未来应用的物联网设备，都是由手部动作控制，但操纵时，人都必须亲自用手来操纵，很难实现远程操控和虚拟操控，或者有些实现了远程控制，但不能便携使用，如果能实现便携的远程操控和虚拟操控，必定会带来新的技术进步和更大的发展前景；(3)虽然目前有些电子科技公司，使用了体感控制，以及一些手势控制方式，但由于设计本身的用来感测动作的传感器和摄像装置，固定在电脑或者桌面上，而人体经常会移动，这就造成了无法携带的使用困难，也失去了应用前景；(4)当前的一些手势识别装置，都是基于触摸屏幕，比如平板电脑和手机，它们能够采集的信息量很少，只占手部所有运动的一小部分。或者有些设备通过身体佩戴的方式识别手势，虽然提高了便携性，但会造成干扰识别的物体过多，图像不稳定，算法复杂等技术难题。如果要保证手势识别的信息完整性和准确性，***就无法简化，设备体积较大，自然无法便携式使用。
发明内容
本发明的目的在于实现手势识别技术的小型化、便携化与算法的精简优化，提供一种通过基于腕上的摄像设备来简化手势动作识别的新***。
本发明的技术方案是：
一种腕上手势操控***和方法，其中，每套包括左手右手两个***或者只使用单手的***，包括腕表部分1，与上位机部分2协同工作，以对上位机进行操控，可选择佩戴的戒指部分3。参见附图1：硬件结构图，其中腕表部分1包括控制主模块4、手势摄像模块5、背光LED灯模块6、电源模块7和腕带反馈模块8，上位机部分2包括上位机9和第一无线通讯模块10，戒指部分3包括戒指反馈模块11；其中控制主模块4中还包括控制板卡12、第二无线通讯模块13、三轴加速度模块14、倾角模块15及控制按钮16。
进一步地，该***中控制板卡12利用三轴加速度模块14与倾角模块15采集手腕运动轨迹和倾角，进行手腕坐标定位；利用位于手腕部的手势摄像模块5，参见附图2，采集手指指尖103坐标信息，进而确定当前手指相对手腕的动作；利用所述手腕坐标和所述手指坐标，最终实现手势动作的识别；通过第二无线通讯模块13将手势识别信息发送到设有第一无线通讯模块10的上位机9，实现对上位机9的控制。
进一步地，上位机9通过腕带反馈模块8和戒指反馈模块11，即安装在手腕腕带和手指戒指上的震动振子和/或收缩压力环，把对手势运动的反馈信息，传递给手部，模拟触觉感知。用户根据所述触觉感知，调整手势动作，实现闭环控制。而且具有触觉反馈功能的腕带和戒指，可以帮助老人、盲人、其他行动不便的残疾人、以及使用语音控制设备的用户，不用阅读，就能获得电子设备的反馈信息。
进一步地，所述手势摄像模块5可采用分体式结构，拆卸下来，安装在电源模块7的后方，或者使用导轨式，把手势摄像模块5沿着腕表带上的导轨，收缩到腕表部分1的上方。
进一步地，所述上位机9包括安装了第一无线通讯模块10，可实现虚拟操控或远程控制的手机、电脑、家用电器、交通工具、工业机械、游戏娱乐设备、教学科研设备、医疗器械以及语音控制设备等。
进一步地，该***采用基于巡线原理的手指延伸算法。由于手势摄像模块5摄像时，位于手腕下方，拍摄的手势图像中位于图像上部的手掌根部101的运动范围很小，参见附图8，而且手指也是由手指根部关节到指尖，自上而下呈运动范围逐渐扩大的趋势而运动的。因此可以先判断手腕在图像中的位置，然后判断手指根部102的位置，巡着手指方向向下延伸，识别每一个手指关节，最后确定每个手指指尖103的位置坐标。
一种腕上手势操控方法，包括如下步骤：
S1.开机检测步骤；
S2.手势识别步骤；
S3.第二通信模块13将手势识别结果发送给第一通讯模块10，根据不同的手势对上位机9进行相应的操控；
其中，开机检测步骤S1包括：
S11.***程序的自我检测；
S12.检测图像背景的对比度，根据检测结果进行模式选择，选择普通模式、打开背光LED灯或进行光圈调节中的任一；
S13.判断图像是否可分辨，倘是，进入手势识别步骤S2，倘否，继续进行模式选择步骤S12；
S14.确定手指原始位，确定用户手型与常用手势并记忆手势；
所述手势识别步骤S2包括：
S21.计算手指坐标，包括水平坐标x、垂直坐标y和手指到手腕原点的距离坐标r，其中，采用直角坐标系计算手指的水平坐标x和垂直坐标y，采用球面坐标系计算距离坐标r；
S22.识别手势动作。
附图说明
下面结合附图对本发明作进一步描述。
图1为本发明一种腕上手势操控***和方法硬件结构的结构框图；
图2为本发明一种腕上手势操控***和方法硬件结构的右手侧视图；
图3为本发明一种腕上手势操控***和方法硬件结构的右手仰视图；
图4为本发明一种腕上手势操控***和方法硬件结构的摄像模块平移之前的位置参照图；
图5为本发明一种腕上手势操控***和方法硬件结构的右手俯视图；
图6为本发明一种腕上手势操控***和方法的软件开机检测子程序流程图；
图7为本发明一种腕上手势操控***和方法的软件识别子程序流程图；
图8为本发明一种腕上手势操控***和方法的手势识别算法示例图。
具体实施方式
设计思路：手作为人体主要的输出媒介。工具的使用，产品的制作，都是手部复杂的动作完成的。如果能够把手部的运动信息全部采集下来，然后就能更加高效便捷的完成工作，甚至让机器模拟，实现无人化生产。主要难点是手部的动作复杂多变，但是如果以手腕为坐标原点，建立球面坐标系，手指的动作就是在相对于手腕的球面坐标系内运动，只要利用位于手腕下方的手势摄像模块5摄像，采集手指图像信息，处理模块完成手指指尖103的坐标定位，见附图8，整个手指的动作就知道了。这样就能得到以手腕为坐标原点，五个手指指尖的相对位置坐标。然后利用三轴加速度模块14，把手腕在三个坐标方向的加速度对时间做二次积分，再参考***启动时手的原始位置，可以得到手腕坐标原点的运动轨迹，利用倾角模块15可以测量手腕的翻转方向。综上就可以精确计算出手腕的位置坐标与五个手指指尖的位置坐标。
为了提高在多种复杂情况下的识别准确性，本设计在硬件上，采用了手势摄像模块5，配合背光LED灯模块6补光与镜头光圈控制等方式进行光线辅助，保证采集的图像对比度在合适的测量范围内，能够获得手指坐标信息。再用三轴加速度模块14并结合倾角模块15实现手腕的精确定位。
在完成手势识别的基础上，可以根据应用需要，增加触觉反馈***，就是利用腕表的腕带和五个手指戒指，加上震动振子和收缩压力环，可以给手触觉反馈。增加手指操纵的真实感，也能实现虚拟按键或虚拟键盘的点击触感，而且通过改变的振子频率和收缩压力环的压力，可以让用户知道手部受到的阻力大小。而且有触觉反馈功能的腕带和戒指，可以帮助老人、盲人、其他行动不便的残疾人以及使用语音控制设备的用户，不用阅读，就能获得电子设备的反馈信息。
本设计方案包括：硬件结构和程序框架。
本***硬件结构，每套包括左手右手两个***或者只使用单手的***，包括腕表部分1与上位机部分2协同工作，以对上位机进行操控，和可选择佩戴的戒指部分3，参见附图1：硬件结构框图。其中腕表部分1包括控制主模块4、手势摄像模块5、背光LED灯模块6、电源模块7和腕带反馈模块8，上位机部分2包括上位机9和第一无线通讯模块10，戒指部分3包括戒指反馈模块11，参见附图2：右手侧视图，图3为右手仰视图，图5为右手俯视图。
其中控制主模块4中还包括控制板卡12、第二无线通讯模块13、三轴加速度模块14、倾角模块15及控制按钮16。
手势摄像模块5：用于采集手的实时图像数据，然后把图像数据发送给控制主模块4，根据具体使用的环境可以选择红外摄像模块，为了便于携带，手势摄像模块5可采用分体式结构，拆卸下来，安装在电源模块7的后方，或者使用导轨式，把手势摄像模块5沿着腕表带上的导轨，收缩到腕表部分1的上方；
背光LED灯模块6：能在背景昏暗时，给手势摄像模块提供照明；
电源模块7：为整个设备提供电力支持；
腕带反馈模块8：包括腕带震动振子和收缩压力环模块，在手腕内侧，安装电磁震动振子和/或收缩压力环模块，由控制主模块4发送的控制信号控制，电磁震动振子在手机里比较常用，收缩压力环则可以利用在戒指内嵌套由电机带动的小环来实现，因此把上位机对手部动作的反馈信息，传递给手部，触觉会让人体获得当前运动的阻力等信息，用户可用根据触觉感知调整手部动作，从而实现闭环控制；
戒指反馈模块11：在戒指内侧，安装收缩压力环，也可根据需要改为震动振子，通过控制主模块4控制，戒指反馈模块11模拟手指压力触觉，将上位机9对手部动作的反馈信息，传递给手指；
上位机9：包括可以安装第一无线通讯模块10并且提取其接收到的手指坐标信息的电子设备，比如可实现虚拟操控或远程控制的手机、电脑、家用电器、交通工具、工业机械、游戏娱乐设备、教学科研设备、医疗器械以及语音控制设备等；
第一无线通讯模块10：安装在上位机9上，包括无线接收部分，用来接收第二无线通讯模块13发送的常用手势信息和手指坐标信息，以及无线发送部分，用来发送上位机对手部的反馈信息；
控制板卡12：主要完成图像信号处理功能，对手势摄像模块5采集的数据信号进行处理，计算出五个手指的当前三维坐标数据，并控制***中的其他模块工作；
第二无线通讯模块13：在腕表部分1上，用来和手机、电脑等上位机9通信，把手指的坐标数据发送给设有第一无线通讯模块10的手机、电脑或其他接收设备，以及接收来自上位机9的反馈信息；
三轴加速度模块14：用来获取整个手部的运动轨迹，通过利用手的原始位置与三个坐标方向加速度的二次积分，可以精确计算出手腕的位置坐标；
倾角模块15：根据手腕的倾斜角可以计算出手心的朝向，手指的方向；
控制按钮16：开关机、待机模式等的控制按钮。
程序框架包括开机检测子程序和识别子程序。
开机检测子程序：首先进行***程序的自我检测，接着检测图像背景的对比度，进行模式选择，是普通模式、打开背光LED灯或是进行光圈调节，根据检测结果进行选择或进行相应调节，直到图像可分辨。然后确定手指原始位(即原始位置)，确定用户手型与常用手势并记忆手势。由于儿童与成年人手型差别较大，有些人手型较粗壮肥胖，需要确定不同用户的手型。而且每个人都有自己的常用手势，一次使用过后，***可以记忆下来方便用户以后直接调用。再次使用的用户，可以直接跳过检测部分。具体参见图6开机检测子程序流程图。
识别子程序：前面说过，如果利用手指的图像信息，建立以手腕为原点的球面坐标系，是最科学精确的，但是也增加了函数的计算复杂性。因此，在识别子程序编写时，也进行了改进，由于手部运动区域与摄像镜头成像区域都是类球面分布，为了便于计算，在二维画面上近似成直角坐标系计算，得到手指水平坐标x和垂直坐标y，仅对手指距离手腕原点的距离坐标r，采用球面坐标系。以下为如何计算出每个手指指尖的水平坐标x，垂直坐标y和距离坐标r。
可以通过多种常用方法得到上述手指水平坐标x和垂直坐标y，比如：
1、基于肤色检测的方法，由多幅已经标注的手指区域确定手指的颜色分布，然后利用分辨出的手指肤色，对图像进行检测，最后确定手指坐标。
2、基于跟踪的方法，首先标注第一帧中手指的真实位置，在局部区域提取特征，后面的各帧依次在前一帧真实位置附近搜索与前一帧特征最相似的区域，判定为手指区域，进而得到手指坐标。
本***在以上两种方法基础上，又提出了一种新算法：基于巡线原理的手指延伸算法。由于手势摄像模块位于手腕下方，拍摄的手势图像中位于图像上部的手掌根部101的运动范围很小，参见附图8，而且手指也是由手指根部关节到指尖，自上而下呈运动范围逐渐扩大的趋势而运动的。因此可以先判断手腕在图像中的位置，然后再判断手指根部102的位置，巡着手指方向向下延伸，识别每一个手指关节，最后确定每个手指指尖103的位置坐标。
手指延伸算法：首先根据图像上端部分的分布区域和灰度值，与原先建立的手腕边缘模型和肤色模型相对比，找到相匹配的位置确定为手腕，记录为手掌根部101的基准坐标x、y，再向下进行手指根部102的识别，识别出手指根部102并记下当前坐标值，再继续向下巡线判断，按照掌根、指根、关节的顺序，逐步向手指指尖103延伸，直到识别到手指指尖103，返回最终的坐标值，即为手指指尖103的坐标。
手指到手腕原点的距离坐标r的计算比较复杂，因为摄像模块采集的手势图像是二维的图像，如果要获得三维的手指坐标信息，得到手指到原点的距离坐标r，就需要多摄像头定位，或者其他手指距离测量的方式，会造成***过于复杂，数据庞大不便处理。而通过观察发现，手指在弯曲时，手指关节处会出现阴影，通过分辨上述阴影，可以用来判断距离。而且如果把手势摄像模块5的位置由原来的腕表中间部位，如附图4所示，向腕表下方边缘处平移，参见附图3，从与手指握合方向成一定倾斜角的方向拍摄，在手指弯曲时，二维图像中的手指也会呈现一定弯曲，根据弯曲的程度，可以判定出手指的位置。这样就能用简单的方法，分辨手指到手腕原点的距离坐标r。
通过上面的方法得到了手指的坐标，进而识别出手势，然后与常用手势对比，如果不是常用手势，则需要把坐标值发送给上位机，上位机一般是手机、电脑等电子产品，根据不同的手势进行不同的操作，实现了利用手势进行操控的目的，最后根据需要佩戴腕带、戒指，得到振子震动或者收缩压力环收缩的反馈信息，图7为识别子程序流程图。
为了实现便携式，算法进行了多处简化。实际操作中可以根据需要进行相应的调整，如果需要更高的精度，可以增加***的复杂度，硬件上采用更高计算能力的模块，软件算法上增加手指坐标的精度。
本发明携带方法如图2，像手表一样带在手腕上，把手势摄像模块5与背光LED灯模块6露出来，不能被衣袖遮挡。戒指反馈模块11可以根据需要选择佩戴，如果不需要触觉反馈，可以不用佩戴。在复杂昏暗的灯光下，佩戴戒指反馈模块11，可以帮助控制主模块4进行准确的手势识别。
第一次使用时根据电脑演示的手势，使用者的手部也重复相同的动作，直到腕上手势操控***，记忆下常用手势。当使用者再次使用时，就可以直接操控安装了第一无线通讯模块10的上位机9，例如电脑和手机，也可以发射手指坐标信息给其他安装了第一无线通讯模块10的电子设备，比如家用电器、交通工具、工业机械、游戏娱乐设备、教学科研设备、医疗器械以及语音控制设备等。上位机9利用采集的坐标信息在屏幕上显示虚拟手势，用户参考虚拟手势，控制按键或者做其他动作手势，实现远程控制和虚拟控制。

Claims (11)

1.一种腕上手势操控***，其特征在于：包括腕表部分(1)，与上位机部分(2)协同工作，以操控上位机，其中腕表部分(1)包括控制主模块(4)、手势摄像模块(5)、背光LED灯模块(6)、电源模块(7)和腕带反馈模块(8)，上位机部分(2)包括上位机(9)和第一无线通讯模块(10)；其中控制主模块(4)中包括控制板卡(12)、第二无线通讯模块(13)、三轴加速度模块(14)、倾角模块(15)及控制按钮(16)。
2.如权利要求1所述的腕上手势操控***，其特征在于：所述控制板卡(12)利用三轴加速度模块(14)与倾角模块(15)采集手腕运动轨迹和倾角，进行手腕坐标定位；利用位于手腕部的手势摄像模块(5)，计算手指指尖(103)位置坐标，进而确定当前手指相对手腕的动作；利用所述手腕坐标和所述手指位置坐标，最终实现手势动作的识别；通过第二无线通讯模块(13)将手势识别信息发送到设有第一无线通讯模块(10)的上位机(9)，实现对上位机(9)的控制。
3.如权利要求1所述的腕上手势操控***，其特征在于：所述腕带反馈模块(8)为安装在手腕腕带的震动振子和/或收缩压力环；上位机(9)通过腕带反馈模块(8)，把对手部动作的反馈信息，传递给手部，模拟触觉感知，用户根据所述触觉感知，调整手势动作，实现闭环控制，而且可以帮助视力较差的老人、盲人、其他行动不便的残疾人、以及使用语音控制设备的用户，不用阅读，就能获得电子设备的反馈信息。
4.如权利要求1所述的腕上手势操控***，其特征在于：还包括戒指部分(3)，所述戒指部分(3)包括戒指反馈模块(11)，即安装在手指戒指上的震动振子和/或收缩压力环；上位机(9)通过戒指反馈模块(11)，把对手部动作的反馈信息，传递给手部，模拟触觉感知，用户根据所述触觉感知，调整手势动作，实现闭环控制，而且可以帮助视力较差的老人、盲人、其他行动不便的残疾人、以及使用语音控制设备的用户，不用阅读，就能获得电子设备的反馈信息。
5.如权利要求1-4中任一项所述的腕上手势操控***，其特征在于：所述上位机(9)是安装了第一无线通讯模块(10)，可实现虚拟操控或远程控制的手机、电脑、家用电器、交通工具、工业机械、游戏娱乐设备、教学科研设备、医疗器械以及语音控制设备。
6.如权利要求1-4中任一项所述的腕上手势操控***，其特征在于：手势摄像模块(5)可采用分体式结构，拆卸下来，安装在电源模块(7)的后方，或者使用导轨式，把手势摄像模块(5)沿着腕表带上的导轨，收缩到腕表部分(1)的上方。
7.如权利要求1所述的腕上手势操控***，其特征在于：计算手指指尖的位置坐标时，采用手指延伸算法，根据巡线原理，先判断手掌根部(101)即手腕在图像中的位置，然后再判断手指根部(102)的位置，循着手指方向向下延伸，自上而下依序识别，识别每一个手指关节，最后确定每个手指指尖(103)的位置坐标；将手势摄像模块(5)设于腕表部分(1)的下方边缘处，从与手指握合方向成一定倾斜角的方向拍摄，当手指弯曲时，根据拍摄图像中手指呈现出的弯曲程度，采用球面坐标系计算手指到手腕原点的距离坐标r。
8.一种利用腕上手势操控***操控上位机的腕上手势操控方法，其特征在于：所述腕上手势操控***包括腕表部分(1)，与上位机部分(2)协同工作，以操控上位机；所述腕表部分(1)包括控制主模块(4)、手势摄像模块(5)、背光LED灯模块(6)、电源模块(7)和腕带反馈模块(8)，上位机部分(2)包括上位机(9)和第一无线通讯模块(10)；其中控制主模块(4)中还包括控制板卡(12)、第二无线通讯模块(13)、三轴加速度模块(14)、倾角模块(15)及控制按钮(16)；
所述腕上手势操控方法包括如下步骤：
S1.开机检测步骤；
S2.手势识别步骤；
S3.第二通信模块(13)将手势识别结果发送给第一通讯模块(10)，根据不同的手势对上位机(9)进行相应的操控；
其中，开机检测步骤S1包括：
S11.***程序的自我检测； 
S12.检测图像背景的对比度，根据检测结果进行模式选择，选择普通模式、打开背光LED灯或进行光圈调节中的任一；
S13.判断图像是否可分辨，倘是，进入手势识别步骤S2，倘否，继续进行模式选择步骤S12；
S14.确定手指原始位，确定用户手型与常用手势并记忆手势；
所述手势识别步骤S2包括：
S21.计算手指坐标，包括水平坐标x、垂直坐标y和手指到手腕原点的距离坐标r，其中，采用直角坐标系计算手指的水平坐标x和垂直坐标y，采用球面坐标系计算距离坐标r；
S22.识别手势动作。
9.如权利要求8所述的腕上手势操控方法，其特征在于：所述计算手指坐标，是采用手指延伸算法，根据巡线原理，先判断手掌根部(101)即手腕在图像中的位置，然后再判断手指根部(102)的位置，循着手指向下延伸的方向，识别每一个手指关节，最后确定每个手指指尖(103)的位置坐标。
10.如权利要求8所述的腕上手势操控方法，其特征在于：所述采用球面坐标系计算距离坐标r包括：将摄像模块(5)设于腕表部分(1)的下方边缘处，从与手指握合方向成一定倾斜角的方向拍摄，当手指弯曲时，根据拍摄图像中手指呈现出的弯曲程度，采用球面坐标系计算手指到手腕原点的距离坐标r。
11.如权利要求8所述的腕上手势操控方法，其特征在于：所述操控***还包括戒指部分(3)，所述戒指部分(3)包括戒指反馈模块(11)，即安装在手指戒指上的震动振子和/或收缩压力环；上位机(9)通过戒指反馈模块(11)，把对手部动作的反馈信息，传递给手部，模拟触觉感知，用户根据所述触觉感知，调整手势动作，实现闭环控制，而且可以帮助视力较差的老人、盲人、其他行动不便的残疾人、以及使用语音控制设备的用户，不用阅读，就能获得电子设备的反馈信息。 
CN201210097750.6A 2012-04-06 2012-04-06 一种腕上手势操控***和方法 Active CN102915111B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201210097750.6A CN102915111B (zh) 2012-04-06 2012-04-06 一种腕上手势操控***和方法
PCT/CN2013/073706 WO2013149586A1 (zh) 2012-04-06 2013-04-03 一种腕上手势操控***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210097750.6A CN102915111B (zh) 2012-04-06 2012-04-06 一种腕上手势操控***和方法

Publications (2)

Publication Number Publication Date
CN102915111A true CN102915111A (zh) 2013-02-06
CN102915111B CN102915111B (zh) 2017-05-31

Family

ID=47613509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210097750.6A Active CN102915111B (zh) 2012-04-06 2012-04-06 一种腕上手势操控***和方法

Country Status (2)

Country Link
CN (1) CN102915111B (zh)
WO (1) WO2013149586A1 (zh)

Cited By (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103235646A (zh) * 2013-05-14 2013-08-07 秦启力 前肢动作识别装置及其实现方法
WO2013149586A1 (zh) * 2012-04-06 2013-10-10 Kou Chuanyang 一种腕上手势操控***和方法
CN103442129A (zh) * 2013-08-09 2013-12-11 宇龙计算机通信科技(深圳)有限公司 智能手表与移动终端的交互方法及***
CN103530352A (zh) * 2013-10-10 2014-01-22 浙江大学 基于智能手表的景点信息实时获取装置及方法
CN103558915A (zh) * 2013-11-01 2014-02-05 王洪亮 人体耦合智能信息输入***及方法
CN103593056A (zh) * 2013-11-26 2014-02-19 青岛海信电器股份有限公司 手势数据识别和处理方法、电视机和手势输入设备
CN103593053A (zh) * 2013-11-22 2014-02-19 中国科学院深圳先进技术研究院 智能眼镜交互***
CN103706115A (zh) * 2013-12-31 2014-04-09 成都有尔科技有限公司 基于智能穿戴设备的互动游戏***
CN104010125A (zh) * 2013-02-22 2014-08-27 联想(北京)有限公司 电子设备和方法
CN104102335A (zh) * 2013-04-15 2014-10-15 中兴通讯股份有限公司 一种手势控制方法、装置和***
WO2014171909A1 (ru) * 2013-04-17 2014-10-23 Stepanov Anton Valeriiovych Устройство управления при помощи жестов
CN104156070A (zh) * 2014-08-19 2014-11-19 北京行云时空科技有限公司 一种人体智能输入体感操控***及方法
CN104200143A (zh) * 2014-09-04 2014-12-10 广东欧珀移动通信有限公司 通过穿戴设备为智能移动终端快速输入密码的方法及***
CN104216351A (zh) * 2014-02-10 2014-12-17 美的集团股份有限公司 家用电器语音控制方法及***
CN104252243A (zh) * 2013-06-27 2014-12-31 南京迈瑞生物医疗电子有限公司 一种手势操控医疗设备及其手势操控方法
CN104423709A (zh) * 2013-09-09 2015-03-18 意美森公司 电刺激触觉反馈接口
CN104460977A (zh) * 2013-09-25 2015-03-25 联想（新加坡）私人有限公司 可穿戴式信息处理装置输出
CN104714631A (zh) * 2013-12-12 2015-06-17 李庆华 腕上智能设备及其控制方法和***
CN104777894A (zh) * 2014-01-13 2015-07-15 联想(北京)有限公司 一种信息处理方法及穿戴式电子设备
CN104932691A (zh) * 2015-06-19 2015-09-23 中国航天员科研训练中心 带有触觉感知反馈的手势实时交互***
CN105138117A (zh) * 2015-07-28 2015-12-09 百度在线网络技术（北京）有限公司 手腕式智能设备的交互***和方法
CN105204639A (zh) * 2015-09-21 2015-12-30 杭州攻壳科技有限公司 一种腕部设备的控制方法及腕部设备
CN105579928A (zh) * 2013-09-27 2016-05-11 苹果公司 具有触觉致动器的带体
WO2016071899A1 (en) * 2014-11-06 2016-05-12 Raz Carmi Device and method for monitoring food intake
CN105607758A (zh) * 2015-09-22 2016-05-25 天脉聚源(北京)传媒科技有限公司 一种遥控视频播放的方法及装置
CN103530352B (zh) * 2013-10-10 2016-11-30 浙江大学 基于智能手表的景点信息实时获取装置及方法
CN106200953A (zh) * 2016-07-05 2016-12-07 乐视控股（北京）有限公司 无线戒指、戒指组合及其虚拟现实设备操控方法
CN106293022A (zh) * 2015-05-21 2017-01-04 中兴通讯股份有限公司 一种移动终端的输入方法及装置
CN103943106B (zh) * 2014-04-01 2017-01-25 北京豪络科技有限公司 一种手势语音识别的智能手环
CN106354415A (zh) * 2016-10-08 2017-01-25 努比亚技术有限公司 终端及其识别用户手势的方法
DE102015216482A1 (de) 2015-08-28 2017-03-02 Robert Bosch Gmbh Steuervorrichtung sowie Verfahren zum Steuern eines Flurförderfahrzeugs, Betriebsvorrichtung sowie Verfahren zum Betreiben eines Flurförderfahrzeugs und Kommissioniersystem
CN106484087A (zh) * 2015-09-02 2017-03-08 黄小明 一种便携遥测体感输入方法及装置
CN103941860B (zh) * 2014-03-31 2017-05-31 天津三星通信技术研究有限公司 腕带型便携式终端的手势识别***及其方法
CN106774917A (zh) * 2016-12-27 2017-05-31 努比亚技术有限公司 终端控制装置、穿戴式设备、终端及终端控制方法
WO2017113793A1 (zh) * 2015-12-31 2017-07-06 北京体基科技有限公司 一种在图像中确定手指所处区域的方法、装置及腕式设备
WO2017113794A1 (zh) * 2015-12-31 2017-07-06 北京体基科技有限公司 手势动作识别方法、控制方法和装置以及腕式设备
CN107301415A (zh) * 2017-08-08 2017-10-27 方超 手势采集***
CN107403178A (zh) * 2017-08-08 2017-11-28 方超 手势采集***
CN107422799A (zh) * 2017-08-07 2017-12-01 张傲龙 一种前臂式终端处理装置
CN107450672A (zh) * 2017-09-19 2017-12-08 曾泓程 一种高识别率的腕式智能装置
CN107817911A (zh) * 2017-09-13 2018-03-20 杨长明 一种终端控制方法及其控制设备
US9928950B2 (en) 2013-09-27 2018-03-27 Apple Inc. Polarized magnetic actuators for haptic response
US9934661B2 (en) 2009-09-30 2018-04-03 Apple Inc. Self adapting haptic device
CN108073271A (zh) * 2016-11-18 2018-05-25 北京体基科技有限公司 基于预定区域识别手部区域的方法及装置
US9997306B2 (en) 2012-09-28 2018-06-12 Apple Inc. Ultra low travel keyboard
US10039080B2 (en) 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
CN108355357A (zh) * 2018-05-08 2018-08-03 北京诺亦腾科技有限公司 固定手柄的转接器
US10069392B2 (en) 2014-06-03 2018-09-04 Apple Inc. Linear vibrator with enclosed mass assembly structure
US10120446B2 (en) 2010-11-19 2018-11-06 Apple Inc. Haptic input device
US10126817B2 (en) 2013-09-29 2018-11-13 Apple Inc. Devices and methods for creating haptic effects
CN109358750A (zh) * 2018-10-17 2019-02-19 Oppo广东移动通信有限公司 一种控制方法、移动终端、电子设备及存储介质
US10236760B2 (en) 2013-09-30 2019-03-19 Apple Inc. Magnetic actuators for haptic response
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
US10276001B2 (en) 2013-12-10 2019-04-30 Apple Inc. Band attachment mechanism with haptic response
US10353467B2 (en) 2015-03-06 2019-07-16 Apple Inc. Calibration of haptic devices
US10359856B1 (en) 2018-07-23 2019-07-23 Acer Incorporated Tactile feedback system using bionic tendons
CN110062167A (zh) * 2019-04-28 2019-07-26 努比亚技术有限公司 一种联动拍摄控制方法、设备及计算机可读存储介质
US10459521B2 (en) 2013-10-22 2019-10-29 Apple Inc. Touch surface for simulating materials
US10481691B2 (en) 2015-04-17 2019-11-19 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
US10490035B2 (en) 2014-09-02 2019-11-26 Apple Inc. Haptic notifications
TWI683237B (zh) * 2018-07-19 2020-01-21 宏碁股份有限公司 使用仿生韌帶之手勢感應系統
US10545604B2 (en) 2014-04-21 2020-01-28 Apple Inc. Apportionment of forces for multi-touch input devices of electronic devices
US10566888B2 (en) 2015-09-08 2020-02-18 Apple Inc. Linear actuators for use in electronic devices
US10599223B1 (en) 2018-09-28 2020-03-24 Apple Inc. Button providing force sensing and/or haptic output
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
CN111078015A (zh) * 2013-03-15 2020-04-28 意美森公司 可佩戴触觉设备
US10684693B2 (en) 2017-03-02 2020-06-16 Samsung Electronics Co., Ltd. Method for recognizing a gesture and an electronic device thereof
US10691211B2 (en) 2018-09-28 2020-06-23 Apple Inc. Button providing force sensing and/or haptic output
WO2020155996A1 (zh) * 2019-01-31 2020-08-06 歌尔股份有限公司 应用于游戏手环的表带、游戏手环及游戏控制方法
CN111580660A (zh) * 2020-05-09 2020-08-25 清华大学 一种操作触发方法、装置、设备及可读存储介质
CN111667737A (zh) * 2020-05-29 2020-09-15 同济大学 弹奏指法智能引导***
CN111766941A (zh) * 2020-05-15 2020-10-13 中国科学院计算技术研究所 一种基于智能戒指的手势识别方法及***
WO2020224566A1 (zh) * 2019-05-06 2020-11-12 于毅欣 一种虚拟现实、增强现实、融合现实手部操作方法及装置
CN112163863A (zh) * 2020-12-02 2021-01-01 北京圣点云信息技术有限公司 一种基于静脉识别的智能交互方法及子母环智能交互设备
CN112894857A (zh) * 2021-03-02 2021-06-04 路邦科技授权有限公司 一种医院临床辅助机器人的控键方法
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
WO2023197475A1 (zh) * 2022-04-15 2023-10-19 深圳波唯科技有限公司 电动装置的控制方法、控制装置及传感器
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device
CN117690000A (zh) * 2023-09-27 2024-03-12 中科迈航信息技术有限公司 一种基于人工智能的物联网数据交互方法及***
DE102022123085A1 (de) 2022-09-12 2024-03-14 Gestigon Gmbh Am Körper eines Nutzers tragbare Rückmeldevorrichtung zum Empfangen von Infrarotlicht, System mit einer solchen Rückmeldevorrichtung und Verfahren zum Betreiben einer Rückmeldevorrichtung
US11977683B2 (en) 2021-03-12 2024-05-07 Apple Inc. Modular systems configured to provide localized haptic feedback using inertial actuators

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11347316B2 (en) 2015-01-28 2022-05-31 Medtronic, Inc. Systems and methods for mitigating gesture input error
US10613637B2 (en) 2015-01-28 2020-04-07 Medtronic, Inc. Systems and methods for mitigating gesture input error
DE102015120687A1 (de) * 2015-11-27 2017-06-01 Jungheinrich Aktiengesellschaft Verfahren zur Steuerung eines Flurförderzeugs über eine tragbare Funkbedieneinheit sowie ein solches Flurförderzeug

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1499344A (zh) * 2002-10-25 2004-05-26 �����ɣ���ͳ���˾ 手势开关装置
CN101777250A (zh) * 2010-01-25 2010-07-14 中国科学技术大学 家用电器的通用遥控装置及方法
US7983448B1 (en) * 2006-06-02 2011-07-19 University Of Central Florida Research Foundation, Inc. Self correcting tracking of moving objects in video
CN102368290A (zh) * 2011-09-02 2012-03-07 华南理工大学 一种基于手指高级特征的手势识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202584010U (zh) * 2012-04-06 2012-12-05 寇传阳 一种腕上手势操控***
CN102915111B (zh) * 2012-04-06 2017-05-31 寇传阳 一种腕上手势操控***和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1499344A (zh) * 2002-10-25 2004-05-26 �����ɣ���ͳ���˾ 手势开关装置
US7983448B1 (en) * 2006-06-02 2011-07-19 University Of Central Florida Research Foundation, Inc. Self correcting tracking of moving objects in video
CN101777250A (zh) * 2010-01-25 2010-07-14 中国科学技术大学 家用电器的通用遥控装置及方法
CN102368290A (zh) * 2011-09-02 2012-03-07 华南理工大学 一种基于手指高级特征的手势识别方法

Cited By (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11605273B2 (en) 2009-09-30 2023-03-14 Apple Inc. Self-adapting electronic device
US11043088B2 (en) 2009-09-30 2021-06-22 Apple Inc. Self adapting haptic device
US9934661B2 (en) 2009-09-30 2018-04-03 Apple Inc. Self adapting haptic device
US10475300B2 (en) 2009-09-30 2019-11-12 Apple Inc. Self adapting haptic device
US10120446B2 (en) 2010-11-19 2018-11-06 Apple Inc. Haptic input device
WO2013149586A1 (zh) * 2012-04-06 2013-10-10 Kou Chuanyang 一种腕上手势操控***和方法
US9997306B2 (en) 2012-09-28 2018-06-12 Apple Inc. Ultra low travel keyboard
CN104010125B (zh) * 2013-02-22 2017-11-28 联想(北京)有限公司 电子设备和方法
CN104010125A (zh) * 2013-02-22 2014-08-27 联想(北京)有限公司 电子设备和方法
US9696811B2 (en) 2013-02-22 2017-07-04 Lenovo (Beijing) Co., Ltd. Electronic apparatus and method
CN111078015A (zh) * 2013-03-15 2020-04-28 意美森公司 可佩戴触觉设备
CN104102335B (zh) * 2013-04-15 2018-10-02 中兴通讯股份有限公司 一种手势控制方法、装置和***
CN104102335A (zh) * 2013-04-15 2014-10-15 中兴通讯股份有限公司 一种手势控制方法、装置和***
WO2014169566A1 (zh) * 2013-04-15 2014-10-23 中兴通讯股份有限公司 一种手势控制方法、装置和***
US10013067B2 (en) 2013-04-15 2018-07-03 Zte Corporation Gesture control method, apparatus and system
WO2014171909A1 (ru) * 2013-04-17 2014-10-23 Stepanov Anton Valeriiovych Устройство управления при помощи жестов
CN103235646A (zh) * 2013-05-14 2013-08-07 秦启力 前肢动作识别装置及其实现方法
CN104252243A (zh) * 2013-06-27 2014-12-31 南京迈瑞生物医疗电子有限公司 一种手势操控医疗设备及其手势操控方法
CN104252243B (zh) * 2013-06-27 2017-08-15 南京迈瑞生物医疗电子有限公司 一种手势操控医疗设备及其手势操控方法
CN103442129A (zh) * 2013-08-09 2013-12-11 宇龙计算机通信科技(深圳)有限公司 智能手表与移动终端的交互方法及***
CN104423709A (zh) * 2013-09-09 2015-03-18 意美森公司 电刺激触觉反馈接口
CN104423709B (zh) * 2013-09-09 2018-11-13 意美森公司 电刺激触觉反馈接口
CN104460977A (zh) * 2013-09-25 2015-03-25 联想（新加坡）私人有限公司 可穿戴式信息处理装置输出
US9928950B2 (en) 2013-09-27 2018-03-27 Apple Inc. Polarized magnetic actuators for haptic response
CN105579928A (zh) * 2013-09-27 2016-05-11 苹果公司 具有触觉致动器的带体
US10126817B2 (en) 2013-09-29 2018-11-13 Apple Inc. Devices and methods for creating haptic effects
US10651716B2 (en) 2013-09-30 2020-05-12 Apple Inc. Magnetic actuators for haptic response
US10236760B2 (en) 2013-09-30 2019-03-19 Apple Inc. Magnetic actuators for haptic response
CN103530352A (zh) * 2013-10-10 2014-01-22 浙江大学 基于智能手表的景点信息实时获取装置及方法
CN103530352B (zh) * 2013-10-10 2016-11-30 浙江大学 基于智能手表的景点信息实时获取装置及方法
US10459521B2 (en) 2013-10-22 2019-10-29 Apple Inc. Touch surface for simulating materials
CN103558915A (zh) * 2013-11-01 2014-02-05 王洪亮 人体耦合智能信息输入***及方法
CN103558915B (zh) * 2013-11-01 2017-11-07 王洪亮 人体耦合智能信息输入***及方法
CN103593053B (zh) * 2013-11-22 2017-01-04 中国科学院深圳先进技术研究院 智能眼镜交互***
CN103593053A (zh) * 2013-11-22 2014-02-19 中国科学院深圳先进技术研究院 智能眼镜交互***
CN103593056A (zh) * 2013-11-26 2014-02-19 青岛海信电器股份有限公司 手势数据识别和处理方法、电视机和手势输入设备
CN103593056B (zh) * 2013-11-26 2016-11-16 青岛海信电器股份有限公司 手势数据识别和处理方法、电视机和手势输入设备
US10276001B2 (en) 2013-12-10 2019-04-30 Apple Inc. Band attachment mechanism with haptic response
CN104714631A (zh) * 2013-12-12 2015-06-17 李庆华 腕上智能设备及其控制方法和***
CN103706115A (zh) * 2013-12-31 2014-04-09 成都有尔科技有限公司 基于智能穿戴设备的互动游戏***
CN104777894A (zh) * 2014-01-13 2015-07-15 联想(北京)有限公司 一种信息处理方法及穿戴式电子设备
CN104216351A (zh) * 2014-02-10 2014-12-17 美的集团股份有限公司 家用电器语音控制方法及***
CN103941860B (zh) * 2014-03-31 2017-05-31 天津三星通信技术研究有限公司 腕带型便携式终端的手势识别***及其方法
CN103943106B (zh) * 2014-04-01 2017-01-25 北京豪络科技有限公司 一种手势语音识别的智能手环
US10545604B2 (en) 2014-04-21 2020-01-28 Apple Inc. Apportionment of forces for multi-touch input devices of electronic devices
US10069392B2 (en) 2014-06-03 2018-09-04 Apple Inc. Linear vibrator with enclosed mass assembly structure
CN104156070A (zh) * 2014-08-19 2014-11-19 北京行云时空科技有限公司 一种人体智能输入体感操控***及方法
US10490035B2 (en) 2014-09-02 2019-11-26 Apple Inc. Haptic notifications
CN104200143A (zh) * 2014-09-04 2014-12-10 广东欧珀移动通信有限公司 通过穿戴设备为智能移动终端快速输入密码的方法及***
GB2546037A (en) * 2014-11-06 2017-07-05 Carmi Raz Device and method for monitoring food intake
WO2016071899A1 (en) * 2014-11-06 2016-05-12 Raz Carmi Device and method for monitoring food intake
US10353467B2 (en) 2015-03-06 2019-07-16 Apple Inc. Calibration of haptic devices
US10481691B2 (en) 2015-04-17 2019-11-19 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
US11402911B2 (en) 2015-04-17 2022-08-02 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
CN106293022A (zh) * 2015-05-21 2017-01-04 中兴通讯股份有限公司 一种移动终端的输入方法及装置
CN104932691A (zh) * 2015-06-19 2015-09-23 中国航天员科研训练中心 带有触觉感知反馈的手势实时交互***
CN105138117A (zh) * 2015-07-28 2015-12-09 百度在线网络技术（北京）有限公司 手腕式智能设备的交互***和方法
DE102015216482A1 (de) 2015-08-28 2017-03-02 Robert Bosch Gmbh Steuervorrichtung sowie Verfahren zum Steuern eines Flurförderfahrzeugs, Betriebsvorrichtung sowie Verfahren zum Betreiben eines Flurförderfahrzeugs und Kommissioniersystem
WO2017036750A1 (de) * 2015-08-28 2017-03-09 Robert Bosch Gmbh Steuervorrichtung sowie verfahren zum steuern eines flurförderfahrzeugs, betriebsvorrichtung sowie verfahren zum betreiben eines flurförderfahrzeugs und kommissioniersystem
CN106484087A (zh) * 2015-09-02 2017-03-08 黄小明 一种便携遥测体感输入方法及装置
US10566888B2 (en) 2015-09-08 2020-02-18 Apple Inc. Linear actuators for use in electronic devices
WO2017049768A1 (zh) * 2015-09-21 2017-03-30 杭州攻壳科技有限公司 一种腕部设备的控制方法及腕部设备
CN105204639A (zh) * 2015-09-21 2015-12-30 杭州攻壳科技有限公司 一种腕部设备的控制方法及腕部设备
CN105607758A (zh) * 2015-09-22 2016-05-25 天脉聚源(北京)传媒科技有限公司 一种遥控视频播放的方法及装置
CN106933341A (zh) * 2015-12-31 2017-07-07 北京体基科技有限公司 一种在图像中确定手指所处区域的方法、装置及腕式设备
CN106933340A (zh) * 2015-12-31 2017-07-07 北京体基科技有限公司 手势动作识别方法、控制方法和装置以及腕式设备
CN106933340B (zh) * 2015-12-31 2024-04-26 北京体基科技有限公司 手势动作识别方法、控制方法和装置以及腕式设备
CN106933341B (zh) * 2015-12-31 2024-04-26 北京体基科技有限公司 一种在图像中确定手指所处区域的方法、装置及腕式设备
WO2017113793A1 (zh) * 2015-12-31 2017-07-06 北京体基科技有限公司 一种在图像中确定手指所处区域的方法、装置及腕式设备
WO2017113794A1 (zh) * 2015-12-31 2017-07-06 北京体基科技有限公司 手势动作识别方法、控制方法和装置以及腕式设备
US10039080B2 (en) 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
US10609677B2 (en) 2016-03-04 2020-03-31 Apple Inc. Situationally-aware alerts
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
US10809805B2 (en) 2016-03-31 2020-10-20 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
CN106200953A (zh) * 2016-07-05 2016-12-07 乐视控股（北京）有限公司 无线戒指、戒指组合及其虚拟现实设备操控方法
CN106354415B (zh) * 2016-10-08 2020-05-26 瑞安市辉煌网络科技有限公司 终端及其识别用户手势的方法
CN106354415A (zh) * 2016-10-08 2017-01-25 努比亚技术有限公司 终端及其识别用户手势的方法
CN108073271A (zh) * 2016-11-18 2018-05-25 北京体基科技有限公司 基于预定区域识别手部区域的方法及装置
CN106774917A (zh) * 2016-12-27 2017-05-31 努比亚技术有限公司 终端控制装置、穿戴式设备、终端及终端控制方法
US10684693B2 (en) 2017-03-02 2020-06-16 Samsung Electronics Co., Ltd. Method for recognizing a gesture and an electronic device thereof
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
CN107422799A (zh) * 2017-08-07 2017-12-01 张傲龙 一种前臂式终端处理装置
CN107403178A (zh) * 2017-08-08 2017-11-28 方超 手势采集***
CN107301415B (zh) * 2017-08-08 2024-03-22 方超 手势采集***
CN107301415A (zh) * 2017-08-08 2017-10-27 方超 手势采集***
CN107817911B (zh) * 2017-09-13 2024-01-30 杨长明 一种终端控制方法及其控制设备
CN107817911A (zh) * 2017-09-13 2018-03-20 杨长明 一种终端控制方法及其控制设备
CN107450672B (zh) * 2017-09-19 2024-03-29 曾泓程 一种高识别率的腕式智能装置
CN107450672A (zh) * 2017-09-19 2017-12-08 曾泓程 一种高识别率的腕式智能装置
CN108355357B (zh) * 2018-05-08 2023-09-08 北京诺亦腾科技有限公司 固定手柄的转接器
CN108355357A (zh) * 2018-05-08 2018-08-03 北京诺亦腾科技有限公司 固定手柄的转接器
US10642357B2 (en) 2018-07-19 2020-05-05 Acer Incorporated Hand gesture sensing system using bionic tendons
TWI683237B (zh) * 2018-07-19 2020-01-21 宏碁股份有限公司 使用仿生韌帶之手勢感應系統
TWI672611B (zh) * 2018-07-23 2019-09-21 宏碁股份有限公司 使用仿生韌帶之觸覺回饋系統
US10359856B1 (en) 2018-07-23 2019-07-23 Acer Incorporated Tactile feedback system using bionic tendons
US10599223B1 (en) 2018-09-28 2020-03-24 Apple Inc. Button providing force sensing and/or haptic output
US10691211B2 (en) 2018-09-28 2020-06-23 Apple Inc. Button providing force sensing and/or haptic output
CN109358750A (zh) * 2018-10-17 2019-02-19 Oppo广东移动通信有限公司 一种控制方法、移动终端、电子设备及存储介质
WO2020155996A1 (zh) * 2019-01-31 2020-08-06 歌尔股份有限公司 应用于游戏手环的表带、游戏手环及游戏控制方法
CN110062167A (zh) * 2019-04-28 2019-07-26 努比亚技术有限公司 一种联动拍摄控制方法、设备及计算机可读存储介质
WO2020224566A1 (zh) * 2019-05-06 2020-11-12 于毅欣 一种虚拟现实、增强现实、融合现实手部操作方法及装置
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
US11763971B2 (en) 2019-09-24 2023-09-19 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
CN111580660A (zh) * 2020-05-09 2020-08-25 清华大学 一种操作触发方法、装置、设备及可读存储介质
CN111766941B (zh) * 2020-05-15 2021-11-09 中国科学院计算技术研究所 一种基于智能戒指的手势识别方法及***
CN111766941A (zh) * 2020-05-15 2020-10-13 中国科学院计算技术研究所 一种基于智能戒指的手势识别方法及***
CN111667737A (zh) * 2020-05-29 2020-09-15 同济大学 弹奏指法智能引导***
CN112163863A (zh) * 2020-12-02 2021-01-01 北京圣点云信息技术有限公司 一种基于静脉识别的智能交互方法及子母环智能交互设备
CN112894857B (zh) * 2021-03-02 2024-04-09 路邦科技授权有限公司 一种医院临床辅助机器人的控键方法
CN112894857A (zh) * 2021-03-02 2021-06-04 路邦科技授权有限公司 一种医院临床辅助机器人的控键方法
US11977683B2 (en) 2021-03-12 2024-05-07 Apple Inc. Modular systems configured to provide localized haptic feedback using inertial actuators
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device
WO2023197475A1 (zh) * 2022-04-15 2023-10-19 深圳波唯科技有限公司 电动装置的控制方法、控制装置及传感器
DE102022123085A1 (de) 2022-09-12 2024-03-14 Gestigon Gmbh Am Körper eines Nutzers tragbare Rückmeldevorrichtung zum Empfangen von Infrarotlicht, System mit einer solchen Rückmeldevorrichtung und Verfahren zum Betreiben einer Rückmeldevorrichtung
CN117690000A (zh) * 2023-09-27 2024-03-12 中科迈航信息技术有限公司 一种基于人工智能的物联网数据交互方法及***

Also Published As

Publication number Publication date
WO2013149586A1 (zh) 2013-10-10
CN102915111B (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN202584010U (zh) 一种腕上手势操控***
CN102915111A (zh) 一种腕上手势操控***和方法
CN114341779B (zh) 用于基于神经肌肉控制执行输入的***、方法和界面
US11531402B1 (en) Bimanual gestures for controlling virtual and graphical elements
US20220326781A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
CN105824431B (zh) 信息输入装置与方法
CN105045398B (zh) 一种基于手势识别的虚拟现实交互设备
EP2904472B1 (en) Wearable sensor for tracking articulated body-parts
US10928929B2 (en) Method for displaying a virtual interaction on at least one screen and input device, system and method for a virtual application by means of a computing unit
CN110096131B (zh) 触感交互方法、装置、以及触感可穿戴设备
Harrison et al. OmniTouch: wearable multitouch interaction everywhere
CN105302295B (zh) 一种具有3d摄像组件的虚拟现实交互设备
KR20160080109A (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
CN109145802B (zh) 基于Kinect的多人手势人机交互方法及装置
CN104793731A (zh) 可穿戴设备的信息输入方法及可穿戴设备
CN105302294B (zh) 一种交互式虚拟现实演示装置
CN102880304A (zh) 用于便携设备的字符输入方法及装置
KR20160039589A (ko) 손가락 센싱 방식을 이용한 무선 공간 제어 장치
WO2003003185A1 (en) System for establishing a user interface
Halarnkar et al. Gesture recognition technology: A review
Abdallah et al. An overview of gesture recognition
CN102662471B (zh) 计算机视觉鼠标
Arslan et al. E-Pad: Large display pointing in a continuous interaction space around a mobile device
CN104375631A (zh) 一种基于移动终端的非接触式交互方法
CN104866112A (zh) 一种基于移动终端的非接触式交互方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
DD01 Delivery of document by public notice

Addressee: Kou Chuanyang

Document name: Notification of an Office Action

GR01 Patent grant
GR01 Patent grant