CN110442233B - 一种基于手势交互的增强现实键鼠*** - Google Patents

一种基于手势交互的增强现实键鼠*** Download PDF

Info

Publication number
CN110442233B
CN110442233B CN201910524900.9A CN201910524900A CN110442233B CN 110442233 B CN110442233 B CN 110442233B CN 201910524900 A CN201910524900 A CN 201910524900A CN 110442233 B CN110442233 B CN 110442233B
Authority
CN
China
Prior art keywords
module
keyboard
mouse
mems
emg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910524900.9A
Other languages
English (en)
Other versions
CN110442233A (zh
Inventor
印二威
谢良
秦伟
鹿迎
邓宝松
闫野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
National Defense Technology Innovation Institute PLA Academy of Military Science
Original Assignee
Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
National Defense Technology Innovation Institute PLA Academy of Military Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center, National Defense Technology Innovation Institute PLA Academy of Military Science filed Critical Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
Priority to CN201910524900.9A priority Critical patent/CN110442233B/zh
Publication of CN110442233A publication Critical patent/CN110442233A/zh
Application granted granted Critical
Publication of CN110442233B publication Critical patent/CN110442233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供了一种基于手势交互的增强现实键鼠***，包括：MEMS模块、EMG模块、红外光模块、电触觉刺激模块、听觉反馈模块、深度图像采集模块、视觉增强模块和综合处理模块；所述综合处理模块分别连接MEMS模块、EMG模块、红外光模块、电触觉刺激模块、听觉反馈模块、深度图像采集模块、视觉增强模块；所述听觉反馈模块、深度图像采集模块、视觉增强模块安装在所述增强现实眼镜上。本发明相比传统键盘和鼠标可实现更加自然的人机交互，具有更强的真实感，并且制作成本低、周期短；佩戴简单、轻便、通用性强，同时适用于多种应用场景；基于MEMS与EMG的多模态手势识别与触听觉反馈相结合的交互方法，相比于单模态交互性能更加稳定，用户体验更好。

Description

一种基于手势交互的增强现实键鼠***
技术领域
本发明主要涉及到人机交互领域，特别是一种基于手势交互的增强现实键盘和三维鼠标人机接口***。
背景技术
增强现实技术(Augmented Reality，简称AR)，是一种与真实世界环境的交互体验，驻留在真实世界中的对象被计算机生成的视觉、听觉、触觉等感知信息“增强”。叠加的感官信息可以是对自然环境的补充，也可以是对自然环境的掩蔽，并与物理世界无缝地交织在一起，使人获得身临其境的交互感受。增强现实是用来增强自然环境或情境，并提供感知丰富的经验。借助增强现实技术，用户周围真实世界的信息变得具有交互性和数字化操作能力。
近年来，增强现实技术发展十分迅速，并正逐渐引起越来越多研究人员和高科技公司的关注，并已经在医疗、教育、游戏以及军事等领域展现出了巨大的应用前景。增强现实也将被认为是在不久的将来取代PC电脑和智能手机的下一代主流的人机交互设备。
由于使用者常常处于移动状态，且通常不便于携带过多的交互控制硬件***，所以在增强现实中实现键盘输入与三维鼠标控制非常具有挑战性，传统的键盘、鼠标已经显然不能满足虚实交互的需要，亟需发展具有键盘鼠标功能的新型穿戴式交互控制***，进而实现人机更自然的互联互动。
目前，增强现实***采用的主要交互手段是基于深度图像信息的手势交互和语音交互。然而，基于图像的方法容易受到自然光的干扰，导致其在室外环境下极容易失效，而且由于人手在空间中的运动范围较大，手指间会相互遮挡、干涉，手表面缺乏分辨率较强的特征等问题，导致基于图像的动态手势跟踪***精度较低，而且容易产生多义性。基于语音的交互方法对所处环境的背景噪音和云计算网络环境要求苛刻，对于人员密集的公共场所或者网络环境不稳定的环境，识别准确率将会大打折扣。近年来，MEMS(微机电***(MEMS,Micro-Electro-Mechanical System))加速度传感器和EMG(electromyography，简称肌电图)肌电传感器凭借体积小、重量轻、功耗低、可靠性高、灵敏度高、集成性高等特点，逐步占据了传感器市场，在人机交互领域引起了越来越多的关注。
发明内容
本发明的目的是通过以下技术方案实现的。
本发明针对此问题提出了一种基于手势交互的增强现实键鼠***。该***有效融合MEMS和EMG手势交互信息，并通过红外光标记点加以辅助，采用触觉和听觉反馈信息提供交互的侵入感，进而提升增强现实环境下的交互速率和用户体验。本发明旨在实现增强现实操控的自然性及可操作性，是一种全新的键鼠操控方式。
具体的，本发明提供了一种基于手势交互的增强现实键鼠***，用于与增强现实眼镜配合使用，包括：MEMS模块、EMG模块、红外光模块、电触觉刺激模块、听觉反馈模块、深度图像采集模块、视觉增强模块和综合处理模块；所述综合处理模块分别连接MEMS模块、EMG模块、红外光模块、电触觉刺激模块、听觉反馈模块、深度图像采集模块、视觉增强模块；所述听觉反馈模块、深度图像采集模块、视觉增强模块安装在所述增强现实眼镜上。
优选的，所述MEMS模块由左右手各6个9轴加速度传感计组成，分别放置在5个手指第1或2指节和手背中心位置，所述MEMS模块用于采集用户的手部运动信息，并将9轴加速度传感计信号发送至综合处理模块。
优选的，所述EMG模块由多对差分肌电电极组成，置于用户小臂中间位置，所述EMG模块用于采集用户的肌肉活动信息，并将肌电信号发送至综合处理模块。
优选的，所述红外光模块由位于手背中心位置和食指上的LED灯组成，由综合处理模块供电，用于产生虚拟激光束。
优选的，所述电触觉刺激模块由位于双手指尖位置的电触觉刺激电极片构成，受综合处理模块控制，用于产生键盘和鼠标按键的触觉反馈信息。
优选的，所述听觉反馈模块由位于所述增强现实眼镜的镜腿上的双侧扬声器组成，受综合处理模块控制，用于提供键盘和鼠标按键的听觉反馈信息。
优选的，所述深度图像采集模块由位于所述增强现实眼镜的鼻梁处的双目相机组成，用于采集红外光模块发出的两个光点的深度图，进而求解虚拟激光束指向。
优选的，所述视觉增强模块用于呈现键盘输入内容和三维鼠标操控结果，为用户提供视觉反馈。
优选的，所述综合处理模块用于接收MEMS模块和EMG模块的多通道信号，并进行实时信号处理识别，并将识别结果通过电触觉刺激模块、听觉反馈模块、视觉增强模块反馈给用户。
优选的，所述综合处理模块采用具有延展性的导电材料分别与MEMS模块、EMG模块、红外光模块、电触觉刺激模块连接，采用无线方式与听觉反馈模块、深度图像采集模块、视觉增强模块连接。
优选的，所述综合处理模块中MEMS模块和EMG模块的多通道信号的处理过程为：
(1)同步采集MEMS信号与EMG信号；
(2)所述MEMS信号与EMG信号进行滤波处理；
(3)所述滤波后的MEMS和EMG信号输入基于键鼠操控手势样本数据库训练得到的时序卷积神经网络，输出手势分类结果与识别得分；
(4)判断识别得分是否超过阈值：如果判断结果为是，则进入步骤(5)；如果判断结果为否，则返回到步骤(1)；
(5)输出手势识别指令，并将MEMS和EMG数据保存；
(6)根据键盘输入和鼠标按键的用户控制行为信息对所保存的MEMS和EMG数据进行标记，生成特定用户样本集；
(7)将所述特定用户样本集导入键鼠操控手势样本数据库，重新训练时序卷积神经网络。
优选的，所述综合处理模块的工作过程如下：
(1)基于MEMS模块和EMG模块同步进行加速度信号和肌电信号的同步采集与手势识别；
(2)检测手势是否有双手同步上抬或下压动作，判断是否进入***控制状态：如果判断结果为是，则进入步骤(3)，如果判断结果为否，则返回步骤(1)；
(3)通过所述电触觉刺激模块对双手指尖施加初级触觉反馈，识别双手手势是否有单手半握拳手势动作，判断是否进入双手键盘输入状态，如果判断结果为是，则进入步骤(4)，如果判断结果为否，则进入步骤(9)；
(4)识别运动手指及其运动方向，输出识别类别信息和识别得分；
(5)判别是否有按键动作：如果判断结果为是，则进入步骤(6)，如果判断结果为否，则返回步骤(4)；
(6)通过所述电触觉刺激模块和所述听觉刺激模块施加键盘敲击触听觉反馈，并在所述视觉增强模块中显示输出文本内容；
(7)根据手势识别结果判断拇指是否按键：如果判断结果为是，则进入步骤(8)，如果判断结果为否，则基于输入法码表按概率正序推荐待输入内容，并返回步骤(4)；
(8)确认并在所述视觉增强模块中显示输出文本内容，并判断输入是否结束：如果判断结果为是，则结束当前操作，如果判断结果为否，则返回步骤(4)；
(9)通过手势检测结果识别键盘手和鼠标手，并切换至键鼠状态，同时接管键盘和鼠标功能；
(10)判断当前手是否为键盘手：如果判断结果为是，进一步判断是否有按键动作，如果有按键动作，则发送控制指令，并基于电触觉刺激模块和听觉反馈模块同步施加键盘敲击触听觉反馈，并进入步骤(13)；如果判断结果为否，则进入步骤(11)；
(11)判断是否选择虚拟光束：如果判断结果为是，则基于所述深度图像采集模块计算光点连接线指向，并在所述视觉增强模块中显示实时虚拟激光束指向；如果判断结果为否，则基于MEMS信号计算三维空间位移变化，并在所述视觉增强模块中显示实时三维坐标位置；
(12)判断是否有鼠标按键，如果判断结果为是，则发送控制指令，施加鼠标按键触听觉反馈，并进入步骤(13)；
(13)键鼠协同控制命令输出。
本发明的优点在于：本发明基于手势交互的增强现实键鼠***，相比传统键盘和鼠标可实现更加自然的人机交互，具有更强的真实感，并且制作成本低、周期短；基于手势交互的增强现实键鼠***，佩戴简单、轻便、通用性强，同时适用于多种应用场景；基于MEMS与EMG的多模态手势识别与触听觉反馈相结合的交互方法，相比于单模态交互性能更加稳定，用户体验更好。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明的***硬件组成图；
图2为本发明的***模块组成图；
图3为本发明手势识别过程的信号处理与识别流程图；
图4为本发明在具体应用过程的***流程图；
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
针对现有技术存在的技术问题，本发明提供一种结构简单、操作简便、可提高操控速度并能够提高操控可靠性、精确性的基于手势交互的增强现实键鼠***。
图1为本发明的***硬件组成图，其中，1为电触觉刺激电极，2为MEMS运动传感器，3为综合处理模块，4为肌电电极片，5为LED红外光灯，6为双目深度相机，7为增强现实显示镜片，8为扬声器。
图2为本发明的***模块组成图。一种基于手势交互的增强现实键鼠***，包括MEMS模块(即图1中的MEMS运动传感器2)、EMG模块(即图1中的肌电电极片4)、红外光模块(即图1中的LED红外光灯5)、电触觉刺激模块(即图1中的电触觉刺激电极1)、听觉反馈模块(即图1中的扬声器8)、深度图像采集模块(即图1中的双目深度相机6)、视觉增强模块(即图1中的增强现实显示镜片7)和综合处理模块(即图1中的综合处理模块3)，综合处理模块分别连接MEMS模块、EMG模块、红外光模块、电触觉刺激模块、听觉反馈模块、深度图像采集模块、视觉增强模块。
MEMS模块由双手各6个9轴加速度传感计组成，分别放置在5个手指第1或2指节和手背中心位置，双手共计12个加速度传感器，所述MEMS模块用于采集用户的手部运动信息，并将9轴加速度计信号发送至综合处理模块；
EMG模块由6-10对差分肌电电极组成，置于用户小臂中间位置，所述EMG模块用于采集用户的肌肉活动信息，并将肌电信号发送至综合处理模块；
红外光模块由位于手背中心位置和食指上的LED灯组成，由综合处理模块供电，用于产生虚拟激光束；
电触觉刺激模块由位于双手指尖位置的电触觉刺激电极片构成，受综合处理模块控制，用于产生键盘和鼠标按键的触觉反馈信息；
听觉反馈模块由位于增强现实眼镜镜腿上的双侧扬声器组成，受综合处理模块控制，用于提供键盘和鼠标按键的听觉反馈信息；
深度图像采集模块由位于增强现实眼镜鼻梁处的双目相机组成，用于采集红外光模块发出的两个光点的深度图，进而求解虚拟激光束指向；
视觉增强模块用于呈现键盘输入内容和三维鼠标操控结果，为用户提供视觉反馈；
综合处理模块用于接收MEMS模块和EMG模块的多通道信号，并进行实时信号处理识别，并将识别结果通过电触觉刺激模块、听觉反馈模块、视觉增强模块反馈给用户，所述综合处理模块采用液体金属等具有延展性的导电材料分别与MEMS模块、EMG模块、红外光模块、电触觉刺激模块连接，采用WiFi/Bluetooth等无线手段与听觉反馈模块、深度图像采集模块、视觉增强模块连接；
如图3所示，所述综合处理模块中MEMS模块和EMG模块的多通道信号的处理步骤为：
(1)***开始运行，MEMS信号与EMG信号同步采集；
(2)所述MEMS和EMG多通道信号进行50Hz的ChebyshevI型IIR陷波滤波处理，之后MEMS信号进行0.1-30Hz的ChebyshevI型IIR带通滤波处理，EMG信号进行0.1-70Hz的ChebyshevI型IIR带通滤波处理；
(3)所述滤波后的MEMS和EMG信号输入基于键鼠操控手势样本库训练得到的时序卷积神经网络，输出手势分类结果与识别得分；
(4)判断识别得分是否超过阈值：如果判断结果为是，则进入步骤(5)；如果判断结果为否，则返回到步骤(1)；
(5)输出手势识别指令，并将数据保存，用于扩充样本数据库；
(6)根据键盘输入和鼠标按键的用户控制行为信息对所保存的MEMS和EMG数据进行标记，生成特定用户新的样本集；
(7)将新得到的样本集导入键鼠操控手势样本数据库，重新训练时序卷积神经网络。
如图4所示，所述综合处理模块的控制逻辑步骤如下：
(1)***开始运行，基于MEMS模块和EMG模块同步进行加速度信号和肌电信号的同步采集与手势识别；
(2)检测手势是否有双手同步上抬下压动作，判断是否进入***控制状态：如果判断结果为是，则进入步骤(3)，如果判断结果为否，则返回步骤(1)；
(3)通过所述电触觉刺激模块对双手指尖施加初级触觉反馈，识别双手手势是否有单手半握拳手势动作，判断是否进入双手键盘输入状态，如果判断结果为是，则进入步骤(4)，如果判断结果为否，则进入步骤(9)；
(4)采用时序卷积神经网络方法，识别运动手指及其运动方向，输出识别类别信息和识别得分；
(5)判别是否有按键动作：如果判断结果为是，则进入步骤(6)，如果判断结果为否，则返回步骤(4)；
(6)***通过所述电触觉刺激模块和所述听觉刺激模块施加键盘敲击触听觉反馈，并在所述视觉增强模块中显示输出文本内容；
(7)根据手势识别结果判断拇指是否按键：如果判断结果为是，则进入步骤(8)，如果判断结果为否，则基于输入法码表按概率正序推荐待输入内容，并返回步骤(4)；
(8)确认并在所述视觉增强模块中显示输出文本内容，并判断输入是否结束：如果判断结果为是，则结束当前操作，如果判断结果为否，则返回步骤(4)；
(9)通过手势检测结果判断键盘手和鼠标手，并切换至键鼠状态，同时接管键盘和鼠标功能；
(10)判断当前手是否为键盘手：如果判断结果为是，进一步判断是否有按键动作，如果有按键动作，***则发送控制指令，并基于电触觉刺激模块和听觉反馈模块同步施加键盘敲击触听觉反馈；如果判断结果为否，则进入步骤(11)；
(11)判断是否选择虚拟光束：如果判断结果为是，则基于双目相机计算光点连接线指向，并在所述视觉增强模块中显示实时虚拟激光束指向，如果判断结果为否，则基于MEMS信号计算三维空间位移变化，并在所述视觉增强模块中显示实时三维坐标位置；
(12)判断是否有鼠标按键，如果判断结果为是，则发送控制指令，施加鼠标按键触听觉反馈；
(13)键鼠协同控制命令输出；
(14)结束。
本发明基于手势交互的增强现实键鼠***，相比传统键盘和鼠标可实现更加自然的人机交互，具有更强的真实感，并且制作成本低、周期短；基于手势交互的增强现实键鼠***，佩戴简单、轻便、通用性强，同时适用于多种应用场景；基于MEMS与EMG的多模态手势识别与触听觉反馈相结合的交互方法，相比于单模态交互性能更加稳定，用户体验更好。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种基于手势交互的增强现实键鼠***，用于与增强现实眼镜配合使用，其特征在于，包括：
MEMS模块、EMG模块、红外光模块、电触觉刺激模块、听觉反馈模块、深度图像采集模块、视觉增强模块和综合处理模块；
所述综合处理模块分别连接MEMS模块、EMG模块、红外光模块、电触觉刺激模块、听觉反馈模块、深度图像采集模块、视觉增强模块；
所述听觉反馈模块、深度图像采集模块、视觉增强模块安装在所述增强现实眼镜上；
其中，所述深度图像采集模块用于采集红外光模块发出的两个光点的深度图，进而求解虚拟激光束指向；
其中，所述MEMS模块由左右手各6个9轴加速度传感计组成，分别放置在5个手指第1或2指节和手背中心位置，所述MEMS模块用于采集用户的手部运动信息，并将9轴加速度传感计信号发送至所述综合处理模块；所述EMG模块由多对差分肌电电极组成，置于用户小臂中间位置，所述EMG模块用于采集用户的肌肉活动信息，并将肌电信号发送至综合处理模块；
其中，所述综合处理模块用于接收MEMS模块和EMG模块的多通道信号，并进行实时信号处理识别，并将识别结果通过电触觉刺激模块、听觉反馈模块、视觉增强模块反馈给用户；
具体的，所述综合处理模块，用于根据所述MEMS模块及EMG模块的信号,基于键鼠操控手势样本库训练得到的时序卷积神经网络，输出手势分类结果与识别得分；
所述综合处理模块，用于根据所述MEMS模块及EMG模块的信号，判断检测目标是否进入双手键盘输入状态；
当进入双手键盘输入状态时，用于识别运动手指及其运动方向，输出识别类别信息和识别得分；进一步判断判别是否有按键动作，如果有按键动作，***通过所述电触觉刺激模块和所述听觉反馈模块施加键盘敲击触听觉反馈，并在所述视觉增强模块中显示输出文本内容；
当没有进入双手键盘输入状态时，用于切换至键鼠状态，同时接管键盘和鼠标功能，进一步判断是否为键盘手；
如果判断检测目标为键盘手，进一步判断是否有键盘按键动作，如果有按键动作，***则发送控制指令，并基于电触觉刺激模块和听觉反馈模块同步施加键盘敲击触听觉反馈；
如果判断检测目标不是键盘手，进一步判断是否有鼠标按键动作，如果有按键动作，***则发送控制指令，并基于电触觉刺激模块和听觉反馈模块同步施加鼠标按键触听觉反馈。
2.根据权利要求1所述的一种基于手势交互的增强现实键鼠***，其特征在于，
所述红外光模块由位于手背中心位置和食指上的LED灯组成，由综合处理模块供电，用于产生虚拟激光束。
3.根据权利要求1所述的一种基于手势交互的增强现实键鼠***，其特征在于，
所述电触觉刺激模块由位于双手指尖位置的电触觉刺激电极片构成，受综合处理模块控制，用于产生键盘和鼠标按键的触觉反馈信息。
4.根据权利要求1所述的一种基于手势交互的增强现实键鼠***，其特征在于，
所述听觉反馈模块由位于所述增强现实眼镜的镜腿上的双侧扬声器组成，受综合处理模块控制，用于提供键盘和鼠标按键的听觉反馈信息。
5.根据权利要求1所述的一种基于手势交互的增强现实键鼠***，其特征在于，
所述深度图像采集模块由位于所述增强现实眼镜的鼻梁处的双目相机组成。
6.根据权利要求1所述的一种基于手势交互的增强现实键鼠***，其特征在于，
所述视觉增强模块用于呈现键盘输入内容和三维鼠标操控结果，为用户提供视觉反馈。
7.根据权利要求1所述的一种基于手势交互的增强现实键鼠***，其特征在于，
所述综合处理模块采用具有延展性的导电材料分别与MEMS模块、EMG模块、红外光模块、电触觉刺激模块连接，采用无线方式与听觉反馈模块、深度图像采集模块、视觉增强模块连接。
8.根据权利要求1-7任一项所述的一种基于手势交互的增强现实键鼠***，其特征在于，
所述综合处理模块中MEMS模块和EMG模块的多通道信号的处理过程为：
(1)同步采集MEMS信号与EMG信号；
(2)所述MEMS信号与EMG信号进行滤波处理；
(3)所述滤波后的MEMS和EMG信号输入基于键鼠操控手势样本数据库训练得到的时序卷积神经网络，输出手势分类结果与识别得分；
(4)判断识别得分是否超过阈值：如果判断结果为是，则进入步骤(5)；如果判断结果为否，则返回到步骤(1)；
(5)输出手势识别指令，并将MEMS和EMG数据保存；
(6)根据键盘输入和鼠标按键的用户控制行为信息对所保存的MEMS和EMG数据进行标记，生成特定用户样本集；
(7)将所述特定用户样本集导入键鼠操控手势样本数据库，重新训练时序卷积神经网络。
9.根据权利要求1-7任一项所述的一种基于手势交互的增强现实键鼠***，其特征在于，
所述综合处理模块的工作过程如下：
(1)基于MEMS模块和EMG模块同步进行加速度信号和肌电信号的同步采集与手势识别；
(2)检测手势是否有双手同步上抬或下压动作，判断是否进入***控制状态：如果判断结果为是，则进入步骤(3)，如果判断结果为否，则返回步骤(1)；
(3)通过所述电触觉刺激模块对双手指尖施加初级触觉反馈，识别双手手势是否有单手半握拳手势动作，判断是否进入双手键盘输入状态，如果判断结果为是，则进入步骤(4)，如果判断结果为否，则进入步骤(9)；
(4)识别运动手指及其运动方向，输出识别类别信息和识别得分；
(5)判别是否有按键动作：如果判断结果为是，则进入步骤(6)，如果判断结果为否，则返回步骤(4)；
(6)通过所述电触觉刺激模块和所述听觉反馈模块施加键盘敲击触听觉反馈，并在所述视觉增强模块中显示输出文本内容；
(7)根据手势识别结果判断拇指是否按键：如果判断结果为是，则进入步骤(8)，如果判断结果为否，则基于输入法码表按概率正序推荐待输入内容，并返回步骤(4)；
(8)确认并在所述视觉增强模块中显示输出文本内容，并判断输入是否结束：如果判断结果为是，则结束当前操作，如果判断结果为否，则返回步骤(4)；
(9)通过手势检测结果识别键盘手和鼠标手，并切换至键鼠状态，同时接管键盘和鼠标功能；
(10)判断当前手是否为键盘手：如果判断结果为是，进一步判断是否有按键动作，如果有按键动作，则发送控制指令，并基于电触觉刺激模块和听觉反馈模块同步施加键盘敲击触听觉反馈，并进入步骤(13)；如果判断结果为否，则进入步骤(11)；
(11)判断是否选择虚拟光束：如果判断结果为是，则基于所述深度图像采集模块计算光点连接线指向，并在所述视觉增强模块中显示实时虚拟激光束指向；如果判断结果为否，则基于MEMS信号计算三维空间位移变化，并在所述视觉增强模块中显示实时三维坐标位置；
(12)判断是否有鼠标按键，如果判断结果为是，则发送控制指令，施加鼠标按键触听觉反馈，并进入步骤(13)；
(13)键鼠协同控制命令输出。
CN201910524900.9A 2019-06-18 2019-06-18 一种基于手势交互的增强现实键鼠*** Active CN110442233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910524900.9A CN110442233B (zh) 2019-06-18 2019-06-18 一种基于手势交互的增强现实键鼠***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910524900.9A CN110442233B (zh) 2019-06-18 2019-06-18 一种基于手势交互的增强现实键鼠***

Publications (2)

Publication Number Publication Date
CN110442233A CN110442233A (zh) 2019-11-12
CN110442233B true CN110442233B (zh) 2020-12-04

Family

ID=68429126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910524900.9A Active CN110442233B (zh) 2019-06-18 2019-06-18 一种基于手势交互的增强现实键鼠***

Country Status (1)

Country Link
CN (1) CN110442233B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111158476B (zh) * 2019-12-25 2023-05-23 中国人民解放军军事科学院国防科技创新研究院 一种虚拟键盘的按键识别方法、***、设备及存储介质
CN113220117B (zh) * 2021-04-16 2023-12-29 邬宗秀 一种用于人-计算机交互的装置
CN113419622A (zh) * 2021-05-25 2021-09-21 西北工业大学 基于手势操作的潜艇作战指控***交互方法及设备
CN113918013B (zh) * 2021-09-28 2024-04-16 天津大学 一种基于ar眼镜的手势定向交互***及方法
CN114265498B (zh) * 2021-12-16 2023-10-27 中国电子科技集团公司第二十八研究所 一种多模态手势识别和视觉反馈机制结合的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294226A (zh) * 2013-05-31 2013-09-11 东南大学 一种虚拟输入装置及方法
CN103823551A (zh) * 2013-03-17 2014-05-28 浙江大学 一种实现多维度感知虚拟交互的***和方法
CN108460313A (zh) * 2017-02-17 2018-08-28 鸿富锦精密工业（深圳）有限公司 一种手势识别装置以及人机互动***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140198130A1 (en) * 2013-01-15 2014-07-17 Immersion Corporation Augmented reality user interface with haptic feedback
CN107203272A (zh) * 2017-06-23 2017-09-26 山东万腾电子科技有限公司 基于肌电感知技术的可穿戴增强现实作业指导***及方法
CN107943282A (zh) * 2017-11-06 2018-04-20 上海念通智能科技有限公司 一种基于增强现实和可穿戴设备的人机交互***及方法
CN108829245B (zh) * 2018-05-30 2019-08-23 中国人民解放军军事科学院国防科技创新研究院 一种基于多模态脑机交互技术的虚拟沙盘交互控制***
CN109453509A (zh) * 2018-11-07 2019-03-12 龚映清 一种基于肌电和运动捕捉的虚拟上肢控制***及其方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103823551A (zh) * 2013-03-17 2014-05-28 浙江大学 一种实现多维度感知虚拟交互的***和方法
CN103294226A (zh) * 2013-05-31 2013-09-11 东南大学 一种虚拟输入装置及方法
CN108460313A (zh) * 2017-02-17 2018-08-28 鸿富锦精密工业（深圳）有限公司 一种手势识别装置以及人机互动***

Also Published As

Publication number Publication date
CN110442233A (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
CN110442233B (zh) 一种基于手势交互的增强现实键鼠***
Yang et al. Gesture interaction in virtual reality
US11360558B2 (en) Computer systems with finger devices
CN105487673B (zh) 一种人机交互***、方法及装置
CN103347437B (zh) 3d映射环境中的凝视检测
CN102789313B (zh) 一种用户交互***和方法
CN104793731A (zh) 可穿戴设备的信息输入方法及可穿戴设备
CN102779000A (zh) 一种用户交互***和方法
WO2018018624A1 (zh) 一种可穿戴设备的手势输入方法及可穿戴设备
US9811170B2 (en) Wearable input device
WO2012119371A1 (zh) 一种用户交互***和方法
WO2021073743A1 (en) Determining user input based on hand gestures and eye tracking
WO2019087564A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20200168121A1 (en) Device for Interpretation of Digital Content for the Visually Impaired
Breslauer et al. Leap motion sensor for natural user interface
WO2019227734A1 (zh) 一种控制指令输入方法和输入装置
CN111221405A (zh) 一种手势控制方法及设备
CN110717993B (zh) 一种分体式ar眼镜***的交互方法、***及介质
WO2003003185A1 (en) System for establishing a user interface
Halarnkar et al. Gesture recognition technology: A review
CN205485916U (zh) 一种人机交互***
CN210109744U (zh) 一种头戴交流装置及头戴交流***
Fu et al. Research on application of cognitive-driven human-computer interaction
WO2018076609A1 (zh) 一种操作终端的方法和终端
CN104866112A (zh) 一种基于移动终端的非接触式交互方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant