CN118210426A - 一种虚拟键盘的按键操作方法及装置 - Google Patents
一种虚拟键盘的按键操作方法及装置 Download PDFInfo
- Publication number
- CN118210426A CN118210426A CN202410353994.9A CN202410353994A CN118210426A CN 118210426 A CN118210426 A CN 118210426A CN 202410353994 A CN202410353994 A CN 202410353994A CN 118210426 A CN118210426 A CN 118210426A
- Authority
- CN
- China
- Prior art keywords
- palm
- virtual keyboard
- user
- target
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012790 confirmation Methods 0.000 claims description 40
- 230000015654 memory Effects 0.000 claims description 28
- 230000004044 response Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010079 rubber tapping Methods 0.000 claims description 6
- 210000000245 forearm Anatomy 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 210000001508 eye Anatomy 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 210000000707 wrist Anatomy 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000001179 sorption measurement Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及虚拟键盘技术领域,具体涉及一种虚拟键盘的按键操作方法及装置,该方法用于可穿戴式虚拟设备,该可穿戴式虚拟设备上具有图像采集装置,通过可穿戴式虚拟设备上的该图像采集装置实时采集目标方位的图像,当检测到该目标方位的图像中存在用户掌心时,在该用户掌心的上方显示虚拟键盘,当用户掌心对应的目标手指与该虚拟键盘的按键位置重合时,确定该目标手指对应的目标按键的输入操作,并响应该输入操作。上述方案使得用户掌心向可穿戴式虚拟设备的摄像头时,在用户掌心的上方显示虚拟键盘,所显示的虚拟键盘没有任何遮挡,用户可以快速找到每个按键的边缘,并准确地感知到手指是否已经触及到按键的边缘及表面,增加了操作的确定性。
Description
技术领域
本发明涉及虚拟键盘技术领域,具体涉及一种虚拟键盘的按键操作方法及装置。
背景技术
近年来,虚拟视觉技术取得了长足的进步,人们越来越多地在虚拟空间中娱乐、工作以及创造内容,而图像采集装置识别手部动作进行虚拟键盘操作便是这一趋势的生动体现。
目前,基于传统键盘设计的虚拟键盘在虚拟***软件中得到了广泛的应用。然而,虚拟键盘和传统实体键盘在使用体验上存在一些显著的差异。首先,虚拟键盘缺乏实体键盘的物理反馈,这使得确认何时完成按下一个按键的动作变得困难。传统键盘在按键被按下时,会给用户一种明确的力回馈,从而告知用户按键已经被触发,但在虚拟键盘中,用户只能依靠视觉反馈或者软件的触觉模拟来判断按键是否被按下,这在一定程度上增加了操作的不确定性。其次,传统键盘上的按键具有明确的形状和边界,用户可以通过肌肉记忆快速找到每个按键的边缘。但在虚拟键盘上,当手指放置在键盘上时,它往往会遮挡住部分键盘,使得用户难以看清按键的边缘。同时,由于缺乏物理反馈,用户很难准确地感知到手指是否已经触及到按键的边缘,这增加了误操作的可能性。最后,传统键盘上的按键在行程触底时会自然停止,这是物理机制的结果。然而,在虚拟键盘上,用户无法获得这种触底反馈,需要自行判断何时停止按键。如果用户没有及时收回手指,手指会“穿过”虚拟键盘,这可能会影响到下一次敲击的准确性,并增加了操作路径上的复杂度。
在上述方案中,虽然虚拟键盘在布局上模拟了传统键盘,但由于缺乏物理反馈和视觉上的限制,它在使用体验上仍然与传统键盘存在一定的差异,容易产生误操作。
发明内容
有鉴于此,本发明提供了一种虚拟键盘的按键操作方法及装置,以解决由于缺乏物理反馈和视觉上的限制,虚拟键盘容易产生误操作的问题。
第一方面,本发明提供了一种虚拟键盘的按键操作方法,所述方法用于可穿戴式虚拟设备,所述可穿戴式虚拟设备上具有图像采集装置,所述方法包括:
通过可穿戴式虚拟设备上的所述图像采集装置实时采集目标方位的图像;
当检测到所述目标方位的图像中存在用户掌心时,在所述用户掌心的上方显示虚拟键盘;
当用户掌心对应的目标手指与所述虚拟键盘的按键位置重合时,确定所述目标手指对应的目标按键的输入操作,并响应所述输入操作。
上述方案通过可穿戴式虚拟设备上的图像采集装置采集含有手掌用户的图像,使得用户掌心向可穿戴式虚拟设备的摄像头的时候,在用户掌心的上方显示虚拟键盘,所显示的虚拟键盘没有任何遮挡,用户可以快速找到每个按键的边缘,并准确地感知到手指是否已经触及到按键的边缘及表面,增加了操作的确定性。
在一种可选的实施方式中,所述可穿戴式虚拟设备上具有图像显示组件;当检测到所述目标方位的图像中存在用户掌心时,所述在所述用户掌心的上方显示虚拟键盘,包括:
检测图像中用户的第一掌心的位置和第二掌心的位置;
根据所述第一掌心的位置和所述第二掌心的位置,在所述图像显示组件的指定位置上显示虚拟键盘,以使从所述图像显示组件至所述用户掌心的视角上,所述虚拟键盘位于所述第一掌心与所述第二掌心的上方。
在一种可选的实施方式中,所述根据所述第一掌心的位置和所述第二掌心的位置,在所述图像显示组件的指定位置上显示虚拟键盘,包括:
根据所述第一掌心的位置和所述第二掌心的位置,确定所述图像显示组件的图像展示界面上的第一指定位置,以及第一虚拟键盘大小参数,以在所述第一指定位置处显示第一虚拟键盘。
上述方案在第一掌心和第二掌心的上方显示出第一虚拟键盘,并根据第一掌心的位置和第二掌心的位置适当放大或缩小该第一虚拟键盘,可以更加适合掌心向眼睛的情况。
在一种可选的实施方式中,所述根据所述第一掌心的位置和所述第二掌心的位置,在所述图像显示组件的指定位置上显示虚拟键盘,包括:
根据所述第一掌心的位置,确定所述图像显示组件的图像展示界面上的第二指定位置,以及第二虚拟键盘大小参数,并在所述第二指定位置处显示第二虚拟键盘;
根据所述第二掌心的位置,确定所述图像显示组件的图像展示界面上的第三指定位置,以及第三虚拟键盘大小参数,并在所述第二指定位置处显示第三虚拟键盘。
上述方案在第一掌心和第二掌心的上方分别显示出第二虚拟键盘以及第三虚拟键盘,使得虚拟键盘可以跟随小臂或手腕的位置进行移动,并根据第一掌心的位置适当放大或缩小该第二虚拟键盘,根据第二掌心的位置适当放大或缩小该第三虚拟键盘,可以更加适合掌心向眼睛的情况。
在一种可选的实施方式中,所述虚拟键盘为半透明状态。
上述方案将虚拟键盘设计为半透明状态,可以使得用户看清每个手指。
在一种可选的实施方式中,在所述用户掌心的上方显示虚拟键盘之后,所述方法还包括:
识别用户的各个手指与对应按键之间的距离,并对进入预点击位置的手指进行标记;所述预点击位置用于指示手指与对应按键的距离在目标范围内。
上述方案通过标记的添加可以准确的得到手指与对应按键的位置信息及接触信息,减少误判的发生。
在一种可选的实施方式中,所述当用户掌心对应的目标手指与所述虚拟键盘的按键位置重合时,确定所述目标手指对应的目标按键的输入操作,并响应所述输入操作,包括:
当所述图像采集装置识别到所述用户掌心对应的目标手指上的标记与所述虚拟键盘的按键位置重合时,确定所述目标手指对应的目标按键的输入操作为点击操作,并响应于所述点击操作,进行第一动态确认显示。
在一种可选的实施方式中,所述当用户掌心对应的目标手指与所述虚拟键盘的按键位置重合时,确定所述目标手指对应的目标按键的输入操作,并响应所述输入操作,包括:
当所述图像采集装置识别到所述用户掌心对应的目标手指上的标记与所述虚拟键盘的按键位置的重合时间超过第一时间阈值时,确定所述目标手指对应的目标按键的输入操作为长按操作,并响应于所述长按操作,进行第二动态确认显示。
在一种可选的实施方式中,所述当用户掌心对应的目标手指与所述虚拟键盘的按键位置重合时,确定所述目标手指对应的目标按键的输入操作,并响应所述输入操作,包括:
当所述图像采集装置识别到所述用户掌心对应的目标手指上的标记与所述虚拟键盘的按键位置重合时的速度小于第一速度阈值时,确定所述目标手指对应的目标按键的输入操作为轻按操作,并响应于所述轻按操作,进行第三动态确认显示。
在一种可选的实施方式中,所述当用户掌心对应的目标手指与所述虚拟键盘的按键位置重合时,确定所述目标手指对应的目标按键的输入操作,并响应所述输入操作,包括:
当所述图像采集装置识别到所述用户掌心对应的目标手指上的标记与所述虚拟键盘的按键位置重合时的速度大于所述第二速度阈值时,确定所述目标手指对应的目标按键的输入操作为重按操作,并响应于所述重按操作,进行第四动态确认显示。
在一种可选的实施方式中,所述虚拟键盘上具有触摸板,所述当用户掌心对应的目标手指与所述虚拟键盘的按键位置重合时,确定所述目标手指对应的目标按键的输入操作,并响应所述输入操作,包括:
当所述图像采集装置识别到所述用户掌心对应的目标手指上的标记与所述触摸板接触并进行滑动时,确定所述目标手指对应的输入操作为触摸板滑动操作,并响应于所述触摸板滑动操作,进行第五动态确认显示。
上述方案通过动态确认显示提醒用户按键的完成情况,更好的提示用户一个按键的动作已经完成,减少用户错判按键行程导致的过度伸展手指回撤所带来的体力,精力浪费,提高用户体验度。
在一种可选的实施方式中,所述方法还包括:
当检测到所述目标方位的图像中的用户掌心向下翻转时,触发取消虚拟键盘指令;
响应于所述取消虚拟键盘指令,取消所述虚拟键盘的显示。
第二方面,本发明提供了一种虚拟键盘的按键操作装置,所述装置包括:
图像采集模块,用于通过可穿戴式虚拟设备上的所述图像采集装置实时采集目标方位的图像;
虚拟键盘显示模块,用于当检测到所述目标方位的图像中存在用户掌心时,在所述用户掌心的上方显示虚拟键盘;
输入操作响应模块,用于当用户掌心对应的目标手指与所述虚拟键盘的按键位置重合时,确定所述目标手指对应的目标按键的输入操作,并响应所述输入操作。
第三方面,本发明提供了一种计算机设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面或其对应的任一实施方式的一种虚拟键盘的按键操作方法。
第四方面,本发明提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的一种虚拟键盘的按键操作方法。
第五方面,本发明提供了一种计算机程序产品,包括计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的一种虚拟键盘的按键操作方法。
本发明提供的技术方案可以包括以下有益效果:
本发明通过可穿戴式虚拟设备上的图像采集装置采集含有手掌用户的图像,使得用户掌心向可穿戴式虚拟设备的摄像头的时候,在用户掌心的上方显示虚拟键盘,所显示的虚拟键盘没有任何遮挡,用户可以快速找到每个按键的边缘,并准确地感知到手指是否已经触及到按键的边缘及表面,增加了操作的确定性。并且,本发明将虚拟键盘设计为半透明状态,可以使得用户看清每个手指,通过手指上标记的添加可以准确的得到手指与对应按键的位置信息及接触信息,减少误判的发生。
此外,本发明除了在第一掌心和第二掌心的上方显示同一个第二虚拟键盘外,还设计在第一掌心和第二掌心的上方分别显示出第二虚拟键盘以及第三虚拟键盘,使得虚拟键盘可以跟随小臂或手腕的位置进行移动,并根据第一掌心的位置适当放大或缩小该第二虚拟键盘,根据第二掌心的位置适当放大或缩小该第三虚拟键盘,进而更加适合掌心向眼睛的情况。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种可穿戴式虚拟设备的结构示意图;
图2是根据本发明实施例的一种虚拟键盘的按键操作方法的流程示意图;
图3是根据本发明实施例的另一种虚拟键盘的按键操作方法的流程示意图;
图4是根据本发明实施例的第一虚拟键盘的控制示意图;
图5是根据本发明实施例的目标手指的标记示意图;
图6是根据本发明实施例的又一种虚拟键盘的按键操作方法的流程示意图;
图7是根据本发明实施例的第二虚拟键盘与第二虚拟键盘的控制示意图;
图8是根据本发明实施例的用户小臂的固定点设置示意图;
图9是根据本发明实施例的一种虚拟键盘的按键操作装置的结构框图;
图10是本发明实施例的计算机设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是根据一示例性实施例示出的一种可穿戴式虚拟设备的结构示意图。如图1所示,该可穿戴式虚拟设备可以表现为虚拟现实眼镜(Virtual Reality Head-MountedDisplay,VR眼镜),其是一种将屏幕放置在眼睛前方的设备,可以将用户完全包裹在虚拟世界中,以在用户的眼睛前方显示出虚拟键盘。
在一种可选的实施方式中,如图1所示,该可穿戴式虚拟设备包括图像采集装置10,图像采集装置10用于捕捉现实世界的图像和视频信息。具体来说,图像采集装置10通常包括一个或多个摄像头,这些摄像头能够实时捕捉用户周围的环境和物体的图像数据,也就是说,图像采集装置10可以实时采集目标方位的图像,该可穿戴式虚拟设备中还包括处理器,图像采集装置10捕捉到的图像数据会被传输到可穿戴式虚拟设备的处理器中,经过一系列的处理和分析后,再与虚拟键盘进行融合。
在一种可选的实施方式中,如图1所示,该可穿戴式虚拟设备上还具有图像显示组件20,该图像显示组件20负责将虚拟键盘叠加到用户的现实视野中,以实现增强现实的效果。该图像显示组件20通常包含一个图像展示界面,这个图像展示界面负责生成和显示虚拟键盘。该图像展示界面可以采用微型OLED(有机发光二极管)或LCoS(液晶硅基显示技术)实现。
在一种可选的实施方式中,该可穿戴式虚拟设备上还可以具有传感器(如加速度计、陀螺仪以及眼球追踪器等),用于实时捕捉用户的头部运动、眼球位置和方向等信息,这些传感器用于为可穿戴式虚拟设备提供用户交互和环境感知的关键数据。
在一种可选的实施方式中,该可穿戴式虚拟设备上还可以具有电源***(包括电池和电源管理模块),为该可穿戴式虚拟设备提供持续的电力供应,确保各组件的正常运行。
在一种可选的实施方式中,该可穿戴式虚拟设备上还可以具有交互接口(包括触控板、语音识别模块等),用于接收用户的输入指令,实现与该可穿戴式虚拟设备的交互操作。
在一种可选的实施方式中,该可穿戴式虚拟设备上还可以具有连接模块(包括Wi-Fi、蓝牙等无线通信技术模块),用于与其他外部设备(如手机、个人计算机设备等)进行数据传输和通信。
根据本发明实施例,提供了一种虚拟键盘的按键操作方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种虚拟键盘的按键操作方法,用于如图1示出的可穿戴式虚拟设备,该可穿戴式虚拟设备上具有图像采集装置10,图2是根据本发明实施例的一种虚拟键盘的按键操作方法的流程图,如图2所示,该流程包括如下步骤:
步骤S201,通过可穿戴式虚拟设备上的该图像采集装置实时采集目标方位的图像。
在一种可选的实施方式中,可穿戴式虚拟设备上的图像采集装置通常由高分辨率摄像头组成,这些摄像头能够捕捉目标方位的图像,当用户佩戴可穿戴式虚拟设备并面向目标方位时,摄像头会实时捕捉目标方位的图像,并将其转换为数字信号进行传输和处理,以提取出图像中的有用信息(如是否存在用户掌心),并将其与虚拟键盘进行融合。这样,用户就能够看到融合了虚拟键盘的现实图像,融合后的图像会通过穿戴式虚拟设备的图像显示组件展示给用户。
步骤S202,当检测到该目标方位的图像中存在用户掌心时,在该用户掌心的上方显示虚拟键盘。
在一种可选的实施方式中,当可穿戴式虚拟设备上的图像采集装置检测到目标方位的图像中存在用户掌心时(意味着用户掌心向虚拟设备的摄像头),可穿戴式虚拟设备可以在该用户掌心的上方显示一个虚拟键盘。首先,图像采集装置会持续实时捕捉目标方位的图像,并将这些图像传输到图像采集装置的处理器中,处理器会运行图像识别算法,对图像进行实时分析,以检测是否存在用户掌心的特征(这些特征可能包括掌心的形状、颜色、纹理等),通过对比预设的模型或模板,处理器能够准确地识别出用户掌心。一旦检测到用户掌心的存在,可穿戴式虚拟设备内的处理器会立即触发虚拟键盘的显示机制,通过可穿戴式虚拟设备上的图像显示组件显示虚拟键盘,虚拟键盘可以以三维图像的形式呈现在用户掌心的上方,与用户的视线保持一致。本实施例中在用户掌心上方显示虚拟键盘的方式为用户提供了更加自然和直观的交互体验,所显示的虚拟键盘没有任何遮挡,用户可以快速找到每个按键的边缘,并准确地感知到手指是否已经触及到按键的边缘及表面,增加了操作的确定性。
步骤S203,当用户掌心对应的目标手指与该虚拟键盘的按键位置重合时,确定该目标手指对应的目标按键的输入操作,并响应该输入操作。
在一种可选的实施方式中,当用户掌心对应的目标手指与虚拟键盘的按键位置重合时,可穿戴式虚拟设备识别并响应用户的输入操作,并进行响应。首先,图像采集装置会实时捕捉用户掌心和手指的图像,并将这些数据传输到设备的处理器,处理器通过图像识别技术,能够精确地识别出用户掌心的位置以及对应的目标手指(如食指、中指等)的位置,处理器会分析目标手指的位置与虚拟键盘上按键的对应关系,以确定目标手指是否与虚拟键盘上的某个按键位置重合,一旦确定目标手指与虚拟键盘上的目标按键的位置重合时,处理器触发相应的输入操作,并根据输入操作的类型和需求,执行相应的响应。例如,如果目标按键代表一个字母或数字,处理器可能会在文本输入字段中***相应的字符;如果目标按键代表一个功能键,处理器可能会执行相应的功能或命令。
综上所述,本发明通过可穿戴式虚拟设备上的图像采集装置采集含有手掌用户的图像,使得用户掌心向可穿戴式虚拟设备的摄像头的时候,在用户掌心的上方显示虚拟键盘,所显示的虚拟键盘没有任何遮挡,用户可以快速找到每个按键的边缘,并准确地感知到手指是否已经触及到按键的边缘及表面,增加了操作的确定性。
在本实施例中提供了一种虚拟键盘的按键操作方法,用于如图1示出的可穿戴式虚拟设备,该可穿戴式虚拟设备上具有图像采集装置10,图3是根据本发明实施例的另一种虚拟键盘的按键操作方法的流程示意图,如图3所示,该流程包括如下步骤:
步骤S301,通过可穿戴式虚拟设备上的图像采集装置实时采集目标方位的图像。详细请参见图2所示实施例的步骤S201,在此不再赘述。
步骤S302,当检测到该目标方位的图像中存在用户掌心时,检测图像中用户的第一掌心的位置和第二掌心的位置。
在一种可选的实施方式中,请参见图4示出的第一虚拟键盘的控制示意图,图像采集装置会捕获目标方位的高清图像,并将其传输到可穿戴式虚拟设备的处理器中,处理器中的图像识别算法会对图像进行深度分析,以寻找掌心的特征,这些特征可能包括掌心的颜色、纹理、形状以及边缘等信息,当检测到该目标方位的图像中存在用户掌心(意味着此时用户双手的掌心向可穿戴式虚拟设备的摄像头)时,处理器会利用掌心检测算法来定位和识别图像中的第一掌心和第二掌心的位置。在本实施例中,掌心位置的检测可以通过边缘检测、形状匹配和模式识别等技术来实现,一旦第一掌心和第二掌心的位置被成功检测,本实施例可以将这些位置信息存储在内存中,并实时更新它们的位置,以用于后续的手势识别、交互控制以及虚拟键盘的定位和呈现。
步骤S303,根据该第一掌心的位置和该第二掌心的位置,在该图像显示组件的指定位置上显示虚拟键盘,以使从该图像显示组件至该用户掌心的视角上,该虚拟键盘位于该第一掌心与该第二掌心的上方。该虚拟键盘为半透明状态。本实施例可以适当放大虚拟键盘,以更加适合掌心向眼睛的情况。
具体的,该步骤S303,包括:
步骤S3031,根据该第一掌心的位置和该第二掌心的位置,确定该图像显示组件的图像展示界面上的第一指定位置,以及第一虚拟键盘大小参数,以在该第一指定位置处显示第一虚拟键盘。
具体的,用户可以预先设置好的模式,例如是单手键盘模式和双手键盘模式,若为双手键盘模式时,只检测到一个手掌时不显示虚拟键盘,本实施例首先通过图像采集装置捕捉到用户的第一掌心和第二掌心的精确位置,处理器利用第一掌心的位置和第二掌心的位置,结合图像显示组件的视野范围和视角,计算出在图像展示界面上的第一指定位置。这个位置应当确保在用户从图像显示组件观看时,虚拟键盘能够正好位于第一掌心和第二掌心的上方,为用户提供直观且自然的交互体验,同时,处理器还可以根据第一掌心与第二掌心的间距和大小,确定第一虚拟键盘的大小参数,以使第一虚拟键盘的大小既能适应用户的掌心间距,又能确保按键布局合理,方便用户操作。之后,处理器会将第一指定位置以及第一虚拟键盘大小参数这些参数发送给图像显示组件,触发第一虚拟键盘的显示,在图像展示界面上的第一指定位置处呈现第一虚拟键盘,用户在可穿戴式虚拟设备的图像展示界面中,可以观看到其双手此时处于第一虚拟键盘的下方(或后方),第一虚拟键盘为半透明状态,可以让用户看清每个手指。当用户移动手掌或调整视角上,可以实时更新第一虚拟键盘的位置和大小,以保持最佳的交互体验。
在一种可选的实施方式中,该可穿戴式设备上具有图像投影装置,该图像投影装置可以将虚拟键盘隔空投影到用户掌心上,当用户预先设置好的模式为双手键盘模式时,首先检测图像中用户的第一掌心的位置和第二掌心的位置;根据第一掌心的位置和第二掌心的位置,确定第一掌心平面;之后根据该第一掌心平面,确定位于该第一掌心平面与该图像投影装置中间的第一投影位置,以在该第一投影位置上投影显示第四虚拟键盘。
步骤S304,识别用户的各个手指与对应按键之间的距离,并对进入预点击位置的手指进行标记;该预点击位置用于指示手指与对应按键的距离在目标范围内。
具体的,本实施例的处理器利用图像处理和计算机视觉算法对手部图像进行处理(可以包括手指分割、特征提取和位置识别等步骤),通过识别手指的轮廓和特征点,确定目标手指的具***置和姿态,并计算目标手指与对应按键之间的距离,本实施例可以通过比较目标手指的坐标和虚拟键盘上按键的坐标来实现两者距离的计算,并根据预设的阈值来判断该目标手指是否进入了预点击位置,在该目标手指进入了预点击位置后,在该目标手指上进行标记,此处请参见图5示出的目标手指的标记示意图,标记完成后,用户在可穿戴式虚拟设备的图像展示界面中,可以观看到其目标手指上的标记处于目标按键的下方(或后方)。预点击位置是一个设定的区域,用于指示手指与对应按键的距离在目标范围内。
步骤S305,当用户掌心对应的目标手指与该虚拟键盘的按键位置重合时,确定该目标手指对应的目标按键的输入操作,并响应该输入操作。
在一种可选的实施方式中,当该图像采集装置识别到该用户掌心对应的目标手指上的标记与该虚拟键盘的按键位置重合时,确定该目标手指对应的目标按键的输入操作为点击操作,并响应于该点击操作,进行第一动态确认显示。
具体的,本实施例中的图像采集装置不断追踪用户掌心和手指的位置,目标手指上抬则会推动标记接近目标按键,当识别到目标手指上的标记与虚拟键盘的某个按键位置重合时,处理器将判断发生了点击操作,一旦确定发生了点击操作,处理器会触发第一动态确认显示的机制,第一动态确认显示可以给用户提供一个即时的视觉反馈,告知其输入操作已被成功识别并接受。第一动态确认显示的具体形式可以根据应用需求和用户体验设计进行定制,例如,在被点击的目标按键的周围显示出一个短暂的动画效果,如放大、变色或闪烁等,以突出显示该按键,同时,也可以伴随着声音或震动等辅助反馈,进一步增强用户的感知。这种动态确认显示不仅提高了用户操作的准确性,还增强了用户与虚拟键盘之间的交互体验,用户可以通过观察动态确认显示来确认自己的输入操作。
在一种可选的实施方式中,当该图像采集装置识别到该用户掌心对应的目标手指上的标记与该虚拟键盘的按键位置的重合时间超过第一时间阈值时,确定该目标手指对应的目标按键的输入操作为长按操作,并响应于该长按操作,进行第二动态确认显示。
具体的,为了准确判断长按操作,处理器首先会记录目标手指上的标记与按键位置开始重合的时刻,并持续监控这一重合状态,计算重合时间,如果重合时间超过了预设的第一时间阈值(第一时间阈值可以根据实际应用场景和用户习惯进行设定),判断发生了长按操作,一旦确定发生了长按操作,可穿戴式虚拟设备会进行第二动态确认显示,与第一动态确认显示类似,第二动态确认显示也是为了给用户提供一个即时的视觉反馈,第二动态确认显示的具体形式可以比第一动态确认显示更加醒目和持久,以突出长按操作的特殊性。例如,***可以在被长按的按键周围显示一个持续闪烁的动画效果,同时,也可以结合声音或震动等辅助反馈,以增强用户的感知体验。通过进行第二动态确认显示,用户可以清楚地知道自己执行了长按操作,并且可穿戴式虚拟设备已经响应了这一操作。
在一种可选的实施方式中,当该图像采集装置识别到该用户掌心对应的目标手指上的标记与该虚拟键盘的按键位置重合时的速度小于第一速度阈值时,确定该目标手指对应的目标按键的输入操作为轻按操作,并响应于该轻按操作,进行第三动态确认显示。
具体的,可穿戴式虚拟设备可以通过分析连续的图像帧中手指位置的变化来,计算出目标手指移动的速度和加速度,以实现对目标手指的运动速度的追踪。一旦检测到手指与按键位置重合,并且该重合时的速度小于预设的第一速度阈值,则确定该目标手指对应的目标按键的输入操作为轻按操作,第三动态确认显示与前面提到的长按操作和点击操作的确认显示不同,旨在通过独特的视觉效果来告知用户轻按操作已被识别,例如,第三动态确认显示可以采用柔和的动画效果,如按键轻微下陷或发出淡淡的光芒,以区分于其他类型的操作反馈。通过第三动态确认显示,用户可以直观地感知到自己的轻按操作已经被该可穿戴式虚拟设备识别并响应。
在一种可选的实施方式中,当该图像采集装置识别到该用户掌心对应的目标手指上的标记与该虚拟键盘的按键位置重合时的速度大于该第二速度阈值时,确定该目标手指对应的目标按键的输入操作为重按操作,并响应于该重按操作,进行第四动态确认显示。第一速度阈值小于或等于第二速度阈值。
具体的,可以通过分析连续的图像帧中手指位置的变化来,计算出目标手指移动的速度和加速度,以实现对目标手指的运动速度的追踪。一旦检测到手指与按键位置重合,并且该重合时的速度大于预设的第二速度阈值,则确定该目标手指对应的目标按键的输入操作为重按操作。一旦确定目标手指执行的是重按操作,可穿戴式虚拟设备将进行第四动态确认显示,第四动态确认显示可以比第一动态确认显示至第三动态确认显示更加醒目和有力,以匹配重按操作的强烈性质。例如,***可以采用强烈的动画效果,如按键的快速下沉或发出明亮的闪光,以吸引用户的注意力,同时,也可以结合声音效果,如低沉的音效或震动反馈,来增强用户的感知体验。
在一种可选的实施方式中,当该图像采集装置识别到该用户掌心对应的目标手指上的标记与该触摸板接触并进行滑动时,确定该目标手指对应的输入操作为触摸板滑动操作,并响应于该触摸板滑动操作,进行第五动态确认显示。
具体的,为了准确识别触摸板滑动操作,可穿戴式虚拟设备需要持续监控目标手指与触摸板的接触状态以及手指的移动轨迹,一旦识别到目标手指与触摸板接触并开始滑动,就会立即触发相应的处理机制。响应于触摸板滑动操作,进行第五动态确认显示。第五动态确认显示可以设计得既直观又实用,以便用户能够清楚地看到手指在触摸板上的移动轨迹和效果。例如,可以在触摸板上显示一个跟随手指移动的虚拟光标,或者通过改变背景颜色、添加动画效果等方式来突出显示滑动区域。此外,为了提供更加丰富的用户体验,第五动态确认显示还可以结合声音或震动等辅助反馈。
步骤S306,当检测到该目标方位的图像中的用户掌心向下翻转时,触发取消虚拟键盘指令;响应于该取消虚拟键盘指令,取消该虚拟键盘的显示。
具体的,可穿戴式虚拟设备通过分析连续的图像帧中掌心的方向变化来实现准确识别用户掌心的翻转动作,一旦检测到掌心从向上或侧向翻转为向下的状态,就会判断为用户意图取消虚拟键盘,一旦触发取消虚拟键盘指令,可穿戴式虚拟设备就会立即响应并取消虚拟键盘的显示,此时可以通过逐渐淡出或立即移除虚拟键盘的图像来实现,以便用户能够清晰地看到操作结果并继续其他任务。
综上所述,本发明通过可穿戴式虚拟设备上的图像采集装置采集含有手掌用户的图像,使得用户掌心向可穿戴式虚拟设备的摄像头的时候,在用户掌心的上方显示虚拟键盘,所显示的虚拟键盘没有任何遮挡,用户可以快速找到每个按键的边缘,并准确地感知到手指是否已经触及到按键的边缘及表面,增加了操作的确定性。并且,本发明将虚拟键盘设计为半透明状态,可以使得用户看清每个手指,通过手指上标记的添加可以准确的得到手指与对应按键的位置信息及接触信息,减少误判的发生。
在本实施例中提供了一种虚拟键盘的按键操作方法,用于如图1示出的可穿戴式虚拟设备,该可穿戴式虚拟设备上具有图像采集装置10,图6是根据本发明实施例的又一种虚拟键盘的按键操作方法的流程图,如图6所示,该流程包括如下步骤:
步骤S601,通过可穿戴式虚拟设备上的图像采集装置实时采集目标方位的图像。详细请参见图2所示实施例的步骤S201,在此不再赘述。
步骤S602,当检测到该目标方位的图像中存在用户掌心时,检测图像中用户的第一掌心的位置和第二掌心的位置。详细请参见图3所示实施例的步骤S302,在此不再赘述。
步骤S603,根据该第一掌心的位置,确定该图像显示组件的图像展示界面上的第二指定位置,以及第二虚拟键盘大小参数,并在该第二指定位置处显示第二虚拟键盘。
步骤S604,根据该第二掌心的位置,确定该图像显示组件的图像展示界面上的第三指定位置,以及第三虚拟键盘大小参数,并在该第二指定位置处显示第三虚拟键盘。
具体的,请参见图7示出的第二虚拟键盘与第二虚拟键盘的控制示意图,用户可以预先设置好的键盘模式为单手键盘模式时,本实施例可以设置虚拟键盘位置的吸附功能,使得第二虚拟键盘能够自动吸附在第一掌心对应的用户小臂的固定点上,第三虚拟键盘能够自动吸附在第二掌心对应的用户小臂的固定点上,以减少误操作和不稳定的情况。吸附功能的实现依赖于精确的图像识别和位置跟踪技术,请参见图8示出的用户小臂的固定点设置示意图,本实施例通过图像采集装置持续监测用户掌心的位置,并确定用户小臂的固定点,一旦确定了这些固定点,就会将虚拟键盘吸附在这些位置上,以确保虚拟键盘与用户小臂的相对位置保持不变,使得虚拟键盘的平面可以跟随小臂转动(第二虚拟键盘的平面可以跟随第一掌心对应的用户小臂转动,第三虚拟键盘的平面可以跟随第二掌心对应的用户小臂转动),适配手腕不动,仅移动手指。通过吸附功能,用户无需频繁调整虚拟键盘的位置,减少了误操作和不稳定的情况。同时,这种设计也更加符合人体工程学特征,使得用户可以在手腕不动的情况下,仅通过移动手指来操作键盘,提高了操作的舒适性和便捷性。此外,本实施例还提供了自定义键盘布局的选项,用户可以根据自己的操作习惯和偏好,调整键盘上按键的排列和大小,以获得最佳的输入体验,为了实现自定义键盘布局,可穿戴式虚拟设备可以提供一个可视化的配置界面,允许用户通过拖拽、缩放等操作来调整键盘布局。
在一种可选的实施方式中,该可穿戴式设备上具有图像投影装置,该图像投影装置可以将虚拟键盘隔空投影到用户掌心上,当用户预先设置好的模式为单手键盘模式时,首先检测图像中用户的第一掌心的位置和第二掌心的位置;根据该第一掌心的位置,确定位于该第一掌心与该图像投影装置中间的第二投影位置;根据第二掌心的位置,确定位于该第二掌心与该图像投影装置中间的第三投影位置;之后控制该图像投影装置,在该第二投影位置以及第三投影位置上进行投影,分别显示第五虚拟键盘和第六虚拟键盘。
步骤S605,识别用户的各个手指与对应按键之间的距离,并对进入预点击位置的手指进行标记;该预点击位置用于指示手指与对应按键的距离在目标范围内。详细请参见图3所示实施例的步骤S304,在此不再赘述。
步骤S606,当用户掌心对应的目标手指与该虚拟键盘的按键位置重合时,确定该目标手指对应的目标按键的输入操作,并响应该输入操作。详细请参见图3所示实施例的步骤S305,在此不再赘述。
步骤S607,当检测到该目标方位的图像中的用户掌心向下翻转时,触发取消虚拟键盘指令;响应于该取消虚拟键盘指令,取消该虚拟键盘的显示。详细请参见图3所示实施例的步骤S306,在此不再赘述。
综上所述,本发明通过可穿戴式虚拟设备上的图像采集装置采集含有手掌用户的图像,使得用户掌心向可穿戴式虚拟设备的摄像头的时候,在用户掌心的上方显示虚拟键盘,所显示的虚拟键盘没有任何遮挡,用户可以快速找到每个按键的边缘,并准确地感知到手指是否已经触及到按键的边缘及表面,增加了操作的确定性。并且,本发明将虚拟键盘设计为半透明状态,可以使得用户看清每个手指,通过手指上标记的添加可以准确的得到手指与对应按键的位置信息及接触信息,减少误判的发生。
此外,本发明除了在第一掌心和第二掌心的上方显示同一个第二虚拟键盘外,还设计在第一掌心和第二掌心的上方分别显示出第二虚拟键盘以及第三虚拟键盘,使得虚拟键盘可以跟随小臂或手腕的位置进行移动,并根据第一掌心的位置适当放大或缩小该第二虚拟键盘,根据第二掌心的位置适当放大或缩小该第三虚拟键盘,进而更加适合掌心向眼睛的情况。
在本实施例中还提供了一种虚拟键盘的按键操作装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种虚拟键盘的按键操作装置,如图9所示,包括:
图像采集模块901,用于通过可穿戴式虚拟设备上的该图像采集装置实时采集目标方位的图像;
虚拟键盘显示模块902,用于当检测到该目标方位的图像中存在用户掌心时,在该用户掌心的上方显示虚拟键盘;
输入操作响应模块903,用于当用户掌心对应的目标手指与该虚拟键盘的按键位置重合时,确定该目标手指对应的目标按键的输入操作,并响应该输入操作。
在一些可选的实施方式中,该可穿戴式虚拟设备上具有图像显示组件;当检测到该目标方位的图像中存在用户掌心时,该虚拟键盘显示模块902,还用于:
检测图像中用户的第一掌心的位置和第二掌心的位置;
根据该第一掌心的位置和该第二掌心的位置,在该图像显示组件的指定位置上显示虚拟键盘,以使从该图像显示组件至该用户掌心的视角上,该虚拟键盘位于该第一掌心与该第二掌心的上方。
在一些可选的实施方式中,该虚拟键盘显示模块902,还用于:
根据该第一掌心的位置和该第二掌心的位置,确定该图像显示组件的图像展示界面上的第一指定位置,以及第一虚拟键盘大小参数,以在该第一指定位置处显示第一虚拟键盘。
在一些可选的实施方式中,该虚拟键盘显示模块902,还用于:
根据该第一掌心的位置,确定该图像显示组件的图像展示界面上的第二指定位置,以及第二虚拟键盘大小参数,并在该第二指定位置处显示第二虚拟键盘;
根据该第二掌心的位置,确定该图像显示组件的图像展示界面上的第三指定位置,以及第三虚拟键盘大小参数,并在该第二指定位置处显示第三虚拟键盘。
在一些可选的实施方式中,该虚拟键盘为半透明状态。
在一些可选的实施方式中,在该用户掌心的上方显示虚拟键盘之后,该装置还用于:
识别用户的各个手指与对应按键之间的距离,并对进入预点击位置的手指进行标记;该预点击位置用于指示手指与对应按键的距离在目标范围内。
在一些可选的实施方式中,该输入操作响应模块903,还用于:
当该图像采集装置识别到该用户掌心对应的目标手指上的标记与该虚拟键盘的按键位置重合时,确定该目标手指对应的目标按键的输入操作为点击操作,并响应于该点击操作,进行第一动态确认显示。
在一些可选的实施方式中,该输入操作响应模块903,还用于:
当该图像采集装置识别到该用户掌心对应的目标手指上的标记与该虚拟键盘的按键位置的重合时间超过第一时间阈值时,确定该目标手指对应的目标按键的输入操作为长按操作,并响应于该长按操作,进行第二动态确认显示。
在一些可选的实施方式中,该输入操作响应模块903,还用于:
当该图像采集装置识别到该用户掌心对应的目标手指上的标记与该虚拟键盘的按键位置重合时的速度小于第一速度阈值时,确定该目标手指对应的目标按键的输入操作为轻按操作,并响应于该轻按操作,进行第三动态确认显示。
在一些可选的实施方式中,该输入操作响应模块903,还用于:
当该图像采集装置识别到该用户掌心对应的目标手指上的标记与该虚拟键盘的按键位置重合时的速度大于该第二速度阈值时,确定该目标手指对应的目标按键的输入操作为重按操作,并响应于该重按操作,进行第四动态确认显示。
在一些可选的实施方式中,该输入操作响应模块903,还用于:
当该图像采集装置识别到该用户掌心对应的目标手指上的标记与该触摸板接触并进行滑动时,确定该目标手指对应的输入操作为触摸板滑动操作,并响应于该触摸板滑动操作,进行第五动态确认显示。
在一些可选的实施方式中,该输入操作响应模块903,还用于:
当检测到该目标方位的图像中的用户掌心向下翻转时,触发取消虚拟键盘指令;
响应于该取消虚拟键盘指令,取消该虚拟键盘的显示。
上述各个模块和单元的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
本实施例中的一种虚拟键盘的按键操作装置是以功能单元的形式来呈现,这里的单元是指ASIC(Application Specific Integrated Circuit,专用集成电路)电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
综上所述,本发明通过可穿戴式虚拟设备上的图像采集装置采集含有手掌用户的图像,使得用户掌心向可穿戴式虚拟设备的摄像头的时候,在用户掌心的上方显示虚拟键盘,所显示的虚拟键盘没有任何遮挡,用户可以快速找到每个按键的边缘,并准确地感知到手指是否已经触及到按键的边缘及表面,增加了操作的确定性。并且,本发明将虚拟键盘设计为半透明状态,可以使得用户看清每个手指,通过手指上标记的添加可以准确的得到手指与对应按键的位置信息及接触信息,减少误判的发生。
此外,本发明除了在第一掌心和第二掌心的上方显示同一个第二虚拟键盘外,还设计在第一掌心和第二掌心的上方分别显示出第二虚拟键盘以及第三虚拟键盘,使得虚拟键盘可以跟随小臂或手腕的位置进行移动,并根据第一掌心的位置适当放大或缩小该第二虚拟键盘,根据第二掌心的位置适当放大或缩小该第三虚拟键盘,进而更加适合掌心向眼睛的情况。
本发明实施例还提供一种计算机设备,具有上述图9所示的一种虚拟键盘的按键操作装置。
请参阅图10,图10是本发明可选实施例提供的一种计算机设备的结构示意图,如图10所示,该计算机设备包括:一个或多个处理器10、存储器20,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相通信连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个计算机设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器***)。图10中以一个处理器10为例。
处理器10可以是中央处理器,网络处理器或其组合。其中,处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路,可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件,现场可编程逻辑门阵列,通用阵列逻辑或其任意组合。
其中,所述存储器20存储有可由至少一个处理器10执行的指令,以使所述至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器20可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中,存储器20可选包括相对于处理器10远程设置的存储器,这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器,例如,随机存取存储器;存储器也可以包括非易失性存储器,例如,快闪存储器,硬盘或固态硬盘;存储器20还可以包括上述种类的存储器的组合。
该计算机设备还包括通信接口30,用于该计算机设备与其他设备或通信网络通信。
本发明实施例还提供了一种计算机可读存储介质,上述根据本发明实施例的方法可在硬件、固件中实现,或者被实现为可记录在存储介质,或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中,存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等;进一步地,存储介质还可以包括上述种类的存储器的组合。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件,当软件或计算机代码被计算机、处理器或硬件访问且执行时,实现上述实施例示出的方法。
本发明的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本发明的方法和/或技术方案。本领域技术人员应能理解,计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等,相应地,计算机程序指令被计算机执行的方式包括但不限于:该计算机直接执行该指令,或者该计算机编译该指令后再执行对应的编译后程序,或者该计算机读取并执行该指令,或者该计算机读取并安装该指令后再执行对应的安装后程序。在此,计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (16)
1.一种虚拟键盘的按键操作方法,其特征在于,所述方法用于可穿戴式虚拟设备,所述可穿戴式虚拟设备上具有图像采集装置,所述方法包括:
通过可穿戴式虚拟设备上的所述图像采集装置实时采集目标方位的图像;
当检测到所述目标方位的图像中存在用户掌心时,在所述用户掌心的上方显示虚拟键盘;
当用户掌心对应的目标手指与所述虚拟键盘的按键位置重合时,确定所述目标手指对应的目标按键的输入操作,并响应所述输入操作。
2.根据权利要求1所述的方法,其特征在于,所述可穿戴式虚拟设备上具有图像显示组件;当检测到所述目标方位的图像中存在用户掌心时,所述在所述用户掌心的上方显示虚拟键盘,包括:
检测图像中用户的第一掌心的位置和第二掌心的位置;
根据所述第一掌心的位置和所述第二掌心的位置,在所述图像显示组件的指定位置上显示虚拟键盘,以使从所述图像显示组件至所述用户掌心的视角上,所述虚拟键盘位于所述第一掌心与所述第二掌心的上方。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一掌心的位置和所述第二掌心的位置,在所述图像显示组件的指定位置上显示虚拟键盘,包括:
根据所述第一掌心的位置和所述第二掌心的位置,确定所述图像显示组件的图像展示界面上的第一指定位置,以及第一虚拟键盘大小参数,以在所述第一指定位置处显示第一虚拟键盘。
4.根据权利要求2所述的方法,其特征在于,所述根据所述第一掌心的位置和所述第二掌心的位置,在所述图像显示组件的指定位置上显示虚拟键盘,包括:
根据所述第一掌心的位置,确定所述图像显示组件的图像展示界面上的第二指定位置,以及第二虚拟键盘大小参数,并在所述第二指定位置处显示第二虚拟键盘;
根据所述第二掌心的位置,确定所述图像显示组件的图像展示界面上的第三指定位置,以及第三虚拟键盘大小参数,并在所述第二指定位置处显示第三虚拟键盘。
5.根据权利要求1所述的方法,其特征在于,所述虚拟键盘为半透明状态。
6.根据权利要求1至5任一项所述的方法,其特征在于,在所述用户掌心的上方显示虚拟键盘之后,所述方法还包括:
识别用户的各个手指与对应按键之间的距离,并对进入预点击位置的手指进行标记;所述预点击位置用于指示手指与对应按键的距离在目标范围内。
7.根据权利要求6所述的方法,其特征在于,所述当用户掌心对应的目标手指与所述虚拟键盘的按键位置重合时,确定所述目标手指对应的目标按键的输入操作,并响应所述输入操作,包括:
当所述图像采集装置识别到所述用户掌心对应的目标手指上的标记与所述虚拟键盘的按键位置重合时,确定所述目标手指对应的目标按键的输入操作为点击操作,并响应于所述点击操作,进行第一动态确认显示。
8.根据权利要求6所述的方法,其特征在于,所述当用户掌心对应的目标手指与所述虚拟键盘的按键位置重合时,确定所述目标手指对应的目标按键的输入操作,并响应所述输入操作,包括:
当所述图像采集装置识别到所述用户掌心对应的目标手指上的标记与所述虚拟键盘的按键位置的重合时间超过第一时间阈值时,确定所述目标手指对应的目标按键的输入操作为长按操作,并响应于所述长按操作,进行第二动态确认显示。
9.根据权利要求6所述的方法,其特征在于,所述当用户掌心对应的目标手指与所述虚拟键盘的按键位置重合时,确定所述目标手指对应的目标按键的输入操作,并响应所述输入操作,包括:
当所述图像采集装置识别到所述用户掌心对应的目标手指上的标记与所述虚拟键盘的按键位置重合时的速度小于第一速度阈值时,确定所述目标手指对应的目标按键的输入操作为轻按操作,并响应于所述轻按操作,进行第三动态确认显示。
10.根据权利要求6所述的方法,其特征在于,所述当用户掌心对应的目标手指与所述虚拟键盘的按键位置重合时,确定所述目标手指对应的目标按键的输入操作,并响应所述输入操作,包括:
当所述图像采集装置识别到所述用户掌心对应的目标手指上的标记与所述虚拟键盘的按键位置重合时的速度大于第二速度阈值时,确定所述目标手指对应的目标按键的输入操作为重按操作,并响应于所述重按操作,进行第四动态确认显示。
11.根据权利要求6所述的方法,其特征在于,所述虚拟键盘上具有触摸板,所述当用户掌心对应的目标手指与所述虚拟键盘的按键位置重合时,确定所述目标手指对应的目标按键的输入操作,并响应所述输入操作,包括:
当所述图像采集装置识别到所述用户掌心对应的目标手指上的标记与所述触摸板接触并进行滑动时,确定所述目标手指对应的输入操作为触摸板滑动操作,并响应于所述触摸板滑动操作,进行第五动态确认显示。
12.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当检测到所述目标方位的图像中的用户掌心向下翻转时,触发取消虚拟键盘指令;
响应于所述取消虚拟键盘指令,取消所述虚拟键盘的显示。
13.一种虚拟键盘的按键操作装置,其特征在于,所述装置包括:
图像采集模块,用于通过可穿戴式虚拟设备上的所述图像采集装置实时采集目标方位的图像;
虚拟键盘显示模块,用于当检测到所述目标方位的图像中存在用户掌心时,在所述用户掌心的上方显示虚拟键盘;
输入操作响应模块,用于当用户掌心对应的目标手指与所述虚拟键盘的按键位置重合时,确定所述目标手指对应的目标按键的输入操作,并响应所述输入操作。
14.一种计算机设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1至12中任一项所述的一种虚拟键盘的按键操作方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机指令,所述计算机指令用于使计算机执行权利要求1至12中任一项所述的一种虚拟键盘的按键操作方法。
16.一种计算机程序产品,其特征在于,包括计算机指令,所述计算机指令用于使计算机执行权利要求1至12中任一项所述的一种虚拟键盘的按键操作方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410353994.9A CN118210426A (zh) | 2024-03-26 | 2024-03-26 | 一种虚拟键盘的按键操作方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410353994.9A CN118210426A (zh) | 2024-03-26 | 2024-03-26 | 一种虚拟键盘的按键操作方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118210426A true CN118210426A (zh) | 2024-06-18 |
Family
ID=91447264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410353994.9A Pending CN118210426A (zh) | 2024-03-26 | 2024-03-26 | 一种虚拟键盘的按键操作方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118210426A (zh) |
-
2024
- 2024-03-26 CN CN202410353994.9A patent/CN118210426A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11625103B2 (en) | Integration of artificial reality interaction modes | |
CN106845335B (zh) | 用于虚拟现实设备的手势识别方法、装置及虚拟现实设备 | |
US8902198B1 (en) | Feature tracking for device input | |
US10452155B2 (en) | Display method of on-screen keyboard and computer program product and non-transitory computer readable storage medium thereof | |
US20060209021A1 (en) | Virtual mouse driving apparatus and method using two-handed gestures | |
WO2016189390A2 (en) | Gesture control system and method for smart home | |
GB2483168A (en) | Controlling movement of displayed object based on hand movement and size | |
KR20190133080A (ko) | 증강 현실 시스템용 터치프리 인터페이스 | |
US11714540B2 (en) | Remote touch detection enabled by peripheral device | |
KR20150032019A (ko) | 시선 추적 기반의 사용자 인터페이스 방법 및 그 장치 | |
US11030980B2 (en) | Information processing apparatus, information processing system, control method, and program | |
US20140053115A1 (en) | Computer vision gesture based control of a device | |
JP2004246578A (ja) | 自己画像表示を用いたインタフェース方法、装置、およびプログラム | |
KR20170133754A (ko) | 동작 인식 기반의 스마트 글래스 장치 | |
CN111736691A (zh) | 头戴显示设备的交互方法、装置、终端设备及存储介质 | |
JP6841232B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN115598831A (zh) | 提供精准眼动追踪的光学***和相关方法 | |
US9940900B2 (en) | Peripheral electronic device and method for using same | |
US20240185516A1 (en) | A Method for Integrated Gaze Interaction with a Virtual Environment, a Data Processing System, and Computer Program | |
CN118210426A (zh) | 一种虚拟键盘的按键操作方法及装置 | |
CN110291495B (zh) | 信息处理***、信息处理方法及程序 | |
US11869145B2 (en) | Input device model projecting method, apparatus and system | |
US20170139545A1 (en) | Information processing apparatus, information processing method, and program | |
KR20230122711A (ko) | 제스처 입력 기능을 구비한 증강현실 투명 표시장치 및 구현 방법 | |
CN113270006A (zh) | 基于HoloLens的印刷机操作培训***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |