CN117784950B - 三维光标实现虚拟触控的方法、存储介质和芯片 - Google Patents

Abstract

本发明三维光标实现虚拟触控的方法、存储介质和芯片，应用于XR扩展现实可穿戴设备、头戴式显示装置的***，在虚拟空间中，将预置光源投射到的人手关节或指尖或多个关节的加权均值位置定义为操控靶瞄，从预置光源经操控靶瞄投射出去形成交互操控线，并在交互操控线的远端显示三维光标或画笔，本发明采用快速的空间位置计算方法和触碰判断方法，通过裸手形成非固定或固定长度的交互操控线，实现三维虚拟空间的触控操作或写字或绘图。

Description

三维光标实现虚拟触控的方法、存储介质和芯片

技术领域

本发明为虚拟触控技术领域，具体涉及一种应用于XR扩展现实可穿戴设备、头戴式显示装置的三维光标实现虚拟触控的方法、存储介质和芯片。

背景技术

Extended Reality (XR)扩展现实，是指通过计算机技术和可穿戴设备产生的一个真实与虚拟组合、可人机交互的环境，是增强现实AR、虚拟现实VR、混合现实MR等多种形式的统称。随着(XR)扩展现实在各行各业的普及和发展，各种XR智能眼镜应运而生，通过虚拟键盘和三维触控的输入来实现用户和***的交互。

XR眼镜智能终端使用时，用户是双目看两个屏幕的世界，看出去的世界与手机平板和传统显示器的二维画面不一样。双目显示屏幕的世界是三维的。传统二维的屏幕可以用简单光标在屏幕上的(X,Y)方向移动和点击，但是在三维空间里，传统光标无法操作具有深度的(X,Y,Z)方向的移动和点击。一般XR眼镜终端常用遥控器、游戏手柄、手机或其他类似的传感器来画出像激光笔的“直线”或钓鱼竿的“曲线”，从而操控三维空间里光标的位置。距离近的虚拟物体可以用手指或手势触碰或操作。目前可以用裸手指挥光标到远方位置的公开专利或文章，都没有公开视觉计算光标三维位置的方法。

发明内容

本发明的目的在于提供一种三维光标实现虚拟触控的方法、存储介质和芯片，通过裸手形成非固定或固定长度的交互操控线，实现三维虚拟空间的触控操作或写字或绘图。

本发明一种三维光标实现虚拟触控的方法，应用于XR扩展现实可穿戴设备、头戴式显示装置的***，在虚拟空间中，将预置光源投射到的人手关节或指尖或多个关节的加权均值位置定义为操控靶瞄，从预置光源经操控靶瞄投射出去形成交互操控线，并在交互操控线的远端显示三维光标，具体包括如下步骤：

步骤1、在操控靶瞄上绑定触发区域，定义启动三维光标投射的开关指和用于触碰触发区域的点击指；

步骤2、当开关指触碰到触发区域时，获取操控靶瞄和预置光源的空间位置，从预置光源经操控靶瞄投射出去形成一条交互操控线，在点击指没有点击触碰触发区域前，一旦开关指离开并未触碰触发区域时，所述交互操控线消失；在显示交互操控线的同时，改变操控靶瞄指向能引导所述交互操控线移动，当交互操控线与虚拟空间内的虚拟物体或虚拟模型形成交叉点时，在该交叉点显示三维光标，若此时点击指触碰到触发区域，则对三维光标触碰的虚拟物体或虚拟模型实现虚拟触控。

所述获取操控靶瞄和预置光源的空间位置，包括如下步骤：

若预置光源在眼镜的可视范围内，且是操控靶瞄之外的双手上的某一预置关节，则操控靶瞄和预置光源采用相同的空间位置计算方法：将左右摄像头的中心点L/R的连线作为X轴，假定在左摄像头视场中，左摄像头的中心点L与待计算空间位置的目标点的连线与X轴的夹角为，则目标点的夹角为/>，同理，在右摄像头视场中，右摄像头的中心点R与待计算空间位置的目标点的连线与X轴的夹角为/>,则目标点的夹角为/>；设左右摄像头两中心点L和R的视差距离为d,计算目标点的位置(X,Z)，具体为：

若目标点落在左右摄像头两中心点L和R之间，则

若目标点落在左摄像头中心点L的左侧，则

若目标点落在右摄像头中心点R的右侧，则

定义Y的原点为显示屏视频帧图像最下方的任一点，取目标点在视频帧图像中的像素位置Y值作为目标点空间位置(X,Y,Z)中的Y值；

若预置光源不在眼镜的可视范围内，所述预置光源采用与上述操控靶瞄不同的空间位置计算方法：采用双目正中间的眼镜中心点（X_中心，Y_中心）的相对位置作为光源，当将右手的关节或指尖作为操控靶瞄时，该眼镜中心点的相对位置（X_光源，Y_光源）中 ，X_光源=X_中心+βx，Y_光源=Y_中心-βy；当将左手的关节或指尖作为操控靶瞄时，该眼镜中心点的相对位置（X_光源，Y_光源）中 ，X_光源=X_中心-βx，Y_光源=Y_中心-βy，该βx和βy为预置的偏移值。

所述开关指或点击指作为触发指尖T触碰到触发区域,具体判断步骤如下：

设置与操控靶瞄绑定的触发区域宽度为W,在平行于X轴向左W/2和向右W/2处，取左触发判断点WL和右触发判断点WR，即左触发判断点WL和右触发判断点WR为触发区域左右两边界对应的点；***获取有视差距离的N个图像视频流，其中N为整数，，针对相同帧的N个图像，追踪并判断所有图像中触发指尖T的位置是否落入触发区域对应的左触发判断点WL和右触发判断点WR之间，若是落入，计算每个图像内的三个目标点的位置值,所述目标点包括左触发判断点WL、触发指尖T和右触发判断点WR，取三个目标点的位置值中的X轴值（WRX,TX,WLX）,分别计算WL与T的差值和T与WR的差值的比值(TX-WRX):(WLX-TX)，仅当N个图像的所有比值皆相同时，则表示触发指尖T触碰到触发区域。

所述虚拟触控指的是，将大拇指的指尖设为操控靶瞄，在其他四个手指中，选一指设为点击指，将其余三指中至少一指设为启动三维光标投射的开关指，若设有多个开关指，则多个开关指定义启动不同的功能。

所述虚拟触控指的是，将大拇指的指尖设为操控靶瞄，在其他四个手指中，选一指设为启动三维光标投射的开关指，将另外两指分别定义为鼠标右按键点击指和鼠标左按键点击指。

所述交互操控线是无固定长度的激光笔的直线型射线或钓鱼竿的抛物线型射线。

所述交互操控线是预置长度的虚拟画笔，该交互操控线远端是笔尖位置，在显示虚拟画笔的同时，通过点击指触碰触发区域，该笔尖在空中显示点或者笔迹，实现画图或写字的操控。

一种头戴式显示设备，所述头戴式显示设备包括用于摄取目标区域的目标图像的至少两个摄像头；所述头戴式显示设备还包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现上述任一种三维光标实现虚拟触控的方法。

一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现上述任一种三维光标实现虚拟触控的方法。

一种运行指令的芯片，该芯片包括内部封装的集成电路基片，所述集成电路基片用于执行上述任一种三维光标实现虚拟触控的方法。

本发明以手指尖、手关节或多关节的加权均值位置作为三维光标的操控靶瞄，预置以手关节或身体部位或眼镜中心点换算的光源，从光源位置经过操控靶瞄投射出去的非固定或固定长度的射线，形成可裸手操控的远端光标或虚拟画笔，从而实现三维虚拟空间的触控操作或写字或绘图，具有如下技术效果：

（1）本发明中XR眼镜智能终端利用多个摄像头以及摄像头之间的视差或物理距离来换算手指关节的三维空间位置(X,Y,Z)，从而可以快速计算得到操控靶瞄和预置光源的三维空间位置，进而可以从预置光源经操控靶瞄投射出去形成一条交互操控线；

（2）本发明在操控靶瞄上绑定触发区域，定义启动三维光标投射的开关指和用于触碰触发区域的点击指；当开关指触碰到触发区域时，获取操控靶瞄和预置光源的空间位置，从预置光源经操控靶瞄投射出去形成一条交互操控线，在点击指没有点击触碰触发区域前，一旦开关指离开并未触碰触发区域时，所述交互操控线消失；在显示交互操控线的同时，改变操控靶瞄指向能引导所述交互操控线移动，当交互操控线与虚拟空间内的虚拟物体或虚拟模型形成交叉点时，在该交叉点显示三维光标，若此时点击指触碰到触发区域，则对三维光标触碰的虚拟物体或虚拟模型实现虚拟触控。采用上述技术方案，本发明能通过裸手形成非固定或固定长度的交互操控线，实现三维虚拟空间的触控操作或写字或绘图。

附图说明

图1为Mediapipe官网上给出的人手可识别的21个关节点和关节点名称；

图2为本发明中透过智能眼镜的左摄像头计算关节点空间位置的示意图；

图3为本发明中透过智能眼镜的右摄像头计算关节点空间位置的示意图；

图4为本发明中单根手指的两关节点通过对应Y位置形成三维方向示意图；

图5为本发明以眼镜中心换算预置光源并通过拇指尖投射形成交互操控线的示意图；

图6为本发明中实现鼠标左右按键操控时无名指为开关指的示意图；

图7为本发明中实现鼠标左右按键操控时食指为右按键点击指的示意图；

图8为本发明中实现鼠标左右按键操控时中指为左按键点击指的示意图；

图9为本发明中当触发指尖未触碰触发区域左右图像合并中触发指尖与两触发判断点的比例关系示意图；

图10为本发明中当触发指尖触碰触发区域左右图像合并中触发指尖与两触发判断点的比例关系示意图；

图11为本发明中当触发指尖未触碰（上）和触碰（下）触发区域时左右图像中触发指尖与两触发判断点的比例关系示意图；

图12为本发明中一种头戴式显示设备的功能结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明，本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或方案不应被解释为比其它实施例或方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本发明技术实现的原理说明：

（1）关于获取手掌位置信息所采用的识别模型：市面上能获取人手关节平面位置的预训练人手关节检测模型开源软件，本发明以Mediapipe为例进行说明。Mediapipe是Google的一个开源项目，是一个机器学习且主要是视觉算法的工具库，集成了人脸检测、人脸关键点、手势识别、头像分割、姿态识别等一大批模型，如图1所示，能输出人手在视频画面中21个关节点（也称关键点）的带有时序的位置信息。一般人手关节检测模型输出的是摄像画面上以(X,Y)像素作为X和Y轴的关节位置信息。本发明也可以采用自己训练的人手关节检测模型。本发明还包括用人工智能芯片如GPU图形处理器或NPU神经网络处理器，通过标签的卷积KNN、RNN、Transformer或其他学习模型加Reinforced或任何增强预训练方法进行学习识别。

（2）关于关节点空间位置的计算：

如图2所示，将左右摄像头的中心点L/R的连线作为X轴，假定在左摄像头视场中，左摄像头的中心点L与待计算空间位置的关节点的连线与X轴的夹角为，则关节点的夹角为/>，同理，如图3所示，在右摄像头视场中，右摄像头的中心点R与待计算空间位置的关节点的连线与X轴的夹角为/>,则关节点的夹角为/>；

设左右摄像头两中心点L和R的视差距离为d,计算关节点位置(X,Z)，具体为：

若关节点落在左右摄像头两中心点L和R之间，则

若关节点落在左摄像头中心点L的左侧，则

若关节点落在右摄像头中心点R的右侧，则

以上举例用TAN和COT计算，本发明也可以用任何三角计算方法实现。

由于本发明定义X轴为眼镜左右双目的平行线，因此视差只会产生在X轴上。那么Y轴就不会有视差。左右眼看到的Y一定是一样的。我们可以定义Y的原点为显示屏视频帧图像的最下方或其他可定义的位置。这样向上多少Y像素（或其换算的距离单位）就是Y轴的数字。在关节点(X,Z)位置中增加Y值就形成了关节点位置(X,Y,Z)，如图4所示。

（3）获取预置光源的空间位置：

在虚拟空间显示三维光标需要形成射线，而射线发射则需要一个发射源或预置光源。将光源投射到的某个预置关节/指尖或多个关节的加权均值位置称之为操控靶瞄。从预置光源经操控靶瞄形成射线方向，投射出去显示交互操控线，该交互操控线的远端在某虚拟物体表面时显示“影子”或三维光标。

如果预置光源在眼镜的可视范围内，且是操控靶瞄之外的双手上的某一预置关节，则采用（2）中关于关节点空间位置的计算方法获取预置光源的空间位置。

如果预置光源不在眼镜的可视范围内，本发明采用眼镜或与眼镜相对的位置Offset作为光源位置。一般来说光源如果是眼镜双目正中间的位置的话，光源投射到大拇指的指尖作为操控靶瞄所产生的射线投射到某物体的三维光标会被自己的大拇指挡住，导致使用者透过眼镜的显示屏看不到三维光标。公开的文章或专利经常用肩膀或胯部作为光源，但未公开如何计算肩膀或胯部的三维空间位置。本发明采用双目正中间的眼镜中心点（X_中心，Y_中心）的相对位置Offset作为光源，若将右手大拇指的指尖作为操控靶瞄时，该眼镜中心点的相对位置（X_光源，Y_光源）中，X_光源=X_中心+βx，Y_光源=Y_中心-βy；若将左手大拇指的指尖作为操控靶瞄时，该眼镜中心点的相对位置（X_光源，Y_光源）中，X_光源=X_中心-βx，Y_光源=Y_中心-βy，该偏移值βx和βy可以根据需要预置，例如可取20厘米和30厘米；如图5所示，此时光源的相对位置不在眼镜正中间而是在一侧下方时，通过作为操控靶瞄的大拇指的指尖投射到某虚拟物体的三维光标就不会被自己的手遮挡，可被清楚地看到。

（4）触发手指T与触发区域的触碰判断：

设置宽度为W的触发区域,在平行于X轴向左W/2和向右W/2处，取左触发判断点WL和右触发判断点WR，即左触发判断点WL和右触发判断点WR为触发区域左右两边界对应的点；***获取有视差距离的N个图像视频流，其中N为整数，，针对相同帧的N个图像，追踪并判断所有图像中触发指尖T的位置是否落入触发区域对应的左触发判断点WL和右触发判断点WR之间，若是落入，计算每个图像内的三个目标点的位置值，目标点包括左触发判断点WL、触发指尖T和右触发判断点WR，取三个目标点的位置值中的X轴值（WRX,TX,WLX）,分别计算WL与T的差值和T与WR的差值的比值(TX-WRX):(WLX-TX)，如图9至11所示，仅当N个图像的所有比值皆相同时，则表示触发指尖触碰到大拇指的指尖。图4为光源在可视范围内的关节位置，只要光源和操控靶瞄都在眼镜摄像头的可视范围内都可以实现投射影子光标的功能。

（5）三维光标实现虚拟触控的方法：

包括在操控靶瞄上绑定的触发区域、点击指和开关指，本实施例中将大拇指的指尖设为操控靶瞄，将食指设为点击指，将除大拇指和食指外的中指、无名指和小指设为启动三维光标投射的开关指，当开关指触碰到触发区域时，获取操控靶瞄和预置光源的空间位置，并将其连成一条直线或射线，并沿着直线或射线向操控靶瞄外的方向形成一条类似激光笔（直线）或钓鱼竿（抛物线）的交互操控线，在点击指没有点击触发区域前一旦开关指离开并未触碰触发区域时，所述交互操控线消失；在显示交互操控线的同时，改变操控靶瞄指向能引导所述交互操控线移动，当交互操控线与虚拟空间内的虚拟物体（或实物的虚拟模型）形成交叉点时，在该交叉点显示三维光标，若此时点击指触碰到触发区域，则对三维光标触碰的虚拟物体实现点击、拖拉、选择、绘画等各种类似鼠标按键的操作。如想实现鼠标左右按键操作，可以定义两个不同的点击指，例如将大拇指指尖设为操控靶瞄，如图6至8所示，将食指设为右按键点击指、中指设为左按键点击指和无名指设为启动三维光标投射的开关指，当大拇指指尖与无名指触碰显示交互操控线后，若食指触碰触发区域，就是鼠标右按键点击动作，若中指触碰触发区域，就是鼠标左按键点击动作。

（6）三维画笔实现虚拟画写等虚拟操控：

所述交互操控线为预置长度的虚拟画笔，该交互操控线远端是笔尖位置，通过点击指触碰触发区域，该虚拟画笔的笔尖可以在空中显示点或者笔迹，实现类似画图、写字等空间书写或绘画操控。

实施例一

本发明的实施例一，涉及一种三维光标实现虚拟触控的方法，应用于XR扩展现实可穿戴设备、头戴式显示装置的***，在虚拟空间中，将被预置光源投射到的某个预置的人手关节/指尖或多个关节的加权均值位置定义为操控靶瞄，从预置光源经操控靶瞄投射出去形成交互操控线，并在交互操控线的远端显示三维光标，具体包括如下步骤：

步骤1、在操控靶瞄上绑定触发区域，定义启动三维光标投射的开关指和用于触碰触发区域的点击指，本实施例中，将大拇指的指尖设为操控靶瞄，将食指设为点击指，将除大拇指和食指外的中指、无名指和小指取其一设为启动三维光标投射的开关指，或者分别设为不同的开关指，不同的开关指可以定义启动不同的功能；

步骤2、当开关指触碰到触发区域时，获取操控靶瞄和预置光源的空间位置，从预置光源经操控靶瞄投射出去形成并显示一条交互操控线，在点击指没有点击触碰触发区域前，一旦开关指离开并未触碰触发区域时，所述交互操控线消失；在显示交互操控线的同时，改变操控靶瞄指向能引导所述交互操控线移动，当交互操控线与虚拟空间内的虚拟物体或实物的虚拟模型形成交叉点时，在该交叉点显示三维光标，若此时点击指触碰到触发区域，则对三维光标触碰的虚拟物体或虚拟模型实现虚拟触控。

所述获取操控靶瞄和预置光源的空间位置，具体计算包括如下步骤：

若预置光源在眼镜的可视范围内，且是操控靶瞄之外的双手上的某一预置关节，则操控靶瞄和预置光源采用相同的空间位置计算方法：将左右摄像头的中心点L/R的连线作为X轴，假定在左摄像头视场中，左摄像头的中心点L与待计算空间位置的目标点的连线与X轴的夹角为，则目标点的夹角为/>，同理，如图3所示，在右摄像头视场中，右摄像头的中心点R与待计算空间位置的目标点的连线与X轴的夹角为/>,则目标点的夹角为/>；

设左右摄像头两中心点L和R的视差距离为d,计算目标点的位置(X,Z)，具体为：

若目标点落在左右摄像头两中心点L和R之间，则

若目标点落在左摄像头中心点L的左侧，则

若目标点落在右摄像头中心点R的右侧，则

定义Y的原点为显示屏视频帧图像最下方的任一点，取目标点在视频帧图像中的像素位置Y值作为目标点空间位置(X,Y,Z)中的Y值；

若预置光源不在眼镜的可视范围内，所述预置光源采用与上述操控靶瞄不同的空间位置计算方法：采用双目正中间的眼镜中心点（X_中心，Y_中心）的相对位置作为光源，若将右手的关节/指尖作为操控靶瞄时，该眼镜中心点的相对位置（X_光源，Y_光源）中 ，X_光源=X_中心+βx，Y_光源=Y_中心-βy；若将左手的关节/指尖作为操控靶瞄时，该眼镜中心点的相对位置（X_光源，Y_光源）中 ，X_光源=X_中心-βx，Y_光源=Y_中心-βy，该βx和βy为偏移值；

所述开关指或点击指作为触发指尖T触碰到触发区域,具体判断步骤如下：

设置与操控靶瞄绑定的触发区域宽度为W,在平行于X轴向左W/2和向右W/2处，取左触发判断点WL和右触发判断点WR，即左触发判断点WL和右触发判断点WR为触发区域左右两边界对应的点；***获取有视差距离的N个图像视频流，其中N为整数，，针对相同帧的N个图像，追踪并判断所有图像中触发指尖T的位置是否落入触发区域对应的左触发判断点WL和右触发判断点WR之间，若是落入，计算每个图像内的三个目标点的位置值,所述目标点包括左触发判断点WL、触发指尖T和右触发判断点WR，取三个目标点的位置值中的X轴值（WRX,TX,WLX）,分别计算WL与T的差值和T与WR的差值的比值(TX-WRX):(WLX-TX)，仅当N个图像的所有比值皆相同时，则表示触发指尖T触碰到触发区域；

所述虚拟触控指的是，将大拇指的指尖设为操控靶瞄，在其他四个手指中，选一指设为点击指，例如食指，将其余三指中至少一指设为启动三维光标投射的开关指，若设有多个开关指，则多个开关指定义启动不同的功能。例如中指对应三维光标，无名指对应虚拟画笔。

所述虚拟触控指的是，将大拇指的指尖设为操控靶瞄，在其他四个手指中，选一指设为启动三维光标投射的开关指，例如无名指，将另外两指分别定义为鼠标左按键点击指和鼠标左按键点击指，例如食指和中指。

所述交互操控线是无固定长度的类似激光笔的直线型射线或类似钓鱼竿的抛物线型射线。

所述交互操控线是预置长度的虚拟画笔，该交互操控线远端是笔尖位置，在显示虚拟画笔的同时，通过点击指触碰触发区域，该笔尖在空中显示点或者笔迹，实现类似画图或写字的操控。

专业人员应该还可以进一步意识到，结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。

实施例二

本发明实施例二提供一种头戴式显示设备，如图12所示，该头戴式显示设备700可包括：存储器710、处理器720，该存储器710用于存储计算机程序，并将该程序代码传输给该处理器720。换言之，该处理器720可以从存储器710中调用并运行计算机程序，以实现本申请实施例中的方法。例如，该处理器720可用于根据该计算机程序中的指令执行实施例一方法所描述的处理步骤。

在本申请的一些实施例中，该处理器720可以包括但不限于：

通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。

在本申请的一些实施例中，该存储器710包括但不限于：易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器 (Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。

在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器710中，并由该处理器720执行，以完成本申请提供的实施例一的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该头戴式显示设备700的执行过程。

如图12所示，该头戴式显示设备还可包括：收发器730，该收发器730可连接至该处理器720或存储器710。其中，处理器720可以控制该收发器730与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器730可以是用于摄取目标区域的目标图像的至少两个摄像头。

应当理解，该头戴式显示设备700中的各个组件通过总线***相连，其中，总线***除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

实施例三

本发明实施例三还提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述实施例一方法所描述的处理步骤。

实施例四

本发明实施例五还提供一种运行指令的芯片，该芯片包括内部封装的集成电路基片，所述集成电路基片用于执行前述实施例一方法所描述的处理步骤。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种三维光标实现虚拟触控的方法，应用于XR扩展现实可穿戴设备、头戴式显示装置的***，其特征在于，在虚拟空间中，将预置光源投射到的人手关节或指尖或多个关节的加权均值位置定义为操控靶瞄，从预置光源经操控靶瞄投射出去形成交互操控线，并在交互操控线的远端显示三维光标，具体包括如下步骤：

步骤1、在操控靶瞄上绑定触发区域，定义启动三维光标投射的开关指和用于触碰触发区域的点击指；

步骤2、当开关指触碰到触发区域时，获取操控靶瞄和预置光源的空间位置，从预置光源经操控靶瞄投射出去形成一条交互操控线，在点击指没有点击触碰触发区域前，一旦开关指离开并未触碰触发区域时，所述交互操控线消失；在显示交互操控线的同时，改变操控靶瞄指向能引导所述交互操控线移动，当交互操控线与虚拟空间内的虚拟物体或虚拟模型形成交叉点时，在该交叉点显示三维光标，若此时点击指触碰到触发区域，则对三维光标触碰的虚拟物体或虚拟模型实现虚拟触控。

2.根据权利要求1所述的一种三维光标实现虚拟触控的方法，其特征在于，所述获取操控靶瞄和预置光源的空间位置，包括如下步骤：

若预置光源在眼镜的可视范围内，且是操控靶瞄之外的双手上的某一预置关节，则操控靶瞄和预置光源采用相同的空间位置计算方法：将左右摄像头的中心点L/R的连线作为X轴，假定在左摄像头视场中，左摄像头的中心点L与待计算空间位置的目标点的连线与X轴的夹角为，则目标点的夹角为/>，同理，在右摄像头视场中，右摄像头的中心点R与待计算空间位置的目标点的连线与X轴的夹角为/>,则目标点的夹角为/>；设左右摄像头两中心点L和R的视差距离为d,计算目标点的位置(X,Z)，具体为：

若目标点落在左右摄像头两中心点L和R之间，则

若目标点落在左摄像头中心点L的左侧，则

若目标点落在右摄像头中心点R的右侧，则

定义Y的原点为显示屏视频帧图像最下方的任一点，取目标点在视频帧图像中的像素位置Y值作为目标点空间位置(X,Y,Z)中的Y值；

若预置光源不在眼镜的可视范围内，所述预置光源采用与上述操控靶瞄不同的空间位置计算方法：采用双目正中间的眼镜中心点（X_中心，Y_中心）的相对位置作为光源，当将右手的关节或指尖作为操控靶瞄时，该眼镜中心点的相对位置（X_光源，Y_光源）中 ，X_光源=X_中心+βx，Y_光源=Y_中心-βy；当将左手的关节或指尖作为操控靶瞄时，该眼镜中心点的相对位置（X_光源，Y_光源）中 ，X_光源=X_中心-βx，Y_光源=Y_中心-βy，该βx和βy为预置的偏移值。

3.根据权利要求1所述的一种三维光标实现虚拟触控的方法，其特征在于，所述开关指或点击指作为触发指尖T触碰到触发区域,具体判断步骤如下：

设置与操控靶瞄绑定的触发区域宽度为W,在平行于X轴向左W/2和向右W/2处，取左触发判断点WL和右触发判断点WR，即左触发判断点WL和右触发判断点WR为触发区域左右两边界对应的点；***获取有视差距离的N个图像视频流，其中N为整数，，针对相同帧的N个图像，追踪并判断所有图像中触发指尖T的位置是否落入触发区域对应的左触发判断点WL和右触发判断点WR之间，若是落入，计算每个图像内的三个目标点的位置值,所述目标点包括左触发判断点WL、触发指尖T和右触发判断点WR，取三个目标点的位置值中的X轴值（WRX,TX,WLX）,分别计算WL与T的差值和T与WR的差值的比值(TX-WRX):(WLX-TX)，仅当N个图像的所有比值皆相同时，则表示触发指尖T触碰到触发区域。

4.根据权利要求1所述的一种三维光标实现虚拟触控的方法，其特征在于，所述虚拟触控指的是，将大拇指的指尖设为操控靶瞄，在其他四个手指中，选一指设为点击指，将其余三指中至少一指设为启动三维光标投射的开关指，若设有多个开关指，则多个开关指定义启动不同的功能。

5.根据权利要求1所述的一种三维光标实现虚拟触控的方法，其特征在于，所述虚拟触控指的是，将大拇指的指尖设为操控靶瞄，在其他四个手指中，选一指设为启动三维光标投射的开关指，将另外两指分别定义为鼠标右按键点击指和鼠标左按键点击指。

6.根据权利要求1所述的一种三维光标实现虚拟触控的方法，其特征在于，所述交互操控线是无固定长度的激光笔的直线型射线或钓鱼竿的抛物线型射线。

7.根据权利要求1所述的一种三维光标实现虚拟触控的方法，其特征在于，所述交互操控线是预置长度的虚拟画笔，该交互操控线远端是笔尖位置，在显示虚拟画笔的同时，通过点击指触碰触发区域，该笔尖在空中显示点或者笔迹，实现画图或写字的操控。

8.一种头戴式显示设备，其特征在于，所述头戴式显示设备包括用于摄取目标区域的目标图像的至少两个摄像头；所述头戴式显示设备还包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现所述权利要求1至7中任一种三维光标实现虚拟触控的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现所述权利要求1至7中任一种三维光标实现虚拟触控的方法。

10.一种运行指令的芯片，该芯片包括内部封装的集成电路基片，其特征在于，所述集成电路基片用于执行所述权利要求1至7中任一种三维光标实现虚拟触控的方法。