CN114281193A - 环幕场景下基于手势识别的虚拟现实交互装置 - Google Patents

Abstract

本发明公开了一种环幕场景下基于手势识别的虚拟现实交互装置，其适用于环幕场景。本发明使得用户能够利用手势与虚拟场景进行交互、实现漫游，并且可以多人协同操作；该装置能够通过定位设备追踪用户的位置，通过手部追踪模块追踪手的位姿信息，识别用户的手势信息，使得用户做出的手势能够在虚拟世界中得到相应的实时反馈，最终在环幕进行展示；该装置包括定位设备、手部追踪模块、环幕、3D眼镜、图形工作站、通信模块；本发明实现了只依靠手势、识别精度高、设备轻量且支持多人协同操作的虚拟现实交互、漫游功能。

Description

环幕场景下基于手势识别的虚拟现实交互装置

技术领域

本发明涉及虚拟现实和人机交互领域，具体涉及一种环幕场景下基于手势识别的虚拟现实交互装置。本发明应用于环幕投影显示***场景下，实现了只依靠手势、识别精度高、设备轻量、支持多人协同操作的虚拟现实交互功能。

背景技术

虚拟现实(Virtual reality，VR)又称虚拟环境，主要是利用计算机刺激产生三维的视觉虚拟世界，使用户在虚拟的三维世界中产生身临其境的感觉和探索。也就是说，虚拟现实设备可以根据用户的位置和视角产生相应的图像，使用户在其运动过程中感受到存在感。

目前常用的VR显示设备包括外接式头显、一体机、手机盒子、环幕投影显示***等，其中环幕投影显示***因为其可以被多人同时观赏的特性应用广泛，常见于展馆展示和虚拟仿真等应用场景。

环幕投影显示***通常又称为环幕投影***，是虚拟三维投影显示***中一种沉浸式虚拟仿真环境，***采用环形的投影屏幕作为仿真应用的显示载体。

常见的基于环幕投影显示***的虚拟现实交互方法，多采用定位设备采集用户位置，手柄采集用户指令的方式进行。采用手柄的好处是识别精度高，但当用户身处虚拟世界，所见所感是一个虚拟的世界，与其进行交互的方式却需要借助外物，无法满足虚拟现实体验对于沉浸感的要求。

采用手势识别的方法进行交互，用户只需要利用手势发出指令，就可以与虚拟现实场景进行交互，满足虚拟现实体验的沉浸感。但在实际应用里会遇到诸多问题，一方面，手势的设计没有明确的标准,另一方面，往往会因为手势自遮挡或者识别精度不够导致手势的识别错误。

此外，常见的虚拟现实装置，为了满足对手势的识别，采用的方法主要有两种，(i)在场景中配置红外线发射器；(ii)采集图像用计算机视觉的方法进行处理。不管是哪种方法，都需要完成对数据的采集、处理，这使得整个装置的配置变得复杂而昂贵。而且这两种方法识别精度都不够高，采用红外线发射器在环幕投影***的环境下，受到识别距离的限制，而采用计算机视觉的方法，受到算法本身的限制，都无法精准识别手势。

在环幕投影***的环境中，通过定位设备获取用户的位置，使得用户的走动可以反馈到虚拟世界里，实现虚拟世界的漫游效果。但在实际应用中，受到环境配置和硬件条件的限制，当用户与环幕过近时，所看到的画面会发生极大的模糊，影响观感，而且此时用户不得不后退，即对虚拟世界的漫游是受到限制的。虽然使用手柄的指令进行漫游可以解决这个问题，但是如前面所述，会削弱虚拟现实体验过程中用户的沉浸感。

在传统的应用场景中，环幕投影***环境中与虚拟世界产生交互的只有一名用户，此用户通过手柄向处理程序发送指令。虽然其他用户可以戴上3D眼镜对虚拟世界进行观察，但是无法与其产生交互。而真实世界里，环境中的所有参与者都是可以与世界产生交互效果的，这就导致虚拟现实的沉浸感下降，应用环境受到限制。若需要满足此项功能，则需要为所有用户都配置手柄或其他指令装置，这使得整个***的配置变得昂贵而复杂。

因此，如何解决上述现有技术的不足，是本发明所面临的问题。

发明内容

本发明提供了一种环幕场景下基于手势识别的虚拟现实交互装置，其可以应用于环幕场景下，基于手部追踪模块进行，其包括:获取用户位置的定位设备，获取用户手势的手部追踪模块，展示立体效果的3d眼镜及环幕投影***。

本发明即将其技术问题所采用的技术方案如下：

本发明适用于环幕场景；本发明使得用户能够利用手势与虚拟场景进行交互、实现漫游，并且可以多人协同操作；该装置能够通过定位设备追踪用户的位置，通过手部追踪模块追踪手的位姿信息，识别用户的手势信息，使得用户做出的手势能够在虚拟世界中得到相应的实时反馈，最终在环幕进行展示；该装置包括定位设备、手部追踪模块、环幕、3D眼镜、图形工作站、通信模块；

所述的手部追踪模块、定位设备的***安装在3D眼镜上由用户佩戴，将定位设备的定位基站放置在环幕的中央区域；利用定位设备获取用户的位置；利用手部追踪模块获取用户的手的位姿信息，并经过通信模块将位姿信息发送给图形工作站；图形工作站将用户的局部坐标系与环幕所展示的虚拟世界的世界坐标***一；图形工作站对手的位姿信息进行处理，将处理好的信息在环幕上进行仿真还原；若处理后的信息满足某种指令手势对位姿的要求，则根据该手势代表的意义，图形工作站发出的指令，虚拟世界里进行相应指令的反馈，重新渲染显示；

进一步的，所述的手部追踪模与3D眼镜组装在一起，依靠手部追踪模中的红外线发射器获取该模块局部坐标系中的空间位置信息；

手部追踪模块能够识别多只手的位姿信息，手的位姿信息包括左右手、手心手背、手的关节的空间位置信息，且图形工作站按毫秒级的频率对空间位置信息进行获取；手部追踪模块能够同时追踪多只手的位姿信息，以唯一ID进行区分；

所述的唯一ID在图形工作站中添加；当图形工作站接收到手部追踪模块发送的手的位姿信息后，按照这些手的空间位置关系给每只手添加唯一ID。

进一步的，坐标统一实现如下：所述的用户的手的位姿信息所在的局部坐标系，通过定位设备的***到定位基站的空间坐标映射关系同步到虚拟世界的世界坐标系；

进一步的，所述的手势信息包括静态手势和动态手势；图形工作站对手势的识别的过程中，其识别顺序是动态手势的优先级高于静态手势的优先级。

进一步的，虚拟场景中进行的交互、漫游，其实现是通过识别用户的手势信息完成的。

进一步的，所述的多人协同交互方式，通过手部追踪模块识别多只手的位姿信息实现，使得多人可以对同一虚拟世界进行协同交互。

进一步的，所述的多人协同交互方式，可以通过给每个用户添加一套手部追踪模块、定位设备***实现，使得多人可以对同一虚拟世界进行协同交互。

进一步的，多人协同交互的实现如下：对于多个手部追踪模块发送的手的位姿信息，图形工作站能够通过坐标***一；将所有手的位姿信息统一到环幕所展示的虚拟世界的世界坐标系，并按照空间位置关系为每只手添加唯一ID，使得对于现实世界中的每只手，在不同手部追踪模块中都能得到唯一的表达。

进一步的，通过多个手部追踪模块追踪手的位姿信息，能够避免在识别手势时出现因自遮挡而导致的识别错误情况；其原理是，图形工作站接收所有手部追踪模块发送的手的位姿信息，为每只手添加唯一ID后，根据ID分析每只手在不同手部追踪模块里得到的位姿信息，取多数手部追踪模块得到的该手的位姿信息为该手最终的位姿信息，而对其他结果认为是由于自遮挡而得出的结果，进行舍弃。

进一步的，利用多个手部追踪模块避免自遮挡，当出现多个手部追踪模块对同一只手的位姿信息的分析结果呈多种位姿信息得分相同时，则随机一种位姿信息作为该手的位姿信息，并不进行此位姿信息是否表示某种指令手势的判断。

本发明有益效果如下：

在某些特定场景下，比如仿真环境展示或者虚拟场馆漫游等，为了提高虚拟现实的体验感，通用的方式往往会为用户指定观察点。而本发明在此情况下使用时，当需要为多名用户配置硬件装置以实现多人协同交互时，就不需要为其额外配置定位设备***。此外，此种应用条件下，采用本发明所设计的技术，不会出现因为与环幕屏幕距离过近而导致的画面模糊，观感下降。

在硬件配置方面，本发明所涉及的交互方法，其虚拟现实场景的展示仅需要用到普通3D眼镜，而且整个装置的配置是轻量化的，用户长时间使用也不会产生明显的不适感。

本发明设计的装置在具体使用过程中，仅需要进行简单的环境配置即可，相比传统的环幕环境下基于手势识别的虚拟现实交互应用，用户的负担大大减小。

附图说明

此处所说明的附图用来提供对本发明示例的进一步理解，构成本申请的一部分，并不构成对本发明示例的限定。在附图中：

图1是配置于用户的设备的硬件示意图，包括3D眼镜、定位设备***、手部追踪模块。

图2是图1所示设备的底部示意图。

图3是定位设备***的示意图。

图4是本发明所设计的交互装置的单人使用情况示意图。

图5是本发明所设计的交互装置的多人协同使用情况示意图。

图6是本发明所设计的一套用于交互的指令手势中静态手势的示意图。

图7是本发明所设计的一套用于交互的指令手势中动态手势的部分手势示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实例和附图，对本发明作进一步的详细说明，包括本发明的具体功能模块、运行方式和实现方法。在本实施例中，定位设备使用Nolo Cv1 Pro定位交互设备，手部追踪模块采用Ultraleap Stereo IR170。需要强调的是，以下实施例及其说明是本发明的优选实施例，而非全部实施例，仅用以解释本发明，而不是想要限制本发明的范围。即在应用过程中，可根据实际情况选择不同的定位交互设备和手部追踪模块，只要硬件满足功能，即可采用本发明所设计的方法进行配置。

本发明设计的装置在具体使用过程中，仅需要进行简单的环境配置即可，相比传统的环幕环境下基于手势识别的虚拟现实交互应用，用户的负担大大减小。

本发明所设计的虚拟现实交互装置，其工作流程是：利用定位设备获取用户的位置；利用手部追踪模块获取用户的手的位姿信息，并经过通信模块将位姿信息发送给图形工作站；图形工作站将用户的局部坐标系与环幕所展示的虚拟世界的世界坐标***一；图形工作站对手的位姿信息进行处理，将处理好的信息在环幕上进行仿真还原；若处理后的信息满足某种指令手势对位姿的要求，则根据该手势代表的意义，图形工作站发出的指令，虚拟世界里进行相应指令的反馈，重新渲染显示。

图1示出了本发明所设计的配置于用户的装置的硬件情况，包括3D眼镜、定位设备的***、手部追踪模块。本装置通过一个支架，将***100、手部追踪模块101和3D眼镜102连接在一起。整个装置的配置是轻量化的，用户长时间的佩戴也不会产生明显的不适感。

本实施例所选用的手部追踪模块是Ultraleap Stereo IR 170。IR 170是光学手动跟踪模块，它被设计成集成到企业级硬件解决方案、显示器、安装和虚拟/扩增实境耳机中。IR 170使用与其前代产品Leap Motion Controller相同的核心软件。两者都能识别27种不同的手部元素，包括骨骼和关节，即使它们被手的其他部位遮挡，也能跟踪它们。IR170具有更宽的视野、更长的跟踪范围、更低的功耗和更小的外形尺寸。它能够在从10厘米(4英寸)到75厘米(29.5英寸)或更大的3D交互区域内跟踪手，该设备具有170°x170°的宽阔视野(最小160°x160°)。

在使用时，定位基站103通过***100获取到装置的空间位置数据，手部追踪模块101通过手部追踪模块的红外线发射器向着用户面部朝向的下前方发射红外线获取手的空间深度数据，在数据中按照手的指节进行提取，得到一组数据，即手的位姿信息，以手部追踪模块所在的局部坐标系的空间坐标数据表示。在计算机程序中可以根据此数据还原出仿真的手的形象。相比传统方法，经过本发明设计的方式配置后，手部追踪模块对手势的识别精度大大提高，只需要进行坐标系的简单转换，将局部坐标***一到虚拟世界的世界坐标系即可。

图2从底部展示了图1的结构。

图3是定位设备的定位基站的示意图。在本发明中选用的定位设备是Nolo Cv1Pro定位交互设备，此设备包括基站、***、手柄，在本次使用过程中，与虚拟世界产生的交互是完全依靠手势进行。

图4是本发明所设计的交互装置的单人使用情况示意图。在具体使用过程中，仅需要进行简单的环境配置即可，相比传统的环幕环境下基于手势识别的虚拟现实交互应用，用户的负担大大减小。本发明环境配置的流程是：(i)用户佩戴上3D眼镜、手部追踪模块、及定位设备的***，这些装置与传统的VR头戴式显示设备相比，是极为轻量的；(ii)将定位设备的定位基站放置在环幕的中央区域。

图5是本发明所设计的交互装置的多人协同使用情况示意图。根据本发明所设计的交互技术，不需要额外添加硬件设施也可以实现多人协同交互，可以通过手部追踪模块识别多只手的数据实现，不同的手的数据以手的唯一ID进行区分。

而本实施例所展示的情况，如5图所示，是通过给每个用户添加一套手部追踪模块、定位设备***实现多人协同交互。这样做虽然需要额外配置硬件装置，但是好处是可以避免在识别手势时出现因自遮挡而导致的识别错误情况。其原理是，图形工作站接收所有手部追踪模块发送的手的位姿信息，为每只手添加唯一ID后，根据ID分析每只手在不同手部追踪模块里得到的位姿信息，取多数手部追踪模块得到的该手的位姿信息为该手最终的位姿信息，而对其他结果认为是由于自遮挡而得出的结果，进行舍弃；当出现多个手部追踪模块对同一只手的位姿信息的分析结果呈多种位姿信息得分相同时，则选择得分最高的随机一种位姿信息作为该手的位姿信息，并不进行此位姿信息是否表示某种指令手势的判断。

需要说明的是，本实施例所选用的定位设备Nolo Cv1 Pro定位交互设备，此设备包括基站、***、手柄，其中基站被配置为只能对一个***的空间位置坐标进行获取，是无法通过给多名用户分配定位设备***来实现多人协同交互的。但是，此设备的手柄是可以被基站采取空间位置坐标的，所以在具体实施中，可以通过将手柄也分配给用户，通过基站对***、手柄的空间位置坐标获取完成对用户的定位，使用此方法可以完成最多支持三人的多人协同交互功能。而且，在具体实施的时候手柄只是起到定位的作用，用户与虚拟世界产生的交互依然依靠手势识别来进行。此外，本实施例所选用的硬件配置并不作为对本方法的限定，所以在具体实施的时候，用户可以根据自己的需求选用不同的硬件设备来实现本发明所设计的技术。

在某些特定场景下，比如仿真环境展示或者虚拟场馆漫游等，为了提高虚拟现实的体验感，往往会为用户指定观察点或观察路线。本发明在此情况下使用时，当需要为多名用户配置硬件装置以实现多人协同交互时，就不需要为其额外配置定位设备***。此外，此种应用条件下，采用本发明所设计的技术，不会出现因为与环幕屏幕距离过近而导致的画面模糊，观感下降。

图6是本发明所设计的一套用于交互的指令手势中静态手势的示意图。本发明根据手掌、手指关节的位置、法向量、速率设计了一系列手势，包括静态手势和动态手势，在判断手部追踪模块获取到的手的空间位姿数据是否属于哪种手势时，优先级是动态手势大于静态手势，即，当手的空间位姿数据属于某种动态手势时，则不考虑其为静态手势。本发明设计的手势区分度高，易于识别，用户可以根据需求为手势指定不同的功能指令。如图6所示，第一行手势是手掌张开；第二行手势是食指L形手势、“I Love U”手势、拳头手势；第三行手势是“点赞”手势、食指点击手势、食指和中指点击手势；第四行手势是线条手势包括V形手势、Ok手势、食指和中指L形手势。

图7是本发明所设计的一套用于交互的指令手势中部分动态手势的示意图。如图7所示，图左是食指点击手势，图右是食指滑动手势，其余还有手的平移运动、手部旋转运动、手部圆周运动等等，用户可以根据需求为手势指定不同的功能指令。本发明所设计的用于交互的指令手势中的动态手势通过计算手指、手掌的位置关系及移动速度。如果总移动值大于一个用户定义的阈值，便认为手势发生变化，产生指令手势，否则就开始识别静态手势。

Claims (10)

1.环幕场景下基于手势识别的虚拟现实交互装置，其适用于环幕场景；本发明使得用户能够利用手势与虚拟场景进行交互、实现漫游，并且可以多人协同操作；该装置能够通过定位设备追踪用户的位置，通过手部追踪模块追踪手的位姿信息，识别用户的手势信息，使得用户做出的手势能够在虚拟世界中得到相应的实时反馈，最终在环幕进行展示；该装置包括定位设备、手部追踪模块、环幕、3D眼镜、图形工作站、通信模块；

所述的手部追踪模块、定位设备的***安装在3D眼镜上由用户佩戴，将定位设备的定位基站放置在环幕的中央区域；利用定位设备获取用户的位置；利用手部追踪模块获取用户的手的位姿信息，并经过通信模块将位姿信息发送给图形工作站；图形工作站将用户的局部坐标系与环幕所展示的虚拟世界的世界坐标***一；图形工作站对手的位姿信息进行处理，将处理好的信息在环幕上进行仿真还原；若处理后的信息满足某种指令手势对位姿的要求，则根据该手势代表的意义，图形工作站发出的指令，虚拟世界里进行相应指令的反馈，重新渲染显示。

2.根据权利要求1所述的环幕场景下基于手势识别的虚拟现实交互装置，其特征在于所述的手部追踪模与3D眼镜组装在一起，依靠手部追踪模中的红外线发射器获取该模块局部坐标系中的空间位置信息；

手部追踪模块能够识别多只手的位姿信息，手的位姿信息包括左右手、手心手背、手的关节的空间位置信息，且图形工作站按毫秒级的频率对空间位置信息进行获取；手部追踪模块能够同时追踪多只手的位姿信息，以唯一ID进行区分；

所述的唯一ID在图形工作站中添加；当图形工作站接收到手部追踪模块发送的手的位姿信息后，按照这些手的空间位置关系给每只手添加唯一ID。

3.根据权利要求1或2所述的环幕场景下基于手势识别的虚拟现实交互装置，其特征在于坐标统一实现如下：所述的用户的手的位姿信息所在的局部坐标系，通过定位设备的***到定位基站的空间坐标映射关系同步到虚拟世界的世界坐标系。

4.根据权利要求1或2所述的环幕场景下基于手势识别的虚拟现实交互装置，其特征在于所述的手势信息包括静态手势和动态手势；图形工作站对手势的识别的过程中，其识别顺序是动态手势的优先级高于静态手势的优先级。

5.根据权利要求4所述的环幕场景下基于手势识别的虚拟现实交互装置，其特征在于虚拟场景中进行的交互、漫游，其实现是通过识别用户的手势信息完成的。

6.根据权利要求1所述的环幕场景下基于手势识别的虚拟现实交互装置，其特征在于所述的多人协同交互方式，通过手部追踪模块识别多只手的位姿信息实现，使得多人可以对同一虚拟世界进行协同交互。

7.根据权利要求1所述的环幕场景下基于手势识别的虚拟现实交互装置，其特征在于所述的多人协同交互方式，可以通过给每个用户添加一套手部追踪模块、定位设备***实现，使得多人可以对同一虚拟世界进行协同交互。

8.根据权利要求1所述所述的环幕场景下基于手势识别的虚拟现实交互装置，其特征在于多人协同交互的实现如下：对于多个手部追踪模块发送的手的位姿信息，图形工作站能够通过坐标***一；将所有手的位姿信息统一到环幕所展示的虚拟世界的世界坐标系，并按照空间位置关系为每只手添加唯一ID，使得对于现实世界中的每只手，在不同手部追踪模块中都能得到唯一的表达。

9.根据权利要求8所述的环幕场景下基于手势识别的虚拟现实交互装置，其特征在于通过多个手部追踪模块追踪手的位姿信息，能够避免在识别手势时出现因自遮挡而导致的识别错误情况；其原理是，图形工作站接收所有手部追踪模块发送的手的位姿信息，为每只手添加唯一ID后，根据ID分析每只手在不同手部追踪模块里得到的位姿信息，取多数手部追踪模块得到的该手的位姿信息为该手最终的位姿信息，而对其他结果认为是由于自遮挡而得出的结果，进行舍弃。

10.根据权利要求10所述的环幕场景下基于手势识别的虚拟现实交互装置，其特征在于利用多个手部追踪模块避免自遮挡，当出现多个手部追踪模块对同一只手的位姿信息的分析结果呈多种位姿信息得分相同时，则选择得分最高的随机一种位姿信息作为该手的位姿信息，并不进行此位姿信息是否表示某种指令手势的判断。

Images