CN107340868A

CN107340868A - 一种数据处理方法、装置及vr设备

Info

Publication number: CN107340868A
Application number: CN201710541773.4A
Authority: CN
Inventors: 李刚
Original assignee: Beijing QIYI Century Science and Technology Co Ltd
Current assignee: Nanjing Qiyuan Technology Co ltd
Priority date: 2017-07-05
Filing date: 2017-07-05
Publication date: 2017-11-10
Anticipated expiration: 2037-07-05
Also published as: CN107340868B

Abstract

本发明实施例提供了一种数据处理方法、装置及VR设备，该方法包括：VR设备在输出第一影像时，获取目标用户的运动数据；所述VR设备在检测到所述运动数据大于预设数值时，开启摄像头；所述VR设备获取所述摄像头采集到的第二影像；所述VR设备将所述第二影像叠加到所述第一影像中，得到第三影像；所述VR设备输出第三影像。利用本发明实施例，能够减小VR设备的功耗。

Description

一种数据处理方法、装置及VR设备

技术领域

本发明涉及虚拟现实技术领域，特别是涉及一种数据处理方法、装置及VR设备。

背景技术

在当今信息时代，科学技术的快速发展使得人们的娱乐生活方式变得越来越丰富。随着VR(Virtual Reality，虚拟现实)技术的不断发展，越来越多的人开始接触并使用VR设备，享受VR设备提供的相应服务。

目前，在VR设备的使用场景中，使用手势进行交互可以提高用户的沉浸感，是一种自然交互方式。对于VR设备来说，一般在设备上安装有摄像头，用于手势交互，即利用摄像头采集用户的手势画面，以根据用户的手势动作，控制VR场景，例如调起并执行VR场景中的菜单功能选项等。

然后，发明人在实现本发明的过程发现，现有技术至少存在如下问题：在用户使用VR设备过程中，为了获取并识别用户的手势，现有技术通常一直开启VR设备上的摄像头，导致VR设备的耗电较大。

发明内容

本发明实施例的目的在于提供一种数据处理方法、装置及VR设备，以减小VR设备的功耗。具体技术方案如下：

为达到上述目的，本发明实施例公开了一种数据处理方法，包括：

VR设备在输出第一影像时，获取目标用户的运动数据；

所述VR设备在检测到所述运动数据大于预设数值时，开启摄像头；

所述VR设备获取所述摄像头采集到的第二影像；

所述VR设备将所述第二影像叠加到所述第一影像中，得到第三影像；

所述VR设备输出第三影像。

可选的，还包括：

所述VR设备判断所述目标用户的面部是否向下偏移；

所述VR设备在判断到所述目标用户的面部向下偏移时，检测所述目标用户的面部与水平方向之间的夹角是否大于预设角度；

所述VR设备在检测到所述目标用户的面部与水平方向之间的夹角大于预设角度时，确定检测到所述运动数据大于预设数值。

可选的，所述第二影像包含所述目标用户的手势信息；所述VR设备将所述第二影像叠加到所述第一影像中，包括：

所述VR设备提取所述第二影像中的所述手势信息；

所述VR设备将所述手势信息叠加到所述第一影像中。

可选的，所述VR设备将所述第二影像叠加到所述第一影像中，包括：

所述VR设备将所述第二影像半透明处理，并将处理后的所述第二影像叠加到所述第一影像中。

可选的，还包括：

所述VR设备在检测到所述运动数据不大于预设数值时，关闭摄像头。

为达到上述目的，本发明实施例公开了一种数据处理装置，包括：

第一获取模块，用于在输出第一影像时，获取目标用户的运动数据；

开启模块，用于在检测到所述运动数据大于预设数值时，开启摄像头；

第二获取模块，用于获取所述摄像头采集到的第二影像；

叠加模块，用于将所述第二影像叠加到所述第一影像中，得到第三影像；

输出模块，用于输出第三影像。

可选的，还包括：

判断模块，用于判断所述目标用户的面部是否向下偏移；

检测模块，用于在判断到所述目标用户的面部向下偏移时，检测所述目标用户的面部与水平方向之间的夹角是否大于预设角度；

确定模块，用于在检测到所述目标用户的面部与水平方向之间的夹角大于预设角度时，确定检测到所述运动数据大于预设数值。

可选的，第二获取模块，还用于：

获取所述摄像头采集到的第二影像，所述第二影像包含所述目标用户的手势信息；

所述叠加模块，还用于：

提取所述第二影像中的所述手势信息；

将所述手势信息叠加到所述第一影像中。

可选的，所述叠加模块，还用于：

将所述第二影像半透明处理，并将处理后的所述第二影像叠加到所述第一影像中。

可选的，还包括：

关闭模块，用于在检测到所述运动数据不大于预设数值时，关闭摄像头。

为达到上述目的，本发明实施例公开了一种VR设备，设备包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行存储器上所存放的程序时，实现上述任一所述的数据处理方法步骤。

在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的数据处理方法。

在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的数据处理方法。

可见，在用户使用VR设备过程中，当检测到用户的运动数据大于预设数值时，才开启摄像头采集第二影像，用于获取并识别用户的手势。由于无需一直开启VR设备上的摄像头，从而能够减小VR设备的功耗。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例提供的数据处理方法的一种流程示意图；

图2为本发明实施例提供的数据处理方法的另一种流程示意图；

图3为本发明实施例提供的数据处理方法的再一种流程示意图；

图4为本发明实施例提供的数据处理装置的一种结构示意图；

图5为本发明实施例提供的数据处理装置的另一种结构示意图；

图6为本发明实施例提供的数据处理装置的再一种结构示意图；

图7为本发明实施例提供的一种VR设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

为了解决现有技术中在用户使用VR设备过程中为了获取并识别用户的手势通常一直开启VR设备上的摄像头、从而导致VR设备的耗电较大的问题，本发明实施例提供了一种数据处理方法、装置及VR设备。

总体上，本发明实施例提供的数据处理方法，VR设备在输出第一影像时，能够获取目标用户的运动数据。当检测到该运动数据大于预设数值时，开启VR设备的摄像头，该摄像头采集包含目标用户手势信息的第二影像。然后，VR设备获取该摄像头采集到的第二影像，将该第二影像叠加到第一影像中，得到第三影像，最后VR设备输出该第三影像，完成数据处理，由于无需一直开启VR设备上的摄像头，从而减小该VR设备的功耗。

参见图1，图1为本发明实施例提供的数据处理方法的一种流程示意图，可以包括如下步骤：

S101，VR设备在输出第一影像时，获取目标用户的运动数据；

具体的，VR设备在开启应用时，输出第一影像，第一影像从而可以显示在屏幕上。第一影像，可以VR设备中运行的应用相关的影像，例如视频、游戏等等。

在目标用户使用头戴的VR设备时，当该用户头部发生运动时，例如低头、仰头、扭头等等，可以获取该用户的运动数据。在实际应用中，可以通过VR设备内置的运动检测模块实现用户头部运动的检测，例如，设备内置的陀螺仪等等。其中，运动数据获取的方法可以包括但不限于现有技术，本发明实施例在此不对其进行限定。

获取目标用户的运动数据，可以包括：检测VR设备运动过程中用户的面部朝向，获得目标用户的面部朝向数据，例如水平偏下达到某个角度。其中，可以利用IMU(InertialMeasurement Unit，惯性测量单元)惯性传感器，实时检测用户的头部朝向。其中，IMU惯性传感器是测量物体三轴姿态角(或角速率)以及加速度的装置，可以内置于VR设备的头盔中。

需要说明的是，上述实现方式仅仅作为一种示例，并不应该构成对本发明实施例的限定。

S102，所述VR设备在检测到所述运动数据大于预设数值时，开启摄像头；

具体的，获取的运动数据可以为目标用户的面部朝向数据。一般情况下，在VR设备的影院场景中，用户更多时候是在看电影。在需要的时候，让用户看特定的地方以调起菜单，即针对当前场景的功能选项。由于在影院场景中，用户看电影的时候更多是平视或稍有些仰视的，所以将菜单放在下面，当用户低头的时候调起菜单，将该菜单显示到当前场景中。

基于上述思想，在VR设备在检测到运动数据大于预设数值时，开启摄像头。其中，预设数值可以设置为水平偏下30度或水平偏下超过30度，或者根据实际情况自行设定。

并且，该摄像头是指在VR设备的正面安装的摄像头，这样用户在穿戴VR设备后，摄像头可以采集用户前方的画面，并且由于用户习惯于将双手置于身体的前方进行手势交互，这样也可以采集到用户在进行手势交互时产生的手势动作。

S103，所述VR设备获取所述摄像头采集到的第二影像；

具体的，在开启摄像头后，摄像头会对拍摄到的画面进行采集，所采集的画面即为第二影像，包括用户的手势动作等等。其中，可以利用现有技术，实现：获取该摄像头采集到的第二影像，本发明实施例在此不对其进行赘述。

VR设备开启摄像头采集第二影像，后续可以根据第二影像中包含的用户手势，实现针对该VR设备中场景的控制。例如，可以对上述菜单中的快进、暂停等功能选项进行点击操作。

S104，所述VR设备将所述第二影像叠加到所述第一影像中，得到第三影像；

由前述可知，摄像头可以采集用户前方的画面，并且由于用户习惯于将双手置于身体的前方进行手势交互，这样也可以采集到用户在进行手势交互时产生的手势动作画面，作为第二影像。因而，VR设备可以将获取的第二影像叠加到原本所输出的第一影像中，形成叠加后的第三影像。例如，可以获取摄像头采集的所有画面，不做处理，直接叠加到第一影像的中下方区域中，得到第三影像。

S105，所述VR设备输出第三影像。

由于第三影像是由第二影像叠加到第一影像中得到的，因此VR设备输出第三影像，这样用户可以看见叠加后的第一影像的画面，也可以看到第二影像包含的手势动作，从而更为方便准确地对手势进行纠正调整，提高手势识别的精准性。

作为上述图1所示实施例的细化，在本发明提供的又一实施例中，所述第二影像包含所述目标用户的手势信息；所述VR设备将所述第二影像叠加到所述第一影像中，包括：所述VR设备提取所述第二影像中的所述手势信息；所述VR设备将所述手势信息叠加到所述第一影像中。

具体的，可以采用已有的技术手段，提取采集的第二影像中的手势信息，该手势信息可以为去除影像画面背景的、用户的手部图像。

为了不影响用户使用VR设备观看屏幕影像，还可以对该手部图像进一步处理，例如，利用现有技术，提取用户的手部图像中的手部轮廓，将提取的手部轮廓叠加到第一影像中，予以显示，这样用户也能够看到自己的手势动作，并根据界面中的手势提示进行相应的手势调整，从而更有利于后续的手势识别处理。

在本发明提供的又一实施例中，所述VR设备将所述第二影像叠加到所述第一影像中，包括：所述VR设备将所述第二影像半透明处理，并将处理后的所述第二影像叠加到所述第一影像中。这样做的目的，是为了尽量不影响用户观看视频或玩游戏等等，既可方便用户看到第二影像，又能够减轻第二影像对第一影像的遮挡。

其中，可以利用现有技术，实现：所述VR设备将所述第二影像半透明处理，并将处理后的所述第二影像叠加到所述第一影像中。当然，其他可以实现的技术手段，也落在本发明实施例的保护范围之内。

参见图2，图2为本发明实施例提供的数据处理方法的另一种流程示意图，本发明图2所示实施例在图1所示实施例的基础上，增加以下步骤：

S106，所述VR设备判断所述目标用户的面部是否向下偏移；

在实际应用中，目标用户的头部在运动过程中，用户的面部会随之发生移动。可以利用前述的、VR设备内置的运动检测模块实现用户头部运动的检测，从而实现用户面部运动的实时检测，判断该用户的面部是否向下偏移。

所述VR设备在判断到所述目标用户的面部向下偏移时，执行步骤S107。否则，结束。

S107，检测所述目标用户的面部与水平方向之间的夹角是否大于预设角度；

具体的，在判断到目标用户的面部向下偏移时，可以继续利用IMU惯性传感器，检测用户的面部与水平方向之间的夹角是否达到预设角度。其中，预设角度可以设为30度，因为通常情况下，用户低头看菜单和手势时，会大于这个角度。

所述VR设备在检测到所述目标用户的面部与水平方向之间的夹角大于预设角度时，执行步骤S108。否则，结束。

S108，确定检测到所述运动数据大于预设数值。

由于用户低头调起菜单并进行手势交互时，需要开启摄像头，采集用户的手势画面。基于此，可以在VR设备检测到目标用户的面部与水平方向之间的夹角大于预设角度时，即可确定出检测到运动数据大于预设数值，进而执行后续开启摄像头的步骤。对检测运动数据大于预设数值的步骤进行细化，可以提高VR设备的检测精准性。

参见图3，图3为本发明实施例提供的数据处理方法的再一种流程示意图，本发明图3所示实施例在图1所示实施例的基础上，增加步骤S109：所述VR设备在检测到所述运动数据不大于预设数值时，关闭摄像头。

具体的，在一种实现方式中，VR设备可以在检测到目标用户的面部与水平方向之间的夹角不大于预设角度时，确定检测到运动数据不大于预设数值。

如前述可知，用户看电影的时候更多是平视或稍有些仰视的，所以可以将菜单放在下面，当用户低头的时候调起菜单，将该菜单显示到当前场景中，同时开启摄像头，采集用户的手势动作，用于对菜单进行操作，实现用户和该VR设备的交互。在用户完成对菜单的操作之后，一般会抬头，回归到原有的平视或仰视状态，继续观看电影等等，大多不会再进行手势交互。

基于此，在VR设备检测到运动数据不大于预设数值时，为了省电，可以关闭摄像头，在需要时再开启，进一步减小VR设备的功耗。

参见图4，图4为本发明实施例提供的数据处理装置的一种结构示意图，与图1所示的实施例相对应，该装置可以包括：第一获取模块401、开启模块402、第二获取模块403、叠加模块404和输出模块405；

第一获取模块401，用于在输出第一影像时，获取目标用户的运动数据；

开启模块402，用于在检测到所述运动数据大于预设数值时，开启摄像头；

第二获取模块403，用于获取所述摄像头采集到的第二影像；

叠加模块404，用于将所述第二影像叠加到所述第一影像中，得到第三影像；

输出模块405，用于输出第三影像。

具体的，第二获取模块，还用于：

所述叠加模块，还用于：

提取所述第二影像中的所述手势信息；

将所述手势信息叠加到所述第一影像中。

具体的，所述叠加模块，还用于：

参见图5，图5为本发明实施例提供的数据处理装置的一种结构示意图，本发明图5所示实施例在图4所示实施例的基础上，增加判断模块406、检测模块407和确定模块408；

判断模块406，用于判断所述目标用户的面部是否向下偏移；

检测模块407，用于在判断到所述目标用户的面部向下偏移时，检测所述目标用户的面部与水平方向之间的夹角是否大于预设角度；

确定模块408，用于在检测到所述目标用户的面部与水平方向之间的夹角大于预设角度时，确定检测到所述运动数据大于预设数值。

可见，在用户使用VR设备过程中，当检测到用户的运动数据大于预设数值时，才开启摄像头采集第二影像，用于获取并识别用户的手势。由于无需一直开启VR设备上的摄像头，从而能够减小VR设备的功耗。进一步地，增加判断模块、检测模块和确定模块，对检测运动数据大于预设数值的步骤进行细化，可以提高VR设备的检测精准性。

参见图6，图6为本发明实施例提供的数据处理装置的一种结构示意图，本发明图6所示实施例在图4所示实施例的基础上，增加关闭模块409，用于在检测到所述运动数据不大于预设数值时，关闭摄像头。

可见，在用户使用VR设备过程中，当检测到用户的运动数据大于预设数值时，才开启摄像头采集第二影像，用于获取并识别用户的手势。由于无需一直开启VR设备上的摄像头，从而能够减小VR设备的功耗。在VR设备检测到运动数据不大于预设数值时，为了省电，可以关闭摄像头，在需要时再开启，进一步减小VR设备的功耗。

本发明实施例还提供了一种VR设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，所述处理器701、所述通信接口702、所述存储器703通过所述通信总线704完成相互间的通信，

所述存储器703，用于存放计算机程序；

所述处理器701，用于执行存储器703上所存放的程序时，实现如下步骤：

VR设备在输出第一影像时，获取目标用户的运动数据；

所述VR设备获取所述摄像头采集到的第二影像；

所述VR设备输出第三影像。

上述VR设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述VR设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Applica tion SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据处理方法。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据处理方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种数据处理方法，其特征在于，包括：

VR设备在输出第一影像时，获取目标用户的运动数据；

所述VR设备获取所述摄像头采集到的第二影像；

所述VR设备输出第三影像。

2.根据权利要求1所述的方法，其特征在于，还包括：

所述VR设备判断所述目标用户的面部是否向下偏移；

3.根据权利要求1所述的方法，其特征在于，所述第二影像包含所述目标用户的手势信息；所述VR设备将所述第二影像叠加到所述第一影像中，包括：

所述VR设备提取所述第二影像中的所述手势信息；

所述VR设备将所述手势信息叠加到所述第一影像中。

4.根据权利要求1所述的方法，其特征在于，所述VR设备将所述第二影像叠加到所述第一影像中，包括：

5.根据权利要求1至4任一所述的方法，其特征在于，还包括：

6.一种数据处理装置，其特征在于，包括：

第二获取模块，用于获取所述摄像头采集到的第二影像；

输出模块，用于输出第三影像。

7.根据权利要求6所述的装置，其特征在于，还包括：

判断模块，用于判断所述目标用户的面部是否向下偏移；

8.根据权利要求6所述的装置，其特征在于，第二获取模块，还用于：

所述叠加模块，还用于：

提取所述第二影像中的所述手势信息；

将所述手势信息叠加到所述第一影像中。

9.根据权利要求6所述的装置，其特征在于，所述叠加模块，还用于：

10.根据权利要求6至9任一所述的装置，其特征在于，还包括：

11.一种VR设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。