CN112099529B - 虚拟现实设备控制***和方法 - Google Patents

Abstract

本申请提供一种虚拟现实设备控制***和方法，***包括：图像获取设备，用于拍摄实时场景，并将拍摄的实时场景数据发送至虚拟现实设备；控制设备，用于接收用户的控制请求，控制请求用于控制图像获取设备中受控制设备控制的组件；虚拟现实设备，用于发送控制请求至控制设备，控制请求用于控制图像获取设备中受控制设备控制的组件。以解决现有技术中无人机航拍人机交互体验差的问题。

Description

虚拟现实设备控制***和方法

技术领域

本申请涉及虚拟现实技术领域，具体而言，涉及一种虚拟现实设备控制***和方法。

背景技术

目前，随着无人机在人们生活中的应用越来越广泛，无人机用户也越来越多，现有的无人机一般都是通过手柄操控杆或者遥控器来实现一定的遥控操作，遥控操作与传统的遥控玩具飞机并无太大差异，很少有视觉上的交互。例如，在采用无人机进行航拍时，用户只能通过地面终端查看到无人机发送的航拍视频，然后通过无人机手柄操控杆来调节无人机的拍摄方向或者拍摄位置，给用户带来的视觉交互体验并不高，进而降低了用户的体验度。

发明内容

本申请实施例的目的在于提供一种虚拟现实设备控制***和方法，用以解决现有技术中无人机航拍人机交互体验差的问题。

第一方面，本发明实施例提供一种虚拟现实设备控制***，包括：图像获取设备，用于拍摄实时场景，并将拍摄的实时场景数据发送至虚拟现实设备；控制设备，用于接收用户的控制请求，控制请求用于控制图像获取设备中受控制设备控制的组件；虚拟现实设备，用于发送控制请求至控制设备，控制请求用于控制图像获取设备中受控制设备控制的组件。

在可选的实施方式中，图像获取设备中受控制设备控制的组件包括：图像摄取装置，用于拍摄实时场景，获取实时场景数据；云台，用于放置图像摄取装置，并根据控制请求调整云台的位姿；机体，用于放置云台，并根据控制请求调整机体在当前空间中的位姿；以及，第一通信装置，用于接收来自控制设备的控制请求，以及发送实时场景数据至控制设备。

在可选的实施方式中，控制设备包括：输入装置，用于获取用户输入的位姿调整信号；第二通信装置，用于接收来自虚拟现实设备的拍摄范围调整信号，并将位姿调整信号和拍摄范围调整信号发送至图像获取设备，以及接收来自图像获取设备的实时场景数据，并将实时场景数据发送至虚拟现实设备。

在可选的实施方式中，虚拟现实设备包括：拍摄范围感应装置，用于当感应到虚拟现实设备在当前空间中产生角度旋转时，获取角度旋转数据；第三通信装置，用于发送角度旋转数据至控制设备，以及接收来自控制设备的实时场景数据；显示装置，用于根据实时场景数据，表征实时场景。

在可选的实施方式中，控制设备上还设有控制模式切换键，控制模式包括控制设备主控模式和虚拟现实设备主控模式。

第二方面，本发明实施例提供一种虚拟现实设备控制方法，应用于前述实施方式中任一项的虚拟现实设备控制***，包括：接收来自控制设备的连接请求；根据连接请求，建立与控制设备的通信连接；获取实时场景数据并发送至控制设备；接收来自控制设备的控制请求，其中，控制请求包含位姿调整信号和/或拍摄范围调整信号；根据位姿调整信号和/或拍摄范围调整信号，调整云台的位姿和/或机体于当前空间中的位姿；更新实时场景数据，并将更新后的实时场景数据发送至控制设备。

在可选的实施方式中，在接收来自控制设备的控制请求之前，还包括：接收来自控制设备的控制模式信号，其中，控制模式信号包括控制设备主控模式信号或虚拟现实设备主控模式信号；根据模式控制信号，切换运行模式；以及当控制模式信号为控制设备主控模式信号时，运行模式为接收来自控制设备的控制请求；当控制模式为虚拟现实设备主控模式时，运行模式为：接收来自虚拟现实设备的实时位置数据，根据实时位置数据调整当前所在位置。

在可选的实施方式中，当控制模式为虚拟现实设备主控模式时，运行模式为：接收来自虚拟现实设备的实时位置数据，根据实时位置数据调整当前所在位置，包括：根据实时位置数据，提取当前位置数据和当前位置数据前一时刻的历史位置数据；根据当前位置数据和历史位置数据，判断虚拟现实设备是否发生位移；若虚拟现实设备发生位移，则根据当前位置数据和历史位置数据，计算位移差值数据；根据位移差值数据，生成机体移动信号。

在可选的实施方式中，根据位姿调整信号和/或拍摄范围调整信号，调整云台的位姿和/或机体于当前空间中的位姿，包括：根据拍摄范围调整信号，提取调整数据；根据调整数据计算目标角度数据；判断目标角度数据是否大于拍摄角度阈值数据；若目标角度数据小于或等于拍摄角度阈值数据，则根据根据位姿调整信号和/或拍摄范围调整信号，调整云台的位姿和/或机体于当前空间中的位姿；以及，若目标角度数据大于拍摄角度阈值数据，则根据位姿调整信号和/或拍摄角度阈值数据，调整云台的位姿和/或机体于当前空间中的位姿；生成角度告警提示信号，并发送至控制设备。

第三方面，本发明实施例提供一种虚拟现实设备控制方法，应用于前述实施方式中任一项的虚拟现实设备控制***，包括：接收来自用户的操作控制数据，生成位姿调整信号；发送位姿调整信号至图像获取设备；接收来自图像获取设备的实时场景数据；发送实时场景数据至虚拟现实设备。

在可选的实施方式中，还包括：接收来自虚拟现实设备的拍摄范围调整信号；将拍摄范围调整信号发送至图像获取设备；接收来自图像获取设备的更新后的实时场景数据。

第四方面，本发明实施例提供一种虚拟现实设备控制方法，应用于前述实施方式中任一项的虚拟现实设备控制***，包括：接收来自控制设备的实时场景数据；判断拍摄范围感应装置于当前空间中是否发生角度旋转；若于当前空间中发生角度旋转，则藉由拍摄范围感应装置获取角度旋转数据；发送角度旋转数据至控制设备；接收来自控制设备的更新后的实时场景数据。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种虚拟现实设备控制***的应用场景示意图；

图2为本申请实施例提供的一种虚拟现实设备控制***的示意图；

图3为本申请实施例提供的一种虚拟现实设备控制方法的流程图；

图4为本申请实施例提供的另一种虚拟现实设备控制方法的流程图；

图5为图1所示的应用场景中的时序图；

图6为图1所示的应用场景中的另一种时序图。

图标：1-虚拟现实设备控制***；10-图像获取设备；11-图像摄取装置；12-云台；13-机体；14-第一通信装置；20-控制设备；21-输入装置；22-第二通信装置；30-虚拟现实设备；31-拍摄范围感应装置；32-第三通信装置；33-显示装置。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

参阅图1，其为本实施例提供一种虚拟现实设备控制***1的应用场景示意图，虚拟现实设备控制***1包括：图像获取设备10、控制设备20和虚拟现实设备30。

于一实施例中，图像获取设备10用于拍摄实时场景，并将拍摄的实时场景数据发送至虚拟现实设备30。图像获取设备10可以是搭载图像拾取器的终端，图像拾取器可以是实时获取场景数据的摄像机，终端可以是无人机、无人车、无人船等遥控设备终端。

于一实施例中，控制设备20用于接收用户的控制请求，控制请求用于控制图像获取设备10中受控制设备20控制的组件。

于一实施例中，虚拟现实设备30，用于发送控制请求至控制设备20，控制请求用于控制图像获取设备10中受控制设备20控制的组件。虚拟现实设备30可以是VR(VirtualReality，虚拟现实)头盔，用户佩戴VR头盔，VR头盔内置显示屏。

于一实施例中，图像获取设备10可以具有多个实体组件，且这些组件受控制设备20控制，如图2所示，组件可以包括：拍摄实时场景的图像摄取装置11，用于获取实时场景数据。放置图像摄取装置11的云台12，并且云台12可以根据控制请求调整图像摄取装置11的位姿。机体13用于放置云台12，并根据控制请求调整机体13在当前空间中的位姿。第一通信装置14，用于接收来自控制设备20的控制请求，以及发送实时场景数据至控制设备20。

于一实施例中，机体13可以是无人机的机体13，无人机机体13上安装有动力***，动力***驱动无人机在当前场景环境中移动，无人机的动力***可以由控制设备20控制，控制设备20的控制信号等信息可以由第一通信装置14接收，控制设备20和第一通信装置14之间的传输方式可以是WIFI、2.4G、433M、GPRS(General Packet Radio Service，通用分组无线服务)等无线通信方式进行配置信息的传输，第一通信装置14可以是WIFI、2.4G、433M、GPRS(General Packet Radio Service，通用分组无线服务)等无线通信方式的适配器。

于一实施例中，如图2所示，控制设备20包括：输入装置21，输入装置21可以是操作杆或具有空间映射关系的操作按键，用于获取用户输入的位姿调整信号。例如，输入装置21是操作杆时，用户手持控制设备20并摇动操作杆，向左推动操作杆，无人机机体13映射操作杆的动作向当前位置的“左”移动。

于一实施例中，如图2所示，控制设备20包括：第二通信装置22，用于接收来自虚拟现实设备30的拍摄范围调整信号，并将位姿调整信号和拍摄范围调整信号发送至图像获取设备10，以及接收来自图像获取设备10的实时场景数据，并将实时场景数据发送至虚拟现实设备30。其中，控制设备20的控制信号等信息可以由第二通信装置22发出，传输方式可以是WIFI、2.4G、433M、GPRS(General Packet Radio Service，通用分组无线服务)等无线通信方式进行配置信息的传输，第二通信装置22可以是WIFI、2.4G、433M、GPRS(GeneralPacket Radio Service，通用分组无线服务)等无线通信方式的适配器。

于一实施例中，如图2所示，虚拟现实设备30包括：拍摄范围感应装置31，拍摄范围感应装置31用于当感应到虚拟现实设备30在当前空间中产生角度旋转时，获取角度旋转数据。其中，拍摄范围感应装置31可以是陀螺仪，陀螺仪可以是三轴陀螺仪，安装在VR头盔上，感应VR头盔在当前空间中产生角度旋转。

于一实施例中，如图2所示，虚拟现实设备30包括：第三通信装置32，用于发送角度旋转数据至控制设备，以及接收来自控制设备的实时场景数据。其中，第三通信装置32与第二通信装置22建立通信，其传输方式可以是WIFI、2.4G、433M、GPRS(General Packet RadioService，通用分组无线服务)等无线通信方式进行配置信息的传输，还可以通过网线、光纤等有线连接，第三通信装置32可以是WIFI、2.4G、433M、GPRS(General Packet RadioService，通用分组无线服务)等无线通信方式的适配器，也可以是有线接入适配器。

于一实施例中，如图2所示，虚拟现实设备30包括：显示装置33，用于根据实时场景数据，表征实时场景。显示装置33可以是内嵌在VR头盔内的显示屏，显示屏用于显示实时场景。

于一实施例中，控制设备20上还设有控制模式切换键，控制模式包括控制设备20主控模式和虚拟现实设备30主控模式。接收来自控制设备20的控制模式信号，其中，控制模式信号包括控制设备20主控模式信号或虚拟现实设备30主控模式信号；根据模式控制信号，切换运行模式；以及，当控制模式信号为控制设备20主控模式信号时，运行模式为接收来自控制设备20的控制请求；当控制模式为虚拟现实设备30主控模式时，运行模式为：接收来自虚拟现实设备30的实时位置数据，根据实时位置数据调整当前所在位置。

请参阅图3，其为本实施例提供一种虚拟现实设备30控制方法，应用于图1所示的虚拟现实设备控制***1应用场景中，运行模式为控制设备20主控模式的图像获取设备10，具体步骤如下：

步骤301：接收来自控制设备20的连接请求。

在本步骤中，***开始运行时，控制设备20会先发送连接请求，以建立与图像获取设备10的通信连接。

步骤302：根据连接请求，建立与控制设备20的通信连接。

在本步骤中，连接请求中可以包括信道加密信息或者其他通信参数，并以此建立通信连接。

步骤303：获取实时场景数据并发送至控制设备20。

在本步骤中，建立通信连接后，将实时场景数据发送至控制设备20。

步骤304：接收来自控制设备20的控制请求。

在本步骤中，控制请求包含位姿调整信号和/或拍摄范围调整信号。

步骤305：根据位姿调整信号和/或拍摄范围调整信号，调整云台12的位姿和/或机体13于当前空间中的位姿。

在本步骤中，图像获取设备10可以根据拍摄范围调整信号，提取拍摄范围调整信号中的调整数据。其中，调整数据由虚拟现实设备30提供，用户佩戴VR头盔旋转视角时，期望旋转的视角会超出云台12的拍摄范围。所以需要根据调整数据计算目标角度数据，以此来判断目标角度数据是否大于会拍摄角度阈值数据。例如，云台12的左右旋转范围是-110°～+110°，并不能在一个水平面内360°旋转，因此，需要机体13调整位姿以配合云台12的旋转。

若目标角度数据小于或等于拍摄角度阈值数据，则说明以当前的云台12旋转范围还可以提供相应的拍摄角度，所以根据位姿调整信号和/或拍摄范围调整信号，调整云台12的位姿和/或机体13于当前空间中的位姿。

若目标角度数据大于拍摄角度阈值数据，则说明以当前的云台12旋转范围还不能提供相应的拍摄角度，所以根据位姿调整信号和/或拍摄角度阈值数据，调整云台12的位姿和/或机体13于当前空间中的位姿，生成角度告警提示信号，并发送至控制设备20。

步骤306：更新实时场景数据，并将更新后的实时场景数据发送至控制设备20。

请参阅图4，其为本实施例提供另一种虚拟现实设备30控制方法的流程图，应用于图1所示的虚拟现实设备控制***1应用场景中，运行模式为虚拟现实设备30主控模式的图像获取设备10，图像获取设备10接收来自虚拟现实设备30的实时位置数据，根据实时位置数据调整当前所在位置，具体步骤如下：

步骤401：根据实时位置数据，提取当前位置数据和当前位置数据前一时刻的历史位置数据。

在本步骤中，实时位置数据可以是GPS(Global Positioning System，全球定位***)数据。也可以利用位移敏感探测器和激光发射器，激光发射器设置在VR头盔上，位移敏感探测器设置在机体13上。

步骤402：根据当前位置数据和历史位置数据，判断虚拟现实设备30是否发生位移。若是则进入步骤403，否则返回步骤401。

在本步骤中，在虚拟现实设备30主控模式中，无人机保持与VR头盔之间的相对位置，用户佩戴VR头盔移动后，无人机根据当前位置数据和当前位置数据前一时刻的历史位置数据进行判断虚拟现实设备30是否发生位移。

步骤403：根据当前位置数据和历史位置数据，计算位移差值数据。

在本步骤中，若虚拟现实设备30发生位移，则说明用户佩戴VR头盔移动了，计算当前位置数据和历史位置数据之间的差值，当前位置数据和历史位置数据可以是坐标点，如当前位置数据(1，0，0)，历史位置数据是(0，0，0)，那么用户佩戴VR头盔在X轴方向上位移了1。

步骤404：根据位移差值数据，生成机体13移动信号。

请参阅图5，其为本实施例提供另一种虚拟现实设备30控制方法的时序图，应用于图1所示的虚拟现实设备控制***1应用场景中，时序如下：

步骤501：控制设备20接收来自用户的操作控制数据，生成位姿调整信号。

步骤502：控制设备20发送位姿调整信号至图像获取设备10。

步骤503：控制设备20接收来自图像获取设备10的实时场景数据。

步骤504：控制设备20发送实时场景数据至虚拟现实设备30。

步骤505：控制设备20接收来自虚拟现实设备30的拍摄范围调整信号。

步骤506：控制设备20将拍摄范围调整信号发送至图像获取设备10。

步骤507：控制设备20接收来自图像获取设备10的更新后的实时场景数据。

请参阅图6，其为本实施例提供另一种虚拟现实设备30控制方法的时序图，应用于图1所示的虚拟现实设备控制***1应用场景中，时序如下：

步骤601：虚拟现实设备30接收来自控制设备20的实时场景数据。

步骤602：虚拟现实设备30判断拍摄范围感应装置31于当前空间中是否发生角度旋转。

步骤603：若于当前空间中发生角度旋转，则藉由拍摄范围感应装置31获取角度旋转数据。

步骤604：虚拟现实设备30发送角度旋转数据至控制设备20。

步骤605：控制设备20将角度旋转数据发送至图像获取设备10。

步骤606：控制设备20接收来自图像获取设备10的更新后的实时场景数据。

步骤607：虚拟现实设备30接收来自控制设备20的更新后的实时场景数据。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种虚拟现实设备控制***，其特征在于，包括：

图像获取设备，用于拍摄实时场景，并将拍摄的实时场景数据发送至虚拟现实设备；

控制设备，用于接收用户的控制请求，所述控制请求用于控制所述图像获取设备中受控制设备控制的组件；

所述虚拟现实设备，用于发送所述控制请求至所述控制设备，所述控制请求用于控制所述图像获取设备中受控制设备控制的组件；

所述虚拟现实设备包括：

拍摄范围感应装置，用于当感应到所述虚拟现实设备在当前空间中产生角度旋转时，获取角度旋转数据；

第三通信装置，用于发送所述角度旋转数据至所述控制设备，以及接收来自所述控制设备的所述实时场景数据；

显示装置，用于根据所述实时场景数据，表征所述实时场景。

2.根据权利要求1所述的***，其特征在于，所述图像获取设备中受控制设备控制的组件包括：

图像摄取装置，用于拍摄实时场景，获取所述实时场景数据；

云台，用于放置所述图像摄取装置，并根据所述控制请求调整所述云台的位姿；

机体，用于放置云台，并根据所述控制请求调整所述机体在当前空间中的位姿；以及，

第一通信装置，用于接收来自所述控制设备的控制请求，以及发送所述实时场景数据至所述控制设备。

3.根据权利要求1所述的***，其特征在于，所述控制设备包括：

输入装置，用于获取用户输入的位姿调整信号；

第二通信装置，用于接收来自所述虚拟现实设备的拍摄范围调整信号，并将所述位姿调整信号和所述拍摄范围调整信号发送至所述图像获取设备，以及接收来自所述图像获取设备的所述实时场景数据，并将所述实时场景数据发送至所述虚拟现实设备。

4.根据权利要求1所述的***，其特征在于，所述控制设备上还设有控制模式切换键，所述控制模式包括控制设备主控模式和虚拟现实设备主控模式。

5.一种虚拟现实设备控制方法，应用于权利要求1-4中任一项所述的虚拟现实设备控制***，其特征在于，包括：

接收来自控制设备的连接请求；

根据所述连接请求，建立与所述控制设备的通信连接；

获取实时场景数据并发送至所述控制设备；

接收来自控制设备的控制请求，其中，所述控制请求包含位姿调整信号和/或拍摄范围调整信号；

根据所述位姿调整信号和/或所述拍摄范围调整信号，调整云台的位姿和/或机体于当前空间中的位姿；

更新所述实时场景数据，并将更新后的所述实时场景数据发送至所述控制设备。

6.根据权利要求5所述的方法，其特征在于，在接收来自控制设备的控制请求之前，还包括：

接收来自所述控制设备的控制模式信号，其中，所述控制模式信号包括控制设备主控模式信号或虚拟现实设备主控模式信号；

根据模式控制信号，切换运行模式；以及，

当所述控制模式信号为所述控制设备主控模式信号时，所述运行模式为接收来自控制设备的控制请求；

当所述控制模式为所述虚拟现实设备主控模式时，所述运行模式为：接收来自虚拟现实设备的实时位置数据，根据所述实时位置数据调整当前所在位置。

7.根据权利要求6所述的方法，其特征在于，所述当所述控制模式为所述虚拟现实设备主控模式时，所述运行模式为：接收来自虚拟现实设备的实时位置数据，根据所述实时位置数据调整当前所在位置，包括：

根据所述实时位置数据，提取当前位置数据和所述当前位置数据前一时刻的历史位置数据；

根据所述当前位置数据和历史位置数据，判断所述虚拟现实设备是否发生位移；

若所述虚拟现实设备发生位移，则根据所述当前位置数据和所述历史位置数据，计算位移差值数据；

根据所述位移差值数据，生成机体移动信号。

8.一种虚拟现实设备控制方法，应用于权利要求1-4中任一项所述的虚拟现实设备控制***，其特征在于，包括：

接收来自用户的操作控制数据，生成位姿调整信号；

发送所述位姿调整信号至图像获取设备；

接收来自所述图像获取设备的实时场景数据；

发送所述实时场景数据至虚拟现实设备。

9.一种虚拟现实设备控制方法，应用于权利要求1-4中任一项所述的虚拟现实设备控制***，其特征在于，包括：

接收来自控制设备的实时场景数据；

判断拍摄范围感应装置于当前空间中是否发生角度旋转；

若于当前空间中发生角度旋转，则藉由拍摄范围感应装置获取角度旋转数据；

发送所述角度旋转数据至所述控制设备；

接收来自所述控制设备的更新后的所述实时场景数据。

Images