CN109814710A - 数据处理方法、装置及虚拟现实设备 - Google Patents

Abstract

本发明公开了一种数据处理方法、装置及虚拟现实设备，该虚拟现实设备包括摄像装置和定位追踪装置，该方法包括：获取所述摄像装置采集的所述虚拟现实设备所在环境的图像，将所述图像作为目标图像；获取所述目标图像的采集时间；获取所述定位追踪装置提供的在所述采集时间的姿态数据；根据所述采集时间，将所述目标图像关联所述姿态数据，生成所述虚拟现实设备的显示图像。通过本发明的方法可以提升通过虚拟现实设备观看外部真实环境的真实体验。

Description

数据处理方法、装置及虚拟现实设备

技术领域

本发明涉及虚拟现实技术领域，更具体地，本发明涉及一种用于虚拟现实设备的数据处理方法，一种用于虚拟现实设备的数据处理装置，及一种虚拟现实设备。

背景技术

虚拟现实(Virtual Reality，VR)设备能够为用户创造一个虚拟的世界沉浸其中，因此，VR设备的头戴部分是全封闭封装的，用户在使用VR设备的过程中是看不到外部的真实环境的。

随着VR技术的逐步成熟，围绕虚拟现实的各种技术也得到了快速发展，这些技术包括增强现实(Augmented Reality，简称为AR)、混合现实(Mix Reality，简称为MR)等，其中，AR是将虚拟信息加在真实环境中，来增强真实环境，MR则是将真实世界和虚拟世界混合在一起，来产生新的可视化环境，环境中同时包含了物理实体与虚拟信息。

为了实现以上AR或者MR功能，或者为了满足用户在使用VR设备时能够看到现实环境的需求等，可以设置摄像装置采集真实环境的图像，以通过VR设备的屏幕显示真实环境的图像。对于该种应用，由于摄像装置的采集帧率很难与屏幕的刷新率保持一致，因此，用户在移动过程中会感觉画面有卡顿感，而且，摄像头从拍摄图像到将图像传输到应用，再到最后通过屏幕显示出来会存在较大的延迟，进而会造成用户眩晕等。

为了解决以上问题，原则上可以通过一些优化算法进行插帧和位置修正，从而保证图像的显示帧率与屏幕刷新率一致，并且使得用户不会感知到有延迟，这些算法例如是异步时间扭曲算法、异步二次投影算法等。由于这些算法不仅需要图像本身，而且还都需要每帧图像产生时的姿态信息，而摄像头采集的图像却不具有对应时刻的姿态信息，这就导致这些算法的应用出现了阻碍，因此，非常有必要提供一种方案以获得优化用数据，以通过优化算法解决通过VR设置显示现实环境图像时出现的卡顿、眩晕等问题。

发明内容

本发明实施例的一个目的是提供一种用于虚拟现实设备的进行数据处理的新的技术方案，以获得优化用数据。

根据本发明的第一方面，提供了一种用于虚拟现实设备的数据处理方法，其特征在于，所述虚拟现实设备包括摄像装置和定位追踪装置，所述方法包括：

获取所述摄像装置采集的所述虚拟现实设备所在环境的图像，将所述图像作为目标图像；

获取所述目标图像的采集时间；

获取所述定位追踪装置提供的在所述采集时间的姿态数据；

根据所述采集时间，将所述目标图像关联所述姿态数据，生成所述虚拟现实设备的显示图像。

可选地，所述获取所述目标图像的采集时间的步骤包括：

在所述摄像装置采集到所述目标图像之后，从所述摄像装置获取所述目标图像的采集时间。

可选地，所述获取所述目标图像的采集时间的步骤包括：

在所述摄像装置采集所述目标图像之前，计算所述目标图像的采集时间，以

在所述采集时间到来时，从所述定位追踪装置获取在所述采集时间的姿态数据。

可选地，所述计算所述目标图像的采集时间的步骤包括：

获取所述摄像装置采集的所述虚拟现实设备所在环境的一图像作为所述目标图像的参考图像，其中，所述参考图像为所述目标图像的在先图像；

获取所述参考图像的实际采集时间；

根据所述参考图像的实际采集时间和所述摄像装置的采集帧率，计算所述目标图像的采集时间。

可选地，所述获取所述摄像装置采集的所述虚拟现实设备所在环境的一图像作为所述目标图像的参考图像的步骤包括：

选取在所述目标图像的实际采集时间到来之前，已获得实际采集时间的最新图像作为所述目标图像的参考图像。

可选地，所述根据所述采集时间，将所述目标图像关联所述姿态数据的步骤包括：

在所述摄像装置采集到所述目标图像之后，获取所述目标图像的实际采集时间；根据计算得到的所述目标图像的采集时间和所述目标图像的实际采集时间，获得计算误差；

在所述计算误差在设定的容差范围内时，将所述目标图像关联所述姿态数据。

可选地，所述方法还包括：根据所述计算误差调整并更新所述容差范围。

可选地，所述生成所述虚拟现实设备的显示图像包括：

获取连续帧的目标图像，其中，所述目标图像关联有对应的姿态数据；

根据所述连续帧的目标图像及所关联的姿态数据，对连续帧的目标图像进行插帧和位置修正处理，生成所述显示图像，其中，所述处理使得所述显示图像的显示帧率与所述虚拟现实设备的头戴装置的屏幕刷新率一致。

根据本发明的第二方面，还提供了一种用于虚拟现实设备的数据处理装置，所述虚拟现实设备包括摄像装置和定位追踪装置，所述数据处理装置包括：

图像数据获取模块，用于获取所述摄像装置采集的所述虚拟现实设备所在环境的图像，将所述图像作为目标图像；

时间获取模块，用于获取所述目标图像的采集时间；

姿态数据获取模块，用于获取所述定位追踪装置提供的在所述采集时间的姿态数据；以及，

关联模块，用于根据所述采集时间，将所述目标图像关联所述姿态数据，生成所述虚拟现实设备的显示图像；或者，

所述数据处理装置包括存储器和处理器，所述存储器用于存储指令，所述指令用于控制所述处理器进行操作以执行根据本发明的第一方面所述的方法。

根据本发明的第三方面，还提供了一种虚拟现实设备，其包括摄像装置、定位追踪装置、以及根据本发明的第二方面所述的数据处理装置，所述摄像装置用于采集虚拟现实装置所在环境的图像，所述定位追踪装置用于获得使用所述虚拟现实设备的姿态数据。

本发明的一个有益效果在于，根据本发明实施例的方法可以为摄像装置采集的真实环境的图像关联时间同步的姿态数据，虚拟现实设备可以根据将图像与姿态数据相关联得到的优化数据，对摄像装置采集的真实环境的图像进行优化处理，进而提升通过虚拟现实设备观看外部真实环境的真实体验。例如，通过该优化数据对摄像装置采集的真实环境的图像进行插帧和位置修正处理，这样，在用户通过虚拟现实设备观看真实环境时，便可减轻卡顿和眩晕感。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据本发明实施例的虚拟现实设备的结构组成示意图；

图2是根据本发明实施例的数据处理装置的硬件结构示意图；

图3是根据本发明实施例的数据处理方法的流程示意图；

图4是根据本发明另一实施例的数据处理方法的流程示意图；

图5是根据本发明实施例的数据处理装置的原理框图；

图6是根据本发明另一实施例的数据处理装置的原理框图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

<虚拟现实设备>

图1是根据本发明实施例的虚拟现实设备的组成结构示意图。

根据图1所示，本发明实施例的虚拟现实设备可以包括摄像装置1000、定位追踪装置2000、头戴装置3000和数据处理装置4000。

摄像装置1000用于采集真实环境的图像。

摄像装置1000可以与数据处理装置4000进行有线或者无线连接，其中，有线连接例如是USB连接、MIPI总线连接等，无线连接例如是wifi连接、蓝牙连接等。

该摄像装置1000可以固定设置在头戴装置3000上。该摄像装置1000也可以固定设置在外界环境中。该摄像装置1000还可以通过云台安装在外界环境中，这样，摄像装置例如可以在云台的控制作用下跟随头戴装置3000同步运动等。

定位追踪装置2000用于获得用户使用虚拟现实设备的姿态数据。

该姿态数据可以是虚拟现实设备的由用户携带的一外设的姿态数据，也可以是通过对外设的定位追踪得到的用户的姿态数据。

定位追踪装置2000也可以与数据处理装置4000进行有线或者无线连接。

在本发明的一个例子中，该定位追踪装置2000可以通过跟踪例如是头戴装置3000、控制手柄、反馈鞋、数据手套等需要用户携带的至少一个外设的空间位置，识别用户的位置、姿态等，进而获得用户使用虚拟现实设备的姿态数据。

例如，定位追踪装置2000可以基于红外信号获得外设的位置、姿态。

又例如，定位追踪装置2000也可以基于双目摄像头等获得外设的位置、姿态。

在本发明的一个例子中，该定位追踪装置2000也可以包括惯性测量单元(Inertial measurement unit,IMU)，该惯性测量单元安装在头戴装置3000上，以通过惯性测量单元识别头戴装置的位置、姿态等，进而获得姿态数据。

数据处理装置4000可以根据本发明方法对摄像装置1000采集到的真实环境的图像进行优化处理，并通过头戴装置3000的屏幕显示处理后的图像。

图2是根据本发明实施例的数据处理装置4000的硬件结构示意图。

根据图2所示，本发明实施例的数据处理装置4000包括一个或多个存储器4010、及一个或者多个处理器4020。

处理器4020可以是台式机处理器、服务器处理器、移动版处理器等。

数据处理装置4000可以包括至少一个专用的图形处理器。

存储器4010例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。

存储器4010用于存储指令，该指令用于控制处理器4020进行操作以执行根据本发明实施例的数据处理方法。技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。

本发明实施例的数据处理装置4000还可以包括接口装置、通信装置、输入装置、扬声器、麦克风等等。

接口装置例如包括USB接口等。通信装置例如能够进行有线或无线通信，具体地可以包括Wifi通信、蓝牙通信等等。输入装置例如可以包括触摸屏、键盘、体感输入等。数据处理装置4000可以通过麦克风接收语音信息，及通过扬声器输出语音信息等。

该数据处理装置4000可以是虚拟现实设备的固定设置的主机，可以是虚拟现实设备的手持的控制手柄，也可以与头戴装置3000集成在一起。

<方法实施例>

图3是根据本发明实施例的用于虚拟现实设备的数据处理方法的流程示意图。

根据图3所示，本发明实施例的方法可以包括如下步骤：

步骤S3100，数据处理装置4000获取摄像装置1000采集的虚拟现实设备所在环境的图像，并将该图像作为目标图像。

该虚拟现实设备所在环境也即为外部的真实环境。

在本发明的一个例子中，可以将摄像装置1000采集的虚拟现实设备所在环境的每一帧图像均作为目标图像，其中，目标图像即为用以关联姿态数据以形成优化用数据的图像。

在本发明的一个例子中，也可以将摄像装置1000采集的虚拟现实设备所在环境的部分图像作为目标图像。

以Android***为例，在该步骤S3100中可以通过Camera2接口访问摄像装置获取该图像。

步骤S3200，数据处理装置4000获取目标图像的采集时间。

该步骤S3200中，目标图像的采集时间即为目标图像的曝光时间。

在一个例子中，数据处理装置4000在从摄像装置1000获取到目标图像之后，才确定该目标图像的采集时间，该采集时间也即为目标图像的实际曝光时间。这可以理解为，数据处理装置4000在从摄像装置1000获取到目标图像之后，才从摄像装置1000获取到该目标图像的采集时间，即在该例子中，目标图像的采集时间也由摄像装置1000提供。

同样以Android***为例，数据处理装置4000通过Camera2接口访问摄像装置100获取的数据不仅包含图像数据本身，还包含图像的采集时间。数据处理装置4000可以通过CameraCaptureSession.CaptureCallbac中的onCaptureCompleted函数的参数CaptureResult获取CaptureResult.SENSOR_TIMESTAMP的值，该值即为图像的采集时间。

在该例子中，由于数据处理装置4000获取到目标图像的实际曝光时间时会相对对应的实际曝光时间有所延迟，因此，该例子适用于定位追踪装置2000可以记录并提供过去时间的姿态数据的情况。

在本发明的一个例子中，数据处理装置4000也可以在该步骤S3200中，于摄像装置采集该目标图像之间，就提前计算出该目标图像的采集时间，即该采集时间为计算得到的采集时间，以在该采集时间到来时，直接从定位追踪装置2000获取在计算得到的采集时间的姿态数据。该例子能够适用于定位追踪装置2000只能提供当前时刻的姿态数据的情况。

在该例子中，该步骤S3200中获取目标图像的采集时间可以进一步包括：数据处理装置4000在摄像装置1000采集该目标图像之前，计算该目标图像的采集时间，以在该采集时间到来时，从定位追踪装置2000获取在所述采集时间的姿态数据。

在一个例子中，该步骤S3200中在摄像装置1000采集该目标图像之前，计算该目标图像的采集时间可以进一步包括：

步骤S3211，获取摄像装置1000采集的虚拟现实设备所在环境的一图像作为目标图像的参考图像，其中，该参考图像为目标图像的在先图像。

例如，该参考图像可以是摄像装置1000采集到的第一帧图像。进一步地，数据处理装置4000可以设置第一帧图像作为所有在后的目标图像的参考图像。

又例如，该步骤S3211中获取摄像装置1000采集的虚拟现实设备所在环境的一图像作为目标图像的参考图像也可以进一步包括：选取在该目标图像的实际采集时间到来之前，已获得实际采集时间的最新图像作为该目标图像的参考图像。

在该例子中，数据处理装置4000可以根据获得实际采集时间的延时及摄像装置1000的采集帧率，进行参考图像的选取，以使选取出的参考图像与对应的目标图像间隔最少的图像帧，进而有效提高推算目标图像的采集时间的准确度。

例如，该延时时间可以是目标图像的在先图像的延时时间的平均值。

该平均值可以根据需要选择算术平均值、几何平均值、均方根平均值等。

又例如，该延时时间也可以是根据数据处理速度预先设置的固定值。

步骤S3212，获取该参考图像的实际采集时间。

步骤S3213，根据参考图像的实际采集时间和摄像装置的采集帧率，计算目标图像的采集时间。

根据该步骤S3213，可以先根据摄像装置1000的采集帧率计算得到相邻两帧图像之间的时间间隔，再根据相邻两帧图像之间的时间间隔计算目标图像与参考图像之间的时间间隔，最后根据参考图像的实际采集时间以及目标图像与参考图像之间的时间间隔，推算得到目标图像的采集时间。

步骤S3300，数据处理装置4000获取定位追踪装置2000提供的在步骤S3200中获得的采集时间的姿态数据。

该姿态数据为用户使用虚拟现实设备产生的姿态数据。

例如，该姿态数据包括头戴装置3000的前后倾斜(pitch)角度、左右倾斜(roll)角度和左右摇摆(yaw)角度等。

又例如，该姿态数据包括用户自身的前后倾斜(pitch)角度、左右倾斜(roll)角度和左右摇摆(yaw)角度等。

在一个例子中，步骤S3200获得的采集时间是从摄像装置1000获取的目标图像的实际采集时间，对应地，在步骤S3300中，数据处理装置4000将从定位追踪装置2000获取在先获得并被存储的在该实际采集时间的姿态数据。

在一个例子中，步骤S3200获得的采集时间是在摄像装置1000采集该目标图像之前推算得到的，即该采集时间为计算得到的采集时间，对应地，在步骤S3300，数据处理装置4000可以在该计算得到的采集时间到来时，直接从定位追踪装置2000获取在该计算得到的采集时间的姿态数据，即定位追踪装置2000当前获得的姿态数据。

步骤S3400，根据采集时间，将目标图像关联姿态数据，生成虚拟现实设备的显示图像。

在一个例子中，采集时间为从摄像装置1000获取的目标图像的实际采集时间，姿态数据为定位追踪装置2000记录的虚拟现实设备在该实际采集时间的姿态数据，二者基于对应相同的采集时间而关联在一起。

在该例子中，摄像装置1000可以提供目标图像的实际采集时间，定位追踪装置2000可以提供姿态数据的时间戳。这样，数据处理装置4000可以根据实际采集时间查找对应时间的姿态数据进行关联。

在一个例子中，数据处理装置4000可以在采集目标图像之前，计算得到该目标图像的采集时间，进而在该采集时间到来时，直接从定位追踪装置2000获取当前时间的姿态数据，并将该姿态数据关联至该目标图像。

在该例子中，步骤S3400中根据采集时间，将目标图像关联姿态数据可以进一步包括：

步骤S3410，在摄像装置1000采集到该目标图像之后，数据处理装置4000获取该目标图像的实际采集时间。

该步骤S3410中，数据处理装置4000可以从摄像装置1000获取到该目标图像的实际采集时间。

步骤S3420，根据计算得到的目标图像的采集时间和目标图像的实际采集时间，获得计算误差。

根据该步骤S3420，该计算误差即等于在步骤S3200中计算得到的采集时间与实际采集时间的差值，或者差值的绝对值。

步骤S3430，在计算误差在设定的容差范围内时，将该目标图像关联该姿态数据。

在该例子中，目标图像对应实际采集时间，姿态数据对应计算得到的采集时间，如果计算得到的采集时间相对实际采集时间的计算误差在允许的容差范围内，则目标图像与姿态数据可以相关联，即二者之间能够相匹配，否则需要丢弃该组数据，以免影响显示图像的准确性。

容差范围可以小于或者等于2ms，例如取值为1ms。

在一个例子中，可以生成反映目标图像与实际采集时间之间的映射关系的第一列表，及生成反映姿态数据与计算得到的采集时间之间的映射关系的第二列表，进而根据容差范围，关联第一列表和第二列表生成图像数据。

在本发明的一个例子中，该容差范围可以为预先设置的固定值。

在本发明的一个例子中，该容差范围也可以根据大数据进行适应性调整，为此，根据一个例子中，本发明方法还可以进一步包括如下步骤：根据计算误差调整并更新该容差范围。

例如，该调整可以是，根据已获得的对应所有目标图像的计算误差的平均值重新计算容差范围。

在该例子中，还可以在该计算误差超过设定阈值时，再根据该计算误差调整并更新该容差范围，以兼顾数据处理量及容差精度。

根据本发明实施例的方法可以为摄像头采集的图像关联时间同步的姿态数据，进而可以获得优化算法能够使用的优化用数据，以供提升虚拟现实设备的性能和用户的体验。

根据本发明实施例方法得到的优化用数据，例如可以通过优化算法进行插帧和位置修正处理，生成虚拟现实设备的显示图像，以使得处理后的图像的显示帧率与头戴装置3000的屏幕刷新率一致，进而避免用户在通过头戴装置3000的屏幕观看外部真实环境时出现卡顿、眩晕等问题。

图4是根据本发明另一实施例的数据处理方法的流程示意图。

根据图4所示，以上步骤S3400中生成所述虚拟现实设备的显示图像可以进一步包括如下步骤：

步骤S4100，获取连续帧的目标图像，其中，该目标图像关联有对应的姿态数据。

根据该步骤S4100，连续帧中的每一目标图像均已根据本发明实施例的方法关联有时间同步的姿态数据，形成了优化用数据。

步骤S4200，根据该连续帧的目标图像及所关联的姿态数据，对连续帧的目标图像进行插帧和位置修正处理，生成显示图像，其中，该处理使得该显示图像的显示帧率与虚拟现实设备的头戴装置的屏幕刷新率一致。

在该步骤S4200中，例如可以通过现有的异步时间扭曲算法或者异步二次投影算法等对连续帧的目标图像进行插帧和位置修正处理。

根据本发明该实施例的方法，能够避免用户在通过头戴装置3000的屏幕观看外部真实环境时出现卡顿、眩晕等问题，提升用户体验。

<装置实施例>

图5是根据本发明实施例的数据处理装置的原理框图。

根据图5所示，根据该实施例的数据处理装置4000包括图像数据获取模块45100、姿态数据获取模块45200、关联模块45300和时间获取模块45400。

该图像数据获取模块45100用于获取摄像装置1000采集的虚拟现实设备所在环境的图像，并将该图像作为目标图像。

该时间获取模块45400用于获取该目标图像的采集时间。

该姿态数据获取模块45200用于获取定位追踪装置2000提供的在从时间获取模块45400获得的采集时间的姿态数据。

该关联模块45300用于根据该采集时间，将目标图像关联姿态数据，生成虚拟现实设备的显示图像。

在一个实施例中，该时间获取模块45400用于在摄像装置1000采集到该目标图像之后，从摄像装置1000获取该目标图像的采集时间。

在一个实施例中，该时间获取模块45400用于在摄像装置1000采集该目标图像之前，计算该目标图像的采集时间，以通知姿态数据获取模块45200在该采集时间到来时，从定位追踪装置2000获取在该采集时间的姿态数据。

在一个实施例中，该时间获取模块45400用于：获取摄像装置采集的虚拟现实设备所在环境的一图像作为目标图像的参考图像，其中，参考图像为目标图像的在先图像；获取该参考图像的实际采集时间；以及，根据该参考图像的实际采集时间和该摄像装置的采集帧率，计算该目标图像的采集时间。

在一个实施例中，时间获取模块45400用于选取在目标图像的实际采集时间到来之前，已获得实际采集时间的最新图像作为该目标图像的参考图像。

在一个实施例中，该关联模块45300用于在摄像装置1000采集到该目标图像之后，获取该目标图像的实际采集时间；根据计算得到的目标图像的采集时间和目标图像的实际采集时间，获得计算误差；以及，在计算误差在设定的容差范围内时，将目标图像关联该姿态数据。

在本发明的一个实施例中，数据处理装置4000还可以包括更新模块(图中未示出)，该更新模块用于根据所述计算误差调整并更新所述容差范围。

根据本发明该实施例的装置4000，可以为摄像装置1000采集的图像关联时间同步的姿态数据，进而可以获得优化算法能够使用的优化用数据，提升虚拟现实设备的性能和用户的体验。

图6是根据本发明另一实施例的数据处理装置的原理框图。

根据图6所示，该实施例的数据处理装置4000在图5所示实施例的基础上，还包括优化处理模块46100。

该优化处理模块46100可以用于：获取连续帧的目标图像，其中，所述目标图像关联有对应的姿态数据；以及，根据连续帧的目标图像及所关联的姿态数据，对连续帧的目标图像进行插帧和位置修正处理，生成显示图像，其中，该处理使得显示图像的显示帧率与虚拟现实设备的头戴装置的屏幕刷新率一致。

根据本发明该实施例的装置4000，能够避免用户在通过头戴装置3000的屏幕观看外部真实环境时出现卡顿、眩晕等问题，提升用户体验。

本发明可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种用于虚拟现实设备的数据处理方法，其特征在于，所述虚拟现实设备包括摄像装置和定位追踪装置，所述方法包括：

获取所述摄像装置采集的所述虚拟现实设备所在环境的图像，将所述图像作为目标图像；

获取所述目标图像的采集时间；

获取所述定位追踪装置提供的在所述采集时间的姿态数据；

根据所述采集时间，将所述目标图像关联所述姿态数据，生成所述虚拟现实设备的显示图像。

2.根据权利要求1所述的方法，其特征在于，所述获取所述目标图像的采集时间的步骤包括：

在所述摄像装置采集到所述目标图像之后，从所述摄像装置获取所述目标图像的采集时间。

3.根据权利要求1所述的方法，其特征在于，所述获取所述目标图像的采集时间的步骤包括：

在所述摄像装置采集所述目标图像之前，计算所述目标图像的采集时间，以

在所述采集时间到来时，从所述定位追踪装置获取在所述采集时间的姿态数据。

4.根据权利要求3所述的方法，其特征在于，所述计算所述目标图像的采集时间的步骤包括：

获取所述摄像装置采集的所述虚拟现实设备所在环境的一图像作为所述目标图像的参考图像，其中，所述参考图像为所述目标图像的在先图像；

获取所述参考图像的实际采集时间；

根据所述参考图像的实际采集时间和所述摄像装置的采集帧率，计算所述目标图像的采集时间。

5.根据权利要求4所述的方法，其特征在于，所述获取所述摄像装置采集的所述虚拟现实设备所在环境的一图像作为所述目标图像的参考图像的步骤包括：

选取在所述目标图像的实际采集时间到来之前，已获得实际采集时间的最新图像作为所述目标图像的参考图像。

6.根据权利要求3-5中任一项所述的方法，其特征在于，所述根据所述采集时间，将所述目标图像关联所述姿态数据的步骤包括：

在所述摄像装置采集到所述目标图像之后，获取所述目标图像的实际采集时间；根据计算得到的所述目标图像的采集时间和所述目标图像的实际采集时间，获得计算误差；

在所述计算误差在设定的容差范围内时，将所述目标图像关联所述姿态数据。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

根据所述计算误差调整并更新所述容差范围。

8.根据权利要求1至5中任一项所述的方法，其特征在于，所述生成所述虚拟现实设备的显示图像包括：

获取连续帧的目标图像，其中，所述目标图像关联有对应的姿态数据；

根据所述连续帧的目标图像及所关联的姿态数据，对连续帧的目标图像进行插帧和位置修正处理，生成所述显示图像，其中，所述处理使得所述显示图像的显示帧率与所述虚拟现实设备的头戴装置的屏幕刷新率一致。

9.一种用于虚拟现实设备的数据处理装置，其特征在于，所述虚拟现实设备包括摄像装置和定位追踪装置，所述数据处理装置包括：

图像数据获取模块，用于获取所述摄像装置采集的所述虚拟现实设备所在环境的图像，将所述图像作为目标图像；

时间获取模块，用于获取所述目标图像的采集时间；

姿态数据获取模块，用于获取所述定位追踪装置提供的在所述采集时间的姿态数据；以及，

关联模块，用于根据所述采集时间，将所述目标图像关联所述姿态数据，生成所述虚拟现实设备的显示图像；或者，

所述数据处理装置包括存储器和处理器，所述存储器用于存储指令，所述指令用于控制所述处理器进行操作以执行根据权利要求1-8中任一项所述的方法。

10.一种虚拟现实设备，其特征在于，包括摄像装置、定位追踪装置、以及权利要求9所述的数据处理装置，所述摄像装置用于采集虚拟现实装置所在环境的图像，所述定位追踪装置用于获得使用所述虚拟现实设备的姿态数据。