CN111459267A - 一种数据处理方法、第一服务器、第二服务器与存储介质 - Google Patents

一种数据处理方法、第一服务器、第二服务器与存储介质 Download PDF

Info

Publication number
CN111459267A
CN111459267A CN202010136715.5A CN202010136715A CN111459267A CN 111459267 A CN111459267 A CN 111459267A CN 202010136715 A CN202010136715 A CN 202010136715A CN 111459267 A CN111459267 A CN 111459267A
Authority
CN
China
Prior art keywords
server
virtual reality
audio
video
reality device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010136715.5A
Other languages
English (en)
Inventor
王晓阳
赵保军
张佳宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Jialan Innovation Technology Co ltd
Original Assignee
Hangzhou Jialan Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Jialan Innovation Technology Co ltd filed Critical Hangzhou Jialan Innovation Technology Co ltd
Priority to CN202010136715.5A priority Critical patent/CN111459267A/zh
Publication of CN111459267A publication Critical patent/CN111459267A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了一种数据处理方法、第一服务器、第二服务器与存储介质，所述方法包括第一服务器接收虚拟现实装置发送的控制信息、位姿信息和音频信息；第一服务器根据接收的控制信息和位姿信息对应用图像进行渲染，得到渲染后的视频图像；第一服务器将接收的音频信息和渲染后的视频图像进行融合，得到虚拟现实装置的音视频融合数据。本申请第一服务器将接收的音频信息和渲染后的视频图像进行融合，得到虚拟现实装置的音视频融合数据，使得虚拟现实装置具备音频交互功能，提高了用户体验。

Description

一种数据处理方法、第一服务器、第二服务器与存储介质
技术领域
本申请涉及但不限于虚拟现实(Virtual Reality，VR)技术领域，尤其涉及一种数据处理方法、第一服务器、第二服务器与存储介质。
背景技术
虚拟现实技术是一种基于可计算信息构造沉浸式人机交互环境的信息技术，采用以计算机为核心的现代高科技生成逼真的视、听、触觉等一体化的特定范围的虚拟环境，用户借助必要的设备以自然的方式对虚拟环境中的对象进行交互。
虚拟现实交互已经应用于教育、培训、游戏、电竞等各行各业，但是，现有的虚拟现实装置通常不具备音频交互功能，使得用户体验较差。
发明内容
本申请提供了一种数据处理方法、第一服务器、第二服务器与存储介质，能够使得虚拟现实装置具备音频交互功能。
本申请实施例提供了一种数据处理方法，包括：第一服务器接收虚拟现实装置发送的控制信息、位姿信息和音频信息；第一服务器根据接收的控制信息和位姿信息对应用图像进行渲染，得到渲染后的视频图像；第一服务器将接收的音频信息和渲染后的视频图像进行融合，得到所述虚拟现实装置的音视频融合数据。
在一些实施例中，所述方法还包括：所述第一服务器将所述虚拟现实装置的视频图像或音视频融合数据发送至一个或多个客户终端，所述客户终端为与所述第一服务器通过网络连接的视频播放设备。
在一些实施例中，所述第一服务器将所述虚拟现实装置的视频图像或音视频融合数据发送至一个或多个客户终端之前，所述方法还包括：所述第一服务器检测所述客户终端是否满足所述虚拟现实装置的视频图像或音视频融合数据的分享条件；如果所述客户终端满足所述虚拟现实装置的视频图像或音视频融合数据的分享条件，触发所述第一服务器将所述虚拟现实装置的视频图像或音视频融合数据发送至所述客户终端的操作。
在一些实施例中，所述分享条件包括以下任意一个或多个：全部可分享、不可分享、组内可分享、亲友可分享和积分可分享。
本申请实施例还提供了一种第一服务器，包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如以上任意一项所述的数据处理方法的步骤。
本申请实施例还提供了一种数据处理方法，包括：第二服务器接收N个第一服务器发送的源数据，所述N个第一服务器与M个虚拟现实装置通过网络相连接，所述源数据包括以下至少之一：所述M个虚拟现实装置的局部视频图像和/或音频信息，所述局部视频图像由所述第一服务器根据自身连接的虚拟现实装置的控制信息和位姿信息对应用图像进行渲染得到，所述音频信息由所述第一服务器从自身连接的虚拟现实装置接收得到，N、M均为自然数，M小于或等于N；第二服务器对接收的源数据进行整合，形成M个虚拟现实装置的融合视频图像和/或音视频融合数据。
在一些实施例中，所述方法还包括：所述第二服务器将所述M个虚拟现实装置的融合视频图像和/或音视频融合数据发送至一个或多个客户终端，所述客户终端为与所述第一服务器通过网络连接的视频播放设备。
在一些实施例中，当所述音频信息接收自第一虚拟现实装置且所述客户终端为第二虚拟现实装置时，所述方法还包括：所述第二服务器检测所述第一虚拟现实装置与所述第二虚拟现实装置的位置关系；所述第二服务器根据检测到的位置关系，发送音频控制信息至所述第二虚拟现实装置，以使得所述第二虚拟现实装置根据所述音频控制信息播放所述音视频融合数据。
本申请实施例还提供了一种第二服务器，包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如以上任意一项所述的数据处理方法的步骤。
本申请实施例还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如以上任意一项所述的数据处理方法的步骤。
本申请的数据处理方法、第一服务器、第二服务器与存储介质，通过第一服务器将接收的音频信息和渲染后的视频图像进行融合，得到所述虚拟现实装置的音视频融合数据，使得虚拟现实装置具备音频交互功能，提高了用户体验；
进一步地，本申请通过在N个第一服务器的上层设置第二服务器，通过第二服务器对N个第一服务器的源数据进行整合，使得虚拟现实装置可以用于多人交互的场景，进一步提高了用户体验。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请实施例的一种数据处理方法的流程示意图；
图2为本申请实施例的一种第一服务器的应用场景示意图；
图3为本申请实施例的一种第一服务器的结构示意图；
图4为本申请实施例的另一种数据处理方法的流程示意图；
图5为本申请实施例的一种第二服务器的应用场景示意图；
图6为本申请实施例的一种第二服务器的结构示意图。
具体实施方式
本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。
如图1所示，本申请实施例提供了一种数据处理方法，包括步骤101至步骤103。
具体的，步骤101包括：第一服务器接收虚拟现实装置发送的控制信息、位姿信息和音频信息。
在本实施例中，虚拟现实装置可以包括头戴显示器和交互设备，其中，头戴显示器可以包括移动端头戴显示器、PC端头戴显示器、一体式头戴显示器、分体式头戴显示器等；交互设备可以包括手柄、手套、鼠标、键盘以及其他可手持或佩戴的装置。
在本实施例中，第一服务器中安装虚拟现实应用，由该虚拟现实应用接收头戴显示器发送的控制信息、位姿信息和音频信息，第一服务器可以为云端服务器。
在本实施例中，交互设备和头戴显示器进行配对形成一套虚拟现实装置。用户头上佩戴头戴显示器，手上拿着交互设备在现实场景中运动，第一服务器上有内容提供商提供的虚拟现实应用内容，用户的头戴显示器显示第一服务器传输的虚拟现实视频图像或音视频融合数据。虚拟现实装置首先将采集的控制信息、位姿信息和音频信息通过网络(例如，该网络可以为5G网络)传输给第一服务器，第一服务器通过接收虚拟现实装置发送的控制信息、位姿信息和音频信息并进行处理，形成和发送的控制信息、位姿信息和音频信息对应的虚拟现实视频图像或音视频融合数据。例如，假设内容提供商提供的是第一人称的CS的虚拟现实游戏，第一服务器在接收到控制信息、位姿信息和音频信息时，可以获得与该控制信息、位姿信息和音频信息相对应的虚拟现实视频图像，例如虚拟现实游戏中虚拟角色举刀，第一服务器将该处理得到的虚拟现实视频图像再传送给虚拟现实装置上的头戴显示器进行显示。
在本实施例中，控制信息可以为头戴显示器和/或交互设备上的按键信息。
在本实施例中，位姿信息可以包括通过交互设备上的***获得的位置信息与通过交互设备上的传感器获得的姿态信息。
在本实施例中，位置信息包括沿X、Y、Z三个直角坐标轴方向的位置信息，姿态信息包括绕X、Y、Z三个直角坐标轴方向的姿态信息Pitch、Yaw、Roll，其中，Pitch是围绕X轴旋转的俯仰角，Yaw是围绕Y轴旋转的偏航角，Roll是围绕Z轴旋转的翻滚角。通常将沿X、Y、Z三个直角坐标轴方向的位置信息和绕X、Y、Z三个直角坐标轴方向的姿态信息Pitch、Yaw、Roll合称为六自由度信息。
在本实施例中，该位置信息可以这样获得：在空间中设置一定位***，该定位***包括一信号发射器和头戴显示器上内设或外设的***、交互设备上内设或外设的***，头戴显示器上的***用于接收信号发射器发射的定位信号，以此获得头戴显示器的位置信息；交互设备上的***，用于接收信号发射器发射的定位信号，以此获得交互设备的位置信息。
在本实施例中，该位置信息还可以这样获得：在空间中设置一个或多个已知坐标的定位基站，需要定位的交互设备携带***(例如，该***可以为定位标签)，定位标签按照一定的频率发射请求性质的脉冲信号，定位基站接收到请求性质的脉冲信号后发射响应性质的脉冲信号，根据定位标签发射和接收所述脉冲信号的时间差计算脉冲信号的飞行时间，根据脉冲信号的飞行时间确定定位标签和定位基站之间的距离信息，进而计算出定位标签的位置信息(即交互设备的位置信息)。
在本实施例中，交互设备上的传感器包括六轴传感器或九轴传感器，其中，六轴传感器包括三轴陀螺仪和三轴加速度计；九轴传感器包括三轴陀螺仪、三轴加速度计和三轴磁力计。
在本实施例中，位姿信息还可以包括通过头戴显示器和/或交互设备上的摄像头拍摄的图像信息。
需要说明的是，头戴显示器上的摄像头拍摄的图像信息可能仅包括头戴显示器的位姿信息；或者，头戴显示器上的摄像头拍摄的图像信息可能不仅包括头戴显示器的位姿信息，还可能包含交互设备的位姿信息，其中，交互设备上可以预先设置一个或多个具有标识意义的图案、点阵或其它方案的定位标识，以便于第一服务器侧根据该定位标识定位交互设备的位姿信息。
第一服务器接收到该位姿信息后，通过即时定位与地图构建(SimultaneousLocalization And Mapping，SLAM)算法、透视n点定位(Perspective-n-Point，PNP)算法等视觉算法直接计算头戴显示器和/或交互设备的位置和姿态信息，或者利用多传感器融合技术实现视觉与惯导信息的融合，提高位姿信息估计的实时性和精度。
在本实施例中，虚拟现实装置发送的位姿信息可以是由虚拟现实装置已经解算出来的X、Y、Z三轴位置信息和姿态信息；也可以是虚拟现实装置上的传感器和***采集的原始的信号数据，此时，由第一服务器进一步解算得到X、Y、Z三轴位置信息和姿态信息。
在本实施例中，音频信息可以为头戴显示器和/或交互设备上的麦克风采集的声音信息。
在本实施例中，第一服务器可以通过5G网络接收虚拟现实装置发送的控制信息、位姿信息和音频信息。5G具有更快的传输速度、更大的传输容量以及极低的时延，通过5G网络传输，可以减少数据传输的时间，从而减少延时。而对于虚拟现实应用，为了使用户获得好的使用体验，需要延时越小越好，否则会有头晕等症状。
步骤102包括：第一服务器根据接收的控制信息和位姿信息对应用图像进行渲染，得到渲染后的视频图像。
在本实施例中，步骤102可以包括：
第一服务器根据接收的控制信息和位姿信息，采集当前虚拟现实应用的图像画面(采集帧率可以为60帧/秒(Frames Per Second，fps)或更高)；
第一服务器对采集的每一帧图像，进行透镜扭曲化处理，得到处理后的图像帧；
第一服务器对处理后的图像帧进行编码(可以编码为H.264码流，或者活动图像专家组-2(Moving Picture Experts Group-2，MPEG-2)、信源编码标准(Audio Video codingStandard，AVS)等)。
对于一些虚拟现实应用，需要的显示帧率较高，例如，假设需要的虚拟现实装置显示帧率为120fps，然而第一服务器的采集帧率为60fps，则第一服务器对采集的每一帧图像，进行透镜扭曲化处理之前，需要对采集的图像帧进行时间扭曲化处理，即将图像帧进行时间轴的插帧渲染，得到120fps的图像帧显示帧率，再将120fps图像帧显示帧率的图像进行透镜扭曲化处理，并编码发送给头戴显示器进行显示。该插帧过程也可以在头戴显示器中实现。
步骤103包括：第一服务器将接收的音频信息和渲染后的视频图像进行融合，得到虚拟现实装置的音视频融合数据。
在本实施例中，第一服务器上可以设置虚拟声卡，并设置虚拟声卡为默认的麦克风输入，将扬声器的音频数据转至麦克风中，以实现内录功能，第一服务器可以存储处理得到的音视频，需要的时候传输给虚拟现实装置上的头戴显示器进行显示播放或传输给其他客户终端进行显示播放。
将接收的音频信息和渲染后的视频图像进行融合具体地可包括：确定进行音频采集的音频单元时长，可根据基于预设的进行音频采集的采集频率、采集通道数、采集位数，确定进行音频采集的音频单元时长；基于音频单元时长，确定采集到的每个音频单元对应的时间戳，时间戳可以向下取整并进行动态补偿，以减少取整造成的同步误差；基于采集到的每个音频单元对应的时间戳和采集到的每个图像单元对应的时间戳，对音频单元和图像单元进行融成，得到融合后的视频数据，对于时间戳之间的差额在预定差额内的数据进行融合。
在本实施例中，所述方法还可以包括：第一服务器将所述虚拟现实装置的视频图像或音视频融合数据发送至一个或多个客户终端，该客户终端为与第一服务器通过网络连接的视频播放设备。
在本实施例中，该客户终端可以为在步骤101中发送控制信息、位姿信息和音频信息的虚拟现实装置，也可以为其他任意的虚拟现实装置，还可以为个人计算机、手机、平板显示器等其他具有视频播放功能的网络设备。
在本实施例中，第一服务器将虚拟现实装置的视频图像或音视频融合数据发送至一个或多个客户终端之前，所述方法还可以包括：
第一服务器检测客户终端是否满足虚拟现实装置的视频图像或音视频融合数据的分享条件；
如果客户终端满足虚拟现实装置的视频图像或音视频融合数据的分享条件，触发第一服务器将虚拟现实装置的视频图像或音视频融合数据发送至客户终端的操作。
在本实施例中，分享条件可以包括以下任意一个或多个：全部可分享、不可分享、组内可分享、亲友可分享、积分可分享或其他任意类型的分析条件。
例如，假设发送控制信息、位姿信息和音频信息的虚拟现实装置为第一虚拟现实装置，客户终端为与发送控制信息、位姿信息和音频信息的虚拟现实装置不同的第二虚拟现实装置，假设第一虚拟现实装置的视频图像或音视频融合数据的分享条件为组内可分享，当第二虚拟现实装置与第一虚拟现实装置在同一组时，第二虚拟现实装置可以获得第一虚拟现实装置的视频图像或音视频融合数据。
又如，假设客户终端为与第一服务器通过网络连接的个人计算机、手机、平板显示器等任意类型的网络设备，假设该虚拟现实装置的视频图像或音视频融合数据的分享条件为积分可分享(假设需要花费的积分为100游戏积分)，那么，用户通过网络设备花费100游戏积分，就可以获得该虚拟现实装置的视频图像或音视频融合数据。
如图2所示，客户终端(例如PC、头显、手机、PAD等)可以向第一服务器请求，获取虚拟现实装置的音视频。进一步地，虚拟现实装置可以设立权限，对于传输并存储在第一服务器的音视频分为可分享、不可分享、亲友可分享、积分可分享等，客户终端可以根据自身的定义，获取相应的虚拟现实装置的音视频，例如需要花费100游戏积分才可以看到，或者是亲友才可以看到等情况。
基于同一发明构思，本申请实施例还提供了一种第一服务器，包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如以上任意一项所述的数据处理方法的步骤。
基于同一发明构思，本申请实施例还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如以上任意一项所述的数据处理方法的步骤。
基于同一发明构思，如图3所示，本申请实施例还提供了一种第一服务器，包括第一通信模块301和第一音视频处理模块302，其中：
第一通信模块301，用于接收虚拟现实装置发送的控制信息、位姿信息和音频信息；
第一音视频处理模块302，用于根据接收的控制信息和位姿信息对应用图像进行渲染，得到渲染后的视频图像，并将接收的音频信息和渲染后的视频图像进行融合，得到所述虚拟现实装置的音视频融合数据。
在本实施例中，控制信息可以为头戴显示器和/或交互设备上的按键信息。
在本实施例中，位姿信息可以包括通过交互设备上的***获得的位置信息与通过交互设备上的传感器获得的姿态信息。
在本实施例中，位姿信息还可以包括通过头戴显示器和/或交互设备上的摄像头拍摄的图像信息。
在本实施例中，音频信息可以为头戴显示器和/或交互设备上的麦克风采集的声音信息。
在本实施例中，第一音视频处理模块302根据接收的控制信息和位姿信息对应用图像进行渲染，得到渲染后的视频图像，包括：
根据接收的控制信息和位姿信息，采集当前虚拟现实应用的图像画面(采集帧率可以为60fps或更高)；
对采集的每一帧图像，进行透镜扭曲化处理，得到处理后的图像帧；
对处理后的图像帧进行编码(可以编码为H.264码流，或者MPEG-2、AVS等)。
在本实施例中，第一音视频处理模块302还用于，通过虚拟声卡内录得到虚拟现实装置的音视频融合数据。
在本实施例中，第一通信模块301还用于，将虚拟现实装置的视频图像或音视频融合数据发送至一个或多个客户终端，该客户终端为与第一服务器通过网络连接的视频播放设备。
在本实施例中，该客户终端可以为发送控制信息、位姿信息和音频信息的虚拟现实装置，也可以为其他任意的虚拟现实装置，还可以为个人计算机、手机、平板显示器等其他具有视频播放功能的网络设备。
在本实施例中，第一音视频处理模块302将接收的音频信息和渲染后的视频图像进行融合具体地可包括：确定进行音频采集的音频单元时长，可根据基于预设的进行音频采集的采集频率、采集通道数、采集位数，确定进行音频采集的音频单元时长；基于音频单元时长，确定采集到的每个音频单元对应的时间戳，时间戳可以向下取整并进行动态补偿，以减少取整造成的同步误差；基于采集到的每个音频单元对应的时间戳和采集到的每个图像单元对应的时间戳，对音频单元和图像单元进行融成，得到融合后的视频数据，对于时间戳之间的差额在预定差额内的数据进行融合。
在本实施例中，第一服务器还包括第一处理模块，其中：
第一处理模块，用于检测客户终端是否满足虚拟现实装置的视频图像或音视频融合数据的分享条件，如果该客户终端满足虚拟现实装置的视频图像或音视频融合数据的分享条件，通知第一通信模块301将虚拟现实装置的视频图像或音视频融合数据发送至该客户终端。
在本实施例中，分享条件可以包括：全部可分享、不可分享、组内可分享、亲友可分享、积分可分享或其他任意类型的分析条件。
基于同一发明构思，如图4所示，本申请实施例还提供了一种数据处理方法，包括步骤401至步骤402。
其中，步骤401包括：第二服务器接收N个第一服务器发送的源数据，N个第一服务器与M个虚拟现实装置通过网络相连接，源数据包括以下至少之一：M个虚拟现实装置的局部视频图像和/或音频信息，局部视频图像由第一服务器根据自身连接的虚拟现实装置的控制信息和位姿信息对应用图像进行渲染得到，音频信息由第一服务器从自身连接的虚拟现实装置接收得到，N、M均为自然数，M小于或等于N。
第一服务器和第二服务器可以为云端服务器。本申请实施例提供的数据处理方法，可以实现虚拟现实应用中的多人交互，以下以M＝N为例，具体描述本申请实施例的数据处理方法的应用场景。
假设在一个大型的CS游戏中，有N个用户，每个用户拥有一套各自的虚拟现实装置，每套虚拟现实装置可以包括各自相互配对的交互设备和头戴显示器，每套虚拟现实装置分别对应于一个第一服务器。本实施例中，如图5所示，假设用户1对应于第一服务器1，将用户1交互形成的图像数据形成在第一服务器1中进行处理，用户2对应于第一服务器2，将用户2交互形成的图像数据形成在第一服务器2中进行处理，以此类推。假设每套虚拟现实装置将自身采集的控制信息、位姿信息和/或音频信息发送至对应的第一服务器，第一服务器根据接收到的控制信息和位姿信息，处理得到对应的虚拟现实装置的局部视频图像。在N个第一服务器的上层，设置一个第二服务器，第一服务器将处理后的局部视频图像和/或接收到的音频信息发送至上层的第二服务器，第二服务器整合N个第一服务器的交互数据，形成一个整体的和/或从各个虚拟现实装置角度的融合视频图像和/或音视频融合数据，该融合视频图像和/或音视频融合数据可以先传输给一个或多个第一服务器，由第一服务器传输给对应的头戴显示器进行显示和播放；或者，也可以不进行传输，仅进行存储。
步骤402包括：第二服务器对接收的源数据进行整合，形成M个虚拟现实装置的融合视频图像和/或音视频融合数据。
在本实施例中，所述方法还包括：第二服务器将M个虚拟现实装置的融合视频图像和/或音视频融合数据发送至一个或多个客户终端，客户终端为与第一服务器通过网络连接的视频播放设备。
在本实施例中，第二服务器将M个虚拟现实装置的融合视频图像和/或音视频融合数据发送至一个或多个客户终端之前，所述方法还可以包括：
第二服务器检测客户终端是否满足该融合视频图像和/或音视频融合数据的分享条件；
如果客户终端满足该融合视频图像和/或音视频融合数据的分享条件，触发第二服务器将M个虚拟现实装置的融合视频图像和/或音视频融合数据发送至一个或多个客户终端的操作。
在本实施例中，分享条件可以包括以下任意一个或多个：全部可分享、不可分享、组内可分享、亲友可分享、积分可分享或其他任意类型的分析条件。
例如，在一个大型CS游戏中，所有用户分成两组，此时，第二服务器可以对用户发出的音频进行分析，是在本队内进行该音频播放，还是对全部用户进行该音频播放，或是对某个用户进行音频播放。
在本实施例中，融合视频图像包括整体融合视频图像以及各个虚拟现实装置对应的局部融合视频图像，音视频融合数据包括整体音视频融合数据以及各个虚拟现实装置对应的局部音视频融合数据。
客户终端请求查看第二服务器上存储的融合视频图像和/或音视频融合数据的时候，可以选择以上帝视角查看整体融合视频图像或整体音视频融合数据(此时，该客户终端可以为虚拟现实装置，也可以为其他类型的网络设备)，或者以和每个虚拟现实装置的用户对应的视角查看各个虚拟现实装置对应的局部融合视频图像或局部音视频融合数据(此时，该客户终端为虚拟现实装置)。
在本实施例中，整体融合视频图像以及各个虚拟现实装置对应的局部融合视频图像可以分别设置各自的分享条件；整体音视频融合数据以及各个虚拟现实装置对应的局部音视频融合数据也可以分别设置各自的分享条件。
在本实施例中，当音频信息接收自第一虚拟现实装置且客户终端为第二虚拟现实装置时，所述方法还包括：
第二服务器检测第一虚拟现实装置与第二虚拟现实装置的位置关系；
第二服务器根据检测到的位置关系，发送音频控制信息至第二虚拟现实装置，以使得第二虚拟现实装置根据音频控制信息播放音视频融合数据。
在本实施例中，第二服务器在音频处理时，需要根据用户的定位进行处理，例如，用户A位于整个地图的左边，当他对虚拟场景中位于右侧的用户B说话时，当该音频传输给用户B时，通过头显上的立体声音播放***，使用户B听到该声音能感知出从自己的左边的用户发出的。
基于同一发明构思，本申请实施例还提供了一种第二服务器，包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如以上任意一项所述的数据处理方法的步骤。
基于同一发明构思，本申请实施例还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如以上任意一项所述的数据处理方法的步骤。
基于同一发明构思，如图6所示，本申请实施例还提供了一种第二服务器，包括第二通信模块601和第二音视频处理模块602。
具体的，第二通信模块601，用于接收N个第一服务器发送的源数据，所述N个第一服务器与M个虚拟现实装置通过网络相连接，所述源数据包括以下至少之一：所述M个虚拟现实装置的局部视频图像或音频信息，所述局部视频图像由所述第一服务器根据自身连接的虚拟现实装置的控制信息和位姿信息对应用图像进行渲染得到，所述音频信息由所述第一服务器从自身连接的虚拟现实装置接收得到。
第二音视频处理模块602，用于对接收的源数据进行整合，形成M个虚拟现实装置的融合视频图像和/或音视频融合数据。
在本实施例中，第二通信模块601还用于，将M个虚拟现实装置的融合视频图像和/或音视频融合数据发送至一个或多个客户终端，客户终端为与第一服务器通过网络连接的视频播放设备。
在本实施例中，第二服务器还包括第二处理模块，其中：
第二处理模块，用于检测客户终端是否满足该融合视频图像和/或音视频融合数据的分享条件；如果该客户终端满足该融合视频图像和/或音视频融合数据的分享条件，通知第二通信模块601将M个虚拟现实装置的融合视频图像和/或音视频融合数据发送至该客户终端。
在本实施例中，分享条件可以包括：全部可分享、不可分享、组内可分享、亲友可分享、积分可分享或其他任意类型的分析条件。
在本实施例中，融合视频图像包括整体融合视频图像以及各个虚拟现实装置对应的局部融合视频图像，音视频融合数据包括整体音视频融合数据以及各个虚拟现实装置对应的局部音视频融合数据。
在本实施例中，整体融合视频图像以及各个虚拟现实装置对应的局部融合视频图像可以分别设置各自的分享条件；整体音视频融合数据以及各个虚拟现实装置对应的局部音视频融合数据也可以分别设置各自的分享条件。
在本实施例中，当音频信息接收自第一虚拟现实装置且客户终端为第二虚拟现实装置时，第二处理模块还用于，检测第一虚拟现实装置与第二虚拟现实装置的位置关系；根据检测到的位置关系，生成音频控制信息并传输给第二通信模块601；
第二通信模块601还用于，发送音频控制信息至第二虚拟现实装置，以使得第二虚拟现实装置根据音频控制信息播放音视频融合数据。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种数据处理方法，其特征在于，包括：
第一服务器接收虚拟现实装置发送的控制信息、位姿信息和音频信息；
第一服务器根据接收的控制信息和位姿信息对应用图像进行渲染，得到渲染后的视频图像；
第一服务器将接收的音频信息和渲染后的视频图像进行融合，得到所述虚拟现实装置的音视频融合数据。
2.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：所述第一服务器将所述虚拟现实装置的视频图像或音视频融合数据发送至一个或多个客户终端，所述客户终端为与所述第一服务器通过网络连接的视频播放设备。
3.根据权利要求2所述的数据处理方法，其特征在于，所述第一服务器将所述虚拟现实装置的视频图像或音视频融合数据发送至一个或多个客户终端之前，所述方法还包括：
所述第一服务器检测所述客户终端是否满足所述虚拟现实装置的视频图像或音视频融合数据的分享条件；
如果所述客户终端满足所述虚拟现实装置的视频图像或音视频融合数据的分享条件，触发所述第一服务器将所述虚拟现实装置的视频图像或音视频融合数据发送至所述客户终端的操作。
4.根据权利要求3所述的数据处理方法，其特征在于，所述分享条件包括以下任意一个或多个：全部可分享、不可分享、组内可分享、亲友可分享和积分可分享。
5.一种第一服务器，其特征在于，包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至4任意一项所述的数据处理方法的步骤。
6.一种数据处理方法，其特征在于，包括：
第二服务器接收N个第一服务器发送的源数据，所述N个第一服务器与M个虚拟现实装置通过网络相连接，所述源数据包括以下至少之一：所述M个虚拟现实装置的局部视频图像和/或音频信息，所述局部视频图像由所述第一服务器根据自身连接的虚拟现实装置的控制信息和位姿信息对应用图像进行渲染得到，所述音频信息由所述第一服务器从自身连接的虚拟现实装置接收得到，N、M均为自然数，M小于或等于N；
第二服务器对接收的源数据进行整合，形成M个虚拟现实装置的融合视频图像和/或音视频融合数据。
7.根据权利要求6所述的数据处理方法，其特征在于，所述方法还包括：所述第二服务器将所述M个虚拟现实装置的融合视频图像和/或音视频融合数据发送至一个或多个客户终端，所述客户终端为与所述第一服务器通过网络连接的视频播放设备。
8.根据权利要求7所述的数据处理方法，其特征在于，当所述音频信息接收自第一虚拟现实装置且所述客户终端为第二虚拟现实装置时，所述方法还包括：
所述第二服务器检测所述第一虚拟现实装置与所述第二虚拟现实装置的位置关系；
所述第二服务器根据检测到的位置关系，发送音频控制信息至所述第二虚拟现实装置，以使得所述第二虚拟现实装置根据所述音频控制信息播放所述音视频融合数据。
9.一种第二服务器，其特征在于，包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求6至8任意一项所述的数据处理方法的步骤。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4或者权利要求6至8任意一项所述的数据处理方法的步骤。
CN202010136715.5A 2020-03-02 2020-03-02 一种数据处理方法、第一服务器、第二服务器与存储介质 Pending CN111459267A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010136715.5A CN111459267A (zh) 2020-03-02 2020-03-02 一种数据处理方法、第一服务器、第二服务器与存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010136715.5A CN111459267A (zh) 2020-03-02 2020-03-02 一种数据处理方法、第一服务器、第二服务器与存储介质

Publications (1)

Publication Number Publication Date
CN111459267A true CN111459267A (zh) 2020-07-28

Family

ID=71684154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010136715.5A Pending CN111459267A (zh) 2020-03-02 2020-03-02 一种数据处理方法、第一服务器、第二服务器与存储介质

Country Status (1)

Country Link
CN (1) CN111459267A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112579038A (zh) * 2020-12-24 2021-03-30 上海商米科技集团股份有限公司 一种内置录音方法、装置、电子设备和存储介质
CN113254989A (zh) * 2021-04-27 2021-08-13 支付宝(杭州)信息技术有限公司 目标数据的融合方法、装置和服务器
CN115002401A (zh) * 2022-08-03 2022-09-02 广州迈聆信息科技有限公司 一种信息处理方法、电子设备、会议***及介质
CN115100344A (zh) * 2022-08-23 2022-09-23 北京七维视觉科技有限公司 Xr空间定位方法、装置、计算机设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104011788A (zh) * 2011-10-28 2014-08-27 奇跃公司 用于增强和虚拟现实的***和方法
CN105653012A (zh) * 2014-08-26 2016-06-08 蔡大林 多用户沉浸式全互动虚拟现实工程培训***
CN106792133A (zh) * 2016-12-30 2017-05-31 北京华为数字技术有限公司 虚拟现实服务器、视频数据传输方法及***
CN107024995A (zh) * 2017-06-05 2017-08-08 河北玛雅影视有限公司 多人虚拟现实交互***及其控制方法
US20180074679A1 (en) * 2016-09-14 2018-03-15 Samsung Electronics Co., Ltd. Method, apparatus, and system for sharing virtual reality viewport
WO2018120657A1 (zh) * 2016-12-27 2018-07-05 华为技术有限公司 一种共享虚拟现实数据的方法和设备
CN109126122A (zh) * 2017-06-16 2019-01-04 上海拆名晃信息科技有限公司 一种用于虚拟现实的云游戏***实现方法
CN109375764A (zh) * 2018-08-28 2019-02-22 北京凌宇智控科技有限公司 一种头戴显示器、云端服务器、vr***及数据处理方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104011788A (zh) * 2011-10-28 2014-08-27 奇跃公司 用于增强和虚拟现实的***和方法
CN106484115A (zh) * 2011-10-28 2017-03-08 奇跃公司 用于增强和虚拟现实的***和方法
CN105653012A (zh) * 2014-08-26 2016-06-08 蔡大林 多用户沉浸式全互动虚拟现实工程培训***
US20180074679A1 (en) * 2016-09-14 2018-03-15 Samsung Electronics Co., Ltd. Method, apparatus, and system for sharing virtual reality viewport
WO2018120657A1 (zh) * 2016-12-27 2018-07-05 华为技术有限公司 一种共享虚拟现实数据的方法和设备
CN106792133A (zh) * 2016-12-30 2017-05-31 北京华为数字技术有限公司 虚拟现实服务器、视频数据传输方法及***
CN107024995A (zh) * 2017-06-05 2017-08-08 河北玛雅影视有限公司 多人虚拟现实交互***及其控制方法
CN109126122A (zh) * 2017-06-16 2019-01-04 上海拆名晃信息科技有限公司 一种用于虚拟现实的云游戏***实现方法
CN109375764A (zh) * 2018-08-28 2019-02-22 北京凌宇智控科技有限公司 一种头戴显示器、云端服务器、vr***及数据处理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112579038A (zh) * 2020-12-24 2021-03-30 上海商米科技集团股份有限公司 一种内置录音方法、装置、电子设备和存储介质
CN113254989A (zh) * 2021-04-27 2021-08-13 支付宝(杭州)信息技术有限公司 目标数据的融合方法、装置和服务器
CN115002401A (zh) * 2022-08-03 2022-09-02 广州迈聆信息科技有限公司 一种信息处理方法、电子设备、会议***及介质
CN115002401B (zh) * 2022-08-03 2023-02-10 广州迈聆信息科技有限公司 一种信息处理方法、电子设备、会议***及介质
CN115100344A (zh) * 2022-08-23 2022-09-23 北京七维视觉科技有限公司 Xr空间定位方法、装置、计算机设备及存储介质
CN115100344B (zh) * 2022-08-23 2022-10-25 北京七维视觉科技有限公司 Xr空间定位方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN111459267A (zh) 一种数据处理方法、第一服务器、第二服务器与存储介质
CN107911644B (zh) 基于虚拟人脸表情进行视频通话的方法及装置
EP3926441A1 (en) Output of virtual content
JP2019512769A5 (zh)
CN110876051B (zh) 视频数据的处理，传输方法及装置，视频数据的处理***
CN103959220B (zh) 一种实现增强现实的方法及用户设备
CN108111899A (zh) 视频传输方法、客户端、服务器
KR20210031894A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
CN113467603A (zh) 音频处理方法、装置、可读介质及电子设备
CN115103175B (zh) 图像传输方法、装置、设备及介质
US10803652B2 (en) Image generating apparatus, image generating method, and program for displaying fixation point objects in a virtual space
CN115639976A (zh) 一种虚拟现实内容多模式多角度同步展示方法及***
CN111163306B (zh) 一种vr视频处理的方法及相关装置
CN109766006B (zh) 虚拟现实场景的显示方法、装置及设备
CN112788443B (zh) 基于光通信装置的交互方法和***
CN111277866B (zh) 一种控制vr视频播放的方法及相关装置
CN111710046A (zh) 交互方法、装置和电子设备
CN115225975A (zh) 多自由度场景下的沉浸式媒体获取方法、设备及存储介质
CN115131528A (zh) 虚拟现实场景确定方法、装置及***
CN110166825B (zh) 视频数据处理方法及装置、视频播放方法及装置
CN111448544A (zh) 沉浸式虚拟环境中的动画化视角的选择
CN114615528B (zh) Vr视频的播放方法、***、设备及介质
WO2024016880A1 (zh) 信息交互方法、装置、电子设备和存储介质
CN110047520B (zh) 音频播放的控制方法、装置、电子设备和计算机可读存储介质
CN117641040A (zh) 视频处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination