CN109474648B - 一种虚拟现实交互的补偿方法及服务端设备 - Google Patents
一种虚拟现实交互的补偿方法及服务端设备 Download PDFInfo
- Publication number
- CN109474648B CN109474648B CN201710801198.7A CN201710801198A CN109474648B CN 109474648 B CN109474648 B CN 109474648B CN 201710801198 A CN201710801198 A CN 201710801198A CN 109474648 B CN109474648 B CN 109474648B
- Authority
- CN
- China
- Prior art keywords
- virtual reality
- user
- information
- picture
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种虚拟现实交互的补偿方法及服务端设备，该方法包括：获取发生交互失败事件的第一虚拟现实设备的历史显示画面信息、所述第一虚拟现实设备的用户头部运动历史信息以及所述第一虚拟现实设备的用户肢体运动历史信息；根据所述历史显示画面信息、所述用户头部运动历史信息以及所述用户肢体运动历史信息，确定所述第一虚拟现实设备的待显示画面；将确定的所述待显示画面传输给所述第一虚拟现实设备。本发明实施例保证了虚拟现实交互业务的视觉连贯性；同时基于历史显示画面信息、用户头部运动历史信息以及用户肢体运动历史信息能够提升画面预测的准确性，进一步优化用户体验。
Description
技术领域
本发明涉及通信技术领域，特别的指一种虚拟现实交互的补偿方法及服务端设备。
背景技术
基于有线方式的交互式VR(Virtual Reality，虚拟现实)中交互的信息通过实体线路进行传输，服务端依据交互信息确定下一个画面应该显示的内容。而基于无线方式的交互式VR中信息交互的实现只能通过无线网络进行传输，传递的可靠性和时效性不如有线方式。又因为交互信息对于交互式VR来说是至关重要的，一旦交互信息传输失败(丢失或严重滞后)，将严重影响下一画面的准备和后续传输，用户的VR体验效果很差。
发明内容
本发明的目的在于提供一种虚拟现实交互的补偿方法及服务端设备，以解决现有技术中虚拟现实的交互信息传输失败导致下一帧画面无法正常传输的问题。
为了解决上述问题，本发明实施例提供一种虚拟现实交互的补偿方法，应用于服务端，包括：
获取发生交互失败事件的第一虚拟现实设备的历史显示画面信息、所述第一虚拟现实设备的用户头部运动历史信息以及所述第一虚拟现实设备的用户肢体运动历史信息；其中，服务端在预设时间段内未接收到与所述服务端交互的第一虚拟现实设备上报的交互信息则确定第一虚拟现实设备发生交互失败事件；
根据所述历史显示画面信息、所述用户头部运动历史信息以及所述用户肢体运动历史信息，确定所述第一虚拟现实设备的待显示画面；
将确定的所述待显示画面传输给所述第一虚拟现实设备。
较佳的，所述根据所述历史显示画面信息、所述用户头部运动历史信息以及所述用户肢体运动历史信息，确定所述第一虚拟现实设备的待显示画面的步骤，包括：
根据所述历史显示画面信息，预测所述第一虚拟现实设备的待显示的全景画面；
根据所述用户头部运动历史信息，预测所述第一虚拟现实设备的用户头部的当前位置及当前朝向角度；
根据所述用户肢体运动历史信息，确定所述第一虚拟现实设备的用户肢体运动轨迹的走向，并根据所述用户肢体运动轨迹的走向预测用户肢体对预设操作的响应结果；
根据所述待显示的全景画面、所述用户头部的当前位置、所述用户头部的当前朝向角度以及用户肢体对预设操作的响应结果，确定所述第一虚拟现实设备的待显示画面。
较佳的，所述确定所述虚拟现实设备的待显示画面之后，所述方法还包括：
获取与所述待显示画面对应的声音信息；
对所述声音信息进行编码并传输给所述虚拟现实设备；其中，所述声音信息与所述待显示画面相匹配。
较佳的，若N个虚拟现实设备在一预设应用内与所述服务端同时交互，N为大于或者等于2的整数；所述N个虚拟现实设备包括：至少一个第一虚拟现实设备；
所述将确定的所述待显示画面传输给所述第一虚拟现实设备的步骤，包括：
将确定的所述待显示画面分发给所述预设应用内的每个虚拟现实设备。
较佳的，所述方法还包括：
若所述预设应用内所述第一虚拟现实设备发生交互失败事件的次数等于预设次数或者所述第一虚拟现实设备发生交互失败事件的时间超过预设门限，根据所述N个虚拟现实设备的历史显示画面信息以及与未发生交互失败事件的第二虚拟现实设备的上报的交互信息生成所述第一虚拟现实设备的虚拟操作和替代；
将所述第一虚拟现实设备的替代推送到所述预设应用中，且所述第一虚拟现实设备的替代在所述预设应用中执行所述虚拟操作。
较佳的，所述将所述第一虚拟现实设备的替代推送到所述预设应用中，且所述第一虚拟现实设备的替代在所述预设应用中执行所述虚拟操作的步骤之后，所述方法还包括：
若在预设时刻所述第一虚拟现实设备与所述服务端恢复交互，将发生交互失败事件时刻至预设时刻之间的所述预设应用的历史信息发送给所述第一虚拟现实设备，并停止将所述第一虚拟现实设备的替代推送到所述预设应用中。
本发明实施例还提供一种服务端设备，应用于服务端，包括处理器和收发器，所述处理器用于执行如下过程：
获取发生交互失败事件的第一虚拟现实设备的历史显示画面信息、所述第一虚拟现实设备的用户头部运动历史信息以及所述第一虚拟现实设备的用户肢体运动历史信息；其中，服务端在预设时间段内未接收到与所述服务端交互的第一虚拟现实设备上报的交互信息则确定第一虚拟现实设备发生交互失败事件；
根据所述历史显示画面信息、所述用户头部运动历史信息以及所述用户肢体运动历史信息，确定所述第一虚拟现实设备的待显示画面；
将确定的所述待显示画面传输给所述第一虚拟现实设备。
较佳的，所述处理器还用于执行如下过程：
根据所述历史显示画面信息，预测所述第一虚拟现实设备的待显示的全景画面；
根据所述用户头部运动历史信息，预测所述第一虚拟现实设备的用户头部的当前位置及当前朝向角度；
根据所述用户肢体运动历史信息，确定所述第一虚拟现实设备的用户肢体运动轨迹的走向，并根据所述用户肢体运动轨迹的走向预测用户肢体对预设操作的响应结果；
根据所述待显示的全景画面、所述用户头部的当前位置、所述用户头部的当前朝向角度以及用户肢体对预设操作的响应结果，确定所述第一虚拟现实设备的待显示画面。
较佳的，所述处理器还用于执行如下过程：
获取与所述待显示画面对应的声音信息；
对所述声音信息进行编码并传输给所述虚拟现实设备；其中，所述声音信息与所述待显示画面相匹配。
较佳的，若N个虚拟现实设备在一预设应用内与所述服务端同时交互，N为大于或者等于2的整数；所述N个虚拟现实设备包括：至少一个第一虚拟现实设备；
所述处理器还用于执行如下过程：
将确定的所述待显示画面分发给所述预设应用内的每个虚拟现实设备。
较佳的，所述处理器还用于执行如下过程：
若所述预设应用内所述第一虚拟现实设备发生交互失败事件的次数等于预设次数或者所述第一虚拟现实设备发生交互失败事件的时间超过预设门限，根据所述N个虚拟现实设备的历史显示画面信息以及与未发生交互失败事件的第二虚拟现实设备的上报的交互信息生成所述第一虚拟现实设备的虚拟操作和替代；
将所述第一虚拟现实设备的替代推送到所述预设应用中，且所述第一虚拟现实设备的替代在所述预设应用中执行所述虚拟操作。
较佳的，所述处理器还用于执行如下过程：
若在预设时刻所述第一虚拟现实设备与所述服务端恢复交互，将发生交互失败事件时刻至预设时刻之间的所述预设应用的历史信息发送给所述第一虚拟现实设备，并停止将所述第一虚拟现实设备的替代推送到所述预设应用中。
本发明实施例还提供一种服务端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的虚拟现实交互的补偿方法。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的虚拟现实交互的补偿方法中的步骤。
本发明的上述技术方案至少具有如下有益效果：
本发明实施例的上述技术方案中，当第一虚拟现实设备与服务端之间发生交互失败事件，服务端通过对第一虚拟现实设备的历史显示画面信息、用户头部运动历史信息以及用户肢体运动历史信息进行综合分析来预测第一虚拟现实设备的下一帧的待显示画面，并将预测的待显示画面传输给第一虚拟现实设备，保证了虚拟现实交互业务的视觉连贯性；同时基于历史显示画面信息、用户头部运动历史信息以及用户肢体运动历史信息能够提升画面预测的准确性，进一步优化用户体验。
附图说明
图1表示本发明实施例提供的虚拟现实交互的补偿方法的步骤流程图；
图2表示本发明实施例提供的虚拟现实交互的补偿方法的交互原理图；
图3表示本发明实施例提供的服务端设备的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
如图1所示，本发明实施例提供一种虚拟现实交互的补偿方法，应用于服务端，包括：
步骤11，获取发生交互失败事件的第一虚拟现实设备的历史显示画面信息、所述第一虚拟现实设备的用户头部运动历史信息以及所述第一虚拟现实设备的用户肢体运动历史信息；其中，服务端在预设时间段内未接收到与所述服务端交互的第一虚拟现实设备上报的交互信息则确定第一虚拟现实设备发生交互失败事件；
步骤12，根据所述历史显示画面信息、所述用户头部运动历史信息以及所述用户肢体运动历史信息，确定所述第一虚拟现实设备的待显示画面；
步骤13，将确定的所述待显示画面传输给所述第一虚拟现实设备。
本发明的上述实施例针对交互式虚拟现实VR业务，当VR设备与服务端之间的交互信息丢失或者交互信息没有在规定时间内到达，服务端通过对发生交互失败的VR设备的历史显示画面信息、用户头部运动历史信息以及用户肢体运动历史信息进行综合分析后进行下一显示画面的预测，从而确定第一虚拟现实设备的下一帧待显示画面。
较佳的，本发明上述实施例提供的补偿方法能够根据历史信息在规定的时长内继续准备下一帧要传输的视觉显示内容，并在规定的时间内完成内容分发，保证了虚拟现实交互业务的视觉连贯性。进一步的，为了保证第一虚拟现实设备的用户的视觉连贯性，服务端需在下一帧画面的显示时刻到达之前完成待显示画面的预测、编码及传输。
需要说明的是，本发明的上述实施例中，判断虚拟现实设备是否发生交互失败事件时其预设时间段可以设置为小于或者等于相邻帧之间的间隔。
进一步的，本发明的上述实施例中，步骤12包括：
步骤121，根据所述历史显示画面信息，预测所述第一虚拟现实设备的待显示的全景画面；上述历史显示画面信息也可以称为第一虚拟显示设备的用户的内容感知。该历史显示画面信息主要是前后内容的关联性(例如预测接下来需要显示的360度画面场景)、核心内容的切换(如事件触发、切换速度等)。
步骤122，根据所述用户头部运动历史信息，预测所述第一虚拟现实设备的用户头部的当前位置及当前朝向角度；用户头部运动历史信息主要是通过分析头部运动的轨迹以及运动的速度来确定用户头部的当前位置及用户头部的当前朝向角度。根据其朝向角度可确定用户的当前视角，用户的当前视角一般在110度至120度左右的范围。
步骤123，根据所述用户肢体运动历史信息，确定所述第一虚拟现实设备的用户肢体运动轨迹的走向，并根据所述用户肢体运动轨迹的走向预测用户肢体对预设操作的响应结果；由于本发明实施例提供的补偿方法是应用于VR设备与服务端有交互的场景，为了更准确的预测待显示画面，本发明实施例还采集用户肢体运动历史信息，从而预测用户肢体对于服务端的预设操作的响应结果。例如，上一帧中服务端给用户发送的预设操作为射击用户腹部，由于上一帧画面的交互信息未在规定时间内传达至服务端，则服务端无法获知用户被射击到腹部，还是用户成功避开其射击操作，此时根据用户肢体运动历史信息估算成功避开的可能性和被射击的可能性，从而预测用户是被射击还是成功避开射击操作。
步骤124，根据所述待显示的全景画面、所述用户头部的当前位置、所述用户头部的当前朝向角度以及用户肢体对预设操作的响应结果，确定所述第一虚拟现实设备的待显示画面。
本发明的上述实施例中当交互信息没有按时到达时进行下一时刻(或者称为下一帧)画面预测，将历史显示画面信息、用户头部运动历史信息以及用户肢体运动历史信息三者进行分析结合，进行画面预测，可以很大程度提高预测的准确性。本发明实施例中不仅考虑第一虚拟现实设备的历史显示画面信息和用户头部运动历史信息，还根据用户肢体运动历史信息预设与服务端的预设操作的响应结果(也可称为与服务端的交互结果)，进一步提升了交互式VR业务中对下一帧画面的预测的准确性，提升用户体验。
需要说明的是，本发明的上述实施例中，服务端可通过历史显示画面信息、用户头部运动历史信息以及用户肢体运动历史信息进行大数据训练并建立预测模型，从而当交互信息没有到达时直接利用预测模型进行画面预测，进一步提升预测效率；同时还可以通过所有新到达的交互信息对预设模型进行进一步修正，从而进一步完善其预测模型，提升预测的准确性。
如图2所示，服务端完成上一帧数据传输之后，超过规定的时间，没有收到第一VR设备反馈的上一帧的交互信息，则服务端基于历史显示画面信息、用户头部运动历史信息以及用户肢体运动历史信息分析进行本帧的画面显示的综合预测并编码，编码完成之后服务端进行本帧画面数据的传输。
进一步的，本发明的上述实施例中步骤12之后，所述方法还包括：
获取与所述待显示画面对应的声音信息；
对所述声音信息进行编码并传输给所述虚拟现实设备；其中，所述声音信息与所述待显示画面相匹配。
本发明的上述实施例中，服务端预测待显示画面时还需确定与待待显示画面对应的声音信息，从而保证用户的听觉的准确性。因为声音比光的传播要慢许多，声音比画面对时延的要求相对较低，轻微的不同步不影响人的分辩。同时声音对于交互的准确性(尤其是人直接参与)反而要求更高一些。声音信息要等下一帧待显示画面确定之后进行加工处理再传输，接下来声音信息按照预设指示进行的编码传递也需依次顺延。
需要说明的是，本发明实施例提供的补偿方法不仅可以用于单个VR设备与服务端的交互场景，还适用于多个VR设备与服务端同时交互的场景，例如多人实时在线的VR游戏场景等。具体的，N个虚拟现实设备在一预设应用内与所述服务端同时交互，N为大于或者等于2的整数；所述N个虚拟现实设备包括：至少一个第一虚拟现实设备；即N个VR设备中至少一个VR设备与服务端之间发生交互失败事件。
相应的步骤13包括：
步骤131，将确定的所述待显示画面分发给所述预设应用内的每个虚拟现实设备。
虽然不是所有的虚拟现实设备均发生交互失败事件，但由于N个虚拟现实设备是同一场景中与服务端交互，一个虚拟现实设备的交互失败也会影响其他VR设备的视觉体验，故将待显示画面编码后分发给预设应用中的每个虚拟现实设备。进一步的，分发给每个虚拟现实设备的内容可标明是哪个发生交互失败事件的VR设备的，例如VR设备A、VR设备B以及VR设备C同时在一预设应用内与服务端交互，当VR设备A与服务端之间发生交互失败事件，则服务端预测VR设备A的待显示画面并编码之后，将编码后的数据分发给VR设备A、VR设备B以及VR设备C；并在分发数据时标明分发的该数据是服务端预测的VR设备A的下一帧待显示画面的数据。
进一步的，本发明的上述实施例中，所述方法还包括：
若所述预设应用内所述第一虚拟现实设备发生交互失败事件的次数等于预设次数或者所述第一虚拟现实设备发生交互失败事件的时间超过预设门限，根据所述N个虚拟现实设备的历史显示画面信息以及与未发生交互失败事件的第二虚拟现实设备的上报的交互信息生成所述第一虚拟现实设备的虚拟操作和替代；
将所述第一虚拟现实设备的替代推送到所述预设应用中，且所述第一虚拟现实设备的替代在所述预设应用中执行所述虚拟操作。
具体的，一旦预设应用中的某一个VR设备或者多个VR设备在较长时间内一直交互失败或者交互失败的次数超过预设次数，则服务端需要依据N个虚拟现实设备的历史显示画面信息以及与未发生交互失败事件的第二虚拟现实设备的上报的交互信息生成所述第一虚拟现实设备的虚拟操作和替代；并将所述第一虚拟现实设备的替代推送到所述预设应用中，且所述第一虚拟现实设备的替代在所述预设应用中执行所述虚拟操作，从而来维护未发生交互失败事件的第二虚拟现实设备的应用体验。
例如，VR设备A、VR设备B以及VR设备C同时在一预设应用内与服务端交互，当VR设备A与服务端之间发生交互失败事件，且交互失败事件的次数超过预设次数或者交互失败的持续时间超过预设时间，则服务端根据VR设备A、VR设备B以及VR设备C各自的历史显示画面信息以及VR设备B以及VR设备C上报的交互信息，生成VR设备A的虚拟操作和替代(设该替代为VR设备A’)，则VR设备A’在预设应用中执行上述虚拟操作，从而维护VR设备B以及VR设备C的应用体验。
进一步的，本发明的上述实施例中所述将所述第一虚拟现实设备的替代推送到所述预设应用中，且所述第一虚拟现实设备的替代在所述预设应用中执行所述虚拟操作的步骤之后，所述方法还包括：
若在预设时刻所述第一虚拟现实设备与所述服务端恢复交互，将发生交互失败事件时刻至预设时刻之间的所述预设应用的历史信息发送给所述第一虚拟现实设备，并停止将所述第一虚拟现实设备的替代推送到所述预设应用中。
针对交互失败次数超过预设次数或者交互失败的持续时间超过预设时间的VR设备，如果在预设应用执行过程中恢复(即预设时刻是预设应用执行过程中的任一时刻)，则服务端发生交互失败事件时刻至预设时刻之间的所述预设应用的历史信息发送给所述第一虚拟现实设备，以使其尽快融入到预设应用中，并在其融入到预设应用中之后，停止将所述第一虚拟现实设备的替代推送到所述预设应用。
综上，本发明的上述实施例提供的补偿方法不仅适用于单用户与服务端的交互，还适用于多用户与服务端的交互；具体的，无论是单用户与服务端的交互，还是多用户与服务端的交互，当某一个或多个用户与服务端发生交互失败事件时，服务端基于历史显示画面信息、用户头部运动历史信息以及用户肢体运动历史信息预测待显示画面并进行编码下发，保证VR业务视觉的流畅性；同时根据声音的传输特性保证VR业务听觉的准确性；进一步的，若多用户与服务端交互，需将预测的待显示画面分发给应用内的每个用户，并在交互失败超过预设时间或交互失败次数超过预设次数时生成代替和虚拟操作，从而来维护其他未发生交互失败的用户的应用体验，进一步保证了VR业务视觉的流畅性。
如图3所示，本发明实施例还提供一种服务端设备，应用于服务端，包括处理器300和收发器310，所述处理器300用于执行如下过程：
获取发生交互失败事件的第一虚拟现实设备的历史显示画面信息、所述第一虚拟现实设备的用户头部运动历史信息以及所述第一虚拟现实设备的用户肢体运动历史信息；其中，服务端在预设时间段内未接收到与所述服务端交互的第一虚拟现实设备上报的交互信息则确定第一虚拟现实设备发生交互失败事件；
根据所述历史显示画面信息、所述用户头部运动历史信息以及所述用户肢体运动历史信息，确定所述第一虚拟现实设备的待显示画面；
将确定的所述待显示画面传输给所述第一虚拟现实设备。
较佳的，本发明的上述实施例中所述处理器300还用于执行如下过程：
根据所述历史显示画面信息，预测所述第一虚拟现实设备的待显示的全景画面；
根据所述用户头部运动历史信息，预测所述第一虚拟现实设备的用户头部的当前位置及当前朝向角度；
根据所述用户肢体运动历史信息，确定所述第一虚拟现实设备的用户肢体运动轨迹的走向，并根据所述用户肢体运动轨迹的走向预测用户肢体对预设操作的响应结果；
根据所述待显示的全景画面、所述用户头部的当前位置、所述用户头部的当前朝向角度以及用户肢体对预设操作的响应结果，确定所述第一虚拟现实设备的待显示画面。
较佳的，本发明的上述实施例中所述处理器300还用于执行如下过程：
获取与所述待显示画面对应的声音信息；
对所述声音信息进行编码并传输给所述虚拟现实设备；其中，所述声音信息与所述待显示画面相匹配。
较佳的，本发明的上述实施例中若N个虚拟现实设备在一预设应用内与所述服务端同时交互，N为大于或者等于2的整数；所述N个虚拟现实设备包括：至少一个第一虚拟现实设备；
所述处理器300还用于执行如下过程：
将确定的所述待显示画面分发给所述预设应用内的每个虚拟现实设备。
较佳的，本发明的上述实施例中所述处理器300还用于执行如下过程：
若所述预设应用内所述第一虚拟现实设备发生交互失败事件的次数等于预设次数或者所述第一虚拟现实设备发生交互失败事件的时间超过预设门限，根据所述N个虚拟现实设备的历史显示画面信息以及与未发生交互失败事件的第二虚拟现实设备的上报的交互信息生成所述第一虚拟现实设备的虚拟操作和替代；
将所述第一虚拟现实设备的替代推送到所述预设应用中，且所述第一虚拟现实设备的替代在所述预设应用中执行所述虚拟操作。
较佳的，本发明的上述实施例中，所述处理器300还用于执行如下过程：
若在预设时刻所述第一虚拟现实设备与所述服务端恢复交互，将发生交互失败事件时刻至预设时刻之间的所述预设应用的历史信息发送给所述第一虚拟现实设备，并停止将所述第一虚拟现实设备的替代推送到所述预设应用中。
综上，本发明的上述实施例提供的服务端设备不仅适用于单用户与服务端的交互，还适用于多用户与服务端的交互；具体的，无论是单用户与服务端的交互，还是多用户与服务端的交互，当某一个或多个用户与服务端发生交互失败事件时，服务端基于历史显示画面信息、用户头部运动历史信息以及用户肢体运动历史信息预测待显示画面并进行编码下发，保证VR业务视觉的流畅性；同时根据声音的传输特性保证VR业务听觉的准确性；进一步的，若多用户与服务端交互，需将预测的待显示画面分发给应用内的每个用户，并在交互失败超过预设时间或交互失败次数超过预设次数时生成代替和虚拟操作，从而来维护其他未发生交互失败的用户的应用体验，进一步保证了VR业务视觉的流畅性。
需要说明的是，本发明上述实施例提供的服务端设备是能够执行上述虚拟现实交互的补偿方法的服务端设备，则上述虚拟现实交互的补偿方法的所有实施例均适用于该服务端设备，且均能达到相同或相似的有益效果。
本发明实施例还提供一种服务端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的虚拟现实交互的补偿方法实施例中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的虚拟现实交互的补偿方法实施例中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储介质中，使得存储在该计算机可读存储介质中的指令产生包括指令装置的纸制品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他科编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种虚拟现实交互的补偿方法，应用于服务端，其特征在于，包括：
获取发生交互失败事件的第一虚拟现实设备的历史显示画面信息、所述第一虚拟现实设备的用户头部运动历史信息以及所述第一虚拟现实设备的用户肢体运动历史信息；其中，服务端在预设时间段内未接收到与所述服务端交互的第一虚拟现实设备上报的交互信息则确定第一虚拟现实设备发生交互失败事件；
根据所述历史显示画面信息、所述用户头部运动历史信息以及所述用户肢体运动历史信息，确定所述第一虚拟现实设备的待显示画面；
将确定的所述待显示画面传输给所述第一虚拟现实设备；
其中，若N个虚拟现实设备在一预设应用内与所述服务端同时交互，N为大于或者等于2的整数；所述N个虚拟现实设备包括：至少一个第一虚拟现实设备；
所述将确定的所述待显示画面传输给所述第一虚拟现实设备的步骤，包括：
将确定的所述待显示画面分发给所述预设应用内的每个虚拟现实设备；
所述方法还包括：
若所述预设应用内所述第一虚拟现实设备发生交互失败事件的次数等于预设次数或者所述第一虚拟现实设备发生交互失败事件的时间超过预设门限，根据所述N个虚拟现实设备的历史显示画面信息以及与未发生交互失败事件的第二虚拟现实设备的上报的交互信息生成所述第一虚拟现实设备的虚拟操作和替代；
将所述第一虚拟现实设备的替代推送到所述预设应用中，且所述第一虚拟现实设备的替代在所述预设应用中执行所述虚拟操作。
2.根据权利要求1所述的方法，其特征在于，所述根据所述历史显示画面信息、所述用户头部运动历史信息以及所述用户肢体运动历史信息，确定所述第一虚拟现实设备的待显示画面的步骤，包括：
根据所述历史显示画面信息，预测所述第一虚拟现实设备的待显示的全景画面；
根据所述用户头部运动历史信息，预测所述第一虚拟现实设备的用户头部的当前位置及当前朝向角度；
根据所述用户肢体运动历史信息，确定所述第一虚拟现实设备的用户肢体运动轨迹的走向，并根据所述用户肢体运动轨迹的走向预测用户肢体对预设操作的响应结果；
根据所述待显示的全景画面、所述用户头部的当前位置、所述用户头部的当前朝向角度以及用户肢体对预设操作的响应结果，确定所述第一虚拟现实设备的待显示画面。
3.根据权利要求1所述的方法，其特征在于，所述确定所述虚拟现实设备的待显示画面之后，所述方法还包括：
获取与所述待显示画面对应的声音信息；
对所述声音信息进行编码并传输给所述虚拟现实设备；其中，所述声音信息与所述待显示画面相匹配。
4.根据权利要求1所述方法，其特征在于，所述将所述第一虚拟现实设备的替代推送到所述预设应用中，且所述第一虚拟现实设备的替代在所述预设应用中执行所述虚拟操作的步骤之后，所述方法还包括：
若在预设时刻所述第一虚拟现实设备与所述服务端恢复交互，将发生交互失败事件时刻至预设时刻之间的所述预设应用的历史信息发送给所述第一虚拟现实设备，并停止将所述第一虚拟现实设备的替代推送到所述预设应用中。
5.一种服务端设备，应用于服务端，包括处理器和收发器，其特征在于，所述处理器用于执行如下过程：
获取发生交互失败事件的第一虚拟现实设备的历史显示画面信息、所述第一虚拟现实设备的用户头部运动历史信息以及所述第一虚拟现实设备的用户肢体运动历史信息；其中，服务端在预设时间段内未接收到与所述服务端交互的第一虚拟现实设备上报的交互信息则确定第一虚拟现实设备发生交互失败事件；
根据所述历史显示画面信息、所述用户头部运动历史信息以及所述用户肢体运动历史信息，确定所述第一虚拟现实设备的待显示画面；
将确定的所述待显示画面传输给所述第一虚拟现实设备；
若N个虚拟现实设备在一预设应用内与所述服务端同时交互，N为大于或者等于2的整数；所述N个虚拟现实设备包括：至少一个第一虚拟现实设备；
所述处理器还用于执行如下过程：
将确定的所述待显示画面分发给所述预设应用内的每个虚拟现实设备；
所述处理器还用于执行如下过程：
若所述预设应用内所述第一虚拟现实设备发生交互失败事件的次数等于预设次数或者所述第一虚拟现实设备发生交互失败事件的时间超过预设门限，根据所述N个虚拟现实设备的历史显示画面信息以及与未发生交互失败事件的第二虚拟现实设备的上报的交互信息生成所述第一虚拟现实设备的虚拟操作和替代；
将所述第一虚拟现实设备的替代推送到所述预设应用中，且所述第一虚拟现实设备的替代在所述预设应用中执行所述虚拟操作。
6.根据权利要求5所述的服务端设备，其特征在于，所述处理器还用于执行如下过程：
根据所述历史显示画面信息，预测所述第一虚拟现实设备的待显示的全景画面；
根据所述用户头部运动历史信息，预测所述第一虚拟现实设备的用户头部的当前位置及当前朝向角度；
根据所述用户肢体运动历史信息，确定所述第一虚拟现实设备的用户肢体运动轨迹的走向，并根据所述用户肢体运动轨迹的走向预测用户肢体对预设操作的响应结果；
根据所述待显示的全景画面、所述用户头部的当前位置、所述用户头部的当前朝向角度以及用户肢体对预设操作的响应结果，确定所述第一虚拟现实设备的待显示画面。
7.根据权利要求5所述的服务端设备，其特征在于，所述处理器还用于执行如下过程：
获取与所述待显示画面对应的声音信息；
对所述声音信息进行编码并传输给所述虚拟现实设备；其中，所述声音信息与所述待显示画面相匹配。
8.根据权利要求5所述的服务端设备，其特征在于，所述处理器还用于执行如下过程：
若在预设时刻所述第一虚拟现实设备与所述服务端恢复交互，将发生交互失败事件时刻至预设时刻之间的所述预设应用的历史信息发送给所述第一虚拟现实设备，并停止将所述第一虚拟现实设备的替代推送到所述预设应用中。
9.一种服务端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述的虚拟现实交互的补偿方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4任一项所述的虚拟现实交互的补偿方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710801198.7A CN109474648B (zh) | 2017-09-07 | 2017-09-07 | 一种虚拟现实交互的补偿方法及服务端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710801198.7A CN109474648B (zh) | 2017-09-07 | 2017-09-07 | 一种虚拟现实交互的补偿方法及服务端设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109474648A CN109474648A (zh) | 2019-03-15 |
| CN109474648B true CN109474648B (zh) | 2021-09-14 |
Family
ID=65657714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710801198.7A Active CN109474648B (zh) | 2017-09-07 | 2017-09-07 | 一种虚拟现实交互的补偿方法及服务端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109474648B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111984111A (zh) * | 2019-05-22 | 2020-11-24 | ***通信有限公司研究院 | 多媒体处理方法、装置及通信设备 |
| CN110941342B (zh) * | 2019-12-04 | 2023-07-18 | 中国联合网络通信集团有限公司 | 一种数据处理方法、vr终端及服务器 |
| CN112651783B (zh) * | 2020-12-30 | 2024-05-07 | 咪咕文化科技有限公司 | 基于vr的媒体文件投放方法、装置、设备及存储介质 |
| CN115079881B (zh) * | 2022-06-16 | 2024-07-09 | 广州国威文化科技有限公司 | 基于虚拟现实的画面校正方法及*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105929950A (zh) * | 2016-04-15 | 2016-09-07 | 惠州Tcl移动通信有限公司 | 移动终端、vr眼镜的限时使用方法及装置 |
| CN106200957A (zh) * | 2016-07-07 | 2016-12-07 | 北京行云时空科技有限公司 | 面向运动的虚拟现实交互***及方法 |
| CN106200953A (zh) * | 2016-07-05 | 2016-12-07 | 乐视控股（北京）有限公司 | 无线戒指、戒指组合及其虚拟现实设备操控方法 |
| CN106325506A (zh) * | 2016-08-17 | 2017-01-11 | 捷开通讯(深圳)有限公司 | 虚拟现实设备的交互方法、虚拟现实设备和虚拟现实*** |
| CN106598253A (zh) * | 2016-12-23 | 2017-04-26 | 北京搜狐新媒体信息技术有限公司 | 一种数据预测方法及装置 |
| GB2544458A (en) * | 2015-10-08 | 2017-05-24 | Facebook Inc | Binaural synthesis |
-
2017
- 2017-09-07 CN CN201710801198.7A patent/CN109474648B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2544458A (en) * | 2015-10-08 | 2017-05-24 | Facebook Inc | Binaural synthesis |
| CN105929950A (zh) * | 2016-04-15 | 2016-09-07 | 惠州Tcl移动通信有限公司 | 移动终端、vr眼镜的限时使用方法及装置 |
| CN106200953A (zh) * | 2016-07-05 | 2016-12-07 | 乐视控股（北京）有限公司 | 无线戒指、戒指组合及其虚拟现实设备操控方法 |
| CN106200957A (zh) * | 2016-07-07 | 2016-12-07 | 北京行云时空科技有限公司 | 面向运动的虚拟现实交互***及方法 |
| CN106325506A (zh) * | 2016-08-17 | 2017-01-11 | 捷开通讯(深圳)有限公司 | 虚拟现实设备的交互方法、虚拟现实设备和虚拟现实*** |
| CN106598253A (zh) * | 2016-12-23 | 2017-04-26 | 北京搜狐新媒体信息技术有限公司 | 一种数据预测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109474648A (zh) | 2019-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109474648B (zh) | 一种虚拟现实交互的补偿方法及服务端设备 | |
| JP7072677B2 (ja) | 仮想シーンのシーン画像を送信するための方法及び装置、コンピュータデバイス並びにコンピュータ読み取り可能記憶媒体 | |
| CN111526927B (zh) | 在失去主动控制之后通过用户模拟的临时游戏控制 | |
| US10477179B2 (en) | Immersive video | |
| US11701584B2 (en) | Dynamic client buffering and usage of received video frames for cloud gaming | |
| CN105791977B (zh) | 基于云服务的虚拟现实数据处理方法、设备及*** | |
| US10034036B2 (en) | Media synchronization for real-time streaming | |
| EP3807766B1 (en) | Shadow tracking of real-time interactive simulations for complex system analysis | |
| US20160366228A1 (en) | Sending application input commands over a network | |
| CN104954349B (zh) | 一种2d游戏中客户端的同步方法、装置和*** | |
| JP6379107B2 (ja) | 情報処理装置並びにその制御方法、及びプログラム | |
| CN104998412A (zh) | 一种单机游戏实现方法及装置 | |
| US10530824B2 (en) | Real-time end-to-end latency monitoring | |
| CN113079416B (zh) | 一种多媒体智能控制方法及客户端、*** | |
| Ma et al. | Research on end-to-end cloud asynchronous rendering based on virtual reality scenes | |
| CN116489414A (zh) | 直播互动方法、装置、***、计算设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |