CN109743892B - 虚拟现实内容的显示方法和装置 - Google Patents

虚拟现实内容的显示方法和装置 Download PDF

Info

Publication number
CN109743892B
CN109743892B CN201780055495.XA CN201780055495A CN109743892B CN 109743892 B CN109743892 B CN 109743892B CN 201780055495 A CN201780055495 A CN 201780055495A CN 109743892 B CN109743892 B CN 109743892B
Authority
CN
China
Prior art keywords
key information
information area
preset key
rendering
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780055495.XA
Other languages
English (en)
Other versions
CN109743892A (zh
Inventor
陈星百
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of CN109743892A publication Critical patent/CN109743892A/zh
Application granted granted Critical
Publication of CN109743892B publication Critical patent/CN109743892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/86—Watching games played by other players
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Cardiology (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种虚拟现实内容的显示方法和装置，其中包括以下处理步骤：接收视频流，从视频流中获取需要显示的视频帧；从所述视频帧中获取预设关键信息区域；将所述视频帧渲染在成像面板上，形成虚拟现实内容图像进行显示；当确定用户正在观看成像面板上所述预设关键信息区域时，在所述成像面板与虚拟摄像机之间的预定位置显示一个渲染网格，并在所述渲染网格上显示所述预设关键信息区域。

Description

虚拟现实内容的显示方法和装置
技术领域
本申请涉及计算机技术领域，尤其涉及一种虚拟现实内容的显示方法和装置。
背景技术
随着智能用户设备的发展，虚拟现实(Virtual Real i ty，缩写为VR)技术越来越多地应用到普通的用户设备中，如智能手机、平板电脑、PC机等，于是出现了各种VR软件(如VR视频APP)。用户佩戴了连接了用户设备的头盔、眼镜等VR可穿戴设备，可观看到VR软件显示的VR全景图像，可以获得三维空间视景中的沉浸式体验。
目前，已存在一些VR平台，用户设备中可安装VR应用客户端，各VR应用客户端通过访问VR平台中的VR应用服务器，能够访问VR全景图像数据并向用户显示。比如：VR应用客户端可以从VR应用服务器获取到VR视频数据并播放，用户佩戴了连接VR应用客户端的VR头显设备(如头盔、眼镜等)就能够体验到沉浸式的全景视频。
发明内容
本申请实施例提供了虚拟现实内容的展示方法和装置，在虚拟现实环境下，使用户更清楚地观看关键信息区域，提升了用户的沉浸式体验。
本申请实施例提供了一种虚拟现实内容的显示方法，包括：
接收视频流，从视频流中获取需要显示的视频帧；
从所述视频帧中获取预设关键信息区域；
将所述视频帧渲染在成像面板上，形成虚拟现实内容图像进行显示；
当确定用户正在观看成像面板上所述预设关键信息区域时，在所述成像面板与虚拟摄像机之间的预定位置显示一个渲染网格，并在所述渲染网格上显示所述预设关键信息区域。
本申请实施例提供了一种虚拟现实内容的显示方法，包括：
在视频流中设置关键信息区域，所述关键信息区域用于当在客户端的虚拟现实环境下的成像面板上显示时，在确定用户正在观看所述预设关键信息区域时，在所述成像面板与虚拟摄像机之间的预定位置显示一个渲染网格，并在所述渲染网格上显示所述预设关键信息区域；
将携带有所述关键信息区域的视频流下发给终端设备。
本申请实施例提供了一种虚拟现实内容的显示装置，包括：
内容获取模块，用于接收视频流，从视频流中获取需要显示的视频帧；
关键信息获取模块，用于从所述视频帧中获取预设关键信息区域；
显示模块，用于将所述视频帧渲染在成像面板上，形成虚拟现实内容图像进行显示；
渲染模块，用于当确定用户正在观看成像面板上所述预设关键信息区域时，在所述成像面板与虚拟摄像机之间的预定位置显示一个渲染网格，并在所述渲染网格上显示所述预设关键信息区域。
本申请实施例提供了一种虚拟现实内容的显示装置，包括：
关键信息区域设置模块，用于在视频流中设置关键信息区域，当在客户端的虚拟现实环境下的成像面板上显示所述关键信息区域且确定用户正在观看所述关键信息区域时，在所述成像面板与虚拟摄像机之间的预定位置显示一个渲染网格，并在所述渲染网格上显示所述关键信息区域；
发送模块，用于将携带有所述关键信息区域的视频流下发给终端设备。
本申请实施例提供了一种虚拟现实内容的显示装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
接收视频流，从视频流中获取需要显示的视频帧；
从所述视频帧中获取预设关键信息区域；
将所述视频帧渲染在成像面板上，形成虚拟现实内容图像进行显示；
当确定用户正在观看成像面板上所述预设关键信息区域时，在所述成像面板与虚拟摄像机之间的预定位置显示一个渲染网格，并在所述渲染网格上显示所述预设关键信息区域。
本申请实施例还提供了一种虚拟现实内容的显示装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
在视频流中设置关键信息区域，当在客户端的虚拟现实环境下的成像面板上显示所述关键信息区域且确定用户正在观看所述关键信息区域时，在所述成像面板与虚拟摄像机之间的预定位置显示一个渲染网格，并在所述渲染网格上显示所述关键信息区域；
将携带有所述关键信息区域的视频流下发给终端设备。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图，其中：
图1是根据本申请实施例提供的虚拟现实内容的显示方法和装置的应用环境示意图；
图2是根据本申请实施例提供的一种虚拟现实内容的显示方法流程图；
图3A是根据本申请实施例提供的在VR环境中应用渲染网格的示意图；
图3B是根据本申请实施例提供的在VR环境中将预设关键信息区域在渲染网格上显示的示意图；
图4是根据本申请实施例提供的虚拟现实内容的显示方法的流程图；
图5为根据本申请实施例提供的虚拟现实内容的显示方法的流程图；
图6是根据本申请实施例提供的确定用户正在观看预设关键信息区域的示意图；
图7是根据本申请实施例提供的虚拟现实内容的显示方法的流程图；
图8是根据本申请实施例提供的虚拟现实内容的显示方法的流程图；
图9是根据本申请实施例提供的关键信息区域和渲染网格对应的示意图；
图10是根据本申请实施例提供的虚拟现实内容的显示方法的流程图；
图11是根据本申请实施例提供的一种虚拟现实内容的显示装置示意图；
图12是根据本申请实施例提供的虚拟现实内容的显示装置示意图；
图13是根据本申请实施例提供的虚拟现实内容的显示装置的示意图；
图14是根据本申请实施例提供的虚拟现实内容的显示装置的示意图；
图15是根据本申请实施例提供的虚拟现实内容的显示装置的示意图；
图16是根据本申请实施例提供的虚拟现实内容的显示装置的示意图；
图17是应用客户端所在的计算设备的组成结构图；
图18是应用服务器所在的计算设备的组成结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
虚拟现实(Virtual Reality，缩写为VR)，简称虚拟技术，也称虚拟环境，是利用电脑模拟产生一个三维(3D)空间的虚拟世界，提供用户关于视觉等感官的模拟，让用户感觉仿佛身历其境，可以及时、没有限制地观察三维空间内的事物。当用户进行位置移动时，电脑可以立即进行复杂的运算，将精确的三维世界视频传回产生临场感。该技术集成了电脑图形、电脑仿真、人工智能、感应、显示及网络并行处理等技术的最新发展成果，是一种由电脑技术辅助生成的高技术模拟***。
在自然界，人的两只眼睛因为位置不同，看到空间中物体的图像会略有些差异，大脑通过利用两只眼睛看到的物体的图像的差异来判断物体在空间中与人的距离。距离信息也可以通过其他方法获得，例如眼睛焦距的远近、物体大小的比较等。VR技术的原理类似，利用两个平行的虚拟摄像机，分别对应人的左眼和右眼，获得物体的图像，经过合成，形成VR图像，投射在一个虚拟环境中的成像平面上，供用户观看。
随着VR技术的发展，将其应用到直播领域是一个新的尝试。例如，通过VR技术观看直播游戏比赛视频。在这样的应用场景下，可以在VR头显设备中放置一个手机，用户戴上VR头显设备，便可以观看手机中的VR直播游戏比赛视频。然而，在这种情况下，当用户使用VR头显设备观看VR直播游戏比赛视频时，由于单眼所能看到的区域面积是普通的直播方案中用肉眼观看手机直播视频、PC直播视频时双眼所能看见区域面积的大约1/2。因此，VR直播在营造沉浸式超大屏幕体验时，可能会比普通的直播方案要模糊很多。以VR直播游戏(例如英雄联盟)比赛为例，即使直播流分辨率已经达到1080P，由于受限于VR环境下，渲染出的视频所占的分辨率大小，游戏中的某些关键信息(例如：比赛时的装备KDA(Kill-Death-Assist)信息、地图等)区域可能依然无法被看清楚。
基于此，本申请实施例提供了一种虚拟现实内容的显示方法和装置，可以在虚拟现实环境下，使用户更清楚地观看关键信息区域，提升了用户的沉浸式体验。
图1是根据本申请实施例提供的虚拟现实内容的显示方法和装置的应用环境示意图。如图1所示，在该应用环境100中包括终端设备101、VR设备102和服务器103。其中，终端设备101中可运行VR客户端(即VR应用程序)，VR设备102可包括用户可操作的控制器(Controller)和可穿戴装备(如：各种VR头显设备、VR体感设备等)。在VR设备102中可以构造一个放置终端设备101的结构，此终端设备101例如为手机。用户通过用作立体镜(stereoscope)的镜头从终端设备101的屏幕观看VR内容，而不用VR设备102中的显示器。终端设备101中的VR客户端可与VR设备102进行信息交互，为用户提供沉浸式的VR图像并完成相应的操作功能。具体的，VR客户端可根据可穿戴装备提供的用户在虚拟空间中的位置信息以及运动信息为用户显示相应的VR图像数据，以给用户带来沉浸式体验；VR客户端还可以响应于用户操作控制器发出的指令而执行相应的操作，比如：打开/暂停/关闭视频文件等等。终端设备101也可以放置在VR设备102的外部，通过有线或无线的方式与VR设备102进行通信，将渲染好的虚拟现实内容传送给VR设备102的显示器进行显示。
服务器103中可运行相应的VR应用服务器软件(简称VR服务器或者VR平台)，VR服务器可为各个VR客户端提供各种VR全景图像数据，比如：全景图片、全景视频、VR游戏等等。
这里，上述终端设备101是指具有数据计算处理功能的终端设备，包括但不限于(安装有通信模块的)智能手机、掌上电脑、平板电脑、智能电视(Smart TV)等。这些终端设备上都安装有操作***，包括但不限于：Android操作***、Symbian操作***、Windowsmobile操作***、以及苹果iPhone OS操作***等等。
通过本申请实施例提供的虚拟现实内容的显示方法和装置，在用户佩戴VR设备102观看通过终端设备101上的VR客户端播放的VR直播视频的过程中，当VR客户端确定用户正在观看成像面板104中的关键信息区域105时，会在VR虚拟成像面板与虚拟摄像机之间的预定位置显示一个渲染网格106，并在所述渲染网格106上显示所述关键信息区域的关键信息。从而可以更清楚地为用户呈现虚拟现实内容中的关键信息，提高了用户的沉浸式体验。
图2是根据本申请实施例提供的一种虚拟现实内容的显示方法流程图，该方法应用于终端设备，即可以更清楚地为用户呈现虚拟现实内容中的关键信息。如图2所示，该方法200包括以下步骤：
步骤S201：接收视频流，从视频流中获取需要显示的视频帧。
当用户打开终端设备中的VR客户端，将终端设备放置在VR设备内，播放VR直播视频时，VR客户端可以从服务器获取直播的视频流，逐帧进行解码或解析，并从视频流中获取需要显示的视频帧。根据本申请实施例，视频流可以为直播游戏视频流，需要显示的视频帧可以为直播游戏视频流中的直播游戏视频帧。
步骤S202：从所述视频帧中获取预设关键信息区域。
根据本申请实施例，服务器在获得上传的直播游戏视频时，可以得到游戏的相关信息，例如，是哪一款游戏，相应地可以获得游戏的各种参数和数据。这样，服务器可以将直播游戏视频中用户希望看得更清楚的内容区域设置为关键信息区域，例如游戏中的KDA和地图区域。然后，当服务器将直播游戏视频流下发给VR客户端时，可以在直播游戏视频流中携带关键信息区域的信息。
当VR客户端获得直播游戏视频流时，可以根据直播游戏视频流中携带的关键信息区域的信息，获得直播游戏视频帧中服务器设置的关键信息区域。预设关键信息区域例如为一个矩形区域。
步骤S203：将所述视频帧渲染在成像面板上，形成虚拟现实内容图像进行显示。
VR客户端通过VR技术将要显示的视频帧渲染在成像面板上，形成虚拟现实内容图像，显示给用户。成像面板是一个通过网格渲染的虚拟的VR成像面板，例如设置为在VR环境下距离虚拟摄像机(用户双眼中间的位置)的正前方3到5米的距离。所述成像面板可以是平面或弧面。
例如，当VR客户端在成像面板上连续显示直播游戏视频帧，形成动态的直播游戏视频。
步骤S204：当确定用户正在观看成像面板上所述预设关键信息区域时，在所述成像面板与虚拟摄像机之间的预定位置显示一个渲染网格，并在所述渲染网格上显示所述预设关键信息区域。
当用户戴着VR设备观看成像面板上的直播游戏视频时，可能会转动头部看向成像面板上的不同区域。当VR客户端确定用户正在观看成像面板上预设关键信息区域时，会在所述成像面板与虚拟摄像机之间的预定位置显示一个渲染网格，并在渲染网格上显示所述预设关键信息区域。渲染网格是计算机图形学中用于渲染模型画面的数学网格，所有的物体在计算机图形引擎中都是用三角形组成的网格表示的。图3A所示为根据本申请实施例的在VR环境中应用渲染网格的示意图。其中，渲染网格31为在VR环境下在成像面板32前方2到3米的距离，例如2.5米，距离虚拟摄像机33的距离也为2.5米。图3B所示为根据本申请实施例VR环境中将预设关键信息区域在渲染网格上显示的示意图。如图3B所示，预设关键信息区域34在渲染网格31上显示。
本申请实施例的虚拟现实内容的显示方法，在虚拟显示内容流中预先设置关键信息区域，然后当在终端设备上呈现预设关键信息区域时，若用户看向预设关键信息区域，则可以同时在渲染网格上显示预设关键信息区域。本申请实施例的虚拟现实内容的显示方法考虑了用户观看VR直播视频时的感兴趣点，使用户有更好的观看体验，同时由于渲染网格距离用户更近、面积更大，在渲染网格上显示关键信息区域时，用户能更清楚地看见预设关键信息区域，从而有更好的沉浸体验。
图4是根据本申请实施例提供的虚拟现实内容显示方法的流程图，其中对图2的步骤S202进一步详细说明。如图4所示，步骤S202中的从所述视频帧中获取预设关键信息区域的步骤可以包括以下步骤：
步骤S401：从所述视频流中获取标记所述预设关键信息区域的标记信息。
服务器在将视频流下发给VR客户端时，会在视频流中通过标记信息标记预设关键信息区域。VR客户端在获得视频流时，如有预设关键信息区域，则会从视频流中获取相应的标记信息。所述标记信息例如包括所述预设关键信息区域在所述视频帧中的位置以及所述预设关键信息区域的尺寸信息。所述预设关键信息区域在所述视频帧中的位置例如为以一帧游戏视频图像在成像面板上显示时的左下角坐标为原点，得到的关键信息区域的左下角的坐标。所述预设关键信息区域的尺寸信息例如为所述预设关键信息所在矩形区域的宽度和高度。
例如，在VR客户端获得直播游戏视频流时，可能会得到一个地图区域的标记信息，标记了该地图区域在直播游戏视频帧中的位置以及宽度和高度。
步骤S402：根据所述标记信息，从所述视频帧中获取标记的所述预设关键信息区域。
VR客户端通过标记信息，会得到标记信息所标记的视频帧中的预设关键信息的区域。
例如，VR客户端会通过直播游戏视频流中的地图区域在直播游戏视频帧中的位置以及宽度和高度信息，得到地图区域。
根据本申请实施例提供的虚拟现实内容的显示方法，通过用预设关键信息区域的标记信息获取预设关键信息区域，可以使终端设备便捷地获取服务器预设的关键信息区域。
图5为根据本申请实施例提供的虚拟现实内容的显示方法的流程图，其中对图2的步骤S204中，确定用户正在观看成像面板上所述预设关键信息区域的步骤进行了详细说明。如图5所示，可以通过以下步骤确定用户正在观看成像面板上所述预设关键信息区域。
步骤S501：根据所述标记信息确定所述预设关键信息区域在所述成像面板上的显示区域。
VR客户端在获取预设关键信息区域的标记信息之后，会根据标记信息所标记的预设关键信息区域在视频帧中的位置及尺寸信息以及与成像面板的大小比例，计算出预设关键信息区域在成像面板上的显示区域。图6所示为根据本申请实施例的确定用户正在观看预设关键信息区域的示意图。如图6所示，预设关键信息区域在成像面板32上的显示区域34例如为由该显示区域的四个顶点坐标P1(x1,y1)、P2(x2，y2)、P3(x3，y3)、P4(x4，y4)表示，其中x1～x4分别为横坐标，y1～y4分别为纵坐标，这四个顶点坐标是以视频帧的左下角为原点的坐标，可以采用归一化坐标体系。例如，是以成像面板上显示的直播游戏视频帧的左下角为原点，得到的成像面板上显示的游戏中的地图区域的四个顶点坐标。
步骤S502：在所述预设关键信息区域的显示区域位置设置一个虚拟碰撞体，所述虚拟碰撞体包含所述预设关键信息区域的显示区域。
结合图6所示，VR客户端在获得成像面板32上的预设关键信息区域的显示区域34后，会在所述预设关键信息区域的显示区域所在的虚拟空间位置处，设置一个虚拟空间体36，包含所述预设关键信息区域的显示区域34的整体或者一部分。显示区域34所在的虚拟空间位置例如为预设关键信息区域的显示区域的中心位置。该中心位置包括距离虚拟摄像机所在平面的距离位置、在VR渲染空间中的高度位置等。
所述虚拟空间体36是在所述预设关键信息区域的显示区域34位置处的一个虚拟空间范围，可以是各种形状。根据本申请实施例，所述虚拟空间体可以是一个包含住所述关键信息区域的显示区域的虚拟正方体或虚拟长方体的虚拟空间范围。例如，在所述预设关键信息区域的显示区域为矩形、所述虚拟空间体是虚拟长方体的情况下，所述虚拟长方体与所述显示区域所在平面(成像面板所在平面)相同或平行平面上的截面的宽度和高度分别等于所述显示区域的宽度和高度，然后在垂直于所述显示区域所在平面的方向上有一个深度。
当成像面板为弧面时，在设置虚拟碰状体时，可以将成像面板的弧面曲率考虑进去。
步骤S503：从所述虚拟摄像机处沿用户视角方向投射一条射线。
其中，结合图6所示，所述虚拟摄像机33例如包括两个虚拟摄像机，可以从所述两个虚拟摄像机分别沿用户视角方向实时投射一条射线35，也可以从所述两个虚拟摄像机的中间位置沿用户视角方向投射一条射线。用户视角方向例如可以通过获取终端设备上的陀螺仪检测到终端设备的垂直、水平、角度等实时参数，计算得出。
步骤S504：当确定所述射线与所述虚拟碰撞体碰撞时，则确认用户正在观看所述预设关键信息区域。
VR客户端可以通过3D引擎的接口，实时判断虚拟摄像机发出的射线与虚拟碰撞器是否碰撞。在确定所述射线与虚拟碰撞体碰撞的情况下，则确认用户正在观看所述预设关键信息区域。例如，可以确定所述两个虚拟摄像机沿用户视角方向所投射的两条射线中，任意一条射线与所述虚拟碰撞体碰撞时，即确定所述射线与所述虚拟碰撞体碰撞。或者，当从所述两个虚拟摄像机的中间位置沿用户视角方向投射的射线与所述虚拟碰撞体碰撞时，则确定所述射线与所述虚拟碰撞体碰撞。在确定所述射线与所述虚拟碰撞体碰撞时，确认用户正在观看所述预设关键信息区域。
根据本申请实施例的虚拟现实内容的显示方法，通过检测用户视线是否和包含预设关键信息区域的显示区域的虚拟碰撞体碰撞，即使用户从多个角度观看预设关键信息区域，也可以准确检测用户是否看向预设关键信息区域。
图7是根据本申请实施例的虚拟现实内容的显示方法的流程图。其中对图2中的步骤S204中，如何在所述成像面板与虚拟摄像机之间的预定位置显示一个渲染网格的步骤进行了详细描述。该步骤包括以下步骤：
步骤S701：在所述成像面板与所述虚拟摄像机之间，与所述虚拟摄像机之间的距离为预设值的位置上设置一个未渲染的渲染网格。
VR客户端在所述成像面板前方靠近虚拟摄像机(人眼)的预设距离上设置一个未渲染的渲染网格。渲染VR环境的3D图形引擎接口包括一个隐藏(不显示)某物体的接口，可以通过这个接口来隐藏或显示渲染网格。例如，未渲染的渲染网格可以通过函数SetActive(false)来实现。所述预设距离为大约2.5米。所述渲染网格例如是由至少两个渲染三角形构成的矩形渲染网格，也可以是由其他数目的渲染三角形构成其他形状的渲染网格。渲染网格可以有默认的材质贴图。
步骤S702：当确定用户正在观看所述预设关键信息区域时，对所述渲染网格进行渲染。
当VR客户端确定用户正在观看所述预设关键信息区域时，对所述渲染网格进行渲染，用户可以看见所述渲染网格。对渲染网格进行渲染的过程例如可以通过函数SetActive(true)来实现。
根据本申请实施例的虚拟现实内容的显示方法，当用户未看向预设关键信息区域时，VR客户端对渲染网格并不进行渲染，这个渲染网格对于用户而言是隐藏的，而当用户看向预设关键信息区域时，VR客户端显示这个渲染网格，并在该渲染网格上显示预设关键信息区域，从而不仅可以使用户更清楚地看见预设关键信息区域，而且不影响用户观看整体的VR直播视频。
图8是根据本申请实施例的虚拟现实内容的显示方法的流程图。其中，对图1的步骤S204中，在所述渲染网格上显示所述预设关键信息区域的步骤进行了描述。该步骤可以包括：
步骤S801：获取视频流纹理和所述预设关键信息区域的纹理坐标。
当VR客户端显示所述渲染网格之后，通过对视频流进行解码，从视频流中获取视频流纹理(图像)和所述预设关键信息区域的纹理的坐标。
所述预设关键信息区域的纹理坐标例如是根据所述预设关键信息区域的标记信息中的位置坐标和尺寸信息计算得到的。图9所示为根据本申请实施例的关键信息区域和渲染网格对应的示意图。如图9所示，在所述预设关键信息区域91为矩形的情况下，所述预设关键信息区域的纹理坐标例如为T1(x1,y1)、T2(x2，y2)、T3(x3，y3)、T4(x4，y4)，其中，x1～x4是矩形的预设关键信息区域的四个顶点的横坐标，y1～y4是四个顶点的纵坐标，坐标体系的参考原点为预设关键信息区域91所在的直播游戏视频帧92的左下角，视频游戏视频帧的右上角坐标为(1，1)，采用的是归一化坐标体系。
步骤S802：将所述预设关键信息区域的纹理坐标分别与所述渲染网格的四个顶点进行对应。
根据本申请实施例，如图9所示，所述渲染网格31例如是由两个渲染三角形构成的一个矩形渲染网格，其四个顶点例如分别为v1(x1,y1)、v2(x2,y2)、v3(x3,y3)、v4(x4,y4)，其中，x1～x4分别为渲染网格的四个顶点的横坐标，y1～y4分别为渲染网格的四个顶点的纵坐标，参考原点为矩形渲染网格的中心点，采用的是归一化坐标体系。该中心点为矩形渲染网格的两条对角线的交点。然后VR客户端会将所述预设关键信息区域92的纹理的四个顶点坐标与所述渲染网格31的四个顶点坐标分别进行对应。
步骤S803：用所述预设关键信息的纹理替换所述渲染网格的材质贴图。
根据本申请实施例，在显示所述渲染网格时，会设置有默认的材质贴图，当确定所述预设关键信息区域后，VR客户端会用所述预设关键信息的纹理93替换所述渲染网格的材质贴图。
通过上述的过程，可以更清楚地将所述关键信息区域的关键信息显示在所述渲染网格上。
图10是根据本申请实施例的虚拟现实内容的显示方法的流程图，应用于服务器端。其中，服务器端可以有与VR客户端对应的VR服务器端。如图10所示，该虚拟现实内容的显示方法1000包括以下步骤：
步骤S1001，在视频流中设置关键信息区域，当在客户端的虚拟现实环境下的成像面板上显示所述关键信息区域且确定用户正在观看所述关键信息区域时，在所述成像面板与虚拟摄像机之间的预定位置显示一个渲染网格，并在所述渲染网格上显示所述关键信息区域。
根据本申请实施例，服务器上的视频流可以是直播视频流或录制好的视频流。例如在视频流为直播游戏视频的情况下，服务器可以得到是哪一款游戏的视频。服务器可以获得游戏的各种参数和数据。这样，服务器可以将直播游戏视频中用户希望看得更清楚的内容区域设置为关键信息区域，例如游戏中的KDA和地图区域。
步骤S1002，将携带有所述关键信息区域的视频流下发给终端设备。
根据本申请实施例，当服务器将直播游戏视频流下发给VR客户端时，可以在直播游戏视频流中携带关键信息区域的信息。
所述在视频流中设置关键信息区域的步骤可以包括：在在所述视频流中设置所述关键信息区域的标记信息。所述标记信息包括所述关键信息区域在视频帧中的位置以及所述关键信息区域的尺寸信息。
本申请实施例的虚拟现实内容的显示方法，考虑了用户观看VR直播视频时的感兴趣点，使用户有更好的观看体验，同时由于渲染网格距离用户更近、面积更大，在渲染网格上显示关键信息区域时，用户能更清楚地看见预设关键信息区域，从而有更好的沉浸体验。
图11为根据本申请实施例提供的一种虚拟现实内容的显示装置示意图，该装置应用于终端设备，即可以更清楚地为用户呈现虚拟现实内容中的关键信息。如图11所示，该装置1100包括：
内容获取模块1101，用于接收视频流，从视频流中获取需要显示的视频帧。
当用户打开终端设备中的VR客户端，将终端设备放置在VR设备内，播放VR直播视频时，内容获取模块1101可以从服务器获取直播的视频流，逐帧进行解码或解析，并从视频流中获取需要显示的视频帧。根据本申请实施例，视频流可以为直播游戏视频流，需要显示的视频帧可以为直播游戏视频流中的直播游戏视频帧。
关键信息获取模块1102，用于从所述视频帧中获取预设关键信息区域。
根据本申请实施例，服务器在获得上传的直播游戏视频时，可以得到游戏的相关信息，例如，是哪一款游戏，相应地可以获得游戏的各种参数和数据。这样，服务器可以将直播游戏视频中用户希望看得更清楚的内容区域设置为关键信息区域，例如游戏中的KDA和地图区域。然后，当服务器将直播游戏视频流下发给VR客户端时，可以在直播游戏视频流中携带关键信息区域的信息。
当VR客户端获得直播游戏视频流时，关键信息获取模块1102可以根据直播游戏视频流中携带的关键信息区域的信息，获得直播游戏视频帧中服务器设置的关键信息区域。预设关键信息区域例如为一个矩形区域。
显示模块1103，用于将所述视频帧渲染在成像面板上，形成虚拟现实内容图像进行显示。
显示模块1103通过VR技术将要显示的视频帧渲染在成像面板上，形成虚拟现实内容图像，显示给用户。成像面板是一个通过网格渲染的虚拟的VR成像面板，例如设置为在VR环境下距离虚拟摄像机(用户双眼中间的位置)的正前方3到5米的距离。所述成像面板可以是平面或弧面。
例如，当VR客户端在成像面板上连续显示直播游戏视频帧，形成动态的直播游戏视频。
渲染模块1104，用于当确定用户正在观看成像面板上所述预设关键信息区域时，在所述成像面板与虚拟摄像机之间的预定位置显示一个渲染网格，并在所述渲染网格上显示所述预设关键信息区域。
当用户戴着VR设备观看成像面板上的直播游戏视频时，可能会转动头部看向成像面板上的不同区域。当渲染模块1104确定用户正在观看成像面板上预设关键信息区域时，会在所述成像面板与虚拟摄像机之间的预定位置显示一个渲染网格，并在渲染网格上显示所述预设关键信息区域。渲染网格是计算机图形学中用于渲染模型画面的数学网格，所有的物体在计算机图形引擎中都是用三角形组成的网格表示的。所述渲染网格例如为在VR环境下在成像面板前方2到3米的距离。渲染网格的面积可以设置为大于预设关键信息区域的显示区域。
本申请实施例的虚拟现实内容的显示装置，在虚拟显示内容流中预先设置关键信息区域，然后当在终端设备上呈现预设关键信息区域时，若用户看向预设关键信息区域，则可以同时在渲染网格上显示预设关键信息区域。本申请实施例的虚拟现实内容的显示方法考虑了用户观看VR直播视频时的感兴趣点，使用户有更好的观看体验，同时由于渲染网格距离用户更近、面积更大，在渲染网格上显示关键信息区域时，用户能更清楚地看见预设关键信息区域，从而有更好的沉浸体验。
图12是根据本申请实施例提供的虚拟现实内容的显示装置示意图，其中对图11的关键信息获取模块1102进一步详细说明。如图12所示，关键信息获取模块1102包括：
标记信息获取模块1201，用于从所述视频流中获取标记所述预设关键信息区域的标记信息。
服务器在将视频流下发给VR客户端时，会在视频流中通过标记信息标记预设关键信息区域。VR客户端在获得视频流时，如有预设关键信息区域，则标记信息获取模块1201会从视频流中获取相应的标记信息。所述标记信息例如包括所述预设关键信息区域在所述视频帧中的位置以及所述预设关键信息区域的尺寸信息。所述预设关键信息区域在所述视频帧中的位置例如为以一帧游戏视频图像在成像面板上显示时的左下角坐标为原点，得到的关键信息区域的左下角的坐标。所述预设关键信息区域的尺寸信息例如为所述预设关键信息所在矩形区域的宽度和高度。
例如，在VR客户端获得直播游戏视频流时，可能会得到一个地图区域的标记信息，标记了该地图区域在直播游戏视频帧中的位置以及宽度和高度。
关键信息区域获取模块1202，用于根据所述标记信息，从所述视频帧中获取标记的所述预设关键信息区域。
VR客户端通过标记信息，会得到标记信息所标记的视频帧中的预设关键信息的区域。
例如，VR客户端会通过直播游戏视频流中的地图区域在直播游戏视频帧中的位置以及宽度和高度信息，得到地图区域。
根据本申请实施例提供的虚拟现实内容的显示装置，通过用预设关键信息区域的标记信息获取预设关键信息区域，可以使终端设备便捷地获取服务器预设的关键信息区域。
图13为根据本申请实施例提供的虚拟现实内容的显示装置的示意图，其中对图11的渲染模块1104进行了详细说明。其中包括以下模块用于确定用户正在观看所述预设关键信息区域。
显示区域确定模块1301，用于根据所述标记信息确定所述预设关键信息区域在所述成像面板上的显示区域。
VR客户端在获取预设关键信息区域的标记信息之后，显示区域确定模块1301会根据标记信息所标记的预设关键信息区域在视频帧中的位置及尺寸信息以及与成像面板的大小比例，计算出预设关键信息区域在成像面板上的显示区域。预设关键信息区域在成像面板上的显示区域例如为由该显示区域的四个顶点坐标P1(x1,y1)、P2(x2，y2)、P3(x3，y3)、P4(x4，y4)表示，其中x1～x4分别为横坐标，y1～y4分别为纵坐标，这四个顶点坐标是以视频帧的左下角为原点的坐标，可以采用归一化坐标体系。例如，是以成像面板上显示的直播游戏视频帧的左下角为原点，得到的成像面板上显示的游戏中的地图区域的四个顶点坐标。
碰撞体设置模块1302，用于在所述预设关键信息区域的显示区域位置设置一个虚拟碰撞体，所述虚拟碰撞体包含所述预设关键信息区域的显示区域。
VR客户端在获得成像面板上的预设关键信息区域的显示区域后，会在所述预设关键信息区域的显示区域所在的虚拟空间位置处，设置一个虚拟空间体，包含所述预设关键信息区域的显示区域的整体或者一部分。显示区域所在的虚拟空间位置例如为预设关键信息区域的显示区域的中心位置。该中心位置包括距离虚拟摄像机所在平面的距离位置、在VR渲染空间中的高度位置等。
所述虚拟空间体是在所述预设关键信息区域的显示区域位置处的一个虚拟空间范围，可以是各种形状。根据本申请实施例，所述虚拟空间体可以是一个包含住所述关键信息区域的显示区域的虚拟正方体或虚拟长方体的虚拟空间范围。例如，在所述预设关键信息区域的显示区域为矩形、所述虚拟空间体是虚拟长方体的情况下，所述虚拟长方体与所述显示区域所在平面(成像面板所在平面)相同或平行平面上的截面的宽度和高度分别等于所述显示区域的宽度和高度，然后在垂直于所述显示区域所在平面的方向上有一个深度。
当成像面板为弧面时，在设置虚拟碰状体时，可以将成像面板的弧面曲率考虑进去。
射线投射模块1303，用于从所述虚拟摄像机处沿用户视角方向投射一条射线。
其中，所述虚拟摄像机例如包括两个虚拟摄像机，可以从所述两个虚拟摄像机分别沿用户视角方向实时投射一条射线，也可以从所述两个虚拟摄像机的中间位置沿用户视角方向投射一条射线。用户视角方向例如可以通过获取终端设备上的陀螺仪检测到终端设备的垂直、水平、角度等实时参数，计算得出。
碰撞检测模块1304，用于当确定所述射线与所述虚拟碰撞体碰撞时，则确认用户正在观看所述预设关键信息区域。
碰撞检测模块1304可以通过3D引擎的接口，实时判断虚拟摄像机发出的射线与虚拟碰撞器是否碰撞。在确定所述射线与虚拟碰撞体碰撞的情况下，则确认用户正在观看所述预设关键信息区域。例如，碰撞检测模块1304可以确定所述两个虚拟摄像机沿用户视角方向所投射的两条射线中，任意一条射线与所述虚拟碰撞体碰撞时，即确定所述射线与所述虚拟碰撞体碰撞。或者，当从所述两个虚拟摄像机的中间位置沿用户视角方向投射的射线与所述虚拟碰撞体碰撞时，则确定所述射线与所述虚拟碰撞体碰撞。在确定所述射线与所述虚拟碰撞体碰撞时，确认用户正在观看所述预设关键信息区域。
根据本申请实施例的虚拟现实内容的显示装置，通过检测用户视线是否和包含预设关键信息区域的显示区域的虚拟碰撞体碰撞，即使用户从多个角度观看预设关键信息区域，也可以准确检测用户是否看向预设关键信息区域。
图14是根据本申请实施例的虚拟现实内容的显示装置的示意图。其中对图11中的渲染模块1104中，如何通过以下模块在所述成像面板与虚拟摄像机之间的预定位置显示一个渲染网格进行了详细描述。其中，渲染模块1104包括：
渲染网格设置模块1401，用于在所述成像面板与所述虚拟摄像机之间，与所述虚拟摄像机之间的距离为预设值的位置上设置一个未渲染的渲染网格。
VR客户端在所述成像面板前方靠近虚拟摄像机(人眼)的预设距离上设置一个未渲染的渲染网格。渲染VR环境的3D图形引擎接口包括一个隐藏(不显示)某物体的接口，可以通过这个接口来隐藏或显示渲染网格。例如，未渲染的渲染网格可以通过函数SetActive(false)来实现。所述预设距离为大约2.5米。所述渲染网格例如是由至少两个渲染三角形构成的矩形渲染网格，也可以是由其他数目的渲染三角形构成其他形状的渲染网格。渲染网格可以有默认的材质贴图。
渲染子模块1402，用于当确定用户正在观看所述预设关键信息区域时，对所述渲染网格进行渲染。
当VR客户端确定用户正在观看所述预设关键信息区域时，对所述渲染网格进行渲染，用户可以看见所述渲染网格。对渲染网格进行渲染的过程例如可以通过函数SetActive(true)来实现。
根据本申请实施例的虚拟现实内容的显示装置，当用户未看向预设关键信息区域时，VR客户端对渲染网格并不进行渲染，这个渲染网格对于用户而言是隐藏的，而当用户看向预设关键信息区域时，VR客户端显示这个渲染网格，并在该渲染网格上显示预设关键信息区域，从而不仅可以使用户更清楚地看见预设关键信息区域，而且不影响用户观看整体的VR直播视频。
图15是根据本申请实施例的虚拟现实内容的显示装置的示意图。其中，对图11的渲染模块1104中，如何通过以下模块实现在所述渲染网格上显示所述预设关键信息区域进行了描述。渲染模块1104可以包括：
纹理坐标获取模块1501，用于获取视频流纹理和所述预设关键信息区域的纹理坐标。
当VR客户端显示所述渲染网格之后，纹理坐标获取模块1401通过对视频流进行解码，从视频流中获取视频流纹理(图像)和所述预设关键信息区域的纹理的坐标。所述预设关键信息区域的纹理坐标例如是根据所述预设关键信息区域的标记信息中的位置坐标和尺寸信息计算得到的。在所述预设关键信息区域为矩形的情况下，所述预设关键信息区域的纹理坐标例如为T1(x1,y1)、T2(x2，y2)、T3(x3，y3)、T4(x4，y4)，其中，x1～x4是矩形的预设关键信息区域的四个顶点的横坐标，y1～y4是四个顶点的纵坐标，坐标体系的参考原点为预设关键信息区域所在的直播游戏视频帧的左下角，视频游戏视频帧的右上角坐标为(1，1)，采用的是归一化坐标体系。
对应模块1502，用于将所述预设关键信息区域的纹理坐标分别与所述渲染网格的四个顶点进行对应。
根据本申请实施例，所述渲染网格是由两个渲染三角形构成的一个矩形渲染网格，其四个顶点例如分别为v1(x1,y1)、v2(x2,y2)、v3(x3,y3)、v4(x4,y4)，其中，x1～x4分别为渲染网格的四个顶点的横坐标，y1～y4分别为渲染网格的四个顶点的纵坐标，参考原点为矩形渲染网格的中心点，采用的是归一化坐标体系。该中心点为矩形渲染网格的两条对角线的交点。然后VR客户端会将所述预设关键信息区域的纹理的四个顶点坐标与所述渲染网格的四个顶点坐标进行对应。
材质替换模块1503，用于用所述预设关键信息的纹理替换所述渲染网格的材质贴图。
根据本申请实施例，在显示所述渲染网格时，会有默认的材质贴图，当确定所述预设关键信息区域后，材质替换模块1503会用所述预设关键信息的纹理替换所述渲染网格的材质贴图。
通过上述的模块，可以更清楚地将所述关键信息区域的关键信息显示在所述渲染网格上。
图16是根据本申请实施例的虚拟现实内容的显示装置的示意图，应用于服务器端。其中，服务器端可以有与VR客户端对应的VR服务器端。如图16所示，该虚拟现实内容的显示装置1600包括以下模块：
关键信息区域设置模块1601，用于在视频流中设置关键信息区域，当在客户端的虚拟现实环境下的成像面板上显示所述关键信息区域且确定用户正在观看所述关键信息区域时，在所述成像面板与虚拟摄像机之间的预定位置显示一个渲染网格，并在所述渲染网格上显示所述关键信息区域。
根据本申请实施例，服务器上的视频流可以是直播视频流或录制好的视频流。例如在视频流为直播游戏视频的情况下，服务器可以得到是哪一款游戏的视频。服务器可以获得游戏的各种参数和数据。这样，服务器可以将直播游戏视频中用户希望看得更清楚的内容区域设置为关键信息区域，例如游戏中的KDA和地图区域。
发送模块1602，用于将携带有所述关键信息区域的视频流下发给终端设备。
根据本申请实施例，当服务器将直播游戏视频流下发给VR客户端时，可以在直播游戏视频流中携带关键信息区域的信息。
所述关键信息区域设置模块可以包括标记信息设置模块1603，用于在在所述视频流中设置所述关键信息区域的标记信息。所述标记信息包括所述关键信息区域在视频帧中的位置以及所述关键信息区域的尺寸信息。
本申请实施例的虚拟现实内容的显示装置，考虑了用户观看VR直播视频时的感兴趣点，使用户有更好的观看体验，同时由于渲染网格距离用户更近、面积更大，在渲染网格上显示关键信息区域时，用户能更清楚地看见预设关键信息区域，从而有更好的沉浸体验。
另外，在本申请各个实施例中的虚拟现实内容的显示方法、应用客户端、应用服务器以及其中的各模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上装置或模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
在一些实施例中，上述的应用客户端和/或应用服务器可运行在各种可进行虚拟现实内容显示处理的计算设备中，并加载在该计算设备的存储器中。
图17示出了上述应用客户端所在的计算设备的组成结构图。如图17所示，该计算设备1700包括一个或者多个处理器(CPU)1702、通信模块1704、存储器1706、用户接口1710，以及用于互联这些组件的通信总线1708。
处理器1702可通过通信模块1704接收和发送数据以实现网络通信和/或本地通信。
用户接口1710包括一个或多个输出设备1712，其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口1710也包括一个或多个输入设备1714，其包括诸如，键盘，鼠标，声音命令输入单元或扩音器，触屏显示器，触敏输入板，姿势捕获摄像机或其他输入按钮或控件等。
存储器1706可以是高速随机存取存储器，诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备；或者非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备，或其他非易失性固态存储设备。
存储器1706存储处理器1702可执行的指令集，包括：
操作***1716，包括用于处理各种基本***服务和用于执行硬件相关任务的程序；
应用1718，包括用于实现虚拟现实内容的显示处理的各种程序，这种程序能够实现上述各实施例中的处理流程，比如可以包括应用客户端。
在一些实施例中，应用1718可包括图11所示的各模块1101～1104中的至少一个，各模块1101～1104可以存储有计算机可执行指令。处理器1702通过执行存储器1706中各模块1101～1104中至少一个的计算机可执行指令，进而能够实现上述各模块1101～1104中至少一个的功能。所述应用1718还可以包括图12～15所示的各个模块。在此不再赘述。
图18示出了上述应用服务器所在的计算设备的组成结构图。如图18所示，该计算设备1800包括一个或者多个处理器(CPU)1802、通信模块1804、存储器1806、用户接口1810，以及用于互联这些组件的通信总线1808。
处理器1802可通过通信模块1804接收和发送数据以实现网络通信和/或本地通信。
用户接口1810包括一个或多个输出设备1812，其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口1810也包括一个或多个输入设备1814，其包括诸如，键盘，鼠标，声音命令输入单元或扩音器，触屏显示器，触敏输入板，姿势捕获摄像机或其他输入按钮或控件等。
存储器1806可以是高速随机存取存储器，诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备；或者非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备，或其他非易失性固态存储设备。
存储器1806存储处理器1802可执行的指令集，包括：
操作***1816，包括用于处理各种基本***服务和用于执行硬件相关任务的程序；
应用1818，包括用于实现虚拟现实内容的显示处理的各种程序，这种程序能够实现上述各实施例中的处理流程，比如可以包括应用服务器。
在一些实施例中，应用1818可包括图16所示的各模块1601～1602中的至少一个，各模块1601～1602可以存储有计算机可执行指令。处理器1802通过执行存储器1806中各模块1601～1602中至少一个的计算机可执行指令，进而能够实现上述各模块1601～1602中至少一个的功能。
本申请实施例提供了一种虚拟现实内容的显示装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
接收视频流，从视频流中获取需要显示的视频帧；
从所述视频帧中获取预设关键信息区域；
将所述视频帧渲染在成像面板上，形成虚拟现实内容图像进行显示；
当确定用户正在观看成像面板上所述预设关键信息区域时，在所述成像面板与虚拟摄像机之间的预定位置显示一个渲染网格，并在所述渲染网格上显示所述预设关键信息区域。
其中，所述从所述视频帧中获取预设关键信息区域的步骤包括：
从所述视频流中获取标记所述预设关键信息区域的标记信息；
根据所述标记信息，从所述视频帧中获取标记的所述预设关键信息区域。
其中，所述标记信息包括所述预设关键信息区域在所述虚拟现实内容帧中的位置以及所述预设关键信息区域的尺寸信息。
所述确定用户正在观看所述预设关键信息区域的步骤包括：
根据所述标记信息确定所述预设关键信息区域在所述成像面板上的显示区域；
在所述预设关键信息区域的显示区域位置设置一个虚拟碰撞体，所述虚拟碰撞体包含所述预设关键信息区域的显示区域；
从所述虚拟摄像机处沿用户视角方向投射一条射线；
当确定所述射线与所述虚拟碰撞体碰撞时，则确认用户正在观看所述预设关键信息区域。
所述在所述预设关键信息区域的显示区域位置设置一个虚拟碰撞体，所述虚拟碰撞体包含所述预设关键信息区域的显示区域的步骤包括：在所述预设关键信息区域的显示区域所在的虚拟空间位置处，设置一个虚拟空间体，包含至少一部分所述预设关键信息区域的显示区域。
所述虚拟摄像机包括两个虚拟摄像机，从所述两个虚拟摄像机分别投射一条射线，所述确定所述射线与所述虚拟碰撞体碰撞的步骤包括：确定所述两个虚拟摄像机所投射的两条射线中，任意一条射线与所述碰撞体碰撞。
所述在所述成像面板与虚拟摄像机之间的预定位置显示一个渲染网格的步骤包括：
在所述成像面板与所述虚拟摄像机之间，与所述虚拟摄像机之间的距离为预设值的位置上设置一个未渲染的渲染网格；
当确定用户正在观看所述预设关键信息区域时，对所述渲染网格进行渲染。
所述在所述渲染网格上显示所述预设关键信息区域的步骤包括：
获取视频流纹理和所述预设关键信息区域的纹理坐标；
将所述预设关键信息区域的纹理坐标分别与所述渲染网格的四个顶点进行对应；
用所述预设关键信息区域的纹理替换所述渲染网格的材质贴图。
本申请实施例还提供了一种虚拟现实内容的显示装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
在视频流中设置关键信息区域，当在客户端的虚拟现实环境下的成像面板上显示所述关键信息区域且确定用户正在观看所述关键信息区域时，在所述成像面板与虚拟摄像机之间的预定位置显示一个渲染网格，并在所述渲染网格上显示所述关键信息区域；
将携带有所述关键信息区域的视频流下发给终端设备。
其中，所述在视频流中设置关键信息区域的步骤包括：在所述视频流中设置所述关键信息区域的标记信息。
所述标记信息包括所述关键信息区域在视频帧中的位置以及所述关键信息区域的尺寸信息。
另外，本申请的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本申请。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。
因此本申请还公开了一种非易失性算机可读存储介质，存储有计算机可读指令，至少一个处理器执行所述计算机可读指令用于执行本申请上述方法的任何一种实施例。
另外，本申请所述的方法步骤除了可以用软件程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述方法的硬件也可以构成本申请。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (13)

1.一种虚拟现实内容的显示方法，其特征在于，包括：
接收视频流，从视频流中获取需要显示的视频帧；
从所述视频帧中获取预设关键信息区域；
将所述视频帧渲染在成像面板上，形成虚拟现实内容帧进行显示；
当确定用户正在观看成像面板上所述虚拟现实内容帧中的所述预设关键信息区域时，在所述成像面板与虚拟摄像机之间的预定位置显示一个渲染网格，并在所述渲染网格上显示所述预设关键信息区域；
其中，所述从所述视频帧中获取预设关键信息区域包括：
从所述视频流中获取标记所述预设关键信息区域的标记信息；
根据所述标记信息，从所述视频帧中获取标记的所述预设关键信息区域；
所述在所述渲染网格上显示所述预设关键信息区域的步骤包括：
从所述视频流中获取视频流纹理，用所述视频流纹理中所述预设关键信息区域的纹理替换所述渲染网格的材质贴图。
2.根据权利要求1的方法，其特征在于，其中，所述标记信息包括所述预设关键信息区域在所述虚拟现实内容帧中的位置以及所述预设关键信息区域的尺寸信息。
3.根据权利要求1的方法，其特征在于，其中，所述确定用户正在观看所述预设关键信息区域包括：
根据所述标记信息确定所述预设关键信息区域在所述成像面板上的显示区域；
在所述预设关键信息区域的显示区域位置设置一个虚拟碰撞体，所述虚拟碰撞体包含所述预设关键信息区域的显示区域；
从所述虚拟摄像机处沿用户视角方向投射一条射线；
当确定所述射线与所述虚拟碰撞体碰撞时，则确认用户正在观看所述预设关键信息区域。
4.根据权利要求3的方法，其特征在于，其中，所述在所述预设关键信息区域的显示区域位置设置一个虚拟碰撞体，所述虚拟碰撞体包含所述预设关键信息区域的显示区域，包括：
在所述预设关键信息区域的显示区域所在的虚拟空间位置处，设置一个虚拟空间体，包含至少一部分所述预设关键信息区域的显示区域。
5.根据权利要求3的方法，其特征在于，其中，所述虚拟摄像机包括两个虚拟摄像机，从所述两个虚拟摄像机分别投射一条射线，所述确定所述射线与所述虚拟碰撞体碰撞，包括：
确定所述两个虚拟摄像机所投射的两条射线中，任意一条射线与所述碰撞体碰撞。
6.根据权利要求1的方法，其特征在于，其中，所述在所述成像面板与虚拟摄像机之间的预定位置显示一个渲染网格，包括：
在所述成像面板与所述虚拟摄像机之间，与所述虚拟摄像机之间的距离为预设值的位置上设置一个未渲染的渲染网格；
当确定用户正在观看所述预设关键信息区域时，对所述渲染网格进行渲染。
7.根据权利要求1的方法，其特征在于，其中，所述在所述渲染网格上显示所述预设关键信息区域，包括：
获取视频流纹理和所述预设关键信息区域的纹理坐标；
将所述预设关键信息区域的纹理坐标分别与所述渲染网格的四个顶点进行对应；
用所述预设关键信息区域的纹理替换所述渲染网格的材质贴图。
8.一种虚拟现实内容的显示方法，其特征在于，包括：
在视频流中设置关键信息区域，当在客户端的虚拟现实环境下的成像面板上显示包含所述关键信息区域的虚拟现实内容帧且确定用户正在观看所述关键信息区域时，在所述成像面板与虚拟摄像机之间的预定位置显示一个渲染网格，并在所述渲染网格上显示所述关键信息区域；
将携带有所述关键信息区域的视频流下发给终端设备；
其中，所述在视频流中设置关键信息区域的步骤包括：在所述视频流中设置所述关键信息区域的标记信息。
9.根据权利要求8的方法，其特征在于，其中，所述标记信息包括所述关键信息区域在视频帧中的位置以及所述关键信息区域的尺寸信息。
10.一种虚拟现实内容的显示装置，其特征在于，包括：
内容获取模块，用于接收视频流，从视频流中获取需要显示的视频帧；
关键信息获取模块，用于从所述视频帧中获取预设关键信息区域；
显示模块，用于将所述视频帧渲染在成像面板上，形成虚拟现实内容帧进行显示；
渲染模块，用于当确定用户正在观看成像面板上所述虚拟现实内容帧中的所述预设关键信息区域时，在所述成像面板与虚拟摄像机之间的预定位置显示一个渲染网格，并在所述渲染网格上显示所述预设关键信息区域；
其中，所述从所述视频帧中获取预设关键信息区域包括：
从所述视频流中获取标记所述预设关键信息区域的标记信息；
根据所述标记信息，从所述视频帧中获取标记的所述预设关键信息区域；
所述在所述渲染网格上显示所述预设关键信息区域的步骤包括：
从所述视频流中获取视频流纹理，用所述视频流纹理中所述预设关键信息区域的纹理替换所述渲染网格的材质贴图。
11.一种虚拟现实内容的显示装置，其特征在于，包括：
关键信息区域设置模块，用于在视频流中设置关键信息区域，当在客户端的虚拟现实环境下的成像面板上显示包含所述关键信息区域的虚拟现实内容帧且确定用户正在观看所述关键信息区域时，在所述成像面板与虚拟摄像机之间的预定位置显示一个渲染网格，并在所述渲染网格上显示所述关键信息区域；
发送模块，用于将携带有所述关键信息区域的视频流下发给终端设备；
其中，所述在视频流中设置关键信息区域的步骤包括：在所述视频流中设置所述关键信息区域的标记信息。
12.一种虚拟现实内容的显示装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器通过执行权利要求1至7或权利要求8至9任一项提供的虚拟现实内容的显示方法。
13.一种计算机可读存储介质，存储有计算机可读指令，其特征在于，至少一个处理器执行所述计算机可读指令用于执行权利要求1至7或8至9任一项所述的方法。
CN201780055495.XA 2017-07-04 2017-07-04 虚拟现实内容的显示方法和装置 Active CN109743892B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/091613 WO2019006650A1 (zh) 2017-07-04 2017-07-04 虚拟现实内容的显示方法和装置

Publications (2)

Publication Number Publication Date
CN109743892A CN109743892A (zh) 2019-05-10
CN109743892B true CN109743892B (zh) 2020-10-13

Family

ID=64950524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780055495.XA Active CN109743892B (zh) 2017-07-04 2017-07-04 虚拟现实内容的显示方法和装置

Country Status (3)

Country Link
US (1) US11282264B2 (zh)
CN (1) CN109743892B (zh)
WO (1) WO2019006650A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969687B (zh) * 2019-11-29 2023-07-28 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种碰撞检测方法、装置、设备和介质
KR20220078298A (ko) * 2020-12-03 2022-06-10 삼성전자주식회사 적응적 증강 현실 스트리밍 제공 방법 및 이를 수행하는 장치
US20240069702A1 (en) * 2021-01-21 2024-02-29 Sony Group Corporation Information processing apparatus and information processing method
CN113206993A (zh) * 2021-04-13 2021-08-03 聚好看科技股份有限公司 一种调整显示屏幕的方法及显示设备
CN113766119B (zh) * 2021-05-11 2023-12-05 腾讯科技（深圳）有限公司 虚拟形象显示方法、装置、终端及存储介质
CN113532289B (zh) * 2021-08-26 2023-07-14 歌尔光学科技有限公司 虚拟现实设备的偏心测试方法、装置及存储介质
CN113784105A (zh) * 2021-09-10 2021-12-10 上海曼恒数字技术股份有限公司 一种沉浸式vr终端的信息处理方法及***
US11596866B1 (en) * 2021-09-28 2023-03-07 Sony Group Corporation Method to use recognition of nearby physical surfaces to generate NPC reactions to events
US11617949B1 (en) * 2021-09-28 2023-04-04 Sony Group Corporation Methods for predefining virtual staircases connecting platforms in extended reality (XR) environments
US11612817B1 (en) * 2021-09-28 2023-03-28 Sony Group Corporation Method for predefining activity zones in an extended reality (XR) environment
CN115576456A (zh) * 2022-09-21 2023-01-06 北京字跳网络技术有限公司 会话页面的显示方法、装置、设备、可读存储介质及产品
CN115665461B (zh) * 2022-10-13 2024-03-22 聚好看科技股份有限公司 一种视频录制方法及虚拟现实设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103792674A (zh) * 2014-01-21 2014-05-14 浙江大学 一种测量和校正虚拟现实显示器畸变的装置和方法
CN105447898A (zh) * 2015-12-31 2016-03-30 北京小鸟看看科技有限公司 一种虚拟现实设备中显示2d应用界面的方法和装置
CN106162177A (zh) * 2016-07-08 2016-11-23 腾讯科技（深圳）有限公司 视频编码方法和装置
CN106445550A (zh) * 2016-10-12 2017-02-22 大连文森特软件科技有限公司 基于分布式协同可视化编程的vr太空场景制作与观测***
CN106598233A (zh) * 2016-11-25 2017-04-26 北京暴风魔镜科技有限公司 基于手势识别的输入方法及输入***
CN106791792A (zh) * 2016-12-16 2017-05-31 宇龙计算机通信科技(深圳)有限公司 调节vr设备显示影像的方法及***
CN106774824A (zh) * 2016-10-26 2017-05-31 网易（杭州）网络有限公司 虚拟现实交互方法及装置
CN106792151A (zh) * 2016-12-29 2017-05-31 上海漂视网络科技有限公司 一种虚拟现实全景视频播放方法
CN106792094A (zh) * 2016-12-23 2017-05-31 歌尔科技有限公司 Vr设备播放视频的方法和vr设备
CN106861185A (zh) * 2017-03-21 2017-06-20 苏州蜗牛数字科技股份有限公司 一种对vr游戏场景进行扫描的方法
CA2998904A1 (en) * 2015-12-22 2017-06-29 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8233690B2 (en) * 2008-04-30 2012-07-31 Real-Time Tomography, Llc Dynamic tomographic image reconstruction and rendering on-demand
US8717360B2 (en) * 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
JP2015517236A (ja) * 2012-04-10 2015-06-18 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 表示オブジェクトの表示位置を提供し、３次元シーン内の表示オブジェクトを表示するための方法および装置
US9454827B2 (en) * 2013-08-27 2016-09-27 Qualcomm Incorporated Systems, devices and methods for tracking objects on a display
CN103499886B (zh) * 2013-09-30 2015-07-08 北京智谷睿拓技术服务有限公司 成像装置和方法
GB2523740B (en) * 2014-02-26 2020-10-14 Sony Interactive Entertainment Inc Image encoding and display
IL235073A (en) * 2014-10-07 2016-02-29 Elbit Systems Ltd Head-mounted view of enlarged images that are locked on an object of interest
US9645379B2 (en) * 2014-12-29 2017-05-09 Novartis Ag Magnification in ophthalmic procedures and associated devices, systems, and methods
CN106293557B (zh) * 2015-05-04 2019-12-03 北京智谷睿拓技术服务有限公司 显示控制方法和装置
US20160378176A1 (en) * 2015-06-24 2016-12-29 Mediatek Inc. Hand And Body Tracking With Mobile Device-Based Virtual Reality Head-Mounted Display
US10048751B2 (en) * 2016-03-31 2018-08-14 Verizon Patent And Licensing Inc. Methods and systems for gaze-based control of virtual reality media content
US10102610B2 (en) * 2016-04-05 2018-10-16 Qualcomm Incorporated Dual fisheye images stitching for spherical video
CN106296686A (zh) * 2016-08-10 2017-01-04 深圳市望尘科技有限公司 一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法
CN106339082A (zh) * 2016-08-16 2017-01-18 惠州Tcl移动通信有限公司 一种基于教学用头戴式设备的提示方法及***
CN106210703B (zh) * 2016-09-08 2018-06-08 北京美吉克科技发展有限公司 Vr环境中特写镜头的运用及显示方法和***
CN106375830A (zh) * 2016-09-21 2017-02-01 杭州当虹科技有限公司 虚拟现实视频上叠加跟随视角的图文和视频内容的方法
CN106649508A (zh) * 2016-10-12 2017-05-10 北京小米移动软件有限公司 页面显示方法及装置、电子设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103792674A (zh) * 2014-01-21 2014-05-14 浙江大学 一种测量和校正虚拟现实显示器畸变的装置和方法
CA2998904A1 (en) * 2015-12-22 2017-06-29 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
CN105447898A (zh) * 2015-12-31 2016-03-30 北京小鸟看看科技有限公司 一种虚拟现实设备中显示2d应用界面的方法和装置
CN106162177A (zh) * 2016-07-08 2016-11-23 腾讯科技（深圳）有限公司 视频编码方法和装置
CN106445550A (zh) * 2016-10-12 2017-02-22 大连文森特软件科技有限公司 基于分布式协同可视化编程的vr太空场景制作与观测***
CN106774824A (zh) * 2016-10-26 2017-05-31 网易（杭州）网络有限公司 虚拟现实交互方法及装置
CN106598233A (zh) * 2016-11-25 2017-04-26 北京暴风魔镜科技有限公司 基于手势识别的输入方法及输入***
CN106791792A (zh) * 2016-12-16 2017-05-31 宇龙计算机通信科技(深圳)有限公司 调节vr设备显示影像的方法及***
CN106792094A (zh) * 2016-12-23 2017-05-31 歌尔科技有限公司 Vr设备播放视频的方法和vr设备
CN106792151A (zh) * 2016-12-29 2017-05-31 上海漂视网络科技有限公司 一种虚拟现实全景视频播放方法
CN106861185A (zh) * 2017-03-21 2017-06-20 苏州蜗牛数字科技股份有限公司 一种对vr游戏场景进行扫描的方法

Also Published As

Publication number Publication date
WO2019006650A1 (zh) 2019-01-10
CN109743892A (zh) 2019-05-10
US20190355170A1 (en) 2019-11-21
US11282264B2 (en) 2022-03-22

Similar Documents

Publication Publication Date Title
CN109743892B (zh) 虚拟现实内容的显示方法和装置
US10460512B2 (en) 3D skeletonization using truncated epipolar lines
US9728011B2 (en) System and method for implementing augmented reality via three-dimensional painting
CN109478344B (zh) 用于合成图像的方法和设备
US11074755B2 (en) Method, device, terminal device and storage medium for realizing augmented reality image
US20170186219A1 (en) Method for 360-degree panoramic display, display module and mobile terminal
CN109246463B (zh) 用于显示弹幕的方法和装置
JP2013050881A (ja) 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
JP7392105B2 (ja) 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体
KR20200138349A (ko) 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체
JP2013050883A (ja) 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
JP2020173529A (ja) 情報処理装置、情報処理方法、及びプログラム
CN116057577A (zh) 用于增强现实的地图
JP2013050882A (ja) 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
CN114531553B (zh) 生成特效视频的方法、装置、电子设备及存储介质
US20190295324A1 (en) Optimized content sharing interaction using a mixed reality environment
JP6518645B2 (ja) 情報処理装置および画像生成方法
CN108027646B (zh) 一种终端显示防抖方法及装置
CA3155612A1 (en) Method and system for providing at least a portion of content having six degrees of freedom motion
CN109949396A (zh) 一种渲染方法、装置、设备和介质
CN113194329B (zh) 直播互动方法、装置、终端及存储介质
CN112308981A (zh) 图像处理方法、装置、电子设备及存储介质
CN115690363A (zh) 虚拟物体显示方法、装置和头戴式显示装置
CN111193919B (zh) 一种3d显示方法、装置、设备及计算机可读介质
JP6859763B2 (ja) プログラム、情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant