CN112130667A - 一种超高清vr视频的互动方法和*** - Google Patents
一种超高清vr视频的互动方法和*** Download PDFInfo
- Publication number
- CN112130667A CN112130667A CN202011026257.6A CN202011026257A CN112130667A CN 112130667 A CN112130667 A CN 112130667A CN 202011026257 A CN202011026257 A CN 202011026257A CN 112130667 A CN112130667 A CN 112130667A
- Authority
- CN
- China
- Prior art keywords
- video
- layer
- spherical
- tiles
- high definition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000003993 interaction Effects 0.000 title claims abstract description 18
- 238000009877 rendering Methods 0.000 claims abstract description 45
- 230000004886 head movement Effects 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 230000000903 blocking effect Effects 0.000 claims abstract description 15
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 239000013598 vector Substances 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 102220537297 Protein NDRG2_A32K_mutation Human genes 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种超高清VR视频的互动方法，该方法包括如下步骤：将VR超高清视频源进行分辨率下采样，形成包括至少一个高清层和基本层的视频源，并对高清层进行视频分块；对高清层和基本层分别进行球面建模；获取实时头动数据信息，基于实时头动数据信息，计算视椎体与球面模型顶点的交点数据并映射于视频分块上进行分块选择，判断优先播放高清层或者基本层；根据判断结果，进行相应的渲染处理，并将渲染的处理结果贴到对应的球面上完成显示。通过分层呈现不同分辨率视角区域的方式，观众可在虚拟球体范围内移动、从任意角度观看，并随着观看距离的变化，对于感兴趣的区域，观众可通过走近该区域而使其呈现放大效果以观察细节。
Description
技术领域
本发明属于虚拟现实技术领域，具体涉及一种超高清VR视频的互动方法和***。
背景技术
VR视频本质是一个包含了360°x180°全方位视角信息的球面视频，允许观众在观看时改变视角，选择感兴趣区域进行观看，由于VR视频覆盖全方位视角，因此需要更高的分辨率(8K及以上)以保证其清晰度和沉浸感。
用户基于VR视频可足不出户身临其境体验精彩赛事，游览世界名胜，感受实景沉浸式教学。随着VR体育、展览、教育等高价值化应用场景的推动，VR视频片源逐步走向超高清化。利用高像素摄像机和拼接技术，能够生产超高分辨率的VR视频。超高分辨率VR视频(如64K)，能够给用户提供更多信息量，带来更丰富、真实的体验。
受限VR视频内容的特性，追求超高清的VR视频业务面临巨大的挑战。VR视频内容数据非常庞大，进行全视角传输必然会消耗大量的网络带宽。现有的网络难以承载高码率的全景视频流畅播放的需求。随着技术的发展，出现了基于视点区域(FOV视角下)有差别传输画面的FOV传输方案，即低质量的全视角+高质量视点区域传输，按需传输，部分解码。根据用户的可视区域，动态的选择高质量的视频Tile块和低质量的全视角流进行码流融合，而后进行解码，渲染播放。可以大幅减少网络传输带宽，降低终端的解码能力需求等。
现有的VR视频普遍为4K或更低分辨率，在播放时显示在以用户头部为中心的球面模型上，球心和半径都固定，用户可以使用三自由度旋转的方式转换视角来观看VR视频的不同区域。受限于自由度以及VR视频的分辨率，给观众提供的信息量不够多，交互性和临场感不够强，无法充分发挥VR视频的交互性和沉浸性。
发明内容
本发明针对现有技术中的上述问题，提供了一种超高清VR视频的互动方法和***。
本发明采用的技术方案为：
本发明实施例第一方面提供了一种超高清VR视频的互动方法，包括如下步骤：
将VR超高清视频源进行分辨率下采样，形成包括至少一个高清层和基本层的视频源，并对所述高清层进行视频分块；
对所述高清层和所述基本层分别进行球面建模；获取实时头动数据信息，基于所述实时头动数据信息，计算视椎体与球面模型顶点的交点数据并映射于所述视频分块上进行分块选择，判断优先播放高清层或者基本层；
根据判断结果，进行相应的渲染处理，并将渲染的处理结果贴到对应的球面上完成显示。
进一步地，所述将VR超高清视频源进行分辨率下采样，形成至少一个高清层和基本层的视频源，并对所述高清层进行视频分块还包括：
形成3个所述高清层和1个所述基本层，并基于ERP映射模型进行统一分辨率Tile的H.265分割编码。
进一步地，所述对所述高清层和所述基本层分别进行球面建模还包括：
根据四个不同分辨率的视频层，对应建立四个不同的球面模型顶点，作为纹理贴图的目标；
将所述球面模型顶点按照Tile的划分方式，划分为相等数量的球面块，所述球面块与视频Tile一一对应。
进一步地，所述获取实时头动数据信息，基于所述实时头动数据信息，计算视椎体与球面模型顶点的交点数据并映射于所述视频分块上进行分块选择，判断优先播放高清层或者基本层还包括：
通过VR头显终端的接口实时获取到当前头动数据信息，所述头动数据信息包括头显的位置及方向信息；
以所述方向信息为中心构造一簇射线，每两个相邻的射线向量之间都在水平或垂直方向上相对偏移一个角度，根据所述角度计算视椎体与球面模型顶点的交点球坐标，转换成对应的Tile块，并映射于所述视频分块上进行分块选择；
判断优先播放高清层或者基本层；
进一步地，所述判断优先播放高清层或者基本层包括：
设定TileMask为一个长度等于Tile数量的“0”、“1”串，在播放器播放下一帧前，计算并从相应的四个不同分辨率的所述视频层选择显示的视频层次，根据所述TileMask值，计算所述高清层每层所需要显示的Tile数目；
设定MaxTileNum为VR终端设备最大能显示的Tile数量，将所述Tile数目与所述MaxTileNum进行比较；
若所述Tile数目不大于所述MaxTileNum，则高清层被播放；若所述Tile数目不大于所述MaxTileNum，则基本层被播放。
进一步地，所述根据判断结果，进行相应的渲染处理，并将渲染的处理结果贴到对应的球面上完成显示还包括：
若是高清层被播放，则需要将显示的若干个Tile的当前帧的码流融合成一个码流；
基于所述一个码流进行解码，并将解码输出的图像建立第一纹理对象；
基于建立的所述第一纹理对象进行渲染，采用分块渲染，对不同视频层，实现将球面模型按照Tile划分方式划分为一系列曲面块，将需要显示的Tile贴到对应的球面模型顶点上完成显示；
若是基本层被播放，则直接进行解码，并将解码输出的图像建立第二纹理对象；
基于建立的所述第一纹理对象进行渲染，利用完整的VR视频建立纹理对象，贴到整个球面模型顶点上完成显示。
进一步地，所述基于建立的所述第一纹理对象进行渲染，采用分块渲染，对不同视频层，实现将球面模型按照Tile划分方式划分为一系列曲面块，将需要显示的Tile贴到对应的球面模型顶点上完成显示还包括：
基于建立的所述第一纹理对象进行渲染，每次仅渲染视角范围内的区域，将球面模型顶点按照Tile的划分方式，划分为相等数量的球面块，与视频Tile一一对应，将需要显示的Tile贴到对应的球面模型顶点上完成显示。
本发明实施例第二方面提供了一种超高清VR视频***，包括：
视频分块预处理单元，用于将VR超高清视频源进行分辨率下采样，形成至少一个高清层和基本层的视频源，并对所述高清层进行视频分块；
层次控制单元，用于对所述高清层和所述基本层分别进行球面建模；获取实时头动数据信息，基于所述实时头动数据信息，计算视椎体与球面模型顶点的交点数据并映射于所述视频分块上进行分块选择，判断优先播放高清层或者基本层；
解码渲染单元，用于根据判断结果，进行相应的渲染处理，并将渲染的处理结果贴到对应的球面上完成显示。
本发明实施例第三方面提供了一种电子设备，包括：存储装置及一个或多个处理器，所述存储装置用于存储一个或多个程序，其中，当所述一个或多个程序被一个或多个处理器执行时，使得所述一个或多个处理器执行如本发明实施例第一方面所述的方法。
本发明实施例第四方面提供了一种存储介质，其上存储有可执行指令，该可执行指令被执行时执行如本发明实施例第一方面所述的方法。
本发明的有益效果在于：本发明提供了一种超高清VR视频的互动方法，该方法包括如下步骤：第一步，将VR超高清视频源进行分辨率下采样，形成包括至少一个高清层和基本层的视频源，并对所述高清层进行视频分块；第二步，对所述高清层和所述基本层分别进行球面建模；获取实时头动数据信息，基于所述实时头动数据信息，计算视椎体与球面模型顶点的交点数据并映射于所述视频分块上进行分块选择，判断优先播放高清层或者基本层；第三步，根据判断结果，进行相应的渲染处理，并将渲染的处理结果贴到对应的球面上完成显示。通过分层呈现不同分辨率视角区域的方式，观众可在虚拟球体范围内移动、从任意角度观看，并随着观看距离的变化，对于感兴趣的区域，观众可通过走近该区域而使其呈现放大效果以观察细节。该***给观众提供了更高的自由度，增强了交互感和临场感。
附图说明
下面结合附图详述本发明的具体结构
图1为本发明的第一实施例提供的一种超高清VR视频的互动方法的流程图；
图2为本发明的16K分辨率的高清层VR视频的Tile分块图；
图3为本发明的分层球面示意图；
图4为本发明的球面建模方法图；
图5为本发明的交点数据计算图；
图6为本发明的第二实施例提供的一种超高清VR视频***的模块方框图；
图7为本发明的层次控制单元的模块方框图；
图8为本发明的第三实施例提供的电子设备的模块方框图；
图9本发明的第四实施例提供的存储介质的模块方框图。
具体实施方式
为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。
请参阅图1，本发明第一实施例提供了一种超高清VR视频的互动方法，该方法包括如下步骤：
S110、将VR超高清视频源进行分辨率下采样，形成包括至少一个高清层和基本层的视频源，并对高清层进行视频分块；
S120、对高清层和基本层分别进行球面建模；获取实时头动数据信息，基于实时头动数据信息，计算视椎体与球面模型顶点的交点数据并映射于视频分块上进行分块选择，判断优先播放高清层或者基本层；
S130、根据判断结果，进行相应的渲染处理，并将渲染的处理结果贴到对应的球面上完成显示。
本实施中，步骤S110中采用“基本层+高清层”的视频分层方法，其中，基本层不做分块处理，对高清层进行视频分块；步骤S120中通过传感器实时采集头动数据信息，在进行分块选择后，针对终端处理能力和分块拼接的结果，判断优先播放高清层或者基本层；步骤S130中高清层采用一个解码器，基本层自用一个独立解码器。
通过分层呈现不同分辨率视角区域的方式，观众可在虚拟球体范围内移动、从任意角度观看，并随着观看距离的变化，对于感兴趣的区域，观众可通过走近该区域而使其呈现放大效果以观察细节。该***给观众提供了更高的自由度，增强了交互感和临场感。
进一步地，请参阅图2，将VR超高清视频源进行分辨率下采样，形成至少一个高清层和基本层的视频源，并对高清层进行视频分块还包括：
形成3个高清层和1个基本层，并基于ERP映射模型进行统一分辨率Tile的H.265分割编码。
本实施中，将VR超高清视频源(64K)进行分辨率下采样，形成3个高清层(64K、32K、16K)和1个基本层(8K)的视频源，并基于ERP映射模型“极点冗余高，赤道价值高”的特点，进行基于统一分辨率Tile(1280x1280)的H.265分割编码。
具体地，基本层VR视频不做分块处理，16K、32K、64K的高清层VR视频，依次划分为42、168、672个相同分辨率(1280x1280)的分块(Tile)，其中，针对ERP投影方式的视频分块方法为：
16K(15360x 7680)分辨率的高清层VR视频的Tile划分，在垂直方向上以30度为间隔将视频划分为6行，第一、第六行均匀分为3个Tile，第二、第五行均匀分为6个Tile，第三、第四行均匀分为12个Tile。其中，第三、第四行的Tile分辨率为1280x1280；而第一、第六行的Tile分辨率为5120x1280，第二、第五行的Tile分辨率为2560x1280，这四行的Tile需要进行下采样，将分辨率统一转为1280x1280，最终得到42个1280x1280分辨率的Tile。
32K(30720x15360)分辨率的高清层VR视频Tile划分方式，是在16K划分方式的基础上，将每个Tile再划分为2x2的四等份，并统一将分辨率转为1280x1280，最终得到168个1280x1280分辨率的Tile。
64K(61440x30720)分辨率的高清层VR视频是在32K划分方式的基础上，将每个Tile再划分为2x2的四等份并统一分辨率，最终得到672个1280x1280分辨率的Tile。
进一步地，请参阅图3及图4，对高清层和基本层分别进行球面建模还包括：
根据四个不同分辨率的视频层，对应建立四个不同的球面模型顶点，作为纹理贴图的目标；
将球面模型顶点按照Tile的划分方式，划分为相等数量的球面块，球面块与视频Tile一一对应。
具体地，建模方法为：将球面模型顶点按照Tile的划分方式，划分为相等数量的球面块，球面块与视频Tile一一对应。使用经纬度的角度坐标描述Tile与球面块的对应关系。球面的经度范围为[0°,360°]，纬度范围是[0°,180°](定义北极点为0°，南极点为180°)。以16K VR视频的Tile分块为例，左上角的第一个Tile，可以表示为P[0,0,120,30]，第一个0表示起点的经度为0，第二个0表示起点的纬度为0，120表示水平角度范围Δθ＝120°，30表示垂直角度范围Δφ＝30°。这个Tile对应的球面块顶点模型就是完整球面上的0°经线、120°经线、0°纬线、30°纬线这四条线相交形成的一个区域。每个球面块生成对的顶点模型。
进一步地，请参阅图5，获取实时头动数据信息，基于实时头动数据信息，计算视椎体与球面模型顶点的交点数据并映射于视频分块上进行分块选择，判断优先播放高清层或者基本层还包括：
通过VR头显终端的接口实时获取到当前头动数据信息，头动数据信息包括头显的位置及方向信息；
以方向信息为中心构造一簇射线，每两个相邻的射线向量之间都在水平或垂直方向上相对偏移一个角度，根据角度计算视椎体与球面模型顶点的交点球坐标，转换成对应的Tile块，并映射于视频分块上进行分块选择；
判断优先播放高清层或者基本层。
具体地，通过头显接口实时获取当前位置及朝向数据。该数据通常采用以4x4齐次矩阵方式，即：
其中左上角3x3矩阵为旋转矩阵R，右上边列[t1,t2,t3]T为平移矩阵T。根据R、T矩阵计算位置pos和方向ori，计算方法为：
以ori为中心构造一簇射线，每两个相邻的射线向量之间都在水平或垂直方向上相对偏移一个角度Δα。为了不漏掉视角范围内的Tile，要求该角度不能过大。以16K分辨率的高清层VR视频为例，其被划分为42个Tile，其中最小的Tile的角度范围是30°，观众最远能从P点看该Tile，因此可设定Δα＝15°，按此方法依次计算视锥体与球面模型的交点球坐标(r,θ，φ)，然后转换成对应的Tile块P。
32K分辨率的高清层VR视频、64K分辨率的高清层VR视频的计算方法和16K分辨率的高清层VR视频的一致，不同之处在于对于不同分辨率，构造射线向量时，相邻两条射线向量之间的最大夹角不一样，分辨率越高，Tile的个数越多，每个Tile的角度范围越小，射线密度更大，射线之间夹角更小。32K分辨率的高清层VR视频最小Tile的跨度为15°，相邻射线夹角不大于7.5°，64K分辨率的高清层VR视频相邻射线夹角不大于3.25°。
进一步地，判断优先播放高清层或者基本层包括：
设定TileMask为一个长度等于Tile数量的“0”、“1”串，在播放器播放下一帧前，计算并从相应的四个不同分辨率的视频层选择显示的视频层次，根据TileMask值，计算高清层每层所需要显示的Tile数目；
设定MaxTileNum为VR终端设备最大能显示的Tile数量，将Tile数目与MaxTileNum进行比较；
若Tile数目不大于MaxTileNum，则高清层被播放；若Tile数目不大于MaxTileNum，则基本层被播放。
具体地，设定TileMask为一个长度等于Tile数量的“0”、“1”串，用于表示高清层的哪些Tile需要被显示。16K分辨率的高清层VR视频、32K分辨率的高清层VR视频、64K分辨率的高清层VR视频各有一个TileMask，长度分别等于各自Tile的总数42、168和672。TileMask的每一位对应一个Tile，数值1表示这一位对应的Tile需要显示，0表示不显示。比如16K分辨率的高清层VR视频的TileMask的第十位是1，则表示16K分辨率的高清层VR视频编号为10的Tile需要显示，根据上述计算结果更新TileMask的值；在播放器播放下一帧前，计算并从8K分辨率的基本层VR视频/16K分辨率的高清层VR视频/32K分辨率的高清层VR视频/64K分辨率的高清层VR视频中选择将要显示的视频层次。根据TileMask的值，计算高清层16K分辨率的高清层VR视频/32K分辨率的高清层VR视频/64K分辨率的高清层VR视频每层需要显示的Tile数目Tile_16K，Tile_32K，Tile_64K。
设定MaxTileNum为VR终端设备最大能显示的Tile数量，如该VR终端设备硬解的最大分辨率为8K，由于Tile大小归一化为1280x1280，则其MaxTileNum取值为16。将上述Tile_16K，Tile_32K，Tile_64K与MaxTileNum比较，不大于MaxTileNum则表示该层能够被播放，在考虑解码器分辨率限制的前提下，优先选择高分辨率的层次进行播放。如果全部高清层都由于需要显示的Tile数目大于MaxTileNum，则播放基本层视频。
进一步地，根据判断结果，进行相应的渲染处理，并将渲染的处理结果贴到对应的球面上完成显示还包括：
若是高清层被播放，则需要将显示的若干个Tile的当前帧的码流融合成一个码流；
基于一个码流进行解码，并将解码输出的图像建立第一纹理对象；
基于建立的第一纹理对象进行渲染，采用分块渲染，对不同视频层，实现将球面模型按照Tile划分方式划分为一系列曲面块，将需要显示的Tile贴到对应的球面模型顶点上完成显示；
若是基本层被播放，则直接进行解码，并将解码输出的图像建立第二纹理对象；
基于建立的第一纹理对象进行渲染，利用完整的VR视频建立纹理对象，贴到整个球面模型顶点上完成显示。
其中，所有高清层视频共用一个解码器，仅在需要显示高清层视频时才进行解码，8K分辨率的基本层VR视频自用一个独立解码器，基本层视频每帧都会进行解码，随时可以被渲染显示，以避免因高清层切换时的延时造成的视窗黑场。渲染时，四个视频层次各自使用对应的球面模型顶点。基本层的图像建立纹理对象后，直接纹理贴图到整个球面；而高清层采用分块渲染，对不同视频层，实现将球面模型按照Tile划分方式划分为一系列曲面快，渲染时将需要显示的Tile贴到其对应的曲面块即可。
进一步地，基于建立的第一纹理对象进行渲染，采用分块渲染，对不同视频层，实现将球面模型按照Tile划分方式划分为一系列曲面块，将需要显示的Tile贴到对应的球面模型顶点上完成显示还包括：
基于建立的第一纹理对象进行渲染，每次仅渲染视角范围内的区域，将球面模型顶点按照Tile的划分方式，划分为相等数量的球面块，与视频Tile一一对应，将需要显示的Tile贴到对应的球面模型顶点上完成显示。
请参阅图6及图7，本发明的第二实施例提供了一种超高清VR视频***1，包括：
视频分块预处理单元11，用于将VR超高清视频源进行分辨率下采样，形成至少一个高清层和基本层的视频源，并对高清层进行视频分块；
层次控制单元12，用于对高清层和基本层分别进行球面建模；获取实时头动数据信息，基于实时头动数据信息，计算视椎体与球面模型顶点的交点数据并映射于视频分块上进行分块选择，判断优先播放高清层或者基本层；
解码渲染单元13，用于根据判断结果，进行相应的渲染处理，并将渲染的处理结果贴到对应的球面上完成显示。
其中，层次控制单元12由分层球面建模模块121、头动数据采集模块122、分块计算模块123及层次判断模块124组成；
分层球面建模模块121，对所述高清层和所述基本层分别进行球面建模；
头动数据采集模块122，获取实时头动数据信息；
分块计算模块123，基于所述实时头动数据信息，计算视椎体与球面模型顶点的交点数据并映射于所述视频分块上进行分块选择；
层次判断模块124，判断优先播放高清层或者基本层。
请参阅图8，本发明的第三实施例提供的电子设备200包括：
存储装置201及一个或多个处理器202，存储装置201用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器202执行时，使得一个或多个处理器202执行如本发明第一实施例提供的基于5G传输视频、人形图片和结构化数据的方法。
请参阅图9，本发明的第四实施例提供的存储介质300，其上存储有可执行指令301，该可执行指令301被执行时执行如本发明第一实施例提供的基于5G传输视频、人形图片和结构化数据的方法。
综上所述，本发明提供的超高清VR视频的互动方法及***，提供了一种信息量多，交互感强、自由度高、临场感强的VR视频观看方式，通过分层呈现不同分辨率视角区域的方式，观众可在虚拟球体范围内移动、从任意角度观看，并随着观看距离的变化，视频还会平滑呈现“远小近大”的缩放效果。对于感兴趣的区域，观众可通过走近该区域而使其呈现放大效果以观察细节。该***给观众提供了更高的自由度，增强了交互感和临场感，并保证视频的显示清晰度，采用Tile按需传输和渲染的方式，在节省传输带宽和终端算力的同时，显著提升了用户的VR视频交互体验。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明所述的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk)等。
需要说明的是，本发明内容中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于产品类实施例而言，由于其与方法类实施例相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
还需要说明的是，在本发明内容中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明内容。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本发明内容中所定义的一般原理可以在不脱离本发明内容的精神或范围的情况下，在其它实施例中实现。因此，本发明内容将不会被限制于本发明内容所示的这些实施例，而是要符合与本发明内容所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种超高清VR视频的互动方法，其特征在于：包括如下步骤：
将VR超高清视频源进行分辨率下采样，形成包括至少一个高清层和基本层的视频源，并对所述高清层进行视频分块；
对所述高清层和所述基本层分别进行球面建模；获取实时头动数据信息，基于所述实时头动数据信息，计算视椎体与球面模型顶点的交点数据并映射于所述视频分块上进行分块选择，判断优先播放高清层或者基本层；
根据判断结果，进行相应的渲染处理，并将渲染的处理结果贴到对应的球面上完成显示。
2.如权利要求1所述的超高清VR视频的互动方法，其特征在于：所述将VR超高清视频源进行分辨率下采样，形成至少一个高清层和基本层的视频源，并对所述高清层进行视频分块还包括：
形成3个所述高清层和1个所述基本层，并基于ERP映射模型进行统一分辨率Tile的H.265分割编码。
3.如权利要求2所述的超高清VR视频的互动方法，其特征在于：所述对所述高清层和所述基本层分别进行球面建模还包括：
根据四个不同分辨率的视频层，对应建立四个不同的球面模型顶点，作为纹理贴图的目标；
将所述球面模型顶点按照Tile的划分方式，划分为相等数量的球面块，所述球面块与视频Tile一一对应。
4.如权利要求3所述的超高清VR视频的互动方法，其特征在于：所述获取实时头动数据信息，基于所述实时头动数据信息，计算视椎体与球面模型顶点的交点数据并映射于所述视频分块上进行分块选择，判断优先播放高清层或者基本层还包括：
通过VR头显终端的接口实时获取到当前头动数据信息，所述头动数据信息包括头显的位置及方向信息；
以所述方向信息为中心构造一簇射线，每两个相邻的射线向量之间都在水平或垂直方向上相对偏移一个角度，根据所述角度计算视椎体与球面模型顶点的交点球坐标，转换成对应的Tile块，并映射于所述视频分块上进行分块选择；
判断优先播放高清层或者基本层。
5.如权利要求4所述的超高清VR视频的互动方法，其特征在于：所述判断优先播放高清层或者基本层包括：
设定TileMask为一个长度等于Tile数量的“0”、“1”串，在播放器播放下一帧前，计算并从相应的四个不同分辨率的所述视频层选择显示的视频层次，根据所述TileMask值，计算所述高清层每层所需要显示的Tile数目；
设定MaxTileNum为VR终端设备最大能显示的Tile数量，将所述Tile数目与所述MaxTileNum进行比较；
若所述Tile数目不大于所述MaxTileNum，则高清层被播放；若所述Tile数目不大于所述MaxTileNum，则基本层被播放。
6.如权利要求5所述的超高清VR视频的互动方法，其特征在于：所述根据判断结果，进行相应的渲染处理，并将渲染的处理结果贴到对应的球面上完成显示还包括：
若是高清层被播放，则需要将显示的若干个Tile的当前帧的码流融合成一个码流；
基于所述一个码流进行解码，并将解码输出的图像建立第一纹理对象；
基于建立的所述第一纹理对象进行渲染，采用分块渲染，对不同视频层，实现将球面模型按照Tile划分方式划分为一系列曲面块，将需要显示的Tile贴到对应的球面模型顶点上完成显示；
若是基本层被播放，则直接进行解码，并将解码输出的图像建立第二纹理对象；
基于建立的所述第一纹理对象进行渲染，利用完整的VR视频建立纹理对象，贴到整个球面模型顶点上完成显示。
7.如权利要求6所述的超高清VR视频的互动方法，其特征在于：所述基于建立的所述第一纹理对象进行渲染，采用分块渲染，对不同视频层，实现将球面模型按照Tile划分方式划分为一系列曲面块，将需要显示的Tile贴到对应的球面模型顶点上完成显示还包括：
基于建立的所述第一纹理对象进行渲染，每次仅渲染视角范围内的区域，将球面模型顶点按照Tile的划分方式，划分为相等数量的球面块，与视频Tile一一对应，将需要显示的Tile贴到对应的球面模型顶点上完成显示。
8.一种超高清VR视频***，其特征在于：包括：
视频分块预处理单元，用于将VR超高清视频源进行分辨率下采样，形成至少一个高清层和基本层的视频源，并对所述高清层进行视频分块；
层次控制单元，用于对所述高清层和所述基本层分别进行球面建模；获取实时头动数据信息，基于所述实时头动数据信息，计算视椎体与球面模型顶点的交点数据并映射于所述视频分块上进行分块选择，判断优先播放高清层或者基本层；
解码渲染单元，用于根据判断结果，进行相应的渲染处理，并将渲染的处理结果贴到对应的球面上完成显示。
9.一种电子设备，包括：存储装置及一个或多个处理器，所述存储装置用于存储一个或多个程序，其中，当所述一个或多个程序被一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-7任一项所述的方法。
10.一种存储介质，其上存储有可执行指令，该可执行指令被执行时执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011026257.6A CN112130667A (zh) | 2020-09-25 | 2020-09-25 | 一种超高清vr视频的互动方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011026257.6A CN112130667A (zh) | 2020-09-25 | 2020-09-25 | 一种超高清vr视频的互动方法和*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112130667A true CN112130667A (zh) | 2020-12-25 |
Family
ID=73840210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011026257.6A Pending CN112130667A (zh) | 2020-09-25 | 2020-09-25 | 一种超高清vr视频的互动方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112130667A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113099182A (zh) * | 2021-04-08 | 2021-07-09 | 西安应用光学研究所 | 基于机载并行处理架构的多视窗实时缩放方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106658011A (zh) * | 2016-12-09 | 2017-05-10 | 深圳市云宙多媒体技术有限公司 | 全景视频的编解码方法和装置 |
| KR20190050714A (ko) * | 2017-11-03 | 2019-05-13 | 한국전자통신연구원 | 360 vr 영상 부호화/복호화 방법 및 그 장치 |
| CN110149542A (zh) * | 2018-02-13 | 2019-08-20 | 华为技术有限公司 | 传输控制方法 |
| KR20200061592A (ko) * | 2018-11-26 | 2020-06-03 | 가천대학교 산학협력단 | 시선 기반의 360도 영상 스트리밍 |
-
2020
- 2020-09-25 CN CN202011026257.6A patent/CN112130667A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106658011A (zh) * | 2016-12-09 | 2017-05-10 | 深圳市云宙多媒体技术有限公司 | 全景视频的编解码方法和装置 |
| KR20190050714A (ko) * | 2017-11-03 | 2019-05-13 | 한국전자통신연구원 | 360 vr 영상 부호화/복호화 방법 및 그 장치 |
| CN110149542A (zh) * | 2018-02-13 | 2019-08-20 | 华为技术有限公司 | 传输控制方法 |
| KR20200061592A (ko) * | 2018-11-26 | 2020-06-03 | 가천대학교 산학협력단 | 시선 기반의 360도 영상 스트리밍 |
Non-Patent Citations (1)
| Title |
|---|
| 陈志杰: "基于超高分辨率全景视频的VR***研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 February 2020 (2020-02-15), pages 138 - 1499 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113099182A (zh) * | 2021-04-08 | 2021-07-09 | 西安应用光学研究所 | 基于机载并行处理架构的多视窗实时缩放方法 |
| CN113099182B (zh) * | 2021-04-08 | 2022-11-22 | 西安应用光学研究所 | 基于机载并行处理架构的多视窗实时缩放方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109792563B (zh) | 基于感兴趣区域处理球面视频数据 | |
| US11037365B2 (en) | Method, apparatus, medium, terminal, and device for processing multi-angle free-perspective data | |
| CN109074678B (zh) | 一种信息的处理方法及装置 | |
| US11182875B2 (en) | Coordinate mapping for rendering panoramic scene | |
| CN106028115A (zh) | 视频播放方法和装置 | |
| US20210352210A1 (en) | Method and device for generating a panoramic image | |
| CN107005689B (zh) | 数字视频渲染 | |
| TW201803358A (zh) | 將沈浸式視訊格式化用於傳統及沈浸式顯像元件之方法、裝置及串流 | |
| CN107197135B (zh) | 一种视频生成方法及视频生成装置 | |
| US11438731B2 (en) | Method and apparatus for incorporating location awareness in media content | |
| CN113891117A (zh) | 沉浸媒体的数据处理方法、装置、设备及可读存储介质 | |
| CN115861514A (zh) | 虚拟全景图的渲染方法、装置、设备及存储介质 | |
| Heymann et al. | Representation, coding and interactive rendering of high-resolution panoramic images and video using MPEG-4 | |
| CN113242384B (zh) | 一种全景视频显示方法及显示设备 | |
| CN114926612A (zh) | 空中全景图像处理与沉浸式显示*** | |
| CN112533005B (zh) | 一种vr视频慢直播的交互方法及*** | |
| CN112130667A (zh) | 一种超高清vr视频的互动方法和*** | |
| CN116325769A (zh) | 从多个视点流式传输场景的全景视频 | |
| CN111669569A (zh) | 一种视频生成方法及装置、介质、终端 | |
| US20230042078A1 (en) | Encoding and decoding views on volumetric image data | |
| CN111885417A (zh) | Vr视频播放方法、装置、设备以及存储介质 | |
| EP3564905A1 (en) | Conversion of a volumetric object in a 3d scene into a simpler representation model | |
| CN111448544A (zh) | 沉浸式虚拟环境中的动画化视角的选择 | |
| CN108271084B (zh) | 一种信息的处理方法及装置 | |
| JP2023507586A (ja) | ３ｄｏｆ構成要素からの６ｄｏｆコンテンツを符号化、復号化、及びレンダリングするための方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |